JP2023008395A - マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法 - Google Patents

マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法 Download PDF

Info

Publication number
JP2023008395A
JP2023008395A JP2021111934A JP2021111934A JP2023008395A JP 2023008395 A JP2023008395 A JP 2023008395A JP 2021111934 A JP2021111934 A JP 2021111934A JP 2021111934 A JP2021111934 A JP 2021111934A JP 2023008395 A JP2023008395 A JP 2023008395A
Authority
JP
Japan
Prior art keywords
edge
gradient
encrypted
decryption
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021111934A
Other languages
English (en)
Inventor
アシシュ キスティ
Khisti Ashish
セデルファン ホセイニ
Hosseini Syederfan
光晴 大峡
Mitsuharu Ohazama
拓志 藤本
Takushi Fujimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Toronto
Hitachi Solutions Ltd
Original Assignee
University of Toronto
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Toronto, Hitachi Solutions Ltd filed Critical University of Toronto
Priority to JP2021111934A priority Critical patent/JP2023008395A/ja
Priority to US17/722,561 priority patent/US20230017542A1/en
Priority to CA3156386A priority patent/CA3156386A1/en
Publication of JP2023008395A publication Critical patent/JP2023008395A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/088—Usage controlling of secret information, e.g. techniques for restricting cryptographic keys to pre-authorized uses, different access levels, validity of crypto-period, different key- or password length, or different strong and weak cryptographic algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Storage Device Security (AREA)

Abstract

Figure 2023008395000001
【課題】ＴＴＰを設置することなく、秘匿性を向上し、通信コストを低減する。
【解決手段】エッジとサーバとを備える連合学習システムであって、エッジは、勾配情報を共通公開鍵で暗号化した暗号化勾配をサーバに送信し、サーバは、複数のエッジから受信した暗号化勾配を加算して、暗号化集約勾配を生成してエッジに送信し、エッジは、暗号化集約勾配を暗号化したエッジスイッチシェアを生成してサーバに送信し、サーバは、複数のエッジから受信したエッジスイッチシェアを加算して、復号用暗号化集約勾配を生成し、生成された復号用暗号化集約勾配を復号化して集約勾配を生成して、エッジに送信し、エッジは、サーバから受信した集約勾配を用いてＡＩモデルを学習する。
【選択図】図８

Description

本発明は、連合学習システム及び連合学習方法に関する。
機械学習の手法の一つとして、分散したエッジデバイス上のデータをサーバ上に集約せずに、各エッジデバイス上のデータに基づいたＡＩモデルを生成可能な機械学習方法として、連合学習が提案されている（非特許文献１）。連合学習は、エッジデバイスから元のデータを送信するのではなく、ＡＩモデル生成に必要なデータ（例えば勾配情報）をサーバに送信することを特徴としており、それによってエッジデバイス上のデータのプライバシー保護が可能となる。
しかし、勾配情報を秘匿化せずにサーバに送信すると、盗聴された勾配情報から元のデータを推測される可能性がある。そこで、勾配情報を秘匿化した連合学習方法が提案されている。
非特許文献１には、Secure Multi-Party Computationと呼ばれるプロトコルに基づいて、データの秘匿性を維持しつつ、通信量を削減する技術が記載されている。非特許文献２には、勾配などのモデル更新情報を安全に集約するために、準同型暗号を用いることで安全性を向上させる技術が記載されている。準同型暗号を用いた連合学習では、暗号や復号に用いる鍵の管理が困難であり、一般的には信頼できる第三者（ＴＴＰ：Trusted Third Party）によって鍵が管理される。
B. Choi, J. yong Sohn, D.-J. Han, and J. Moon, "Communication computation efficient secure aggregation for federated learning", ２０２０年１２月１０日 R. Xu, N. Baracaldo, Y. Zhou, A. Anwar, and H. Ludwig, "Hybridalpha: An efficient approach for privacy-preserving federated learning", AISec'19: Proceedings of the 12th ACM Workshop on Artificial Intelligence and Security, Pages 13-23, ２０１９年１１月１１日
非特許文献１に記載された技術では、従来より通信量を削減できるが、まだ大量の通信が必要である。また、ＡＩモデルの学習プロセス中に、全てのエッジノードが存在している必要があるため、通信不能などによって一部のエッジノードが使用不可状態となると、学習プロセスを継続できない。
非特許文献２では、ＴＴＰを用いて連合学習における鍵を管理することによって、二つの課題が生じる。第一に、ＴＴＰが管理している秘密鍵が漏洩したり、ＴＴＰが連合学習時のサーバと結託した場合、各エッジデバイスの勾配が復号され漏洩する可能性がある。第二に、ＴＴＰを設置することにより、通信コストが増加する。
本発明は、ＴＴＰを設置することなく、秘匿性を向上し、通信コストを低減する連合学習システムの提供を目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、エッジ装置におけるＡＩモデルの学習の結果を表す勾配情報を集約する連合学習システムであって、学習によってＡＩモデルを生成するエッジ装置と、前記エッジ装置から前記勾配情報を収集するサーバ装置とを備え、前記エッジ装置は、エッジ公開鍵及びエッジ秘密鍵を含むエッジキーペアを生成するエッジ鍵生成部と、前記ＡＩモデルを学習データを用いて学習する学習部とを有し、前記サーバ装置は、復号用公開鍵及び復号用秘密鍵を含む復号用キーペアを生成するサーバ鍵生成部と、データ処理を実行する暗号・復号部とを有し、前記エッジ装置は、前記学習部において、前記勾配情報を共通公開鍵で暗号化した暗号化勾配を生成し、前記生成された暗号化勾配を前記サーバ装置に送信し、前記サーバ装置は、前記暗号・復号部において、複数の前記エッジ装置から受信した暗号化勾配を加算して、暗号化集約勾配を生成し、前記生成された暗号化集約勾配を前記エッジ装置に送信し、前記エッジ装置は、前記学習部において、前記暗号化集約勾配を暗号化したエッジスイッチシェアを生成し、前記生成されたエッジスイッチシェアを前記サーバ装置に送信し、前記サーバ装置は、前記暗号・復号部において、複数の前記エッジ装置から受信したエッジスイッチシェアを加算して、復号用暗号化集約勾配を生成し、前記生成された復号用暗号化集約勾配を復号化して集約勾配を生成して、前記エッジ装置に送信し、前記エッジ装置の前記学習部は、前記サーバ装置から受信した集約勾配を用いて前記ＡＩモデルを学習する。
本発明の一態様によれば、ＴＴＰを設置することなく、秘匿性を向上し、通信コストを低減できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
本発明の実施例の連合学習システムの全体構成を示す図である。 サーバの構成例を示すブロック図である。 エッジの構成例を示すブロック図である。 エッジ秘密鍵シェア共有処理を示す図である。 共通公開鍵生成処理を示す図である。 暗号化集約勾配生成処理を示す図である。 鍵生成処理のフローチャートである。 学習処理のフローチャートである。 復号用暗号化集約勾配生成処理を示す図である。
以下、図面を参照して、本発明の実施例を説明する。本実施例に係る連合学習システムは、各エッジデバイス（以降、エッジと称すことがある）が保有する勾配情報（以降、勾配と称すことがある）をサーバで集約する際に、準同型暗号を用いることによって、各エッジの勾配を秘匿化する。これによって各エッジの勾配の安全性を高めることができる。また、復号の際には秘密分散と準同型暗号の性質を利用することによって、各エッジの秘密鍵を当該エッジ外に送信することなく安全に復号できる。
準備段階として、ＡＩモデルの学習処理の前に準同型暗号の暗号及び復号に用いる鍵を、サーバ及び各エッジで生成する。この際に、各エッジの秘密鍵にから生成されたシェア情報（以降、シェアと称すことがある）を生成し、生成されたシェアを各エッジで分散共有する。このシェアはＡＩモデルの学習処理の過程で生成された集約した勾配を復号する際に使用する。また、この時に使用する復号用キーペアを生成し、各エッジに送信する。また、各エッジの公開鍵を集約して生成される共通公開鍵をサーバで生成後、共通公開鍵を各エッジに送信する。
ＡＩモデルの学習処理の際は、各エッジの学習データに基づいて深層学習等により勾配を求める。次に、各エッジの勾配を前述の共通公開鍵によって暗号化し、サーバに送信する。各エッジの勾配をサーバで集約する際には、準同型暗号の性質を利用し、各エッジの勾配を単に加算することで、暗号化された状態で集約した勾配を生成できる。集約勾配を復号して各エッジに送り返す際には、各エッジから得た秘密分散のためのシェア情報、復号用キーペア、暗号化された集約勾配、及び各エッジの再構築係数によって集約勾配を求める。各エッジは、集約勾配に基づいてＡＩモデルを更新する。これにより、各エッジは、秘匿性を保ったまま安全に勾配をサーバに送信し、かつ他のエッジの勾配内容も加味したＡＩモデルを生成できる。
図１～図９を参照して本発明の実施例を説明する。本実施例は、本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。
以後の説明では「コンピュータプログラム」を主語として説明する場合がある。コンピュータプログラムは、プロセッサによって実行されることで、メモリ及び通信ポート（通信制御装置）を用いながら所定の処理を実行する。従って、コンピュータプログラムに代えてプロセッサを主語として説明できるし、プロセッサを有する計算機を主語としても説明できる。
なお、コンピュータプログラムの少なくとも一部または全部を専用ハードウェアで実現してもよい。コンピュータプログラムは、モジュール化されていてもよい。コンピュータプログラムは、記録媒体に固定されて流通してもよいし、又は、プログラム配信サーバから通信ネットワークを介して配布されてもよい。プロセッサがコンピュータプログラムを読み込んで処理を実行することによって、後述する機能が実現される。
また、以後の説明では、特に説明が無い限り、公開鍵暗号方式は全て完全準同型暗号のスキームを前提とし、全準同型暗号のスキームにはＢＦＶの使用を前提とし、以降説明する。
図１は、連合学習システム１の全体構成を示す図である。
連合学習システム１は、例えば、サーバ２と、複数のエッジ３とを有する。各エッジ３は、秘匿性が保証されないネットワーク（例えばインターネット）４を通してサーバ２と通信できる。本実施例ではエッジの台数を４台としているが、２台以上の任意の台数でよい。
図２は、サーバ２のハードウェア及びソフトウェアの構成例を示すブロック図である。
サーバ２は、例えば、入出力装置２１と、中央演算装置２２と、通信制御装置２３と、記憶装置２４とを有する。
入出力装置２１は、ユーザとの間で情報を入出力する装置である。入出力装置２１は、情報入力装置２１１と情報出力装置２１２とを有する。情報入力装置２１１としては、例えば、キーボード、マウス、タッチパネル（いずれも不図示）などがある。情報出力装置２１２としては、例えば、ディスプレイ、プリンタ（いずれも不図示）などがある。情報入力装置と情報出力装置との両方を兼ね備える装置でもよい。なお、入出力装置２１は、サーバ２にネットワーク４を介して接続された端末でもよい。この場合、サーバ２がウェブサーバの機能を有し、端末がサーバ２に所定のプロトコル（例えばｈｔｔｐ）でアクセスし、端末のウェブブラウザが表示機能を実現する。また、端末が専用アプリケーションを実行し、表示機能を実現してもよい。また、入出力装置２１は、サーバ２による演算の結果を他の計算機システムに出力するインターフェースでもよい。このように、入出力装置２１は様々な形態を採用できる。
中央演算装置２２は、マイクロプロセッサ及びプログラムメモリ（いずれも不図示）を有し、連合学習システム１として機能するための必要な演算処理及び制御処理などを実行する。中央演算装置２２は、所定のコンピュータプログラム２２１～２２３を実行する。なお、マイクロプロセッサがプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＡＳＩＣ、ＦＰＧＡ等のハードウェア）で実行してもよい。プログラムメモリは、マイクロプロセッサが実行するプログラムを格納する記憶装置で、不変のプログラム（例えば、ＢＩＯＳ）などを格納し、不揮発性の記憶素子であるＲＯＭ、及びＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であるＲＡＭを含む。
制御プログラム２２１は、サーバ２及び各エッジ３における連携処理を制御し、サーバ２から各エッジ３への処理を指示及び管理する。
サーバ鍵生成プログラム２２２は、エッジ３から取得したエッジキーペア３４１のエッジ公開鍵から、共通公開鍵２４１を生成する。また、サーバ鍵生成プログラム２２２は、後述する復号用暗号化集約勾配２４４を復号するための復号用キーペア２４２を生成し、復号用キーペア２４２に含まれる公開鍵を各エッジ３に送信する。
サーバ暗号復号プログラム２２３は、通信可能なエッジであるアクティブエッジを判定し、アクティブエッジから取得した暗号化エッジ勾配３４６からアクティブ暗号化集約勾配２４３を生成する。また、集約勾配２４５を求めるために、アクティブエッジの中から復号用エッジを選定し、アクティブ暗号化集約勾配２４３と当該エッジの再構築係数３４７を、選定された復号用エッジに送信する。また、復号用エッジとなるエッジ３からエッジスイッチシェア３４８を受信し、エッジスイッチシェア３４８と復号用キーペア２４２の秘密鍵から集約勾配２４５を生成し、各エッジ３に送信する。
通信制御装置２３は、ネットワーク４を介して各エッジ３との通信を制御するネットワークインターフェース装置である。
記憶装置２４は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、中央演算装置２２での処理対象となるデータと処理後のデータ等とを格納する装置である。記憶装置２４は、例えば、共通公開鍵２４１と、復号用キーペア２４２と、アクティブ暗号化集約勾配２４３と、復号用暗号化集約勾配２４４と、集約勾配２４５とを格納する。共通公開鍵２４１は、各エッジ３から取得したエッジキーペア３４１の公開鍵を加算して生成され、各エッジ３の勾配を暗号化する際に用いられる。復号用キーペア２４２は、エッジスイッチシェア３４８の生成と、エッジスイッチシェア３４８から集約勾配２４５を求める際に用いられる。アクティブ暗号化集約勾配２４３は、暗号化エッジ勾配３４６から生成される。復号用暗号化集約勾配２４４は、集約勾配２４５を求める際に用いられる。集約勾配２４５は、各エッジ３においてＡＩモデル３４９を生成するために用いられる。
中央演算装置２２が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワーク４を介してサーバ２に提供され、非一時的記憶媒体である不揮発性のプログラムメモリに格納される。このため、サーバ２は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
サーバ２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、制御プログラム２２１、サーバ鍵生成プログラム２２２、サーバ暗号復号プログラム２２３は、各々別個の物理的又は論理的計算機上で動作するものでも、複数が組み合わされて一つの物理的又は論理的計算機上で動作するものでもよい。
図３は、エッジ３のハードウェア及びソフトウェアの構成例を示すブロック図である。
エッジ３は、例えば、入出力装置３１と、中央演算装置３２と、通信制御装置３３と、記憶装置３４とを有する。
入出力装置３１は、ユーザとの間で情報を入出力する装置である。入出力装置３１は、情報入力装置３１１と情報出力装置３１２とを有する。情報入力装置３１１としては、例えば、キーボード、マウス、タッチパネル（いずれも不図示）などがある。情報出力装置３１２としては、例えば、ディスプレイ、プリンタ（いずれも不図示）などがある。情報入力装置と情報出力装置との両方を兼ね備える装置でもよい。なお、入出力装置３１は、エッジ３にネットワークを介して接続された端末でもよい。この場合、エッジ３がウェブサーバの機能を有し、端末がエッジ３に所定のプロトコル（例えばｈｔｔｐ）でアクセスし、端末のウェブブラウザが表示機能を実現する。また、端末が専用アプリケーションを実行し、表示機能を実現してもよい。また、入出力装置３１は、エッジ３による演算の結果を他の計算機システムに出力するインターフェースでもよい。このように、入出力装置３１は様々な形態を採用できる。
中央演算装置３２は、マイクロプロセッサ及びプログラムメモリ（いずれも不図示）を有し、連合学習システム１として機能するための必要な演算処理及び制御処理などを実行する。中央演算装置３２は、所定のコンピュータプログラム３２１～３２２を実行する。なお、マイクロプロセッサがプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＡＳＩＣ、ＦＰＧＡ等のハードウェア）で実行してもよい。プログラムメモリは、マイクロプロセッサが実行するプログラムを格納する記憶装置で、不変のプログラム（例えば、ＢＩＯＳ）などを格納し、不揮発性の記憶素子であるＲＯＭ、及びＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であるＲＡＭを含む。
エッジ鍵生成プログラム３２１は、各エッジ３においてエッジキーペア３４１を生成し、エッジキーペア３４１の秘密鍵からエッジ秘密鍵シェア３４２を生成し、エッジ秘密鍵シェア３４２からエッジシェア３４３を生成する。
学習プログラム３２２は、各エッジ３における学習データ３４４に対して機械学習する過程でエッジ勾配３４５を生成し、サーバ２から取得した共通公開鍵２４１で暗号化し暗号化エッジ勾配３４６を生成してサーバ２に送信する。復号用に選定された各エッジ３は、エッジスイッチシェア３４８を生成し、サーバ２に送信する。サーバ２は、エッジスイッチシェア３４８とエッジキーペア３４１の秘密鍵から集約勾配２４５を生成し、各エッジ３に送信する。エッジ３は、サーバ２から取得した集約勾配２４５に基づいてＡＩモデル３４９を更新する処理を実行する。
通信制御装置３３は、ネットワーク４を介してサーバ２及び他のエッジ３との通信を制御するネットワークインターフェース装置である。
記憶装置３４は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、中央演算装置３２での処理対象となるデータと処理後のデータ等とを格納する装置である。記憶装置３４は、例えば、エッジキーペア３４１と、エッジ秘密鍵シェア３４２と、エッジシェア３４３と、学習データ３４４と、エッジ勾配３４５と、暗号化エッジ勾配３４６と、再構築係数３４７と、エッジスイッチシェア３４８と、ＡＩモデル３４９とを格納する。エッジキーペア３４１は、各エッジ３で個別に生成され、公開鍵と秘密鍵で構成され、公開鍵はサーバ２で共通公開鍵２４１を生成するために用いられる。秘密鍵は、エッジ秘密鍵シェア３４２を生成するために用いられる。エッジ秘密鍵シェア３４２は、エッジシェア３４３を生成するために用いられる。エッジシェア３４３は、エッジスイッチシェア３４８を生成するために用いられる。学習データ３４４は、処理開始前に記憶装置３４に格納されており、ＡＩモデル３４９を学習するために用いられ、各エッジ３で通常は異なるデータセットを持つ。エッジ勾配３４５は、ＡＩモデル３４９の学習過程で発生するデータである。暗号化エッジ勾配３４６は、エッジ勾配３４５をサーバ２の共通公開鍵２４１で暗号化したデータである。再構築係数３４７は、エッジ秘密鍵シェア３４２を含むエッジシェア３４３から共通秘密鍵を再構築するために必要な値であり（式（２）で後述する）、サーバ２から送信され、エッジスイッチシェア３４８を生成するために用いられる。エッジスイッチシェア３４８は、アクティブ暗号化集約勾配２４３と再構築係数３４７とエッジ秘密鍵シェア３４２と復号用キーペア２４２の公開鍵に基づいて生成される。ＡＩモデル３４９は、各エッジ３における学習データ３４４を学習する過程で生成されるエッジ勾配３４５をサーバ２で集約して生成される集約勾配２４５に基づいて更新され、ＡＩアプリケーション等への活用が可能である。
中央演算装置３２が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介してエッジ３に提供され、非一時的記憶媒体である不揮発性のプログラムメモリに格納される。このため、エッジ３は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
エッジ３は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、エッジ鍵生成プログラム３２１、学習プログラム３２２は、各々別個の物理的又は論理的計算機上で動作するものでも、複数が組み合わされて一つの物理的又は論理的計算機上で動作するものでもよい。
＜連合学習システムが実行する処理の概要＞
連合学習システム１の処理概要を説明する。サーバ２の制御プログラム２２１が連合学習の開始を各エッジ３に指示すると、各エッジ３の中央演算装置３２は、エッジ鍵生成プログラム３２１を起動して、各エッジ３の準同型暗号の公開鍵暗号方式のキーペアであるエッジキーペア３４１を生成し、記憶装置３４に格納する。また、各エッジ３は、エッジキーペア３４１の公開鍵をサーバ２に送信する。次に、各エッジ３は、エッジキーペア３４１の秘密鍵から、エッジ秘密鍵シェア３４２を生成し、記憶装置３４に格納する。また、各エッジ３がエッジ秘密鍵シェア３４２をサーバ２に送信すると、サーバ２は他のエッジ３にエッジ秘密鍵シェア３４２を送信する。なお、エッジ秘密鍵シェア３４２の他のエンジ３への送信は、サーバ２を介さず、エッジ３の間で直接送信してもよい。次に、各エッジ３は、自己のエッジ秘密鍵シェア３４２と受信したエッジ秘密鍵シェア３４２との加算によってエッジ秘密鍵シェア３４２からエッジシェア３４３を生成し、記憶装置３４に格納する。
サーバ２のサーバ鍵生成プログラム２２２は、各エッジ３から取得したエッジキーペア３４１の公開鍵から、共通公開鍵２４１を生成し、記憶装置２４に格納する。また、サーバ２は、共通公開鍵２４１を各エッジ３に送信する。次に、サーバ２は、復号用暗号化集約勾配２４４の復号に用いる準同型暗号の公開鍵暗号方式のキーペアである復号用キーペア２４２を生成し、記憶装置２４に格納する。また、サーバ２は、復号用キーペア２４２の公開鍵を各エッジ３に送信する。
次に、各エッジ３の中央演算装置３２は、サーバ２からの学習処理指示を受け取ると、学習プログラム３２２を起動して、事前に格納されている学習データ３４４に基づいて機械学習を行う。この時点で各エッジ３にはＡＩモデル３４９が格納されており、各エッジ３のＡＩモデル３４９は全て同一である。各エッジ３は、学習処理の過程でエッジ勾配３４５を生成し、生成したエッジ勾配３４５を記憶装置３４に格納し、共通公開鍵２４１を用いてエッジ勾配３４５を暗号化して暗号化エッジ勾配３４６を生成し、記憶装置３４に格納する。次に、各エッジ３は、暗号化エッジ勾配３４６をサーバ２に送信する。
サーバ２のサーバ暗号復号プログラム２２３は、各エッジ３の暗号化エッジ勾配３４６を受信すると、アクティブ暗号化集約勾配２４３を生成し記憶装置２４に格納する。この時、応答がなかったエッジ３の暗号化エッジ勾配３４６は使用されない。次に、サーバ２は暗号化エッジ勾配３４６の送信元となるエッジ３（アクティブエッジ）を確認する。また、アクティブエッジの中からアクティブ暗号化集約勾配２４３を復号する際に用いるエッジ３である復号用エッジを選定する。アクティブ暗号化集約勾配２４３と当該エッジ３に対応する再構築係数３４７を、選定された復号用エッジに送信する。
各復号用エッジの学習プログラム３２２は、サーバ２からアクティブ暗号化集約勾配２４３と再構築係数３４７を受信し、再構築係数３４７を記憶装置３４に格納する。また、アクティブ暗号化集約勾配２４３と再構築係数３４７とエッジシェア３４３から、復号用キーペア２４２の公開鍵を用いてエッジスイッチシェア３４８を生成し、記憶装置３４に格納する。また、エッジスイッチシェア３４８をサーバ２に送信する。
サーバ２のサーバ暗号復号プログラム２２３は、各復号用エッジから受信した、エッジスイッチシェア３４８に基づいて、復号用暗号化集約勾配２４４を生成し、記憶装置２４に格納する。次に、サーバ２は、復号用暗号化集約勾配２４４と復号用キーペア２４２の秘密鍵から、集約勾配２４５を生成し、記憶装置２４に格納する。また、サーバ２は、集約勾配２４５を各エッジ３に送信する。
各エッジ３の学習プログラム３２２は、サーバ２から受信した集約勾配２４５に基づいてＡＩモデル３４９を更新する。この時、学習終了の条件を満たしていれば処理を終了し、条件を満たしていなければ、サーバ２は各エッジ３に対して再度学習処理を指示する。
＜鍵生成処理＞
図７は、鍵生成処理のフローチャートである。
Ｓ７０１において、制御プログラム２２１は、各エッジ３に鍵生成を指示する。以下では、図４のようにエッジ３が、４台のエッジＡ～Ｄで構成されている例を説明する。鍵生成処理の時点では、４台のエッジ３は全て稼働している。
Ｓ７０２において、４台のエッジ３のそれぞれが鍵生成指示を受信すると、各エッジ３のエッジ鍵生成プログラム３２１は、エッジキーペア３４１を生成し、サーバ２にエッジキーペア３４１の公開鍵を送信する。サーバ２が各エッジ３のエッジキーペア３４１の公開鍵を受信すると、サーバ鍵生成プログラム２２２は、各エッジ３に各エッジキーペア３４１の公開鍵を送信する。
Ｓ７０３において、各エッジ３のエッジ鍵生成プログラム３２１が、シャミアの秘密分散法に基づいてエッジキーペア３４１の秘密鍵からエッジ秘密鍵シェア３４２を生成する。シャミアの秘密分散法とは、１９７９年にＳｈａｍｉｒらによって提案された技術である。シャミアの秘密分散法では、秘密情報を複数のシェアと呼ばれるデータに分割する。このシェアは、ある定められた組み合わせが揃った場合に元の秘密情報が復元できるように作られる。最も単純な方法は、（ｋ，ｎ）閾値法である。本実施例では（ｋ，ｎ）閾値法に基づいて以下説明する。（ｋ，ｎ）閾値法では、ｎ個のシェアのうち、閾値ｋ個以上のシェアが揃った時に、元の秘密情報が復元できるようにシェアが作られる。すなわち、ｋ－１以下のシェアでは元の秘密情報が漏れないことが保証される。図４において、ｓ１１、ｓ１２、ｓ１３、ｓ１４は、それぞれエッジＡの秘密鍵から生成されたエッジ秘密鍵シェア３４２である。ｓ１１、ｓ１２、ｓ１３、ｓ１４のうち、ある閾値以上の個数が集まればエッジＡの秘密鍵を求めることができる。図４の場合は、ｓ１２をエッジＢに送信し、ｓ１３をエッジＣに送信し、ｓ１４をエッジＤに送信する。これにより、エッジＡの秘密鍵が複数のエッジ３で秘密分散される。これはすなわち、各エッジ３で互いの秘密鍵のシェアを分散共有することで、ＴＴＰを設置することを不要にしている。別のエッジ３にエッジ秘密鍵シェア３４２を送信する場合、サーバ２が保持している各エッジ３のエッジキーペア３４１の公開鍵で暗号化してサーバ２経由で送信する。受信したエッジ３では、当該エッジ３のエッジキーペア３４１の秘密鍵を用いて復号する。これによりエッジ秘密鍵シェア３４２を安全に送信できる。
Ｓ７０４において、まず、各エッジ３のエッジ鍵生成プログラム３２１は、シャミアの秘密分散法に基づいてエッジ秘密鍵シェア３４２からエッジシェア３４３を生成する。図４において、ｓ’１、ｓ’２、ｓ’３、ｓ’４はそれぞれエッジシェア３４３である。例えば、ｓ’１は、エッジＡのエッジ秘密鍵シェアｓ１１、エッジＢのエッジ秘密鍵シェアｓ１２、エッジＣのエッジ秘密鍵シェアｓ１３、及びエッジＤのエッジ秘密鍵シェアｓ１４の和で計算できる。次に、各エッジシェア３４３をサーバ２に送信する。エッジシェア３４３は、各エッジ３の秘密鍵のシェアで構成されているため、エッジシェア３４３を一定数以上集約することで、共通公開鍵２４１で暗号化された情報を復号することができる。またこの時、各エッジ３のエッジキーペア３４１の秘密鍵を当該エッジ３外に出す必要がないため当該エッジ３におけるエッジ勾配３４５は秘匿状態を維持できる。
Ｓ７０５において、サーバ２は、図５に示すように、制御プログラム２２１が受信した各エッジ３のエッジキーペア３４１の公開鍵ｐｋ１、ｐｋ２、ｐｋ３、ｐｋ４から共通公開鍵（ｃｐｋ）２４１を生成する。例えば、共通公開鍵ｃｐｋは、公開鍵の和ｐｋ１＋ｐｋ２＋ｐｋ３＋ｐｋ４で生成できる。共通公開鍵２４１は、各エッジ３におけるエッジ勾配３４５を暗号化する際に用いられる。また、生成された共通公開鍵２４１を各エッジ３に送信する。
Ｓ７０６において、サーバ２は、復号用暗号化集約勾配２４４を復号するための、公開鍵暗号のキーペアである復号用キーペア２４２を生成する。また、復号用キーペア２４２の公開鍵を各エッジ３に送信する。
＜学習処理＞
図８は、学習処理のフローチャートである。
Ｓ８０１において、制御プログラム２２１は、各エッジ３に対して学習処理を指示する。以下では、図６に示すように、鍵生成処理と同様に、エッジ３が、４台のエッジＡ～Ｄで構成されている例を説明する。この時、エッジＡとエッジＢとエッジＣは正常に動作しているアクティブエッジであり、エッジＤは通信障害や不具合などによって正常に動作していない非アクティブエッジである。本実施例では、シャミアの秘密分散法と準同型暗号を利用することで、学習処理の途中で一部のエッジ３が非アクティブエッジとなった場合でも学習を継続できる。
Ｓ８０２において、各エッジ３が学習処理指示を受信すると、各エッジ３の学習プログラム３２２が、学習データ３４４を読み込み、機械学習処理を実行する。機械学習処理の過程でＡＩモデル３４９を更新する際に用いられる勾配情報を表すエッジ勾配３４５が出力される。この時、４台のエッジ３の中に非アクティブエッジが含まれていた場合は、当該エッジ３では機械学習処理は実行されない。すなわち、エッジＤでは、この時点では機械学習処理は実行されない。
Ｓ８０３において、各エッジ３の学習プログラム３２２が、共通公開鍵２４１を用いてエッジ勾配３４５を暗号化し、暗号化エッジ勾配３４６を生成し、サーバ２に送信する。
Ｓ８０４において、サーバ２のサーバ暗号復号プログラム２２３は、各エッジ３から受信した暗号化エッジ勾配３４６からアクティブ暗号化集約勾配２４３を生成する。公開鍵ｐｋを用いてｘを準同型暗号で暗号化することを、Ｅｎｃ（ｐｋ，ｘ）と表すと、Ｅｎｃ（ｐｋ，ｘ）＋Ｅｎｃ（ｐｋ，ｙ）＝Ｅｎｃ（ｐｋ，ｘ＋ｙ）となる性質を利用し、各エッジ３の暗号化エッジ勾配３４６の和は、各エッジ勾配３４５の和を暗号化した結果と等しくなる。図６に示す場合、エッジＡとエッジＢとエッジＣがアクティブエッジであるため、アクティブ暗号化集約勾配（ｃｔ）２４３は、この３台のエッジ３から収集した暗号化エッジ勾配３４６の和によって、すなわち、Ｅｎｃ（ｃｐｋ，ｇ１）＋Ｅｎｃ（ｃｐｋ，ｇ２）＋Ｅｎｃ（ｃｐｋ，ｇ３）＝Ｅｎｃ（ｃｐｋ，ｇ１＋ｇ２＋ｇ３）によって生成される。
Ｓ８０５において、サーバ２のサーバ暗号復号プログラム２２３は、アクティブエッジを確認する。図６に示す場合、エッジＡとエッジＢとエッジＣがアクティブエッジである。また、アクティブ暗号化集約勾配２４３を復号するために用いるアクティブエッジを選定する。例えば、図９に示すように、エッジＡとエッジＣが復号用エッジとして選定される。各アクティブエッジにおいて、ＡＩモデル３４９の更新に必要な集約勾配２４５を求めるためには、アクティブ暗号化集約勾配２４３を復号する必要があり、復号には暗号化時に使用した共通公開鍵２４１に対応する共通秘密鍵が必要である。しかし、共通秘密鍵は求めることができない。なぜなら、共通秘密鍵を生成するためには、各エッジ３のエッジキーペア３４１の秘密鍵をサーバ２に集約する必要があるが、その場合は、各エッジ３のエッジ勾配３４５をサーバ２が取得できることになり、エッジ勾配３４５の秘匿性が失われてしまう。そのため、各エッジ３のエッジキーペア３４１の秘密鍵は当該エッジ３のみが保持する。そこで本実施例では、シャミアの秘密分散法によって、共通秘密鍵を用いることなく集約勾配２４５を求める。本実施例では、シャミアの秘密分散法において、復号に必要な数である閾値を２として以降説明する。閾値が２の場合、アクティブエッジの中から任意の２台のエッジ３から収集した後述するエッジスイッチシェア３４８を用いればアクティブ暗号化集約勾配２４３を復号できる。本実施例では、エッジＡとエッジＣを復号のためのエッジ３（以降、復号用エッジと称すことがある）として選定した例を説明する。
Ｓ８０６において、サーバ２のサーバ暗号復号プログラム２２３が、アクティブ暗号化集約勾配２４３と当該エッジ３に対応する再構築係数３４７を復号用エッジ（エッジＡ、エッジＣ）に送信する。なお、各復号用エッジに対応する再構築係数３４７は、復号用エッジであるエッジＡとエッジＣに対するＶａｎｄｅｒｍｏｎｄｅ行列から求められる。
Ｓ８０７において、各復号用エッジの学習プログラム３２２が、アクティブ暗号化集約勾配２４３と再構築係数３４７とエッジシェア３４３と復号用キーペア２４２の公開鍵から、エッジスイッチシェア（ｋｓ１、ｋｓ３）３４８を生成し、サーバ２に送信する。エッジスイッチシェア３４８を生成する目的について説明する。アクティブ暗号化集約勾配２４３を復号するためには、通常の場合、暗号化時に使用した共通公開鍵２４１と対になる共通秘密鍵が必要になるが、単純に共通秘密鍵を生成してしまうとアクティブ暗号化集約勾配２４３だけでなく、暗号化エッジ勾配３４６も復号できることになり、エッジ勾配３４５の秘匿性が失われてしまう。そこで、エッジスイッチシェア３４８を生成し、生成の際にアクティブ暗号化集約勾配２４３の復号に必要なエッジシェア３４３も含めて復号用キーペア２４２の公開鍵で暗号化する。前述したように、エッジシェア３４３は各エッジ３の秘密鍵のシェアで構成されている。このため、エッジシェア３４３から生成されたエッジスイッチシェア３４８を集約して、復号用キーペア２４２の秘密鍵で復号することで、共通秘密鍵を生成することなく、アクティブ暗号化集約勾配２４３を復号できる。これにより、エッジ勾配３４５の秘匿性を維持したまま、アクティブ暗号化集約勾配２４３を復号できる。エッジスイッチシェア３４８の生成方法の詳細は後述する。
Ｓ８０８において、サーバ２が各復号用エッジからエッジスイッチシェア（ｋｓ１、ｋｓ３）３４８を受信すると、サーバ暗号復号プログラム２２３が、受信したエッジスイッチシェア３４８から、復号用暗号化集約勾配（Ｃｔ’）２４４を生成する。本実施例では、エッジスイッチシェアｋｓ１、ｋｓ３を加算して、復号用暗号化集約勾配ｃｔ’を生成する。次に、復号用暗号化集約勾配２４４と復号用キーペア２４２の秘密鍵から集約勾配２４５を求める。次に、全エッジ３に集約勾配２４５を送信する。この時、一部のエッジとの間で通信不可となった場合には、サーバ２は、全てのエッジ３が受信可能になるまで処理を中断する。また、通信不可となったエッジ３の情報を蓄積し、Ｓ８０９のＡＩモデル３４９の更新のタイミングで、過去の集約勾配２４５を順に送信して、各エッジ３のＡＩモデル３４９に適用するとよい。これにより全てのエッジ３のＡＩモデル３４９を常に同一に保つことができる。
Ｓ８０７とＳ８０８の処理について、より詳細に説明する。エッジスイッチシェア３４８は、アクティブ暗号化集約勾配２４３を生成する際に用いられた共通公開鍵２４１に対応する共通秘密鍵の要素となる各エッジ３のエッジシェア３４３と、当該エッジシェア３４３に対応する再構築係数３４７を内包している。このことから、アクティブエッジの数が前述した閾値ｋ以上であれば、共通秘密鍵なしに集約勾配２４５を求めることができる。
より具体的には、アクティブ暗号化集約勾配２４３をｃｔ＝（ｃ０，ｃ１）、復号用暗号化集約勾配２４４をｃｔ’、共通秘密鍵をｓ、エッジｉの再構築係数３４７をｒｉ、エッジｉのエッジシェア３４３をｓ’ｉ、復号用キーペア２４２の公開鍵をｔｐｋ＝（ｐ’０，ｐ’１）、復号用キーペア２４２の秘密鍵をｔｓｋ、全エッジ３の集合をＰ、各復号用エッジのエッジスイッチシェア３４８をｋｓｉ＝（ｈ０，ｉ，ｈ１，ｉ）として説明する。
前述したように、集約勾配２４５を求めるためには、共通公開鍵２４１に対応する共通秘密鍵が必要であるが、共通秘密鍵を使用できない。そこで、式（１）の左辺のように、エッジスイッチシェア３４８を復号用エッジ分だけ加算して、復号用暗号化集約勾配（ｃｔ’）２４４を生成し、復号用キーペア２４２の秘密鍵ｔｓｋで復号することを考える。なお、ＢＦＶ．Ｄｅｃｒｙｐｔ（ｓｋ，ｘ）は、準同型暗号スキームＢＦＶにおいて、ｘを秘密鍵ｓｋで復号することを表す。
Figure 2023008395000002
これは、復号用暗号化集約勾配（ｃｔ’）２４４を復号用キーペア２４２の秘密鍵ｔｓｋで復号すれば、アクティブ暗号化集約勾配（ｃｔ）２４３をｓで復号した結果、すなわち集約勾配２４５を得られることを意味する。そこで、まず復号用暗号化集約勾配（ｃｔ’）２４４を求める処理を行う。復号用暗号化集約勾配（ｃｔ’）２４４を求めるために、シャミアの秘密分散法に基づき、まず以下の式（２）からエッジスイッチシェア（ｋｓｉ）３４８を求める。ここで、ｕｉはランダムサンプリングで生成された値である。ｅ０，ｉ、ｅ１，ｉはＲＬＷＥのノイズ分布に基づいてサンプリングされた値である。すなわち式（２）は、エッジスイッチシェア（ｋｓｉ）３４８がｃｔ，ｒｉ，ｔｐｋ，ｓ’ｉから生成されることを表す。
Figure 2023008395000003
サーバ２では、各復号用エッジから収集したエッジスイッチシェア（ｋｓｉ）３４８から以下の式（３）により復号用暗号化集約勾配（ｃｔ’）２４４を求める。
Figure 2023008395000004
最後に、サーバ２は、復号用暗号化集約勾配（ｃｔ’）２４４を復号用キーペア２４２の秘密鍵で復号して、集約勾配２４５を求めることができる。エッジスイッチシェア３４８は、共通公開鍵２４１と復号用キーペア２４２の公開鍵ｔｐｋで暗号化されているところ、エッジスイッチシェア３４８を集約した復号用暗号化集約勾配（ｃｔ’）２４４を復号することによって、式（３）のΣiｈ0,iの項から共通秘密鍵を構築でき、共通公開鍵２４１による暗号化も復号される。このようにすることで、各エッジ３におけるエッジキーペア３４１の秘密鍵を当該エッジ３の外に出すことなく、共通秘密鍵のみを抽出されることもなく、サーバ２において集約勾配２４５を求めることができる。
Ｓ８０９において、各エッジ３ではそれぞれ学習プログラム３２２が、サーバ２から受信した集約勾配２４５に基づいて、ＡＩモデル３４９を更新する。Ｓ８０８でも説明したように、本発明では、Ｓ８０８の時点で一部のエッジ３が通信不可となった場合でも、後に集約勾配２４５を送信することによって、ＡＩモデル３４９を同一に保つことができる。また、ＡＩモデル３４９を同一に保つ必要がなければ、通信不可となったエッジ３に対して、そのタイミングで送信された集約勾配２４５を破棄してもよい。
Ｓ８１０において、各エッジ３の学習プログラム３２２は、学習終了か否かを判定する。学習終了でなければＳ８０１に戻る。学習終了であれば処理を終了する。学習終了か否かは、例えば機械学習で用いられる損失関数で出力される値が一定以下となった場合とするなど、様々な手段が適用可能である。
なお、本実施例では、連合学習において勾配が加算可能であることから、準同型暗号の加算可能な性質を利用したが、準同型暗号の乗算可能な性質を利用した応用も可能である。
以上に説明したように、本実施例の連合学習システム１では、エッジ３は、エッジ公開鍵及びエッジ秘密鍵を含むエッジキーペア３４１を生成するエッジ鍵生成部（エッジ鍵生成プログラム３２１）と、ＡＩモデル３４９を学習データ３４４によって学習する学習部（学習プログラム３２２）とを有し、サーバ２は、復号用公開鍵及び復号用秘密鍵を含む復号用キーペア２４２を生成するサーバ鍵生成部（サーバ鍵生成プログラム２２２）と、データ処理を実行する暗号・復号部（サーバ暗号復号プログラム２２３）とを有し、学習プログラム３２２は、ＡＩモデル３４９の学習の結果を表すエッジ勾配３４５を共通公開鍵で暗号化した暗号化エッジ勾配３４６をサーバ２に送信し、サーバ暗号復号プログラム２２３は、複数のエッジ３から受信した暗号化エッジ勾配３４６を加算して、アクティブ暗号化集約勾配２４３を生成し、エッジ３に送信し、学習プログラム３２２は、アクティブ暗号化集約勾配２４３を暗号化したエッジスイッチシェア３４８を生成し、サーバ２に送信し、サーバ暗号復号プログラム２２３は、複数のエッジ３から受信したエッジスイッチシェア３４８を加算して、復号用暗号化集約勾配２４４を生成し、復号用暗号化集約勾配２４４を復号用キーペア２４２の秘密鍵を用いて復号化して集約勾配２４５を生成して、エッジ３に送信し、学習プログラム３２２は、サーバ２から受信した集約勾配２４５を用いてＡＩモデル３４９を学習するので、ＴＴＰを設置することなく、各エッジ３の勾配情報を秘匿化したままサーバ２に集約でき、他のエッジ３の学習データ３４４も考慮したＡＩモデル３４９を生成できる。また、各エッジ３の秘密鍵を外部に送信する必要がないため、各エッジ３の勾配情報は当該エッジ３のみで復号でき、ＴＴＰを設置した場合に比べて秘匿性を向上できる。また、ＡＩモデル３４９の学習時に各エッジ３はサーバ２のみと通信するため、通信コストを低減できる。さらに、学習処理の過程で一部のエッジ３が動作不能になる場合でも学習処理を継続できる。
また、暗号化エッジ勾配３４６を加算した結果は、エッジ勾配３４５を加算して暗号化した結果に等しくなるので、エッジ勾配３４５を暗号化により秘匿化したまま集約できる。
また、エッジ鍵生成プログラム３２１は、シャミアの秘密分散法に基づいて、生成されたエッジキーペア３４１の秘密鍵からエッジ秘密鍵シェア３４２を生成し、複数のエッジ３が生成したエッジ秘密鍵シェア（例えば、自エッジ３が生成したエッジ秘密鍵シェアと他のエッジ３が生成したエッジ秘密鍵シェア）を加算して、エッジシェア３４３を生成するので、各エッジ３の秘密鍵を外部に送信する必要がないため、各エッジ３の勾配情報は当該エッジ３のみで復号でき、ＴＴＰを設置した場合に比べて秘匿性を向上できる。
また、エッジ鍵生成プログラム３２１は、シャミアの秘密分散法に基づいて、エッジ秘密鍵からエッジ秘密鍵シェア３４２を生成し、複数のエッジ３が生成したエッジ秘密鍵シェア３４２を加算して、エッジシェア３４３を生成するので、エッジ秘密鍵を公開することなく、複数のエッジで鍵を分散管理でき、ＴＴＰを設置した場合に比べて秘匿性を向上できる。
また、学習プログラム３２２は、アクティブ暗号化集約勾配２４３、エッジシェア３４３及び再構築係数３４７を復号用キーペアの公開鍵ｔｐｋを用いて暗号化して、エッジスイッチシェア３４８を生成するので、共通秘密鍵を構築可能な要素を複数のエッジで分散管理でき、共通秘密鍵の秘匿性を担保でき、各エッジ３の勾配情報を秘匿できる。
また、サーバ暗号復号プログラムは、所定数（例えば（ｋ，ｎ）閾値法における閾値ｋ）以上の数のノード３からエッジスイッチシェア３４８を受信し、受信したエッジスイッチシェア３４８を加算して復号用暗号化集約勾配２４４を生成し、生成された復号用暗号化集約勾配２４４を復号用キーペア２４２の秘密鍵を用いて復号化して集約勾配２４５を生成して、エッジスイッチシェアを送信したエッジ３に送信するので、一部のエッジが動作不能になっても学習処理を継続できる。
また、サーバ暗号復号プログラムは、生成された復号用暗号化集約勾配２４４を復号化する処理において、共通秘密鍵を構築して、共通公開鍵による暗号化の復号化によって、エッジ勾配３４５が集約された集約勾配２４５を生成するので、共通秘密鍵を外部に取り出すことなく、共通公開鍵で暗号化された暗号化エッジ勾配３４６を集約して生成される復号用暗号化集約勾配ｃｔ’（２４４）を復号して集約勾配２４５を生成でき、共通秘密鍵の秘匿性を担保でき、各エッジ３の勾配情報を秘匿できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
１ 連合学習システム
２ サーバ
３ エッジ
４ ネットワーク
２１ 入出力装置
２２ 中央演算装置
２３ 通信制御装置
２４ 記憶装置
３１ 入出力装置
３２ 中央演算装置
３３ 通信制御装置
３４ 記憶装置
２１１ 情報入力装置
２１２ 情報出力装置
２２１ 制御プログラム
２２２ サーバ鍵生成プログラム
２２３ サーバ暗号復号プログラム
２４１ 共通公開鍵
２４２ 復号用キーペア
２４３ アクティブ暗号化集約勾配
２４４ 復号用暗号化集約勾配
２４５ 集約勾配
３１１ 情報入力装置
３１２ 情報出力装置
３２１ エッジ鍵生成プログラム
３２２ 学習プログラム
３４１ エッジキーペア
３４２ エッジ秘密鍵シェア
３４３ エッジシェア
３４４ 学習データ
３４５ エッジ勾配
３４６ 暗号化エッジ勾配
３４７ 再構築係数
３４８ エッジスイッチシェア
３４９ ＡＩモデル

Claims (7)

  1. エッジ装置におけるＡＩモデルの学習の結果を表す勾配情報を集約する連合学習システムであって、
    学習によってＡＩモデルを生成するエッジ装置と、
    前記エッジ装置から前記勾配情報を収集するサーバ装置とを備え、
    前記エッジ装置は、エッジ公開鍵及びエッジ秘密鍵を含むエッジキーペアを生成するエッジ鍵生成部と、前記ＡＩモデルを学習データを用いて学習する学習部とを有し、
    前記サーバ装置は、復号用公開鍵及び復号用秘密鍵を含む復号用キーペアを生成するサーバ鍵生成部と、データ処理を実行する暗号・復号部とを有し、
    前記エッジ装置は、前記学習部において、前記勾配情報を共通公開鍵で暗号化した暗号化勾配を生成し、前記生成された暗号化勾配を前記サーバ装置に送信し、
    前記サーバ装置は、前記暗号・復号部において、複数の前記エッジ装置から受信した暗号化勾配を加算して暗号化集約勾配を生成し、前記生成された暗号化集約勾配を前記エッジ装置に送信し、
    前記エッジ装置は、前記学習部において、前記暗号化集約勾配を暗号化したエッジスイッチシェアを生成し、前記生成されたエッジスイッチシェアを前記サーバ装置に送信し、
    前記サーバ装置は、前記暗号・復号部において、複数の前記エッジ装置から受信したエッジスイッチシェアを加算して、復号用暗号化集約勾配を生成し、前記生成された復号用暗号化集約勾配を復号化して集約勾配を生成して、前記エッジ装置に送信し、
    前記エッジ装置は、前記学習部において、前記サーバ装置から受信した集約勾配を用いて前記ＡＩモデルを学習する連合学習システム。
  2. 請求項１に記載の連合学習システムであって、
    前記学習部は、自己の学習結果を示す勾配情報を準同型暗号を用いて暗号化して、前記暗号化勾配を生成し、
    前記暗号化勾配を加算した結果は、前記エッジ装置が生成した勾配を加算して暗号化した結果に等しくなることを特徴とする連合学習システム。
  3. 請求項１に記載の連合学習システムであって、
    前記エッジ鍵生成部は、
    シャミアの秘密分散法に基づいて、前記生成されたエッジ秘密鍵からエッジ秘密鍵シェアを生成し、
    複数の前記エッジ装置が生成したエッジ秘密鍵シェアを加算して、エッジシェアを生成することを特徴とする連合学習システム。
  4. 請求項３に記載の連合学習システムであって、
    前記エッジシェアから共通秘密鍵を再構築するために必要な値である再構築係数が定められており、
    前記学習部は、前記暗号化集約勾配、前記エッジシェア及び前記再構築係数を復号用公開鍵を用いて暗号化して、前記エッジスイッチシェアを生成することを特徴とする連合学習システム。
  5. 請求項４に記載の連合学習システムであって、
    前記暗号・復号部は、
    所定数以上の前記エッジ装置から前記エッジスイッチシェアを受信し、
    前記受信したエッジスイッチシェアを加算して、前記復号用暗号化集約勾配を生成し、
    前記生成された復号用暗号化集約勾配を復号用秘密鍵を用いて復号化して前記集約勾配を生成し、
    前記エッジスイッチシェアを送信した前記エッジ装置に前記集約勾配を送信することを特徴とする連合学習システム。
  6. 請求項５に記載の連合学習システムであって、
    前記暗号・復号部は、前記生成された復号用暗号化集約勾配を復号化する処理において前記共通秘密鍵を構築し、
    前記構築された共通秘密鍵を用いて前記復号用暗号化集約勾配を復号化することによって、前記集約勾配を生成することを特徴とする連合学習システム。
  7. エッジ装置におけるＡＩモデルの学習の結果を表す勾配情報を集約する連合学習システムによる連合学習方法であって、
    学習によってＡＩモデルを生成するエッジ装置と、
    前記エッジ装置から前記勾配情報を収集するサーバ装置とを備え、
    前記連合学習方法は、
    前記エッジ装置が、前記勾配情報を共通公開鍵で暗号化した暗号化勾配を生成し、前記生成された暗号化勾配を前記サーバ装置に送信し、
    前記サーバ装置が、複数の前記エッジ装置から受信した暗号化勾配を加算して暗号化集約勾配を生成し、前記生成された暗号化集約勾配を前記エッジ装置に送信し、
    前記エッジ装置が、前記暗号化集約勾配を暗号化したエッジスイッチシェアを生成し、前記生成されたエッジスイッチシェアを前記サーバ装置に送信し、
    前記サーバ装置が、複数の前記エッジ装置から受信したエッジスイッチシェアを加算して、復号用暗号化集約勾配を生成し、前記生成された復号用暗号化集約勾配を復号化して集約勾配を生成して、前記エッジ装置に送信し、
    前記エッジ装置が、前記サーバ装置から受信した集約勾配を用いて前記ＡＩモデルを学習する連合学習方法。
JP2021111934A 2021-07-06 2021-07-06 マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法 Pending JP2023008395A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021111934A JP2023008395A (ja) 2021-07-06 2021-07-06 マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法
US17/722,561 US20230017542A1 (en) 2021-07-06 2022-04-18 Secure and robust federated learning system and method by multi-party homomorphic encryption
CA3156386A CA3156386A1 (en) 2021-07-06 2022-04-25 Secure and robust federated learning system and method by multi-party homomorphic encryption

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021111934A JP2023008395A (ja) 2021-07-06 2021-07-06 マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法

Publications (1)

Publication Number Publication Date
JP2023008395A true JP2023008395A (ja) 2023-01-19

Family

ID=84777611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021111934A Pending JP2023008395A (ja) 2021-07-06 2021-07-06 マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法

Country Status (3)

Country Link
US (1) US20230017542A1 (ja)
JP (1) JP2023008395A (ja)
CA (1) CA3156386A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3143855A1 (en) * 2020-12-30 2022-06-30 Atb Financial Systems and methods for federated learning on blockchain
CN116886271B (zh) * 2023-09-07 2023-11-21 蓝象智联(杭州)科技有限公司 一种用于纵向联邦XGboost模型训练的梯度聚合方法
CN117811722B (zh) * 2024-03-01 2024-05-24 山东云海国创云计算装备产业创新中心有限公司 全局参数模型构建方法、秘钥生成方法、装置及服务器

Also Published As

Publication number Publication date
US20230017542A1 (en) 2023-01-19
CA3156386A1 (en) 2023-01-06

Similar Documents

Publication Publication Date Title
Wang et al. Sieve: Cryptographically enforced access control for user data in untrusted clouds
Dong et al. Achieving an effective, scalable and privacy-preserving data sharing service in cloud computing
JP2023008395A (ja) マルチパーティ型準同型暗号によるセキュアでロバストな連合学習システム及び連合学習方法
WO2012132943A1 (ja) 秘密分散システム、装置及び記憶媒体
AU2019448601B2 (en) Privacy preserving oracle
Rahmani et al. Encryption as a Service (EaaS) as a Solution for Cryptography in Cloud
JP6363032B2 (ja) 鍵付替え方向制御システムおよび鍵付替え方向制御方法
US11113408B2 (en) Providing a secure object store using a hierarchical key system
JP6556955B2 (ja) 通信端末、サーバ装置、プログラム
Surv et al. Framework for client side AES encryption technique in cloud computing
JPWO2017033442A1 (ja) 情報処理装置、認証システム、認証方法、並びにコンピュータ・プログラム
US20180026785A1 (en) Data storage apparatus, data updating system, data processing method, and computer readable medium
Thilakanathan et al. SafeProtect: Controlled data sharing with user-defined policies in cloud-based collaborative environment
US20210135851A1 (en) Encryption processing system and encryption processing method
JP2014138349A (ja) 秘密分散システム、データ分散装置、分散データ保有装置、秘密分散方法、およびプログラム
Ramesh et al. PCS-ABE (t, n): a secure threshold multi authority CP-ABE scheme based efficient access control systems for cloud environment
Bisht et al. Efficient Personal-Health-Records Sharing in Internet of Medical Things Using Searchable Symmetric Encryption, Blockchain and IPFS
Marwan et al. A cloud solution for securing medical image storage
Fugkeaw et al. Updating policies in cp-abe-based access control: an optimized and secure service
Bankar et al. Identity based proxy re-encryption using forward security in cloud framework
Contiu et al. Practical active revocation
KR20160128170A (ko) 비밀키 암호화 및 복원을 제공하는 단말, 서버 및 방법
US11811741B2 (en) Information processing system and information processing method
CN116318647B (zh) 一种具有同态特性的cp-abe外包解密方法和装置
WO2023243141A1 (ja) 連合学習システム及び連合学習方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231213