CN115664632A - 一种基于同态加密的预测模型训练方法、系统、设备及介质 - Google Patents

一种基于同态加密的预测模型训练方法、系统、设备及介质 Download PDF

Info

Publication number
CN115664632A
CN115664632A CN202211401730.3A CN202211401730A CN115664632A CN 115664632 A CN115664632 A CN 115664632A CN 202211401730 A CN202211401730 A CN 202211401730A CN 115664632 A CN115664632 A CN 115664632A
Authority
CN
China
Prior art keywords
prediction model
local
training
global
encrypted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211401730.3A
Other languages
English (en)
Other versions
CN115664632B (zh
Inventor
张旭
吴睿振
王小伟
孙华锦
王凛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211401730.3A priority Critical patent/CN115664632B/zh
Publication of CN115664632A publication Critical patent/CN115664632A/zh
Application granted granted Critical
Publication of CN115664632B publication Critical patent/CN115664632B/zh
Priority to PCT/CN2023/115580 priority patent/WO2024098897A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。方法包括：在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。通过本发明提出的一种基于同态加密的预测模型训练方法，整个分布式训练过程中仅有加密后的局部预测模型和基于密文的全局预测模型在传输，具有极高的安全性。

Description

一种基于同态加密的预测模型训练方法、系统、设备及介质
技术领域
本发明属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。
背景技术
一般分布式机器学习采用深度神经网络作为机器学习模型，根据中心极限定理，假设神经网络中的权重服从高斯正态分布，随着神经网络的宽度趋近于无穷，那么这样的神经网络等价于高斯过程回归。然而高斯过程回归是一个非超参数的统计概率模型，给定训练数据和测试输入，高斯过程回归的预测分为推断和预测两步，不需要求解优化问题。推断过程假设要学习的函数服从高斯过程，给出模型的高斯先验概率分布，然后利用观测值和Bayesian规则，求出模型的高斯后验概率分布。当完成局部模型预测之后，各个计算节点将所得到的局部预测（期望和方差）发送至服务器，让服务器完成全局模型的计算，例如，利用平均聚合算法求取全局模型。但是在局部模型传输过程中，攻击者会窥探和窃取传输的局部预测值，使得局部模型的隐私性受到了威胁。
当计算节点完成模型预测，在将预测结果发送至服务器的过程中，这些预测结果无疑是脆弱的，敏感的，容易受到攻击者的窥探和破坏。例如攻击者将图像数据集中的数据进行更改，使得训练出来的模型与真实的模型相比，有一定的偏差，这会影响到准确模型的应用，甚至会带来经济损失。为了保证模型预测在传输过程中不被窃取，加密方法是一个好的选择。
但传统的加密方式均需要则需要在服务端和计算节点之间互相加密和解密对解密后的明文进行模型计算。如果并不希望让服务器知道局部预测模型或者说并不希望在服务器端获取到（包括解密后）局部预测模型，则当前的传统实现方式并不能实现。
因此，亟需一种有效的方案以解决上述问题。
发明内容
为解决上述问题，本发明提出一种基于同态加密的预测模型训练方法，包括：
在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；
在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
在本发明的一些实施方式中，在计算节点基于训练数据训练局部预测模型包括：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
在本发明的一些实施方式中，在计算节点基于对训练集投影得到训练子集包括：
定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
在本发明的一些实施方式中，根据所述投影集合确定所述计算节点的训练子集还包括：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
在本发明的一些实施方式中，方法还包括：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
在本发明的一些实施方式中，将所述局部预测模型通过同态加密算法进行加密包括：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
在本发明的一些实施方式中，在服务端将收到的加密后的局部预测模型通过预定计算方式计算全局预测模型包括：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
在本发明的一些实施方式中，在计算节点通过同态加密算法对全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合包括：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；
根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
本发明的另一方面还提出一种基于同态加密的预测模型训练系统，包括：
局部预测模型训练模块，所述局部预测模型训练模块配置用于在计算节点基于训练数据训练局部预测模型，并将所述局部预测模型通过同态加密算法进行加密，将加密后的局部预测模型发送到服务端；
全局预测模型生成模块，所述全局预测模型生成模块配置用于在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
局部预测模型优化模块，所述局部预测模型优化模块配置用于在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
在本发明的一些实施方式中，局部预测模型训练模块进一步配置用于：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
在本发明的一些实施方式中，所述局部预测模型训练模块进一步配置用于：
定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
在本发明的一些实施方式中，局部预测模型训练模块进一步配置用于：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
在本发明的一些实施方式中，局部预测模型训练模块进一步配置用于：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
在本发明的一些实施方式中，局部预测模型训练模块进一步配置用于：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
在本发明的一些实施方式中，全局预测模型生成模块进一步配置用于：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
在本发明的一些实施方式中，局部预测模型优化模块进一步配置用于：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；
根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
本发明的又一方面还提出一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述实施方式中任意一项所述方法的步骤。
本发明的再一方面还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中任意一项所述方法的步骤。
通过本发明提出的一种基于同态加密的预测模型训练方法，将分布式学习中各个计算节点或计算节点上训练得到的局部预测模型在计算节点上根据同态加密模型加密，并将加密后的局部预测模型发送到服务器，服务器直接将加密后的局部预测模型根据同态加密特性进行相乘得到加密的全局预测模型并反馈给计算节点，计算节点解密后对自身的局部预测模型进行优化融合，整个分布式训练过程中仅有加密后的局部预测模型和基于密文的全局预测模型在传输，具有极高的安全性。同时对分布式训练的数据传输带宽和传输延迟都有极高的容忍度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于同态加密的预测模型训练方法的流程示意图；
图2为本发明实施例提供的一种基于同态加密的预测模型训练系统的结构示意图；
图3为本发明实施例提供的一种计算机设备的结构示意图；
图4为本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
本发明旨在解决现有的联邦学习或分布式学习中，各个分布式计算节点之间在模型训练时的模型数据互通问题，联邦学习的优点在于隐私保护，各个计算节点只将模型共享，而各自的训练数据则属于隐私数据不能共享。但处于对数据安全以及隐私安全的需要，模型的安全及隐私性也受到重视，对于一个计算节点来说训练出的模型在一定程度上能反应该计算节点的训练数据的特性或者说该计算节点的训练数据在该领域中对应的设备或者相关数据的状态，当被他人获取到模型时，可通过模型的输出反向推出模型所代表的相关领域的状态。因此将模型共享出去可能也会存在安全隐患或存在被人反推出相关信息的风险。而当前处于安全考虑需要在分布式计算节点之间对模型数据进行加密传输方法中，常用的传统的加密方式包括上世纪80年代提出的混沌加密算法，但是混沌加密并不能保证在服务器端可以直接进行密文运算，而是需要在服务器端对局部传输的模型预测期望和方差的密文进行解密，然后对解密后的模型的参数如期望和方差进行聚合，从而得到全局的预测期望和全局的方差。如果并不希望让服务器知道局部模型，那么又可以进行密文的加减乘除运算，即在即便是服务端也无法获取用户或对应计算节点的模型数据实现模型的联邦学习则成为一个难题。
如图1所示，为解决上述问题，本发明提出一种基于同态加密的预测模型训练方法，包括：
步骤S1、在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；
步骤S2、在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
步骤S3、在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
在本实施例中，在步骤S1中，计算节点是指训练局部预测模型的计算机，一般在一个联邦学习系统中存在多个计算节点。根据自身收集到数据作为训练数据按照对应的业务模型进行训练得到局部预测模型，进一步将基于计算节点的训练数据训练好的局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端。
同态加密算法即Paillier加密算法，Paillier算法的内容如下：
（1）密钥生成：选择两个大素数
Figure 753994DEST_PATH_IMAGE001
，令
Figure 769355DEST_PATH_IMAGE002
,
Figure 474006DEST_PATH_IMAGE003
,它们满 足
Figure 891212DEST_PATH_IMAGE004
。选择
Figure 390326DEST_PATH_IMAGE005
使其满足：
Figure 220879DEST_PATH_IMAGE006
；
将
Figure 604587DEST_PATH_IMAGE007
作为公钥，
Figure 204195DEST_PATH_IMAGE008
作为私钥。
（2）加密：对任意的
Figure 874211DEST_PATH_IMAGE009
，选择随机数
Figure 129743DEST_PATH_IMAGE010
，密文为：
Figure 176197DEST_PATH_IMAGE011
；
（3）解密：对任意的
Figure 630312DEST_PATH_IMAGE012
，明文为：
Figure 346595DEST_PATH_IMAGE013
符号表示：
Figure 214057DEST_PATH_IMAGE014
表示
Figure 673988DEST_PATH_IMAGE015
的最小公倍数，
Figure 248189DEST_PATH_IMAGE016
表示
Figure 525586DEST_PATH_IMAGE015
的最大公约数。
Figure 490131DEST_PATH_IMAGE017
表示集合
Figure 816071DEST_PATH_IMAGE018
。
Figure 41516DEST_PATH_IMAGE019
表示集合
Figure 630760DEST_PATH_IMAGE017
中与
Figure 941655DEST_PATH_IMAGE020
互素元素的集合。对于集合
Figure 71285DEST_PATH_IMAGE021
，定义
Figure 557762DEST_PATH_IMAGE022
上的函数
Figure 911383DEST_PATH_IMAGE023
为：
Figure 912837DEST_PATH_IMAGE024
Figure 518261DEST_PATH_IMAGE025
表示实数空间，
Figure 983878DEST_PATH_IMAGE026
表示
Figure 383766DEST_PATH_IMAGE020
维欧式空间。
Figure 872516DEST_PATH_IMAGE027
表示
Figure 406266DEST_PATH_IMAGE028
的绝对值。
用
Figure 336176DEST_PATH_IMAGE029
表示对明文
Figure 297179DEST_PATH_IMAGE030
的加密，用
Figure 273225DEST_PATH_IMAGE031
表示密文
Figure 954873DEST_PATH_IMAGE032
的解密。以上算法是满足同态 的，也就是对任意的
Figure 395082DEST_PATH_IMAGE033
，有：
Figure 136773DEST_PATH_IMAGE034
所以，如果
Figure 600115DEST_PATH_IMAGE035
，也就有
Figure 475667DEST_PATH_IMAGE036
。容易得到 此性质推广到多个数据相加的结果，也就是，如果
Figure 380169DEST_PATH_IMAGE037
，有
Figure 886237DEST_PATH_IMAGE038
。此加密算法已经被证明是满足语义安全的。因 此，在步骤S1中，在各个计算节点，将其节点自身训练的到的局部预测模型进行加密分别在 各个计算节点得到对应加密后的局部预测模型密文形式的m1，m2，……，mk，（假设有k个计算 节点）。
基于上述原理，在步骤S2中，将所收到的来自计算节点加密后的局部预测模型的 数据当做
Figure 368034DEST_PATH_IMAGE039
，根据上述可知，将加密后的局部模型的密文直接相乘得即可到 加密形式的全局预测模型
Figure 657064DEST_PATH_IMAGE040
。然后将全局预测模型发送给每一个 计算节点。
在步骤S3中，计算节点在收到加密形式的局部预测模型
Figure 806286DEST_PATH_IMAGE041
之后，按照同态加密算法的解密方式对
Figure 483255DEST_PATH_IMAGE041
进行解密得到多个
Figure 593293DEST_PATH_IMAGE039
。并对
Figure 545069DEST_PATH_IMAGE039
求取 平均值得到对应的全局预测模型。然后将全局预测模型与计算节点自身的局部预测模型进 行融合优化。
在本发明的一些实施方式中，在计算节点基于训练数据训练局部预测模型包括：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
在本发明的一些实施方式中，在计算节点基于对训练集投影得到训练子集包括：
定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
在本发明的一些实施方式中，根据所述投影集合确定所述计算节点的训练子集还包括：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
在本实施例中，在一些情况下计算节点收集到的训练数据较多，并且随时间变化会持续增加，需要对训练数据进行进一步简化，故在本实施例中采用投影法获取用于训练局部预测模型的训练数据子集。具体地：
定义两个训练数据点
Figure 752059DEST_PATH_IMAGE042
和
Figure 283752DEST_PATH_IMAGE043
的距离为
Figure 5720DEST_PATH_IMAGE044
，数据点
Figure 964449DEST_PATH_IMAGE042
到集合
Figure 432471DEST_PATH_IMAGE045
的距离为
Figure 513559DEST_PATH_IMAGE046
。定义数据点
Figure 332610DEST_PATH_IMAGE042
到集合
Figure 95030DEST_PATH_IMAGE045
的投影集合为
Figure 807771DEST_PATH_IMAGE047
。
Step 1：考虑每一个计算节点
Figure 669548DEST_PATH_IMAGE048
及其局部训练数据集
Figure 100529DEST_PATH_IMAGE049
，针对一个测试数据
Figure 401061DEST_PATH_IMAGE050
，计算测试数据
Figure 374833DEST_PATH_IMAGE050
到训练集
Figure 266565DEST_PATH_IMAGE049
的投影，标注为：
Figure 388105DEST_PATH_IMAGE051
；
在每一个时刻
Figure 430011DEST_PATH_IMAGE052
，这个局部投影集合
Figure 851765DEST_PATH_IMAGE053
包含有
Figure 383240DEST_PATH_IMAGE054
个投影数据，即
Figure 398601DEST_PATH_IMAGE055
。
Step 2：对每一个计算节点
Figure 368831DEST_PATH_IMAGE048
及其投影集合
Figure 113933DEST_PATH_IMAGE053
，取出每一个投影点，标注 为
Figure 488413DEST_PATH_IMAGE056
。这里下标
Figure 381283DEST_PATH_IMAGE057
表示第
Figure 827308DEST_PATH_IMAGE057
个投影点。然后针对每一个投影点
Figure 99020DEST_PATH_IMAGE056
，找出它的一个邻 域
Figure 34615DEST_PATH_IMAGE058
使得
Figure 24568DEST_PATH_IMAGE059
并且针对
Figure 8705DEST_PATH_IMAGE060
，
Figure 790716DEST_PATH_IMAGE061
，
Figure 506999DEST_PATH_IMAGE062
。这里需要注意，邻 域的个数是可调的，可以实现选取固定。
Step 3：对每一个计算节点
Figure 312144DEST_PATH_IMAGE048
，构造新的训练集合
Figure 162288DEST_PATH_IMAGE063
作为用于 训练局部预测模型的训练子集。
在本发明的一些实施方式中，方法还包括：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
在本实施例中，对于影响训练子集的邻域、数据点之间的距离
Figure 408593DEST_PATH_IMAGE064
、投影集合为
Figure 623674DEST_PATH_IMAGE047
、以及 邻域
Figure 447273DEST_PATH_IMAGE058
均可根据计算节点的运算性能进行灵活设定。当计算节点的性能较好时可适 当地提高上训练子集的大小。
在本发明的一些实施方式中，将所述局部预测模型通过同态加密算法进行加密包括：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
在本发明的一些实施方式中，在服务端将收到的加密后的局部预测模型通过预定计算方式计算全局预测模型包括：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
在本发明的一些实施方式中，在计算节点通过同态加密算法对全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合包括：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；
根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
实施例：
在本实施例中，本发明以高斯过程回归算法作为模型训练算法结合本发明的同态加密训练方法进行说明。
首先，定义目标函数为
Figure 710896DEST_PATH_IMAGE065
，其中
Figure 201920DEST_PATH_IMAGE066
是
Figure 587902DEST_PATH_IMAGE067
维输入空间。不 失一般性，我们假设输出为一维，即
Figure 39743DEST_PATH_IMAGE068
。在时刻
Figure 231690DEST_PATH_IMAGE052
（联邦学习一直处于动态学习中）。给 定
Figure 187007DEST_PATH_IMAGE069
，相应的输出为：
Figure 9470DEST_PATH_IMAGE070
公式（1）。这里
Figure 73241DEST_PATH_IMAGE071
是服从均值为
Figure 678666DEST_PATH_IMAGE072
，方差为
Figure 816386DEST_PATH_IMAGE073
的 高斯概率分布的高斯噪声，即
Figure 872067DEST_PATH_IMAGE074
。定义如下形式的训练集
Figure 32921DEST_PATH_IMAGE075
，其中
Figure 504353DEST_PATH_IMAGE076
是输入数据集合，
Figure 558897DEST_PATH_IMAGE077
是聚合了输出的 列向量。高斯过程回归目标是利用训练集
Figure 660845DEST_PATH_IMAGE075
在测试数据集合
Figure 168050DEST_PATH_IMAGE078
上逼近 函数
Figure 443173DEST_PATH_IMAGE079
。
定义对称正半定的核函数
Figure 493169DEST_PATH_IMAGE080
，即：
Figure 625073DEST_PATH_IMAGE081
；
其中
Figure 760519DEST_PATH_IMAGE082
，
Figure 573755DEST_PATH_IMAGE083
是测度。让
Figure 868470DEST_PATH_IMAGE084
返回一个列向量，使得它的第
Figure 781062DEST_PATH_IMAGE085
个元素等 于
Figure 731700DEST_PATH_IMAGE086
。假设函数
Figure 145364DEST_PATH_IMAGE079
是来自高斯过程先验概率分布的一个采样，这个先验分布的均值 函数为
Figure 169952DEST_PATH_IMAGE087
，核函数是
Figure 846921DEST_PATH_IMAGE088
。那么训练输出和测试输出
Figure 816014DEST_PATH_IMAGE089
服从联合概率分布：
Figure 643156DEST_PATH_IMAGE090
公式(2)；
其中
Figure 912463DEST_PATH_IMAGE091
和
Figure 494754DEST_PATH_IMAGE092
返回由
Figure 92089DEST_PATH_IMAGE093
和
Figure 847555DEST_PATH_IMAGE094
组成的向量，
Figure 909052DEST_PATH_IMAGE095
返回 一个矩阵使得第
Figure 599928DEST_PATH_IMAGE085
行第
Figure 809192DEST_PATH_IMAGE057
列的元素是
Figure 306032DEST_PATH_IMAGE096
。
利用高斯过程的性质，高斯过程回归利用训练集
Figure 894140DEST_PATH_IMAGE075
预测测试数据集
Figure 146129DEST_PATH_IMAGE097
的输出。这个输出
Figure 780373DEST_PATH_IMAGE098
依然服从正态分布，即
Figure 753008DEST_PATH_IMAGE099
，其中：
Figure 585835DEST_PATH_IMAGE100
公式（3)；
在分布式机器学习中，考虑一个网络中有
Figure 618513DEST_PATH_IMAGE101
个计算节点。定义这个集合为
Figure 740053DEST_PATH_IMAGE102
。在每一个时刻
Figure 375434DEST_PATH_IMAGE052
，每一个计算节点
Figure 203712DEST_PATH_IMAGE048
利用局部的训练数据
Figure 735188DEST_PATH_IMAGE103
来预测函数对于测试输入
Figure 875182DEST_PATH_IMAGE097
的输出。其中，
Figure 720778DEST_PATH_IMAGE104
，
Figure 262618DEST_PATH_IMAGE105
。每一个计算节点训练的局部预 测值为：
Figure 637099DEST_PATH_IMAGE106
公式(4)；
如果在联邦学习框架下，每一个计算节点都会将训练好的局部预测
Figure 467652DEST_PATH_IMAGE107
，
Figure 444835DEST_PATH_IMAGE108
发送给服务器。
1.基于对训练集投影的训练子集合构造：
定义两个训练数据点
Figure 247706DEST_PATH_IMAGE042
和
Figure 120984DEST_PATH_IMAGE043
的距离为
Figure 501150DEST_PATH_IMAGE044
，数据点
Figure 145671DEST_PATH_IMAGE042
到集合
Figure 865366DEST_PATH_IMAGE045
的距离为
Figure 706283DEST_PATH_IMAGE046
。定义数据点
Figure 183532DEST_PATH_IMAGE042
到集合
Figure 33676DEST_PATH_IMAGE045
的投影集合为
Figure 607877DEST_PATH_IMAGE047
。
Step 1：考虑每一个计算节点
Figure 760641DEST_PATH_IMAGE048
及其局部训练数据集
Figure 584240DEST_PATH_IMAGE049
，针对一个测试数据
Figure 175758DEST_PATH_IMAGE050
，计算测试数据
Figure 276570DEST_PATH_IMAGE050
到训练集
Figure 724868DEST_PATH_IMAGE049
的投影，标注为：
Figure 176709DEST_PATH_IMAGE109
公式(5)；
在每一个时刻
Figure 306340DEST_PATH_IMAGE052
，这个局部投影集合
Figure 386291DEST_PATH_IMAGE053
包含有
Figure 146437DEST_PATH_IMAGE054
个投影数据，即
Figure 944628DEST_PATH_IMAGE055
。
Step 2：对每一个计算节点
Figure 284474DEST_PATH_IMAGE048
及其投影集合
Figure 687773DEST_PATH_IMAGE053
，取出每一个投影点，标注 为
Figure 477875DEST_PATH_IMAGE056
。这里下标
Figure 638729DEST_PATH_IMAGE057
表示第
Figure 375741DEST_PATH_IMAGE057
个投影点。然后针对每一个投影点
Figure 695864DEST_PATH_IMAGE056
，找出它的一个邻 域
Figure 266653DEST_PATH_IMAGE058
使得
Figure 242700DEST_PATH_IMAGE059
并且针对
Figure 314561DEST_PATH_IMAGE060
，
Figure 364556DEST_PATH_IMAGE061
，
Figure 699723DEST_PATH_IMAGE062
。这里需要注意， 邻域的个数是可调的，可以实现选取固定。
Step 3：对每一个计算节点
Figure 959803DEST_PATH_IMAGE048
，构造新的训练集合
Figure 710721DEST_PATH_IMAGE063
。
2.选择核函数：
一般，核函数选择：
Figure 943119DEST_PATH_IMAGE110
公式(6)。
3.针对每一个计算节点
Figure 980346DEST_PATH_IMAGE048
，在新的训练集
Figure 868667DEST_PATH_IMAGE111
上计算高斯后 验概率分布，即：
Figure 282331DEST_PATH_IMAGE112
公式(7)。
在训练子集
Figure 369236DEST_PATH_IMAGE111
,利用公式(7)得到局部预测
Figure 718309DEST_PATH_IMAGE113
和
Figure 687402DEST_PATH_IMAGE108
。然后将 此局部预测发送给服务器。服务器利用聚合算法对局部预测值进行聚合，给出全局预测。
下面给出基于Paillier同态加密算法的局部模型传输方案以及服务器端密文平均聚合算法。
（一）基于Paillier的局部模型预测加密算法：
Paillier算法的内容如下：
1）密钥生成：选择两个大素数
Figure 108019DEST_PATH_IMAGE001
，令
Figure 987113DEST_PATH_IMAGE002
,
Figure 631721DEST_PATH_IMAGE003
,它们满 足：
Figure 291372DEST_PATH_IMAGE004
。选择
Figure 922205DEST_PATH_IMAGE005
使其满足：
Figure 780440DEST_PATH_IMAGE114
我们将
Figure 736894DEST_PATH_IMAGE007
作为公钥，
Figure 618263DEST_PATH_IMAGE008
作为私钥。
（2）加密：对任意的
Figure 177420DEST_PATH_IMAGE009
，选择随机数
Figure 765527DEST_PATH_IMAGE010
，密文为：
Figure 17517DEST_PATH_IMAGE115
（3）解密：对任意的
Figure 651761DEST_PATH_IMAGE012
，明文为：
Figure 624396DEST_PATH_IMAGE116
。
符号表示：
Figure 457223DEST_PATH_IMAGE014
表示
Figure 817797DEST_PATH_IMAGE015
的最小公倍数，
Figure 345861DEST_PATH_IMAGE016
表示
Figure 512400DEST_PATH_IMAGE015
的最大公约数。
Figure 75100DEST_PATH_IMAGE017
表示集合
Figure 403313DEST_PATH_IMAGE018
。
Figure 746570DEST_PATH_IMAGE019
表示集合
Figure 61007DEST_PATH_IMAGE017
中与
Figure 868427DEST_PATH_IMAGE020
互素元素的集合。对于集合
Figure 570803DEST_PATH_IMAGE021
，定义
Figure 73460DEST_PATH_IMAGE022
上的函数
Figure 316222DEST_PATH_IMAGE023
为：
Figure 119093DEST_PATH_IMAGE117
Figure 992371DEST_PATH_IMAGE025
表示实数空间，
Figure 841379DEST_PATH_IMAGE026
表示
Figure 28778DEST_PATH_IMAGE020
维欧式空间。
Figure 748472DEST_PATH_IMAGE027
表示
Figure 589389DEST_PATH_IMAGE028
的绝对值。
我们用
Figure 801059DEST_PATH_IMAGE029
表示对明文
Figure 651203DEST_PATH_IMAGE030
的加密，用
Figure 897508DEST_PATH_IMAGE031
表示密文
Figure 112588DEST_PATH_IMAGE032
的解密。以上算法是满足同 态的，也就是对任意的
Figure 467346DEST_PATH_IMAGE033
，有：
Figure 465389DEST_PATH_IMAGE118
所以，如果
Figure 159676DEST_PATH_IMAGE035
，也就有
Figure 342395DEST_PATH_IMAGE036
。由此可得 到此性质推广到多个数据相加的结果，也就是，如果
Figure 794236DEST_PATH_IMAGE037
，有
Figure 720604DEST_PATH_IMAGE038
。
此加密算法已经被证明是满足语义安全的。
定义要加密的数据（明文）为
Figure 269397DEST_PATH_IMAGE119
和
Figure 498384DEST_PATH_IMAGE120
，且在
Figure 562155DEST_PATH_IMAGE052
时 刻，
Figure 495476DEST_PATH_IMAGE121
是个常数。将
Figure 570880DEST_PATH_IMAGE119
和
Figure 95402DEST_PATH_IMAGE120
利用Paillier 同态加密算法进行加密，对应的密文为
Figure 521835DEST_PATH_IMAGE122
和
Figure 55585DEST_PATH_IMAGE123
。
（二）基于密文的平均聚合算法：
在时刻t，当服务器接收到计算节点i发送的加密的预测期望
Figure 985495DEST_PATH_IMAGE124
和方差
Figure 884180DEST_PATH_IMAGE123
后，我们进行如下密文相乘运算
Figure 922544DEST_PATH_IMAGE125
和
Figure 881490DEST_PATH_IMAGE126
。然后将密 文的乘积发送回各个计算节点。
（三）利用Paillier解密算法对全局预测密文解密：
解密算法如下公式给出：
Figure 790540DEST_PATH_IMAGE127
；
Figure 125706DEST_PATH_IMAGE128
；
然后，我们进行平均运算：
Figure 261153DEST_PATH_IMAGE129
；
Figure 136705DEST_PATH_IMAGE130
；
这里
Figure 103524DEST_PATH_IMAGE131
是解密后的全局模型预测期望，
Figure 547274DEST_PATH_IMAGE132
是解密后的全局模型预 测方差。n为加密的局部预测模型个数，即各个计算节点的总和。各个计算节点利用全局预 测
Figure 29071DEST_PATH_IMAGE131
和
Figure 318101DEST_PATH_IMAGE132
以及自己局部预测模型
Figure 405006DEST_PATH_IMAGE133
和
Figure 878713DEST_PATH_IMAGE134
进行模型预测优化。
通过本发明提出的一种基于同态加密的预测模型训练方法，将分布式学习中各个计算节点上训练得到的局部预测模型在计算节点上根据同态加密模型加密，并将加密后的局部预测模型发送到服务器，服务器直接将加密后的局部预测模型根据同态加密特性进行相乘得到加密的全局预测模型并反馈给计算节点，计算节点解密后对自身的局部预测模型进行优化融合，整个分布式训练过程中仅有加密后的局部预测模型和基于密文的全局预测模型在传输，具有极高的安全性。同时对分布式训练的数据传输带宽和传输延迟都有极高的容忍度。
同时，本发明提供的方法可广泛应用联邦学习的各个领域，可充分照顾各个领域中不同用户对隐私数据安全的需要，用户的数据以及局部模型都不会被联邦学习提供者（即服务器端）获取，充分保证联邦学习框架下各个参与者的数据隐私和模型隐私。即便被人截取传输链路中的数据也得不到对应的模型。可有效杜绝通过网络手段窃取模型者。对于个人家庭助理等领域的模型共享训练提供安全保障，个人隐私数据和基于个人隐私数据训练的局部预测模型均处于安全保护中。对于提供联邦学习服务者更容易取得用户的信任。
如图2所示，本发明的另一方面还提出一种基于同态加密的预测模型训练系统，包括：
局部预测模型训练模块1，所述局部预测模型训练模块1配置用于在计算节点基于训练数据训练局部预测模型，并将所述局部预测模型通过同态加密算法进行加密，将加密后的局部预测模型发送到服务端；
全局预测模型生成模块2，所述全局预测模型生成模块2配置用于在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
局部预测模型优化模块3，所述局部预测模型优化模块3配置用于在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
在本发明的一些实施方式中，局部预测模型训练模块进一步配置用于：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
在本发明的一些实施方式中，所述局部预测模型训练模块1进一步配置用于：
定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
在本发明的一些实施方式中，局部预测模型训练模块1进一步配置用于：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
在本发明的一些实施方式中，局部预测模型训练模块1进一步配置用于：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
在本发明的一些实施方式中，局部预测模型训练模块1进一步配置用于：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
在本发明的一些实施方式中，全局预测模型生成模块2进一步配置用于：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
在本发明的一些实施方式中，局部预测模型优化模块3进一步配置用于：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；
根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
如图3所示，本发明的又一方面还提出一种计算机设备，包括：
至少一个处理器21；以及
存储器22，所述存储器22存储有可在所述处理器21上运行的计算机指令23，所述指令23由所述处理器21执行时实现上述实施方式中任意一项所述方法的步骤。
如图4所示，本发明的再一方面还提出一种计算机可读存储介质401，所述计算机可读存储介质401存储有计算机程序402，所述计算机程序402被处理器执行时实现上述实施方式中任意一项所述方法的步骤。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解，结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (21)

1.一种基于同态加密的预测模型训练方法，其特征在于，包括：
在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；
在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
2.根据权利要求1所述的方法，其特征在于，所述在计算节点基于训练数据训练局部预测模型包括：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
3.根据权利要求2所述的方法，其特征在于，所述在计算节点基于对训练集投影得到训练子集包括：
定义训练数据点之间的距离并基于所述距离定义数据点到训练数据集合的投影集合；
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
4.根据权利要求3所述的方法，其特征在于，所述根据所述投影集合确定所述计算节点的训练子集还包括：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
6.根据权利要求1所述的方法，其特征在于，所述将所述局部预测模型通过同态加密算法进行加密包括：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
7.根据权利要求1所述的方法，其特征在于，所述在服务端将收到的加密后的局部预测模型通过预定计算方式计算全局预测模型包括：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
8.根据权利要求1所述的方法，其特征在于，所述在计算节点通过同态加密算法对全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合包括：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；
根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
9.一种基于同态加密的预测模型训练系统，其特征在于，包括：
局部预测模型训练模块，在计算节点基于训练数据训练局部预测模型，并将所述局部预测模型通过同态加密算法进行加密，将加密后的局部预测模型发送到服务端；
全局预测模型生成模块，所述全局预测模型生成模块配置用于在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；
局部预测模型优化模块，所述局部预测模型优化模块配置用于在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
10.根据权利要求9所述的系统，其特征在于，所述局部预测模型训练模块进一步配置用于：
在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
11.根据权利要求10所述的系统，其特征在于，所述局部预测模型训练模块进一步配置用于：
定义训练数据点之间的距离并基于所述距离定义数据点到训练数据集合的投影集合。
12.根据权利要求11所述的系统，其特征在于，
通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
13.根据权利要求12所述的系统，其特征在于，所述局部预测模型训练模块进一步配置用于：
响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点。
14.根据权利要求13所述的系统，其特征在于，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
15.根据权利要求14所述的系统，其特征在于，所述局部预测模型训练模块进一步配置用于：
根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
16.根据权利要求9所述的系统，其特征在于，所述局部预测模型训练模块进一步配置用于：
在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
17.根据权利要求9所述的系统，其特征在于，所述全局预测模型生成模块进一步配置用于：
响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
18.根据权利要求9所述的系统，其特征在于，所述局部预测模型优化模块进一步配置用于：
在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型。
19.根据权利要求18所述的系统，其特征在于，根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
20.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-8任意一项所述方法的步骤。
21.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述方法的步骤。
CN202211401730.3A 2022-11-10 2022-11-10 一种基于同态加密的预测模型训练方法、系统、设备及介质 Active CN115664632B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211401730.3A CN115664632B (zh) 2022-11-10 2022-11-10 一种基于同态加密的预测模型训练方法、系统、设备及介质
PCT/CN2023/115580 WO2024098897A1 (zh) 2022-11-10 2023-08-29 一种基于同态加密的预测模型训练方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401730.3A CN115664632B (zh) 2022-11-10 2022-11-10 一种基于同态加密的预测模型训练方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN115664632A true CN115664632A (zh) 2023-01-31
CN115664632B CN115664632B (zh) 2023-03-21

Family

ID=85015340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401730.3A Active CN115664632B (zh) 2022-11-10 2022-11-10 一种基于同态加密的预测模型训练方法、系统、设备及介质

Country Status (2)

Country Link
CN (1) CN115664632B (zh)
WO (1) WO2024098897A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117938355A (zh) * 2024-03-21 2024-04-26 中国信息通信研究院 一种基于区块链的联合预测方法、介质及设备
WO2024098897A1 (zh) * 2022-11-10 2024-05-16 苏州元脑智能科技有限公司 一种基于同态加密的预测模型训练方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
CN113810168A (zh) * 2020-12-30 2021-12-17 京东科技控股股份有限公司 机器学习模型的训练方法、服务器及计算机设备
CN114817958A (zh) * 2022-04-24 2022-07-29 山东云海国创云计算装备产业创新中心有限公司 一种基于联邦学习的模型训练方法、装置、设备及介质
CN115174191A (zh) * 2022-06-30 2022-10-11 山东云海国创云计算装备产业创新中心有限公司 一种局部预测值安全传输方法、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10241992B1 (en) * 2018-04-27 2019-03-26 Open Text Sa Ulc Table item information extraction with continuous machine learning through local and global models
CN115664632B (zh) * 2022-11-10 2023-03-21 苏州浪潮智能科技有限公司 一种基于同态加密的预测模型训练方法、系统、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810168A (zh) * 2020-12-30 2021-12-17 京东科技控股股份有限公司 机器学习模型的训练方法、服务器及计算机设备
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
CN114817958A (zh) * 2022-04-24 2022-07-29 山东云海国创云计算装备产业创新中心有限公司 一种基于联邦学习的模型训练方法、装置、设备及介质
CN115174191A (zh) * 2022-06-30 2022-10-11 山东云海国创云计算装备产业创新中心有限公司 一种局部预测值安全传输方法、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098897A1 (zh) * 2022-11-10 2024-05-16 苏州元脑智能科技有限公司 一种基于同态加密的预测模型训练方法、系统、设备及介质
CN117938355A (zh) * 2024-03-21 2024-04-26 中国信息通信研究院 一种基于区块链的联合预测方法、介质及设备

Also Published As

Publication number Publication date
WO2024098897A1 (zh) 2024-05-16
CN115664632B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110008717B (zh) 支持隐私保护的决策树分类服务系统及方法
CN115664632B (zh) 一种基于同态加密的预测模型训练方法、系统、设备及介质
US20210143987A1 (en) Privacy-preserving federated learning
US20160020898A1 (en) Privacy-preserving ridge regression
CN113221105B (zh) 一种基于部分参数聚合的鲁棒性联邦学习算法
CN110933033B (zh) 智慧城市环境下多物联网域的跨域访问控制方法
CN110730064B (zh) 一种群智感知网络中基于隐私保护的数据融合方法
Asad et al. CEEP-FL: A comprehensive approach for communication efficiency and enhanced privacy in federated learning
JP7422892B2 (ja) 分類の正確さを改善するための機械学習モデリングデータの処理
Tran et al. An efficient privacy-enhancing cross-silo federated learning and applications for false data injection attack detection in smart grids
Tan et al. Residue-based label protection mechanisms in vertical logistic regression
Fu et al. Offline/Online lattice-based ciphertext policy attribute-based encryption
CN116167088A (zh) 一种两方联邦学习中进行隐私保护的方法、系统及终端
Hu et al. Privacy-preserving combinatorial auction without an auctioneer
Liu et al. DHSA: efficient doubly homomorphic secure aggregation for cross-silo federated learning
Shen et al. Verifiable privacy-preserving federated learning under multiple encrypted keys
Li et al. Secure and efficient multi-key aggregation for federated learning
CN112637233B (zh) 一种基于多用户数据的安全求均值方法
Hsu et al. Efficient group key transfer protocol for WSNs
Meraouche et al. Tree Parity Machine-Based Symmetric Encryption: A Hybrid Approach
Ma et al. A Survey on Secure Outsourced Deep Learning
Nandgaonkar et al. A survey on privacy-preserving data aggregation without secure channel
Mun et al. Privacy enhanced data aggregation based on federated learning in Internet of Vehicles (IoV)
Huang et al. A lightweight and efficient raw data collection scheme for IoT systems
Wøien et al. Neural Networks Meet Elliptic Curve Cryptography: A Novel Approach to Secure Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant