CN111814985B - 联邦学习网络下的模型训练方法及其相关设备 - Google Patents
联邦学习网络下的模型训练方法及其相关设备 Download PDFInfo
- Publication number
- CN111814985B CN111814985B CN202010622524.XA CN202010622524A CN111814985B CN 111814985 B CN111814985 B CN 111814985B CN 202010622524 A CN202010622524 A CN 202010622524A CN 111814985 B CN111814985 B CN 111814985B
- Authority
- CN
- China
- Prior art keywords
- node
- gradient information
- model
- information
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Abstract
本申请实施例属于人工智能领域，应用于智慧社区领域中，涉及一种联邦学习网络下的模型训练方法及其相关设备，建立包括中央客户端和多个节点的联邦学习网络，控制节点接收初始化模型作为本地模型，控制节点使用本地数据训练本地模型获得梯度信息；控制中央客户端根据梯度信息生成全局信息；控制节点根据全局信息获得其他节点的梯度信息，使用梯度信息对当前节点的本地模型进行测试，获得准确率，根据准确率调整全局信息，更新当前节点的本地模型；直至模型收敛,获得结果模型；将节点接收的用户数据输入节点对应的结果模型中，获得结果模型输出的推荐信息。各节点的梯度信息可存储于区块链节点中。本申请实现不同节点的本地模型的个性化训练。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及联邦学习网络下的模型训练方法及其相关设备。
背景技术
联邦学习(Federated machine learning)，是指一种机器学习框架，能有效帮助多个节点在满足数据隐私保护和数据安全的要求下，进行数据使用和机器学习建模。
目前，联邦学习的优化方法有FedSGD，FedAvg，FedProx，FedMA，SCAFFOLD等。但这些方法均是在中央客户端进行模型更新，各参与者最后训练的模型基本一致，无法做到个性化训练；在Non-IID(独立同分布)数据分布上有一定损耗，准确率不够高，以及当有一些节点使用无意义的数据恶意参与模型训练时，难以及时有效地辨别出来，容易受到攻击。
发明内容
本申请实施例的目的在于提出一种联邦学习网络下的模型训练方法及其相关设备，实现不同节点的个性化训练，并降低无意义数据对模型训练的影响。
为了解决上述技术问题，本申请实施例提供一种联邦学习网络下的模型训练方法，采用了如下所述的技术方案：
一种联邦学习网络下的模型训练方法，包括下述步骤：
建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型，每个节点分别对本地模型进行多轮更新训练；
直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型；
控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息；
其中，在每轮更新训练中，所述更新训练的过程包括：
控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端；
控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点；
控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整接收到的全局信息，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型；以及
直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛。
进一步的，根据所述准确率调整接收到的全局信息，获得调整后的全局信息的步骤包括：
根据所述准确率获得每个节点的梯度信息在全局信息中的权重；
将所述权重和梯度信息进行加权求和，获得调整后的全局信息。
进一步的，根据所述准确率获得每个节点的梯度信息在全局信息中的权重的步骤包括:
根据所述准确率计算准确率中间值，其中，所述准确率中间值为各准确率的中位数；
通过如下公式计算各节点的梯度信息的权重：
其中，为各节点的梯度信息的权重，/>为上一轮的各节点梯度信息的权重，η为学习率，/>为各节点的准确率，/>为准确率中间值。
进一步的，所述本地数据由训练数据和验证集数据组成，所述分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率的步骤包括：
分别使用每个节点的梯度信息和验证集对当前节点的本地模型进行测试，获得准确率。
进一步的，所述本地数据由训练数据和验证集数据组成，所述控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息的步骤包括：
控制每个所述节点使用训练数据对所述本地模型进行训练，获得每个节点的梯度信息。
进一步的，所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的公钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
所述控制所述中央客户端接收并根据所述梯度信息生成全局信息的步骤包括:
控制所述中央客户端解密所述加密后的梯度信息，获得梯度信息；
根据所述梯度信息生成全局信息。
进一步的，所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的对称密钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
所述控制当前节点接收并根据所述全局信息获得其他节点的梯度信息的步骤包括:
控制当前节点接收所述全局信息；
根据所述全局信息获得加密后的梯度信息；
使用对称密钥解密所述加密后的梯度信息，获得梯度信息。
为了解决上述技术问题，本申请实施例还提供一种联邦学习网络下的模型训练装置，采用了如下所述的技术方案：
一种联邦学习网络下的模型训练装置，包括：
建立模块，用于建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型，每个节点分别对本地模型进行多轮更新训练；
获得模块，用于直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型；
输出模块，用于控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息；
所述建立模块包括训练子模块、生成子模块、调整子模块和判断子模块；
其中，所述训练子模块，用于在每轮更新训练中，控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端；
所述生成子模块，用于在每轮更新训练中，控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点；
所述调整子模块，用于在每轮更新训练中，控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整每个节点的梯度信息在全局信息中的权重，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型；以及
所述判断子模块，用于直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的联邦学习网络下的模型训练方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的联邦学习网络下的模型训练方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
各参与者将获得在更新过程中，能够通过准确率找到与自身数据质量比较相近的其他参与者，最终不同的节点通过个性化训练获得不同的模型；由于通过联邦学习可以达到扩充数据规模的效果，所以本申请在Non-IID(非独立同分布)数据上的效果比较好。当有一些节点使用无意义或者低质量的数据恶意参与模型训练时，通过准确率的计算，及时有效将其辨别出来，并通过降低其影响权重的方法，减少对本地模型的影响，同时提升模型的鲁棒性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的联邦学习网络下的模型训练方法的一个实施例的流程图；
图3是根据本申请的联邦学习网络下的模型训练装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、联邦学习网络下的模型训练装置；301、建立模块；302、获得模块；303、输出模块；3011、训练子模块；3012、生成子模块；3013、调整子模块；3014、判断子模块。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备(101、102、103)，网络104和服务器105。网络104用以在终端设备(101、102、103)和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备(101、102、103)通过网络104与服务器105交互，以接收或发送消息等。终端设备(101、102、103)上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备(101、102、103)可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备(101、102、103)上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的联邦学习网络下的模型训练方法一般由服务器/终端设备执行，相应地，联邦学习网络下的模型训练装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的联邦学习网络下的模型训练方法的一个实施例的流程图。所述的联邦学习网络下的模型训练方法，包括以下步骤：
S1：建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型。
在本实施例中，每个节点分别对本地模型进行多轮更新训练。节点即为联邦学习的参与者，中央客户端初始化模型并下发，各参与者利用本地数据(batch size，一次训练所抓取的数据样本数量)进行训练，获得梯度信息，并将梯度信息发回中央客户端。所有节点的梯度信息为：在为用户提供个性化服务的场景中，主要涉及推荐产品或者服务。智能推荐涉及到的数据特征主要包括用户购买力，用户个人喜好和产品特征。在实际应用中，三个数据特征分散在三个不同的企业中。例如，用户的购买力数据存储于银行，用户个人喜好数据存储于社交网络平台，产品特征数据存储于电子商店平台。中央客户端将初始化模型分别发送给作为节点的银行、社交网络平台和电子商店平台。
在本实施例中，联邦学习网络下的模型训练方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收初始化模型。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wide band)连接、以及其他现在已知或将来开发的无线连接方式。
S2：控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端。
在本实施例中，在每轮更新训练中，控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，通过本地数据训练获得梯度信息，再将梯度信息发送至中央客户端，避免了直接传输本地数据造成的隐私泄露。银行、社交网络平台和电子商店平台分别使用本地存储的包括用户购买力，用户个人喜好和产品特征等数据对本地模型进行训练，获得梯度信息(即模型参数)。
其中，所述本地数据由训练数据和验证集数据组成，在步骤S2中，即所述控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息的步骤包括：
控制每个所述节点使用训练数据对所述本地模型进行训练，获得每个节点的梯度信息。
在本实施例中，本地数据包括训练数据和验证集；本地数据中的70％作为训练数据，30％作为验证集数据。或者本地数据中的80％作为训练数据，20％作为验证集数据。通过训练数据对本地模型进行训练，通过验证集对本地模型进行测试。
S3：控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点。
在本实施例中，中央客户端收到所有节点发送的梯度信息后，将全局信息发回至各节点。所有节点将拥有本轮训练的迭代更新信息；全局信息相当于把所有节点发送来的梯度信息放在一起后传输给各节点。把银行、社交网络平台和电子商店平台传输至中央客户端的梯度信息统一生成全局信息，将全局信息分别发送给银行、社交网络平台和电子商店平台。
其中，在步骤S2中，即所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的公钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
在步骤S3中，即所述控制所述中央客户端接收并根据所述梯度信息生成全局信息的步骤包括：
控制所述中央客户端解密所述加密后的梯度信息，获得梯度信息；
根据所述梯度信息生成全局信息。
在本实施例中，通过在传输过程中设置加密的方式，以保护数据传输的安全性.中央客户端通过使用与公钥对应的私钥解密加密后的梯度信息,获得梯度信息。其中，传输给每个节点的公钥不同，避免某一个节点的公钥被破解，导致其他节点的信息也遭到泄露。
S4：控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整接收到的全局信息，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型。
在本实施例中，通过更新本地模型，作为当前节点的一次训练完成。以银行节点来举例，分别使用社交网络平台和电子商店平台的梯度信息对银行节点的本地模型进行测试，获得对应的准确率。
其中，在步骤S2中，即所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的对称密钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
在步骤S4中，即控制当前节点接收并根据所述全局信息获得其他节点的梯度信息的步骤包括:
控制当前节点接收所述全局信息；
根据所述全局信息获得加密后的梯度信息；
使用对称密钥解密所述加密后的梯度信息，获得梯度信息。
在本实施例中，各节点接收的对称密钥是一样的。中央客户端不对梯度信息进行解密，而是由接收全局信息的节点对梯度信息进行解密，在增加数据传输安全性的同时，减小了中央客户端的负担。
其中，所述本地数据由训练数据和验证集数据组成，在步骤S4中，即所述分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率的步骤包括：
分别使用每个节点的梯度信息和验证集对当前节点的本地模型进行测试，获得准确率。
在本实施例中，分别使用每个节点的梯度信息和验证集对当前节点的本地模型进行测试，以获得各个节点的梯度信息，在当前节点对应的模型中的准确率。例如：当前节点为银行，全局信息中包括有银行、社交网络平台和电子商店平台的梯度信息；分别使用银行的梯度信息和本地验证集数据、社交网络平台的梯度信息和本地验证集数据、电子商店平台的梯度信息和本地验证集数据来测试本地模型，分别获得银行、社交网络平台和电子商店平台的准确率。具体的：验证集数据本身携带有标签，通过将模型的输出结果与标签做比较，获得各节点的梯度信息的准确率。银行中的用户购买力数据一部分作为训练数据，一部分作为验证集数据，用户购买力数据的标签包括购买力高、购买力中和购买力低，通过将银行、社交网络平台和电子商店平台的梯度信息和验证集数据输入至本地模型中，通过本地模型输出购买力的预测结果，与购买力数据标签进行比较，从而确定各节点的梯度信息的准确率。
当然本申请不限于上述场景中，还可以应用于监管等场景，在其中，比如，若本地数据为与违约相关的数据，则验证集数据携带的标签为实际是否违约的结果(违约或未违约)，通过将上述各节点的梯度信息和本地验证集数据输入本地模型中，通过本地模型输出的预测结果(违约或未违约)与实际违约结果之间的一致的数量，从而实现确定各节点的梯度信息的准确率。
进一步地，在步骤S4中，即根据所述准确率调整接收到的全局信息，获得调整后的全局信息的步骤包括：
根据所述准确率获得每个节点的梯度信息在全局信息中的权重；
将所述权重和梯度信息进行加权求和，获得调整后的全局信息。
在本实施例中，根据准确率调整梯度信息在全局信息中的权重，从而实现排除恶意参与模型训练的无意义或者低质量的数据。通过准确率调整权重，使得不真实或不合格数据自然会被过滤掉，只有提供有价值数据的节点才能从具有相似分布的群体中获益。根据获得的银行、社交网络平台和电子商店平台的梯度信息的准确率，调整梯度信息在全局信息中的权重，从而获得调整后的全局信息，用调整后的全局信息更新银行的本地模型。获得全局信息调整后的本地模型，实现了通过分别来自银行、社交网络平台和电子商店平台的用户购买力，用户个人喜好和产品特征数据进行训练。
其中，根据所述准确率获得每个节点的梯度信息在全局信息中的权重的步骤包括:
根据所述准确率计算准确率中间值，其中，所述准确率中间值为各准确率的中位数；
通过如下公式计算各节点的梯度信息的权重：
其中，为各节点的梯度信息的权重，/>为上一轮的各节点梯度信息的权重，η为学习率，/>为各节点的准确率，/>为准确率中间值。
在本实施例中，η为学习率(learning rate)，通过调整学习率从而调整模型的更新速度，η的数值越大，模型的更新速度越快，在实际使用过程中，η的具体数值可以根据实际情况进行调整。计算准确率中位数作为准确率中间值，根据公式分别计算银行、社交网络平台和电子商店平台的梯度信息的权重，根据权重结果和梯度信息生成新的全局信息，使用新的全局信息更新本地模型。其中，为本轮各节点的梯度信息的权重，/>为上一轮的各节点梯度信息的权重。
需要说明的是，当本轮为第一轮时，本轮各节点的梯度信息的权重的计算公式为：i为各节点，t为本轮，t-1为上一轮。
S5：直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛。
在本实施例中，在当前轮(第t轮)的所有节点的更新训练完成后，判断各节点对应的本地模型是否收敛，以确定模型训练是否完成,避免模型未收敛而结束训练,引起后续使用模型时输出结果不准确的情况。当银行、社交网络平台节点和电子商店平台都完成本轮的更新训练后,判断银行、社交网络平台节点和电子商店平台的本地模型是否收敛.
S6：直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型。
在本实施例中，确定更新后的各节点的本地模型是否收敛，若收敛，则结束模型训练过程，分别获得各节点的结果模型，若未收敛，则继续进行迭代训练,以实现获得收敛后的模型,使得模型使用的效果好。直到银行、社交网络平台和电子商店平台的本地模型都收敛,则可以实现通过使用结果模型对用户进行个性化推荐，其中，银行、社交网络平台和电子商店平台对应的结果模型可能相同也可能不同，结果模型是否相同，由各节点提供的训练数据的情况和每轮迭代时不同节点的梯度信息对应的准确率决定。
在本实施例中，所有节点同时重复步骤S2至S4，直至所有节点全部更新完毕，进入下一轮迭代，直至各本地模型收敛。
S7:控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息。
在本实施例中，通过涉及用户购买力，用户个人喜好和产品特征等不同维度的数据，训练得到结果模型，将用户数据输入结果模型中及能够获得针对性和准确率都较高的推荐信息，通过使用结果模型输出推荐信息，在保证模型训练过程中不同节点对应的本地数据的隐私性的同时，提升了推荐信息的准确性。本申请的训练方式和获得的结果模型，可以应用于个性化推荐信息场景中，通过将接受到的用户数据输入结果模型，获得结果模型输出的推荐信息。当然，也可以应用于政务，管理，医疗等领域，具体的，在医院场景中，通过不同节点提供的患者的不同维度的数据训练本地模型，获得结果模型，将医院的患者数据输入结果模型中，获得结果模型输出的诊断信息。
需要强调的是，为进一步保证上述梯度信息的私密和安全性，上述梯度信息还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Block chain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可应用于智慧社区领域中，从而推动智慧城市的建设。
各参与者将获得在更新过程中，能够通过准确率找到与自身数据质量比较相近的其他参与者，最终不同的节点通过个性化训练获得不同的模型；由于通过联邦学习可以达到扩充数据规模的效果，所以本申请在Non-IID(非独立同分布)数据上的效果比较好。当有一些节点使用无意义或者低质量的数据恶意参与模型训练时，通过准确率的计算，及时有效将其辨别出来，并通过降低其影响权重的方法，减少对本地模型的影响，同时提升模型的鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种联邦学习网络下的模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的联邦学习网络下的模型训练装置300包括：建立模块301、获得模块302和输出模块303，所述建立模块301包括训练子模块3011、生成子模块3012、调整子模块3013和判断子模块3014。其中：建立模块301，用于建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型；训练子模块3011，用于在每轮更新训练中，控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端；生成子模块3012，用于在每轮更新训练中，控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点；调整子模块3013，用于在每轮更新训练中，控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整每个节点的梯度信息在全局信息中的权重，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型。所述判断子模块3014，用于直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛；获得模块302，用于直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型；输出模块303，用于控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息；。
在本实施例中，各参与者将获得在更新过程中，能够通过准确率找到与自身数据质量比较相近的其他参与者，最终不同的节点通过个性化训练获得不同的模型；由于通过联邦学习可以达到扩充数据规模的效果，所以本申请在Non-IID(非独立同分布)数据上的效果比较好。当有一些节点使用无意义或者低质量的数据恶意参与模型训练时，通过准确率的计算，及时有效将其辨别出来，并通过降低其影响权重的方法，减少对本地模型的影响，同时提升模型的鲁棒性。
在本实施例的一些可选的实现方式中，所述本地数据由训练数据和验证集数据组成，上述训练子模块3011进一步用于：控制每个所述节点使用训练数据对所述本地模型进行训练，获得每个节点的梯度信息。
所述训练子模块3011包括第一加密单元和第一传输单元，所述第一加密单元用于将所述梯度信息使用所述中央客户端预先传输的公钥进行加密。所述第一传输单元用于将所述加密后的梯度信息发送至所述中央客户端。所述生成子模块3012包括解密单元和生成单元，所述解密单元用于控制所述中央客户端解密所述加密后的梯度信息，获得梯度信息；所述生成单元用于根据所述梯度信息生成全局信息。
所述训练子模块3011还包括第二加密单元和第二传输单元，所述第二加密单元用于将所述梯度信息使用所述中央客户端预先传输的对称密钥进行加密；所述第二传输单元用于将所述加密后的梯度信息发送至所述中央客户端；所述调整子模块3013包括接收单元、第一获取单元和第二获取单元，所述接收单元用于控制当前节点接收所述全局信息；所述第一获取单元用于根据所述全局信息获得加密后的梯度信息；所述第二获取单元用于使用对称密钥解密所述加密后的梯度信息，获得梯度信息。
在本实施例的一些可选的实现方式中，所述本地数据由训练数据和验证集数据组成，所述调整子模块3013还用于分别使用每个节点的梯度信息和验证集对当前节点的本地模型进行测试，获得准确率。
所述调整子模块3013还包括第三获取单元和加权单元。所述第三获取单元用于根据所述准确率获得每个节点的梯度信息在全局信息中的权重；所述加权单元用于将所述权重和梯度信息进行加权求和，获得调整后的全局信息。
所述第三获取单元包括第一计算子单元和第二子计算单元，所述第一计算子单元用于根据所述准确率计算准确率中间值，其中，所述准确率中间值为各准确率的中位数。所述第二计算子单元用于通过如下公式计算各节点的梯度信息的权重：其中，/>为各节点的梯度信息的权重，/>为上一轮的各节点梯度信息的权重，η为学习率，/>为各节点的准确率，/>为准确率中间值。。
各参与者将获得在更新过程中，能够通过准确率找到与自身数据质量比较相近的其他参与者，最终不同的节点通过个性化训练获得不同的模型；由于通过联邦学习可以达到扩充数据规模的效果，所以本申请在Non-IID(非独立同分布)数据上的效果比较好。当有一些节点使用无意义或者低质量的数据恶意参与模型训练时，通过准确率的计算，及时有效将其辨别出来，并通过降低其影响权重的方法，减少对本地模型的影响，同时提升模型的鲁棒性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如联邦学习网络下的模型训练方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述联邦学习网络下的模型训练方法的计算机可读指令。
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
在本实施例中，不同的节点通过个性化训练获得不同的模型，降低无意义数据对模型训练的影响，本申请提供的计算机设备执行如上述的联邦学习网络下的模型训练方法的步骤时，具有与上述方法实施例提供的联邦学习网络下的模型训练方法相应的有益效果。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的联邦学习网络下的模型训练方法的步骤。
在本实施例中，不同的节点通过个性化训练获得不同的模型，降低无意义数据对模型训练的影响，本申请提供的计算机可读存储介质中存储的计算机可读指令被执行时执行如上述的联邦学习网络下的模型训练方法的步骤，具有与上述方法实施例提供的联邦学习网络下的模型训练方法相应的有益效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种联邦学习网络下的模型训练方法，其特征在于，包括下述步骤：
建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型，每个节点分别对本地模型进行多轮更新训练；
直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型；
控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息；所述用户数据包括用户购买力、用户个人喜好和产品特征；
其中，在每轮更新训练中，所述更新训练的过程包括：
控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端；
控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点；
控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整接收到的全局信息，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型；以及
直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛。
2.根据权利要求1所述的联邦学习网络下的模型训练方法，其特征在于，根据所述准确率调整接收到的全局信息，获得调整后的全局信息的步骤包括：
根据所述准确率获得每个节点的梯度信息在全局信息中的权重；
将所述权重和梯度信息进行加权求和，获得调整后的全局信息。
3.根据权利要求2所述的联邦学习网络下的模型训练方法，其特征在于，根据所述准确率获得每个节点的梯度信息在全局信息中的权重的步骤包括:
根据所述准确率计算准确率中间值，其中，所述准确率中间值为各准确率的中位数；
通过如下公式计算各节点的梯度信息的权重：
；
其中，为各节点的梯度信息的权重，/>为上一轮的各节点梯度信息的权重，/>为学习率，/>为各节点的准确率，/>为准确率中间值。
4.根据权利要求1所述的联邦学习网络下的模型训练方法，其特征在于，所述本地数据由训练数据和验证集数据组成，所述分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率的步骤包括：
分别使用每个节点的梯度信息和验证集对当前节点的本地模型进行测试，获得准确率。
5.根据权利要求1所述的联邦学习网络下的模型训练方法，其特征在于，所述本地数据由训练数据和验证集数据组成，所述控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息的步骤包括：
控制每个所述节点使用训练数据对所述本地模型进行训练，获得每个节点的梯度信息。
6.根据权利要求1至5任意一项所述的联邦学习网络下的模型训练方法，其特征在于，所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的公钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
所述控制所述中央客户端接收并根据所述梯度信息生成全局信息的步骤包括:
控制所述中央客户端解密所述加密后的梯度信息，获得梯度信息；
根据所述梯度信息生成全局信息。
7.根据权利要求1至5任意一项所述的联邦学习网络下的模型训练方法，其特征在于，所述将所述梯度信息发送至所述中央客户端的步骤包括：
将所述梯度信息使用所述中央客户端预先传输的对称密钥进行加密；
将所述加密后的梯度信息发送至所述中央客户端；
所述控制当前节点接收并根据所述全局信息获得其他节点的梯度信息的步骤包括:
控制当前节点接收所述全局信息；
根据所述全局信息获得加密后的梯度信息；
使用对称密钥解密所述加密后的梯度信息，获得梯度信息。
8.一种联邦学习网络下的模型训练装置，其特征在于，包括：
建立模块，用于建立联邦学习网络，所述联邦学习网络包括中央客户端和多个节点，控制每个所述节点接收中央客户端下发的初始化模型，作为本地模型，每个节点分别对本地模型进行多轮更新训练；
获得模块，用于直至更新训练后各节点对应的本地模型收敛，各节点分别获得结果模型；
输出模块，用于控制所述节点接收用户数据，并输入到所述节点对应的所述结果模型中，获得所述结果模型输出的推荐信息；所述用户数据包括用户购买力、用户个人喜好和产品特征；
所述建立模块包括训练子模块、生成子模块、调整子模块和判断子模块；
其中，所述训练子模块，用于在每轮更新训练中，控制每个所述节点使用节点对应的本地数据对所述本地模型进行训练，获得每个节点的梯度信息，并将所述梯度信息发送至所述中央客户端；
所述生成子模块，用于在每轮更新训练中，控制所述中央客户端接收并根据所述梯度信息生成全局信息，将所述全局信息发送至各节点；
所述调整子模块，用于在每轮更新训练中，控制当前节点接收并根据所述全局信息获得其他节点的梯度信息，分别使用每个节点的梯度信息对当前节点的本地模型进行测试，获得准确率，根据所述准确率调整每个节点的梯度信息在全局信息中的权重，获得调整后的全局信息，并使用所述调整后的全局信息更新当前节点的本地模型；以及
所述判断子模块，用于直至完成当前轮全部节点更新训练，判断各节点对应的本地模型是否收敛。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的联邦学习网络下的模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的联邦学习网络下的模型训练方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622524.XA CN111814985B (zh) | 2020-06-30 | 2020-06-30 | 联邦学习网络下的模型训练方法及其相关设备 |
| PCT/CN2020/111428 WO2021120676A1 (zh) | 2020-06-30 | 2020-08-26 | 联邦学习网络下的模型训练方法及其相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622524.XA CN111814985B (zh) | 2020-06-30 | 2020-06-30 | 联邦学习网络下的模型训练方法及其相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814985A CN111814985A (zh) | 2020-10-23 |
| CN111814985B true CN111814985B (zh) | 2023-08-29 |
Family
ID=72856661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010622524.XA Active CN111814985B (zh) | 2020-06-30 | 2020-06-30 | 联邦学习网络下的模型训练方法及其相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111814985B (zh) |
| WO (1) | WO2021120676A1 (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288097B (zh) * | 2020-10-29 | 2024-04-02 | 平安科技（深圳）有限公司 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
| CN112257876B (zh) * | 2020-11-15 | 2021-07-30 | 腾讯科技（深圳）有限公司 | 联邦学习方法、装置、计算机设备及介质 |
| CN112381000A (zh) * | 2020-11-16 | 2021-02-19 | 深圳前海微众银行股份有限公司 | 基于联邦学习的人脸识别方法、装置、设备及存储介质 |
| CN112465786A (zh) * | 2020-12-01 | 2021-03-09 | 平安科技（深圳）有限公司 | 模型训练方法、数据处理方法、装置、客户端及存储介质 |
| CN112733181B (zh) * | 2020-12-18 | 2023-09-15 | 平安科技（深圳）有限公司 | 一种产品推荐方法、系统、计算机设备及存储介质 |
| CN112256786B (zh) * | 2020-12-21 | 2021-04-16 | 北京爱数智慧科技有限公司 | 多模态数据处理方法和装置 |
| CN113807544B (zh) * | 2020-12-31 | 2023-09-26 | 京东科技控股股份有限公司 | 一种联邦学习模型的训练方法、装置及电子设备 |
| CN112732297B (zh) * | 2020-12-31 | 2022-09-27 | 平安科技（深圳）有限公司 | 联邦学习模型的更新方法、装置、电子设备及存储介质 |
| CN114721501A (zh) * | 2021-01-06 | 2022-07-08 | 微软技术许可有限责任公司 | 在虚拟空间中嵌入数字内容 |
| CN112686385B (zh) * | 2021-01-07 | 2023-03-07 | 中国人民解放军国防科技大学 | 面向多站点三维影像的联邦深度学习方法及系统 |
| CN112885337A (zh) * | 2021-01-29 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN112936304B (zh) * | 2021-02-02 | 2022-09-16 | 浙江大学 | 一种自演进式服务机器人系统及其学习方法 |
| CN112860800A (zh) * | 2021-02-22 | 2021-05-28 | 深圳市星网储区块链有限公司 | 基于区块链和联邦学习的可信网络应用方法和装置 |
| CN113158550B (zh) * | 2021-03-24 | 2022-08-26 | 北京邮电大学 | 一种联邦学习方法、装置、电子设备及存储介质 |
| CN113077056A (zh) * | 2021-03-29 | 2021-07-06 | 上海嗨普智能信息科技股份有限公司 | 基于横向联邦学习的数据处理系统 |
| US20240005341A1 (en) * | 2021-05-08 | 2024-01-04 | Asiainfo Technologies (China), Inc. | Customer experience perception based on federated learning |
| CN113378994B (zh) * | 2021-07-09 | 2022-09-02 | 浙江大学 | 一种图像识别方法、装置、设备及计算机可读存储介质 |
| CN113705825A (zh) * | 2021-07-16 | 2021-11-26 | 杭州医康慧联科技股份有限公司 | 适用于多方使用的数据模型共享方法 |
| CN113283185B (zh) * | 2021-07-23 | 2021-11-12 | 平安科技（深圳）有限公司 | 联邦模型训练、客户画像方法、装置、设备及介质 |
| CN113591145B (zh) * | 2021-07-28 | 2024-02-23 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
| CN113806735A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种执行与评价双网络个性化联邦学习入侵检测方法及系统 |
| CN113723619A (zh) * | 2021-08-31 | 2021-11-30 | 南京大学 | 一种基于训练阶段感知策略的联邦学习训练方法 |
| CN113837397B (zh) * | 2021-09-27 | 2024-02-02 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置及相关设备 |
| CN114048780A (zh) * | 2021-11-15 | 2022-02-15 | 中国科学院深圳先进技术研究院 | 基于联邦学习的脑电信号分类模型训练方法及装置 |
| CN114398949A (zh) * | 2021-12-13 | 2022-04-26 | 鹏城实验室 | 一种脉冲神经网络模型的训练方法、存储介质及计算设备 |
| CN114510652B (zh) * | 2022-04-20 | 2023-04-07 | 宁波大学 | 一种基于联邦学习的社交协同过滤推荐方法 |
| CN114817958B (zh) * | 2022-04-24 | 2024-03-29 | 山东云海国创云计算装备产业创新中心有限公司 | 一种基于联邦学习的模型训练方法、装置、设备及介质 |
| CN114913390A (zh) * | 2022-05-06 | 2022-08-16 | 东南大学 | 基于条件gan的数据增广改善个性化联邦学习性能方法 |
| CN114741611B (zh) * | 2022-06-08 | 2022-10-14 | 杭州金智塔科技有限公司 | 联邦推荐模型训练方法以及系统 |
| CN115622800A (zh) * | 2022-11-30 | 2023-01-17 | 山东区块链研究院 | 基于中国剩余表示的联邦学习同态加密系统及方法 |
| CN116828453B (zh) * | 2023-06-30 | 2024-04-16 | 华南理工大学 | 基于自适应非线性函数的无人机边缘计算隐私保护方法 |
| CN117151208B (zh) * | 2023-08-07 | 2024-03-22 | 大连理工大学 | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 |
| CN116958149B (zh) * | 2023-09-21 | 2024-01-12 | 湖南红普创新科技发展有限公司 | 医疗模型训练方法、医疗数据分析方法、装置及相关设备 |
| CN117395083B (zh) * | 2023-12-11 | 2024-03-19 | 东信和平科技股份有限公司 | 基于联邦学习的数据保护方法及系统 |
| CN117398662B (zh) * | 2023-12-15 | 2024-03-12 | 苏州海易泰克机电设备有限公司 | 基于生理采集信息的三自由度旋转训练参数控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
| WO2020029590A1 (zh) * | 2018-08-10 | 2020-02-13 | 深圳前海微众银行股份有限公司 | 基于联邦训练的样本预测方法、装置及存储介质 |
| CN110874484A (zh) * | 2019-10-16 | 2020-03-10 | 众安信息技术服务有限公司 | 基于神经网络和联邦学习的数据处理方法和系统 |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN111212110A (zh) * | 2019-12-13 | 2020-05-29 | 清华大学深圳国际研究生院 | 一种基于区块链的联邦学习系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10270599B2 (en) * | 2017-04-27 | 2019-04-23 | Factom, Inc. | Data reproducibility using blockchains |
| CN110490738A (zh) * | 2019-08-06 | 2019-11-22 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN110572253B (zh) * | 2019-09-16 | 2023-03-24 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN111190487A (zh) * | 2019-12-30 | 2020-05-22 | 中国科学院计算技术研究所 | 一种建立数据分析模型的方法 |
-
2020
- 2020-06-30 CN CN202010622524.XA patent/CN111814985B/zh active Active
- 2020-08-26 WO PCT/CN2020/111428 patent/WO2021120676A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029590A1 (zh) * | 2018-08-10 | 2020-02-13 | 深圳前海微众银行股份有限公司 | 基于联邦训练的样本预测方法、装置及存储介质 |
| CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
| CN110874484A (zh) * | 2019-10-16 | 2020-03-10 | 众安信息技术服务有限公司 | 基于神经网络和联邦学习的数据处理方法和系统 |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN111212110A (zh) * | 2019-12-13 | 2020-05-29 | 清华大学深圳国际研究生院 | 一种基于区块链的联邦学习系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021120676A1 (zh) | 2021-06-24 |
| CN111814985A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814985B (zh) | 联邦学习网络下的模型训练方法及其相关设备 | |
| CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
| CN113159327B (zh) | 基于联邦学习系统的模型训练方法、装置、电子设备 | |
| WO2021179720A1 (zh) | 基于联邦学习的用户数据分类方法、装置、设备及介质 | |
| US20230078061A1 (en) | Model training method and apparatus for federated learning, device, and storage medium | |
| Chen et al. | Propensity score-integrated composite likelihood approach for augmenting the control arm of a randomized controlled trial by incorporating real-world data | |
| CN112508118B (zh) | 针对数据偏移的目标对象行为预测方法及其相关设备 | |
| CN112347500B (zh) | 分布式系统的机器学习方法、装置、系统、设备及存储介质 | |
| WO2022174491A1 (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
| CN110378474A (zh) | 对抗样本生成方法、装置、电子设备和计算机可读介质 | |
| WO2021174877A1 (zh) | 基于智能决策的目标检测模型的处理方法、及其相关设备 | |
| CN112039702B (zh) | 基于联邦学习和相互学习的模型参数训练方法及装置 | |
| CN110209994A (zh) | 基于同态加密的矩阵分解推荐方法 | |
| CN111553443A (zh) | 裁判文书处理模型的训练方法、训练装置和电子设备 | |
| KR20210046129A (ko) | 학습 콘텐츠 추천 방법 및 장치 | |
| CN112733181B (zh) | 一种产品推荐方法、系统、计算机设备及存储介质 | |
| Yin et al. | Application of internet of things data processing based on machine learning in community sports detection | |
| CN117094773A (zh) | 基于区块链隐私计算的在线迁移学习方法及系统 | |
| CN112507141A (zh) | 调查任务生成方法、装置、计算机设备及存储介质 | |
| CN112434746A (zh) | 基于层次化迁移学习的预标注方法及其相关设备 | |
| CN116578774A (zh) | 一种预估排序方法、装置、计算机设备及存储介质 | |
| CN116681045A (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
| WO2023196456A1 (en) | Adaptive wellness collaborative media system | |
| CN113033209B (zh) | 文本关系抽取方法、装置、存储介质及计算机设备 | |
| CN115099875A (zh) | 基于决策树模型的数据分类方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |