CN112100295A - 基于联邦学习的用户数据分类方法、装置、设备及介质 - Google Patents
基于联邦学习的用户数据分类方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112100295A CN112100295A CN202011085715.3A CN202011085715A CN112100295A CN 112100295 A CN112100295 A CN 112100295A CN 202011085715 A CN202011085715 A CN 202011085715A CN 112100295 A CN112100295 A CN 112100295A
- Authority
- CN
- China
- Prior art keywords
- local model
- channel
- matrix
- gradient matrix
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 165
- 238000012549 training Methods 0.000 claims abstract description 108
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 210000002569 neuron Anatomy 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及信息安全技术领域，揭露一种基于联邦学习的用户数据分类方法、装置、设备及介质，其中方法包括获取训练数据，并通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度,生成梯度矩阵，将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵；选择参数非零目标梯度矩阵，作为服务器的权重；根据服务器的权重，对本地模型进行更新，并根据更新后的本地模型对用户数据进行分类。本申请还涉及区块链技术，训练数据存储于区块链中。本申请通过生成更新后的本地模型，实现在用户数据分类时，保护用户隐私数据安全。
Description
技术领域
本申请涉及信息安全技术领域，尤其涉及基于联邦学习的用户数据分类方法、装置、设备及介质。
背景技术
一方面随着法律法规的不断完善以及监控的不断加强，数据的集中式处理将面临巨大的法律风险；另一方面各个数据拥有方之间出于安全、经济利益等因素不愿意共享原始数据。这些因素都会导致数据以孤岛的形式存在。为了打破数据孤岛，联邦学习应运而生。联邦学习无须各数据拥有方共享原始数据，可以在保证安全性的条件下，充分地利用各数据拥有方的原始数据进行模型训练，有效解决了人工智能时代的数据孤岛问题。
目前基于联邦学习的用户数据分类方法为：通过服务器节点将待训练模型下发至多个工作节点，各工作节点基于各自所拥有的数据对接收到的待训练模型进行训练，并将训练好的模型参数回传至服务器节点，服务器节点根据接收到的各工作节点的模型参数对待训练模型进行更新，然后重复上述过程直至待训练模型满足预设的性能指标，再通过符合预设性能指标的训练模型对用户数据进行分类。但是，在这种分类方法过程中，训练数据都共享给执行分析的中央服务器，而提供数据的用户则无法对其进行控制，这样存在用户数据泄露的风险。现亟需一种在对用户数据进行分类时，能够保护用户隐私数据安全的方法。
发明内容
本申请实施例的目的在于提出一种基于联邦学习的用户数据分类方法，在进行用户数据分类时，以提高用户隐私数据的安全性。
为了解决上述技术问题，本申请实施例提供一种基于联邦学习的用户数据分类方法，包括：
获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵；
计算所述梯度矩阵的通道的欧几里得范数，得到计算结果，并将所述计算结果以张量的形式进行保存；
将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩阵，其中，所述通道对应有所述训练数据的处理生成后的梯度矩阵；
选择参数非零的所述目标梯度矩阵，作为服务器的权重；
根据所述服务器的权重，对所述本地模型进行更新,得到更新后的本地模型；
基于所述更新后的本地模型，对用户数据进行分类。
进一步的，所述获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵包括：
获取用户数据，并对所述用户数据进行解析，得到本地模型的通用用户，并获取所述通用用户的对应数据，作为所述训练数据；
通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成得到梯度矩阵。
进一步的，所述将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩包括：
将所述计算结果转化为一阶张量的形式，并将所述计算结果进行排序，得到排序结果；
计算所述预先设定的上载速率的分位数，得到上载速率的分位数；
将所述上载速率的分位数作为通道选择阈值，选择所述排序结果中符合所述通道选择阈值的通道，作为目标通道；
获取所述目标通道中的梯度矩阵，将所述目标通道中的梯度矩阵作为所述目标梯度矩阵。
进一步的，所述将所述分位数结果作为通道选择阈值，选择所述排序结果中符合所述通道选择阈值的通道，作为目标通道包括：
在所述排序结果中，选择高于所述上载速率的分位数且其他参数为零的通道，作为所述目标通道。
进一步的，所述根据所述服务器的权重，对所述本地模型进行更新包括：
将所述服务器的权重传送到本地模型中，并通过服务器的权重对所述梯度矩阵进行更新，得到更新矩阵；
通过所述更新矩阵对所述本地模型进行更新。
进一步的，在所述将所述服务器的权重传送到本地模型中，并通过服务器的权重对所述梯度矩阵进行更新，得到更新矩阵之前，所述方法包括：
通过线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建人工神经网络；
通过所述人工神经网络对连接层的神经元进行死亡率的预测，其中，每两个神经元间的连接都代表一个对于通过所述连接层的服务器权重。
进一步的，将所述训练数据存储于区块链中。
为了解决上述技术问题，本申请实施例提供一种基于联邦学习的用户数据分类装置，包括：
梯度矩阵获取模块，用于获取训练数据，并通过所述训练数据训练本地模型，得到梯度矩阵，其中，梯度矩阵显示每个训练循环期间权重矩阵的变化；
计算结果获取模块，用于获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵；
梯度矩阵更新模块，用于将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩阵，其中，所述通道对应有所述训练数据的处理生成后的梯度矩阵；
服务器的权重模块，用于选择参数非零的所述目标梯度矩阵，作为服务器的权重；
本地模块更新模块，用于根据所述服务器的权重，对所述本地模型进行更新,得到更新后的本地模型；
用户数据分类模块，用于基于所述更新后的本地模型，对用户数据进行分类。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于联邦学习的用户数据分类方案。
为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于联邦学习的用户数据分类方案。
以上方案中的一种基于联邦学习的用户数据分类方法，通过获取训练数据，并通过训练数据训练本地模型，得到梯度矩阵，并计算梯度矩阵的通道的欧几里得范数，得到计算结果，并将计算结果以张量的形式进行保存，便于后续对计算结果进行筛选更新，然后根据将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵，便于从本地模型向服务器上载了渐变中的一部分通道，并在数据集上上传了部分的通道而不是全部通道获得了更好的性能，在保护隐私的同时减少了梯度的冗余性；最后选择参数非零的目标梯度矩阵，作为服务器的权重，并根据服务器的权重，对本地模型进行更新,得到更新后的本地模型，最后基于更新后的本地模型，对用户数据进行分类。实现在联邦学习训练过程中，将部分权重上传到服务器，而无需将全部权重上传，使得更新后的本地模型在进行用户分类时，减少对用户数据的访问，进而有利于保护用户隐私数据的安全。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于联邦学习的用户数据分类方法的应用环境示意图；
图2根据本申请实施例提供的基于联邦学习的用户数据分类方法的一实现流程图；
图3是本申请实施例提供的基于联邦学习的用户数据分类方法中步骤S3的一实现流程图；
图4是本申请实施例提供的基于联邦学习的用户数据分类装置示意图；
图5是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的一种基于联邦学习的用户数据分类方法一般由服务器执行，相应地，一种基于联邦学习的用户数据分类装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参阅图2，图2示出了基于联邦学习的用户数据分类方法的一种具体实施方式。
需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限，该方法包括如下步骤：
S1：获取训练数据，通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成梯度矩阵。
具体的，对于联邦学习而言，其过程分为自治和联合两部分。其自治的部分：首先，两个或两个以上的的参与方们在各自终端安装初始化的模型，每个参与方拥有相同的模型，之后参与方们可以使用当地的数据训练模型。由于参与方们拥有不同的数据，最终终端所训练的模型也拥有不同的模型参数。联合的部分：不同的模型参数将同时上传到服务器，服务器将完成模型参数的聚合与更新，并且将更新好的参数返回到参与方的终端，各个终端开始下一次的迭代。以上的程序会一直重复，直到整个训练过程的收敛。在本实施例中，上述参与方为本实施例的本地模型，所以在本地模型的训练过程中，首先会获取各自的训练数据，进行本地模型的训练。
具体的，每一个本地模型在获取到训练数据后，进行训练本地模型，每个本地模型都会生成一个梯度矩阵，该梯度矩阵用以显示每个训练循环期间权重矩阵的变化。例如，将梯度矩阵表示为G，并且与权重矩阵W具有相同的形状。由于与权重矩阵相比，偏差矩阵的影响微不足道，因此出于效率考虑，省略了偏差的变化。由于是忽略了偏差矩阵的影响，故而在本实施例中，通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成梯度矩阵。
S2：计算梯度矩阵的通道的欧几里得范数，得到计算结果，并将计算结果以张量的形式进行保存。
具体的，考虑到通道必须穿过每一层的神经元并与包含这些神经元索引的L维向量相关，因此，计算结果可以以张量的形式进行保存，其中，每个元素其中等于渠道规范。
其中，欧几里得度量(euclidean metric)(也称欧氏距离)是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。所以欧几里得范数为欧几里得度量相关联的范数，简称L2范数。在本实施例中，通过计算通道的欧几里得范数，便于后续对通道的筛选，进而获取到更新后的梯度矩阵。
其中，计算结果为梯度矩阵的每个通道的欧几里得范数。
其中，张量(Tensor)是一个定义在一些向量空间和一些对偶空间的笛卡儿积上的多重线性映射，其坐标是|n|维空间内，有|n|个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。不同维度的张量代表这不同的含义，0维张量表示一个标量，标量是一个数字；1维张量代表向量，1维张量称为“向量”；2维张量表示为矩阵；3维张量表示公用数据存储在张量，如时间序列数据、股价、文本数据彩色图片(RGB)。在本实施例中，通过将通道的欧几里得范数以张量的形式进行保存，此时的张量是一个2维张量，其可以将梯度矩阵的欧几里得范数以矩阵的形式进行保存，这种形式的张量便于后续通过对张量进行拉直，调整为一维的矢量形式，便于将通道的梯度进行排序，从而便于对目标梯度的筛选。
S3：将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵。
具体的，预先设定上载速率α，本实施例可以将梯度矩阵以张量拉直的方式，将其转化为一维张量的矢量形式并将其排序，再计算上载速率α的分位数qα，将计算上载速率α分位数qα作为通道选择阈值。然后，根据该通道选择的阈值，从计算结果中，选择符合该阈值的通道，作为目标通道，再获取目标通道中的梯度矩阵，并将其作为目标梯度。
进一步的，本实施例中的通道中对应有每个元素的处理，并且对应有每个训练数据处理(即每个元素的处理)后得到的梯度矩阵。
需要说明的是，预先设定的上载速率根据实际情况而定，此处不做限定。
进一步的，处理梯度有两种处理的方法。负选择：丢弃其通道的欧几里得范数低于上载速率α分位数qα的通道，并选择其余参数进行更新。正向选择：选择标准高于上载速率α分位数qα且其余参数设置为零的通道。在本实施例中，两种选择方法都可以实行。但考虑到不同的神经通道可能包含相同的神经元，通过优先选择上传具有相同更新速率的更多参数，正选择往往比负选择表现更好，故而优选选择正选择的方式进行梯度的处理。
S4：选择参数非零的目标梯度矩阵，作为服务器的权重。
具体的，由于目标梯度矩阵存在着数值为零的梯度，该部分梯度矩阵对本地模型的更新并无作用，故而对更新后的梯度进行筛选，得到服务器的权重。
在一具体实施例中，若给定输入梯度矩阵X，普通的网络会把梯度矩阵X乘上服务器的权重，加上偏差之后传入到下一个隐藏层，但是，在本发明中，由于偏差矩阵与权重矩阵相比，偏差矩阵的影响微不足道，因此出于效率考虑，省略了偏差的变化。所以，在本实施例中，在本地模型中，会忽略偏差的影响，通过服务器的权重进行更新。
S5：根据服务器的权重，对本地模型进行更新，得到更新后的本地模型。
具体的，将服务器的权重传送到本地模型，在本地模型中，根据服务器的权重，对梯度矩阵进行进行参数的更新，以达到对本地模型进行更新。
在一具体实施例中，服务器更新的伪代码要求：训练集(X，y)，更新率α，本地模型，服务器在训练集(X，y)上训练本地模型并保存梯度ΔW；计算每个通道的欧几里得范数，并将结果以张量的形式进行保存；将张量调直为矢量并计算其α分位数tα；根据tα从梯度ΔW中选择通道，并得到处理后的梯度ΔW～；将ΔW～的非零部分更新为服务器的权重。返回更新的服务器模型，服务器更新算法在每个全局循环中执行，实现对本地模型的更新。
S6：基于更新后的本地模型，对用户数据进行分类。
具体的，由于在得到更新后的本地模型过程中，只是将部分权重上传到服务器，而无需将全部权重上传，使得更新后的本地模型在进行用户分类时，减少对用户数据的访问，进而有利于保护用户隐私数据的安全。
在本实施例中，通过获取训练数据，并通过训练数据训练本地模型，得到梯度矩阵，并计算梯度矩阵的通道的欧几里得范数，得到计算结果，并将计算结果以张量的形式进行保存，便于后续对计算结果进行筛选更新，然后将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵，便于从本地模型向服务器上载了渐变中的一部分通道，并在数据集上上传了部分的通道而不是全部通道获得了更好的性能，在保护隐私的同时减少了梯度的冗余性；最后选择更新后的梯度矩阵的非零部分，作为服务器的权重，并根据服务器的权重，对本地模型进行更新,得到更新后的本地模型，最后基于更新后的本地模型，对用户数据进行分类。实现在联邦学习训练过程中，将部分权重上传到服务器，而无需将全部权重上传，使得更新后的本地模型在进行用户分类时，减少对用户数据的访问，进而有利于保护用户隐私数据的安全。。
进一步的，在步骤S1中，获取训练数据，通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成梯度矩阵包括：
获取用户数据，并对用户数据进行解析，得到本地模型的通用用户，并获取通用用户的对应数据，作为训练数据。
具体的，在获取到用户数据后，在对用户数据进行解析时，为了保护用户数据的隐私，会对用户数据进行加密。该加密过程中，存在加密密钥和解密密钥，服务器通过对加密过程中的编号对比，解析出各个本地模型中，存在的相同编码的样本，该相同编码的样本即为本地模型的通用用户。再获取该通用用户的对应数据，将其作为训练数据。进一步的，由于本地模型的用户群体并非完全重合，服务器利用基于户样本对齐技术，在各个本地模型不公开各自数据的前提下确认本地模型间的通用用户，并且不暴露不互相重叠的用户。以便联合这些用户的特征进行建模。
进一步的，在本实施中，样本对齐技术是采用加密的用户样本对齐技术。其中，加密的用户样本对齐技术优选RSA加密算法。RSA加密算法是1977年由罗纳德·李维斯特(RonRivest)、阿迪·萨莫尔(Adi Shamir)和伦纳德·阿德曼(Leonard Adleman)一起提出的。RSA加密算法通常是先生成一对RSA密钥，其中之一是保密密钥，由用户保存；另一个为公开密钥，可对外公开，甚至可在网络服务器中注册。为提高保密强度，RSA密钥至少为500位长，一般推荐使用1024位。这就使加密的计算量很大。为减少计算量，在传送信息时，常采用传统加密方法与公开密钥加密方法相结合的方式，即信息采用改进的DES或IDEA对话密钥加密，然后使用RSA密钥加密对话密钥和信息摘要。对方收到信息后，用不同的密钥解密并可核对信息摘要。
通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成得到梯度矩阵。
具体的，由于忽略了偏差矩阵的影响，所以在每个训练循环期间本地模型的权重矩阵的变化梯度，生成得到梯度矩阵，实现梯度矩阵的获取，有利于后续对目标梯度矩阵的筛选，进而将部分权重上传服务器中，达到保护用户隐私数据安全的目的。
本实施例中，通过基于样本对齐技术，获取本地模型共有用户的数据，作为训练数据，再通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成得到梯度矩阵。
请参阅图3，图3示出了步骤S3的一种具体实施方式，步骤S3中将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵的具体实现过程，详叙如下：
S31：将计算结果转化为一阶张量的形式，并将计算结果进行排序，得到排序结果。
具体的，由于上述步骤是将梯度矩阵的欧几里得范数以2维张量的形式进行保存，所以在本步骤中，将计算结果拉直转化为一阶张量的形式，由一阶张量的表现形式为矢量。故而，通过计算其适量的模，并可以把计算结果按照大小的形式进行排列，得到排列结果。
S32：计算预先设定的上载速率的分位数，得到上载速率的分位数。
具体的，由于要将部分权重上传到服务器，而上传时考虑到具有相同更新速率的参数，其表现会更好，所以需要根据上载速率的分位数作为通道选择阈值。所以要计算预先设定的上载速率的分位数，得到上载速率的分位数。
S33：将上载速率的分位数作为通道选择阈值，选择排序结果中符合通道选择阈值的通道，作为目标通道。
具体的，在排序结果中，由于排序结果对应着相应的通道，故而将符合通道选择阈值的通道，作为目标通道。
S34：获取目标通道中的梯度矩阵，并将目标通道中的梯度矩阵作为目标梯度矩阵。
具体的，目标通道中有对应的梯度矩阵，通过获取目标通道中的梯度矩阵，得到目标梯度矩阵。
本实施例中，通过将计算结果转化为一阶张量的形式，并将计算结果进行排序，得到排序结果，并计算预先设定的上载速率的分位数，得到上载速率的分位数，再将上载速率的分位数作为通道选择阈值，选择排序结果中符合通道选择阈值的通道，作为目标通道，获取目标通道中的梯度矩阵，并将目标通道中的梯度矩阵作为目标梯度矩阵，有利于对梯度矩阵的筛选，并实现减少梯度矩阵的冗余，减少数据量，使得上传服务器的梯度更少，有效的保护用户的隐私数据。
进一步的，在步骤S33中，将上载速率的分位数作为通道选择阈值，选择排序结果中符合通道选择阈值的通道，作为目标通道包括:
在排序结果中，选择高于上载速率的分位数且其他参数为零的通道，作为目标通道。
具体的，由于考虑到不同的神经通道可能包含相同的神经元，通过优先选择上传具有相同更新速率的更多参数，所以选择高于上载速率的分位数且其他参数为零的通道，作为目标通道。
本实施例中，在排序结果中，选择高于上载速率的分位数且其他参数为零的通道，作为目标通道，有利于提高通道的上传速率，使得模型的训练更加迅速。
进一步的，在步骤S5中，根据服务器的权重，对本地模型进行更新包括：
将服务器的权重传送到本地模型中，并通过服务器的权重对梯度矩阵进行更新，得到更新矩阵。
具体的，通过服务器的权重对本地模型的梯度矩阵更新，要增加本地模型的梯度矩阵的原始重量，得到更新矩阵。
通过更新矩阵对本地模型进行更新。
具体的，由于服务器的权重对本地模型的梯度矩阵的更新，使得本地模型的参数发生了改变，进而实现对本地模型的更新。
本实施例中，通过将服务器的权重传送到本地模型中，并通过服务器的权重对梯度矩阵进行更新，得到更新矩阵，并通过更新矩阵对本地模型进行更新，实现了本地模型的更新，并且在对用户数据分类时，实现了对用户隐私数据的保护。
进一步的，在步骤：将服务器的权重传送到本地模型中，并通过服务器的权重对梯度矩阵进行更新，得到更新矩阵之前基于联邦学习的用户数据分类方法还包括：
通过线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建人工神经网络。
具体的，使用线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建一个人工神经网络，用于对3个完全连接的层以及相应层中的64、32、1个神经元进行死亡率的二进制预测。实现对服务器的权重的更新。
其中，人工神经网络(Artificial Neural Network，ANN)简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。
其中，线性整流函数和S形函数为人工神经网络中的激活函数。
通过人工神经网络对连接层的神经元进行死亡率的预测，其中，每两个神经元间的连接都代表一个对于通过连接层的服务器的权重。
具体的，由于人工神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(weight)，神经网络就是通过这种方式来模拟人类的记忆。故而通过人工神经网络对连接层的神经元进行死亡率的预测，进而对服务器的权重的预测与更新。
本实施例中，通过通过线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建人工神经网络，通过人工神经网络对连接层的神经元进行死亡率的预测，实现对服务器的权重的预测与更新，有利于后续对本地模型的更新，在对用户数据分类时，实现保护用户隐私数据的安全。
进一步的，该基于联邦学习的用户数据分类方法还包括：将训练数据存储于区块链中。
需要强调的是，为进一步保证上述训练数据的私密和安全性，上述训练数据还可以存储于一区块链的节点中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
请参考图4，作为对上述图2所示方法的实现，本申请提供了一种基于联邦学习的用户数据分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的基于联邦学习的用户数据分类装置包括：梯度矩阵获取模块61、计算结果获取模块62、梯度矩阵更新模块63、服务器的权重模块64、本地模块更新模块65及用户数据分类模型66，其中：
梯度矩阵获取模块61，用于获取训练数据，并通过训练数据训练本地模型，得到梯度矩阵，其中，梯度矩阵显示每个训练循环期间权重矩阵的变化；
计算结果获取模块62，用于获取训练数据，通过训练数据训练本地模型，并基于每个训练循环期间本地模型的权重矩阵的变化梯度，生成梯度矩阵；
梯度矩阵更新模块63，用于将预先设定的上载速率的作为通道选择阈值，从计算结果中，选择符合通道选择阈值的通道，作为目标通道，并将目标通道中的梯度矩阵作为目标梯度矩阵，其中，通道对应有训练数据的处理生成后的梯度矩阵；
服务器的权重模块64，用于选择参数非零的目标梯度矩阵，作为服务器的权重；
本地模块更新模块65，用于根据服务器的权重，对本地模型进行更新,得到更新后的本地模型；
用户数据分类模型66，用于基于更新后的本地模型，对用户数据进行分类。
进一步的，梯度矩阵获取模块包括：
训练单元获取单元，用于获取用户数据，并对用户数据进行解析，得到本地模型的通用用户，并获取通用用户的对应数据，作为训练数据；
本地模型训练单元，用于通过训练数据训练本地模型，得到梯度矩阵。
进一步的，梯度矩阵更新模块63包括：
排序结果获取单元，用于将计算结果转化为一阶张量的形式，并将计算结果进行排序，得到排序结果；
分位数计算单元，用于计算预先设定的上载速率的分位数，得到上载速率的分位数；
通道选择单元，用于将上载速率的分位数作为通道选择阈值，选择排序结果中符合通道选择阈值的通道，作为目标通道；
梯度矩阵确定单元，用于获取目标通道中的梯度矩阵，并将目标通道中的梯度矩阵作为目标梯度矩阵。
进一步的，通道选择单元包括：
目标通道确定子单元，用于在排序结果中，选择高于上载速率的分位数且其他参数为零的通道，作为目标通道。
进一步的，本地模块更新模块65包括：
服务器的权重传送单元，用于将服务器的权重传送到本地模型中，并通过服务器的权重对梯度矩阵进行更新，得到更新矩阵；
本地模型更新单元，用于通过更新矩阵对本地模型进行更新。
进一步的，在服务器的权重传送单元之前，基于联邦学习的用户数据分类装置还包括：
人工神经网络构建子单元，用于通过线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建人工神经网络；
死亡率的预测子单元，用于通过人工神经网络对连接层的神经元进行死亡率的预测，其中，每两个神经元间的连接都代表一个对于通过连接层的服务器的权重。
进一步的，该基于联邦学习的用户数据分类装置还包括：
区块链存储模块，用于将训练数据存储于区块链中。
需要强调的是，为进一步保证上述训练数据的私密和安全性，上述训练数据还可以存储于一区块链的节点中。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是，图中仅示出了具有三种组件存储器71、处理器72、网络接口73的计算机设备7，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器71至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器71可以是计算机设备7的内部存储单元，例如该计算机设备7的硬盘或内存。在另一些实施例中，存储器71也可以是计算机设备7的外部存储设备，例如该计算机设备7上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器71还可以既包括计算机设备7的内部存储单元也包括其外部存储设备。本实施例中，存储器71通常用于存储安装于计算机设备7的操作系统和各类应用软件，例如基于联邦学习的用户数据分类方法的程序代码等。此外，存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器72在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制计算机设备7的总体操作。本实施例中，处理器72用于运行存储器71中存储的程序代码或者处理数据，例如运行一种基于联邦学习的用户数据分类方法的程序代码。
网络接口73可包括无线网络接口或有线网络接口，该网络接口73通常用于在计算机设备7与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有服务器维护程序，服务器维护程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种基于联邦学习的用户数据分类方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于联邦学习的用户数据分类方法，其特征在于，包括：
获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵；
计算所述梯度矩阵的通道的欧几里得范数，得到计算结果，并将所述计算结果以张量的形式进行保存；
将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩阵，其中，所述通道对应有所述训练数据的处理生成后的梯度矩阵；
选择参数非零的所述目标梯度矩阵，作为服务器的权重；
根据所述服务器的权重，对所述本地模型进行更新,得到更新后的本地模型；
基于所述更新后的本地模型，对用户数据进行分类。
2.根据权利要求1所述的基于联邦学习的用户数据分类方法，其特征在于，所述获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵包括：
获取用户数据，并对所述用户数据进行解析，得到本地模型的通用用户，并获取所述通用用户的对应数据，作为所述训练数据；
通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成得到梯度矩阵。
3.根据权利要求1所述的基于联邦学习的用户数据分类方法，其特征在于，所述将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩阵包括：
将所述计算结果转化为一阶张量的形式，并将所述计算结果进行排序，得到排序结果；
计算所述预先设定的上载速率的分位数，得到上载速率的分位数；
将所述上载速率的分位数作为通道选择阈值，选择所述排序结果中符合所述通道选择阈值的通道，作为目标通道；
获取所述目标通道中的梯度矩阵，并将所述目标通道中的梯度矩阵作为所述目标梯度矩阵。
4.根据权利要求3所述的基于联邦学习的用户数据分类方法，其特征在于，所述将所述分位数结果作为通道选择阈值，选择所述排序结果中符合所述通道选择阈值的通道，作为目标通道包括：
在所述排序结果中，选择高于所述上载速率的分位数且其他参数为零的通道，作为所述目标通道。
5.根据权利要求1至4任一项所述的基于联邦学习的用户数据分类方法，其特征在于，所述根据所述服务器的权重，对所述本地模型进行更新包括：
将所述服务器的权重传送到本地模型中，并通过服务器的权重对所述梯度矩阵进行更新，得到更新矩阵；
通过所述更新矩阵对所述本地模型进行更新。
6.根据权利要求5所述的基于联邦学习的用户数据分类方法，其特征在于，在所述将所述服务器的权重传送到本地模型中，并通过服务器的权重对所述梯度矩阵进行更新，得到更新矩阵之前，所述方法包括：
通过线性整流函数对本地模型的隐藏层进行激活，与S形函数对本地模型的输出层进行激活，构建人工神经网络；
通过所述人工神经网络对连接层的神经元进行死亡率的预测，其中，每两个神经元间的连接都代表一个对于通过所述连接层的服务器的权重。
7.根据权利要求1所述的基于联邦学习的用户数据分类方法，其特征在于，将所述训练数据存储于区块链中。
8.一种基于联邦学习的用户数据分类装置，其特征在于，包括：
梯度矩阵获取模块，用于获取训练数据，并通过所述训练数据训练本地模型，得到梯度矩阵，其中，梯度矩阵显示每个训练循环期间权重矩阵的变化；
计算结果获取模块，用于获取训练数据，通过所述训练数据训练本地模型，并基于每个训练循环期间所述本地模型的权重矩阵的变化梯度，生成梯度矩阵；
梯度矩阵更新模块，用于将预先设定的上载速率的作为通道选择阈值，从所述计算结果中，选择符合所述通道选择阈值的通道，作为目标通道，并将所述目标通道中的梯度矩阵作为目标梯度矩阵，其中，所述通道对应有所述训练数据的处理生成后的梯度矩阵；
服务器的权重模块，用于选择参数非零的所述目标梯度矩阵，作为服务器的权重；
本地模块更新模块，用于根据所述服务器的权重，对所述本地模型进行更新,得到更新后的本地模型；
用户数据分类模块，用于基于所述更新后的本地模型，对用户数据进行分类。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于联邦学习的用户数据分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的用户数据分类方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085715.3A CN112100295A (zh) | 2020-10-12 | 2020-10-12 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
| PCT/CN2020/135588 WO2021179720A1 (zh) | 2020-10-12 | 2020-12-11 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085715.3A CN112100295A (zh) | 2020-10-12 | 2020-10-12 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112100295A true CN112100295A (zh) | 2020-12-18 |
Family
ID=73784041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011085715.3A Pending CN112100295A (zh) | 2020-10-12 | 2020-10-12 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112100295A (zh) |
| WO (1) | WO2021179720A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288100A (zh) * | 2020-12-29 | 2021-01-29 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、系统及装置 |
| CN112733901A (zh) * | 2020-12-30 | 2021-04-30 | 杭州趣链科技有限公司 | 基于联邦学习和区块链的结构化动作分类方法与装置 |
| CN112763845A (zh) * | 2020-12-23 | 2021-05-07 | 广东电网有限责任公司梅州供电局 | 基于联邦学习的边缘物联网固件故障检测方法和系统 |
| CN112836829A (zh) * | 2021-01-26 | 2021-05-25 | 支付宝(杭州)信息技术有限公司 | 一种个性化的隐私保护学习方法、装置以及设备 |
| CN112990478A (zh) * | 2021-02-22 | 2021-06-18 | 上海嗨普智能信息科技股份有限公司 | 联邦学习数据处理系统 |
| CN113408743A (zh) * | 2021-06-29 | 2021-09-17 | 北京百度网讯科技有限公司 | 联邦模型的生成方法、装置、电子设备和存储介质 |
| CN113742428A (zh) * | 2021-09-20 | 2021-12-03 | 郑州颂和礼致信息科技有限公司 | 一种基于区块链的神经网络数据集存储方法 |
| CN113806759A (zh) * | 2020-12-28 | 2021-12-17 | 京东科技控股股份有限公司 | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
| CN114118530A (zh) * | 2021-11-04 | 2022-03-01 | 杭州经纬信息技术股份有限公司 | 一种基于多户电力消耗预测模型的预测方法及装置 |
| CN114938349A (zh) * | 2022-05-20 | 2022-08-23 | 远景智能国际私人投资有限公司 | 物联网数据处理方法、装置、计算机设备及存储介质 |
| CN115270192A (zh) * | 2022-09-26 | 2022-11-01 | 广州优刻谷科技有限公司 | 样本标签隐私风险评估方法、系统及存储介质 |
| CN115310121A (zh) * | 2022-07-12 | 2022-11-08 | 华中农业大学 | 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法 |
| CN118133328B (zh) * | 2024-05-10 | 2024-07-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 去中心化学习方法、系统及相关设备 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113806691B (zh) * | 2021-09-29 | 2024-03-15 | 河南星环众志信息科技有限公司 | 一种分位数的获取方法、设备及存储介质 |
| CN113965937B (zh) * | 2021-10-27 | 2024-02-13 | 东南大学 | 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法 |
| CN114339252B (zh) * | 2021-12-31 | 2023-10-31 | 深圳大学 | 一种数据压缩方法及装置 |
| CN114492849B (zh) * | 2022-01-24 | 2023-09-08 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
| CN114650227B (zh) * | 2022-01-27 | 2023-08-18 | 北京邮电大学 | 一种分层联邦学习场景下的网络拓扑构建方法及系统 |
| CN114611722B (zh) * | 2022-03-16 | 2024-05-24 | 中南民族大学 | 一种基于聚类分析的安全横向联邦学习方法 |
| CN114663149A (zh) * | 2022-03-24 | 2022-06-24 | 润联软件系统(深圳)有限公司 | 一种基于隐私保护的产品投放方法及其相关设备 |
| CN115391734B (zh) * | 2022-10-11 | 2023-03-10 | 广州天维信息技术股份有限公司 | 一种基于联邦学习的客户满意度分析系统 |
| CN115775026B (zh) * | 2022-12-27 | 2023-05-16 | 重庆大学 | 一种基于组织相似度的联邦学习方法 |
| CN115935330B (zh) * | 2023-02-24 | 2023-05-12 | 华谱科仪(北京)科技有限公司 | 色谱分析系统软件的功能授权方法、装置、设备和介质 |
| CN116361663B (zh) * | 2023-06-01 | 2023-08-15 | 湖南工商大学 | 数字证据分类模型训练方法、分类方法、装置及相关设备 |
| CN116502709A (zh) * | 2023-06-26 | 2023-07-28 | 浙江大学滨江研究院 | 一种异质性联邦学习方法和装置 |
| CN116827393B (zh) * | 2023-06-30 | 2024-05-28 | 南京邮电大学 | 基于联邦学习的无蜂窝大规模mimo接收方法及系统 |
| CN116521952B (zh) * | 2023-07-04 | 2023-09-05 | 北京富算科技有限公司 | 使用联邦学习模型进行人群包统计的方法及装置 |
| CN116541769A (zh) * | 2023-07-05 | 2023-08-04 | 北京邮电大学 | 一种基于联邦学习的节点数据分类方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008709A (zh) * | 2020-03-10 | 2020-04-14 | 支付宝(杭州)信息技术有限公司 | 联邦学习、资料风险评估方法、装置和系统 |
| CN111190487A (zh) * | 2019-12-30 | 2020-05-22 | 中国科学院计算技术研究所 | 一种建立数据分析模型的方法 |
| CN111460528A (zh) * | 2020-04-01 | 2020-07-28 | 支付宝(杭州)信息技术有限公司 | 一种基于Adam优化算法的多方联合训练方法及系统 |
| CN111477290A (zh) * | 2020-03-05 | 2020-07-31 | 上海交通大学 | 保护用户隐私的联邦学习和图像分类方法、系统及终端 |
| US20200293887A1 (en) * | 2019-03-11 | 2020-09-17 | doc.ai, Inc. | System and Method with Federated Learning Model for Medical Research Applications |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9792492B2 (en) * | 2015-07-07 | 2017-10-17 | Xerox Corporation | Extracting gradient features from neural networks |
| CN110288094B (zh) * | 2019-06-10 | 2020-12-18 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法及装置 |
| CN110569227B (zh) * | 2019-08-09 | 2020-08-14 | 阿里巴巴集团控股有限公司 | 模型参数确定方法、装置和电子设备 |
-
2020
- 2020-10-12 CN CN202011085715.3A patent/CN112100295A/zh active Pending
- 2020-12-11 WO PCT/CN2020/135588 patent/WO2021179720A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200293887A1 (en) * | 2019-03-11 | 2020-09-17 | doc.ai, Inc. | System and Method with Federated Learning Model for Medical Research Applications |
| CN111190487A (zh) * | 2019-12-30 | 2020-05-22 | 中国科学院计算技术研究所 | 一种建立数据分析模型的方法 |
| CN111477290A (zh) * | 2020-03-05 | 2020-07-31 | 上海交通大学 | 保护用户隐私的联邦学习和图像分类方法、系统及终端 |
| CN111008709A (zh) * | 2020-03-10 | 2020-04-14 | 支付宝(杭州)信息技术有限公司 | 联邦学习、资料风险评估方法、装置和系统 |
| CN111460528A (zh) * | 2020-04-01 | 2020-07-28 | 支付宝(杭州)信息技术有限公司 | 一种基于Adam优化算法的多方联合训练方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| HENGYUAN HU ET AL: "Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures", 《ARXIV:1607.03250V1 [CS.NE]》, pages 1 - 9 * |
| RULIN SHAO ET AL: "Stochastic Channel-Based Federated Learning for Medical Data Privacy Preserving", 《ARXIV:1910.11160V3 [CS.LG]》, pages 1 - 6 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763845A (zh) * | 2020-12-23 | 2021-05-07 | 广东电网有限责任公司梅州供电局 | 基于联邦学习的边缘物联网固件故障检测方法和系统 |
| CN112763845B (zh) * | 2020-12-23 | 2022-07-08 | 广东电网有限责任公司梅州供电局 | 基于联邦学习的边缘物联网固件故障检测方法和系统 |
| CN113806759A (zh) * | 2020-12-28 | 2021-12-17 | 京东科技控股股份有限公司 | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
| CN112288100A (zh) * | 2020-12-29 | 2021-01-29 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、系统及装置 |
| CN112733901A (zh) * | 2020-12-30 | 2021-04-30 | 杭州趣链科技有限公司 | 基于联邦学习和区块链的结构化动作分类方法与装置 |
| CN112733901B (zh) * | 2020-12-30 | 2024-01-12 | 杭州趣链科技有限公司 | 基于联邦学习和区块链的结构化动作分类方法与装置 |
| CN112836829B (zh) * | 2021-01-26 | 2022-08-02 | 支付宝(杭州)信息技术有限公司 | 一种个性化的隐私保护学习方法、装置以及设备 |
| CN112836829A (zh) * | 2021-01-26 | 2021-05-25 | 支付宝(杭州)信息技术有限公司 | 一种个性化的隐私保护学习方法、装置以及设备 |
| CN112990478A (zh) * | 2021-02-22 | 2021-06-18 | 上海嗨普智能信息科技股份有限公司 | 联邦学习数据处理系统 |
| CN112990478B (zh) * | 2021-02-22 | 2022-08-26 | 上海嗨普智能信息科技股份有限公司 | 联邦学习数据处理系统 |
| CN113408743A (zh) * | 2021-06-29 | 2021-09-17 | 北京百度网讯科技有限公司 | 联邦模型的生成方法、装置、电子设备和存储介质 |
| CN113408743B (zh) * | 2021-06-29 | 2023-11-03 | 北京百度网讯科技有限公司 | 联邦模型的生成方法、装置、电子设备和存储介质 |
| CN113742428B (zh) * | 2021-09-20 | 2023-11-03 | 易点生活电子商务有限公司 | 一种基于区块链的神经网络数据集存储方法 |
| CN113742428A (zh) * | 2021-09-20 | 2021-12-03 | 郑州颂和礼致信息科技有限公司 | 一种基于区块链的神经网络数据集存储方法 |
| CN114118530A (zh) * | 2021-11-04 | 2022-03-01 | 杭州经纬信息技术股份有限公司 | 一种基于多户电力消耗预测模型的预测方法及装置 |
| CN114938349A (zh) * | 2022-05-20 | 2022-08-23 | 远景智能国际私人投资有限公司 | 物联网数据处理方法、装置、计算机设备及存储介质 |
| CN114938349B (zh) * | 2022-05-20 | 2023-07-25 | 远景智能国际私人投资有限公司 | 物联网数据处理方法、装置、计算机设备及存储介质 |
| CN115310121A (zh) * | 2022-07-12 | 2022-11-08 | 华中农业大学 | 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法 |
| CN115270192A (zh) * | 2022-09-26 | 2022-11-01 | 广州优刻谷科技有限公司 | 样本标签隐私风险评估方法、系统及存储介质 |
| CN115270192B (zh) * | 2022-09-26 | 2022-12-30 | 广州优刻谷科技有限公司 | 样本标签隐私风险评估方法、系统及存储介质 |
| CN118133328B (zh) * | 2024-05-10 | 2024-07-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 去中心化学习方法、系统及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021179720A1 (zh) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112100295A (zh) | 基于联邦学习的用户数据分类方法、装置、设备及介质 | |
| US11196541B2 (en) | Secure machine learning analytics using homomorphic encryption | |
| US20230023520A1 (en) | Training Method, Apparatus, and Device for Federated Neural Network Model, Computer Program Product, and Computer-Readable Storage Medium | |
| CN110245510A (zh) | 用于预测信息的方法和装置 | |
| CN113435583B (zh) | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 | |
| CN111428887B (zh) | 一种基于多个计算节点的模型训练控制方法、装置及系统 | |
| CN110825975B (zh) | 一种信息推荐方法、装置、设备及计算机可读存储介质 | |
| CN112529101B (zh) | 分类模型的训练方法、装置、电子设备及存储介质 | |
| CN107273979A (zh) | 基于服务级别来执行机器学习预测的方法及系统 | |
| CN113505882A (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| JP7354463B2 (ja) | データ保護方法、装置、サーバ及び媒体 | |
| CN111816300A (zh) | 基于深度强化学习的数据分类方法、装置、设备及介质 | |
| CN112394974A (zh) | 代码变更的注释生成方法、装置、电子设备及存储介质 | |
| US20240005165A1 (en) | Machine learning model training method, prediction method therefor, apparatus, device, computer-readable storage medium, and computer program product | |
| CN111459898A (zh) | 机器学习方法、计算机可读记录介质以及机器学习设备 | |
| CN115510186A (zh) | 基于意图识别的即时问答方法、装置、设备及存储介质 | |
| CN113283222B (zh) | 自动化报表生成方法、装置、计算机设备及存储介质 | |
| CN113761375A (zh) | 基于神经网络的消息推荐方法、装置、设备及存储介质 | |
| Priore et al. | Learning-based scheduling of flexible manufacturing systems using support vector machines | |
| CN116186295B (zh) | 基于注意力的知识图谱链接预测方法、装置、设备及介质 | |
| CN116776150A (zh) | 接口异常访问识别方法、装置、计算机设备及存储介质 | |
| CN114463063A (zh) | 数据处理方法及相关装置 | |
| Sumathi et al. | Scale-based secured sensitive data storage for banking services in cloud | |
| CN110363415A (zh) | 基于多视图学习的欺诈标记的方法和装置 | |
| Monaco | What is the Explainable-Ai and why is important |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |