CN112949760B - 基于联邦学习的模型精度控制方法、装置及存储介质 - Google Patents
基于联邦学习的模型精度控制方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112949760B CN112949760B CN202110346005.XA CN202110346005A CN112949760B CN 112949760 B CN112949760 B CN 112949760B CN 202110346005 A CN202110346005 A CN 202110346005A CN 112949760 B CN112949760 B CN 112949760B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training set
- original
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000005477 standard model Effects 0.000 claims abstract description 27
- 230000002776 aggregation Effects 0.000 claims description 28
- 238000004220 aggregation Methods 0.000 claims description 28
- 238000010845 search algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种基于联邦学习的模型精度控制方法，包括：将本地数据集进行加密样本对齐，对得到的原始训练集进行数据自动增强处理，得到标准训练集，根据标准训练集在预构建的模型搜索空间中进行模型自动选择，得到原始模型，利用标准训练集训练原始模型，对原始模型的参数进行加密并上传至中央服务器，根据所述中央服务器反馈的聚合参数更新原始模型，得到标准模型，利用标准模型生成本地数据集中用户的数据画像。此外，本发明还涉及区块链技术，所述标准模型可存储在区块链的节点中。本发明还提出一种基于联邦学习的模型精度控制装置、电子设备以及计算机可读存储介质。本发明可以解决模型精度较低及训练效率较低的问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于联邦学习的模型精度控制方法、装置、电子设备及计算机可读存储介质。
背景技术
随着人工智能的快速发展，每家公司都有大量的数据。而在大多数行业中,由于行业竞争、隐私安全、行政手续复杂等问题,数据常常是以孤岛的形式存在的，比如金融机构具有用户的消费信息，电商机构具有用户消费所属类的开支范围区间信息等，金融机构难以仅根据用户的消费信息构建精确的用户画像。为了解决数据孤岛的问题，提出了联邦学习技术。联邦学习是一个机器学习框架，能有效帮助多个机构(即各参与方)在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。即联邦学习能够使得各参与方的自有数据不出本地,而后通过加密机制下的参数交换方式，在不违反数据隐私法规情况下,建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样，但是在建立虚拟模型的时候,数据本身不移动,也不会泄露隐私和影响数据合规要求。
目前在应用了联邦学习技术的训练平台中，存在以下缺陷：1、由于数据量较大，各参与方普遍会人工对本地数据进行数据增强处理。然而无法确定最优的数据增强策略，导致模型训练效率不高。2、实际应用中，各参与方有众多模型待训练，现有技术下无法选择出最优的模型进行训练，会使得模型精度较低。
发明内容
本发明提供一种基于联邦学习的模型精度控制方法、装置及计算机可读存储介质，其主要目的在于解决模型精度较低及训练效率较低的问题。
为实现上述目的，本发明提供的一种基于联邦学习的模型精度控制方法，包括：
将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集；
利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数；
对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
利用所述标准模型生成本地数据集中用户的数据画像。
可选地，所述将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集，包括：
利用预设的加密算法对所述本地数据集进行加密，得到本地加密数据集；
基于所述本地加密数据集与其他各参与方的加密数据集进行多轮哈希处理，得到所述原始训练集
可选地，所述利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理之前，所述方法还包括：
利用预设的真实训练集对预设的数据增强策略集进行验证，并记录所述真实训练集的数据集特征和对应的数据增强策略结果；
对所述数据增强策略结果进行优先级排序，并基于所述优先级排序选取预设个数的数据增强策略，根据所述预设个数的数据增强策略及所述真实训练集的数据集特征构建数据增强策略搜索空间。
可选地，所述利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集，包括：
提取所述原始训练集中的数据集特征，并根据所述数据集特征在所述数据增强策略搜索空间中选择一个或多个数据增强策略；
利用所述数据增强策略对所述原始训练集进行数据增强处理，得到所述标准训练集。
可选地，所述利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择之前，所述方法还包括：
根据预设的卷积层构建网络框架，并以所述网络框架作为网络单元；
根据所述网络单元及预设的操作规则构建模型搜索空间。
可选地，所述利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数，包括：
根据进化算法及所述标准训练集在所述模型搜索空间中选择出所述原始模型；
利用所述标准训练集训练所述原始模型，得到模型梯度值，并将所述模型梯度值作为所述模型参数。
可选地，所述根据进化算法及所述标准训练集在所述模型搜索空间中选择出所述原始模型，包括：
步骤A：以相同的概率从所述模型搜索空间中选择若干个网络框架并记录，将所述若干个网络框架作为初始化种群；
步骤B：对所述初始化种群进行随机采样，得到候选网络框架集合，利用所述标准训练集验证所述候选网络框架集合中的候选网络框架，并选择出适应度最高的候选网络框架作为父框架；
步骤C：对所述父框架进行随机突变得到子框架，利用所述子框架替换所述初始化种群中最老的网络框架并记录；
步骤D：判断记录的子框架数量是否大于等于预设的阈值；
若所述记录的子框架数量小于预设的阈值，则返回步骤B；
若所述记录的子框架数量大于等于预设的阈值，则执行步骤E：选取此时的子框架作为所述原始模型。
为了解决上述问题，本发明还提供一种基于联邦学习的模型精度控制装置，所述装置包括：
数据加密模块，用于将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
数据增强模块，用于利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集；
模型选择模块，用于利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数；
参数聚合模块，用于对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
模型更新模块，用于接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
画像生成模块，用于利用所述标准模型生成本地数据集中用户的数据画像。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的基于联邦学习的模型精度控制方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于联邦学习的模型精度控制方法。
本发明通过将所述本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，可以在保护各参与方数据安全的前提下，提高原始训练集中训练数据的特征维度，从而提高了模型训练精度。并且，基于预构建的数据增强策略搜索空间可以自动选择出最优的数据增强策略，同时利用预设的策略搜索算法在预构建的模型搜索空间中进行模型策略搜索，可以自动选择出最优的原始模型，进一步提高了模型训练效率及精度。因此本发明提出的基于联邦学习的模型精度控制方法、装置、电子设备及计算机可读存储介质，可以解决模型精度较低及训练效率较低的问题。
附图说明
图1为本发明一实施例提供的基于联邦学习的模型精度控制方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为图1中另一个步骤的详细实施流程示意图；
图4为图1中另一个步骤的详细实施流程示意图；
图5为图1中另一个步骤的详细实施流程示意图；
图6为本发明一实施例提供的基于联邦学习的模型精度控制装置的功能模块图；
图7为本发明一实施例提供的实现所述基于联邦学习的模型精度控制方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于联邦学习的模型精度控制方法。所述基于联邦学习的模型精度控制方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于联邦学习的模型精度控制方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的基于联邦学习的模型精度控制方法的流程示意图。在本实施例中，所述基于联邦学习的模型精度控制方法包括：
S1、将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集。
本发明实施例中，所述参与方包括各金融机构及各电商机构等。本发明实施例同时应用在每个所述参与方中。
进一步地，所述本地数据集可以包括用户信息、商品信息及用户的消费信息等。所述用户信息可以包括：性别、年龄、星座、居住地等；所述商品信息可以包括：商品所属品牌的品牌价值及影响力、商品所属价值区间等；以及所述用户的消费信息可以包括：消费金额、消费频率、品牌偏好、品类偏好等。
具体地，参照图2所示，所述将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集，包括：
S10、利用预设的加密算法对所述本地数据集进行加密，得到本地加密数据集；
S11、基于所述本地加密数据集与其他各参与方的加密数据集进行多轮哈希处理，得到所述原始训练集。
本发明实施例中，可以使用纵向联邦学习的方法来进行所述加密样本对齐。所述纵向联邦学习的方法适用于不同参与方的数据样本有较大的重叠，但样本特征的重叠度不高。例如，两家公司(银行和电子商务公司)向客户提供不同的服务，拥有客户不同方面的数据，但他们所服务的客户群体有较大的重叠。所述预设的加密算法可以为RSA加密算法。
比如，所述加密样本对齐以两家公司A、B为例：第一步、B公司利用所述RSA加密算法得到保密秘钥及公开秘钥，并将所述公开秘钥传输给A；第二步、A通过哈希处理和随机生成哈希码对本地数据集进行加密，并将加密后的数据YA发送给B；第三步、B得到YA后，对YA进行保密私钥加密处理，得到ZA，再对自己的本地数据集进行保密私钥加密处理及哈希处理，得到ZB，将ZA、ZB发送给A；第四步、A通过对ZA进行哈希码解密及再哈希处理，得到DA，由于DA和ZB本质上是对数据进行相同操作后得到的数据，所以如果源数据相同，操作后的数据也相同，所以根据DA，ZB求交集的结果，A可以判断出A和B的共有数据有哪些，最后再将共有数据发送给B。在上述例子中，A通过哈希处理及随机生成的哈希码来完成保密操作，B通过哈希处理及保密私钥来完成保密操作。
本发明实施例中，通过所述加密样本对齐处理，可以在保护各参与方数据安全的前提下，找到包含更多特征维度的共有数据集，提高了模型训练的准确性。
S2、利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集。
具体地，所述利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理之前，还包括：
利用预设的真实训练集对预设的数据增强策略集进行验证，并记录所述真实训练集的数据集特征和对应的数据增强策略结果；
对所述数据增强策略结果进行优先级排序，并基于所述优先级排序选取预设个数的数据增强策略，根据所述预设个数的数据增强策略及所述真实训练集的数据集特征构建数据增强策略搜索空间。
本发明实施例中，所述预设的真实训练集可以为各参与方本地数据集中的少量数据。所述预设的数据增强策略可以为随机更改某些数据、随机交换某些数据等。所述数据集特征是指和所述真实训练集相关的属性，包括数据量大小、数据类型等。比如，存在真实训练集Q、W、E，数据增强策略a、b、c、d，通过真实训练集对数据增强策略进行验证，并根据验证结果得到优先级排序为：真实训练集Q：a、b、c、d；真实训练集W：d、c、b、a；真实训练集E：c、b、d、a。选取每个真实训练集中排名前二的数据增强策略构建数据增强策略搜索空间。
详细地，参照图3所示，所述S2包括：
S20、提取所述原始训练集中的数据集特征，并根据所述数据集特征在所述数据增强策略搜索空间中选择一个或多个数据增强策略；
S21、利用所述数据增强策略对所述原始训练集进行数据增强处理，得到所述标准训练集。
其中，通过所述原始训练集中的数据集特征在所述数据增强策略搜索空间中进行特征搜索，选取相似数据集特征下的对应数据增强策略进行数据增强处理。本发明实施例中，对于不同的原始训练集，根据所述原始训练集的数据集特征可选择一个或多个数据增强策略，当选择多个数据增强策略时，使用所述多个数据增强策略依次对原始训练集进行数据增强处理。
本发明实施例中，通过所述数据自动增强处理可以自动选择数据增强策略，简化了数据处理过程，提高了模型训练效率。
S3、利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数。
本发明实施例中，所述利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择之前，还包括：
根据预设的卷积层构建网络框架，并以所述网络框架作为网络单元；
根据所述网络单元及预设的操作规则构建模型搜索空间。
其中，所述模型搜索空间包括多个网络单元(Cell)，每个网络单元(Cell)中包括多个网络框架(Block)，所述网络框架包括1x3卷积，1x5卷积，1x7卷积，1x3的扩展卷积，1x5扩展卷积和1x7扩展卷积等卷积层。所述预设的操作规则可以为：每个网络框架(Block)最多可选择2个卷积层。
具体地，参照图4所示，所述S3包括：
S30、根据进化算法及所述标准训练集在所述模型搜索空间中选择出所述原始模型；
S31、利用所述标准训练集训练所述原始模型，得到模型梯度值，并将所述模型梯度值作为所述模型参数。
具体地，参照图5所示，所述根据进化算法及所述标准训练集在所述模型搜索空间中选择出所述原始模型，包括：
S301、以相同的概率从所述模型搜索空间中选择若干个网络框架并记录，将所述若干个网络框架作为初始化种群；
S302、对所述初始化种群进行随机采样，得到候选网络框架集合，利用所述标准训练集验证所述候选网络框架集合中的候选网络框架，并选择出适应度最高的候选网络框架作为父框架；
S303、对所述父框架进行随机突变得到子框架，利用所述子框架替换所述初始化种群中最老的网络框架并记录；
S304、判断记录的子框架数量是否大于等于预设的阈值；
若所述记录的子框架数量小于预设的阈值，则返回S302；
若所述记录的子框架数量大于等于预设的阈值，则执行S305、选取此时的子框架作为所述原始模型。
其中，最老的网络框架是指所述初始化种群中最先被选择的网络框架，比如，所述初始化种群中按照被选取的时间顺序有网络框架1、网络框架2、网络框架3…等框架，依次利用生成的子框架替换所述初始化种群中的框架，即先替换网络框架1、再替换网络框架2…，直至记录的子框架数量大于等于预设的阈值时，选取此时的子框架作为所述原始模型。用所述子框架替换所述初始化种群中最老的网络框架，以保证初始化种群的大小不变，有助于更多地探索模型搜索空间，从而得到最优的原始模型。本发明实施例中，所述适应度可以为模型精度，即从所述模型搜索空间选取模型精度最高的网络框架作为初始化种群，由于所述模型搜索空间中的网络框架采用了权重共享，所以无需对候选网络框架进行再训练就可以推断出模型精度。所述随机突变可以为随机修改所述父框架中的卷积层。
本发明实施例中，通过所述模型自动选择可以自动选择出最优的原始模型，提高了模型训练的精度。
S4、对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器。
详细地，所述对所述模型参数进行加密处理，得到加密参数，包括：
与其他各参与方登记区块链合约公钥，并协商联邦学习最大训练轮数；
通过所述区块链合约公钥中的加密公钥对所述模型梯度值进行加密，得到所述加密参数。
本发明实施例中，所述中央服务器用来聚合各参与方的模型梯度值，将聚合后的模型梯度值加密并发送给各参与方，比如，可以使用FedAvg算法对各参与方的模型梯度值进行加权平均。所述区块链合约公钥包括加密公钥及解密公钥。
S5、接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型。
具体地，所述根据所述聚合参数更新所述原始模型，得到标准模型，包括：
利用所述区块链合约公钥中的解密公钥对所述聚合参数进行解密，将解密后的聚合参数和本地的所述模型参数进行累加，得到累加参数；
利用所述累加参数更新所述原始模型，得到更新后的模型参数并返回S4，直至所述原始模型收敛或训练轮数达到所述联邦学习最大训练轮数时，得到所述标准模型。
本发明实施例中，通过所述聚合参数来训练所述原始模型，可以得到精度更高的标准模型。
S6、利用所述标准模型生成本地数据集中用户的数据画像。
本发明一可选实施例中，所述标准模型可以为金融机构的用户画像生成模型，利用预构建的数据增强策略搜索空间对用户信息进行数据自动增强处理，利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，并且基于联邦学习算法可以获得用户的消费开支区间信息、旅游出行消费信息、电商消费活跃程度等信息，使得用户画像生成模型可以生成更加精确的用户画像。
本发明通过将所述本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，可以在保护各参与方数据安全的前提下，提高原始训练集中训练数据的特征维度，从而提高了模型训练精度。并且，基于预构建的数据增强策略搜索空间可以自动选择出最优的数据增强策略，同时利用预设的策略搜索算法在预构建的模型搜索空间中进行模型策略搜索，可以自动选择出最优的原始模型，进一步提高了模型训练效率及精度。因此本发明实施例可以解决模型精度较低及训练效率较低的问题。
如图6所示，是本发明一实施例提供的基于联邦学习的模型精度控制装置的功能模块图。
本发明所述基于联邦学习的模型精度控制装置100可以安装于电子设备中。根据实现的功能，所述基于联邦学习的模型精度控制装置100可以包括数据加密模块101、数据增强模块102、模型选择模块103、参数聚合模块104、模型更新模块105及画像生成模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述数据加密模块101，用于将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集。
进一步地，所述本地数据集可以包括用户信息、商品信息及用户的消费信息等。所述用户信息可以包括：性别、年龄、星座、居住地等；所述商品信息可以包括：商品所属品牌的品牌价值及影响力、商品所属价值区间等；以及所述用户的消费信息可以包括：消费金额、消费频率、品牌偏好、品类偏好等。
具体地，数据加密模块101通过下述操作得到原始训练集：
利用预设的加密算法对所述本地数据集进行加密，得到本地加密数据集；
基于所述本地加密数据集与其他各参与方的加密数据集进行多轮哈希处理，得到所述原始训练集。
本发明实施例中，可以使用纵向联邦学习的方法来进行所述加密样本对齐。所述纵向联邦学习的方法适用于不同参与方的数据样本有较大的重叠，但样本特征的重叠度不高。例如，两家公司(银行和电子商务公司)向客户提供不同的服务，拥有客户不同方面的数据，但他们所服务的客户群体有较大的重叠。所述预设的加密算法可以为RSA加密算法。
比如，所述加密样本对齐以两家公司A、B为例：第一步、B公司利用所述RSA加密算法得到保密秘钥及公开秘钥，并将所述公开秘钥传输给A；第二步、A通过哈希处理和随机生成哈希码对本地数据集进行加密，并将加密后的数据YA发送给B；第三步、B得到YA后，对YA进行保密私钥加密处理，得到ZA，再对自己的本地数据集进行保密私钥加密处理及哈希处理，得到ZB，将ZA、ZB发送给A；第四步、A通过对ZA进行哈希码解密及再哈希处理，得到DA，由于DA和ZB本质上是对数据进行相同操作后得到的数据，所以如果源数据相同，操作后的数据也相同，所以根据DA，ZB求交集的结果，A可以判断出A和B的共有数据有哪些，最后再将共有数据发送给B。在上述例子中，A通过哈希处理及随机生成的哈希码来完成保密操作，B通过哈希处理及保密私钥来完成保密操作。
本发明实施例中，通过所述加密样本对齐处理，可以在保护各参与方数据安全的前提下，找到包含更多特征维度的共有数据集，提高了模型训练的准确性。
所述数据增强模块102，用于利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集。
具体地，所述数据增强模块102还包括：
利用预设的真实训练集对预设的数据增强策略集进行验证，并记录所述真实训练集的数据集特征和对应的数据增强策略结果；
对所述数据增强策略结果进行优先级排序，并基于所述优先级排序选取预设个数的数据增强策略，根据所述预设个数的数据增强策略及所述真实训练集的数据集特征构建数据增强策略搜索空间。
本发明实施例中，所述预设的真实训练集可以为各参与方本地数据集中的少量数据。所述预设的数据增强策略可以为随机更改某些数据、随机交换某些数据等。所述数据集特征是指和所述真实训练集相关的属性，包括数据量大小、数据类型等。比如，存在真实训练集Q、W、E，数据增强策略a、b、c、d，通过真实训练集对数据增强策略进行验证，并根据验证结果得到优先级排序为：真实训练集Q：a、b、c、d；真实训练集W：d、c、b、a；真实训练集E：c、b、d、a。选取每个真实训练集中排名前二的数据增强策略构建数据增强策略搜索空间。
详细地，所述数据增强模块102通过下述操作得到标准训练集：
提取所述原始训练集中的数据集特征，并根据所述数据集特征在所述数据增强策略搜索空间中选择一个或多个数据增强策略；
利用所述数据增强策略对所述原始训练集进行数据增强处理，得到所述标准训练集。
其中，通过所述原始训练集中的数据集特征在所述数据增强策略搜索空间中进行特征搜索，选取相似数据集特征下的对应数据增强策略进行数据增强处理。本发明实施例中，对于不同的原始训练集，根据所述原始训练集的数据集特征可选择一个或多个数据增强策略，当选择多个数据增强策略时，使用所述多个数据增强策略依次对原始训练集进行数据增强处理。
本发明实施例中，通过所述数据自动增强处理可以自动选择数据增强策略，简化了数据处理过程，提高了模型训练效率。
所述模型选择模块103，用于利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数。
本发明实施例中，所述模型选择模块103还包括：
根据预设的卷积层构建网络框架，并以所述网络框架作为网络单元；
根据所述网络单元及预设的操作规则构建模型搜索空间。
其中，所述模型搜索空间包括多个网络单元(Cell)，每个网络单元(Cell)中包括多个网络框架(Block)，所述网络框架包括1x3卷积，1x5卷积，1x7卷积，1x3的扩展卷积，1x5扩展卷积和1x7扩展卷积等卷积层。所述预设的操作规则可以为：每个网络框架(Block)最多可选择2个卷积层。
具体地，所述模型选择模块103通过下述操作得到模型参数：
根据进化算法及所述标准训练集在所述模型搜索空间中选择出所述原始模型；
利用所述标准训练集训练所述原始模型，得到模型梯度值，并将所述模型梯度值作为所述模型参数。
具体地，所述模型选择模块103通过下述操作在所述模型搜索空间中选择出所述原始模型：
步骤A：以相同的概率从所述模型搜索空间中选择若干个网络框架并记录，将所述若干个网络框架作为初始化种群；
步骤B：对所述初始化种群进行随机采样，得到候选网络框架集合，利用所述标准训练集验证所述候选网络框架集合中的候选网络框架，并选择出适应度最高的候选网络框架作为父框架；
步骤C：对所述父框架进行随机突变得到子框架，利用所述子框架替换所述初始化种群中最老的网络框架并记录；
步骤D：判断记录的子框架数量是否大于等于预设的阈值；
若所述记录的子框架数量小于预设的阈值，则返回步骤B；
若所述记录的子框架数量大于等于预设的阈值，则执行步骤E：选取此时的子框架作为所述原始模型。
其中，最老的网络框架是指所述初始化种群中最先被选择的网络框架，比如，所述初始化种群中按照被选取的时间顺序有网络框架1、网络框架2、网络框架3…等框架，依次利用生成的子框架替换所述初始化种群中的框架，即先替换网络框架1、再替换网络框架2…，直至记录的子框架数量大于等于预设的阈值时，选取此时的子框架作为所述原始模型。用所述子框架替换所述初始化种群中最老的网络框架，以保证初始化种群的大小不变，有助于更多地探索模型搜索空间，从而得到最优的原始模型。本发明实施例中，所述适应度可以为模型精度，即从所述模型搜索空间选取模型精度最高的网络框架作为初始化种群，由于所述模型搜索空间中的网络框架采用了权重共享，所以无需对候选网络框架进行再训练就可以推断出模型精度。所述随机突变可以为随机修改所述父框架中的卷积层。
本发明实施例中，通过所述模型自动选择可以自动选择出最优的原始模型，提高了模型训练的精度。
所述参数聚合模块104，用于对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器。
详细地，所述参数聚合模块104通过下述操作得到加密参数：
与其他各参与方登记区块链合约公钥，并协商联邦学习最大训练轮数；
通过所述区块链合约公钥中的加密公钥对所述模型梯度值进行加密，得到所述加密参数。
本发明实施例中，所述中央服务器用来聚合各参与方的模型梯度值，将聚合后的模型梯度值加密并发送给各参与方，比如，可以使用FedAvg算法对各参与方的模型梯度值进行加权平均。所述区块链合约公钥包括加密公钥及解密公钥。
所述模型更新模块105，用于接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型。
具体地，所述模型更新模块105通过下述操作得到标准模型：
利用所述区块链合约公钥中的解密公钥对所述聚合参数进行解密，将解密后的聚合参数和本地的所述模型参数进行累加，得到累加参数；
利用所述累加参数更新所述原始模型，得到更新后的模型参数并返回S4，直至所述原始模型收敛或训练轮数达到所述联邦学习最大训练轮数时，得到所述标准模型。
本发明实施例中，通过所述聚合参数来训练所述原始模型，可以得到精度更高的标准模型。
所述画像生成模块106，用于利用所述标准模型生成本地数据集中用户的数据画像。
本发明一可选实施例中，所述标准模型可以为金融机构的用户画像生成模型，利用预构建的数据增强策略搜索空间对用户信息进行数据自动增强处理，利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，并且基于联邦学习算法可以获得用户的消费开支区间信息、旅游出行消费信息、电商消费活跃程度等信息，使得用户画像生成模型可以生成更加精确的用户画像。
如图7所示，是本发明一实施例提供的实现基于联邦学习的模型精度控制方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于联邦学习的模型精度控制程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于联邦学习的模型精度控制程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于联邦学习的模型精度控制程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图7仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于联邦学习的模型精度控制程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集；
利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数；
对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
利用所述标准模型生成本地数据集中用户的数据画像。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图5对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集；
利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数；
对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
利用所述标准模型生成本地数据集中用户的数据画像。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种基于联邦学习的模型精度控制方法，其特征在于，所述方法包括：
将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
利用预设的真实训练集对预设的数据增强策略集进行验证，并记录所述真实训练集的数据集特征和对应的数据增强策略结果；
对所述数据增强策略结果进行优先级排序，并基于所述优先级排序选取预设个数的数据增强策略，根据所述预设个数的数据增强策略及所述真实训练集的数据集特征构建数据增强策略搜索空间；
提取所述原始训练集中的数据集特征，并根据所述数据集特征在所述数据增强策略搜索空间中选择一个或多个数据增强策略；
利用所述数据增强策略对所述原始训练集进行数据增强处理，得到标准训练集；
根据进化算法及所述标准训练集在预构建的模型搜索空间中选择出原始模型；
利用所述标准训练集训练所述原始模型，得到模型梯度值，并将所述模型梯度值作为模型参数；
对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
利用所述标准模型生成本地数据集中用户的数据画像；
其中，所述根据进化算法及所述标准训练集在预构建的模型搜索空间中选择出原始模型，包括：步骤A：以相同的概率从所述模型搜索空间中选择若干个网络框架并记录，将所述若干个网络框架作为初始化种群；步骤B：对所述初始化种群进行随机采样，得到候选网络框架集合，利用所述标准训练集验证所述候选网络框架集合中的候选网络框架，并选择出适应度最高的候选网络框架作为父框架；步骤C：对所述父框架进行随机突变得到子框架，利用所述子框架替换所述初始化种群中最老的网络框架并记录；步骤D：判断记录的子框架数量是否大于等于预设的阈值；若所述记录的子框架数量小于预设的阈值，则返回步骤B；若所述记录的子框架数量大于等于预设的阈值，则执行步骤E：选取此时的子框架作为所述原始模型。
2.如权利要求1所述的基于联邦学习的模型精度控制方法，其特征在于，所述将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集，包括：
利用预设的加密算法对所述本地数据集进行加密，得到本地加密数据集；
基于所述本地加密数据集与其他各参与方的加密数据集进行多轮哈希处理，得到所述原始训练集。
3.如权利要求1所述的基于联邦学习的模型精度控制方法，其特征在于，所述根据进化算法及所述标准训练集在预构建的模型搜索空间中选择出原始模型之前，所述方法还包括：
根据预设的卷积层构建网络框架，并以所述网络框架作为网络单元；
根据所述网络单元及预设的操作规则构建模型搜索空间。
4.一种基于联邦学习的模型精度控制装置，用于执行如权利要求1-3中任意一项所述的基于联邦学习的模型精度控制方法，其特征在于，所述装置包括：
数据加密模块，用于将本地数据集与参与联邦学习的其他各参与方的本地数据集进行加密样本对齐，得到原始训练集；
数据增强模块，用于利用预构建的数据增强策略搜索空间对所述原始训练集进行数据自动增强处理，得到标准训练集；
模型选择模块，用于利用预设的策略搜索算法在预构建的模型搜索空间中进行模型自动选择，得到原始模型，并利用所述标准训练集训练所述原始模型，得到模型参数；
参数聚合模块，用于对所述模型参数进行加密处理，得到加密参数，并将所述加密参数上传至中央服务器；
模型更新模块，用于接收所述中央服务器基于所述加密参数反馈的聚合参数，并根据所述聚合参数更新所述原始模型，得到标准模型；
画像生成模块，用于利用所述标准模型生成本地数据集中用户的数据画像。
5.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任意一项所述的基于联邦学习的模型精度控制方法。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的基于联邦学习的模型精度控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346005.XA CN112949760B (zh) | 2021-03-30 | 2021-03-30 | 基于联邦学习的模型精度控制方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346005.XA CN112949760B (zh) | 2021-03-30 | 2021-03-30 | 基于联邦学习的模型精度控制方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949760A CN112949760A (zh) | 2021-06-11 |
| CN112949760B true CN112949760B (zh) | 2024-05-10 |
Family
ID=76231296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110346005.XA Active CN112949760B (zh) | 2021-03-30 | 2021-03-30 | 基于联邦学习的模型精度控制方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949760B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554505A (zh) * | 2021-06-23 | 2021-10-26 | 中国工商银行股份有限公司 | 基于区块链的银行风控方法及装置 |
| CN113705825A (zh) * | 2021-07-16 | 2021-11-26 | 杭州医康慧联科技股份有限公司 | 适用于多方使用的数据模型共享方法 |
| CN113554474A (zh) * | 2021-08-11 | 2021-10-26 | 上海明略人工智能(集团)有限公司 | 模型的验证方法及装置、电子设备和计算机可读存储介质 |
| CN113723554B (zh) * | 2021-09-07 | 2024-05-28 | 平安银行股份有限公司 | 模型调度方法、装置、电子设备及计算机可读存储介质 |
| CN113836809B (zh) * | 2021-09-26 | 2023-12-01 | 上海万向区块链股份公司 | 基于区块链和联邦学习的跨行业数据联合建模方法及系统 |
| CN113837303A (zh) * | 2021-09-29 | 2021-12-24 | 中国联合网络通信集团有限公司 | 一种黑产用户识别方法、tee节点及计算机可读存储介质 |
| CN113992694A (zh) * | 2021-10-01 | 2022-01-28 | 浙商银行股份有限公司 | 一种基于联邦学习的区块链节点集群监控方法及设备 |
| CN114006769B (zh) * | 2021-11-25 | 2024-02-06 | 中国银行股份有限公司 | 基于横向联邦学习的模型训练方法及其设备 |
| CN117094420B (zh) * | 2023-10-20 | 2024-02-06 | 浙江大学 | 一种模型训练方法、装置和功率预测方法以及设备和介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110955907A (zh) * | 2019-12-13 | 2020-04-03 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习的模型训练方法 |
| CN111553443A (zh) * | 2020-05-14 | 2020-08-18 | 北京华宇元典信息服务有限公司 | 裁判文书处理模型的训练方法、训练装置和电子设备 |
| CN111598254A (zh) * | 2020-05-22 | 2020-08-28 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、设备及可读存储介质 |
| CN112149171A (zh) * | 2020-10-27 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 联邦神经网络模型的训练方法、装置、设备及存储介质 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| WO2021004551A1 (zh) * | 2019-09-26 | 2021-01-14 | 深圳前海微众银行股份有限公司 | 纵向联邦学习系统优化方法、装置、设备及可读存储介质 |
| CN112329940A (zh) * | 2020-11-02 | 2021-02-05 | 北京邮电大学 | 一种结合联邦学习与用户画像的个性化模型训练方法及系统 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020185973A1 (en) * | 2019-03-11 | 2020-09-17 | doc.ai incorporated | System and method with federated learning model for medical research applications |
-
2021
- 2021-03-30 CN CN202110346005.XA patent/CN112949760B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| WO2021004551A1 (zh) * | 2019-09-26 | 2021-01-14 | 深圳前海微众银行股份有限公司 | 纵向联邦学习系统优化方法、装置、设备及可读存储介质 |
| CN110955907A (zh) * | 2019-12-13 | 2020-04-03 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习的模型训练方法 |
| CN111553443A (zh) * | 2020-05-14 | 2020-08-18 | 北京华宇元典信息服务有限公司 | 裁判文书处理模型的训练方法、训练装置和电子设备 |
| CN111598254A (zh) * | 2020-05-22 | 2020-08-28 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、设备及可读存储介质 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| CN112149171A (zh) * | 2020-10-27 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 联邦神经网络模型的训练方法、装置、设备及存储介质 |
| CN112329940A (zh) * | 2020-11-02 | 2021-02-05 | 北京邮电大学 | 一种结合联邦学习与用户画像的个性化模型训练方法及系统 |
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
Non-Patent Citations (1)
| Title |
|---|
| 联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版);20200710(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949760A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949760B (zh) | 基于联邦学习的模型精度控制方法、装置及存储介质 | |
| CN109493204B (zh) | 基于区块链的业务记账方法及终端设备 | |
| CN112465627B (zh) | 基于区块链和机器学习的金融借贷审核方法及系统 | |
| CN108985772A (zh) | 一种区块链的验证方法、装置、设备及存储介质 | |
| CN111652279B (zh) | 基于时序数据的行为评价方法、装置及可读存储介质 | |
| CN111985504B (zh) | 基于人工智能的翻拍检测方法、装置、设备及介质 | |
| CN115795517B (zh) | 资产数据存储方法及装置 | |
| US20240005165A1 (en) | Machine learning model training method, prediction method therefor, apparatus, device, computer-readable storage medium, and computer program product | |
| CN114511038A (zh) | 虚假新闻检测方法、装置、电子设备及可读存储介质 | |
| US12015691B2 (en) | Security as a service for machine learning | |
| CN114827354A (zh) | 身份验证信息显示方法、装置、电子设备及可读存储介质 | |
| CN112217639B (zh) | 数据的加密共享方法、装置、电子设备及计算机存储介质 | |
| CN116192386A (zh) | 基于区块链隐私计算的多平台互通方法及装置 | |
| CN114781940B (zh) | 碳交易管理方法及装置 | |
| CN115643090A (zh) | 基于隐私检索的纵向联邦分析方法、装置、设备及介质 | |
| US20230418794A1 (en) | Data processing method, and non-transitory medium and electronic device | |
| CN115329833A (zh) | 一种基于区块链的物流系统异常数据识别方法 | |
| US11652803B2 (en) | System, method and computer-accessible medium for supporting at least one cyber-physical signaling game | |
| CN114629663A (zh) | 基于区块链的数字商品交易方法及装置 | |
| CN114422105A (zh) | 联合建模方法、装置、电子设备及存储介质 | |
| CN111611601A (zh) | 多数据方用户分析模型联合训练方法、装置及存储介质 | |
| CN112446765A (zh) | 产品推荐方法、装置、电子设备及计算机可读存储介质 | |
| CN116739611B (zh) | 客户信息跟踪管理方法、装置、设备及介质 | |
| CN110599314A (zh) | 基于区块链的旅游信息处理方法、装置、服务器和存储介质 | |
| Tchórzewski et al. | An ANN-based scalable hashing algorithm for computational clouds with schedulers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |