CN117709444A - 基于去中心化联邦学习的差分隐私模型更新方法以及系统 - Google Patents

基于去中心化联邦学习的差分隐私模型更新方法以及系统 Download PDF

Info

Publication number
CN117709444A
CN117709444A CN202410169816.0A CN202410169816A CN117709444A CN 117709444 A CN117709444 A CN 117709444A CN 202410169816 A CN202410169816 A CN 202410169816A CN 117709444 A CN117709444 A CN 117709444A
Authority
CN
China
Prior art keywords
model
data
model parameters
training
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410169816.0A
Other languages
English (en)
Other versions
CN117709444B (zh
Inventor
颜家琪
李磊磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengye Information Technology Service Shenzhen Co ltd
Original Assignee
Shengye Information Technology Service Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengye Information Technology Service Shenzhen Co ltd filed Critical Shengye Information Technology Service Shenzhen Co ltd
Priority to CN202410169816.0A priority Critical patent/CN117709444B/zh
Publication of CN117709444A publication Critical patent/CN117709444A/zh
Application granted granted Critical
Publication of CN117709444B publication Critical patent/CN117709444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及大数据技术领域，提供了一种基于去中心化联邦学习的差分隐私模型更新方法以及系统，应用于去中心化联邦学习系统的多个节点，多个节点通过分布式系统连接，方法包括：在各个节点上，通过训练数据训练各个节点上的大数据模型，得到第一模型参数；基于预设的差分隐私算法，对第一模型参数进行处理，得到处理后的第一模型参数，并将处理后的第一模型参数广播；获取其他的节点广播的第二模型参数；第二模型参数为其他的节点的大数据模型在训练后输出的模型参数；大数据模型中将训练数据、第一模型参数和第二模型参数进行模型参数聚合，得到第三模型参数；计算第三模型参数和第一模型参数之间的损失函数，直到损失函数收敛，得到目标模型。

Description

基于去中心化联邦学习的差分隐私模型更新方法以及系统
技术领域
本申请涉及大数据技术领域，尤其涉及一种基于去中心化联邦学习的差分隐私模型更新方法以及系统。
背景技术
随着人工智能和大数据技术的发展，企业通过训练大数据模型作为业务的高效处理手段。然而，在传统的集中式大数据模型训练中，数据需要被集中存储和处理，这可能导致数据隐私泄露和安全问题。为了解决这一问题，联邦学习被提出，它允许各个节点在保持数据隐私的同时，协同训练模型。但传统的联邦学习仍然存在中心化的控制，容易受到恶意攻击或人为干扰的影响。
发明内容
本申请提供了一种基于去中心化联邦学习的差分隐私模型更新方法以及系统，用于保护参与联邦学习的企业的数据隐私，并提高模型的收敛速度和准确性。
第一方面，本申请实施例提供一种基于去中心化联邦学习的差分隐私模型更新方法，应用于去中心化联邦学习系统的多个节点，多个所述节点通过分布式系统连接，所述方法包括：
在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数；
基于预设的差分隐私算法，对所述第一模型参数进行处理，得到处理后的第一模型参数，并将所述处理后的第一模型参数在所述分布式系统上广播；
获取其他的所述节点广播的第二模型参数；所述第二模型参数为其他的所述节点的大数据模型在训练后输出的模型参数；
将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，得到第三模型参数；
计算所述第三模型参数和所述第一模型参数之间的损失函数，若所述损失函数满足预设收敛条件，停止训练，得到目标模型；其中所述目标模型用于根据用户数据预测用户的消费趋势。
在一些实施例中，所述在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数，包括：在各个所述节点上，对所述训练数据中的多种数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量；所述消费品类向量、消费金额向量和时间序列向量输入所述大数据模型的循环神经网络RNN，得到所述消费品类向量和所述时间序列向量之间的第一权重矩阵，以及得到所述消费品类向量和所述消费金额向量之间的第二权重矩阵；根据所述第一权重矩阵和所述第二权重矩阵得到拟合函数，直至所述拟合函数收敛，将收敛的所述拟合函数对应的参数作为第一模型参数。
在一些实施例中，在将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型之前，所述方法还包括：获取其他的所述节点广播的收敛数值，所述收敛数值与所述第二模型参数一一对应，所述收敛数值为所述第二模型参数与在先模型参数的差别数值；其中，所述在先模型参数为其他的所述节点的大数据模型在输出所述第二模型参数之前的模型参数。
在一些实施例中，所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，包括：根据所述收敛数值生成第一权重值和第二权重值；所述第一权重值与所述第一模型参数对应，所述第二权重值与所述第二模型参数对应；将所述第一权重值、所述第二权重值、所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，以使所述大数据模型根据所述第一权重值、所述第二权重值、所述训练数据、所述第一模型参数和所述第二模型参数进行模型参数聚合。
在一些实施例中，在所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型之前，所述方法还包括：基于预设的差分隐私算法，对各个所述第二模型参数进行处理，得到处理后的第二模型参数；所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，包括：将所述训练数据、所述第一模型参数和所述处理后的第二模型参数输入所述大数据模型。
在一些实施例中，在所述通过训练数据训练大数据模型之前，所述方法还包括：基于预设的差分隐私算法，对原始数据进行处理，得到所述训练数据。
在一些实施例中，所述预设的差分隐私算法包括：拉普拉斯噪声算法和高斯噪声算法。
在一些实施例中，所述去中心化联邦学习系统包括：基于区块链技术、分布式数据库技术或云计算技术中任意一种技术构建的联邦学习系统。
在一些实施例中，所述训练数据包括：用户画像数据、用户行为数据和交易数据。
在一些实施例中，所述在各个所述节点上，对所述训练数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量的步骤之前，包括：在各个所述节点上，获取初始数据库中的初始数据；所述初始数据包括三个加密子数据，分别为第一子数据、第二子数据以及第三子数据；获取所述节点在去中心化联邦学习系统中的序列信息，以及所述节点的属性信息；其中，所述属性信息为字符组合；基于所述序列信息在数据库中匹配对应的分隔规则，基于所述分隔规则将所述属性信息分隔为第一属性信息以及第二属性信息；
对所述第一属性信息进行编码，得到对应的编码值作为第一解密密码对所述第一子数据进行解密，并获取第一子数据中存储的第一字符；对所述第二属性信息进行映射，得到对应的映射值作为第二解密密码对所述第二子数据进行解密，并获取第二子数据中存储的第二字符；将所述第一字符与第二字符依序进行组合得到组合字符；将所述组合字符中的各个字符按照预设规则添加至一个多行多列的空白矩阵中，得到字符矩阵；其中，空白矩阵的一个位置上只添加一个字符；基于所述字符矩阵，生成第三解密密码，基于所述第三解密密码对所述第三子数据进行解密，得到的解密数据作为所述训练数据。
第二方面，本申请实施例提供一种基于去中心化联邦学习的差分隐私模型更新系统，应用于去中心化联邦学习系统的多个节点，多个所述节点通过分布式系统连接，所述差分隐私模型更新系统包括：
模型生成模块，用于在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数；
参数分享模块，用于基于预设的差分隐私算法，对所述第一模型参数进行处理，得到处理后的第一模型参数，并将所述处理后的第一模型参数在所述分布式系统上广播；
参数获取模块，用于获取其他的所述节点广播的第二模型参数；所述第二模型参数为其他的所述节点的大数据模型在训练后输出的模型参数；
参数聚合模块，用于将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，得到第三模型参数；
结果输出模块，用于计算所述第三模型参数和所述第一模型参数之间的损失函数，若所述损失函数满足预设收敛条件，停止训练，得到目标模型；其中，所述目标模型用于根据用户数据预测用户的消费趋势。
本申请实施例提供了一种基于去中心化联邦学习的差分隐私模型更新方法，应用于去中心化联邦学习系统的多个节点，多个节点通过分布式系统连接，方法包括：在各个节点上，通过训练数据训练各个节点上的大数据模型，得到大数据模型的第一模型参数；基于预设的差分隐私算法，对第一模型参数进行处理，得到处理后的第一模型参数，并将处理后的第一模型参数在分布式系统上广播；获取其他的节点广播的第二模型参数；第二模型参数为其他的节点的大数据模型在训练后输出的模型参数；将训练数据、第一模型参数和第二模型参数输入大数据模型，在大数据模型中进行模型参数聚合，得到第三模型参数；计算第三模型参数和第一模型参数之间的损失函数，若损失函数满足预设收敛条件，停止训练，得到目标模型；其中，目标模型用于根据用户数据预测用户的消费趋势。通过上述方法，每个节点上的训练数据不需要进行共享，保护了企业的数据隐私，各个节点输出的模型参数经过差分隐私算法处理后，通过分布式系统分布进行广播，不需要集中在第三方中心，以防止第三方中心被攻击，导致大规模隐私泄密事件的发生，各个节点还可以选择合适数量的模型参数来训练自身的模型，以适配不同算力资源。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于去中心化联邦学习的差分隐私模型更新方法的示意流程图；
图2为本申请实施例提供的一种大数据模型的训练方法的示意流程图；
图3为本申请实施例提供的一种基于去中心化联邦学习的差分隐私模型更新系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请实施例提供一种基于去中心化联邦学习系统，该去中心化联邦学习系统包括多个节点，多个节点通过分布式系统连接，多个节点可以是企业的服务器。通过联邦学习的机制，企业间能够提高各自的大数据模型的训练精度，以获得更智能、更准确的大数据模型。
其中，服务器可以为独立的服务器，也可以为服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。该终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
在一些实施例中，去中心化联邦学习系统包括：基于区块链技术、分布式数据库技术或云计算技术中任意一种技术构建的联邦学习系统。
请参阅图1，图1展示了本申请实施例提供的一种基于去中心化联邦学习的差分隐私模型更新方法的示意流程图。如图1所示，该方法的具体步骤包括：S101-S105。
S101、在各个节点上，通过训练数据训练各个节点上的大数据模型，得到大数据模型的第一模型参数。
在一些实施例中，在通过训练数据训练大数据模型之前，方法还包括：基于预设的差分隐私算法，对原始数据进行处理，得到训练数据。差分隐私算法包括：高斯噪声算法和拉普拉斯噪声算法，通过差分隐私算法向原始数据中添加噪声，能够增加大数据模型的鲁棒性，改善大数据模型的性能，也能够保护用户的数据隐私，防止隐私泄露。
在一些实施例中，训练数据包括：用户画像数据、用户行为数据和交易数据。训练数据为企业在日常经营活动中收集的用户数据，这些训练数据在收集时，获得了用户的收集许可。企业可以通过大数据模型分析这些训练数据，预测用户的消费趋势，以辅助完善后续的经营策略。
在一些实施例中，在各个节点上，对训练数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量的步骤之前，包括：在各个节点上，获取初始数据库中的初始数据；初始数据包括三个加密子数据，分别为第一子数据、第二子数据以及第三子数据；获取节点在去中心化联邦学习系统中的序列信息，以及节点的属性信息；其中，属性信息为字符组合；基于序列信息在数据库中匹配对应的分隔规则，基于分隔规则将属性信息分隔为第一属性信息以及第二属性信息；对第一属性信息进行编码，得到对应的编码值作为第一解密密码对第一子数据进行解密，并获取第一子数据中存储的第一字符；对第二属性信息进行映射，得到对应的映射值作为第二解密密码对第二子数据进行解密，并获取第二子数据中存储的第二字符；将第一字符与第二字符依序进行组合得到组合字符；将组合字符中的各个字符按照预设规则添加至一个多行多列的空白矩阵中，得到字符矩阵；其中，空白矩阵的一个位置上只添加一个字符；基于字符矩阵，生成第三解密密码，基于第三解密密码对第三子数据进行解密，得到的解密数据作为训练数据。
其中，在基于字符矩阵，生成第三解密密码时，需要对构建好的多行多列的字符矩阵进行全面分析，包括：统计矩阵中的字符频率、排列规律。如果字符矩阵中存在某种隐藏的顺序结构，可以提取这种结构作为密码生成的基础，根据预设规则或设计的密码生成算法，结合提取的特征信息生成第三解密密码。这个算法可以是一个哈希函数，将字符矩阵的某些特征映射到一个固定长度的密钥。获取密钥之后，使用生成的第三解密密码尝试对第三子数据进行解密，并确认所获取的数据内容是预期的训练数据的格式和质量，从而完成对整个初始数据的解密过程，得到训练数据。
上述机制通过多层解密和信息整合的方式增强了数据安全性，并且能在保证数据隐私的前提下，在去中心化的环境中实现有效的联邦学习训练。
在一些实施例中，请参阅图2，图2展示了本申请实施例提供的一种大数据模型的训练方法的示意流程图。如图2所示的大数据模型的训练方法，应用于各个节点上，各个节点上安装有相同的大数据模型。在各个节点上，通过训练数据训练各个节点上的大数据模型，得到大数据模型的第一模型参数，该大数据模型的训练方法的具体步骤包括：S1011-S1013。
S1011、在各个节点上，对训练数据中的多种数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量。
示例性的，企业通过大数据模型处理用户的消费数据，例如，消费数据包括消费品类数据、消费金额数据和时间序列数据，并输出用户在未来进行消费升级的评估结果。
消费数据要处理成符合大数据模型的向量格式。具体地，使用独热编码（One-hotEncoding）将每一个消费品类数据映射为一个二进制向量，其中对应位置的“1”表示用户浏览过该品类，其余位置为“0”。例如，如果某个用户浏览了5种不同的商品品类，则其对应的品类向量长度将是所有品类数目的总和。而消费金额数据，可以直接作为向量元素，为了便于模型处理，还需要对消费金额数据进行归一化处理，使不同大数据模型间地数据更具有统一性。构建时间序列向量，统计用户在垂直领域内浏览消费品类的数据，并根据时间段和消费品类生成频次向量。
S1012、消费品类向量、消费金额向量和时间序列向量输入大数据模型的循环神经网络RNN，得到消费品类向量和时间序列向量之间的第一权重矩阵，以及得到消费品类向量和消费金额向量之间的第二权重矩阵。
示例性的，第一权重矩阵反应了消费品类向量和时间特征向量之间的映射关系，记录了用户在不同消费品类上的浏览时间，由此能够推算出用户用于浏览垂直领域内的消费品类的舒适时间，并按照舒适时间规划消费品类的数量。第二权重矩阵则反应了消费品类和消费金额之间的映射关系，记录了用户在垂直领域中不同消费品类上的消费金额，由此能够推算出用户的消费趋势和消费额度，根据消费趋势和消费额度排列能够优化舒适时间内推荐的消费品类的排序，由此能够提高用户的使用体验，从而提高用户消费意愿。
S1013、根据第一权重矩阵和第二权重矩阵得到拟合函数，直至拟合函数收敛，将收敛的拟合函数对应的参数作为第一模型参数。
示例性的，向循环神经网络RNN的输出层输入第一权重矩阵和第二权重矩阵，通过隐藏层的非线性变换（如ReLU激活函数）将第一权重矩阵和第二权重矩阵的特征映射到更高层次的抽象表示上，然后通过输出层的拟合函数（如交叉熵损失、均方误差损失等）来逼近真实的目标值。直至拟合函数收敛，将收敛的拟合函数对应的参数作为第一模型参数。
S102、基于预设的差分隐私算法，对第一模型参数进行处理，得到处理后的第一模型参数，并将处理后的第一模型参数在分布式系统上广播。
示例性的，大数据模型生成第一模型参数包含了许多用户的数据隐私的特征，通过第一模型参数可以反推出部分商业机密数据，可能给企业带来损失，因此，在将第一模型参数广播前，需要通过差分隐私算法对第一模型参数进行加密处理，防止数据泄露。
在一些实施例中，对第一模型参数加密的预设的差分隐私算法为：指数机制算法。在差分隐私框架下，指数机制算法提供了一种能够在满足严格隐私约束的同时，从一组候选答案中挑选出最合适的输出，并且这种选择过程具有概率性，能够有效隐藏特定个体的影响。指数机制算法允许在保护用户的数据隐私的同时，确保大数据模型输出的第一模型参数具有实用性。
S103、获取其他的节点广播的第二模型参数；第二模型参数为其他的节点的大数据模型在训练后输出的模型参数。
示例性的，其他的节点广播的第二模型参数，可以是其他的节点根据训练数据训练大数据模型得到的第一模型参数，也可以是在联邦学习中，其他的节点根据训练数据、第一模型参数和分布式系统上广播的模型参数进行聚合得到的模型参数。
在获取第二模型参数时，节点可以根据自身的计算资源获取相应数量的第二模型参数，这样，能够更高效率地利用计算资源，从而降低联邦学习的进入门槛。
S104、将训练数据、第一模型参数和第二模型参数输入大数据模型，在大数据模型中进行模型参数聚合，得到第三模型参数。
在一些实施例中，在将训练数据、第一模型参数和第二模型参数输入大数据模型之前，方法还包括：获取其他的节点广播的收敛数值，收敛数值与第二模型参数一一对应，收敛数值为第二模型参数与在先模型参数的差别数值；其中，在先模型参数为其他的节点的大数据模型在输出第二模型参数之前的模型参数。
每个节点在训练的过程中，都会根据预设的评估函数评估模型参数的收敛效果，输出当前的模型参数和前一份模型参数的差别评估数值，该差别评估数值即为收敛数值，再将该收敛数值分享给其他节点，以供其他的节点评估接收到的第二模型参数的可参考性。其他的节点的大数据模型在将第二模型参数聚合时，根据该收敛数值向该第二模型参数进行赋权。此外，通过上述赋权机制，还能够防止个别企业在联邦学习的过程中故意污染数据。
在一些实施例中，在将训练数据、第一模型参数和第二模型参数输入大数据模型之前，方法还包括：基于预设的差分隐私算法，对各个第二模型参数进行处理，得到处理后的第二模型参数；将训练数据、第一模型参数和第二模型参数输入大数据模型，包括：将训练数据、第一模型参数和处理后的第二模型参数输入大数据模型。
通过对第二模型参数中进行差分隐私处理，在训练过程中，可以帮助大数据模型更好地应对实际应用中的不确定性，实现了对真实世界中的随机变化的模拟。模型在训练时被迫学习更稳健的特征表示，从而提升在未见过的数据上的表现，减少过拟合现象，以迫使大数据模型学习到更为本质的特征，而不是过度依赖于特定样本的细节或背景噪声，从而提升大数据模型的鲁棒性。
在一些实施例中，将训练数据、第一模型参数和第二模型参数输入大数据模型，在大数据模型中进行模型参数聚合，包括：根据收敛数值生成第一权重值和第二权重值；第一权重值与第一模型参数对应，第二权重值与第二模型参数对应；将第一权重值、第二权重值、训练数据、第一模型参数和第二模型参数输入大数据模型，以使大数据模型根据第一权重值、第二权重值、训练数据、第一模型参数和第二模型参数进行模型参数聚合。
示例性的，参数聚合的过程为：向第一模型参数、第二模型参数分别赋予第一权重值、第二权重值，分别按照第一权重值、第二权重值对第一模型参数、第二模型参数进行加权求和，第一权重值和第二权重值可以表示模型参数的重要性或者对最终结果的贡献度。通过合理分配各第二模型参数的权重，结合节点的第一模型参数，旨在提高大数据模型的预测能力和泛化性能，也能一定程度地避免恶意的数据污染。
S105、计算第三模型参数和第一模型参数之间的损失函数，若损失函数满足预设收敛条件，停止训练，得到目标模型；其中，目标模型用于根据用户数据预测用户的消费趋势。
示例性的，设定一个能够度量第三模型参数与第一模型参数之间差异的损失函数，比如均方误差（MSE）、交叉熵损失等。检查计算出的损失函数值是否满足预设收敛条件，例如，连续若干轮迭代后损失函数下降到某个阈值以下，或者损失函数的变化率低于某个很小的正数。若预设满足收敛条件，则认为第三模型已经足够接近目标状态，此时可以停止训练，将当前的第三模型参数作为目标模型参数。若不满足收敛条件，则继续调整第三模型的参数，通过梯度下降、拟牛顿法或其他优化算法来减少损失函数的值，直到达到收敛条件为止，根据目标模型参数生成目标模型。
通过上述方法，每个节点上的训练数据不需要进行共享，保护了企业的数据隐私，各个节点输出的模型参数经过差分隐私算法处理后，通过分布式系统分布进行广播，不需要集中在第三方中心，以防止第三方中心被攻击，导致大规模隐私泄密事件的发生，各个节点还可以选择合适数量的模型参数来训练自身的模型，以适配不同算力资源。
请参阅图3，图3展示了本申请实施例提供的一种基于去中心化联邦学习的差分隐私模型更新系统的示意性框图。该基于去中心化联邦学习的差分隐私模型更新系统300包括多个节点，多个节点通过分布式系统连接，基于去中心化联邦学习的差分隐私模型更新系统300用于执行前述的基于去中心化联邦学习的差分隐私模型更新方法。其中，该基于去中心化联邦学习的差分隐私模型更新系统可以配置于服务器或终端设备中。
其中，服务器可以为独立的服务器，也可以为服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。该终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、用户数字助理和穿戴式设备等电子设备。
如图3所示，基于去中心化联邦学习的差分隐私模型更新系统300包括：模型生成模块301、参数分享模块302、参数获取模块303、参数聚合模块304和结果输出模块305。
模型生成模块301，用于在各个节点上，通过训练数据训练各个节点上的大数据模型，得到大数据模型的第一模型参数。
在一些实施例中，模型生成模块301用于实现在各个节点上，通过训练数据训练各个节点上的大数据模型，得到大数据模型的第一模型参数时，具体用于执行：在各个节点上，对训练数据中的多种数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量；消费品类向量、消费金额向量和时间序列向量输入大数据模型的循环神经网络RNN，得到消费品类向量和时间序列向量之间的第一权重矩阵，以及得到消费品类向量和消费金额向量之间的第二权重矩阵；根据第一权重矩阵和第二权重矩阵得到拟合函数，直至拟合函数收敛，将收敛的拟合函数对应的参数作为第一模型参数。
在一些实施例中，模型生成模块301在用于实现各个节点上，对训练数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量的步骤之前，还具体用于实现：在各个节点上，获取初始数据库中的初始数据；初始数据包括三个加密子数据，分别为第一子数据、第二子数据以及第三子数据；获取节点在去中心化联邦学习系统中的序列信息，以及节点的属性信息；其中，属性信息为字符组合；基于序列信息在数据库中匹配对应的分隔规则，基于分隔规则将属性信息分隔为第一属性信息以及第二属性信息；对第一属性信息进行编码，得到对应的编码值作为第一解密密码对第一子数据进行解密，并获取第一子数据中存储的第一字符；对第二属性信息进行映射，得到对应的映射值作为第二解密密码对第二子数据进行解密，并获取第二子数据中存储的第二字符；将第一字符与第二字符依序进行组合得到组合字符；将组合字符中的各个字符按照预设规则添加至一个多行多列的空白矩阵中，得到字符矩阵；其中，空白矩阵的一个位置上只添加一个字符；基于字符矩阵，生成第三解密密码，基于第三解密密码对第三子数据进行解密，得到的解密数据作为训练数据。
在一些实施例中，模型生成模块301在用于实现通过训练数据训练大数据模型之前，还具体用于实现：基于预设的差分隐私算法，对原始数据进行处理，得到训练数据。
参数分享模块302，用于基于预设的差分隐私算法，对第一模型参数进行处理，得到处理后的第一模型参数，并将处理后的第一模型参数在分布式系统上广播。
参数获取模块303，用于获取其他的节点广播的第二模型参数；第二模型参数为其他的节点的大数据模型在训练后输出的模型参数。
参数聚合模块304，用于将训练数据、第一模型参数和第二模型参数输入大数据模型，在大数据模型中进行模型参数聚合，得到第三模型参数。
在一些实施例中，参数聚合模块304在用于实现将训练数据、第一模型参数和第二模型参数输入大数据模型之前，还具体用于实现：获取其他的节点广播的收敛数值，收敛数值与第二模型参数一一对应，收敛数值为第二模型参数与在先模型参数的差别数值；其中，在先模型参数为其他的节点的大数据模型在输出第二模型参数之前的模型参数。
在一些实施例中，参数聚合模块304在用于实现将训练数据、第一模型参数和第二模型参数输入大数据模型，在大数据模型中进行模型参数聚合时，具体用于实现：根据收敛数值生成第一权重值和第二权重值；第一权重值与第一模型参数对应，第二权重值与第二模型参数对应；将第一权重值、第二权重值、训练数据、第一模型参数和第二模型参数输入大数据模型，以使大数据模型根据第一权重值、第二权重值、训练数据、第一模型参数和第二模型参数进行模型参数聚合。
在一些实施例中，参数聚合模块304在用于实现将训练数据、第一模型参数和第二模型参数输入大数据模型之前，还具体用于实现：基于预设的差分隐私算法，对各个第二模型参数进行处理，得到处理后的第二模型参数；将训练数据、第一模型参数和第二模型参数输入大数据模型，包括：将训练数据、第一模型参数和处理后的第二模型参数输入大数据模型。
结果输出模块305，用于计算第三模型参数和第一模型参数之间的损失函数，若损失函数满足预设收敛条件，停止训练，得到目标模型；其中，目标模型用于根据用户数据预测用户的消费趋势。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于去中心化联邦学习的差分隐私模型更新方法，其特征在于，应用于去中心化联邦学习系统的多个节点，多个所述节点通过分布式系统连接，所述方法包括：
在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数；
基于预设的差分隐私算法，对所述第一模型参数进行处理，得到处理后的第一模型参数，并将所述处理后的第一模型参数在所述分布式系统上广播；
获取其他的所述节点广播的第二模型参数；所述第二模型参数为其他的所述节点的大数据模型在训练后输出的模型参数；
将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，得到第三模型参数；
计算所述第三模型参数和所述第一模型参数之间的损失函数，若所述损失函数满足预设收敛条件，停止训练，得到目标模型；其中所述目标模型用于根据用户数据预测用户的消费趋势。
2.如权利要求1所述的差分隐私模型更新方法，其特征在于，所述在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数，包括：
在各个所述节点上，对所述训练数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量；
将所述消费品类向量、消费金额向量和时间序列向量输入所述大数据模型的循环神经网络RNN，得到所述消费品类向量和所述时间序列向量之间的第一权重矩阵，以及得到所述消费品类向量和所述消费金额向量之间的第二权重矩阵；
根据所述第一权重矩阵和所述第二权重矩阵得到拟合函数，直至所述拟合函数收敛，将收敛的所述拟合函数对应的参数作为第一模型参数。
3.如权利要求1所述的差分隐私模型更新方法，其特征在于，在将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型之前，所述方法还包括：
获取其他的所述节点广播的收敛数值，所述收敛数值与所述第二模型参数一一对应，所述收敛数值为所述第二模型参数与在先模型参数的差别数值；
其中，所述在先模型参数为其他的所述节点的大数据模型在输出所述第二模型参数之前的模型参数。
4.如权利要求3所述的差分隐私模型更新方法，其特征在于，所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，包括：
根据所述收敛数值生成第一权重值和第二权重值；所述第一权重值与所述第一模型参数对应，所述第二权重值与所述第二模型参数对应；
将所述第一权重值、所述第二权重值、所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，以使所述大数据模型根据所述第一权重值、所述第二权重值、所述训练数据、所述第一模型参数和所述第二模型参数进行模型参数聚合。
5.如权利要求1所述的差分隐私模型更新方法，其特征在于，在所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型之前，所述方法还包括：
基于预设的差分隐私算法，对各个所述第二模型参数进行处理，得到处理后的第二模型参数；
所述将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，包括：
将所述训练数据、所述第一模型参数和所述处理后的第二模型参数输入所述大数据模型。
6.如权利要求1所述的差分隐私模型更新方法，其特征在于，在所述通过训练数据训练大数据模型之前，所述方法还包括：
基于预设的差分隐私算法，对原始数据进行处理，得到所述训练数据。
7.如权利要求1所述的差分隐私模型更新方法，其特征在于，所述预设的差分隐私算法包括：拉普拉斯噪声算法和高斯噪声算法。
8.如权利要求1所述的差分隐私模型更新方法，其特征在于，所述去中心化联邦学习系统包括：基于区块链技术、分布式数据库技术或云计算技术中任意一种技术构建的联邦学习系统；
所述训练数据包括：用户画像数据、用户行为数据和交易数据。
9.如权利要求2所述的差分隐私模型更新方法，其特征在于，所述在各个所述节点上，对所述训练数据进行向量化处理，得到用户的消费品类向量、消费金额向量和时间序列向量的步骤之前，包括：
在各个所述节点上，获取初始数据库中的初始数据；所述初始数据包括三个加密子数据，分别为第一子数据、第二子数据以及第三子数据；
获取所述节点在去中心化联邦学习系统中的序列信息，以及所述节点的属性信息；其中，所述属性信息为字符组合；
基于所述序列信息在数据库中匹配对应的分隔规则，基于所述分隔规则将所述属性信息分隔为第一属性信息以及第二属性信息；
对所述第一属性信息进行编码，得到对应的编码值作为第一解密密码对所述第一子数据进行解密，并获取第一子数据中存储的第一字符；对所述第二属性信息进行映射，得到对应的映射值作为第二解密密码对所述第二子数据进行解密，并获取第二子数据中存储的第二字符；
将所述第一字符与第二字符依序进行组合得到组合字符；将所述组合字符中的各个字符按照预设规则添加至一个多行多列的空白矩阵中，得到字符矩阵；其中，空白矩阵的一个位置上只添加一个字符；
基于所述字符矩阵，生成第三解密密码，基于所述第三解密密码对所述第三子数据进行解密，得到的解密数据作为所述训练数据。
10.一种基于去中心化联邦学习的差分隐私模型更新系统，其特征在于，应用于去中心化联邦学习系统的多个节点，多个所述节点通过分布式系统连接，所述差分隐私模型更新系统包括：
模型生成模块，用于在各个所述节点上，通过训练数据训练各个所述节点上的大数据模型，得到所述大数据模型的第一模型参数；
参数分享模块，用于基于预设的差分隐私算法，对所述第一模型参数进行处理，得到处理后的第一模型参数，并将所述处理后的第一模型参数在所述分布式系统上广播；
参数获取模块，用于获取其他的所述节点广播的第二模型参数；所述第二模型参数为其他的所述节点的大数据模型在训练后输出的模型参数；
参数聚合模块，用于将所述训练数据、所述第一模型参数和所述第二模型参数输入所述大数据模型，在所述大数据模型中进行模型参数聚合，得到第三模型参数；
结果输出模块，用于计算所述第三模型参数和所述第一模型参数之间的损失函数，若所述损失函数满足预设收敛条件，停止训练，得到目标模型；其中所述目标模型用于根据用户数据预测用户的消费趋势。
CN202410169816.0A 2024-02-06 2024-02-06 基于去中心化联邦学习的差分隐私模型更新方法以及系统 Active CN117709444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410169816.0A CN117709444B (zh) 2024-02-06 2024-02-06 基于去中心化联邦学习的差分隐私模型更新方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410169816.0A CN117709444B (zh) 2024-02-06 2024-02-06 基于去中心化联邦学习的差分隐私模型更新方法以及系统

Publications (2)

Publication Number Publication Date
CN117709444A true CN117709444A (zh) 2024-03-15
CN117709444B CN117709444B (zh) 2024-05-28

Family

ID=90152037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410169816.0A Active CN117709444B (zh) 2024-02-06 2024-02-06 基于去中心化联邦学习的差分隐私模型更新方法以及系统

Country Status (1)

Country Link
CN (1) CN117709444B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688943A (zh) * 2021-09-17 2021-11-23 太原科技大学 一种分布式物联网异常检测方法
CN113794675A (zh) * 2021-07-14 2021-12-14 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的分布式物联网入侵检测方法及系统
CN114297722A (zh) * 2022-03-09 2022-04-08 广东工业大学 一种基于区块链的隐私保护异步联邦共享方法及系统
CN117094773A (zh) * 2023-09-13 2023-11-21 杭州云象网络技术有限公司 基于区块链隐私计算的在线迁移学习方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794675A (zh) * 2021-07-14 2021-12-14 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的分布式物联网入侵检测方法及系统
CN113688943A (zh) * 2021-09-17 2021-11-23 太原科技大学 一种分布式物联网异常检测方法
CN114297722A (zh) * 2022-03-09 2022-04-08 广东工业大学 一种基于区块链的隐私保护异步联邦共享方法及系统
CN117094773A (zh) * 2023-09-13 2023-11-21 杭州云象网络技术有限公司 基于区块链隐私计算的在线迁移学习方法及系统

Also Published As

Publication number Publication date
CN117709444B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
Zhang et al. Privacy preserving deep computation model on cloud for big data feature learning
CN110084377A (zh) 用于构建决策树的方法和装置
CN113420232B (zh) 一种面向隐私保护的图神经网络联邦推荐方法
CN103368921B (zh) 用于智能设备的分布式用户建模系统和方法
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN112347500B (zh) 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN113609398A (zh) 一种基于异构图神经网络的社交推荐方法
Yin et al. FGC: GCN-based federated learning approach for trust industrial service recommendation
WO2023071105A1 (zh) 一种特征变量的分析方法、装置、计算机设备及存储介质
CN116579775B (zh) 一种商品交易数据管理系统及方法
Wang et al. DNN-DP: Differential privacy enabled deep neural network learning framework for sensitive crowdsourcing data
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN113553582A (zh) 恶意攻击检测方法、装置及电子设备
Bi et al. Edge-cooperative privacy-preserving object detection over random point cloud shares for connected autonomous vehicles
CN115481415A (zh) 基于纵向联邦学习的通信成本优化方法、系统、设备及介质
CN110610098A (zh) 数据集生成方法及装置
CN117574436B (zh) 一种基于张量的大数据隐私安全防护方法
CN112989182B (zh) 信息处理方法、装置、信息处理设备及存储介质
Wang et al. Blockchain-Enabled Lightweight Fine-Grained Searchable Knowledge Sharing for Intelligent IoT
CN117709444B (zh) 基于去中心化联邦学习的差分隐私模型更新方法以及系统
CN114463063A (zh) 数据处理方法及相关装置
He [Retracted] Ideological and Political Teaching Resource Sharing Method Based on Edge Computing
Fawzi et al. Structured dimensionality reduction for additive model regression
Yu et al. Reducing hysteresis and over‐smoothing in traffic estimation: A multistream spatial‐temporal graph convolutional network
Li et al. An Improved Traffic Forecasting Model based on Efficient Spatiotemporal Graph Convolutional Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant