CN116611118A - 基于改进差分隐私的数据隐私保护模型的构建方法、装置 - Google Patents

基于改进差分隐私的数据隐私保护模型的构建方法、装置 Download PDF

Info

Publication number
CN116611118A
CN116611118A CN202310900290.4A CN202310900290A CN116611118A CN 116611118 A CN116611118 A CN 116611118A CN 202310900290 A CN202310900290 A CN 202310900290A CN 116611118 A CN116611118 A CN 116611118A
Authority
CN
China
Prior art keywords
model
data privacy
privacy protection
edge node
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310900290.4A
Other languages
English (en)
Inventor
罗安琴
郑利斌
白晖峰
霍超
尹志斌
谢凡
张楠
丁啸
苑佳楠
张港红
高建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202310900290.4A priority Critical patent/CN116611118A/zh
Publication of CN116611118A publication Critical patent/CN116611118A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种基于改进差分隐私的数据隐私保护模型的构建方法、装置、处理器及存储介质，属于人工智能领域。该方法包括：选择参与数据隐私保护模型构建的边缘节点；将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到，所述数据隐私保护初始模型由所述中心节点发送给各边缘节点；若未收敛，则基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复上述步骤直至模型收敛。本发明实施例可以保证构建模型的准确性。

Description

基于改进差分隐私的数据隐私保护模型的构建方法、装置
技术领域
本发明涉及人工智能领域，具体地涉及一种基于改进差分隐私的数据隐私保护模型的构建方法、装置、应用于电网配送的联邦学习系统、处理器及存储介质。
背景技术
随着人工智能与信息技术的蓬勃发展，数据驱动算法和模型成为这个时代不可忽视的重要资源。而今，数据虽然越来越多，可是“数据孤岛”问题也愈发严重。联邦学习对数据孤岛问题提出了一种有效的解决方式，在保证用户的数据不出各节点的条件下促使不同的数据持有方共同构建一个更好的机器学习模型，即联邦学习能够在数据不出本地的情况下，使用不同节点提供的数据完成同一个模型的训练，从而极大的保证数据的安全性和隐私性。
然而，联邦学习作为分布移动边缘计算框架，不可避免的存在一定的安全问题，比如中心节点和边缘节点在信息交互时可能被窃听和篡改信息、恶意节点通过模型重构数据、恶意节点通过数据投毒的方式破坏模型训练等。
发明内容
本发明实施例的目的是提供一种基于改进差分隐私的数据隐私保护模型的构建方法、装置、应用于电网配送的联邦学习系统、处理器及存储介质。通过本发明实施例可以解决或部分解决现有技术存在的问题。
为了实现上述目的，本发明实施例提供一种基于改进差分隐私的数据隐私保护模型的构建方法，该方法应用于联邦学习系统，所述联邦学习系统包括执行该方法的中心节点和多个边缘节点，该方法包括：选择参与数据隐私保护模型构建的边缘节点；将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到，所述数据隐私保护初始模型由所述中心节点发送给各边缘节点；若未收敛，则基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复上述步骤直至模型收敛。
可选的，所述各边缘节点的本地模型的样本预测能力用预测准确率表示，所述预测准确率包括：各边缘节点的本地模型在第一测试集上预测时的第一预测准确率，以及各边缘节点的本地模型在第二测试集上预测时的第二预测准确率；其中所述第一测试集由不同的标签样本组成，第二测试集由多个测试子集组成，每个测试子集拥有同样的标签样本，测试子集的个数等于标签的种类数。
可选的，所述与各边缘节点的本地模型的样本预测能力相匹配的权重为：与各边缘节点的本地模型的第一预测准确率和/或第二预测准确率相匹配的权重；
所述权重通过以下公式确定：
式中，为第n个边缘节点的权重，L为各边缘节点的本地模型的训练轮次；为第n个边缘节点的本地模型的预测准确率，其值与第一预测准确率或第二预测准确率相等。
可选的，所述基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，包括：
选取k1个权重最大的边缘节点，并从其余的边缘节点中随机选取k2个边缘节点参与数据隐私保护模型构建，其中k1与k2之和为N，N为参与数据隐私保护模型构建的边缘节点的个数。
可选的，在将各边缘节点的本地模型融合为数据隐私保护优化模型之前，所述基于改进差分隐私的数据隐私保护模型的构建方法，还包括：对所述各边缘节点的本地模型的样本预测能力进行测试，根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点；当存在恶意边缘节点时，根据各边缘节点的第二预测准确率确定恶意边缘节点；剔除所述恶意边缘节点，并将剔除恶意边缘节点后的各边缘节点的本地模型融合为数据隐私保护优化模型。可选的，所述根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点，包括：计算各边缘节点的本地模型的第一预测准确率的标准差，当标准差大于预设阈值时，判定存在恶意边缘节点，否则不存在恶意边缘节点。
可选的，根据以下公式计算标准差：
式中，/>为各边缘节点的本地模型的第一预测准确率的标准差；N为参与数据隐私保护模型构建的边缘节点的个数；/>为第n个边缘节点的本地模型的第一预测准确率；/>为各边缘节点的本地模型的第一预测准确率的均值。
可选的，所述当存在恶意边缘节点时，根据各边缘节点的第二预测准确率确定恶意边缘节点，包括：根据所述第二预测准确率，计算各边缘节点的本地模型对不同标签样本的分类能力值；将分类能力值小于0的边缘节点判定为恶意边缘节点。
可选的，所述分类能力值通过以下公式计算得到：
式中，为第n个边缘节点的本地模型的分类能力值；/>为第n个边缘节点的本地模型在第i个测试子集上预测时的第二预测准确率，N为参与数据隐私保护模型构建的边缘节点的个数，a为设定的评估分类能力强弱的阈值。
相应的，本发明实施例还提供一种基于改进差分隐私的数据隐私保护模型的构建装置，所述基于改进差分隐私的数据隐私保护模型的构建装置，包括：第一模块、第二模块和第三模块；所述第一模块，用于根据联邦学习任务生成数据隐私保护初始模型，并将所述数据隐私保护初始模型传输到各个边缘节点；所述第二模块，用于将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到；所述第三模块，用于选择参与数据隐私保护模型构建的边缘节点，以及 在数据隐私保护优化模型未收敛时，基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复训练直至模型收敛。
相应的，本发明实施例还提供一种应用于电网配送的联邦学习系统，所述联邦学习系统包括：中心节点和多个边缘节点，所述中心节点包括所述的基于改进差分隐私的数据隐私保护模型的构建装置。
相应的，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行所述的基于改进差分隐私的数据隐私保护模型的构建方法。
相应的，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行所述的基于改进差分隐私的数据隐私保护模型的构建方法。
本发明实施例，通过对所述各边缘节点的本地模型的样本预测能力进行测试，可以授予参与模型构建的各边缘节点与其样本预测能力匹配的权重。当该边缘节点的样本预测能力较低时，降低该边缘节点的权重，减少其参与模型构建的可能性，使其拥有更少的参与模型训练的机会，保证数据隐私保护模型的准确性。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明实施例提供的一种基于改进差分隐私的数据隐私保护模型的构建方法的流程图；
图2是本发明另一实施例提供的一种基于改进差分隐私的数据隐私保护模型的构建方法的流程图；
图3是本发明实施例提供的一种基于改进差分隐私的数据隐私保护模型的构建装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是本发明实施例提供的一种基于改进差分隐私的数据隐私保护模型的构建方法的流程图。
所述基于改进差分隐私的数据隐私保护模型的构建方法应用于联邦学习系统，所述联邦学习系统包括执行该方法的中心节点和多个边缘节点，如图1所示，该方法包括：
S110：选择参与数据隐私保护模型构建的边缘节点；
S120：将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到，所述数据隐私保护初始模型由所述中心节点发送给各边缘节点；
S130：若未收敛，则基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复上述步骤直至模型收敛。
现有技术中，中心节点可以下发数据隐私保护初始模型给参与学习的各个边缘节点，各个边缘节点通过其自身的本地训练集对该初始模型进行训练，然后将训练后获得的本地模型上传至中心节点。中心节点将接收到的各个边缘节点上报的本地模型的模型参数进行联合平均，得到数据隐私保护优化模型。之后中心节点判断该数据隐私保护优化模型是否收敛，若未收敛则将数据隐私保护优化模型再次下发至各个边缘节点，各个边缘节点重复上述过程直至模型收敛，得到所求的数据隐私保护优化模型。
但是，中心节点和边缘节点在信息交互时可能被窃听和篡改信息、恶意边缘节点通过模型重构数据、通过数据投毒的方式破坏数据隐私保护优化模型训练。因此，本发明实施例提出了一种基于改进差分隐私的数据隐私保护模型的构建方法，该方法包括：选择参与数据隐私保护模型构建的边缘节点，然后将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，若所述数据隐私保护优化模型未收敛，则基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复上述步骤直至模型收敛。通过本发明实施例，可以对参与模型构建的边缘节点赋予权重，当该边缘节点的样本预测能力较低时，降低该边缘节点的权重，减少其参与模型构建的可能性，使其拥有更少的参与模型训练的机会，从而保证数据隐私保护模型的准确性。
在步骤S130中，所述本地模型的样本预测能力表示本地模型的样本预测的准确率。例如，将6份测试样本分别输入某一边缘节点的本地模型，本地模型的输出结果有3次与正确结果一致，则该边缘节点的样本预测能力（样本预测准确率）为3/6=0.5；将8份测试样本分别输入某一边缘节点的本地模型，本地模型的输出结果有2次与正确结果一致，则该边缘节点的样本预测能力（样本预测准确率）为2/8=0.25。
在一些可选的实施方式中，所述预测准确率可以包括：各边缘节点的本地模型在第一测试集上预测时的第一预测准确率，以及各边缘节点的本地模型在第二测试集上预测时的第二预测准确率；其中所述第一测试集由不同的标签样本组成，第二测试集由多个测试子集组成，每个测试子集拥有同样的标签样本，测试子集的个数等于标签的种类数。
所述与各边缘节点的本地模型的样本预测能力相匹配的权重为：与各边缘节点的本地模型的第一预测准确率和/或第二预测准确率相匹配的权重；其中，所述与各边缘节点的本地模型的第一预测准确率相匹配的权重为：各边缘节点的本地模型对具有不同样本数据标签的测试集预测时的预测准确率。所述与各边缘节点的本地模型的第二预测准确率相匹配的权重为：各边缘节点的本地模型对具有相同样本数据标签的测试集预测时的预测准确率。
所述边缘节点的权重可以通过以下公式更新：
式中，为第n个边缘节点的权重，L为各边缘节点的本地模型的训练轮次；为第n个边缘节点的本地模型的预测准确率，其值与第一预测准确率或第二预测准确率相等。
当某个边缘节点利用其自身训练集对数据隐私保护初始模型训练得到的本地模型的预测准确率高时，代表该边缘节点的本地数据集的数据的可信度较高。通过增加其权重，可以提高该节点参加下一轮模型构建的几率，从而增强数据隐私保护模型的准确性。相反，当该边缘节点的样本预测能力较低时，降低该边缘节点的权重，减少其参与模型构建的可能性，使其拥有更少的参与模型训练的机会，保证数据隐私保护模型的准确性。
本发明实施例，为增强数据隐私保护模型的准确性，减少中心节点和恶意边缘节点的不必要通信，提出了一种奖惩机制对边缘节点的权重进行动态分配。对于在本轮训练中表现良好的边缘节点给予奖励，增加其权重，对于表现差的边缘节点给予惩罚。通过奖惩机制，可以有效的过滤掉部分恶意节点，以达到增加准确性和减少通讯浪费的目的。
在一些可选的实施方式中，在基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点时，可以选取k1个权重最大的边缘节点，并从其余的边缘节点中随机选取k2个边缘节点参与数据隐私保护模型构建，其中k1与k2之和为N，N为预先设定的参与数据隐私保护模型构建的边缘节点的总个数，其中N的值可以根据模型训练的准确度及模型训练的时间设定。
本发明实施例，可以对参与模型构建的边缘节点赋予权重，选取k1个权重最大的边缘节点参与模型构建，当该边缘节点的样本预测能力较低时，降低该边缘节点的权重，减小其参与模型构建的可能性，使其拥有更少的参与模型训练的机会，保证数据隐私保护模型的准确性；同时，在每一轮训练中都随机选取k2个边缘节点参与数据隐私保护模型构建，可以更新参与模型构建的边缘节点，使得每个边缘节点都有机会参与模型构建，避免仅由其中几个边缘节点参与模型构建，进入死循环。
在一些可选的实施方式中，在将各边缘节点的本地模型融合为数据隐私保护优化模型之前，所述基于改进差分隐私的数据隐私保护模型的构建方法，还包括剔除恶意边缘节点的步骤，包括：
S121：对所述各边缘节点的本地模型的样本预测能力进行测试，根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点；可选的，当各边缘节点的本地模型的第一预测准确率大致相同时，判定不存在恶意边缘节点，否则存在恶意边缘节点。
在对各边缘节点的本地模型的样本预测能力进行测试时，由于各边缘节点对于样本数据的分类标准相同，因此各边缘计算节点训练的本地模型在同一测试集上的验证结果（预测准确率）通常具有很强的相似性。因此，当各边缘节点的本地模型的第一预测准确率大致相同时，可以判定不存在恶意边缘节点，否则存在恶意边缘节点。
其中，各边缘节点的本地模型的第一预测准确率是否大致相同，可以用各边缘节点的本地模型的第一预测准确率的标准差表示，当标准差大于预设阈值时，判定存在恶意边缘节点，否则不存在恶意边缘节点；
标准差可以通过以下公式获得：
式中，为各边缘节点的本地模型的第一预测准确率的标准差；N为预先设定的参与数据隐私保护模型构建的边缘节点的个数；/>为第n个边缘节点的本地模型的第一预测准确率；/>为各边缘节点的本地模型的第一预测准确率的均值。
S122：当存在恶意边缘节点时，根据各边缘节点的第二预测准确率确定恶意边缘节点；可选的，根据所述第二预测准确率，计算各边缘节点的本地模型对不同标签样本的分类能力值，将分类能力值小于0的边缘节点判定为恶意边缘节点；
举例说明，所述分类能力值通过以下公式计算得到：
式中，为第n个边缘节点的本地模型的分类能力值，/>为第n个边缘节点的本地模型在第i个测试子集上预测时的第二预测准确率，N为预先设定的参与数据隐私保护模型构建的边缘节点的个数，a为设定的评估分类能力强弱的阈值，当a为0.75时，所述分类分类能力值计算公式为：
进一步的，可以通过以下公式判断边缘节点是否为恶意边缘节点：
式中，代表第n个边缘节点，M代表正常边缘节点，reject代表恶意边缘节点。若/>，说明各边缘节点的本地模型分类能力大致相同，判定不存在恶意边缘节点；若，说明各边缘节点的本地模型分类能力存在较大差异，判定存在恶意边缘节点；当该边缘节点的分类能力值大于0时，说明其对测试用的标签样本的分类能力较强，由于测试用的标签样本是正常的样本，所以也从侧边说明该边缘节点训练用的本地训练集具有较高的可信度，因此，该边缘节点不是恶意边缘节点。相反，当该边缘节点的分类能力值小于0时，说明该边缘节点是恶意边缘节点。
在本具体实施例中，可以以标准差0.1为标准判定是否存在恶意边缘节点，也可以选择其它数值；另外，由于边缘节点数据量小，模型分类能力不足，因此本发明实施例以0.75为判断标准对模型的分类能力进行判别，确认哪个边缘节点是恶意边缘节点。当然也可以根据需要设定其它值判断是否存在恶意边缘节点以及哪个边缘节点为恶意边缘节点，本发明实施例对此不进行限制。
S123：剔除恶意边缘节点，将剔除恶意边缘节点后的各边缘节点的本地模型融合为数据隐私保护优化模型。
本发明实施例根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点，根据各边缘节点的第二预测准确率确定恶意边缘节点后，对于分类能力较差的边缘节点，判定为恶意边缘节点，并将该恶意边缘节点从本轮训练中剔除，将剔除恶意边缘节点后的各边缘节点的本地模型融合为数据隐私保护优化模型，从而降低恶意边缘节点对模型训练的干扰，提高模型训练的准确性。
如图2所示，在具体实施例中，中心节点（云计算中心）根据联邦学习任务生成数据隐私保护初始模型，并将所述数据隐私保护初始模型传输到各个边缘节点（模型初始化）；然后根据各边缘节点的本地模型对第一测试集的第一预测准确率，判断是否存在恶意边缘节点（第一测试集过滤，即图中的公共数据集过滤）；当存在恶意边缘节点时，根据各边缘节点对第二测试集的第二预测准确率确定恶意边缘节点（第二测试集过滤，即图中的极限数据集过滤）；之后，剔除恶意边缘节点，使得所述第二模块将剔除恶意边缘节点后的各边缘节点的本地模型融合为数据隐私保护优化模型（如采用Fed-AVG方法将本地模型融合）；最后，判定所述数据隐私保护优化模型是否收敛，当未收敛时，授予各边缘节点与其本地模型的第一预测准确率和/或第二预测准确率相匹配的权重（奖惩机制），重复上述步骤，直至模型收敛。
相应的，图3是本发明实施例提供一种基于改进差分隐私的数据隐私保护模型的构建装置的结构框图，如图3所示，所述基于改进差分隐私的数据隐私保护模型的构建装置，包括：第一模块、第二模块和第三模块；
所述第一模块，用于根据联邦学习任务生成数据隐私保护初始模型，并将所述数据隐私保护初始模型传输到各个边缘节点；
所述第二模块，用于将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到；
所述第三模块，用于选择参与数据隐私保护模型构建的边缘节点，以及 在数据隐私保护优化模型未收敛时，基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复训练直至模型收敛。
相应的，本发明实施例提供一种应用于电网配送的联邦学习系统，所述联邦学习系统包括：中心节点和多个边缘节点，所述中心节点包括所述基于改进差分隐私的数据隐私保护模型的构建装置；所述应用于电网配送的联邦学习系统包括：1个中心节点（云计算中心），ｎ个边缘节点（边缘计算节点），边缘节点中存在至少一个恶意参与节点，且恶意参与节点数小于；
其中，中心节点负责统筹调度各边缘节点参与训练，中心节点具有很好的网络安全防护能力，因此是高度可信的。中心节点作为调度中心的角色，负责调度各边缘节点参与联邦学习（模型构建），对模型进行初始化、过滤和融合等操作。同时，还负责在每轮训练结束后对各边缘节点做出奖惩措施，调整各边缘节点的权值；边缘节点作为用户用电数据的实际采集方（各边缘节点的本地训练集为用户的用电数据），主要承担对用电数据的存储和处理任务。边缘节点需要对数据进行采集、清洗、挖掘等操作。同时，还需要根据中心节点的指令参与到联邦学习（模型构建）中，在本地利用训练集模型，并上传和更新模型；
所述应用于电网配送的联邦学习系统还可以包括策略决策点和通信网络；其中策略决策点在系统中的主要功能为制定模型在传输过程中的访问控制策略，当边缘节点和中心节点需要进行模型传输时，策略决策点会依据策略库中的策略集，结合传输双方有关的属性，完成对模型访问控制策略的制定；通信网连接中心节点和边缘节点，传输模型参数，在联邦学习（模型构建）过程中起着双向通信的作用。
相应的，本发明实施例提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行所述的基于改进差分隐私的数据隐私保护模型的构建方法。
相应的，本发明实施例提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行所述的基于改进差分隐私的数据隐私保护模型的构建方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，该方法应用于联邦学习系统，所述联邦学习系统包括执行该方法的中心节点和多个边缘节点，该方法包括：选择参与数据隐私保护模型构建的边缘节点；将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到，所述数据隐私保护初始模型由所述中心节点发送给各边缘节点；若未收敛，则基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为数据隐私保护优化模型，重复上述步骤直至模型收敛。
2.根据权利要求1所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述各边缘节点的本地模型的样本预测能力用预测准确率表示，所述预测准确率包括：各边缘节点的本地模型在第一测试集上预测时的第一预测准确率，以及各边缘节点的本地模型在第二测试集上预测时的第二预测准确率；其中所述第一测试集由不同的标签样本组成，第二测试集由多个测试子集组成，每个测试子集拥有同样的标签样本，测试子集的个数等于标签的种类数。
3.根据权利要求2所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述与各边缘节点的本地模型的样本预测能力相匹配的权重为：与各边缘节点的本地模型的第一预测准确率和/或第二预测准确率相匹配的权重；所述权重通过以下公式确定：
式中，为第n个边缘节点的权重；L为各边缘节点的本地模型的训练轮次；为第n个边缘节点的本地模型的预测准确率，其值与第一预测准确率或第二预测准确率相等。
4.根据权利要求1-3任一项所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，包括：选取k1个权重最大的边缘节点，并从其余的边缘节点中随机选取k2个边缘节点参与数据隐私保护模型构建，其中k1与k2之和为N，N为预先设定的参与数据隐私保护模型构建的边缘节点的个数。
5.根据权利要求2所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，在将各边缘节点的本地模型融合为数据隐私保护优化模型之前，所述基于改进差分隐私的数据隐私保护模型的构建方法，还包括：对所述各边缘节点的本地模型的样本预测能力进行测试，根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点；当存在恶意边缘节点时，根据各边缘节点的第二预测准确率确定恶意边缘节点；剔除所述恶意边缘节点，并将剔除恶意边缘节点后的各边缘节点的本地模型融合为数据隐私保护优化模型。
6.根据权利要求5所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述根据各边缘节点的本地模型的第一预测准确率，判断是否存在恶意边缘节点，包括：计算各边缘节点的本地模型的第一预测准确率的标准差，当标准差大于预设阈值时，判定存在恶意边缘节点，否则不存在恶意边缘节点。
7.根据权利要求6所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，根据以下公式计算标准差：式中，/>为各边缘节点的本地模型的第一预测准确率的标准差；N为预先设定的参与数据隐私保护模型构建的边缘节点的个数；/>为第n个边缘节点的本地模型的第一预测准确率；/>为各边缘节点的本地模型的第一预测准确率的均值。
8.根据权利要求5所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述当存在恶意边缘节点时，根据各边缘节点的第二预测准确率确定恶意边缘节点，包括：根据所述第二预测准确率，计算各边缘节点的本地模型对不同标签样本的分类能力值；将分类能力值小于0的边缘节点判定为恶意边缘节点。
9.根据权利要求8所述的基于改进差分隐私的数据隐私保护模型的构建方法，其特征在于，所述分类能力值通过以下公式计算得到：
式中，为第n个边缘节点的本地模型的分类能力值；/>为第n个边缘节点的本地模型在第i个测试子集上预测时的第二预测准确率；N为预先设定的参与数据隐私保护模型构建的边缘节点的个数；a为设定的评估分类能力强弱的阈值。
10.一种基于改进差分隐私的数据隐私保护模型的构建装置，所述基于改进差分隐私的数据隐私保护模型的构建装置，包括：第一模块、第二模块和第三模块；所述第一模块，用于根据联邦学习任务生成数据隐私保护初始模型，并将所述数据隐私保护初始模型传输到各个边缘节点；所述第二模块，用于将各边缘节点的本地模型融合为数据隐私保护优化模型，判断所述数据隐私保护优化模型是否收敛，其中所述本地模型为各边缘节点利用其自身训练集对数据隐私保护初始模型训练得到；所述第三模块，用于选择参与数据隐私保护模型构建的边缘节点，以及 在数据隐私保护优化模型未收敛时，基于与各边缘节点的本地模型的样本预测能力相匹配的权重，重新筛选参与数据隐私保护模型构建的边缘节点，并将所述数据隐私保护初始模型更新为所述数据隐私保护优化模型，重复训练直至模型收敛。
11.一种应用于电网配送的联邦学习系统，所述联邦学习系统包括：中心节点和多个边缘节点，所述中心节点包括权利要求10所述的基于改进差分隐私的数据隐私保护模型的构建装置。
12.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9任一项所述的基于改进差分隐私的数据隐私保护模型的构建方法。
13.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行权利要求1-9任一项所述的基于改进差分隐私的数据隐私保护模型的构建方法。
CN202310900290.4A 2023-07-21 2023-07-21 基于改进差分隐私的数据隐私保护模型的构建方法、装置 Pending CN116611118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310900290.4A CN116611118A (zh) 2023-07-21 2023-07-21 基于改进差分隐私的数据隐私保护模型的构建方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310900290.4A CN116611118A (zh) 2023-07-21 2023-07-21 基于改进差分隐私的数据隐私保护模型的构建方法、装置

Publications (1)

Publication Number Publication Date
CN116611118A true CN116611118A (zh) 2023-08-18

Family

ID=87682322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310900290.4A Pending CN116611118A (zh) 2023-07-21 2023-07-21 基于改进差分隐私的数据隐私保护模型的构建方法、装置

Country Status (1)

Country Link
CN (1) CN116611118A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN115470520A (zh) * 2022-10-09 2022-12-13 浙江工业大学 一种在垂直联邦框架下的差分隐私及去噪的数据保护方法
WO2023092792A1 (zh) * 2021-11-29 2023-06-01 深圳前海微众银行股份有限公司 联邦学习建模优化方法、电子设备、存储介质及程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
WO2023092792A1 (zh) * 2021-11-29 2023-06-01 深圳前海微众银行股份有限公司 联邦学习建模优化方法、电子设备、存储介质及程序产品
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN115470520A (zh) * 2022-10-09 2022-12-13 浙江工业大学 一种在垂直联邦框架下的差分隐私及去噪的数据保护方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
芈小龙;隋景鹏;: "面向深度学习的差分隐私保护方法", 舰船电子工程, no. 09, 20 September 2020 (2020-09-20), pages 104 - 106 *

Similar Documents

Publication Publication Date Title
CN108053120B (zh) 一种模型整合方法及装置
WO2019114421A1 (zh) 一种模型整合方法及装置
CN104869151A (zh) 一种业务卸载方法及系统
CN114945044B (zh) 基于联邦学习的数字孪生平台构建方法、装置及设备
CN105630683B (zh) 一种云测试体系架构
CN106534302A (zh) 多任务需求服务组合方法和系统
US20210201201A1 (en) Method and apparatus for determining storage load of application
CN114818446B (zh) 面向5g云边端协同的电力业务分解方法及系统
CN111882426A (zh) 业务风险分类器训练方法、装置、设备及存储介质
CN113900921A (zh) 法院信息系统运行状态评估方法、装置、设备及存储介质
WO2023207689A1 (zh) 一种变更风险评估方法、设备及存储介质
Davidson et al. The weighted independent domination problem: Integer linear programming models and metaheuristic approaches
CN112737798B (zh) 主机资源分配方法、装置及调度服务器、存储介质
CN109993562B (zh) 一种满意度仿真方法、装置及终端设备
AU2021218217A1 (en) Systems and methods for preventative monitoring using AI learning of outcomes and responses from previous experience.
CN101895464B (zh) 一种保障组合p2p网络的服务质量的方法、装置及系统
Quan et al. Asymptotic performance in heterogeneous human-machine inference networks
CN116611118A (zh) 基于改进差分隐私的数据隐私保护模型的构建方法、装置
CN115442262B (zh) 一种资源评估方法、装置、电子设备及存储介质
CN114978913B (zh) 一种基于切链的服务功能链跨域部署方法及系统
Xiang et al. A cloud‐edge service offloading method for the metaverse in smart manufacturing
CN113596146B (zh) 一种基于大数据的资源调度的方法及装置
CN113572633B (zh) 根因定位方法、系统、设备及存储介质
CN116975102A (zh) 敏感数据监测方法、系统、电子设备及存储介质
CN113296951A (zh) 一种资源配置方案确定方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination