CN111091199B - 一种基于差分隐私的联邦学习方法、装置及存储介质 - Google Patents

一种基于差分隐私的联邦学习方法、装置及存储介质 Download PDF

Info

Publication number
CN111091199B
CN111091199B CN201911335678.4A CN201911335678A CN111091199B CN 111091199 B CN111091199 B CN 111091199B CN 201911335678 A CN201911335678 A CN 201911335678A CN 111091199 B CN111091199 B CN 111091199B
Authority
CN
China
Prior art keywords
model
parameter
user side
model parameters
privacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911335678.4A
Other languages
English (en)
Other versions
CN111091199A (zh
Inventor
廖清
黄茜茜
柏思远
丁烨
李京竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201911335678.4A priority Critical patent/CN111091199B/zh
Publication of CN111091199A publication Critical patent/CN111091199A/zh
Application granted granted Critical
Publication of CN111091199B publication Critical patent/CN111091199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于差分隐私的联邦学习方法、装置和存储介质。所述方法包括：S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。本发明能够保障数据隐私安全，并提高训练模型的精确度。

Description

一种基于差分隐私的联邦学习方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于差分隐私的联邦学习方法、装置及存储介质。
背景技术
目前，大多数用户比如企业或机构等都想要联合其他用户的数据协同训练AI模型，出于数据隐私保护和安全的考虑，各个用户无法直接进行数据交换，难以实现跨用户协同训练AI模型。而应用Google提出的联邦学习方法可解决上述问题。
联邦学习在用户各自数据不出本地的前提下，通过加密机制或扰动机制下的参数交换与优化，建立一个共有模型。这要求用户用自身数据训练得到用户模型，并将用户模型的模型参数上传至服务器，由服务器根据多个用户上传的模型参数进行模型优化后基于差分隐私进行数据隐私保护，建立一个共有模型。
但在现有的联邦学习方法中，仍存在以下技术难点：
1、用户将模型参数直接上传至服务器，使得模型参数暴露在数据传输通道及服务器中，无法充分保障数据隐私安全；
2、数据量较大或数据量较小的用户均使用相同的模型构建方法和训练轮次，难以保证模型的精确度；
3、差分隐私随机梯度下降算法(DP-SGD)和自适应的Laplace机制(AdLM)等差分隐私深度学习算法给模型加入的噪音较大且较为固定，难以针对不同的训练过程优化调整噪音，难以保证模型的精确度。
发明内容
本发明提供一种基于差分隐私的联邦学习方法、装置及存储介质，以克服现有的联邦学习方法面对的技术难点，本发明能够保障数据隐私安全，并提高训练模型的精确度。
为了解决上述技术问题，本发明一实施例提供一种基于差分隐私的联邦学习方法，包括：
S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。
进一步地，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
进一步地，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。
本发明另一实施例提供一种基于差分隐私的联邦学习装置，包括：
第一模型参数下发模块，用于将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
第三模型参数下发模块，用于对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
模型训练轮次判断模块，用于将上述下发模块的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行上述下发模块，反之结束模型训练。
进一步地，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
进一步地，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于差分隐私的联邦学习方法。
本发明的实施例，具有如下有益效果：
通过将预设的第一模型参数，包括隐私预算下发至用户端，使用户端可根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，进而通过对用户端上传的第二模型参数进行参数平均化，向用户端下发得到的第三模型参数。同时，将上述操作作为一轮模型训练，通过累计模型训练轮次，在模型训练轮次未达到预设阈值时重复执行上述操作，反之结束模型训练。本发明通过使各个用户端基于差分隐私技术更新其本地的深度学习模型后再上传第二模型参数，有利于保障数据隐私安全，并提高训练模型的精确度；通过对第二模型参数进行参数平均化，能够对第二模型参数进行整合得到第三模型参数，使用户端根据第三模型参数进行下一轮模型训练，有利于提高训练模型的精确度；通过对模型训练轮次设置阈值，使得只有当模型训练轮次达到预设阈值时才结束模型训练，有利于进一步提高训练模型的精确度。
附图说明
图1为本发明第一实施例中的一种基于差分隐私的联邦学习方法的流程示意图；
图2为本发明第一实施例中的基于差分隐私的联邦学习框架的结构示意图；
图3为本发明第一实施例中的差分隐私-卷积神经网络算法的流程示意图；
图4为本发明第二实施例中的一种基于差分隐私的联邦学习装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
第一实施例。请参阅图1-3。
如图1所示，第一实施例提供一种基于差分隐私的联邦学习方法，所述方法包括步骤S1～S3：
S1、将预设的第一模型参数下发至用户端，使用户端根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数；其中，第一模型参数包括隐私预算。
S2、对第二模型参数进行参数平均化，得到第三模型参数，并将第三模型参数下发至用户端。
S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。
在步骤S1中，用户端根据服务器下发的第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型，以向服务器返回第二模型参数，即用户端在上传第二模型参数之前已对第二模型参数进行差分隐私处理。差分隐私(differential privacy)是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的准确性，同时最大限度减少识别其记录的机会。本实施例先对第二模型参数进行差分隐私处理后再上传至服务器，能够避免第二模型参数直接暴露在数据传输过程和服务器中，有利于保障数据隐私安全。
其中，服务器可根据各个用户端的训练数据集数据量的大小预先设置隐私预算，使得用户端可根据相应的隐私预算，利用其训练数据集训练其本地的深度学习模型，有利于提高训练模型的精确度。例如，对于训练数据集数据量较小的用户端，为降低噪音水平需设置较大的隐私预算；对于训练数据集数据量较大的用户端，因全局敏感性较小可设置较小的隐私预算。本实施例通过使不同数据量的用户端进行不同程度的差分隐私处理，有利于提高训练模型的精确度。
在步骤S2中，服务器对用户端上传的第二模型参数进行参数平均化，即整合该用户端多次训练其本地的深度学习模型得到的所有第二模型参数，有利于提高训练模型的精确度。
在步骤S3中，将步骤S1～S2的执行总次数作为模型训练轮次，并当模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，相当于通过用户端和服务器不断交互用于训练模型的模型参数直至模型训练轮次达到预设阈值，有利于提高训练模型的精确度。
基于差分隐私的联邦学习框架如图2所示，以数据量不等的K个用户端进行联邦学习为例。
①各个用户端通过训练其本地的深度学习模型，在梯度更新上进行差分隐私处理得到权重参数，比如第k个用户得到权重参数
Figure BDA0002329251700000051
②服务器在所有用户端中随机选取部分用户端作为子集Zt，并获取子集Zt中的用户端在当前轮次训练其本地深度学习模型得到的模型参数，以计算模型参数差值
Figure BDA0002329251700000061
其中，
Figure BDA0002329251700000062
为上一轮次的模型参数。
③在计算模型参数差值后，服务器对各个模型参数差值直接进行平均化
Figure BDA0002329251700000063
其中，在服务器无差分隐私处理。
④服务器将经参数平均化的模型参数下发给子集Zt中的用户端，使接收到用户端进行下一轮模型训练。其中，子集Zt中的各个用户端收到的参数都相同。
本实施例通过将预设的第一模型参数，包括隐私预算下发至用户端，使用户端可根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，进而通过对用户端上传的第二模型参数进行参数平均化，向用户端下发得到的第三模型参数。同时，将上述操作作为一轮模型训练，通过累计模型训练轮次，在模型训练轮次未达到预设阈值时重复执行上述操作，反之结束模型训练。
通过使各个用户端基于差分隐私技术更新其本地的深度学习模型后再上传第二模型参数，有利于保障数据隐私安全，并提高训练模型的精确度；通过对第二模型参数进行参数平均化，能够对第二模型参数进行整合得到第三模型参数，使用户端根据第三模型参数进行下一轮模型训练，有利于提高训练模型的精确度；通过对模型训练轮次设置阈值，使得只有当模型训练轮次达到预设阈值时才结束模型训练，有利于进一步提高训练模型的精确度。
在优选的实施例当中，用户端根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，包括用户端根据第一模型参数，通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数。
在本实施例的一种优选实施方式当中，所述用户端根据第一模型参数，通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数，包括：将隐私预算随机分为最优步长参数和噪音梯度参数；其中，最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；当剩余的隐私预算大于0时，沿梯度下降的方向更新用户端本地的深度学习模型，得到第二模型参数。
差分隐私-卷积神经网络(DPAGD-CNN)算法的算法流程图如图3所示。
在本实施例中，第一模型参数包括损失函数、隐私预算、梯度裁剪阈值、预算增长率和训练数据集批大小。预算增长率表示最优步长参数和噪音梯度参数的变化速度。最优步长参数用于确定向模型参数添加的高斯噪声的大小，噪音梯度参数用于确定给梯度添加的高斯噪声的大小。模型/步长变更概率参数用于判断优化模型参数，还是优化最优步长参数和噪音梯度参数。
用户端在获取服务器下发的第一模型参数之后，将未由服务器分配的剩余差分隐私深度学习的过程参数进行初始化，比如对深度学习模型的模型参数随机赋初值，初始模型训练轮次为0。
用户端将隐私预算随机分为最优步长参数和噪音梯度参数，并判断剩余的隐私参数是否大于0。当剩余的隐私预算不大于0时，向服务器返回第二模型参数。
当剩余的隐私预算大于0时，初始化模型/步长变更概率参数为0，计算当前模型参数的梯度值，并依据梯度裁剪阈值进行裁剪，向裁剪后的梯度加入高斯噪音，以此减少隐私预算中相应的量，继而依据用户端的训练数据集中的最差数据(损失函数值最大)，向模型/步长变更概率参数添加高斯噪声，以此减少隐私预算相应的量。
用户端判断模型/步长变更概率参数是否大于0。当模型/步长变更概率参数大于0时，在剩余的隐私预算不大于0时向服务器返回第二模型参数，在剩余的隐私预算大于0时更新优化自适应差分隐私卷积神经网络中的参数，并重新判断剩余的隐私预算是否大于0。
当模型/步长变更概率参数不大于0时，更新最优步长参数和噪音梯度参数，并重新判断剩余的隐私预算是否大于0。
在此过程中，最优步长参数越小，用户端数据越符合训练模型，用户端数据添加的高斯噪声分布越集中在大于0的部分，高斯噪音为负的概率越小，则进行最优步长参数、噪音梯度参数优化的概率也越小，反之则越大。
在用户端的模型更新中，应用具有自适应梯度下降的差分隐私-卷积神经网络(DPAGD-CNN)算法，即在深度学习模型的迭代训练过程中，通过自适应的方法给梯度加入不同大小的噪音，但总体不改变原有的差分隐私预算。在模型优化过程的开始，使用不容易影响梯度下降正确方向的较大的噪声值，随着模型的优化，梯度下降的方向变得精确，从而有利于提高训练模型的精确度。
第二实施例。请参阅图4。
如图4所示，第二实施例提供一种基于差分隐私的联邦学习装置，包括：第一模型参数下发模块21，用于将预设的第一模型参数下发至用户端，使用户端根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数；其中，第一模型参数包括隐私预算；第三模型参数下发模块22，用于对第二模型参数进行参数平均化，得到第三模型参数，并将第三模型参数下发至用户端；模型训练轮次判断模块23，用于将上述下发模块(21、22)的执行总次数作为模型训练轮次，并当模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22)，反之结束模型训练。
通过第一模型参数下发模块21，使用户端根据服务器下发的第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型，以向服务器返回第二模型参数，即用户端在上传第二模型参数之前已对第二模型参数进行差分隐私处理。差分隐私(differentialprivacy)是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的准确性，同时最大限度减少识别其记录的机会。本实施例通过第一模型参数下发模块21使用户端先对第二模型参数进行差分隐私处理后再上传至服务器，能够避免第二模型参数直接暴露在数据传输过程和服务器中，有利于保障数据隐私安全。
其中，服务器可根据各个用户端的训练数据集数据量的大小预先设置隐私预算，使得用户端可根据相应的隐私预算，利用其训练数据集训练其本地的深度学习模型，有利于提高训练模型的精确度。例如，对于训练数据集数据量较小的用户端，为降低噪音水平需设置较大的隐私预算；对于训练数据集数据量较大的用户端，因全局敏感性较小可设置较小的隐私预算。本实施例通过使不同数据量的用户端进行不同程度的差分隐私处理，有利于提高训练模型的精确度。
通过第三模型参数下发模块22，由服务器对用户端上传的第二模型参数进行参数平均化，即整合该用户端多次训练其本地的深度学习模型得到的所有第二模型参数，有利于提高训练模型的精确度。
通过模型训练轮次判断模块23，将上述下发模块(21、22)的执行总次数作为模型训练轮次，并当模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22)，相当于通过用户端和服务器不断交互用于训练模型的模型参数直至模型训练轮次达到预设阈值，有利于提高训练模型的精确度。
本实施例通过第一模型参数下发模块21将预设的第一模型参数，包括隐私预算下发至用户端，使用户端可根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，进而通过第三模型参数下发模块22对用户端上传的第二模型参数进行参数平均化，向用户端下发得到的第三模型参数。同时，通过模型训练轮次判断模块23将上述下发模块(21、22)执行的操作作为一轮模型训练，通过累计模型训练轮次，在模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22)，反之结束模型训练。
通过第一模型参数下发模块21使各个用户端基于差分隐私技术更新其本地的深度学习模型后再上传第二模型参数，有利于保障数据隐私安全，并提高训练模型的精确度；通过第三模型参数下发模块22对第二模型参数进行参数平均化，能够对第二模型参数进行整合得到第三模型参数，使用户端根据第三模型参数进行下一轮模型训练，有利于提高训练模型的精确度；通过模型训练轮次判断模块23对模型训练轮次设置阈值，使得只有当模型训练轮次达到预设阈值时才结束模型训练，有利于进一步提高训练模型的精确度。
在优选的实施例当中，所述用户端根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，包括用户端根据第一模型参数，通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数。
在优选的实施例当中，所述用户端根据第一模型参数，通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数，包括：将隐私预算随机分为最优步长参数和噪音梯度参数；其中，最优步长参数和噪音梯度参数均用于确定添加的高斯噪音的大小；当剩余的隐私预算大于0时，沿梯度下降的方向更新用户端本地的深度学习模型，得到第二模型参数。
差分隐私-卷积神经网络(DPAGD-CNN)算法的算法流程具体如下。
在本实施例中，第一模型参数包括损失函数、隐私预算、梯度裁剪阈值、预算增长率和训练数据集批大小。预算增长率表示最优步长参数和噪音梯度参数的变化速度。最优步长参数用于确定向模型参数添加的高斯噪声的大小，噪音梯度参数用于确定给梯度添加的高斯噪声的大小。模型/步长变更概率参数用于判断优化模型参数，还是优化最优步长参数和噪音梯度参数。
用户端在获取服务器下发的第一模型参数之后，将未由服务器分配的剩余差分隐私深度学习的过程参数进行初始化，比如对深度学习模型的模型参数随机赋初值，初始模型训练轮次为0。
用户端将隐私预算随机分为最优步长参数和噪音梯度参数，并判断剩余的隐私参数是否大于0。当剩余的隐私预算不大于0时，向服务器返回第二模型参数。
当剩余的隐私预算大于0时，初始化模型/步长变更概率参数为0，计算当前模型参数的梯度值，并依据梯度裁剪阈值进行裁剪，向裁剪后的梯度加入高斯噪音，以此减少隐私预算中相应的量，继而依据用户端的训练数据集中的最差数据(损失函数值最大)，向模型/步长变更概率参数添加高斯噪声，以此减少隐私预算相应的量。
用户端判断模型/步长变更概率参数是否大于0。当模型/步长变更概率参数大于0时，在剩余的隐私预算不大于0时向服务器返回第二模型参数，在剩余的隐私预算大于0时更新优化自适应差分隐私卷积神经网络中的参数，并重新判断剩余的隐私预算是否大于0。
当模型/步长变更概率参数不大于0时，更新最优步长参数和噪音梯度参数，并重新判断剩余的隐私预算是否大于0。
在此过程中，最优步长参数越小，用户端数据越符合训练模型，用户端数据添加的高斯噪声分布越集中在大于0的部分，高斯噪音为负的概率越小，则进行最优步长参数、噪音梯度参数优化的概率也越小，反之则越大。
在用户端的模型更新中，应用具有自适应梯度下降的差分隐私-卷积神经网络(DPAGD-CNN)算法，即在深度学习模型的迭代训练过程中，通过自适应的方法给梯度加入不同大小的噪音，但总体不改变原有的差分隐私预算。在模型优化过程的开始，使用不容易影响梯度下降正确方向的较大的噪声值，随着模型的优化，梯度下降的方向变得精确，从而有利于提高训练模型的精确度。
第三实施例。
第三实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一实施例所述的基于差分隐私的联邦学习方法，并达到与之相同的有益效果。
综上所述，本发明的实施例具有如下有益效果：
通过将预设的第一模型参数，包括隐私预算下发至用户端，使用户端可根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，进而通过对用户端上传的第二模型参数进行参数平均化，向用户端下发得到的第三模型参数。同时，将上述操作作为一轮模型训练，通过累计模型训练轮次，在模型训练轮次未达到预设阈值时重复执行上述操作，反之结束模型训练。本实施例通过使各个用户端基于差分隐私技术更新其本地的深度学习模型后再上传第二模型参数，有利于保障数据隐私安全，并提高训练模型的精确度；通过对第二模型参数进行参数平均化，能够对第二模型参数进行整合得到第三模型参数，使用户端根据第三模型参数进行下一轮模型训练，有利于提高训练模型的精确度；通过对模型训练轮次设置阈值，使得只有当模型训练轮次达到预设阈值时才结束模型训练，有利于进一步提高训练模型的精确度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (3)

1.一种基于差分隐私的联邦学习方法，其特征在于，包括：
S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数；
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数；
S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。
2.一种基于差分隐私的联邦学习装置，其特征在于，包括：
第一模型参数下发模块，用于将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数；
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数；
第三模型参数下发模块，用于对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
模型训练轮次判断模块，用于将上述下发模块的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行上述下发模块，反之结束模型训练。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1所述的基于差分隐私的联邦学习方法。
CN201911335678.4A 2019-12-20 2019-12-20 一种基于差分隐私的联邦学习方法、装置及存储介质 Active CN111091199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911335678.4A CN111091199B (zh) 2019-12-20 2019-12-20 一种基于差分隐私的联邦学习方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911335678.4A CN111091199B (zh) 2019-12-20 2019-12-20 一种基于差分隐私的联邦学习方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111091199A CN111091199A (zh) 2020-05-01
CN111091199B true CN111091199B (zh) 2023-05-16

Family

ID=70396194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911335678.4A Active CN111091199B (zh) 2019-12-20 2019-12-20 一种基于差分隐私的联邦学习方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111091199B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783630B (zh) * 2020-06-29 2022-07-01 上海高德威智能交通系统有限公司 一种数据处理方法、装置及设备
CN111866869B (zh) * 2020-07-07 2023-06-23 兰州交通大学 面向边缘计算的联邦学习室内定位隐私保护方法
CN111723404B (zh) * 2020-08-21 2021-01-22 支付宝(杭州)信息技术有限公司 联合训练业务模型的方法及装置
CN112185395B (zh) * 2020-09-04 2021-04-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于差分隐私的联邦声纹识别方法
CN112329052A (zh) * 2020-10-26 2021-02-05 哈尔滨工业大学（深圳） 一种模型隐私保护方法及装置
CN112541592B (zh) * 2020-12-06 2022-05-17 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备
CN112668044B (zh) * 2020-12-21 2022-04-12 中国科学院信息工程研究所 面向联邦学习的隐私保护方法及装置
CN112333216B (zh) * 2021-01-07 2021-04-06 深圳索信达数据技术有限公司 一种基于联邦学习的模型训练方法及系统
CN112966298B (zh) * 2021-03-01 2022-02-22 广州大学 一种复合隐私保护方法、系统、计算机设备及存储介质
CN112733967B (zh) * 2021-03-30 2021-06-29 腾讯科技（深圳）有限公司 联邦学习的模型训练方法、装置、设备及存储介质
CN112949837B (zh) * 2021-04-13 2022-11-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113468592B (zh) * 2021-06-15 2022-05-17 武汉理工大学 一种基于深度学习的差分隐私保护方法及装置
CN113127931B (zh) * 2021-06-18 2021-09-03 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
CN113361694B (zh) * 2021-06-30 2022-03-15 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统
CN113626866B (zh) * 2021-08-12 2023-10-13 积至(海南)信息技术有限公司 一种面向联邦学习的本地化差分隐私保护方法、系统、计算机设备及存储介质
CN115965093A (zh) * 2021-10-09 2023-04-14 北京字节跳动网络技术有限公司 模型训练方法、装置、存储介质及电子设备
CN114841364A (zh) * 2022-04-14 2022-08-02 北京理工大学 一种满足个性化本地差分隐私需求的联邦学习方法
CN114841145B (zh) * 2022-05-10 2023-07-11 平安科技（深圳）有限公司 文本摘要模型训练方法、装置、计算机设备及存储介质
CN117933427B (zh) * 2024-03-19 2024-05-28 南京邮电大学 一种智能电网双重采样优化的差分隐私联邦学习方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752B (zh) * 2017-07-25 2019-06-28 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108763954B (zh) * 2018-05-17 2022-03-01 西安电子科技大学 线性回归模型多维高斯差分隐私保护方法、信息安全系统
CN109492420B (zh) * 2018-12-28 2021-07-20 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110443063B (zh) * 2019-06-26 2023-03-28 电子科技大学 自适性保护隐私的联邦深度学习的方法

Also Published As

Publication number Publication date
CN111091199A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111091199B (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
US11941527B2 (en) Population based training of neural networks
KR102300614B1 (ko) 배치 재정규화 계층
WO2017157183A1 (zh) 一种自动多阀值特征过滤方法及装置
CN110832509B (zh) 使用神经网络的黑盒优化
US20200265315A1 (en) Neural architecture search
CN108399564B (zh) 信用评分方法及装置
CN114741611B (zh) 联邦推荐模型训练方法以及系统
CN110462638B (zh) 使用后验锐化训练神经网络
US20210089887A1 (en) Variance-Based Learning Rate Control For Training Machine-Learning Models
CN113469325A (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
US20220318412A1 (en) Privacy-aware pruning in machine learning
CN110661727A (zh) 数据传输优化方法、装置、计算机设备和存储介质
CN114065863A (zh) 联邦学习的方法、装置、系统、电子设备及存储介质
CN114581868A (zh) 基于模型通道剪枝的图像分析方法和装置
CN115481441A (zh) 面向联邦学习的差分隐私保护方法及装置
CN117290429B (zh) 通过自然语言调用数据系统接口的方法
CN111510473B (zh) 访问请求处理方法、装置、电子设备和计算机可读介质
CN116467747A (zh) 一种联邦学习隐私保护方法及系统
CN109145207B (zh) 一种基于分类指标预测的信息个性化推荐方法及装置
CN115374954A (zh) 一种基于联邦学习的模型训练方法、终端以及存储介质
CN112948101A (zh) 一种面向快速联邦学习的5g边缘设备调度方法
CN111105020B (zh) 特征表示迁移学习方法及相关装置
CN117557870B (zh) 基于联邦学习客户端选择的分类模型训练方法及系统
CN117574421A (zh) 基于梯度动态裁剪的联邦数据分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant