CN115455471A - 提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 - Google Patents
提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115455471A CN115455471A CN202211080994.3A CN202211080994A CN115455471A CN 115455471 A CN115455471 A CN 115455471A CN 202211080994 A CN202211080994 A CN 202211080994A CN 115455471 A CN115455471 A CN 115455471A
- Authority
- CN
- China
- Prior art keywords
- client
- model
- local
- recommendation
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质，方法包括：初始化服务器端的全局推荐模型，将全局推荐模型分发至各个客户端；在客户端接收全局模型作为初始本地推荐模型，利用本地训练样本更新本地推荐模型；对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，将所有客户端的模型参数上传至服务器端；在服务器端对所有本地推荐模型进行随机采样得到预选集合；使用拜占庭攻击检测算法对客户端的模型参数进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；根据聚合权重对客户端本地推荐模型的参数进行聚合，对全局推荐模型的参数进行更新，根据全局推荐模型为客户端推荐内容。
Description
技术领域
本发明涉及联邦学习技术领域，尤其涉及一种提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质。
背景技术
推荐系统对于预测用户兴趣发挥着重要作用，它被广泛应用于人们的日常生活和娱乐，为用户提供了极大的便利。通过对大量用户数据的处理，推荐系统可以有效地从用户数据中提取特征和表示，向用户推荐个性化项目。
现在常用的是联邦卷积协同过滤推荐模型(federated neural collaborativefiltering recommendation model)，其提出一种分布式存储用户数据及构建全局推荐模型的方法，能实现用户数据的隔离，但其仍存在模型交互参数泄漏的可能性，从而引发用户数据安全问题。而分布式训练模型在一定程度上可能造成模型精度的损失，并且常规的联邦框架容易发生拜占庭攻击导致模型收敛速度降低，甚至不能收敛。因此在联邦推荐方法上，隐私性和鲁棒性有待提高。
发明内容
本发明的主要目的在于提供一种提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质，能够提升联邦推荐方法时的隐私性和鲁棒性。
为实现上述目的，本发明第一方面提供一种提升隐私和鲁棒的联邦推荐方法，包括：初始化服务器端的全局推荐模型，并将所述全局推荐模型分发至各个参与联邦训练的客户端；在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；在服务器端对所有的本地推荐模型进行随机采样得到预选集合；使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
进一步地，所述方法还包括：每一个客户端获取本地推荐模型的梯度，裁切限定当前梯度的敏感度，得到优化梯度值；根据所述预选集合计算客户端采样率；根据所述优化梯度值和所述客户端采样率计算总隐私预算。
进一步地，使用本地差分隐私算法对本地推荐模型参数进行加噪处理包括：使用高斯机制给本地模型参数添加均值为0方差为σ2的噪声使其满足本地差分隐私，σ为一个预先设置的常数。
进一步地，对客户端分配权重的方法包括：计算预选集合中所有的本地推荐模型和全局推荐模型之间的余弦相似度；将预选集合中所有的本地推荐模型与全局推荐模型的余弦相似度进行排序处理，并获取排序后的中值，所述中值对应的客户端为权重最高的客户端；根据所述余弦相似度和所述中值计算每个客户端的聚合权重。
进一步地，所述余弦相似度的计算公式为：
其中，w为全局推荐模型，θi为客户端为i的本地模型。
进一步地，每个客户端的聚合权重的计算公式为：
其中，μ＝Median(si)表示本地模型和全局模型余弦相似度排序集合的中值，
是所有客户端的聚合权重的和，pi表示客户端i的聚合权重。
进一步地，所述全局推荐模型和所述本地推荐模型使用卷积协同过滤网络；所述客户端使用适应性矩估计算法对所述本地推荐模型进行加速收敛。
本发明第二方面提供一种提升隐私和鲁棒的联邦推荐装置，包括：模型分发模块，用于将在服务器端初始化的全局推荐模型分发至各个参与联邦训练的客户端；客户端更新模块，用于在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；加噪上传模块，用于使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；客户端选择模块，在服务器端对所有的本地推荐模型进行随机采样得到预选集合；检测模块，用于使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测；权重分配模块，用于给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；聚合模块，用于根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
本发明第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述提升隐私和鲁棒的联邦推荐方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述中的任意一项所述提升隐私和鲁棒的联邦推荐方法。
本发明提供一种提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质，有益效果在于：不仅没有直接接触客户端的本地训练样本，避免隐私数据的读取，而且在客户端与服务器端的交互数据中添加噪声，进一步防止恶意参与者从交互数据中反推原始数据，同时，在服务器端聚合前，进行一次攻击者检测，通过比对所有上传数据与全局模型参数的差距，来判断是否属于偏离全局训练的攻击者的恶意数据，并给予这种偏离的数据较低的聚合权重，减少其对聚合过程的干扰，在联邦推荐方法上实现了隐私性和鲁棒性的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提升隐私和鲁棒的联邦推荐方法的流程图；
图2为本发明实施例提升隐私和鲁棒的联邦推荐系统的框架图；
图3为本发明实施例电子设备的结构框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为一种提升隐私和鲁棒的联邦推荐方法，包括：
S101、初始化服务器端的全局推荐模型，并将全局推荐模型分发至各个参与联邦训练的客户端；
S102、在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；
S103、使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；
S104、在服务器端对所有的本地推荐模型进行随机采样得到预选集合；
S105、使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；
S106、根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
在步骤S101中，初始化服务器端的全局推荐模型，分发给各个参与联邦训练的客户端，其中，设有一个中央服务器和I个客户端，全局模型定义为w，客户端的本地模型定义为θi，i∈I。
在步骤S102中，每一个客户端接收全局模型作为本地初始模型，利用各自本地训练样本更新本地推荐模型。其中，全局和本地推荐模型使用的都是卷积协同过滤网络，该网络包含一个多层感知器结构和广义矩阵分解结构。在该网络中，一个用户u和一个物品i可以被表示为输入层中的两个特征向量，即嵌入层。然后将两个特征向量分别输入多层感知器(MLP)结构和广义矩阵分解(GMF)结构中，并将两个结构的输出连接起来带入最后的输出层，经过输出层后生成用户u和物品i的预测喜好概率
整个过程可以被定义为：
……
其中，pu,qi分别是用户u和物品i的输入表示，
和
分别表示多层感知器结构和广义矩阵分解结构的输出。Wx和bx分别表示第x层多层感知器的网络权重参数和偏置向量。
表示用户u对物品i的估计偏好。ReLU和Sigmoid分别是隐藏层和输出层的激活函数。
基于上述设置，本地损失使用二元交叉熵损失函数度量，其定义为：
其中，yui表示标签真实值。
随后，给定客户端i本地数据集为Di，优化器使用的是能自动调整学习率的Adam，以实现更快的收敛速度。本地模型更新过程可以被定义为：
其中，
和
分别表示客户端i的第t次全局更新的梯度，第一动量，第二动量和本地模型参数。β1和β2分别表示与第一动量和第二动量有关的超级参数。η和∈分别表示学习率和一个常量。
在步骤S104中，给定参与本次全局训练的客户端数量为I，总的客户端数量为U，客户端采样率为
在步骤S105中，使用拜占庭攻击检测算法对预选集合中所有的客户端进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重，排除攻击者对聚合过程的干扰。其中，拜占庭攻击主要在聚合过程中，上传任意数据，以致全局模型收敛速度减慢甚至无法收敛。给定正常参与训练的用户i上传的模型参数为θi，拜占庭攻击者上传任意值的数据，则服务器端接收到的模型参数可以定义为：
其中，*表示任意值，θi是客户端i的本地模型，wi是服务器从客户端i中接收到的数据。
另外，在本实施例中，全局推荐模型和本地推荐模型使用卷积协同过滤网络；客户端使用适应性矩估计算法对本地推荐模型进行加速收敛。
在本实施例中，不仅没有直接接触客户端的本地训练样本，避免隐私数据的读取，而且在客户端与服务器端的交互数据中添加噪声，进一步防止恶意参与者从交互数据中反推原始数据，同时，在服务器端聚合前，进行一次攻击者检测，通过比对所有上传数据与全局模型参数的差距，来判断是否属于偏离全局训练的攻击者的恶意数据，并给予这种偏离的数据较低的聚合权重，减少其对聚合过程的干扰，在联邦推荐方法上实现了隐私性和鲁棒性的提升。
在一个实施例中，方法还包括：每一个客户端获取本地推荐模型的梯度，裁切限定当前梯度的敏感度，得到优化梯度值；根据预选集合计算客户端采样率；根据优化梯度值和客户端采样率计算总隐私预算。
在本实施例中，给定两个相邻客户端的数据集分别为D和D′，根据步骤102所述，客户端i的梯度可以表示为
梯度裁切阈值为C，则裁切后的梯度值为：
因此本地更新过程的灵敏度可定义为：
使用norm clipping方法计算灵敏度边界为
根据步骤104所述，可知客户端采样率为
假设全局更新次数为T。则总隐私预算可以定义为：
在一个实施例中，使用本地差分隐私算法对本地推荐模型参数进行加噪处理包括：使用高斯机制给本地模型参数添加均值为0方差为σ2的噪声使其满足本地差分隐私，σ为一个预先设置的常数。
在本实施例中，根据步骤102所述，本地模型参数可以表示为θ，使用高斯机制给本地模型参数添加均值为0方差为σ2噪声使其满足本地差分隐私，则扰动后的模型参数为：
θ＝θ+N(0,σ2I)
在一个实施例中，对客户端分配权重的方法包括：计算预选集合中所有的本地推荐模型和全局推荐模型之间的余弦相似度；将预选集合中所有的本地推荐模型与全局推荐模型的余弦相似度进行排序处理，并获取排序后的中值，中值对应的客户端为权重最高的客户端；根据余弦相似度和中值计算每个客户端的聚合权重。
在本实施例中，为了提高模型聚合的鲁棒性，检测并抵御拜占庭攻击。提出注意力机制用于动态分配聚合过程中各个客户端的聚合权重。给定全局模型w和客户端i的本地模型θi，使用余弦相似度度量两者之间的差距，余弦相似度的计算公式可以定义为：
中值常被作为一个稳健的估量值，因为其只取中间数忽略两边的极端数据。因而，本发明将所有被选的客户端的本地模型与全局模型的余弦相似度进行排序处理，选择排序集合中间的客户端作为最被关注的一个，即聚合重最高者。
在一个实施例中，每个客户端的聚合权重的计算公式为：
其中，μ＝Median(si)表示本地模型和全局模型余弦相似度排序集合的中值，
是所有客户端的聚合权重的和，pi表示客户端i的聚合权重。
在步骤S106进行聚合时，根据上述实施例计算出的聚合权重，全局模型更新可以被定义为：
从上述实施例可知，本发明不仅没有直接接触客户端的本地训练样本，避免隐私数据的读取，而且在客户端与服务器端的交互数据中添加噪声，进一步防止恶意参与者从交互数据中反推原始数据，同时，在服务器端聚合前，进行一次攻击者检测，通过比对所有上传数据与全局模型参数的差距，来判断是否属于偏离全局训练的攻击者的恶意数据，并给予这种偏离的数据较低的聚合权重，减少其对聚合过程的干扰，以实现满足隐私性和鲁棒性的联邦推荐方法。
请参阅图2，本实施例还提供一种提升隐私和鲁棒的联邦推荐装置，包括：模型分发模块201、客户端更新模块202、加噪上传模块203、客户端选择模块204、检测模块205、权重分配模块206及聚合模块207。
模型分发模块201用于将在服务器端初始化的全局推荐模型分发至各个参与联邦训练的客户端；客户端更新模块202用于在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；加噪上传模块203用于使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；客户端选择模块204在服务器端对所有的本地推荐模型进行随机采样得到预选集合；检测模块205用于使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测；权重分配模块206用于给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；聚合模块207用于根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
本实施例提供的提升隐私和鲁棒的联邦推荐装置，不仅没有直接接触客户端的本地训练样本，避免隐私数据的读取，而且在客户端与服务器端的交互数据中添加噪声，进一步防止恶意参与者从交互数据中反推原始数据，同时，在服务器端聚合前，进行一次攻击者检测，通过比对所有上传数据与全局模型参数的差距，来判断是否属于偏离全局训练的攻击者的恶意数据，并给予这种偏离的数据较低的聚合权重，减少其对聚合过程的干扰，在联邦推荐方法上实现了隐私性和鲁棒性的提升。
在一个实施例中，提升隐私和鲁棒的联邦推荐装置还包括：总隐私预算模块，用于在每一个客户端获取本地推荐模型的梯度，裁切限定当前梯度的敏感度，得到优化梯度值；根据所述预选集合计算客户端采样率；根据所述优化梯度值和所述客户端采样率计算总隐私预算。
在一个实施例中，加噪上传模块203包括加噪模块和上传模块，其中，加噪模块用于使用高斯机制给本地模型参数添加均值为0方差为σ2的噪声使其满足本地差分隐私，σ为一个预先设置的常数。
在一个实施例中，权重分配模块206包括：余弦相似度单元、排序单元和聚合权重计算单元；余弦相似度单元用于计算预选集合中所有的本地推荐模型和全局推荐模型之间的余弦相似度；排序单元用于将预选集合中所有的本地推荐模型与全局推荐模型的余弦相似度进行排序处理，并获取排序后的中值，所述中值对应的客户端为权重最高的客户端；聚合权重计算单元用于根据所述余弦相似度和所述中值计算每个客户端的聚合权重。
在一个实施例中，余弦相似度的计算公式为：
其中，w为全局推荐模型，θi为客户端为i的本地模型。
在一个实施例中，每个客户端的聚合权重的计算公式为：
其中，μ＝Median(si)表示本地模型和全局模型余弦相似度排序集合的中值，
是所有客户端的聚合权重的和，pi表示客户端i的聚合权重。
在上述实施例中，全局推荐模型和本地推荐模型使用卷积协同过滤网络；客户端使用适应性矩估计算法对本地推荐模型进行加速收敛。
图3是本发明一实施例提供的电子设备的结构示意图。如图3所示，该实施例的设备3主要包括：处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32，例如满足隐私性和鲁棒性的联邦推荐方法的程序。处理器30执行计算机程序32时实现上述满足隐私性和鲁棒性的联邦推荐方法实施例中的步骤，例如图1所示步骤101至106或者，处理器30执行计算机程序32时实现上述各个装置实施例中各模块/单元的功能，例如图2所示的模型分发模块201、客户端更新模块202、加噪上传模块203、客户端选择模块204、检测模块205、权重分配模块206及聚合模块207的功能。
示例性地，满足隐私性和鲁棒性的联邦推荐方法的计算机程序32主要包括：初始化服务器端的全局推荐模型，并将所述全局推荐模型分发至各个参与联邦训练的客户端；在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；在服务器端对所有的本地推荐模型进行随机采样得到预选集合；使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。计算机程序32可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器31中，并由处理器30执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序32在设备3中的执行过程。例如，计算机程序52可以被分割成模型分发模块201、客户端更新模块202、加噪上传模块203、客户端选择模块204、检测模块205、权重分配模块206及聚合模块207的功能，各模块具体功能如下：模型分发模块201用于将在服务器端初始化的全局推荐模型分发至各个参与联邦训练的客户端；客户端更新模块202用于在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；加噪上传模块203用于使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；客户端选择模块204在服务器端对所有的本地推荐模型进行随机采样得到预选集合；检测模块205用于使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测；权重分配模块206用于给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；聚合模块207用于根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
设备3可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是设备3的示例，并不构成对设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器31可以是设备3的内部存储单元，例如设备3的硬盘或内存。存储器31也可以是设备3的外部存储设备，例如设备3上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器31还可以既包括设备3的内部存储单元也包括外部存储设备。存储器31用于存储计算机程序以及设备所需的其他程序和数据。存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，车联网的车端视频流处理方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，根据车用户上传其在下一个大时标下的运动信息，计算车用户在节点访问范围的预计驻留时间，其中，大时标包含若干小时标；基于长短期记忆算法预测车用户在下一个大时标下的视频请求强度；根据车用户在节点访问范围的预计驻留时间以及视频请求强度，在节点缓存视频流；基于近端策略优化强化学习算法，在大时标下的小时标确定的时长范围调度缓存的视频流。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种提升隐私和鲁棒的联邦推荐方法，其特征在于，包括：
初始化服务器端的全局推荐模型，并将所述全局推荐模型分发至各个参与联邦训练的客户端；
在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；
使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；
在服务器端对所有的本地推荐模型进行随机采样得到预选集合；
使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测，给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；
根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
2.根据权利要求1所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
所述方法还包括：
每一个客户端获取本地推荐模型的梯度，裁切限定当前梯度的敏感度，得到优化梯度值；
根据所述预选集合计算客户端采样率；
根据所述优化梯度值和所述客户端采样率计算总隐私预算。
3.根据权利要求1所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
使用本地差分隐私算法对本地推荐模型参数进行加噪处理包括：
使用高斯机制给本地模型参数添加均值为0方差为σ2的噪声使其满足本地差分隐私，σ为一个预先设置的常数。
4.根据权利要求1所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
对客户端分配权重的方法包括：
计算预选集合中所有的本地推荐模型和全局推荐模型之间的余弦相似度；
将预选集合中所有的本地推荐模型与全局推荐模型的余弦相似度进行排序处理，并获取排序后的中值，所述中值对应的客户端为权重最高的客户端；
根据所述余弦相似度和所述中值计算每个客户端的聚合权重。
5.根据权利要求4所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
所述余弦相似度的计算公式为：
其中，w为全局推荐模型，θi为客户端为i的本地模型。
6.根据权利要求5所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
每个客户端的聚合权重的计算公式为：
其中，μ＝Median(si)表示本地模型和全局模型余弦相似度排序集合的中值，
是所有客户端的聚合权重的和，pi表示客户端i的聚合权重。
7.根据权利要求1所述的提升隐私和鲁棒的联邦推荐方法，其特征在于，
所述全局推荐模型和所述本地推荐模型使用卷积协同过滤网络；
所述客户端使用适应性矩估计算法对所述本地推荐模型进行加速收敛。
8.一种提升隐私和鲁棒的联邦推荐装置，其特征在于，包括：
模型分发模块，用于将在服务器端初始化的全局推荐模型分发至各个参与联邦训练的客户端；
客户端更新模块，用于在每一个客户端接收全局模型作为初始的本地推荐模型，并利用客户端本地训练样本更新本地推荐模型；
加噪上传模块，用于使用本地差分隐私算法对本地推荐模型参数进行加噪处理，得到扰动后的模型参数，并将所有客户端扰动后的模型参数上传至服务器端；
客户端选择模块，在服务器端对所有的本地推荐模型进行随机采样得到预选集合；
检测模块，用于使用拜占庭攻击检测算法对预选集合中客户端的模型参数进行检测；
权重分配模块，用于给非拜占庭攻击客户端分配高聚合权重，给拜占庭攻击客户端分配低聚合权重；
聚合模块，用于根据聚合权重对所选客户端本地推荐模型的模型参数进行聚合，对全局推荐模型的模型参数进行更新，并根据更新后的全局推荐模型为客户端推荐内容。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211080994.3A CN115455471A (zh) | 2022-09-05 | 2022-09-05 | 提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211080994.3A CN115455471A (zh) | 2022-09-05 | 2022-09-05 | 提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115455471A true CN115455471A (zh) | 2022-12-09 |
Family
ID=84303145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211080994.3A Pending CN115455471A (zh) | 2022-09-05 | 2022-09-05 | 提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115455471A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320713A (zh) * | 2023-03-03 | 2023-06-23 | 浙江大学 | 一种基于图像信号处理器参数优化的隐私保护方法 |
| CN117150416A (zh) * | 2023-10-27 | 2023-12-01 | 烟台大学 | 一种工业互联网异常节点的检测方法、系统、介质及设备 |
| CN117171814A (zh) * | 2023-09-28 | 2023-12-05 | 数力聚(北京)科技有限公司 | 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质 |
| CN117370472A (zh) * | 2023-12-07 | 2024-01-09 | 苏州元脑智能科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN117395067A (zh) * | 2023-11-08 | 2024-01-12 | 西安电子科技大学 | 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法 |
| CN117560229A (zh) * | 2024-01-11 | 2024-02-13 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
| CN117874829A (zh) * | 2024-03-13 | 2024-04-12 | 北京电子科技学院 | 基于自适应差分隐私的联邦学习方法 |
-
2022
- 2022-09-05 CN CN202211080994.3A patent/CN115455471A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320713A (zh) * | 2023-03-03 | 2023-06-23 | 浙江大学 | 一种基于图像信号处理器参数优化的隐私保护方法 |
| CN116320713B (zh) * | 2023-03-03 | 2024-02-20 | 浙江大学 | 一种基于图像信号处理器参数优化的隐私保护方法 |
| CN117171814A (zh) * | 2023-09-28 | 2023-12-05 | 数力聚(北京)科技有限公司 | 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质 |
| CN117171814B (zh) * | 2023-09-28 | 2024-06-04 | 数力聚(北京)科技有限公司 | 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质 |
| CN117150416B (zh) * | 2023-10-27 | 2024-03-08 | 烟台大学 | 一种工业互联网异常节点的检测方法、系统、介质及设备 |
| CN117150416A (zh) * | 2023-10-27 | 2023-12-01 | 烟台大学 | 一种工业互联网异常节点的检测方法、系统、介质及设备 |
| CN117395067A (zh) * | 2023-11-08 | 2024-01-12 | 西安电子科技大学 | 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法 |
| CN117395067B (zh) * | 2023-11-08 | 2024-04-19 | 西安电子科技大学 | 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法 |
| CN117370472A (zh) * | 2023-12-07 | 2024-01-09 | 苏州元脑智能科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN117370472B (zh) * | 2023-12-07 | 2024-02-27 | 苏州元脑智能科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN117560229B (zh) * | 2024-01-11 | 2024-04-05 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
| CN117560229A (zh) * | 2024-01-11 | 2024-02-13 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
| CN117874829A (zh) * | 2024-03-13 | 2024-04-12 | 北京电子科技学院 | 基于自适应差分隐私的联邦学习方法 |
| CN117874829B (zh) * | 2024-03-13 | 2024-05-17 | 北京电子科技学院 | 基于自适应差分隐私的联邦学习方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115455471A (zh) | 提升隐私和鲁棒的联邦推荐方法、装置、设备及存储介质 | |
| US11315030B2 (en) | Continuously learning, stable and robust online machine learning system | |
| US20210089878A1 (en) | Bayesian nonparametric learning of neural networks | |
| TW202139045A (zh) | 基於隱私保護確定目標業務模型的方法及裝置 | |
| CN111881350B (zh) | 一种基于混合图结构化建模的推荐方法与系统 | |
| CN106897404B (zh) | 一种基于多gru层神经网络的推荐方法与系统 | |
| CN108923983B (zh) | 机会网络链路的预测方法、装置及可读存储介质 | |
| CN112163637B (zh) | 基于非平衡数据的图像分类模型训练方法、装置 | |
| CN113592593B (zh) | 序列推荐模型的训练及应用方法、装置、设备及存储介质 | |
| CN115358487A (zh) | 面向电力数据共享的联邦学习聚合优化系统及方法 | |
| CN107346333B (zh) | 一种基于链路预测的在线社交网络好友推荐方法与系统 | |
| Fotakis et al. | Opinion dynamics with limited information | |
| CN115841366A (zh) | 物品推荐模型训练方法、装置、电子设备及存储介质 | |
| CN115114542A (zh) | 一种对象推荐方法、系统、训练方法、介质及计算机设备 | |
| CN117216281A (zh) | 一种基于知识图谱的用户兴趣扩散推荐方法及系统 | |
| CN111935259B (zh) | 目标帐号集合的确定方法和装置、存储介质及电子设备 | |
| Hannák et al. | Bilateral‐Weighted Online Adaptive Isolation Forest for anomaly detection in streaming data | |
| WO2022235599A1 (en) | Generation and implementation of dedicated feature-based techniques to optimize inference performance in neural networks | |
| CN116501993B (zh) | 房源数据推荐方法及装置 | |
| JP2019109662A (ja) | 分類装置、データ構造、分類方法、およびプログラム | |
| CN117829274B (zh) | 模型融合方法、装置、设备、联邦学习系统及存储介质 | |
| CN114820085B (zh) | 用户筛选方法、相关装置及存储介质 | |
| CN113468389B (zh) | 一种基于特征序列比对的用户画像建立方法和装置 | |
| CN113256190B (zh) | 资源召回方法及装置 | |
| CN117808125A (zh) | 模型聚合方法、装置、设备、联邦学习系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |