CN117540106B - 一种多模态数据隐私保护的社交活动推荐方法及设备 - Google Patents

一种多模态数据隐私保护的社交活动推荐方法及设备 Download PDF

Info

Publication number
CN117540106B
CN117540106B CN202410029262.4A CN202410029262A CN117540106B CN 117540106 B CN117540106 B CN 117540106B CN 202410029262 A CN202410029262 A CN 202410029262A CN 117540106 B CN117540106 B CN 117540106B
Authority
CN
China
Prior art keywords
user
activity
representing
disturbance
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410029262.4A
Other languages
English (en)
Other versions
CN117540106A (zh
Inventor
魏建好
李一骁
李小龙
周新民
周渟森
李闯
文艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202410029262.4A priority Critical patent/CN117540106B/zh
Publication of CN117540106A publication Critical patent/CN117540106A/zh
Application granted granted Critical
Publication of CN117540106B publication Critical patent/CN117540106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例中提供了一种多模态数据隐私保护的社交活动推荐方法及设备，属于信息安全技术领域，具体包括：基于BERT文本编码和伯努利分布的不可区分性机制，对用户多模态活动数据进行保护；基于特征融合相似度的邻域扩展算法，进行用户邻域社交图扩展；基于余弦退火衰减机制的梯度自适应隐私保护算法，保证模型高训练精度下的梯度隐私保护；基于图神经网络的活动社交聚合智能推荐方法，实现对用户的高质量活动推荐；通过本申请的方案，基于差分隐私的特性，本发明扰动的多模态社交数据满足本地差分隐私，在确保高质量的推荐服务前提下，实现对多模态数据的隐私保护。

Description

一种多模态数据隐私保护的社交活动推荐方法及设备
技术领域
本申请涉及信息安全技术领域，特别涉及一种多模态数据隐私保护的社交活动推荐方法及设备。
背景技术
基于深度学习的社交网络图推荐是为用户提供个性化内容、人际关系和社群推荐的一种服务方式。社交图推荐利用用户兴趣、行为和偏好，通过分析用户与活动之间的交互和联系，构建社交图来实现更精准的推荐。社交平台拥有庞大的用户数量，社交网络图推荐通过处理这些大规模数据，为用户提供感兴趣的信息和人际关系，提高其社交网络的使用效率和参与度。
基于深度学习的社交网络图推荐为用户提供个性化服务，但也存在用户隐私泄露风险。由于多模态社交图数据中包含用户的敏感信息，一旦云服务器被攻击，这些信息可能被泄露给攻击者。攻击者利用多模态社交图信息可以获取用户的观点、兴趣偏好等敏感信息，并操纵用户的态度、行为或参与特定活动，对用户的安全和隐私构成威胁。此外，基于多模态社交图的深度学习模型预测也可能泄露用户的敏感数据信息，攻击者可以通过分析模型梯度来获取用户训练数据的敏感信息。
为了保护多模态社交图和模型梯度在社交推荐中的数据隐私，研究者采用了多种技术手段来防止用户多模态数据被滥用或泄露，例如同态加密方法、匿名方法和差分隐私方法。但是面对大规模的多模态子图数据，加密方法的加解密过程开销较大，且密钥难以管理。其次，匿名方法产生的匿名信息无法抵御重识别攻击，比如链接攻击和背景知识攻击。传统差分隐私方法依赖第三方通过删除或添加图节点/边信息，保证具有最大背景知识的攻击者不能推断出原始的子图数据。但是该方法中的可信第三方很容易被攻击，存在隐私泄露风险。因此，需要设计更加安全可靠的多模态数据隐私保护算法。
最近，一些研究提出了针对深度学习社交网络图推荐的本地化差分隐私方法，允许用户在本地保护隐私而无需依赖第三方。例如，基于本地差分隐私的图神经网络框架，以保护节点(用户或活动的标签、ID)数据的隐私。垂直联邦学习方法保护了社交图中的边(用户与用户或活动之间的评分)隐私。子图联邦学习框架在本地保护原始数据隐私，将训练出来的真实梯度提供给服务器进行推荐。然而，现有隐私保护方法只保护单类型社交图数据隐私，没有同时考虑多模态的社交图节点和边数据隐私，且忽略了梯度数据隐私保护问题，导致社交网络推荐服务存在隐私泄露风险。此外，现有社交推荐隐私保护方法主要基于单个用户的扰动子图数据进行推荐，没有考虑多个用户交互的高阶多模态子图相关性，存在对用户进行活动推荐时隐私保护效果差的问题。
发明内容
本申请实施例提供了一种多模态数据隐私保护的社交活动推荐方法及设备，可以解决对用户进行活动推荐时隐私保护效果差的问题。
第一方面，本申请实施例提供了一种多模态数据隐私保护的社交活动推荐方法，该活动推荐方法包括：
步骤1：基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动；
步骤2：基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展；
步骤3：基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护；
步骤4：基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐。
根据本申请实施例的一种具体实现方式，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动，包括：
步骤1.1，基于BERT编码框架，对文本活动标签数据进行编码预处理，将用户的文本活动标签转换成维的数值嵌入向量；
步骤1.2，根据数值型的活动标签嵌入向量，基于BERT文本编码不可区分性机制，计算第个用户的第个扰动活动标签，公式如下：
其中，表示第个用户的第个活动标签嵌入向量，表示第个用户的第个活动标签嵌入向量，表示第个用户的第个活动标签与第个用户的第个活动标签之间的欧式距离，，表示用户总数，，，表示第个用户交互的活动的总数，表示第个用户扰动活动标签时产生的随机单位向量，，其中表示随机单位向量中第个元素，，；
步骤1.3，根据用户的活动评分，基于伯努利分布的差分隐私机制，计算第个用户的第个扰动评分为：
其中，表示第个用户对第个活动的评分，表示第个用户对所有活动的评分中数值最小的评分，表示第个用户对所有活动的评分中数值最大的评分，表示满足伯努利分布的随机整数，。
根据本申请实施例的一种具体实现方式，基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展，包括：
步骤2.1，针对第个用户交互的活动，在库中查询与有交互相同活动的用户，基于每个用户的所有扰动活动标签和所有扰动评分，计算第个用户与第个用户之间的相似度，计算公式如下：
其中，表示相似度权重，，表示第个用户的扰动活动标签矩阵，表示中的第个扰动活动标签嵌入向量，，表示第个用户的扰动活动标签矩阵，表示的第个扰动活动标签嵌入向量，表示第个用户的第个扰动评分，表示第个用户的第个扰动评分，表示第个用户与第个用户之间的余弦相似度，表示第个用户与第个用户之间的皮尔逊相关系数：
其中，表示协方差计算，表示方差计算；
步骤2.2，基于特征融合相似度算法计算的相似度，给定相似度阈值，当大于等于相似度预设值，认为第个用户对应的节点是第个用户对应的节点的相邻节点，以构建用户邻域社交图。
根据本申请实施例的一种具体实现方式，基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护，包括：
步骤3.1，根据用户邻域社交图，扰动的多模态活动标签和评分，基于图神经网络模型，通过前向传播计算得到初始预测评分；
步骤3.2，根据的初始预测评分和扰动评分，计算模型梯度如下：
其中，表示随机抽取的训练样本，表示微分运算符，表示模型的损失函数，，表示所述第个用户交互的活动的总数；
步骤3.3，根据模型梯度，计算范数裁剪梯度为：
其中，表示最大梯度灵敏度，表示L2范数计算；
步骤3.4，基于余弦退火衰减机制的梯度自适应隐私保护算法，对裁剪后的梯度添加满足差分隐私的自适应高斯噪声，并在训练结束后计算第次局部优化的扰动梯度，计算公式如下：
其中，表示满足差分隐私的零均值高斯噪声，，表示局部优化总次数，表示第次局部优化中的高斯噪声尺度，决定高斯噪声大小；表示初始噪声，表示第个用户在第次局部优化时被抽取的预测评分的数据大小；
步骤3.5，所有边缘服务器将扰动梯度提交给云服务器，云服务器聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新，以实现高质量活动推荐。
根据本申请实施例的一种具体实现方式，基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐，包括：
步骤4.1，根据用户邻域社交图、用户的所有扰动活动标签和所有扰动评分，基于图神经网络的活动社交智能推荐方法，计算第个用户的活动潜在特征为：
其中，表示激活函数，表示权重，表示活动聚合函数，表示第个用户交互的活动的集合，表示偏差，表示第个用户对第个活动的兴趣嵌入：
其中，表示第个用户的第个扰动活动标签的活动嵌入，表示第个用户的第个扰动评分的评分嵌入，表示向量的串联操作；
步骤4.2，根据活动潜在特征，基于图神经网络的活动社交智能推荐方法，计算第个用户的社交空间潜在特征，计算公式如下：
其中，表示用户邻居的聚合函数，表示第个用户的邻域社交图中邻居节点集合；
步骤4.3，基于每个用户的活动潜在特征和社交空间潜在特征，计算第个用户对第个活动的预测评分，以进行活动推荐，计算公式如下：
其中，表示为图神经网络隐藏层的索引，表示第个隐藏层的输出，和分别表示第个权重和偏差，表示第个隐藏层的输出，表示第个隐藏层的输出，表示第个权重，表示第个偏差，表示第2个权重，表示第2个偏差，和分别表示第1个隐藏层的输出和第2个隐藏层的输出；
步骤4.4，对边缘图神经网络模型进行次迭代优化，以最小化损失函数，获取活动的最优预测评分；当活动的最优预测评分大于等于评分阈值时，认为该活动是用户的兴趣活动，将其推荐给用户。
第二方面，本申请实施例提供了一种多模态数据隐私保护的社交活动推荐装置，包括：
用户本地多模态数据差分隐私模块，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动；
用户高阶邻域扩展模块，基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展；
梯度自适应隐私保护模块，基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护；
活动社交智能推荐模块，基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐。
第三方面，本申请实施例提供了一种多模态数据隐私保护的社交活动推荐设备，包括个人移动设备，边缘服务器和云服务器，个人移动设备用于实现基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动的步骤；
边缘服务器用于实现基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展的步骤、基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护的步骤、基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐的步骤；
云服务器用于聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的一种多模态数据隐私保护的社交活动推荐方法。
本申请的上述方案有如下的有益效果：
在本申请的实施例中，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，同时扰动用户多模态活动标签和评分，实现对用户多模态活动数据的隐私保护；基于特征融合相似度的邻域扩展算法，将用户的本地一阶数据扩展为与邻居有关的高阶数据，实现用户高阶邻域扩展；基于余弦退火衰减机制的梯度自适应隐私保护算法，对模型训练中的权重梯度添加自适应衰减的高斯噪声，以保护模型梯度隐私；基于图神经网络的活动社交聚合智能推荐方法，预测每个用户的多个活动的评分，将大于等于评分阈值的预测评分对应的活动推荐给用户，实现了对用户的高质量推荐服务。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种多模态数据隐私保护的社交活动推荐方法的流程图；
图2为本申请一实施例提供的一种多模态数据隐私保护的社交活动推荐方法在不同参数下的对比示意图；
图3为本申请一实施例提供的多模态数据隐私保护的社交活动推荐装置的结构示意图；
图4为本申请一实施例提供的一种多模态数据隐私保护的社交活动推荐设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
针对现有的对用户进行活动推荐时隐私保护效果差的问题，本申请实施例提供了一种多模态数据隐私保护的社交活动推荐方法，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，同时扰动用户多模态活动标签和评分，实现对用户多模态活动数据的隐私保护；基于特征融合相似度的邻域扩展算法，将用户的本地一阶数据扩展为与邻居有关的高阶数据，实现用户高阶邻域扩展；基于余弦退火衰减机制的梯度自适应隐私保护算法，对模型训练中的权重梯度添加自适应衰减的高斯噪声，以保护模型梯度隐私；基于图神经网络的活动社交聚合智能推荐方法，预测每个用户的多个活动的评分，将大于等于评分阈值的预测评分对应的活动推荐给用户，实现了对用户的高质量推荐服务。
接下来对本申请提供的一种多模态数据隐私保护的社交活动推荐方法做示例性说明。
如图1所示，本申请提供的多模态数据隐私保护的社交活动推荐方法包括如下步骤：
步骤1，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动。
上述BERT（Bidirectional Encoder Representation from Transformers）为基于Transformer的双向编码器表示。
在本申请的一些实施例中，上述步骤1具体为：获取多个用户的活动数据，基于BERT文本编码对每个活动标签进行编码，得到活动标签嵌入向量，然后分别针对每个用户的每个活动标签嵌入向量，基于活动标签嵌入向量与用户的其他活动标签嵌入向量之间的距离，生成满足随机分布的多模态社交数据分布式不可区分性机制的扰动活动标签，同时分别针对每个用户的每个评分，基于用户的所有评分对评分进行扰动，得到满足伯努利分布的扰动评分。上述活动数据包括多个活动的活动标签以及每个活动对应的评分，即上述的多模态数据。
在上述实施例的基础上，步骤1具体包括：
步骤1.1，基于BERT编码模型对用户的文本活动标签数据进行编码预处理。具体来说，用户参与活动推荐服务时，从边缘服务器下载BERT编码模型，通过BERT将用户的每个活动标签中的文本内容转换成一个维的数值嵌入向量。
步骤1.2，根据数值型的活动标签嵌入向量，基于BERT文本编码不可区分性机制，计计算第个用户的第个扰动活动标签，公式如下：
其中，表示第个用户的第个活动标签嵌入向量，表示第个用户的第个活动标签嵌入向量，表示第个用户的第个活动标签与第个用户的第个活动标签之间的欧式距离，表示第个用户扰动活动标签时产生的随机单位向量，，其中表示随机单位向量中第个元素，，。
在本申请的一些实施例中，在执行本步骤前，对于每个用户的多个活动的活动标签嵌入向量，加入隐私预算的方式提高对数据的隐私保护，如，对于第个用户的第个活动标签隐私预算为：
其中，表示给定的隐私预算，表示第个用户的第个活动标签与第个用户的第个活动标签之间的最大欧式距离，表示第个用户的第个活动标签嵌入向量，表示个用户的第个活动标签嵌入向量，表示第个用户交互的活动的总数。
基于隐私预算设定对于第个用户的隐私机制，且隐私机制满足：
其中，表示隐私机制的输出结果，表示概率，即和分别输入进得到的概率。
上述本申请给出了编码不可区分性机制，对用户的活动标签进行保护，将每个活动标签生成对应的扰动活动标签，提供了坚实的理论基础。
示例性的，可以利用Python等数据处理的计算机软件进行上述计算，生成扰动活动标签。
值得一提的是，基于活动标签之间的欧式距离和随机单位向量，生成扰动活动标签，保证了扰动活动标签的随机性，进而对活动标签数据进行隐私保护。
步骤1.3，根据用户的活动评分，基于伯努利分布的差分隐私机制，计算第个用户的第个扰动评分，具体的计算公式如下：
其中，表示第个用户对第个活动的评分，表示第个用户对所有活动的评分中数值最小的评分，表示第个用户对所有活动的评分中数值最大的评分，表示满足伯努利分布的随机整数，。
需要说明的是，上述的满足伯努利概率分布：
其中，表示给定的活动评分隐私预算。
上述第个用户的第个扰动评分满足的概率范围为：
示例性的，可以利用Python等数据处理的计算机软件进行上述计算，生成扰动评分。
值得一提的是，基于伯努利概率分布对用户的所有评分进行扰动，保证了扰动活动评分的随机性，能够实现对评分数据的隐私保护。
步骤2，基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展。
在本申请的一些实施例中，上述步骤2具体为：基于每个用户的所有扰动活动标签和所有扰动评分，计算用户与其他所有用户之间的特征融合的相似度，然后基于所有相似度构建用户邻域社交图，实现用户的邻域扩展。用户邻域社交图中的多个节点与多个用户一一对应，每两个节点之间的边表示对应的两个用户之间的相似度。
在上述实施例的基础上，步骤2具体包括：
步骤2.1，针对第个用户交互的活动，在库中查询与有交互相同活动的用户，基于每个用户的所有扰动活动标签和所有扰动评分，计算第个用户与第个用户之间的相似度，计算公式如下：
其中，表示相似度权重，，表示第个用户的扰动活动标签矩阵，表示中的第个扰动活动标签嵌入向量，，表示第个用户的扰动活动标签矩阵，表示的第个扰动活动标签嵌入向量，表示第个用户的第个扰动评分，表示第个用户的第个扰动评分，表示第个用户与第个用户之间的余弦相似度，表示第个用户与第个用户之间的皮尔逊相关系数：
其中，表示协方差计算，表示方差计算。
步骤2.2，基于特征融合相似度算法计算的相似度，给定相似度阈值，当大于等于相似度预设值，认为第个用户对应的节点是第个用户对应的节点的相邻节点，以构建用户邻域社交图。
示例性的，第1个用户和第2个用户、第4个用户之间的相似度大于相似度预设值，则将第2个用户、第4个用户对应的节点均作为第1个用户对应的节点的相邻节点，再分别对第2个用户对应的节点和第4个用户对应的节点选取相邻节点。
值得一提的是，在实际的推荐场景中，不同用户之间的交互信息对于学习用户兴趣是至关重要的，本实例计算相似度时同时考虑余弦相似度和皮尔逊相关系数，能够提高相似度的准确度，构建用户的高阶社交 图，能够很好地表现用户之间数据的关系。
步骤3，基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护。
在本申请的一些实施例中，上述步骤3具体为：利用边缘图神经网络模型对每个用户对应的每个活动的评分进行预测，得到每个活动的初始预测评分，然后利用所有初始预测评分和自适应动态衰减的高斯噪声计算扰动梯度，基于扰动梯度，利用余弦退火衰减机制对边缘图神经网络模型进行局部优化。
在上述实施例的基础上，步骤3具体包括：
步骤3.1，根据用户邻域社交图，扰动的多模态活动标签和评分，基于图神经网络模型，前向传播计算得到初始预测评分。
步骤3.2，根据的评分和扰动评分，计算模型梯度如下：
其中，表示随机抽取的训练样本，表示微分运算符，表示模型的损失函数，，表示所述第个用户交互的活动的总数。
步骤3.3，根据模型梯度，计算范数裁剪梯度为：
其中，表示最大梯度灵敏度，表示L2范数计算。
步骤3.4，基于余弦退火衰减机制的梯度自适应隐私保护算法，对裁剪后的梯度添加满足差分隐私的自适应高斯噪声，并在训练结束后计算第次局部优化的扰动梯度，计算公式如下：
其中，表示满足差分隐私的零均值高斯噪声，，表示局部优化总次数，表示第次局部优化中的高斯噪声尺度，决定高斯噪声大小；表示初始噪声，表示第个用户在第次局部优化时被抽取的预测评分的数据大小。
步骤3.5，所有边缘服务器将扰动梯度提交给云服务器，云服务器聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新，以实现高质量活动推荐。
值得一提的是，当扰动梯度中的噪声为固定的噪声值时，隐私预算均匀分布在局部优化的轮次上。在相同的隐私预算和固定的噪声方差下，每次注入的噪声量都是相同的。相比之下，当使用自适应衰减的高斯噪声时，在训练的早期会注入较大的噪声。随着局部优化次数的增加，注入的高斯噪声将稳步减少，从而使深度学习后期的噪声更小以保证模型精度。由于高斯噪声与局部优化时抽样的数据大小相关，因此保证后期训练噪声减少而不会造成隐私泄露的问题。
示例性的，可以利用Python等计算机软件运行图神经网络模型，计算得到每个用户对每个活动的初始预测评分。
步骤4，基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐。
在本申请的一些实施例中，上述步骤4具体为：分别针对每个用户，基于用户邻域社交图、用户的所有扰动活动标签和所有扰动评分，利用全局优化后的边缘图神经网络模型运行图神经网络的活动社交聚合智能推荐方法，为用户推荐活动。图神经网络的活动社交聚合智能推荐方法为：利用聚合函数提取用户的活动潜在特征和社交空间潜在特征，基于每个用户的活动潜在特征和社交空间潜在特征，利用图神经网络获取用户的每个活动的预测评分，然后基于所有预测评分对边缘图神经网络模型进行迭代优化，以最小化模型中的损失函数，得到每个活动的最优预测评分，最后分别判断每个最优预测评分是否大于等于评分阈值，若是，则将最优预测评分对应的活动推荐给用户。
在上述实施例的基础上，步骤4具体包括：
步骤4.1，根据用户邻域社交图、用户的所有扰动活动标签和所有扰动评分，基于图神经网络的活动社交智能推荐方法，计算第个用户的活动潜在特征为：
其中，表示激活函数，表示权重，表示活动聚合函数，表示第个用户交互的活动的集合，表示偏差，表示第个用户对第个活动的兴趣嵌入：
其中，表示第个用户的第个扰动活动标签的活动嵌入，表示第个用户的第个扰动评分的评分嵌入，表示向量的串联操作。
步骤4.2，根据活动潜在特征，基于图神经网络的活动社交智能推荐方法，计算第个用户的社交空间潜在特征，计算公式如下：
其中，表示用户邻居的聚合函数，表示第个用户的邻域社交图中邻居节点集合。
步骤4.3，基于每个用户的活动潜在特征和社交空间潜在特征，计算第个用户对第个活动的预测评分，以进行活动推荐，计算公式如下：
其中，表示为图神经网络隐藏层的索引，表示第个的隐藏层的输出，和分别表示第个权重和偏差。
步骤4.4，对边缘图神经网络模型进行次迭代优化，以最小化损失函数，获取活动的最优预测评分；当活动的最优预测评分大于等于评分阈值时，认为该活动是用户的兴趣活动，将其推荐给用户。
示例性的，云服务器聚合所有扰动梯度进行全局参数优化，返回优化参数给每个边缘服务器进行边缘图神经网络模型更新，此时边缘图神经网络模型计算每个用户的活动潜在特征和社交空间潜在特征，获取活动的预测评分，以此进行次迭代优化后获取活动的最优预测评分，将最优评分大于评分阈值的活动推荐给用户。
值得一提的是，基于用户多模态的活动潜在特征和社交空间潜在特征获取用户的活动预测评分，考虑了用户自身的活动信息以及用户的相似用户的活动信息，能够提高活动预测评分的准确性。
需要说明的是，上述用户为需要进行活动推荐的用户，具体的，基于图神经网络的活动社交聚合智能推荐方法，获取用户对活动的最优预测评分，当活动的最优预测评分大于等于评分阈值时，认为该活动是用户的兴趣活动，将兴趣活动推荐给用户。上述预测评分的活动为用户尚未交互的活动。
为保护用户多模态社交活动数据和模型梯度的隐私，理论证明本发明提出的一种多模态数据隐私保护的社交活动推荐方法满足本地差分隐私。
证明：因为用户扰动活动标签被添加满足拉普拉斯分布的噪声，其中分配隐私预算为，基于本地差分隐私性质，所以本实例基于BERT文本编码的不可区分性机制满足本地差分隐私。
因为用户扰动活动评分被添加满足伯努利分布的噪声，其中分配隐私预算为，基于本地差分隐私性质，所以本实例基于伯努利分布的差分隐私机制满足本地差分隐私。
因为模型扰动梯度被添加满足高斯机制的噪声，其中分配隐私预算为，基于松弛差分隐私性质，本实例基于余弦退火衰减机制的梯度自适应隐私保护算法，满足差分隐私。
基于差分隐私的串行组合原理，本发明提出的一种多模态数据隐私保护的社交活动推荐方法满足分布式差分隐私，实现了用户本地多模态社交活动数据和模型梯度的隐私保护；其中。
下面结合一具体实验对本申请的一种多模态数据隐私保护的社交活动推荐方法进行示例性说明。
基于真实的电影评级数据集（MovieLens），采用不同的参数：本地图数据节点隐私、边隐私预算和模型梯度隐私预算，来评估本实例对扰动的用户多模态社交活动数据的可用性，与本实例面向社交网络推荐的误差，实验评估结果如图2所示，图2(a)中带圆的曲线为本实施例（即本申请提供的社交活动推荐方法）的数据可用性曲线，带菱形的曲线为传统节点差分隐私保护方法的数据可用性曲线，图2(b)中带圆的曲线为本实施例（即本申请提供的社交活动推荐方法）的数据可用性曲线，带菱形的曲线为传统边差分隐私保护方法的数据可用性曲线，图2(c)中带圆的曲线为本实施例（即本申请提供的社交活动推荐方法）的数据可用性曲线，带菱形的曲线为传统梯度差分隐私保护方法的数据可用性曲线，图2(a)、图2(b)和图2(c)中横轴均表示隐私的值，纵轴均表示数据可用性，单位为百分比（%），图2(d)中带圆的曲线为本实施例（即本申请提供的社交活动推荐方法）的损失误差曲线，带菱形的曲线为传统图神经网络（GNN，）隐私推荐框架的损失误差曲线，图2(d)中横轴表示隐私的值，纵轴表示损失误差，单位为百分比（%）。
由此可以看出，本申请的一种多模态数据隐私保护的社交活动推荐方法能够很好地实现在对用户进行精确地活动推荐时，提高对多模态数据进行隐私保护的效果，保证多模态数据的安全性。
下面对本申请提供的一种多模态数据隐私保护的社交活动推荐装置进行示例性说明。
如图3所示，本申请实施例提供了一种多模态数据隐私保护的社交活动推荐装置，该多模态数据隐私保护的社交活动推荐装置300包括：
用户本地多模态数据差分隐私模块301，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动；
用户高阶邻域扩展模块302，基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展；
梯度自适应隐私保护模块303，基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护；
活动社交智能推荐模块304，基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图4所示，本申请的实施例提供了一种多模态数据隐私保护的社交活动推荐设备，该实施例的多模态数据隐私保护的社交活动推荐设备D10包括：个人移动设备D100、边缘服务器D101以及云服务器D102，所述多模态数据隐私保护的社交活动推荐设备D10实现上述任意各个方法实施例中的步骤。
具体的，所述个人移动设备D100参与活动推荐服务时，基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，扰动用户多模态活动标签和评分，保护了用户多模态活动数据的隐私，然后将扰动多模态活动数据提交给边缘服务器D101，D101基于特征融合相似度的邻域扩展算法，将用户的本地一阶数据扩展为与邻居有关的高阶数据，实现用户邻域社交图扩展，根据用户邻域社交图，基于余弦退火衰减机制的梯度自适应隐私保护算法，对模型训练中的权重梯度添加自适应衰减的高斯噪声，计算扰动梯度，以保护模型梯度隐私，然后将扰动梯度提交给云服务器D102，D102聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器D101进行模型更新，D101基于图神经网络的活动社交聚合智能推荐方法，预测每个用户的多个活动的评分，将大于等于评分阈值的预测评分对应的活动推荐给用户，实现了对用户的高质量推荐服务。
所述个人移动设备D100可以是智能手机、移动计算机和可穿戴设备等，该个人移动设备D100还可以是其他移动通讯设备、物联网设备 (IOTD，Internet of Thingsdevice)、蓝牙耳机 (BE，Bluetooth earphone)、车载导航系统 (CNS，Car navigationsystem) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。移动通讯设备可以是进行无线通信和连接到移动网络的电子设备等。
所述边缘服务器D101在一些实施例中可以是各种类型的设备，具体的设备类型取决于应用场景和需求。例如传统的物理服务器、边缘计算节点和嵌入式设备。所述边缘服务器D101在另一些实施例中也可以是网络设备和边缘网关，例如路由器、交换机和连接终端设备和云服务器的中间设备。进一步地，所述存储器D101还可以既包括边缘虚拟机和边缘容器，例如虚拟存储操作系统、应用程序和容器化平台(如Docker和Kubernetes)等，所述边缘服务器D101主要进行数据处理分析和数据的隐私保护。
所述云服务器D102在实施例中一般是数据中心中运行的虚拟机实例，负责管理和分配物理服务器的计算资源，所述云服务器D102还可以是承载多个虚拟服务器实例的高性能硬件，例如磁盘阵列、网络存储设备（如SAN和NAS）、闪存存储等。所述云服务器D102主要提供计算资源、管理和优化操作。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在多模态数据隐私保护的社交活动推荐设备上运行时，使得多模态数据隐私保护的社交活动推荐设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到多模态数据隐私保护的社交活动推荐方法装置/设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (5)

1.一种多模态数据隐私保护的社交活动推荐方法，其特征在于，包括：
步骤1：基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动；
步骤2：基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展；
步骤3：基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护；
步骤4：基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐；
其中，所述基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护的步骤具体包括：
步骤3.1，根据所述用户邻域社交图，扰动的多模态活动标签和评分，基于图神经网络模型，通过前向传播计算得到初始预测评分；
步骤3.2，根据所述的初始预测评分和扰动评分，计算模型梯度如下：
其中，表示随机抽取的训练样本，表示微分运算符，表示模型的损失函数，，表示所述第个用户交互的活动的总数；
步骤3.3，根据所述模型梯度，计算范数裁剪梯度为：
其中，表示最大梯度灵敏度，表示L2范数计算；
步骤3.4，基于余弦退火衰减机制的梯度自适应隐私保护算法，对裁剪后的梯度添加满足差分隐私的自适应高斯噪声，并在训练结束后计算第次局部优化的扰动梯度，计算公式如下：
其中，表示满足差分隐私的零均值高斯噪声，，表示局部优化总次数，表示第次局部优化中的高斯噪声尺度，决定高斯噪声大小；表示初始噪声，表示所述第个用户在第次局部优化时被抽取的预测评分的数据大小；
步骤3.5，所有边缘服务器将所述扰动梯度提交给云服务器，云服务器聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新，以实现高质量活动推荐。
2.根据权利要求1所述的社交活动推荐方法，其特征在于，所述基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动，包括：
步骤1.1，基于BERT编码框架，对文本活动标签数据进行编码预处理，将用户的文本活动标签转换成维的数值嵌入向量；
步骤1.2，根据数值型的活动标签嵌入向量，基于BERT文本编码不可区分性机制，计算第个用户的第个扰动活动标签，公式如下：
其中，表示所述第个用户的第个活动标签嵌入向量，表示所述第个用户的第个活动标签嵌入向量，表示所述第个用户的第个活动标签与所述第个用户的第个活动标签之间的欧式距离，，表示用户总数，，，表示第个用户交互的活动的总数，表示所述第个用户扰动活动标签时产生的随机单位向量，，其中表示所述随机单位向量中第个元素，，；
步骤1.3，根据用户的活动评分，基于伯努利分布的差分隐私机制，计算第个用户的第个扰动评分为：
其中，表示所述第个用户对第个活动的评分，表示所述第个用户对所有活动的评分中数值最小的评分，表示所述第个用户对所有活动的评分中数值最大的评分，表示满足伯努利分布的随机整数，。
3.根据权利要求2所述的社交活动推荐方法，其特征在于，所述基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展，包括：
步骤2.1，针对所述第个用户交互的活动，在库中查询与有交互相同活动的用户，基于每个用户的所有扰动活动标签和所有扰动评分，计算所述第个用户与第个用户之间的相似度，计算公式如下：
其中，表示相似度权重，，表示所述第个用户的扰动活动标签矩阵，表示所述中的第个扰动活动标签嵌入向量，，表示所述第个用户的扰动活动标签矩阵，表示所述的第个扰动活动标签嵌入向量，表示所述第个用户的第个扰动评分，表示所述第个用户的第个扰动评分，表示所述第个用户与所述第个用户之间的余弦相似度，表示所述第个用户与所述第个用户之间的皮尔逊相关系数：
其中，表示协方差计算，表示方差计算；
步骤2.2，基于特征融合相似度算法计算的相似度，给定相似度阈值，当大于等于相似度预设值，认为所述第个用户对应的节点是所述第个用户对应的节点的相邻节点，以构建用户邻域社交图。
4.根据权利要求3所述的社交活动推荐方法，其特征在于，所述基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐，包括：
步骤4.1，根据所述用户邻域社交图、所述用户的所有扰动活动标签和所有扰动评分，基于所述图神经网络的活动社交智能推荐方法，计算第个用户的活动潜在特征为：
其中，表示激活函数，表示权重，表示活动聚合函数，表示所述第个用户交互的活动的集合，表示偏差，表示所述第个用户对第个活动的兴趣嵌入：
其中，表示所述第个用户的第个扰动活动标签的活动嵌入，表示所述第个用户的第个扰动评分的评分嵌入，表示向量的串联操作；
步骤4.2，根据所述活动潜在特征，基于所述图神经网络的活动社交智能推荐方法，计算所述第个用户的社交空间潜在特征，计算公式如下：
其中，表示用户邻居的聚合函数，表示所述第个用户的邻域社交图中邻居节点集合；
步骤4.3，基于每个用户的活动潜在特征和社交空间潜在特征，计算所述第个用户对第个活动的预测评分，以进行活动推荐，计算公式如下：
其中，表示为图神经网络隐藏层的索引，表示第个隐藏层的输出，和分别表示第个权重和偏差，表示第个隐藏层的输出，表示第个隐藏层的输出，表示第个权重，表示第个偏差，表示第2个权重，表示第2个偏差，和分别表示第1个隐藏层的输出和第2个隐藏层的输出；
步骤4.4，对边缘图神经网络模型进行次迭代优化，以最小化损失函数，获取活动的最优预测评分；当活动的最优预测评分大于等于评分阈值时，认为该活动是用户的兴趣活动，将其推荐给用户。
5.一种多模态数据隐私保护的社交活动推荐设备，包括个人移动设备，边缘服务器和云服务器，其特征在于，所述个人移动设备用于实现基于BERT文本编码和伯努利分布的多模态社交数据分布式不可区分性机制，通过计算多模态数据中两个活动标签嵌入向量的欧式距离，生成随机向量对原始活动标签嵌入向量进行扰动，对用户评分向量中的每一个元素，进行满足伯努利分布的随机扰动的步骤；
所述边缘服务器用于实现基于特征融合相似度的邻域扩展算法，根据用户扰动活动标签矩阵和扰动活动评分向量，计算出用户之间的相似度，构建用户邻域社交图，以实现用户高阶邻域扩展的步骤、基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护的步骤、基于图神经网络的活动社交聚合智能推荐方法，预测用户可能感兴趣的活动评分，实现对用户的高质量活动推荐的步骤；
所述云服务器用于聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新；
所述边缘服务器用于实现基于余弦退火衰减机制的梯度自适应隐私保护算法，对边缘图神经网络模型每一轮训练添加自适应动态衰减的高斯噪声，以实现模型梯度的隐私保护的步骤时，具体用于实现：
步骤3.1，根据所述用户邻域社交图，扰动的多模态活动标签和评分，基于图神经网络模型，通过前向传播计算得到初始预测评分；
步骤3.2，根据所述的初始预测评分和扰动评分，计算模型梯度如下：
其中，表示随机抽取的训练样本，表示微分运算符，表示模型的损失函数，，表示所述第个用户交互的活动的总数；
步骤3.3，根据所述模型梯度，计算范数裁剪梯度为：
其中，表示最大梯度灵敏度，表示L2范数计算；
步骤3.4，基于余弦退火衰减机制的梯度自适应隐私保护算法，对裁剪后的梯度添加满足差分隐私的自适应高斯噪声，并在训练结束后计算第次局部优化的扰动梯度，计算公式如下：
其中，表示满足差分隐私的零均值高斯噪声，，表示局部优化总次数，表示第次局部优化中的高斯噪声尺度，决定高斯噪声大小；表示初始噪声，表示所述第个用户在第次局部优化时被抽取的预测评分的数据大小；
步骤3.5，所有边缘服务器将所述扰动梯度提交给云服务器，云服务器聚合所有扰动梯度进行全局参数优化，并返回优化参数给每个边缘服务器进行边缘图神经网络模型更新，以实现高质量活动推荐。
CN202410029262.4A 2024-01-09 2024-01-09 一种多模态数据隐私保护的社交活动推荐方法及设备 Active CN117540106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410029262.4A CN117540106B (zh) 2024-01-09 2024-01-09 一种多模态数据隐私保护的社交活动推荐方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410029262.4A CN117540106B (zh) 2024-01-09 2024-01-09 一种多模态数据隐私保护的社交活动推荐方法及设备

Publications (2)

Publication Number Publication Date
CN117540106A CN117540106A (zh) 2024-02-09
CN117540106B true CN117540106B (zh) 2024-04-02

Family

ID=89786555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410029262.4A Active CN117540106B (zh) 2024-01-09 2024-01-09 一种多模态数据隐私保护的社交活动推荐方法及设备

Country Status (1)

Country Link
CN (1) CN117540106B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117938957B (zh) * 2024-03-22 2024-06-14 精为技术(天津)有限公司 基于联邦深度学习的边缘缓存优化方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438114B1 (en) * 2014-08-07 2019-10-08 Deepmind Technologies Limited Recommending content using neural networks
CN114662157A (zh) * 2022-05-25 2022-06-24 湖南工商大学 社交文本数据流的块压缩感知不可区分性保护方法及装置
CN115049415A (zh) * 2022-07-20 2022-09-13 北京工商大学 一种基于社区传播结构的社交媒体虚假新闻检测方法
CN115146312A (zh) * 2022-07-04 2022-10-04 广西师范大学 基于异构图神经网络隐私保护的社会影响预测方法和系统
KR102508131B1 (ko) * 2021-12-20 2023-03-09 (주)씨어스테크놀로지 지식그래프에 대한 그래프 연결강화 시스템 및 방법
WO2023034358A2 (en) * 2021-09-01 2023-03-09 Graphika Technologies, Inc. Analyzing social media data to identify markers of coordinated movements, using stance detection, and using clustering techniques
CN116049570A (zh) * 2023-01-09 2023-05-02 宁波大学 一种基于联邦对比学习的双塔社交推荐方法
WO2024006007A1 (en) * 2022-06-26 2024-01-04 Google Llc Privacy-sensitive neural network training

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300811A1 (en) * 2016-04-14 2017-10-19 Linkedin Corporation Dynamic loss function based on statistics in loss layer of deep convolutional neural network
US12061985B2 (en) * 2020-07-02 2024-08-13 Mitsubishi Electric Research Laboratories, Inc. Automated construction of neural network architecture with Bayesian graph exploration
US11868723B2 (en) * 2021-03-30 2024-01-09 Microsoft Technology Licensing, Llc. Interpreting text-based similarity

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438114B1 (en) * 2014-08-07 2019-10-08 Deepmind Technologies Limited Recommending content using neural networks
WO2023034358A2 (en) * 2021-09-01 2023-03-09 Graphika Technologies, Inc. Analyzing social media data to identify markers of coordinated movements, using stance detection, and using clustering techniques
KR102508131B1 (ko) * 2021-12-20 2023-03-09 (주)씨어스테크놀로지 지식그래프에 대한 그래프 연결강화 시스템 및 방법
CN114662157A (zh) * 2022-05-25 2022-06-24 湖南工商大学 社交文本数据流的块压缩感知不可区分性保护方法及装置
WO2024006007A1 (en) * 2022-06-26 2024-01-04 Google Llc Privacy-sensitive neural network training
CN115146312A (zh) * 2022-07-04 2022-10-04 广西师范大学 基于异构图神经网络隐私保护的社会影响预测方法和系统
CN115049415A (zh) * 2022-07-20 2022-09-13 北京工商大学 一种基于社区传播结构的社交媒体虚假新闻检测方法
CN116049570A (zh) * 2023-01-09 2023-05-02 宁波大学 一种基于联邦对比学习的双塔社交推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于弱感知通信芯片的动态精度无线定位方法;赵荣阳;李小龙;梁家海;;小型微型计算机系统;20201015(10);全文 *
基于变分循环自动编码器的协同推荐方法;李晓菊;顾君忠;程洁;;计算机应用与软件;20180912(09);全文 *

Also Published As

Publication number Publication date
CN117540106A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Tu et al. Protecting trajectory from semantic attack considering ${k} $-anonymity, ${l} $-diversity, and ${t} $-closeness
Mireshghallah et al. Shredder: Learning noise distributions to protect inference privacy
US11455427B2 (en) Systems, methods, and apparatuses for implementing a privacy-preserving social media data outsourcing model
EP3198904B1 (en) Privacy-preserving cookies for personalization without user tracking
CN117540106B (zh) 一种多模态数据隐私保护的社交活动推荐方法及设备
Du et al. Dp-forward: Fine-tuning and inference on language models with differential privacy in forward pass
Wang et al. MIASec: Enabling data indistinguishability against membership inference attacks in MLaaS
Yin et al. GANs Based Density Distribution Privacy‐Preservation on Mobility Data
CN110602631B (zh) Lbs中抵御推测攻击的位置数据的处理方法和处理装置
CN114662157B (zh) 社交文本数据流的块压缩感知不可区分性保护方法及装置
Al-Utaibi et al. Intrusion detection taxonomy and data preprocessing mechanisms
Qiu et al. Mobile semantic-aware trajectory for personalized location privacy preservation
Riboni et al. Differentially-private release of check-in data for venue recommendation
CN109583227A (zh) 一种隐私信息保护方法、装置及系统
Lecuyer et al. Enhancing selectivity in big data
Ma et al. Data level privacy preserving: A stochastic perturbation approach based on differential privacy
Zhang et al. Protecting the Moving User’s Locations by Combining Differential Privacy and k‐Anonymity under Temporal Correlations in Wireless Networks
Li et al. A personalized trajectory privacy protection method
CN109543094B (zh) 一种基于矩阵分解的隐私保护内容推荐方法
CN110929171A (zh) 一种基于场景和社交网络位置的兴趣点推荐方法
Jiang et al. Primask: Cascadable and collusion-resilient data masking for mobile cloud inference
Theodorakopoulos et al. On-the-fly privacy for location histograms
Alotaibi et al. A new location‐based privacy protection algorithm with deep learning
Hidano et al. Exposing private user behaviors of collaborative filtering via model inversion techniques
Wang et al. A geographical and social society attributes based privacy preserving recommendation method for POIs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant