CN117272370B - 下一个兴趣点隐私保护推荐方法、系统、电子设备及介质 - Google Patents

下一个兴趣点隐私保护推荐方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN117272370B
CN117272370B CN202311189893.4A CN202311189893A CN117272370B CN 117272370 B CN117272370 B CN 117272370B CN 202311189893 A CN202311189893 A CN 202311189893A CN 117272370 B CN117272370 B CN 117272370B
Authority
CN
China
Prior art keywords
model
training
track
user
user equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311189893.4A
Other languages
English (en)
Other versions
CN117272370A (zh
Inventor
王伟
吕红梅
祝咏升
郝玉蓉
刘鹏睿
胡福强
陈政
李超
段莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202311189893.4A priority Critical patent/CN117272370B/zh
Publication of CN117272370A publication Critical patent/CN117272370A/zh
Application granted granted Critical
Publication of CN117272370B publication Critical patent/CN117272370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法及系统，其中，方法包括：捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护。

Description

下一个兴趣点隐私保护推荐方法、系统、电子设备及介质
技术领域
本文件涉及计算机技术领域，尤其涉及一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法、系统、电子设备及存储介质。
背景技术
兴趣点(Point of Interest，POI)推荐利用用户在社交平台上产生的签到数据和其他多模态信息为其推荐感兴趣的地点，旨在缓解位置信息过载问题。在实际场景中，签到数据所包含的信息不仅局限于一般的用户与兴趣点交互，还隐含着复杂的时空转移特征，这些特征能够反映用户日常生活中的移动模式和规律。下一个兴趣点推荐的目标在于挖掘用户轨迹序列中时空序列特性，进而根据当前时空信息为用户推荐下一个可能访问的兴趣点。因此，下一个兴趣点推荐不仅关注用户的一般偏好，还着重分析行为轨迹中的规律性变化，以捕捉用户的序列转移模式。
由于轨迹数据具有序列性，故在对签到行为序列进行建模时需要采用适合处理序列特征的方法。基于循环神经网络的模型由于其处理顺序数据的能力较强，已成为该任务的主要解决方案。当前最先进的下一个兴趣点推荐算法需要收集大量的用户行为轨迹数据和上下文信息以训练高质量推荐模型。然而，现有针对该项技术的研究仍然面临着严峻挑战。首先，用于建模的用户签到数据高度稀疏，且用户兴趣偏好呈现出的复杂性和动态性，使得对用户偏好特征的有效建模极为困难；其次，位置数据属于高度敏感信息，而当前仅关注于推荐性能提升的大多数研究往往忽略了用户的隐私保护需求。
现有的隐私保护下一个兴趣的推荐方法是基于联邦学习的隐私保护移动预测框架PMF。该框架遵循标准的联邦设置，采用RNN模型作为移动预测模型，并且采用联邦学习框架进行训练。同时，设计了一种组优化方法保护用户隐私。现有技术中的基本方法是：
第一步：构建移动预测模型。采用LSTM模型进行序列建模，以对下一个兴趣点进行预测。
第二步：隐私保护组优化机制。对模型中的子模块根据隐私泄露风险等级进行分组，并使用不同的数据进行训练。具体地，有隐私泄露风险的模块组使用加噪的数据进行训练，无隐私问题的模块组使用正常数据进行训练。
第三步：全局优化。移动设备在本地训练模型后，上传训练好的局部模型权值，中心化服务器需要对其进行聚合，得到最优的全局模型。
上述方法存在的缺点是：基于LSTM模型的移动预测模型只能对用户的短期行为进行建模，而无法捕捉到复杂的移动规律和长期偏好，使得预测性能低。此外，其采用直接对原始数据加噪的方式进行进一步的隐私保护，加剧了推荐准确率的下降，并且其分组训练的方式仅对嵌入模块进行加噪训练，而默认LSTM模块不会泄露隐私，这是不成立的。
发明内容
本发明的目的在于提供一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法、系统、电子设备及存储介质，旨在解决现有技术中的上述问题。
本发明提供一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法，包括：
捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；
将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护，具体包括：
步骤1，通过推荐服务器初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；
步骤2，在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；
步骤3，通过各个参与用户设备下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪；
步骤4，通过各个参与用户设备将加噪后的模型参数上传至推荐服务器；
步骤5，通过推荐服务器聚合各个客户端上传的模型参数，更新轨迹预测模型；
步骤6，重复所述步骤1-5，直到轨迹预测模型收敛或达到训练次数。
本发明提供一种基于用户轨迹序列的下一个兴趣点隐私保护推荐系统，包括：
建立模块，用于捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；
优化模块，用于将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护，所述优化模块具体包括：
推荐服务器，用于初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；
用户设备，用于下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪，将加噪后的模型参数上传至推荐服务器；
所述推荐服务器进一步用于：聚合各个客户端上传的模型参数，更新轨迹预测模型，直到轨迹预测模型收敛或达到训练次数。
本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的步骤。
采用本发明实施例，基于用户轨迹序列的下一个兴趣点隐私保护推荐方法，充分利用轨迹数据中丰富的上下文信息，在保护用户隐私的前提下兼顾模型的推荐性能，更好地实现了性能与隐私的平衡。既能充分挖掘用户轨迹序列中隐含的复杂关联关系，又能充分保护用户轨迹数据隐私的下一个兴趣点推荐。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的流程图；
图2是本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的整体框架设计的示意图；
图3是本发明实施例的用户轨迹预测模型设计的示意图；
图4是本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐系统的示意图；
图5是本发明实施例的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
方法实施例
根据本发明实施例，提供了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法，在对本发明实施例的技术方案进行详细说明之前，对涉及到的概念进行解释说明。
在本发明实施例中，为了保证下一个兴趣点推荐任务中隐私性和效用性，使用序列模型设计融合长短期偏好的轨迹预测机制，以有效捕捉用户签到行为中复杂的序列转移模式和动态偏好，同时，考虑到轨迹序列数据的敏感性，将上述模型拓展到联邦学习框架下，并采用差分隐私机制对中间模型参数进行加噪保护，以防止恶意服务器的推理攻击，进一步实现隐私保护与模型性能的平衡。
定义1：下一个兴趣点推荐。本发明实施例中，定义下一个兴趣点推荐系统中包含m个基于位置的社交网络平台用户集合U＝{u1,u2,...,um}以及n个兴趣点集合L＝{l1,l2,...,ln}。假设rk＝<ui,lj,tk>是用户的一条签到记录，表示用户ui在时间tk时访问了兴趣点lj，则代表用户ui的历史轨迹序列，则下一个兴趣点推荐的目标是基于轨迹序列/>为用户预测k个最有可能被该用户在下一个时间t访问的兴趣点列表/>
定义2：联邦学习。本发明实施例中，定义联邦学习范式下有m个客户端，分别标号为1,…,m，与m个用户相对应。Θi表示当前训练轮次客户端i对全局模型训练后的本地模型参数。联邦学习过程包括以下几个步骤：(1)全局模型的初始化(2)客户端本地模型的训练(3)中心参数服务器聚合所有客户端的本地模型参数来生成和分发新一轮的全局联邦学习模型。
定义3：差分隐私。差分隐私提供了一种可量化的方式来衡量隐私保护的程度，即通过引入“扰动”来改变个体数据，使得攻击者无法推断出某个个体的隐私信息。给定ε≥0，对于所有相邻数据集及所有事件/>若Pr[M(X)∈Y]≤eε·Pr[M(X′)∈Y]，则称随机算法/>满足ε-差分隐私。
定义4：高斯机制。给定任意查询全局敏感度为GS(q)，那么对于任意的δ∈(0,1)，给定服从高斯分布的随机噪声ω～Gauss(0,σ2)，则随机算法MG＝q(X)+ω满足(ε,δ)-差分隐私，其中/>
在下一个兴趣点推荐场景中，用户行为模式的复杂性和动态性使得从轨迹序列中准确发掘潜在的时空依赖关系和兴趣偏好特征变得极为困难，并且，用户行为轨迹中包含着极为敏感的隐私信息，这导致传统集中式收集数据以构建预测模型的方式面临着用户隐私信息泄露的风险。
针对上述问题，本发明实施例首先基于序列模型设计融合长短期偏好的轨迹预测机制，以有效捕捉用户签到行为中复杂的序列转移模式和动态偏好。然后，将上述模型拓展到联邦学习范式中，实现在轨迹数据不出本地的前提下协同建模，从而避免集中式存储带来的隐私泄露问题。最后，采用差分隐私机制对模型参数进行加噪保护，防止恶意服务器的推理攻击。
图1是本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的流程图，如图1所示，根据本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法具体包括：
步骤S101，捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；其中，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型具体包括：
根据所述序列转移模式和动态偏好，基于GRU模型和注意力模型融合用户长短期偏好特征同时进行建模，得到轨迹预测模型。具体包括：
对于用户轨迹序列Su，按照访问时间顺序将其划分成多条历史轨迹序列Sh＝{S1,S2,…,Sn-1}和当前轨迹序列Sn＝{(u,l1,t1),…,(u,lk,tk)}；将用户轨迹序列中位置和时间信息转换为低维密集的嵌入表示，设置兴趣点l和时间t的嵌入表示分别为和其中d表示为兴趣点嵌入空间的维数，将时间嵌入的维数设置为48，在训练过程中与整个模型一起优化；
使用GRU模型提取当前轨迹序列Sn的序列特征，即将兴趣点嵌入表示el和时间嵌入表示et进行拼接得到时空嵌入表示st＝[el；et]，将其输入到GRU模型中，逐级输出隐藏状态，这些隐藏状态为当前移动状态ht，更新公式1至公式4：
ht＝(1-ft)·ct+ft·ht-1公式4；
其中，st表示时间t时的输入，ht-1表示GRU单元的上一个隐藏状态输出，包含了之前节点的相关信息，ft为控制更新的门控，即更新门；rt为控制重置的门控，即重置门，σ表示激活函数sigmoid；ct表示候选状态；ht是输出结果即当前移动状态，矩阵W表示不同门的参数，向量b是不同部分的偏置向量，是更新门中输入部分的权值参数，/>表示更新门中隐藏状态部分的权值参数，bf表示更新门的偏置向量，/>表示重置门中输入部分的权值参数，/>表示重置门中隐藏状态部分的权值参数，br表示重置门的偏置向量，/>表示候选状态中输入部分的权值参数，/>表示候选状态中隐藏状态部分的权值参数，bc表示候选状态的偏置向量；
采用注意力机制计算当前轨迹与历史轨迹之间的相似性，捕捉用户的长期的多层次周期性特征，即根据公式5-7选择与当前移动状态ht最相关的上下文向量ct来进行兴趣点推荐：
ct＝∑αisi公式5；
αi＝σ(f(ht,si))公式6；
f(ht,si)＝tanh(htWs)公式7；
其中，si是历史轨迹特征，Ws为权重更新矩阵，ht是当前移动状态，f表示评分函数，ct为上下文向量，表示与当前移动状态相关的周期性特征，αi表示当前移动状态与历史轨迹特征的归一化评分概率；
结合当前移动状态及其上下文向量完成预测：通过融合用户长短期偏好特征xk＝[ct；ht]，对当前轨迹的下一个兴趣点做出推荐，即：其中，矩阵W表示不同门的参数，向量b是不同部分的偏置向量。
步骤S102，将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护。具体包括：
步骤1，通过推荐服务器初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；具体包括：
根据联邦推荐机制，通过推荐服务器维护下一个兴趣点推荐任务的轨迹预测模型ΘS，并在训练开始时初始化轨迹预测模型的参数开始联邦训练流程，协调各个用户设备参与轨迹预测模型的训练和优化。
步骤2，在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；具体包括：
在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将当前的模型参数下发到各个参与用户设备，即在第t轮训练时，推荐服务器选择用户设备集合Ut参与模型协同训练，并下发当前的模型参数Θ(t)。
步骤3，通过各个参与用户设备下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪；具体包括：
通过各个参与用户设备维护本地模型Θu，并从推荐服务器获取最新的模型参数对于被选中的用户设备u，在本地使用用户轨迹序列Su＝{S1,S2,...,Sn}对/>进行E轮的本地优化，并在模型更新过程中，使用高斯机制对模型参数进行加噪保护。具体包括：
按照时间窗口对用户轨迹序列进行划分，得到子序列对于其中的第i个子轨迹，将其前k个兴趣点作为输入，预测第k+1个要访问的兴趣点yk+1；
初始化本地训练轮次e＝0，其对应的本地模型为进入本地模型更新过程，通过各个用户设备在本地更新过程中对中间梯度添加高斯噪声，具体地：对于第e轮本地训练：采用子采样的方式随机选择训练样本，即每轮的训练集由整个训练集的一个随机子集构成，所述随机子集由概率为q＝G/n的不放回采样选取，其中G为子集的大小，n表示所选用户的样本总数，得到训练样本子集Ge；在进行梯度计算时，对于客户端每一个样本即历史轨迹特征si，对其梯度进行裁剪，将其限制在固定的范围[-C,C]，以将单个样本对差分隐私保证的影响限定在预定义的截断阈值C内，将裁剪后的梯度更新为：对裁剪后的梯度添加高斯噪声ω～Gauss(0,σ2C2I)，得到满足差分隐私的梯度数据，即有/>使用该梯度数据更新本地模型，即其中，/>表示第e轮梯度更新值，ω表示所添加的高斯噪声，σ表示噪声标准差，I表示单位向量，保证高斯噪声为向量形式，η表示学习率；
通过本地E轮训练，通过各个用户设备完成添加差分隐私的本地训练流程，得到当前本地模型参数
步骤4，通过各个参与用户设备将加噪后的模型参数上传至推荐服务器；具体包括：
通过各个参与用户设备将加噪训练后的模型参数上传到推荐服务器进行模型聚合。
步骤5，通过推荐服务器聚合各个客户端上传的模型参数，更新轨迹预测模型；具体包括：
通过推荐服务器聚合各个用户设备的模型参数，进行轨迹预测模型更新，即其中，Ut表示每轮选择的用户子集，ni表示用户i的本地样本数，n表示所选用户的样本总数，/>表示第t+1轮轨迹预测模型更新。
步骤6，重复上述步骤1-5，直到轨迹预测模型收敛或达到训练次数。
综上所述，本发明实施例提出了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法，能够很好地捕捉用户的序列转移模式和移动规律，同时能够满足用户的隐私保护需求。传统方法需要集中式收集大量的用户轨迹数据及其他信息，加剧了用户隐私泄露的风险，并且现有的隐私保护方法(如加密、匿名性等)存在着效率低，适用性差等问题。本发明实施例所使用的方法是基于序列模型设计融合长短期偏好的轨迹预测机制，并通过将其拓展到联邦学习范式中，实现根源上杜绝用户原始数据转移的可能性。然后采用差分隐私机制对中间参数进行加噪保护，进一步增强推荐方法的隐私保护能力。
以下结合附图，对本发明实施例的技术方案进行详细说明
本发明实施例设计的整体框架如图2所示，具体包括：基于序列模型建立融合长短期偏好的轨迹预测机制；将轨迹预测模型设计为联邦推荐训练形式，通过协调多个用户设备共同优化模型；设计差分隐私机制对客户端中间模型参数进行加噪保护。
具体包括如下处理步骤：
步骤1：融合用户长短期偏好特征，设计全局的轮轨迹预测模型。
步骤2：推荐服务器初始化全局模型即轮轨迹预测模型，并协调各个客户端参与模型训练和优化，开启联邦训练过程。
步骤3：在每轮全局训练过程中，推荐服务器随机选择该轮参与训练的客户端，并将当前全局模型参数即上述模型参数下发到各个参与客户端。
步骤4：各个参与客户端下载全局模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化。在训练过程中，对中间模型参数进行加噪，以实现差分隐私保护。
步骤5：各个参与客户端将加噪后的模型参数上传至推荐服务器。
步骤6：推荐服务器聚合各个客户端上传的模型参数，更新全局模型。
重复上述步骤3-6，直到轮轨迹预测模型收敛或达到训练次数。
对于步骤1：为了有效学习用户移动模式和动态兴趣偏好，设计了融合长短期偏好的轨迹预测机制。如图3所示，该机制基于GRU模型和注意力模型对用户的长短期偏好同时进行建模，以实现充分捕捉用户的行为模式和移动规律。
具体过程如下：对于用户轨迹序列Su，按照访问时间顺序将其划分成多条历史轨迹序列Sh＝{S1,S2,…,Sn-1}和当前轨迹序列Sn＝{(u,l1,t1),…,(u,lk,tk)}；将用户轨迹序列中位置和时间信息转换为低维密集的嵌入表示，设置兴趣点l和时间t的嵌入表示分别为和/>其中d表示为兴趣点嵌入空间的维数，将时间嵌入的维数设置为48，在训练过程中与整个模型一起优化；然后使用GRU模型提取当前轨迹Sn的序列特征，即将兴趣点嵌入表示el和时间嵌入表示et进行拼接得到时空嵌入表示st＝[el；et]，将其输入到GRU模型中，逐级输出隐藏状态，这些隐藏状态被称为当前移动状态ht，更新公式如下：
ht＝(1-ft)·ct+ft·ht-1
其中，st表示时间t时的输入，ht-1表示GRU单元的上一个隐藏状态输出，包含了之前节点的相关信息，ft为控制更新的门控，即更新门；rt为控制重置的门控，即重置门，σ表示激活函数sigmoid；ct表示候选状态；ht是输出结果即当前移动状态，矩阵W表示不同门的参数，向量b是不同部分的偏置向量，是更新门中输入部分的权值参数，/>表示更新门中隐藏状态部分的权值参数，bf表示更新门的偏置向量，/>表示重置门中输入部分的权值参数，/>表示重置门中隐藏状态部分的权值参数，br表示重置门的偏置向量，/>表示候选状态中输入部分的权值参数，/>表示候选状态中隐藏状态部分的权值参数，bc表示候选状态的偏置向量；
同时，采用注意力机制计算当前轨迹与历史轨迹之间的相似性，以捕捉用户的长期的多层次周期性特征。如果一条历史轨迹与当前轨迹的转换模式更相似，那么它将被赋予更大的注意力权重，即选择与当前移动状态ht最相关的上下文向量ct来进行兴趣点推荐，计算公式如下所示。
ct＝∑αisi
αi＝σ(f(ht,si))
f(ht,si)＝tanh(htWs)
其中，si是历史轨迹特征，W为权重参数，ht是查询向量，即当前移动状态，f表示评分函数，ct为上下文输出，表示与当前移动状态相关的周期性特征。
最后，结合当前移动状态及其上下文向量完成预测。通过融合长短期偏好特征xk＝[ct；ht]，对当前轨迹的下一个兴趣点做出推荐。即：
对于步骤2：联邦推荐机制中，推荐服务器维护下一个兴趣点推荐任务的轨迹预测模型ΘS，并在训练开始时初始化上述全局模型参数之后，开始联邦训练流程，协调各个客户端参与模型的训练和优化。
对于步骤3：在每轮全局训练过程中，推荐服务器随机选择该轮参与训练的客户端，并将当前全局模型参数下发到各个参与客户端。即在第t轮训练时，服务器选择客户端集合Ut参与模型协同训练，并下发当前全局模型参数Θ(t)。
对于步骤4：各个参与客户端维护本地模型Θu，并从推荐服务器获取最新模型参数对于被选中的客户端u，其会在本地使用轨迹序列Su＝{S1,S2,...,Sn}对/>进行E轮的本地优化，并在模型更新过程中，使用高斯机制进行加噪保护，以最大限度地减少敏感信息泄露。具体过程如下：
首先，按照时间窗口对轨迹序列进行划分，得到子序列对于其中的第i个子轨迹，将其前k个兴趣点作为输入，预测第k+1个要访问的兴趣点yk+1。
接着，初始化本地训练轮次e＝0，其对应本地模型为进入本地模型更新过程。为了防止不可信服务器对中间模型参数的推理攻击，每个客户端在本地更新过程中对中间梯度添加高斯噪声，以保护客户端的数据隐私。具体地，对于第e轮本地训练：(1)采用子采样的方式随机选择训练样本，即每轮的训练集由整个训练集的一个随机子集构成，该子集由概率为q＝G/n的不放回采样选取，其中G为子集的大小，得到训练样本子集Ge。
(2)在进行梯度计算时，对于客户端每一个样本si，对其梯度进行裁剪，将其限制在固定的范围[-C,C]，以将单个样本对差分隐私保证的影响限定在预定义的截断阈值C内。此时，裁剪后的梯度更新为：
(3)对裁剪后的梯度添加高斯噪声ω～Gauss(0,σ2C2I)，以得到满足差分隐私的梯度数据。即有使用该梯度数据更新本地模型，即/>
最后，通过本地E轮训练，各个客户端完成了添加差分隐私的本地训练流程，得到当前本地模型参数
对于步骤5：各个客户端将加噪训练后的模型参数上传到推荐服务器进行模型聚合。
对于步骤6：推荐服务器聚合各个客户端模型参数，从而进行全局模型更新，即这里由于各个客户端的模型参数均满足客户端更新参数满足(ò,δ)-差分隐私，因此，各个客户端模型更新没有泄露用户信息，从而有效防止了推荐服务器的推理攻击。
重复上述步骤3-6，直到模型收敛。
现有的隐私保护下一个兴趣点推荐方法主要通过用数据泛化、差分隐私和数据加密等方式对用户隐私数据进行保护。这些方法通过对用户原始数据进行处理，隐藏其敏感属性，然后将其上传到服务器进行训练，以确保服务器无法获得敏感信息。这些方法会大大降低推荐效率和准确性。
本发明能够实现的有益效果：
(1)支持长期和短期偏好建模，充分捕捉用户移动规律和转换模式，提升了模型性能
(2)支持用户轨迹数据不出本地的情况下模型协同优化，实现从源头上保证用户数据隐私。
(3)有效实现对联邦推荐机制中隐私推理攻击的防御。
系统实施例
根据本发明的实施例，提供了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐系统，图4是本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐系统的示意图，如图4所示，根据本发明实施例的基于用户轨迹序列的下一个兴趣点隐私保护推荐系统具体包括：
建立模块40，用于捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；具体用于：
根据所述序列转移模式和动态偏好，基于GRU模型和注意力模型融合用户长短期偏好特征同时进行建模，得到轨迹预测模型。具体地，
对于用户轨迹序列Su，按照访问时间顺序将其划分成多条历史轨迹序列Sh＝{S1,S2,…,Sn-1}和当前轨迹序列Sn＝{(u,l1,t1),…,(u,lk,tk)}；将用户轨迹序列中位置和时间信息转换为低维密集的嵌入表示，设置兴趣点l和时间t的嵌入表示分别为和其中d表示为兴趣点嵌入空间的维数，将时间嵌入的维数设置为48，在训练过程中与整个模型一起优化；
使用GRU模型提取当前轨迹序列Sn的序列特征，即将兴趣点嵌入表示el和时间嵌入表示et进行拼接得到时空嵌入表示st＝[el；et]，将其输入到GRU模型中，逐级输出隐藏状态，这些隐藏状态为当前移动状态ht，更新公式1至公式4：
ht＝(1-ft)·ct+ft·ht-1公式4；
其中，st表示时间t时的输入，ht-1表示GRU单元的上一个隐藏状态输出，包含了之前节点的相关信息，ft为控制更新的门控，即更新门；rt为控制重置的门控，即重置门，σ表示激活函数sigmoid；ct表示候选状态；ht是输出结果即当前移动状态，矩阵W表示不同门的参数，向量b是不同部分的偏置向量，是更新门中输入部分的权值参数，/>表示更新门中隐藏状态部分的权值参数，bf表示更新门的偏置向量，/>表示重置门中输入部分的权值参数，/>表示重置门中隐藏状态部分的权值参数，br表示重置门的偏置向量，/>表示候选状态中输入部分的权值参数，/>表示候选状态中隐藏状态部分的权值参数，bc表示候选状态的偏置向量；
采用注意力机制计算当前轨迹与历史轨迹之间的相似性，捕捉用户的长期的多层次周期性特征，即根据公式5-7选择与当前移动状态ht最相关的上下文向量ct来进行兴趣点推荐：
ct＝∑αisi公式5；
αi＝σ(f(ht,si))公式6；
f(ht,si)＝tanh(htWs)公式7；
其中，si是历史轨迹特征，Ws为权重更新矩阵，ht是当前移动状态，f表示评分函数，ct为上下文向量，表示与当前移动状态相关的周期性特征，αi表示当前移动状态与历史轨迹特征的归一化评分概率；
结合当前移动状态及其上下文向量完成预测：通过融合用户长短期偏好特征xk＝[ct；ht]，对当前轨迹的下一个兴趣点做出推荐，即：其中，矩阵W表示不同门的参数，向量b是不同部分的偏置向量。
优化模块42，用于将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护。具体包括：
推荐服务器，用于初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；所述推荐服务器具体用于：
根据联邦推荐机制，通过推荐服务器维护下一个兴趣点推荐任务的轨迹预测模型ΘS，并在训练开始时初始化轨迹预测模型的参数开始联邦训练流程，协调各个用户设备参与轨迹预测模型的训练和优化。
在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将当前的模型参数下发到各个参与用户设备，即在第t轮训练时，推荐服务器选择用户设备集合Ut参与模型协同训练，并下发当前的模型参数Θ(t)。
用户设备，用于下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪，将加噪后的模型参数上传至推荐服务器；所述用户设备具体用于：
通过各个参与用户设备维护本地模型Θu，并从推荐服务器获取最新的模型参数对于被选中的用户设备u，在本地使用用户轨迹序列Su＝{S1,S2,...,Sn}对/>进行E轮的本地优化，并在模型更新过程中，使用高斯机制对模型参数进行加噪保护。具体地，
按照时间窗口对用户轨迹序列进行划分，得到子序列对于其中的第i个子轨迹，将其前k个兴趣点作为输入，预测第k+1个要访问的兴趣点yk+1；
初始化本地训练轮次e＝0，其对应的本地模型为进入本地模型更新过程，通过各个用户设备在本地更新过程中对中间梯度添加高斯噪声，具体地：对于第e轮本地训练：采用子采样的方式随机选择训练样本，即每轮的训练集由整个训练集的一个随机子集构成，所述随机子集由概率为q＝G/n的不放回采样选取，其中G为子集的大小，n表示所选用户的样本总数，得到训练样本子集Ge；在进行梯度计算时，对于客户端每一个样本即历史轨迹特征si，对其梯度进行裁剪，将其限制在固定的范围[-C,C]，以将单个样本对差分隐私保证的影响限定在预定义的截断阈值C内，将裁剪后的梯度更新为：对裁剪后的梯度添加高斯噪声ω～Gauss(0,σ2C2I)，得到满足差分隐私的梯度数据，即有/>使用该梯度数据更新本地模型，即其中，/>表示第e轮梯度更新值，ω表示所添加的高斯噪声，σ表示噪声标准差，I表示单位向量，保证高斯噪声为向量形式，η表示学习率；
通过本地E轮训练，通过各个用户设备完成添加差分隐私的本地训练流程，得到当前本地模型参数
所述用户设备具体用于：
通过各个参与用户设备将加噪训练后的模型参数上传到推荐服务器进行模型聚合。
所述推荐服务器具体用于：
通过推荐服务器聚合各个用户设备的模型参数，从而进行轨迹预测模型更新，即其中，Ut表示每轮选择的用户子集，，ni表示用户i的本地样本数，n表示所选用户的样本总数，/>表示第t+1轮轨迹预测模型更新。
所述推荐服务器进一步用于：聚合各个客户端上传的模型参数，更新轨迹预测模型，直到轨迹预测模型收敛或达到训练次数。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种电子设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如方法实施例中所述的步骤。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如方法实施例中所述的步骤。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法，其特征在于，包括：
捕捉用户签到行为中序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；
将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护，具体包括：
步骤1，通过推荐服务器初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；
步骤2，在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；
步骤3，通过各个参与用户设备下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪；
步骤4，通过各个参与用户设备将加噪后的模型参数上传至推荐服务器；
步骤5，通过推荐服务器聚合各个客户端上传的模型参数，更新轨迹预测模型；
步骤6，重复所述步骤1-5，直到轨迹预测模型收敛或达到训练次数；
其中，所述根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型具体包括：
根据所述序列转移模式和动态偏好，基于GRU模型和注意力模型融合用户长短期偏好特征同时进行建模，得到轨迹预测模型，具体包括：
对于用户轨迹序列，按照访问时间顺序将其划分成多条历史轨迹序列和当前轨迹序列/>，其中，u表示用户设备；将用户轨迹序列中位置和时间信息转换为低维密集的嵌入表示，设置兴趣点/>和时间/>的嵌入表示分别为/>和/>，其中/>表示为兴趣点嵌入空间的维数，将时间嵌入的维数设置为48，在训练过程中与整个模型一起优化；
使用GRU模型提取当前轨迹序列的序列特征，即将兴趣点嵌入表示/>和时间嵌入表示/>进行拼接得到时空嵌入表示/>，将其输入到GRU模型中，逐级输出隐藏状态，这些隐藏状态为当前移动状态/>；
采用注意力机制计算当前轨迹与历史轨迹之间的相似性，捕捉用户的长期的多层次周期性特征，即根据公式5-7选择与当前移动状态最相关的上下文向量/>来进行兴趣点推荐：
公式5；
公式6；
公式7；
其中，是历史轨迹特征，/>为权重更新矩阵，/>是当前移动状态，/>表示评分函数，/>为上下文向量，表示与当前移动状态相关的周期性特征，/>表示当前移动状态与历史轨迹特征的归一化评分概率；
结合当前移动状态及其上下文向量完成预测：通过融合用户长短期偏好特征，对当前轨迹的下一个兴趣点做出推荐，即：/>，其中，矩阵/>表示不同门的参数，向量/>是不同部分的偏置向量。
2.根据权利要求1所述的方法，其特征在于，所述通过推荐服务器初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程具体包括：
根据联邦推荐机制，通过推荐服务器维护下一个兴趣点推荐任务的轨迹预测模型，并在训练开始时初始化轨迹预测模型的参数/>，开始联邦训练流程，协调各个用户设备参与轨迹预测模型的训练和优化。
3.根据权利要求2所述的方法，其特征在于，在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备具体包括：
在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将当前的模型参数下发到各个参与用户设备，即在第t轮训练时，推荐服务器选择用户设备集合参与模型协同训练，并下发当前的模型参数/>。
4.根据权利要求3所述的方法，其特征在于，所述通过各个参与用户设备下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪具体包括：
通过各个参与用户设备维护本地模型，并从推荐服务器获取最新的模型参数/>，对于被选中的用户设备/>，在本地使用用户轨迹序列/>对/>进行/>轮的本地优化，并在模型更新过程中，使用高斯机制对模型参数进行加噪保护。
5.根据权利要求4所述的方法，其特征在于，所述通过各个参与用户设备维护本地模型，并从推荐服务器获取最新的模型参数/>，对于被选中的用户设备/>，在本地使用用户轨迹序列/>对/>进行/>轮的本地优化，并在模型更新过程中，使用高斯机制对模型参数进行加噪保护具体包括：
按照时间窗口对用户轨迹序列进行划分，得到子序列，对于其中的第/>个子轨迹，将其前/>个兴趣点作为输入，预测第/>个要访问的兴趣点/>；
初始化本地训练轮次，其对应的本地模型为/>，进入本地模型更新过程，通过各个用户设备在本地更新过程中对中间梯度添加高斯噪声，具体地：对于第/>轮本地训练：采用子采样的方式随机选择训练样本，即每轮的训练集由整个训练集的一个随机子集构成，所述随机子集由概率为/>的不放回采样选取，其中/>为子集的大小，n表示所选用户的样本总数，得到训练样本子集/>；在进行梯度计算时，对于客户端每一个样本即历史轨迹特征/>，对其梯度进行裁剪，将其限制在固定的范围/>，以将单个样本对差分隐私保证的影响限定在预定义的截断阈值/>内，将裁剪后的梯度更新为：；对裁剪后的梯度添加高斯噪声/>，得到满足差分隐私的梯度数据，即有/>，使用该梯度数据更新本地模型，即/>；其中，/>表示第e轮梯度更新值，/>表示所添加的高斯噪声，/>表示噪声标准差，/>表示单位向量，保证高斯噪声为向量形式，/>表示学习率；
通过本地轮训练，通过各个用户设备完成添加差分隐私的本地训练流程，得到当前本地模型参数/>。
6.根据权利要求5所述的方法，其特征在于，所述通过各个参与用户设备将加噪后的模型参数上传至推荐服务器具体包括：
通过各个参与用户设备将加噪训练后的模型参数上传到推荐服务器进行模型聚合。
7.根据权利要求6所述的方法，其特征在于，所述通过推荐服务器聚合各个客户端上传的模型参数，更新轨迹预测模型具体包括：
通过推荐服务器聚合各个用户设备的模型参数，进行轨迹预测模型更新，即，其中，/>表示每轮选择的用户子集，/>表示用户i的本地样本数，n表示所选用户的样本总数，/>表示第t+1轮轨迹预测模型更新。
8.一种基于用户轨迹序列的下一个兴趣点隐私保护推荐系统，其特征在于，包括：
建立模块，用于捕捉用户签到行为中复杂的序列转移模式和动态偏好，根据所述序列转移模式和动态偏好，基于序列模型建立融合用户长短期偏好特征的轨迹预测模型；
优化模块，用于将所述轨迹预测模型设置为联邦推荐训练形式，在轨迹数据不出当前地区范围的前提下，通过协调多个用户设备共同优化所述轨迹预测模型，并在优化过程中通过差分隐私机制对模型参数进行加噪保护，所述优化模块具体包括：
推荐服务器，用于初始化轨迹预测模型，并协调各个用户设备参与模型训练和优化，开启联邦训练过程；在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将模型参数下发到各个参与用户设备；
用户设备，用于下载模型参数，构建本地模型，并基于本地轨迹序列数据进行更新和优化，在更新和优化过程中，对模型参数进行加噪，将加噪后的模型参数上传至推荐服务器；
所述推荐服务器进一步用于：聚合各个客户端上传的模型参数，更新轨迹预测模型，直到轨迹预测模型收敛或达到训练次数；
所述建立模块具体用于：
根据所述序列转移模式和动态偏好，基于GRU模型和注意力模型融合用户长短期偏好特征同时进行建模，得到轨迹预测模型；
所述建立模块具体用于：
对于用户轨迹序列，按照访问时间顺序将其划分成多条历史轨迹序列和当前轨迹序列/>，其中，u表示用户设备；将用户轨迹序列中位置和时间信息转换为低维密集的嵌入表示，设置兴趣点/>和时间/>的嵌入表示分别为/>和/>，其中/>表示为兴趣点嵌入空间的维数，将时间嵌入的维数设置为48，在训练过程中与整个模型一起优化；
使用GRU模型提取当前轨迹序列的序列特征，即将兴趣点嵌入表示/>和时间嵌入表示/>进行拼接得到时空嵌入表示/>，将其输入到GRU模型中，逐级输出隐藏状态，这些隐藏状态为当前移动状态/>；
采用注意力机制计算当前轨迹与历史轨迹之间的相似性，捕捉用户的长期的多层次周期性特征，即根据公式5-7选择与当前移动状态最相关的上下文向量/>来进行兴趣点推荐：
公式5；
公式6；
公式7；
其中，是历史轨迹特征，/>为权重更新矩阵，/>是当前移动状态，/>表示评分函数，/>为上下文向量，表示与当前移动状态相关的周期性特征，/>表示当前移动状态与历史轨迹特征的归一化评分概率；
结合当前移动状态及其上下文向量完成预测：通过融合用户长短期偏好特征，对当前轨迹的下一个兴趣点做出推荐，即：/>，其中，矩阵/>表示不同门的参数，向量/>是不同部分的偏置向量。
9.根据权利要求8所述的系统，其特征在于，所述推荐服务器具体用于：
根据联邦推荐机制，通过推荐服务器维护下一个兴趣点推荐任务的轨迹预测模型，并在训练开始时初始化轨迹预测模型的参数/>，开始联邦训练流程，协调各个用户设备参与轨迹预测模型的训练和优化。
10.根据权利要求9所述的系统，其特征在于，所述推荐服务器具体用于：
在每轮全局训练过程中，通过推荐服务器随机选择该轮参与训练的用户设备，并将当前的模型参数下发到各个参与用户设备，即在第t轮训练时，推荐服务器选择用户设备集合参与模型协同训练，并下发当前的模型参数/>。
11.根据权利要求10所述的系统，其特征在于，所述用户设备具体用于：
通过各个参与用户设备维护本地模型，并从推荐服务器获取最新的模型参数/>，对于被选中的用户设备/>，在本地使用用户轨迹序列/>对/>进行/>轮的本地优化，并在模型更新过程中，使用高斯机制对模型参数进行加噪保护。
12.根据权利要求11所述的系统，其特征在于，所述用户设备具体用于：
按照时间窗口对用户轨迹序列进行划分，得到子序列，对于其中的第/>个子轨迹，将其前/>个兴趣点作为输入，预测第/>个要访问的兴趣点/>；
初始化本地训练轮次，其对应的本地模型为/>，进入本地模型更新过程，通过各个用户设备在本地更新过程中对中间梯度添加高斯噪声，具体地：对于第/>轮本地训练：采用子采样的方式随机选择训练样本，即每轮的训练集由整个训练集的一个随机子集构成，所述随机子集由概率为/>的不放回采样选取，其中/>为子集的大小，n表示所选用户的样本总数，得到训练样本子集/>；在进行梯度计算时，对于客户端每一个样本即历史轨迹特征/>，对其梯度进行裁剪，将其限制在固定的范围/>，以将单个样本对差分隐私保证的影响限定在预定义的截断阈值/>内，将裁剪后的梯度更新为：；对裁剪后的梯度添加高斯噪声/>，得到满足差分隐私的梯度数据，即有/>，使用该梯度数据更新本地模型，即/>；其中，/>表示第e轮梯度更新值，/>表示所添加的高斯噪声，/>表示噪声标准差，/>表示单位向量，保证高斯噪声为向量形式，/>表示学习率；
通过本地轮训练，通过各个用户设备完成添加差分隐私的本地训练流程，得到当前本地模型参数/>。
13.根据权利要求12所述的系统，其特征在于，所述用户设备具体用于：
通过各个参与用户设备将加噪训练后的模型参数上传到推荐服务器进行模型聚合。
14.根据权利要求13所述的系统，其特征在于，所述推荐服务器具体用于：
通过推荐服务器聚合各个用户设备的模型参数，进行轨迹预测模型更新，即，其中，/>表示每轮选择的用户子集，/>表示用户i的本地样本数，n表示所选用户的样本总数，/>表示第t+1轮轨迹预测模型更新。
15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述的基于用户轨迹序列的下一个兴趣点隐私保护推荐方法的步骤。
CN202311189893.4A 2023-09-14 2023-09-14 下一个兴趣点隐私保护推荐方法、系统、电子设备及介质 Active CN117272370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311189893.4A CN117272370B (zh) 2023-09-14 2023-09-14 下一个兴趣点隐私保护推荐方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311189893.4A CN117272370B (zh) 2023-09-14 2023-09-14 下一个兴趣点隐私保护推荐方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN117272370A CN117272370A (zh) 2023-12-22
CN117272370B true CN117272370B (zh) 2024-03-22

Family

ID=89217063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311189893.4A Active CN117272370B (zh) 2023-09-14 2023-09-14 下一个兴趣点隐私保护推荐方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117272370B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555112A (zh) * 2019-08-22 2019-12-10 桂林电子科技大学 一种基于用户正负偏好学习的兴趣点推荐方法
CN114595831A (zh) * 2022-03-01 2022-06-07 北京交通大学 融合自适应权重分配和个性化差分隐私的联邦学习方法
CN114896481A (zh) * 2022-05-05 2022-08-12 重庆理工大学 基于改进lstm和位置跳跃的兴趣点推荐方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083705B (zh) * 2019-05-06 2021-11-02 电子科技大学 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
US20220374681A1 (en) * 2022-07-08 2022-11-24 Zhihan Lv Method for predicting wave energy based on improved GRU

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555112A (zh) * 2019-08-22 2019-12-10 桂林电子科技大学 一种基于用户正负偏好学习的兴趣点推荐方法
CN114595831A (zh) * 2022-03-01 2022-06-07 北京交通大学 融合自适应权重分配和个性化差分隐私的联邦学习方法
CN114896481A (zh) * 2022-05-05 2022-08-12 重庆理工大学 基于改进lstm和位置跳跃的兴趣点推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合时空感知GRU 和注意力的下一个地点推荐;李全 等;计算机应用;20200310;第677-682页 *

Also Published As

Publication number Publication date
CN117272370A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
Lv et al. Deep-learning-enabled security issues in the internet of things
Tang et al. # exploration: A study of count-based exploration for deep reinforcement learning
Feng et al. PMF: A privacy-preserving human mobility prediction framework via federated learning
Dong et al. Federated class-incremental learning
Chen et al. Fedgraph: Federated graph learning with intelligent sampling
US10922609B2 (en) Semi-supervised learning via deep label propagation
Agrawal et al. NovelADS: A novel anomaly detection system for intra-vehicular networks
US11715044B2 (en) Methods and systems for horizontal federated learning using non-IID data
Wang et al. MIASec: Enabling data indistinguishability against membership inference attacks in MLaaS
Yin et al. GANs based density distribution privacy-preservation on mobility data
CN110322003B (zh) 一种用于文档分类的基于梯度的通过添加虚假节点的图对抗样本生成方法
CN113962358B (zh) 一种基于时序超图注意力神经网络的信息扩散预测方法
Lu CNN Convolutional layer optimisation based on quantum evolutionary algorithm
CN111241419A (zh) 一种基于用户关系嵌入模型的下一个兴趣点推荐方法
Wang et al. Privacy-protected statistics publication over social media user trajectory streams
CN113297175A (zh) 数据处理方法、装置、系统和可读存储介质
CN111814066B (zh) 基于启发式算法的动态社交用户对齐方法及系统
Zhou et al. Toward robust hierarchical federated learning in internet of vehicles
CN110222273B (zh) 基于地理社区的社交网络中的商业点推广方法和系统
US20220207861A1 (en) Methods, devices, and computer readable storage media for image processing
KR20190030434A (ko) 상표 유사판단 결과에 기초하여 학습된 딥러닝 엔진을 이용한 상표 유사판단 방법, 장치 및 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 소프트웨어
Al-Maslamani et al. Toward secure federated learning for iot using drl-enabled reputation mechanism
Xu et al. A blockchain-based federated learning scheme for data sharing in industrial internet of things
Velayudhan et al. An optimisation driven deep residual network for Sybil attack detection with reputation and trust-based misbehaviour detection in VANET
Zhou et al. Research on hybrid intrusion detection based on improved Harris Hawk optimization algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant