CN111259233B - 一种提高协同过滤模型稳定性的方法 - Google Patents

一种提高协同过滤模型稳定性的方法 Download PDF

Info

Publication number
CN111259233B
CN111259233B CN202010008222.3A CN202010008222A CN111259233B CN 111259233 B CN111259233 B CN 111259233B CN 202010008222 A CN202010008222 A CN 202010008222A CN 111259233 B CN111259233 B CN 111259233B
Authority
CN
China
Prior art keywords
model
dcfa
adcfa
robustness
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010008222.3A
Other languages
English (en)
Other versions
CN111259233A (zh
Inventor
吴哲夫
李泽农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010008222.3A priority Critical patent/CN111259233B/zh
Publication of CN111259233A publication Critical patent/CN111259233A/zh
Application granted granted Critical
Publication of CN111259233B publication Critical patent/CN111259233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种提高协同过滤模型稳定性的方法，由于产品的视觉外观对消费者的抉择有着越来越重要的影响，产品视觉特征在推荐中越来越受到关注。利用新的网络结构BDN(Brain‑inspired Deep Network)提取的美学特征相较于从传统卷积神经网络提取用来表示图像的CNN特征，对于推荐系统能起到更好的推荐效果。但并未有学者研究过美学特征对于推荐算法鲁棒性的影响，因此本发明中我们主要就随时间变化的美学因子是否会影响模型的鲁棒性展开。我们通过对模型动态美学因子嵌入式矩阵加对抗性扰动发现其会使模型鲁棒性下降，在此前提下，采用对模型进行对抗性训练的方式进行改善，增强了原有模型的鲁棒性和泛化能力。

Description

一种提高协同过滤模型稳定性的方法
技术领域
本发明涉及提高推荐系统稳定性领域，采用目前比较成熟的平台Tensorflow提高模型的鲁棒性，具体涉及一种提高协同过滤模型稳定性的方法。
背景技术
现有的推荐技术方面的研究，有的根据应用场景考虑不同的影响因素构建新的算法，有的则是利用新的融合方式来优化算法，早期的融合技术是通过将多特征空间映射到一个统一空间实现，后期则是使用不同特征的结果列表，并利用候选结果进行融合实现，都是以不同的形式将特征有效整合来提升算法性能。还有的是通过提出新型的特征提取技术优化所得特征质量，间接地优化算法。
但基本上目前所有的研究都是集中在如何提高推荐的准确率，而对于推荐算法的鲁棒性问题的研究屈指可数。提高模型鲁棒性以抵挡来自外界的破坏就显得十分重要。于是我们需要一种有效的方法来对推荐系统的鲁棒性进行提高。
发明内容
为了提高推荐系统的鲁棒性，本发明提出了一种提高协同过滤模型稳定性的方法，提高了模型的鲁棒性，能抵抗来自外界的恶意攻击。
为实现上述的目标，本发明采用的技术方案为：
一种提高协同过滤模型稳定性的方法，包括以下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
所述DCFA的预测模型为：
Figure GDA0003645790340000011
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动，过程如下：
Figure GDA0003645790340000012
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
Figure GDA0003645790340000013
其中，
Figure GDA0003645790340000014
和
Figure GDA0003645790340000015
如下表示：
Figure GDA0003645790340000021
Figure GDA0003645790340000022
Figure GDA0003645790340000023
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
模型ADCFA为：
Figure GDA0003645790340000024
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型的参数Θ。
进一步，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比；
先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它，最后比较两者的泛化性能。
再进一步，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比；
对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
本发明的有益效果是：
1.设计并基于Tensorflow框架使用Python语言实现含时间因子、CNN特征和美学特征的ADCFA模型算法；
2.基于真实数据集—Amazon数据集使用对抗性学习方法对算法模型进行训练以改善算法鲁棒性；
3.对训练结果进行数据处理，并根据所得结果对算法泛化能力和鲁棒性进行分析与讨论。
附图说明
图1是我们预测模型(ADCFA)的原理图；
图2是DCFA和ADCFA泛化性能比较图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1和图2，一种提高协同过滤模型稳定性的方法，包括以下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
DCFA的预测模型为：
Figure GDA0003645790340000031
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动，过程如下：
Figure GDA0003645790340000032
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
Figure GDA0003645790340000033
其中，
Figure GDA0003645790340000034
和
Figure GDA0003645790340000035
如下表示：
Figure GDA0003645790340000036
Figure GDA0003645790340000037
Figure GDA0003645790340000038
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
模型ADCFA为：
Figure GDA0003645790340000039
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型的参数Θ。
进一步，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比；
先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它，最后比较两者的泛化性能。
再进一步，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比；
对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种提高协同过滤模型稳定性的方法，其特征在于，该方法包括如下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动；
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型参数Θ；
所述步骤1中，DCFA的预测模型为：
Figure FDA0003645790330000011
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
所述步骤2中，构建对抗性扰动Δadv，所述过程如下：
Figure FDA0003645790330000012
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
Figure FDA0003645790330000013
其中，
Figure FDA0003645790330000014
和
Figure FDA0003645790330000015
如下表示：
Figure FDA0003645790330000016
Figure FDA0003645790330000017
Figure FDA0003645790330000018
所述步骤3中，ADCFA为：
Figure FDA0003645790330000019
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比。
4.根据权利要求1～3之一所述的方法，其特征在于，所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
5.根据权利要求2所述的方法，其特征在于，所述步骤7中，进行泛化性能对比的过程如下：先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它。
6.根据权利要求3所述的方法，其特征在于，所述步骤8中，进行鲁棒性能对比的过程如下：对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
CN202010008222.3A 2020-01-06 2020-01-06 一种提高协同过滤模型稳定性的方法 Active CN111259233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008222.3A CN111259233B (zh) 2020-01-06 2020-01-06 一种提高协同过滤模型稳定性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008222.3A CN111259233B (zh) 2020-01-06 2020-01-06 一种提高协同过滤模型稳定性的方法

Publications (2)

Publication Number Publication Date
CN111259233A CN111259233A (zh) 2020-06-09
CN111259233B true CN111259233B (zh) 2022-07-26

Family

ID=70948569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008222.3A Active CN111259233B (zh) 2020-01-06 2020-01-06 一种提高协同过滤模型稳定性的方法

Country Status (1)

Country Link
CN (1) CN111259233B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667885B (zh) * 2020-12-04 2022-08-16 四川长虹电器股份有限公司 一种耦合社会信任信息的矩阵分解协同过滤方法和系统
CN113486257B (zh) * 2021-07-01 2023-07-11 湖北工业大学 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法
CN113726887B (zh) * 2021-08-30 2024-03-15 广州虎牙科技有限公司 一种用户行为评估方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909607A (zh) * 2017-01-06 2017-06-30 南京邮电大学 一种基于随机扰动技术的协同过滤群组推荐方法
CN108897790A (zh) * 2018-06-11 2018-11-27 南京邮电大学 鲁棒协同过滤推荐算法
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN110162709A (zh) * 2019-05-24 2019-08-23 中森云链(成都)科技有限责任公司 一种结合对偶对抗生成网络的鲁棒的个性化排名方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8880439B2 (en) * 2012-02-27 2014-11-04 Xerox Corporation Robust Bayesian matrix factorization and recommender systems using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909607A (zh) * 2017-01-06 2017-06-30 南京邮电大学 一种基于随机扰动技术的协同过滤群组推荐方法
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN108897790A (zh) * 2018-06-11 2018-11-27 南京邮电大学 鲁棒协同过滤推荐算法
CN110162709A (zh) * 2019-05-24 2019-08-23 中森云链(成都)科技有限责任公司 一种结合对偶对抗生成网络的鲁棒的个性化排名方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Adversarial Collaborative Neural Network for Robust Recommendation";Feng Yuan等;《Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval》;20190718;全文 *

Also Published As

Publication number Publication date
CN111259233A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111259233B (zh) 一种提高协同过滤模型稳定性的方法
CN106649657B (zh) 面向社交网络基于张量分解的上下文感知推荐系统及方法
CN112257066B (zh) 面向带权异质图的恶意行为识别方法、系统和存储介质
CN112950324B (zh) 一种知识图谱辅助的成对排序个性化电商推荐方法及系统
CN115062237A (zh) 基于图神经网络和知识图谱结合的文化资源推荐方法
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
Wang et al. A collaborative filtering recommendation algorithm based on biclustering
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
CN113888538B (zh) 一种基于内存分块模型的工业异常检测方法
CN114564594A (zh) 一种基于双塔模型的知识图谱用户偏好实体召回方法
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN111897999B (zh) 一种用于视频推荐且基于lda的深度学习模型构建方法
CN118038032A (zh) 基于超点嵌入和聚类的点云语义分割模型及其训练方法
CN113158901A (zh) 一种域自适应行人重识别方法
CN116756391A (zh) 一种基于图数据增强的不平衡图节点神经网络分类方法
CN116204628A (zh) 一种知识图谱增强的物流知识神经协同过滤推荐方法
CN112749345B (zh) 一种基于神经网络的k近邻矩阵分解推荐方法
CN112699271B (zh) 一种提升用户视频网站留存时间的推荐方法
CN114299330A (zh) 一种地震相分类方法
CN114707078B (zh) 领域自适应的无重叠实体的跨领域数据协同物品推荐算法
Liu et al. Collaborative social deep learning for celebrity recommendation
CN114495208A (zh) 一种基于限制损失和深度回归森林的年龄估计方法
CN114610968B (zh) 基于改进的图卷积网络的博客用户划分方法
Wang Research on incomplete data mining and filling algorithm during depth learning process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant