CN111259233B - 一种提高协同过滤模型稳定性的方法 - Google Patents
一种提高协同过滤模型稳定性的方法 Download PDFInfo
- Publication number
- CN111259233B CN111259233B CN202010008222.3A CN202010008222A CN111259233B CN 111259233 B CN111259233 B CN 111259233B CN 202010008222 A CN202010008222 A CN 202010008222A CN 111259233 B CN111259233 B CN 111259233B
- Authority
- CN
- China
- Prior art keywords
- model
- adcfa
- dcfa
- robustness
- perturbation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001914 filtration Methods 0.000 title claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- FAKJFAMIABOKBW-UHFFFAOYSA-N 1-(2,4-dichloro-5-fluorophenyl)ethanone Chemical compound CC(=O)C1=CC(F)=C(Cl)C=C1Cl FAKJFAMIABOKBW-UHFFFAOYSA-N 0.000 claims description 25
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract 2
- 230000000007 visual effect Effects 0.000 abstract 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种提高协同过滤模型稳定性的方法，由于产品的视觉外观对消费者的抉择有着越来越重要的影响，产品视觉特征在推荐中越来越受到关注。利用新的网络结构BDN(Brain‑inspired Deep Network)提取的美学特征相较于从传统卷积神经网络提取用来表示图像的CNN特征，对于推荐系统能起到更好的推荐效果。但并未有学者研究过美学特征对于推荐算法鲁棒性的影响，因此本发明中我们主要就随时间变化的美学因子是否会影响模型的鲁棒性展开。我们通过对模型动态美学因子嵌入式矩阵加对抗性扰动发现其会使模型鲁棒性下降，在此前提下，采用对模型进行对抗性训练的方式进行改善，增强了原有模型的鲁棒性和泛化能力。
Description
技术领域
本发明涉及提高推荐系统稳定性领域，采用目前比较成熟的平台Tensorflow提高模型的鲁棒性，具体涉及一种提高协同过滤模型稳定性的方法。
背景技术
现有的推荐技术方面的研究，有的根据应用场景考虑不同的影响因素构建新的算法，有的则是利用新的融合方式来优化算法，早期的融合技术是通过将多特征空间映射到一个统一空间实现，后期则是使用不同特征的结果列表，并利用候选结果进行融合实现，都是以不同的形式将特征有效整合来提升算法性能。还有的是通过提出新型的特征提取技术优化所得特征质量，间接地优化算法。
但基本上目前所有的研究都是集中在如何提高推荐的准确率，而对于推荐算法的鲁棒性问题的研究屈指可数。提高模型鲁棒性以抵挡来自外界的破坏就显得十分重要。于是我们需要一种有效的方法来对推荐系统的鲁棒性进行提高。
发明内容
为了提高推荐系统的鲁棒性，本发明提出了一种提高协同过滤模型稳定性的方法，提高了模型的鲁棒性，能抵抗来自外界的恶意攻击。
为实现上述的目标，本发明采用的技术方案为：
一种提高协同过滤模型稳定性的方法，包括以下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
所述DCFA的预测模型为：
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动，过程如下：
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
其中，
和
如下表示：
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
模型ADCFA为：
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型的参数Θ。
进一步，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比；
先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它，最后比较两者的泛化性能。
再进一步，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比；
对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
本发明的有益效果是：
1.设计并基于Tensorflow框架使用Python语言实现含时间因子、CNN特征和美学特征的ADCFA模型算法；
2.基于真实数据集—Amazon数据集使用对抗性学习方法对算法模型进行训练以改善算法鲁棒性；
3.对训练结果进行数据处理，并根据所得结果对算法泛化能力和鲁棒性进行分析与讨论。
附图说明
图1是我们预测模型(ADCFA)的原理图；
图2是DCFA和ADCFA泛化性能比较图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1和图2，一种提高协同过滤模型稳定性的方法，包括以下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
DCFA的预测模型为：
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动，过程如下：
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
其中，
和
如下表示：
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
模型ADCFA为：
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型的参数Θ。
进一步，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比；
先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它，最后比较两者的泛化性能。
再进一步，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比；
对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种提高协同过滤模型稳定性的方法，其特征在于，该方法包括如下步骤：
步骤1：训练动态美学协同过滤推荐系统模型DCFA得到收敛参数；
步骤2：构建对抗性扰动Δadv，即得到使BPR优化方法损失最大的扰动；
步骤3：在DCFA模型上添加步骤2得到的对抗性扰动得到模型ADCFA；
步骤4：将步骤1得到的收敛参数作为模型ADCFA的初始值；
步骤5：使用随机梯度下降方法SGD优化模型ADCFA；
步骤6：通过步骤5的方法更新得到模型参数Θ；
所述步骤1中，DCFA的预测模型为：
其中U、V、T分别是用户、产品以及时间的嵌入矩阵，M是用户偏好矩阵，W是产品潜在特征矩阵，N是在时间r时的偏好矩阵，F是特征矩阵，u、i、r分别表示用户、物品、时间；
所述步骤2中，构建对抗性扰动Δadv，所述过程如下：
其中∈≥0是控制扰动幅度的超参数，||·||是L2范数，对应的目标函数如下：
其中，
和
如下表示：
所述步骤3中，ADCFA为：
其中，Δi表示加入到特征嵌入矩阵的对抗性扰动。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
步骤7：将原先的模型DCFA和模型ADCFA进行泛化性能的对比。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：
步骤8：将原先的模型DCFA和模型ADCFA进行鲁棒性能的对比。
4.根据权利要求1～3之一所述的方法，其特征在于，所述步骤5中，SGD所需要输入的数据包括训练集，迭代次数以及正则化系数和两个超参数，输出为收敛的模型参数。
5.根据权利要求2所述的方法，其特征在于，所述步骤7中，进行泛化性能对比的过程如下：先对DCFA模型进行1000次迭代训练使其达到收敛状态，再用该训练所得到的参数初始化ADCFA模型，为了实现对比，我们用一样的参数初始化一个新的DCFA模型并继续训练它。
6.根据权利要求3所述的方法，其特征在于，所述步骤8中，进行鲁棒性能对比的过程如下：对DCFA模型和ADCFA模型加入相同大小的扰动，并记录它们的性能变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008222.3A CN111259233B (zh) | 2020-01-06 | 2020-01-06 | 一种提高协同过滤模型稳定性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008222.3A CN111259233B (zh) | 2020-01-06 | 2020-01-06 | 一种提高协同过滤模型稳定性的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259233A CN111259233A (zh) | 2020-06-09 |
| CN111259233B true CN111259233B (zh) | 2022-07-26 |
Family
ID=70948569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010008222.3A Active CN111259233B (zh) | 2020-01-06 | 2020-01-06 | 一种提高协同过滤模型稳定性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259233B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667885B (zh) * | 2020-12-04 | 2022-08-16 | 四川长虹电器股份有限公司 | 一种耦合社会信任信息的矩阵分解协同过滤方法和系统 |
| CN113486257B (zh) * | 2021-07-01 | 2023-07-11 | 湖北工业大学 | 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 |
| CN113726887B (zh) * | 2021-08-30 | 2024-03-15 | 广州虎牙科技有限公司 | 一种用户行为评估方法、装置、电子设备及计算机可读存储介质 |
| CN114065025A (zh) * | 2021-11-05 | 2022-02-18 | 浙江工业大学 | 一种基于审美特征和对抗性学习的协同过滤推荐方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909607A (zh) * | 2017-01-06 | 2017-06-30 | 南京邮电大学 | 一种基于随机扰动技术的协同过滤群组推荐方法 |
| CN108897790A (zh) * | 2018-06-11 | 2018-11-27 | 南京邮电大学 | 鲁棒协同过滤推荐算法 |
| CA3033014A1 (en) * | 2018-02-07 | 2019-08-07 | Royal Bank Of Canada | Robust pruned neural networks via adversarial training |
| CN110162709A (zh) * | 2019-05-24 | 2019-08-23 | 中森云链(成都)科技有限责任公司 | 一种结合对偶对抗生成网络的鲁棒的个性化排名方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8880439B2 (en) * | 2012-02-27 | 2014-11-04 | Xerox Corporation | Robust Bayesian matrix factorization and recommender systems using same |
-
2020
- 2020-01-06 CN CN202010008222.3A patent/CN111259233B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909607A (zh) * | 2017-01-06 | 2017-06-30 | 南京邮电大学 | 一种基于随机扰动技术的协同过滤群组推荐方法 |
| CA3033014A1 (en) * | 2018-02-07 | 2019-08-07 | Royal Bank Of Canada | Robust pruned neural networks via adversarial training |
| CN108897790A (zh) * | 2018-06-11 | 2018-11-27 | 南京邮电大学 | 鲁棒协同过滤推荐算法 |
| CN110162709A (zh) * | 2019-05-24 | 2019-08-23 | 中森云链(成都)科技有限责任公司 | 一种结合对偶对抗生成网络的鲁棒的个性化排名方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Adversarial Collaborative Neural Network for Robust Recommendation";Feng Yuan等;《Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval》;20190718;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259233A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259233B (zh) | 一种提高协同过滤模型稳定性的方法 | |
| WO2017197626A1 (zh) | 改进人工蜂群优化的极限学习机方法 | |
| Yang et al. | Bidirectional extreme learning machine for regression problem and its learning effectiveness | |
| CN110598598A (zh) | 基于有限样本集的双流卷积神经网络人体行为识别方法 | |
| CN107330355B (zh) | 一种基于正样本平衡约束的深度行人再标识方法 | |
| CN110443372B (zh) | 一种基于熵最小化的迁移学习方法及系统 | |
| CN115062237A (zh) | 基于图神经网络和知识图谱结合的文化资源推荐方法 | |
| CN106022465A (zh) | 改进人工蜂群优化的极限学习机方法 | |
| WO2020233245A1 (zh) | 一种基于回归树上下文特征自动编码的偏置张量分解方法 | |
| CN108694232B (zh) | 一种基于信任关系特征学习的社会化推荐方法 | |
| CN111428004A (zh) | 一种融合辅助信息与层级自注意力循环神经网络方面的情感分析方法 | |
| CN117408845A (zh) | 一种基于知识图谱的人群定位方法 | |
| CN115687772A (zh) | 一种基于顺序依赖增强自注意力网络的序列推荐方法 | |
| CN113377990B (zh) | 基于元自步学习的视频/图片-文本跨模态匹配训练方法 | |
| CN115525819A (zh) | 一种面向信息茧房的跨领域推荐方法 | |
| CN116664253A (zh) | 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 | |
| CN115797642B (zh) | 基于一致性正则化与半监督领域自适应图像语义分割算法 | |
| Zhang et al. | The Role of Knowledge Creation‐Oriented Convolutional Neural Network in Learning Interaction | |
| CN116151366A (zh) | 一种基于在线蒸馏的噪声标签鲁棒性学习方法 | |
| Bi et al. | Improvement and application of generative adversarial networks algorithm based on transfer learning | |
| CN117132341A (zh) | 一种基于递归神经网络的行为序列推荐方法 | |
| Dai et al. | Wasserstein adversarial learning based temporal knowledge graph embedding | |
| Du et al. | Cell recognition using BP neural network edge computing | |
| Li et al. | Big data based transfer learning for sentiment classification with multiple source domains | |
| CN114707078B (zh) | 领域自适应的无重叠实体的跨领域数据协同物品推荐算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |