CN111241417A - 一种增强协同推荐系统鲁棒性的方法 - Google Patents

一种增强协同推荐系统鲁棒性的方法 Download PDF

Info

Publication number
CN111241417A
CN111241417A CN202010008223.8A CN202010008223A CN111241417A CN 111241417 A CN111241417 A CN 111241417A CN 202010008223 A CN202010008223 A CN 202010008223A CN 111241417 A CN111241417 A CN 111241417A
Authority
CN
China
Prior art keywords
user
model
representing
product
bpr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010008223.8A
Other languages
English (en)
Other versions
CN111241417B (zh
Inventor
吴哲夫
詹皖江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010008223.8A priority Critical patent/CN111241417B/zh
Publication of CN111241417A publication Critical patent/CN111241417A/zh
Application granted granted Critical
Publication of CN111241417B publication Critical patent/CN111241417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种增强协同推荐系统鲁棒性的算法，随着用户生成的内容平台的日益普及，大量的用户行为数据不断地以不断增加的规模生成。研究具有流数据输入的推荐系统是很重要的。一方面，必须克服用户生成的内容推荐系统挑战，例如处理大型稀疏数据集。另一方面，存在一些新的挑战，例如需要基于三元动力学对内容进行建模。用户生成内容推荐的最新进展侧重于探索消费者，项目及其生产者之间的三元关系，以提高推荐绩效。然而，迄今为止，还没有努力研究用户生成的内容表示的稳定性及其对推荐性能的影响。本发明中提出了一种名为“消费者和生产者推荐的对抗性训练”的新颖解决方案，这是一种用对抗性训练使模型更健壮，更通用的推荐系统。

Description

一种增强协同推荐系统鲁棒性的方法
技术领域
本发明提出了一种新的消费者-生产者推荐对抗训练解决方案，它是一种更健壮、更广义的用户生成内容推荐系统模型。目标是攻击和防御目标输入参数，提高鲁棒性和推荐系统性能，具体涉及一种增强协同推荐系统鲁棒性的方法。
背景技术
随着用户生成内容平台的日益普及，大量的用户行为数据正以越来越大的规模不断生成。研究具有流数据输入的推荐系统具有重要的意义。一方面，必须克服用户生成内容推荐系统的挑战，比如处理大型、稀疏的数据集。另一方面，也出现了一些新的挑战，比如需要根据内容的三元动态对内容进行建模，比如对独立于所创建的项目的特定生产者的偏好。最近关于用户生成内容推荐的研究主要集中在探索消费者、项目及其生产者之间的三元关系，以提高推荐性能。然而，到目前为止，还没有研究用户生成内容表示的健壮性及其对推荐性能的影响。本发明提出了一种增强协同推荐系统鲁棒性的算法。
发明内容
为了克服对推荐系统中用户生成内容表示的健壮性及其对推荐性能的影响研究的缺乏，本发明提出了一种增强协同推荐系统鲁棒性的方法，将模型训练得不那么容易受到对抗性干扰，可以提高模型的鲁棒性和泛化能力。
本发明采用的技术方案为：
一种增强协同推荐系统鲁棒性的方法，包括以下步骤：
步骤1：获得用户生成内容平台中用户和产品之间的交互数据；
步骤2：用矩阵分解法获得消费者、生产者和产品的潜在向量表示；
用两个投影矩阵将一个用户的核心嵌入到她的两个角色嵌入中，两个角色为生产者和消费者的角色，其公式如下：
Figure BDA0002356077810000011
其中
Figure BDA0002356077810000012
表示消费者的潜在向量表示，
Figure BDA0002356077810000013
表示生产者的潜在向量表示，γu表示用户的核心嵌入，Wc、Wp表示两个投影矩阵；
步骤3：用偏置矩阵因子法构建消费者、生产者及产品的三元交互模型；
通过用户对产品的偏好和对产品生产者的欣赏程度的总和来模拟用户的消费行为，其公式如下：
Figure BDA0002356077810000014
其中xui表示用户给产品的预测得分，α表示全局偏置项，βu和βi分别表示用户和产品的偏置项，γi表示产品的潜在向量表示；
步骤4：在提出的偏好预测模型上，采用贝叶斯个性化排序BPR框架学习所有参数；
BPR是基于矩阵分解的一种排序算法，BPR定义了偏好评分之间的差异，其公式如下：
xuij＝xui-xuj
其中xuij表示偏好评分之间的差异，xui表示用户u对感兴趣产品i的评分，xuj表示用户u对不感兴趣产品j的评分；
步骤5：通过最大化后验来优化排名，用随机梯度下降SGD训练模型直到收敛，初始化收敛参数；
损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估，其公式如下：
Figure BDA0002356077810000021
其中LBPR表示使用BPR优化的损失函数，σ(·)表示Sigmoid激活函数，β表示正则化超参数，
Figure BDA0002356077810000022
表示模型所有参数；
步骤6：对输入参数施加加性扰动，所述输入参数包括消费者、生产者和产品；
对抗性训练可以提高推荐模型的有效性，以改善UGC的推荐模式，通过这种方法，将模型训练得到不那么容易受到对抗性干扰，可以提高模型的鲁棒性(预测用户生成的偏好)，其公式如下：
Figure BDA0002356077810000023
其中Δu表示对用户的对抗性扰动，Δi表示对产品的对抗性扰动；
步骤7：在施加了对抗扰动的模型上，重复步骤4；
步骤8：采用施加了对抗扰动的最小化损失函数，在初始化收敛参数基础上，用随机梯度下降SGD训练模型直到收敛；
为了获得对对抗扰动不太敏感的模型，除了最小化原始BPR损失之外，还应最小化对手的目标函数，其公式如下：
Figure BDA0002356077810000024
其中θ*表示对抗模型的优化函数，LBPR′表示施加了扰动的优化函数，
Figure BDA0002356077810000025
表示最小化原始BPR优化函数，γ表示控制对模型优化影响的超参数，β表示正则化超参数。
本发明的有益效果是：
1.这是第一项强调最先进的用户生成内容推荐系统漏洞问题的工作；
2.通过使用对抗性学习的最新发展，一种新方法被用于训练更健壮和有效的推荐者模型。
3.对代表性推荐任务进行了大量实验，以验证我们的方法。
附图说明
图1是协同推荐中消费者和生产者稳定性的方法框图；
图2是矩阵分解算法图；
图3是对抗学习算法图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1～图3，一种增强协同推荐系统鲁棒性的方法，包括以下步骤：
步骤1：获得用户生成内容平台中用户和产品之间的交互数据；
步骤2：用矩阵分解法获得消费者、生产者和产品的潜在向量表示；
用两个投影矩阵将一个用户的核心嵌入到她的两个角色嵌入中，两个角色为生产者和消费者的角色，其公式如下：
Figure BDA0002356077810000031
其中
Figure BDA0002356077810000032
表示消费者的潜在向量表示，
Figure BDA0002356077810000033
表示生产者的潜在向量表示，γu表示用户的核心嵌入，Wc、Wp表示两个投影矩阵；
步骤3：用偏置矩阵因子法构建消费者、生产者及产品的三元交互模型；
通过用户对产品的偏好和对产品生产者的欣赏程度的总和来模拟用户的消费行为，其公式如下：
Figure BDA0002356077810000034
其中xui表示用户给产品的预测得分，α表示全局偏置项，βu和βi分别表示用户和产品的偏置项，γi表示产品的潜在向量表示；
步骤4：在提出的偏好预测模型上，采用贝叶斯个性化排序BPR框架学习所有参数；
BPR是基于矩阵分解的一种排序算法，BPR定义了偏好评分之间的差异，其公式如下：
xuij＝xui-xuj
其中xuij表示偏好评分之间的差异，xui表示用户u对感兴趣产品i的评分，xuj表示用户u对不感兴趣产品j的评分；
步骤5：通过最大化后验来优化排名，用随机梯度下降SGD训练模型直到收敛，初始化收敛参数；
损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估，其公式如下：
Figure BDA0002356077810000035
其中LBPR表示使用BPR优化的损失函数，σ(·)表示Sigmoid激活函数，β表示正则化超参数，
Figure BDA0002356077810000036
表示模型所有参数；
步骤6：对输入参数施加加性扰动，所述输入参数包括消费者、生产者和产品；
对抗性训练可以提高推荐模型的有效性，以改善UGC的推荐模式，通过这种方法，将模型训练得到不那么容易受到对抗性干扰，可以提高模型的鲁棒性(预测用户生成的偏好)，其公式如下：
Figure BDA0002356077810000041
其中Δu表示对用户的对抗性扰动，Δi表示对产品的对抗性扰动。
步骤7：在施加了对抗扰动的模型上，重复步骤4；
步骤8：采用施加了对抗扰动的最小化损失函数，在初始化收敛参数基础上，用随机梯度下降SGD训练模型直到收敛；
为了获得对对抗扰动不太敏感的模型，除了最小化原始BPR损失之外，还应最小化对手的目标函数，其公式如下：
Figure BDA0002356077810000042
其中θ*表示对抗模型的优化函数，LBPR′表示施加了扰动的优化函数，
Figure BDA0002356077810000043
表示最小化原始BPR优化函数，λ表示控制对模型优化影响的超参数，β表示正则化超参数。
消费者和生产者协同推荐是一种最先进的用户生成内容推荐方法，容易受到输入参数的对抗性扰动的影响。有目的的输入扰动参数显示了模型性能的优缺点。通过训练和学习具有不同通用SGD的新的对抗性训练推荐模型，本发明获得更好的参数，这使得模型更加稳健和有效。两个用户生成内容平台的广泛结果证明了我们方法的有效性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种增强协同推荐系统鲁棒性的方法，其特征在于，该方法包括如下步骤：
步骤1：获得用户生成内容平台中用户和产品之间的交互数据；
步骤2：用矩阵分解法获得消费者、生产者和产品的潜在向量表示；
步骤3：用偏置矩阵因子法构建消费者、生产者及产品的三元交互模型；
步骤4：在提出的偏好预测模型上，采用贝叶斯个性化排序BPR框架学习所有参数；
步骤5：通过最大化后验来优化排名，用随机梯度下降法SGD训练模型直到收敛，初始化收敛参数；
步骤6：对输入参数施加对抗扰动，所述输入参数为消费者、生产者和产品；
步骤7：在施加了对抗扰动的模型上，重复步骤4；
步骤8：采用施加了对抗扰动的最小化损失函数，在初始化收敛参数基础上，用随机梯度下降法SGD训练模型直到收敛。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中，用户生成内容平台是web应用程序的核心，用户可以在其中生成和消费内容。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤2中，用两个投影矩阵将一个用户的核心嵌入到她的两个角色嵌入中，两个角色为生产者和消费者的角色，其公式如下：
Figure FDA0002356077800000011
其中
Figure FDA0002356077800000012
表示消费者的潜在向量表示，
Figure FDA0002356077800000013
表示生产者的潜在向量表示，γu表示用户的核心嵌入，Wc、Wp表示消费者、生产者的投影矩阵。
4.根据权利要求1或2所述的方法，其特征在于，所述步骤3中，通过偏置矩阵因子法将用户对产品的偏好和对产品生产者的欣赏程度的总和来模拟用户的消费行为，其公式如下：
Figure FDA0002356077800000014
其中xui表示用户给产品的预测得分，α表示全局偏置项，βu和βi分别表示用户和产品的偏置项，γi表示产品的潜在向量表示。
5.根据权利要求1或2所述的方法，其特征在于，所述步骤4中，BPR是基于矩阵分解的一种排序算法，BPR定义了偏好评分之间的差异，其公式如下：
xuij＝xui-xuj
其中xuij表示偏好评分之间的差异，xui表示用户u对感兴趣产品i的评分，xuj表示用户u对不感兴趣产品j的评分。
6.根据权利要求1或2所述的方法，其特征在于，所述步骤5中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型，其公式如下：
Figure FDA0002356077800000015
其中LBPR表示使用BPR优化的损失函数，σ(·)表示Sigmoid激活函数，β表示正则化超参数，
Figure FDA0002356077800000016
表示模型所有参数。
7.根据权利要求1或2所述的方法，其特征在于，所述步骤6中，对抗性训练可以提高推荐模型的有效性，以改善用户生成内容平台的推荐模式，通过这种方法，将模型训练得到不那么容易受到对抗性干扰，可以提高模型的鲁棒性，其公式如下：
Figure FDA0002356077800000021
其中Δu表示施加在用户上的对抗性扰动，Δi表示施加在产品上的对抗性扰动。
8.根据权利要求1或2所述的方法，其特征在于，所述步骤8中，为了获得对对抗扰动不太敏感的模型，除了最小化原始BPR损失之外，还应最小化对手的目标函数，其公式如下：
Figure FDA0002356077800000022
其中θ*表示对抗模型的优化函数，LBPR′表示施加了扰动的优化函数，
Figure FDA0002356077800000023
表示最小化原始BPR优化函数，λ表示控制对模型优化影响的超参数，β表示正则化超参数。
CN202010008223.8A 2020-01-06 2020-01-06 一种增强协同推荐系统鲁棒性的方法 Active CN111241417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008223.8A CN111241417B (zh) 2020-01-06 2020-01-06 一种增强协同推荐系统鲁棒性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008223.8A CN111241417B (zh) 2020-01-06 2020-01-06 一种增强协同推荐系统鲁棒性的方法

Publications (2)

Publication Number Publication Date
CN111241417A true CN111241417A (zh) 2020-06-05
CN111241417B CN111241417B (zh) 2022-07-26

Family

ID=70865475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008223.8A Active CN111241417B (zh) 2020-01-06 2020-01-06 一种增强协同推荐系统鲁棒性的方法

Country Status (1)

Country Link
CN (1) CN111241417B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615253B1 (en) * 1999-08-31 2003-09-02 Accenture Llp Efficient server side data retrieval for execution of client side applications
CN110162709A (zh) * 2019-05-24 2019-08-23 中森云链(成都)科技有限责任公司 一种结合对偶对抗生成网络的鲁棒的个性化排名方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615253B1 (en) * 1999-08-31 2003-09-02 Accenture Llp Efficient server side data retrieval for execution of client side applications
CN110162709A (zh) * 2019-05-24 2019-08-23 中森云链(成都)科技有限责任公司 一种结合对偶对抗生成网络的鲁棒的个性化排名方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何明等: "一种基于差分隐私保护的协同过滤推荐方法", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN111241417B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN107563841B (zh) 一种基于用户评分分解的推荐系统
CN108460619B (zh) 一种提供融合显隐式反馈的协同推荐模型的方法
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
Tomimatsu et al. Sustaining ecosystem functions in a changing world: a call for an integrated approach
Ma et al. The parameter basin and complex of dynamic game with estimation and two-stage consideration
CN107545471B (zh) 一种基于高斯混合的大数据智能推荐方法
CN103164463A (zh) 推荐标签的方法和装置
CN108509573A (zh) 基于矩阵分解协同过滤算法的图书推荐方法及系统
CN103514239A (zh) 一种集成用户行为和物品内容的推荐方法及系统
CN112631560A (zh) 一种推荐模型的目标函数的构建方法及终端
US20180336482A1 (en) Social prediction
CN105809474A (zh) 一种层次化商品信息过滤推荐方法
CN115269977A (zh) 一种基于图神经网络的融合知识与协同信息的推荐方法
Yang Reevaluation and renegotiation of climate change coalitions—a sequential closed-loop game approach
Sugomori Java Deep Learning Essentials
Pai et al. Forecasting output of integrated circuit industry by support vector regression models with marriage honey-bees optimization algorithms
Li et al. Task recommendation with developer social network in software crowdsourcing
CN112948696A (zh) 具有隐私保护功能的跨域医疗保健设备推荐方法及系统
CN111241417B (zh) 一种增强协同推荐系统鲁棒性的方法
CN113221003A (zh) 一种基于对偶理论的混合过滤推荐方法及系统
CN106682151B (zh) 一种教育资源个性化推荐方法及系统
Wang et al. Learning from Negative User Feedback and Measuring Responsiveness for Sequential Recommenders
CN106777123A (zh) 一种基于双向张量分解模型的群推荐方法
Chen et al. Transfer reinforcement learning based negotiating agent framework
CN115293851A (zh) 一种在图神经网络中引入物品类别信息的推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant