CN113486257B - 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 - Google Patents

一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 Download PDF

Info

Publication number
CN113486257B
CN113486257B CN202110744530.7A CN202110744530A CN113486257B CN 113486257 B CN113486257 B CN 113486257B CN 202110744530 A CN202110744530 A CN 202110744530A CN 113486257 B CN113486257 B CN 113486257B
Authority
CN
China
Prior art keywords
user
representing
prediction
layer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110744530.7A
Other languages
English (en)
Other versions
CN113486257A (zh
Inventor
陈建峡
高奕
刘琦
张�杰
汪弘扬
潘立纬
郑吟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202110744530.7A priority Critical patent/CN113486257B/zh
Publication of CN113486257A publication Critical patent/CN113486257A/zh
Application granted granted Critical
Publication of CN113486257B publication Critical patent/CN113486257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于深度神经网络推荐技术领域，公开了一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法，嵌入层用于输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；外积层将用户、物品的嵌入向量进行外积得到用户‑物品交互图，利用所述用户‑物品交互图表示基于嵌入层且成对的维数关系；卷积层基于用户‑物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；预测层利用预测函数基于输入张量进行预测，得到预测分数。本发明可以明确捕获成对嵌入维度之间的相关性；保证了模型鲁棒性的同时，提升了整体的推荐效果，模型具有泛用性。

Description

一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及 方法
技术领域
本发明属于网络推荐技术领域，尤其涉及一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法。
背景技术
序列推荐系统是指以用户的行为轨迹为输入，然后采用推荐算法，向用户推荐合适的物品或服务的系统。因为序列推荐SR(Sequential Recommend，SR)能够考虑用户交互之间的顺序依赖，对用户偏好可以提供更准确的建模。传统序列推荐方法包括频繁模式挖掘、K-近邻、马尔科夫链、基于因子化的方法等方法，通常会采用矩阵分解法MF(Matrixfactorization,MF)来解决用户在不同序列中的长期偏好，同时使用一阶马尔可夫链来捕捉用户在一个序列中的短期兴趣。
传统方法虽然能够迅速产生推荐，但不能考虑物品之间的顺序依赖性。相比之下，基于深度神经网络DNN(Deep neural networks，DNN)的SR方法能够利用更长的序列进行预测，适应不同长度的输入序列,比传统模型获得更好的准确性。近年来，在电子商务、POI(Point-of-Interes)、音乐和电影/视频等领域已经取得了最先进的性能。因此，基于深度神经网络的序列推荐技术研究在学术界和企业界都具有重要的研究意义和应用价值。
目前，基于DNN的SR模型主要包含基于循环神经网络RNN(Recurrent neuralnetworks,RNN)，卷积神经网络CNN(Convolutional neural networks,CNN)和图神经网络GNNs(Graph neural networks，GNNs)等神经网络模型。其中，RNN模型占大多数。因为RNN可以很好地捕捉到一个会话内或不同会话之间的物品依赖关系，但是在较长的序列中建立依赖关系的模型相对困难。CNN模型的优势是可以很好地捕捉会话中的局部特征和时间信息。GNN可以包含用户的长期偏好和短期兴趣在一个会话中。然而，基于DNN的序列推荐方法存在共同的问题：(1)推荐结果缺乏可解释性和鲁棒性；2)对于复杂的网络需要更多的训练数据。
对抗性机器学习(Adversarial Machine Learning,AML)是一个新兴的研究领域，它结合了机器学习、鲁棒统计和计算机安全领域的最佳做法，能够设计抵抗对抗性攻击的学习算法。AML的关键特点是“min-max”博弈的概念——两个竞争对手进行零和博弈——也就是说,攻击者试图将攻击成功的可能性最大化；而另一个，即防御者——试图在这种最糟糕的情况下去最小化风险。在RS背景下，防御者可以是机器学习模型，如BPR或神经网络，而攻击者是对抗模型。抗性训练AR(Adversarial Training,AR)是AML提出的一种防御机制，其目标不是检测对抗性实例，而是构建在含有对抗性或者不含有对抗性实例中同时表现良好的模型。AR包括将通过特定攻击模型生成的对抗性样本注入到训练过程的每一步,使得模型对敌对样本有更高的鲁棒性，以及对干净样本具有更好的泛化性能。现有技术1表明AR可以使对抗攻击的负面影响从-8.7％减少到-1.4％。
综上所述，本文提出了能同时解决模型鲁棒性及泛用性的模型——ConvNCF-AMF(Convolutional Neural Collaborative Filtering with Adversarial MatrixFactorization,ConvNCF-AMF)。ConvNCF-AMF模型将用户、物品的嵌入向量送入外积层，在外积层中，两向量做外积得到用户-物品交互图(特征图E)，再将特征图E送入卷积层，最终卷积层输出一个张量，最终将此向量送入预测层，获得最终的推荐结果。保证了模型鲁棒性的同时，提升了整体的推荐效果，模型具有泛用性。
发明内容
针对现有技术存在的问题，本发明提供了一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法。
本发明是这样实现的，一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统包括：
嵌入层，包含两个嵌入方程，分别用于输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
外积层，用于将用户、物品的嵌入向量进行外积得到用户-物品交互图，利用所述用户-物品交互图表示基于嵌入层且成对的维数关系；
卷积层，用于基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
预测层，用于利用预测函数基于输入张量进行预测，得到预测分数。
进一步，所述卷积层包括：每个子卷积层中均有32张特征图，各子卷积层之间形成塔式结构。
进一步，所述张量大小为1×1×32。
进一步，所述预测函数为：
L＝LAPR(D'|Θ)+λ1||ΘU||2+λ2||ΘI||2+λ3||ΘCNN||2+λ4||ω||2
其中，λ*表示控制正则化的超参数，ΘU表示用户嵌入向量方程fU(·)中的参数，ΘI表示物品嵌入向量方程fI(·)中的参数，ΘCNN表示卷积层中的参数，ω表示预测层中的参数。
本发明的另一目的在于提供一种应用于所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统的基于对抗矩阵分解的协调过滤网络推荐方法，所述基于对抗矩阵分解的协调过滤网络推荐方法包括：
步骤一，利用两个嵌入方程分别输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
步骤二，将用户、物品的嵌入向量进行外积得到用户-物品交互图；
步骤三，基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
步骤四，将预测层的AMF(Adversarial Matrix Factorization,对抗矩阵分解)与ConvNCF(Convolutional Neural Collaborative Filtering,卷积神经协同过滤)一同训练得到预测评分。
进一步，步骤二中，所述将用户、物品的嵌入向量进行外积得到用户-物品交互图包括：
将用户嵌入向量
Figure BDA0003143954520000041
与物品嵌入向量/>
Figure BDA0003143954520000042
进行外积，得到交互矩阵/>
Figure BDA0003143954520000043
Figure BDA0003143954520000044
E中的第(k1,k2)个元素也就是：
Figure BDA0003143954520000045
对E中所有成对的维数关系进行编码，得到交互图。
进一步，步骤四中，所述将预测层的AMF(Adversarial Matrix Factorization,对抗矩阵分解)与ConvNCF(Convolutional Neural Collaborative Filtering,卷积神经协同过滤)一同训练得到预测评分包括：
(1)优化模型参数：
Figure BDA0003143954520000046
Figure BDA0003143954520000047
Figure BDA0003143954520000048
Figure BDA0003143954520000049
Figure BDA00031439545200000410
其中，
Figure BDA00031439545200000411
表示干扰项的预测模型，/>
Figure BDA00031439545200000412
Figure BDA00031439545200000413
ω表示预测层中可训练的权值向量；/>
Figure BDA00031439545200000414
分别表示用户u和物品i的扰动向量；
(2)Mini-batch Training for AMF(给AMF的小批量训练集).给定小批量大小S；从成对训练实例集D中随机抽取S个训练实例并将小批量命名为D'；
(3)约束于
Figure BDA0003143954520000051
的最大范数计算得到干扰向量；
(4)根据小批量D'更新预测模型的参数：
LAPR(D'|Θ)＝∑(u,i,j)∈D'lAPR((u,i,j)|Θ)；
其中，lAPR((u,i,j)|Θ)表示训练实例(u,i,j)的最小化的局部目标函数；
(5)对于在D'中出现的每个用户和物品，使用随机梯度下降算法计算
Figure BDA0003143954520000052
Figure BDA0003143954520000053
(6)迭代步骤(4)至步骤(5)，直到预测模型AMF收敛或者验证性能开始下降为止，得到训练好的AMF，利用训练好的AMF输出预测评分。
进一步，所述成对训练实例集D包括：
Figure BDA0003143954520000054
其中/>
Figure BDA0003143954520000055
表示用户u之前交互过的物品集合，I表示整个物品集合。
进一步，所述训练实例(u,i,j)的最小化的局部目标函数lAPR((u,i,j)|Θ)如下：
Figure BDA0003143954520000056
其中，
Figure BDA0003143954520000057
本发明的另一目的在于提供一种存储在计算机可读介质，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于对抗矩阵分解的协调过滤网络推荐方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
(1)用户嵌入和物品嵌入层之上,采用外积(而不是连接或内积),以明确捕获成对嵌入维度之间的相关性；
与广泛使用的inner product(内积)和element-wise product(元素积)相比，本发明认为做outer product(外积)的优势体现在以下四个方面：
①它弥补了元素积只考虑交互图中对角线元素的缺点；
②通过对维数关系的编码，可以获得更多的信息；
③比简单的连接操作更有意义，连接操作仅保留嵌入向量的原始信息，不对其它任何信息有计算；此外，有研究表示在深度学习模型中，显示地计算特征嵌入向量间的关系对处理稀疏数据有优势，但此时连接操作表现出效率低的缺点。
④可以将交互图视作图像来处理；众所周知，CNN在图像处理领域取得了非常不错的效果，例如ResNet(残差网络)和DenseNet(密集卷积网络)在处理2D图像时表现不俗；因此，选择CNN来处理2D交互图可以发挥其长处来提升推荐效果。
(2)在外积层产生的矩阵之上,本文采用卷积神经网络(CNN)来学习高维信息；
本发明认为采用卷积神经网络(CNN)的优势体现在以下四个方面：
①CNN的参数较MLP少，不容易过拟合；
②CNN更契合用户-物品交互图的2D交互图；
③CNN更便于获取高纬度的信息，能从局部到整体学习到全部的信息。
因此，本模型保证了模型鲁棒性的同时，提升了整体的推荐效果，模型具有泛用性。
附图说明
图1是本发明实施例提供的基于对抗矩阵分解的协调过滤卷积神经网络推荐系统框架图。
图2是本发明实施例提供的基于对抗矩阵分解的协调过滤网络推荐方法流程图。
图3是本发明实施例提供的AMF原理图。
图4是本发明实施例提供的MF对APR和BPR训练的实验结果对比示意图。
图5是本发明实施例提供的MF对APR和BPR训练的实验结果对比示意图。
图6是本发明实施例提供的ConvNCF-AMF模型和AMF模型的实验结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术中对敌对样本缺少鲁棒性，以及对干净样本缺少泛化性能的问题，本发明提供了一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于对抗矩阵分解的协调过滤卷积神经网络推荐系统包括：
嵌入层，包含两个嵌入方程，分别用于输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
外积层，用于将用户、物品的嵌入向量进行外积得到用户-物品交互图，利用所述用户-物品交互图表示基于嵌入层且成对的维数关系；
卷积层，用于基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
预测层，用于利用预测函数基于输入张量进行预测，得到预测分数。
本发明实施例提供的卷积层包括：每个子卷积层中均有32张特征图，各子卷积层之间形成塔式结构。
本发明实施例提供的张量大小为1×1×32。
本发明实施例提供的预测函数为：
L＝LAPR(D'|Θ)+λ1||ΘU||2+λ2||ΘI||2+λ3||ΘCNN||2+λ4||ω||2#(12)
其中，λ*表示控制正则化的超参数，ΘU表示用户嵌入向量方程fU(·)中的参数，ΘI表示物品嵌入向量方程fI(·)中的参数，ΘCNN表示卷积层中的参数，ω表示预测层中的参数。
如图2所示，本发明实施例提供的基于对抗矩阵分解的协调过滤网络推荐方法包括：
S101，利用两个嵌入方程分别输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
S102，将用户、物品的嵌入向量进行外积得到用户-物品交互图；
S103，基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
S104，将预测层的AMF与ConvNCF一同训练得到预测评分。
本发明实施例提供的将用户、物品的嵌入向量进行外积得到用户-物品交互图包括：
将用户嵌入向量
Figure BDA0003143954520000081
与物品嵌入向量/>
Figure BDA0003143954520000082
进行外积，得到交互矩阵/>
Figure BDA0003143954520000083
Figure BDA0003143954520000084
E中的第(k1,k2)个元素也就是：
Figure BDA0003143954520000085
对E中所有成对的维数关系进行编码，得到交互图。
本发明实施例提供的将预测层的AMF与ConvNCF一同训练得到预测评分包括：
(1)优化模型参数：
Figure BDA0003143954520000086
Figure BDA0003143954520000087
Figure BDA0003143954520000091
Figure BDA0003143954520000092
Figure BDA0003143954520000093
其中，
Figure BDA0003143954520000094
表示干扰项的预测模型，/>
Figure BDA0003143954520000095
Figure BDA0003143954520000096
ω表示预测层中可训练的权值向量；/>
Figure BDA0003143954520000097
分别表示用户u和物品i的扰动向量；
(2)Mini-batch Training for AMF(给AMF的小批量训练集).给定小批量大小S；从成对训练实例集D中随机抽取S个训练实例并将小批量命名为D'；
(3)约束于
Figure BDA0003143954520000098
的最大范数计算得到干扰向量；
(4)根据小批量D'更新预测模型的参数：
LAPR(D'|Θ)＝∑(u,i,j)∈D'lAPR((u,i,j)|Θ)；
其中，lAPR((u,i,j)|Θ)表示训练实例(u,i,j)的最小化的局部目标函数；
(5)对于在D'中出现的每个用户和物品，使用随机梯度下降算法计算
Figure BDA0003143954520000099
Figure BDA00031439545200000910
(6)迭代步骤(4)至步骤(5)，直到预测模型AMF收敛或者验证性能开始下降为止，得到训练好的AMF，利用训练好的AMF输出预测评分。
本发明实施例提供的成对训练实例集D包括：
Figure BDA00031439545200000911
其中/>
Figure BDA00031439545200000912
表示用户u之前交互过的物品集合，I表示整个物品集合。
本发明实施例提供的训练实例(u,i,j)的最小化的局部目标函数lAPR((u,i,j)|Θ)如下：
Figure BDA0003143954520000101
其中，
Figure BDA0003143954520000102
下面结合具体实施例对本发明的技术方案做进一步说明。
ConvNCF-AMF(Convolutional Neural Collaborative Filtering Model Basedon Adversarial Matrix Factorization,基于对抗矩阵分解的卷积神经协同过滤模型)模型框架如图1所示，本发明选择NCF(Neural Collaborative Filtering,神经协同过滤)作为基本模型框架。
本发明采用的技术方法的主要步骤如下
步骤1：在ConvNCF-AMF(Convolutional Neural Collaborative FilteringModel Based on Adversarial Matrix Factorization,基于对抗矩阵分解的卷积神经协同过滤模型)模型框架中，嵌入层向量大小为64，示例展示了有6层卷积层；嵌入层包括两个嵌入方程fU(u)、fI(i)，输出两个大小为64的向量，分别表示用户u和物品i。
步骤2：在嵌入层之上是外积层，通过构造交互图
Figure BDA0003143954520000103
来表示基于嵌入层且成对的维数关系，交互图E是嵌入层中用户嵌入向量与物品嵌入向量做外积得出的。
步骤3：将特征图E送入卷积层中，从而可以获得高纬度的信息；
步骤4：在每个子卷积层中都有32张特征图，各子卷积层之间形成塔式结构
步骤5：输出一个大小为1×1×32的张量，将得到的张量送入预测层的AMF中，使得AMF与ConvNCF一同训练得到预测评分
Figure BDA0003143954520000104
本发明提出的模型架构如图2所示，以下将根据模型架构中的各个部分进行详细阐述。
1、外积层
步骤1：让用户嵌入向量
Figure BDA0003143954520000111
与物品嵌入向量/>
Figure BDA0003143954520000112
做外积，得到交互矩阵/>
Figure BDA0003143954520000113
Figure BDA0003143954520000114
E中的第(k1,k2)个元素也就是：
Figure BDA0003143954520000115
步骤2：对E中所有成对的维数关系进行编码，因此，本发明称E为交互图
与广泛使用的inner product(内积)和element-wise product(元素积)相比，本发明认为做outer product(外积)的优势体现在以下四个方面：①它弥补了元素积只考虑交互图中对角线元素的缺点；②通过对维数关系的编码，可以获得更多的信息；③比简单的连接操作更有意义，连接操作仅保留嵌入向量的原始信息，不对其它任何信息有计算；此外，有研究表示在深度学习模型中，显示地计算特征嵌入向量间的关系对处理稀疏数据有优势，但此时连接操作表现出效率低的缺点。④可以将交互图视作图像来处理；众所周知，CNN在图像处理领域取得了非常不错的效果，例如ResNet(残差网络)和DenseNet(密集卷积网络)在处理2D图像时表现不俗；因此，选择CNN来处理2D交互图可以发挥其长处来提升推荐效果。
2.对抗性个性化排序算法(APR)
对抗训练方法是通过动态生成对抗例子来增强训练过程。对敌训练的思想已经被推广到深度神经网络。APR使推荐模型既适合个性化排名，又具有鲁棒性。
对抗性个性化排序的目标函数如下:
Figure BDA0003143954520000116
Figure BDA0003143954520000117
Δ为模型参数的摄动量，ε≥0控制扰动变量，
Figure BDA0003143954520000118
为当前模型参数。
步骤1：对抗项
Figure BDA0003143954520000121
通过稳定BPR中的分类函数来正则化模型，用λ来控制其正则化的效果。
步骤2：
Figure BDA0003143954520000122
为成对训练实例集/>
Figure BDA0003143954520000123
其中/>
Figure BDA0003143954520000124
表示用户u之前交互过的物品集合，I表示整个物品集合。
步骤3：变量Δ使目标函数最大化而变量Θ使得目标函数最小化，两个变量轮流训练模型直到收敛。
步骤4：指定BPR(Bayesian Personalized Ranking,贝叶斯个性化排序)中的超参数以及APR中的ε和λ两个超参数。
步骤5：针对随机采样实例(u,i,j)优化模型参数。
构造对抗扰动因子的问题可以表示为最大化：
Figure BDA0003143954520000125
是将关于Δ的目标函数近似为一个线性函数。为了使近似的线性函数最大化，只需要朝着目标函数关于Δ的梯度方向移动，由最大范数约束||Δ||≤ε，可得出：
Figure BDA0003143954520000126
学习模型参数Θ。对于一个训练实例(u,i,j)，最小化的局部目标函数如下：
Figure BDA0003143954520000127
由方程5得到的Δadv及方程(6)对Θ求导，可得到更新参数Θ的随机梯度下降方法：
Figure BDA0003143954520000128
η代表学习率。
3.对抗性矩阵分解算法AMF
如图3所示，本发明采用以矩阵分解实例化的APR(Adversarial PersonalizedRanking,对抗个性化排序)也就是AMF作为本模型的预测函数。
根据AMF：给定一对(u,i)，具有干扰项的预测模型定义为：
Figure BDA0003143954520000131
步骤1：ω是预测层中可训练的权值向量；
Figure BDA0003143954520000132
分别表示用户u和物品i的扰动向量。在AMF中应用SGD Algorithm for APR，；对于方程(5)，给出关键求导公式：
Figure BDA0003143954520000133
Figure BDA0003143954520000134
对于方程(7)，给出关键求导公式：
Figure BDA0003143954520000135
Figure BDA0003143954520000136
Figure BDA0003143954520000137
步骤2：Mini-batch Training for AMF(给AMF的小批量训练集).给定小批量大小S。
步骤3：从D中随机抽取S个训练实例并将小批量命名为D'。
步骤4：约束于
Figure BDA0003143954520000138
的最大范数来计算出干扰向量。
步骤5：接下来，根据小批量D'来更新预测模型的参数。APR的目标方程为：
Figure BDA0003143954520000139
其中，lAPR((u,i,j)|Θ)在方程(8)中定义了。
步骤6：对于在D'中出现的每个用户和物品，本发明使用随机梯度下降算法(SGD)来计算
Figure BDA0003143954520000141
步骤7：迭代上述两个步骤，直到预测模型AMF收敛或者验证性能开始下降为止。
综上所述，本发明提出的ConvNCF-AMF模型的目标函数为：
L＝LAPR(D'|Θ)+λ1||ΘU||2+λ2||ΘI||2+λ3||ΘCNN||2+λ4||ω||2#(12)
其中λ*是控制正则化的超参数，ΘU代表用户嵌入向量方程fU(·)中的参数，ΘI代表物品嵌入向量方程fI(·)中的参数，ΘCNN代表卷积层中的参数，ω是预测层中的参数。
实验证明部分
1、实验环境设置
本发明的相关实验基于Python 2.7的TensorFlow1.12环境，Ubuntu18.04，主要的数据包为TensorFlow1.12版本，cuda v10.2，cudnn 16.4，pytorch v1.7。
1.1.数据描述
本发明在三个公开数据集上进行了实验，分别是：Yelp、Pinterest-20和Ml-1M。
Yelp：这是Yelp数据挑战赛提供的用户对商家评分的数据集，包含25,815个用户、25,677个物品和730,791个评分。
Pinterest-20：这个数据集是为基于内容的图像推荐而构建的隐式反馈数据集，包括55,187个用户、9,916个物品和1,500,809个评分。
Ml-1M:一个关于电影评分的数据集，包含了6,040个MovieLens用户对约3,706部电影的1,000,209个匿名评分。
1.2评价指标
对于数据集中的每个用户，保留最新的一个交互作为测试集，然后将剩余的交互作为训练集，在训练集上训练模型。模型训练后，本发明通过对训练集中与用户没有交互的所有物品进行排序，来为用户生成个性化的排名列表。为了研究top-K推荐的性能，本发明将排序列表在位置K处截断。然后本发明采用命中率(HR@k)和归一化折现累积增益(NDCG@k)来评价排名列表。HR@k是一个基于召回的度量，用来衡量测试物品是否位于top-k列表中；NDCG@k是对排名顺序敏感的指标，排名越靠前的物品计算出的NDCG值越高。对于这两个指标，值越大代表生成的个性化排名列表越好，推荐效果越理想。为了消除随机振荡的影响，本发明报告了近十次收敛的平均分数。
1.3参数设置
Table 1Parameters in ConvNCF-AMF
Figure BDA0003143954520000151
2与其他模型比较的实验结果
为了证明本发明提出方法的有效性，本发明与以下的方法进行了对比：
MF-BPR(Matrix Factorization Based on Bayesian Personalized Ranking,基于贝叶斯个性化排序的矩阵分解)：该方法把BPR目标函数作为矩阵分解的目标函数，是一个有竞争力的协同过滤算法。
AMF：在MF-BPR的基础上采用对抗训练来提升模型整体的鲁棒性，也是本发明模型的一部分。
FISM(Factored Item Similarity Models,因素项相似模型)：与MF仅仅嵌入用户ID相比，该模型在用户向量的表示上加入了与用户有过交互的历史记录，是一个有竞争力的基于物品的协同过滤推荐模型。
SVD++(Singular Value Decomposition++,奇异值分解)：结合了MF与FISM在用户向量设计上的做法，是一个强大的协同过滤推荐模型，在Netflix挑战赛中取得了非常好的成绩。
MLP(Multi-layer Perceptron,多层感知机模型)：是一种NCF模型，将用户嵌入向量与物品嵌入向量连接后送入MLP，但没有嵌入维数间的关系。
JRL(Joint Representation Learning,联合表示学习)：是一种NCF模型，通过增加隐藏层提高了GMF的性能。
NeuMF(Neural Matrix Factorization,基于神经网络的矩阵分解)：是一种先进的推荐模型，它集成了GMF和MLP来学习用户-物品交互信息。
ConvNCF-MF(Convolutional Neural Collaborative Filtering Model Basedon Matrix Factorization,基于矩阵分解的卷积神经协同过滤模型)：是一种先进的推荐模型。基于MF，通过外积来获取维数的信息。
ConvNCF-FISM(Convolutional Neural Collaborative Filtering Model Basedon Factored Item Similarity Models,基于因素项相似的卷积神经协同过滤模型)：是一种先进的推荐模型。基于FISM，通过外积来获取维数的信息。
ConvNCF-SVD++(Convolutional Neural Collaborative Filtering ModelBased on Singular Value Decomposition++,基于奇异值分解的卷积神经协同过滤模型)：是一种先进的推荐模型。基于SVD++，通过外积来获取维数的信息。
Table 2Top-k recommendation performance where k∈{5,10,20}
Figure BDA0003143954520000161
Figure BDA0003143954520000171
可以从Table 2中看出，在Yelp数据集上，本发明提出的ConvNCF-AMF在上HR@k和NDCG@k都取得了最佳结果；在Pinterest-20和Ml-1M数据集上也取得十分理想的结果。
3实验过程与分析
3.1对抗学习的实验效果
为了确保对抗学习对有效性，本发明将MF-BPR预训练了500个周期(接近完全收敛)，然后接着训练MF-APR(AMF)；为了对比，本发明继续完成对MF-BPR的训练，使两者的训练周期一致。
在top-k@10的条件下，图4中所有的图表体现了相同趋势——500个训练周期后，采用APR来训练MF取得了不错的结果，而采用BPR来训练MF的提升不明显，甚至有所下降(例如Pinterest-20和Ml-1M)。
3.2卷积神经网络的效果
图5可以看出，在top-k,k∈{1,2,…,100}的条件下，HR@k和NDCG@k均有所所提升，但是仍然处于较低水平，尤其是NDCG@k；这是因为AMF不能够学习到足够的信息。
为解决这个问题，本发明采用ConvNCF-AMF来训练，ConvNCF中的外积层能够显示地对嵌入向量间维数关系进行编码，CNN也能很好地处理特征图。在top-k@10的条件下，采用AMF预训练1500个周期，接着采用ConvNCF来训练1500个周期以学习高维的信息。从图6可以看出，本发明提出的ConvNCF-AMF在三个数据集上都取得了极为理想的效果。在Yelp数据集中，采用ConvNCF-AMF，HR@10和NDCG@10分别提高到了0.6538和0.4203；在Pinterest-20数据集中，HR@10和NDCG@10分别高达0.7651和0.4808；在Ml-1M数据集上，HR@10和NDCG@10分别高达0.6592和0.3942。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，其特征在于，所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统包括：
嵌入层，包含两个嵌入方程，分别用于输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
外积层，用于将用户、物品的嵌入向量进行外积得到用户-物品交互图，利用所述用户-物品交互图表示基于嵌入层且成对的维数关系；
卷积层，用于基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
预测层，用于利用预测函数基于输入张量进行预测，得到预测分数；
所述将用户、物品的嵌入向量进行外积得到用户-物品交互图包括：
将用户嵌入向量
Figure FDA0004260973150000011
与物品嵌入向量/>
Figure FDA0004260973150000012
进行外积，得到交互矩阵/>
Figure FDA0004260973150000013
Figure FDA0004260973150000014
E中的第(k1,k2)个元素也就是：
Figure FDA0004260973150000015
对E中所有成对的维数关系进行编码，得到交互图；
将预测层的对抗矩阵分解AMF与卷积协同过滤ConvNCF一同训练得到预测评分；
所述将预测层的对抗矩阵分解AMF与卷积协同过滤ConvNCF一同训练得到预测评分包括：
(1)优化模型参数：
Figure FDA0004260973150000016
Figure FDA0004260973150000017
Figure FDA0004260973150000021
Figure FDA0004260973150000022
Figure FDA0004260973150000023
其中，
Figure FDA0004260973150000024
表示干扰项的预测模型，/>
Figure FDA0004260973150000025
Figure FDA0004260973150000026
ω表示预测层中可训练的权值向量；/>
Figure FDA0004260973150000027
分别表示用户u和物品i的扰动向量；
(2)给AMF的小批量训练集；给定小批量大小S；从成对训练实例集D中随机抽取S个训练实例并将小批量命名为D'；
(3)约束于
Figure FDA0004260973150000028
的最大范数计算得到干扰向量；
(4)根据小批量D'更新预测模型的参数：
LAPR(D'|Θ)＝∑(u,i,j)∈D'lAPR((u,i,j)|Θ)；
其中，lAPR((u,i,j)|Θ)表示训练实例(u,i,j)的最小化的局部目标函数；
(5)对于在D'中出现的每个用户和物品，使用随机梯度下降算法计算
Figure FDA0004260973150000029
Figure FDA00042609731500000210
(6)迭代步骤(4)至步骤(5)，直到预测模型AMF收敛或者验证性能开始下降为止，得到训练好的AMF，利用训练好的AMF输出预测评分；
所述成对训练实例集D包括：
Figure FDA00042609731500000211
其中/>
Figure FDA00042609731500000212
表示用户u之前交互过的物品集合，I表示整个物品集合；
所述训练实例(u,i,j)的最小化的局部目标函数lAPR((u,i,j)|Θ)如下：
Figure FDA0004260973150000031
其中，
Figure FDA0004260973150000032
2.如权利要求1所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，其特征在于，所述卷积层包括：每个子卷积层中均有32张特征图，各子卷积层之间形成塔式结构。
3.如权利要求1所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，其特征在于，所述张量大小为1×1×32。
4.如权利要求1所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统，其特征在于，所述预测函数为：
L＝LAPR(D'|Θ)+λ1||ΘU||2+λ2||ΘI||2+λ3||ΘCNN||2+λ4||ω||2；
其中，λ*表示控制正则化的超参数，ΘU表示用户嵌入向量方程fU(·)中的参数，ΘI表示物品嵌入向量方程fI(·)中的参数，ΘCNN表示卷积层中的参数，ω表示预测层中的参数。
5.一种应用于如权利要求1-4任意一项所述基于对抗矩阵分解的协调过滤卷积神经网络推荐系统的基于对抗矩阵分解的协调过滤网络推荐方法，其特征在于，所述基于对抗矩阵分解的协调过滤网络推荐方法包括：
步骤一，利用两个嵌入方程分别输出两个大小为64的表示用户和物品的向量，并将用户、物品的嵌入向量送入外积层；
步骤二，将用户、物品的嵌入向量进行外积得到用户-物品交互图；
步骤三，基于用户-物品交互图输出表示高纬度的信息的张量，并将输出的张量输出预测层；
步骤四，将预测层的对抗矩阵分解AMF与卷积协同过滤ConvNCF一同训练得到预测评分。
6.一种存储在计算机可读介质，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求5所述基于对抗矩阵分解的协调过滤网络推荐方法。
CN202110744530.7A 2021-07-01 2021-07-01 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 Active CN113486257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744530.7A CN113486257B (zh) 2021-07-01 2021-07-01 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744530.7A CN113486257B (zh) 2021-07-01 2021-07-01 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法

Publications (2)

Publication Number Publication Date
CN113486257A CN113486257A (zh) 2021-10-08
CN113486257B true CN113486257B (zh) 2023-07-11

Family

ID=77939989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744530.7A Active CN113486257B (zh) 2021-07-01 2021-07-01 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法

Country Status (1)

Country Link
CN (1) CN113486257B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056572A1 (zh) * 2017-09-25 2019-03-28 深圳大学 隐私保护协同Web服务质量预测的基于模型的协同过滤方法
CN110188283A (zh) * 2019-06-05 2019-08-30 中国人民解放军国防科技大学 一种基于联合神经网络协同过滤的信息推荐方法及其系统
CN110442781A (zh) * 2019-06-28 2019-11-12 武汉大学 一种基于生成对抗网络的对级排序项目推荐方法
CN111259264A (zh) * 2020-01-15 2020-06-09 电子科技大学 一种基于生成对抗网络的时序评分预测方法
CN112084428A (zh) * 2020-09-17 2020-12-15 辽宁工程技术大学 一种基于耦合网络嵌入及知识图谱的协同过滤推荐方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866987B2 (en) * 2015-07-31 2020-12-15 RCRDCLUB Corporation Evaluating performance of recommender system
US20190266483A1 (en) * 2018-02-27 2019-08-29 Facebook, Inc. Adjusting a classification model based on adversarial predictions
CN109657156B (zh) * 2019-01-22 2021-06-01 杭州师范大学 一种基于循环生成对抗网络的个性化推荐方法
US11842794B2 (en) * 2019-03-19 2023-12-12 The University Of Hong Kong Variant calling in single molecule sequencing using a convolutional neural network
US11038976B2 (en) * 2019-09-09 2021-06-15 Adobe Inc. Utilizing a recommendation system approach to determine electronic communication send times
CN111259233B (zh) * 2020-01-06 2022-07-26 浙江工业大学 一种提高协同过滤模型稳定性的方法
CN111523045A (zh) * 2020-03-09 2020-08-11 浙江工业大学 一种协同过滤推荐方法
CN112884552B (zh) * 2021-02-22 2023-11-21 广西师范大学 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法
CN112784173B (zh) * 2021-02-26 2022-06-10 电子科技大学 一种基于自注意力对抗神经网络的推荐系统评分预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056572A1 (zh) * 2017-09-25 2019-03-28 深圳大学 隐私保护协同Web服务质量预测的基于模型的协同过滤方法
CN110188283A (zh) * 2019-06-05 2019-08-30 中国人民解放军国防科技大学 一种基于联合神经网络协同过滤的信息推荐方法及其系统
CN110442781A (zh) * 2019-06-28 2019-11-12 武汉大学 一种基于生成对抗网络的对级排序项目推荐方法
CN111259264A (zh) * 2020-01-15 2020-06-09 电子科技大学 一种基于生成对抗网络的时序评分预测方法
CN112084428A (zh) * 2020-09-17 2020-12-15 辽宁工程技术大学 一种基于耦合网络嵌入及知识图谱的协同过滤推荐方法

Also Published As

Publication number Publication date
CN113486257A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN112905900B (zh) 基于图卷积注意力机制的协同过滤推荐方法
Lu et al. Meta-learning on heterogeneous information networks for cold-start recommendation
Wu et al. Socialgcn: An efficient graph convolutional network based model for social recommendation
CN110119467B (zh) 一种基于会话的项目推荐方法、装置、设备及存储介质
CN112989064B (zh) 一种聚合知识图神经网络和自适应注意力的推荐方法
CN111127142B (zh) 一种基于广义神经注意力的物品推荐方法
CN111881350A (zh) 一种基于混合图结构化建模的推荐方法与系统
Perera et al. CnGAN: Generative Adversarial Networks for Cross-network user preference generation for non-overlapped users
Perera et al. LSTM networks for online cross-network recommendations
CN113918833A (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN115470406A (zh) 一种基于双通道信息融合的图神经网络会话推荐方法
CN113918834A (zh) 融合社交关系的图卷积协同过滤推荐方法
CN110765363A (zh) 一种基于高斯分布表示的深度推荐模型
Nápoles et al. Recommender system using long-term cognitive networks
CN117131282A (zh) 融合层注意力机制的多视角图对比学习推荐方法与系统
CN116738047A (zh) 一种基于多层聚合增强对比学习的会话推荐方法
CN113849725B (zh) 一种基于图注意力对抗网络的社会化推荐方法及系统
Wang et al. Online course recommendation algorithm based on multilevel fusion of user features and item features
CN113486257B (zh) 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法
CN114139066A (zh) 一种基于图神经网络的协同过滤推荐系统
Seng et al. Item-based collaborative memory networks for recommendation
Lin et al. Transfer learning for collaborative recommendation with biased and unbiased data
CN114912984B (zh) 基于自注意力的时间评分感知上下文的推荐方法及系统
Tegene et al. Deep learning based matrix factorization for collaborative filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant