CN116664253B - 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 - Google Patents
一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 Download PDFInfo
- Publication number
- CN116664253B CN116664253B CN202310940554.9A CN202310940554A CN116664253B CN 116664253 B CN116664253 B CN 116664253B CN 202310940554 A CN202310940554 A CN 202310940554A CN 116664253 B CN116664253 B CN 116664253B
- Authority
- CN
- China
- Prior art keywords
- time
- project
- user
- vector
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 56
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 7
- 210000005036 nerve Anatomy 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 9
- 239000000284 extract Substances 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 35
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于广义矩阵分解与遮蔽注意力的项目推荐方法，该方法通过广义矩阵分解为模型提供用户与项目、用户与时间、项目与时间的二阶交互信息，给予模型深层次的抽象特征，使其整体预测能力得以提升；部分项目序列和时间序列存在空值，在注意力机制过程中空值会占据一定的权重，从而影响项目与时间的特征提取，本发明通过将注意力进行遮蔽化，能够协助模型屏蔽空值的影响；本发明通过广义矩阵分解与遮蔽注意力提取用户‑项目‑时间的重要特征信息，预测用户评分，使得模型能更高效地利用评分信息，从而有效的为用户提供项目推荐列表。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种基于广义矩阵分解与遮蔽注意力的项目推荐方法。
背景技术
在用户与项目的交互中学习到的结果已使许多现实用户和服务受益，例如在线购物平台的项目推荐，其结果主要是潜在特征向量模型，尤其是基于潜在因子分解的技术，比如矩阵分解(Matrix Factorization, MF)已在工业界表现非凡，吸引了大量研究人员探索提升其预测能力。
这些研究的一个方向是改进矩阵分解算法的传统学习能力。矩阵分解能使用简单的内积方式推测未知值且易于实现，因而在推荐系统中得到广泛应用。但对用户与物品间的非线性关系，矩阵分解无法利用简单内积操作对其建模，限制了模型预测能力，故有诸多学者对矩阵分解算法进行改进。例如，利用单层神经网络或多层感知机(MLP)，赋予MF非线性的学习能力。然而，这些方法均为静态的，在涉及动态场景时，用户与项目的交互数据无法表现出由时间而演化的动态性。例如，在Netflix用户在不同月份对各种电影的评分中，上述模型只能抓住用户全年的整体兴趣，而无法精确推测在当前月份的兴趣偏好。
另一个研究方向是将代表用户与项目交互的二维矩阵扩展为包含时间信息的三维张量。随后，可使用张量分解(Tensor Factorization, TF)技术将用户与项目投影到具有时间编码的潜在空间。存在传统的张量分解假设两个连续的时隙是独立的，也有通过循环神经网络(Recurrent Neural Network, RNN)学习连续时隙的交互，从而推测下一个时隙信息。然而，不管是独立还是连续的交互，它们的做法均将得到的用户、项目以及时间潜在向量直接输入到多层感知机中预测评分。它们并未考虑用户与项目、项目与时间、用户与时间之间的交互，一定程度上给模型带来信息缺失问题，导致整体预测能力较差，并且忽视了空值在序列中的误差影响。
发明内容
为此，本发明的实施例提出一种基于广义矩阵分解与遮蔽注意力的项目推荐方法，以解决现有技术整体预测能力较差、忽视了空值在序列中的误差影响的问题。
根据本发明一实施例的基于广义矩阵分解与遮蔽注意力的项目推荐方法，应用于项目推荐模型，所述项目推荐模型包括特征编码层、广义矩阵分解层和神经张量分解层；
所述方法包括：
步骤1，对用户的历史交互项目记录进行重组，重新编号并依照时间顺序进行排序，从而生成项目编号序列和时间编号序列，项目编号序列和时间编号序列的长度相同；
步骤2，对用户信息、项目编号序列、时间编号序列分别输入至特征编码层进行Embedding嵌入编码，以得到用户特征、项目特征向量序列、时间特征向量序列，将项目特征向量序列和时间特征向量序列输入至长短期记忆网络中，得到项目隐向量组和时间隐向量组，之后通过遮蔽注意力网络提取出项目隐藏状态向量和时间隐藏状态向量，再将项目隐藏状态向量和时间隐藏状态向量通过投影层调整维度，使项目隐藏状态向量和时间隐藏状态向量与用户特征对齐，从而形成项目投影特征与时间投影特征；
步骤3，将用户特征、项目投影特征、时间投影特征输入至广义矩阵分解层，生成用户与项目、用户与时间、项目与时间的二阶交互特征；
步骤4，对用户与项目、用户与时间、项目与时间的二阶交互特征，以及用户特征、项目投影特征、时间投影特征进行拼接，再输至神经张量分解层得到用户对项目的预测评分值；
步骤5：通过目标函数计算预测评分值与真实评分值间的损失，将损失最小化，再通过反向传播优化目标函数参数，完成算法收敛，进而得到最终的预测评分值，再根据最终的预测评分值向用户提供项目推荐列表。
根据本发明实施例的基于广义矩阵分解与遮蔽注意力的项目推荐方法，具有以下有益效果：
1) 通过广义矩阵分解为模型提供用户与项目、用户与时间、项目与时间的二阶交互信息，给予模型深层次的抽象特征，使其整体预测能力得以提升；
2) 部分项目序列和时间序列存在空值，在注意力机制过程中空值会占据一定的权重，从而影响项目与时间的特征提取，本发明通过将注意力进行遮蔽化，能够协助模型屏蔽空值的影响；
3) 本发明通过广义矩阵分解与遮蔽注意力提取用户-项目-时间的重要特征信息，预测用户评分，使得模型能更高效地利用评分信息，从而有效的为用户提供项目推荐列表。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的项目推荐模型结果框图；
图2是本发明实施例的基于广义矩阵分解与遮蔽注意力的项目推荐方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供一种基于广义矩阵分解与遮蔽注意力的项目推荐方法，应用于项目推荐模型，请参阅图1，所述项目推荐模型包括特征编码层、广义矩阵分解层（GMF层）和神经张量分解层（NTF层）。所述特征编码层包括嵌入层、遮蔽注意力层（MA层）、投影层。
请参阅图2，所述方法包括步骤1~步骤5：
步骤1，对用户的历史交互项目记录进行重组，重新编号并依照时间顺序进行排序，从而生成项目编号序列和时间编号序列，项目编号序列和时间编号序列的长度相同。
其中，对于用户、项目/>、时间/>，通过查询用户/>按时间顺序排列的历史交互项目记录，得到序列长为/>的项目编号序列/>，/>分别为第1个、第2个、第/>个项目，依据时间进行纯数值逆向选取，得到序列长为s的时间编号序列/>，分别为第1、第2、第/>时刻。
步骤2，对用户信息、项目编号序列、时间编号序列分别输入至特征编码层进行Embedding嵌入编码，以得到用户特征、项目特征向量序列、时间特征向量序列，将项目特征向量序列和时间特征向量序列输入至长短期记忆网络中，得到项目隐向量组和时间隐向量组，之后通过遮蔽注意力网络提取出项目隐藏状态向量和时间隐藏状态向量，再将项目隐藏状态向量和时间隐藏状态向量通过投影层调整维度，使项目隐藏状态向量和时间隐藏状态向量与用户特征对齐，从而形成项目投影特征与时间投影特征。
其中，用户信息经特征编码层中的嵌入层形成维度的用户特征/>；
将项目编号序列输入至嵌入层，得到维度的项目特征向量序列/>，分别为第1个、第2个、第/>个项目特征向量；
将时间编号序列输入至嵌入层，得到维度的时间特征向量序列，/>分别为第1个、第2个、第/>个时间特征向量。
在遮蔽注意力层(MA层)，用遮蔽化的神经注意力机制来捕捉项目序列中的重要语义信息，经过权向量相乘，将每个时间步长的词向量合并为一个项目特征向量，如下式所示：
；
；
；
其中，为项目隐向量组，/>是由长短期记忆网络的输出向量组成的第一矩阵，/>为第一权重向量，/>表示转置操作，/>是由非线性激活函数/>转化的第一状态矩阵，为遮蔽归一化函数，/>为第一训练参数向量，/>为记录的项目编号序列中空值的个数及位置信息；项目隐向量组/>包含/>中的重要信息，且/>、/>、/>的维度分别是。
通过投影层将的维度与嵌入层向量维度保持一致，最终可得项目投影特征/>，如下式所示：
；
其中，表示第一激活函数，/>为第一权重矩阵，/>为第一偏置向量。
类似的，时间投影特征满足以下条件式：
；
；
；
；
其中，表示第二激活函数，/>为第二权重矩阵，/>为时间隐向量组，/>为第二偏置向量，/>是由长短期记忆网络的输出向量组成的第二矩阵，/>为第二权重向量，/>表示转置操作，/>是由非线性激活函数/>转化的第二状态矩阵，/>为第二训练参数向量，为记录的时间编号序列中空值的个数及位置信息。
步骤3，将用户特征、项目投影特征、时间投影特征输入至广义矩阵分解层，生成用户与项目、用户与时间、项目与时间的二阶交互特征。
其中，在广义矩阵分解层，将用户特征、项目投影特征/>、时间投影特征/>作为输入，学习得到用户、项目和时间三者间的二阶交互信息，如下式所示：
；
；
；
其中，、/>、/>分别是用户与项目、用户与时间、项目与时间的二阶交互向量，、/>、/>为第三激活函数，/>、/>、/>是第三权重矩阵，/>、/>、/>是第三偏置向量，/>表示点乘操作。
步骤4，对用户与项目、用户与时间、项目与时间的二阶交互特征，以及用户特征、项目投影特征、时间投影特征进行拼接，再输至神经张量分解层得到用户对项目的预测评分值。
其中，将二阶交互信息以及特征向量一并输入至MLP，由MLP输出预测评分值。
具体的，步骤4满足以下条件式：
；
；
；
；
；
其中，表示在时间/>时，用户/>对项目/>的预测评分值；/>为第四激活函数；/>、、/>、/>为第四权重矩阵；/>表示隐藏层数；/>、/>、/>、/>为第四偏置向量，/>、/>、、/>为中间值。
步骤5：通过目标函数计算预测评分值与真实评分值间的损失，将损失最小化，再通过反向传播优化目标函数参数，完成算法收敛，进而得到最终的预测评分值，再根据最终的预测评分值向用户提供项目推荐列表。
具体的，先得到一个初始的预测评分值，然后进行目标函数最小化，反向传播优化模型参数，通过优化后的模型参数，得到新的预测值，再进行目标函数最小化，以此循环，直至损失最小化，并得到最终的预测评分值，再根据最终的预测评分值给予用户推荐列表。
其中，目标函数损失最小化的表达式为：
；
其中，为采用Adam梯度下降法的损失最小化函数；/>表示在时间/>时，用户/>对项目/>的真实评分值；/>分别为用户、项目、时间的潜在因子矩阵，/>分别表示用户、项目、时间的总数。
完成算法收敛后，能够得到最终的预测评分值，再根据最终的预测评分值向用户提供项目推荐列表，例如，可以按照从大到小的顺序对最终的预测评分值进行排序，将排序靠前的预设数量（例如前3个）的项目组成项目推荐列表，并向用户推荐。
下面对上述方法进行实验验证，实验在1000万条数据的Netflix公开数据集上进行，采用Pytorch作为深度学习框架，CPU为AMD R7 3700X 3.6GHz，GPU为Nvidia GeForceRTX 2080Ti。对比7个具有代表性的经典模型。对比模型介绍及部分实验结果如下所示：
PMF(2007)：一种矩阵分解的概率方法，评分由潜在特征向量内积得出，在预测评级方面取得稳定而有力的结果。
RRN(2017)：通过基于历史评分的LSTM模型推断动态嵌入向量，预测用户与项目间的交互。
NCF(2017)：利用神经网络构建一种通用的协同过滤框架，对用户与项目间的交互实施建模。
DMF(2020)：在广义矩阵分解中引入隐藏层，通过神经网络提取用户与项目间的高阶交互信息。
MAMF(2022)：通过深度神经网络与多层注意力机制提取用户与项目特征，以预测用户选择。
NTF(2019)：基于神经网络的张量分解方法，通过长短期记忆网络描述关系数据上的多维时间交互。
LA-NTF(2021)：在NTF的基础上融入注意力机制，过滤噪音提升模型推荐效果。
表1展示了本发明的方法与现有技术中的7个经典模型的比较结果，本发明的方法的评价指标值以加粗形式显示，对比模型的最佳评价指标值用下划线表示，最后一列计算出本发明的方法针对最佳对比值的改进情况。数据集中训练集比例以30%、50%、70%递增，验证集始终为10%，测试集以60%、40%、20%递减。
表1
在表1的Netflix数据集中，随着训练集比例增长，模型推荐性能同样存在明显提高，在训练集为70%时达到最高，与PMF、RRN、NCF、DMF、MAMF、NTF、LA-NTF模型相比，本发明在RMSE上分别提升1.53%、4.33%、2.26%、2.27%、1.86%、1.81%、1.63%，在MAE上分别提升2.31%、5.15%、3.22%、3.75%、1.78%、1.19%、2.25%。从对比结果可知，本文模型性能相对于所有对比模型均有较大提升。本发明在RMSE和MAE上分别比LA-NTF提高1.63%和1.19%，这是由于LA-NTF缺乏广义矩阵分解与遮蔽注意力机制，广义矩阵分解能帮助模型更好地理解用户、项目、时间之间的深层关系，而遮蔽注意力机制能为评分过少的用户屏蔽大量空值信息的干扰。广义矩阵分解与遮蔽注意力机制使得模型能更高效地利用评分信息，因此效果提升较大。
综上，根据本发明提供的基于广义矩阵分解与遮蔽注意力的项目推荐方法，具有以下有益效果：
1) 通过广义矩阵分解为模型提供用户与项目、用户与时间、项目与时间的二阶交互信息，给予模型深层次的抽象特征，使其整体预测能力得以提升；
2) 部分项目序列和时间序列存在空值，在注意力机制过程中空值会占据一定的权重，从而影响项目与时间的特征提取，本发明通过将注意力进行遮蔽化，能够协助模型屏蔽空值的影响；
3) 本发明通过广义矩阵分解与遮蔽注意力提取用户-项目-时间的重要特征信息，预测用户评分，使得模型能更高效地利用评分信息，从而有效的为用户提供项目推荐列表。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (1)
1.一种基于广义矩阵分解与遮蔽注意力的项目推荐方法，其特征在于，应用于项目推荐模型，所述项目推荐模型包括特征编码层、广义矩阵分解层和神经张量分解层；
所述方法包括：
步骤1，对用户的历史交互项目记录进行重组，重新编号并依照时间顺序进行排序，从而生成项目编号序列和时间编号序列，项目编号序列和时间编号序列的长度相同；
步骤1中，通过查询用户按时间顺序排列的历史交互项目记录，得到序列长为/>的项目编号序列/>，/>分别为第1个、第2个、第/>个项目，依据时间进行纯数值逆向选取，得到序列长为/>的时间编号序列/>，/>、/>、/>分别为第1、第2、第/>时刻；
步骤2，对用户信息、项目编号序列、时间编号序列分别输入至特征编码层进行Embedding嵌入编码，以得到用户特征、项目特征向量序列、时间特征向量序列，将项目特征向量序列和时间特征向量序列输入至长短期记忆网络中，得到项目隐向量组和时间隐向量组，之后通过遮蔽注意力网络提取出项目隐藏状态向量和时间隐藏状态向量，再将项目隐藏状态向量和时间隐藏状态向量通过投影层调整维度，使项目隐藏状态向量和时间隐藏状态向量与用户特征对齐，从而形成项目投影特征与时间投影特征；
步骤2具体包括：
用户信息经特征编码层中的嵌入层形成维度的用户特征/>；
将项目编号序列输入至嵌入层，得到维度的项目特征向量序列/>，分别为第1个、第2个、第/>个项目特征向量；
将时间编号序列输入至嵌入层，得到维度的时间特征向量序列，/>，/>、/>分别为第1个、第2个、第/>个时间特征向量；
步骤2中，项目投影特征满足以下条件式：
；
；
；
；
其中，表示第一激活函数，/>为第一权重矩阵，/>为项目隐向量组，/>为第一偏置向量，/>是由长短期记忆网络的输出向量组成的第一矩阵，/>为第一权重向量，/>表示转置操作，/>是由非线性激活函数/>转化的第一状态矩阵，/>为遮蔽归一化函数，/>为第一训练参数向量，/>为记录的项目编号序列中空值的个数及位置信息；
步骤2中，时间投影特征满足以下条件式：
；
；
；
；
其中，表示第二激活函数，/>为第二权重矩阵，/>为时间隐向量组，/>为第二偏置向量，/>是由长短期记忆网络的输出向量组成的第二矩阵，/>为第二权重向量，/>表示转置操作，/>是由非线性激活函数/>转化的第二状态矩阵，/>为第二训练参数向量，/>为记录的时间编号序列中空值的个数及位置信息；
步骤3，将用户特征、项目投影特征、时间投影特征输入至广义矩阵分解层，生成用户与项目、用户与时间、项目与时间的二阶交互特征；
步骤3具体包括：
在广义矩阵分解层，将用户特征、项目投影特征/>、时间投影特征/>作为输入，学习得到用户、项目和时间三者间的二阶交互信息，如下式所示：
；
；
；
其中，、/>、/>分别是用户与项目、用户与时间、项目与时间的二阶交互向量，/>、、/>为第三激活函数，/>、/>、/>是第三权重矩阵，/>、/>、/>是第三偏置向量，/>表示点乘操作；
步骤4，对用户与项目、用户与时间、项目与时间的二阶交互特征，以及用户特征、项目投影特征、时间投影特征进行拼接，再输至神经张量分解层得到用户对项目的预测评分值；
步骤4满足以下条件式：
；
；
；
；
；
其中，表示在时间/>时，用户/>对项目/>的预测评分值；/>为第四激活函数；/>、/>、、/>为第四权重矩阵；/>表示隐藏层数；/>、/>、/>、/>为第四偏置向量，/>、/>、/>、/>为中间值；
步骤5：通过目标函数计算预测评分值与真实评分值间的损失，将损失最小化，再通过反向传播优化目标函数参数，完成算法收敛，进而得到最终的预测评分值，再根据最终的预测评分值向用户提供项目推荐列表；
步骤5中，目标函数损失最小化的表达式为：
；
其中，为采用Adam梯度下降法的损失最小化函数；/>表示在时间/>时，用户/>对项目/>的真实评分值；/>、/>、/>分别为用户、项目、时间的潜在因子矩阵，/>、/>、/>分别表示用户、项目、时间的总数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940554.9A CN116664253B (zh) | 2023-07-28 | 2023-07-28 | 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940554.9A CN116664253B (zh) | 2023-07-28 | 2023-07-28 | 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664253A CN116664253A (zh) | 2023-08-29 |
| CN116664253B true CN116664253B (zh) | 2023-10-24 |
Family
ID=87720962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310940554.9A Active CN116664253B (zh) | 2023-07-28 | 2023-07-28 | 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664253B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033948B (zh) * | 2023-10-08 | 2024-01-09 | 江西财经大学 | 一种基于特征交互信息和时间张量分解的项目推荐方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688585A (zh) * | 2019-09-25 | 2020-01-14 | 北京工业大学 | 一种基于神经网络和协同过滤的个性化电影推荐方法 |
| CN111582443A (zh) * | 2020-04-22 | 2020-08-25 | 成都信息工程大学 | 一种基于Mask机制和层次注意力机制的推荐方法 |
| CN112507663A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 基于文本的判断题生成方法、装置、电子设备及存储介质 |
| CN114492317A (zh) * | 2022-01-21 | 2022-05-13 | 天津大学 | 一种基于上下文衔接手段遮蔽框架系统 |
| CN116308685A (zh) * | 2023-05-18 | 2023-06-23 | 湖南工商大学 | 一种基于方面情感预测和协同过滤的产品推荐方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4091075A1 (en) * | 2020-03-16 | 2022-11-23 | Huawei Technologies Co., Ltd. | Generation of personalized recommendations |
| US11631338B2 (en) * | 2020-06-11 | 2023-04-18 | Act, Inc. | Deep knowledge tracing with transformers |
-
2023
- 2023-07-28 CN CN202310940554.9A patent/CN116664253B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688585A (zh) * | 2019-09-25 | 2020-01-14 | 北京工业大学 | 一种基于神经网络和协同过滤的个性化电影推荐方法 |
| CN111582443A (zh) * | 2020-04-22 | 2020-08-25 | 成都信息工程大学 | 一种基于Mask机制和层次注意力机制的推荐方法 |
| CN112507663A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 基于文本的判断题生成方法、装置、电子设备及存储介质 |
| CN114492317A (zh) * | 2022-01-21 | 2022-05-13 | 天津大学 | 一种基于上下文衔接手段遮蔽框架系统 |
| CN116308685A (zh) * | 2023-05-18 | 2023-06-23 | 湖南工商大学 | 一种基于方面情感预测和协同过滤的产品推荐方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Multi-scale Interest Dynamic Hierarchical Transformer for sequential recommendation;Nana Huang，et al.;《Neural Computing and Applications》;第34卷(第2022期);第16644页第1栏第1段至第16653页第2栏最后1段 * |
| 基于注意力机制的用户行为序列推荐研究;何晓明;《中国优秀硕士学位论文全文数据库 信息科技辑》(第10期);第19页第1段至第48页第1段 * |
| 基于混合深度降噪自编码器的电影推荐方法;曾强;《中国优秀硕士学位论文全文数据库哲学与人文科学辑》;第18页第1段至第41页第1段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664253A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A recommendation model based on deep neural network | |
| CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及系统 | |
| Liu et al. | Ragat: Relation aware graph attention network for knowledge graph completion | |
| Wang et al. | Reform: Error-aware few-shot knowledge graph completion | |
| CN113672811B (zh) | 一种基于拓扑信息嵌入的超图卷积协同过滤推荐方法、系统及计算机可读存储介质 | |
| CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
| CN108647226B (zh) | 一种基于变分自动编码器的混合推荐方法 | |
| Krichene et al. | Efficient training on very large corpora via gramian estimation | |
| CN113918833B (zh) | 通过社交网络关系的图卷积协同过滤实现的产品推荐方法 | |
| CN113918832B (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
| CN112231583B (zh) | 基于动态兴趣组标识和生成对抗网络的电商推荐方法 | |
| CN116664253B (zh) | 一种基于广义矩阵分解与遮蔽注意力的项目推荐方法 | |
| CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| CN112364242B (zh) | 针对上下文感知型的图卷积推荐系统 | |
| Wang et al. | A new approach for advertising CTR prediction based on deep neural network via attention mechanism | |
| Yu et al. | Spectrum-enhanced pairwise learning to rank | |
| Khan et al. | Generalized fractional strategy for recommender systems with chaotic ratings behavior | |
| Chen et al. | DCAP: Deep cross attentional product network for user response prediction | |
| CN113744023A (zh) | 一种基于图卷积网络的双通道协同过滤推荐方法 | |
| Qi et al. | Statistical analysis of fixed mini-batch gradient descent estimator | |
| CN114332472A (zh) | 一种基于图神经网络的数据处理方法及装置 | |
| Venkatesan et al. | Sentimental Analysis of Industry 4.0 Perspectives Using a Graph‐Based Bi‐LSTM CNN Model | |
| Thavasimani et al. | Deep learning techniques: A case study on comparative analysis of various optimizers to detect bots from CRESCI-2017 dataset | |
| Zhang et al. | HARPA: hierarchical attention with relation paths for knowledge graph embedding adversarial learning | |
| Chantamunee et al. | Relation-aware collaborative autoencoder for personalized multiple facet selection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |