CN113590964B - 一种基于异构建模的深层神经网络Top-N推荐方法 - Google Patents
一种基于异构建模的深层神经网络Top-N推荐方法 Download PDFInfo
- Publication number
- CN113590964B CN113590964B CN202110893029.7A CN202110893029A CN113590964B CN 113590964 B CN113590964 B CN 113590964B CN 202110893029 A CN202110893029 A CN 202110893029A CN 113590964 B CN113590964 B CN 113590964B
- Authority
- CN
- China
- Prior art keywords
- user
- model
- matrix
- item
- mfdnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 55
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 67
- 230000004913 activation Effects 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012821 model calculation Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及深度学习和智能推荐技术领域，具体涉及一种基于异构建模的深层神经网络Top‑N推荐方法，包括：数据获取构建，得到用户与物品的交互信息；将原始推荐用的异构信息网络,即用户物品评分网络通过构造元路径生成增强的显示和隐式反馈矩阵；MFDNN模型进行信息分析，即将所得到的显示反馈信息和隐式反馈信息输入MFDNN模型进行信息分析预测缺失的用户‑项目交互评分值；将MFDNN模型最终训练得到的用户物品向量嵌入输入到MFDNN模型，得到评分，进行排序输出；将MFDNN模型最终预测的用户对物品的评分与真实的用户评分进行对比，得出模型的效果；本发明能有效准确解决用户在海量的信息中寻找自己喜欢的信息问题。
Description
技术领域
本发明涉及深度学习和智能推荐技术领域，具体涉及一种基于异构建模的深层神经网络Top-N推荐方法。
背景技术
“大数据”一词已经广为人知，世界逐步进入了“大数据时代”。随着信息量的快速增长，许多用户在寻找关于学习资源、电影、音乐、热门事件和其他领域的信息时，都求助于推荐算法。虽然各种互联网应用程序生成的数据包含丰富的信息，但对这些数据的无效管理会导致信息过载等问题。
为了处理网络中的海量信息，建模技术在快速准确地找到最受欢迎的信息方面具有巨大的潜力；然而，现存的问题：1.大量的异构信息网络数据隐藏了物品的全面和详细的信息。因此，挖掘和分析异构信息网络中的有价值的信息是一个关键的挑战；2.异构信息网络的快速扩展产生了越来越多的数据，例如各种各样的用户特征，如何利用这些功能来构建统一的Top-N推荐模型是一个关键的问题；3.实际上，很难组合和测量物品的所有特征来产生HIN推荐。考虑所有的特征可能需要大量的时间，并导致过度拟合的问题，因此，在异构信息网络中的要合理的选择特征。
面对传统的推荐算法的缺点，如何有效全面捕捉用户偏好，提高推荐性能成了一个待解决的问题。因此，有必要提出一种能够更全面地获得用户的偏好信息和物品的潜在特征，有效的提高推荐的准确性、新颖性和多样性的推荐算法。
部分专业术语解释：
异构信息网络简称：HIN；HIN：异质信息网络G＝(V,E)包括不同类型的对象和关系，每个对象属于一个特定的对象类型，每个关系属于一个特定的关系类型。比如说文献网络、社交媒体网络等。
发明内容
针对上述的缺陷，本发明解决如何有效全面捕捉用户偏好，提高推荐性能，提高推荐的准确性、新颖性和多样性。
实现上述目的，本发明提供如下技术方案：
一种基于异构建模的深层神经网络Top-N推荐算法，包括如下步骤：
S1、数据获取构建，得到用户与物品的交互信息；
S2、将原始推荐用的异构信息网络,即用户物品评分网络通过构造元路径生成增强的显示和隐式反馈矩阵；
S3、MFDNN模型进行信息分析，即将所得到的显示反馈信息和隐式反馈信息输入MFDNN模型进行信息分析预测缺失的用户-项目交互评分值；
S4、将MFDNN模型最终训练得到的用户物品向量嵌入输入到MFDNN模型，得到评分，进行排序输出；
S5、将MFDNN模型最终预测的用户对物品的评分与真实的用户评分进行对比，得出模型的效果。
本发明技术方案的进一步改进在于：S2中包括如下步骤：
S2.1、将原始用户物品评分数据u,r,i中的评分r设置一个阈值T，高于阈值的交互认为是训练时的正样本，低于这个阈值的认为是训练时的负样本；
步骤S2.1包括如下步骤：
S2.1.1、阈值T的设置可以采用统计方法，统计所有的评分数据，选取所有数据的平均数，或者中位数,具体的选取可以将阈值T作为模型的一个超参数，根据整体效果调节；
S2.1.2、正样本是指包含较多用户喜欢信息的样本,负样本是指包含较多用户不喜欢信息的样本；
S2.2、按照评分阈值T与设计的元路径生成隐式反馈矩阵；
步骤S2.2包括如下步骤：
S2.2.1、初始化一个全0的m,n矩阵R-，其中m是用户数，n是物品数；
S2.2.2、遍历所有的用户物品评分对u,r,i,如果评分r<T，在对应的矩阵R-中设置为-1，代表是负样本；如果评分r>T,在对应的矩阵R-中设置为1，代表是正样本；
S2.2.3、定义带权重的元路径P1＝{U(r)I(r)U(r)I|r<T},代表对同一个物品同样不喜欢的用户，对于另一个不喜欢的物品同样不喜欢,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户不喜欢的物品；
S2.2.4、遍历每个用户u，按照元路径P1，找到用户不喜欢的物品i，在矩阵R-中按一个填充比例p在对应(u,i)位置设置-1；
S2.2.5、定义带权重的元路径P2＝{U(r)I(r)U(r)(I)|r>T},代表对同一个物品同样喜欢的用户，对于另一个喜欢的物品同样喜欢,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户喜欢的物品；
S2.2.6、遍历每个用户u，按照元路径P2，找到用户喜欢的物品i，在矩阵R-中按一个比例p在对应(u,i)位置设置1；
S2.3、按照评分阈值T与设计的元路径生成显式反馈矩阵；
步骤S2.3包括如下步骤：
S2.3.1、初始化一个全0的m,n矩阵R+，其中m是用户数，n是物品数；
S2.3.2、遍历所有的用户物品评分对u,r,i，在对应的矩阵R+中设置值为r；
S2.3.3、定义带权重的元路径P3＝{U(r)I(r)U(r)I},代表对同一个物品有同样评分的用户，对于另一个物品有同样的评分,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户评分的物品；
S2.3.4、遍历每个用户u，按照元路径P3，找到用户可能评分的物品i，在矩阵R+中按一个比例p在对应u,i位置设置为r。
本发明技术方案的进一步改进在于：S3包括如下步骤：
S3.1、将得到的用户-物品交互矩阵也就是隐式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出隐式反馈信息预测值；
步骤S3.1包括如下步骤：
S3.1.1、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中,
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S3.1.2、
和
分别用于MF模型和DNN模型训练；
步骤S3.1.2包括如下步骤：
S3.1.2.1、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
步骤S3.1.2.1包括如下步骤：
S3.1.2.1.1、通过MF来学习用户和物品的潜在特征的线性组合；
S3.1.2.1.2、计算
和
的内积作为预测值，公式如下：
其中,K表示潜在空间的维度，我们设置为10；
S3.1.2.1.3、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力,我们把第一层MF的映射函数定义为：
其中,⊕表示向量的元素乘积；
S3.1.2.1.4、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中,αout是激活函数,考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3.1.2.2、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值；
其中,
是用户u对物品i通过DNN模型训练预测的预测值；
步骤S3.1.2.2包括如下步骤：
S3.1.2.2.1、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S3.1.2.2.2、以同样的方式，计算第二层的结果，公式如下：
其中,
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S3.1.2.2.3、计算第N层的结果，公式如下：
S3.1.2.2.4、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新,计算最终DNN模型的显式预测结果
公式如下：
其中,α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3.1.2.3、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中,σ为激活函数；
S3.2、将得到的用户-物品评分矩阵也就是显式式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出显式反馈信息预测值；
步骤S3.2包括如下步骤：
S3.2.1、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中,
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S3.2.2、
和
分别用于MF模型和DNN模型训练；
步骤S3.2.2包括如下步骤：
S3.2.2.1、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
步骤S3.2.2.1包括如下步骤：
S3.2.2.1.1、通过MF来学习用户和物品的潜在特征的线性组合；
S3.2.2.1.2、计算
和
的内积作为预测值，公式如下：
其中,K表示潜在空间的维度，我们设置为10；
S3.2.2.1.3、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力,我们把第一层MF的映射函数定义为：
其中,⊕表示向量的元素乘积；
S3.2.2.1.4、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中,αout是激活函数，考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3.2.2.2、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值；
其中,
是用户u对物品i通过DNN模型训练预测的预测值；
步骤S3.1.2.2包括如下步骤：
S3.2.2.2.1、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S3.2.2.2.2、以同样的方式，计算第二层的结果，公式如下：
其中,
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S3.2.2.2.3、计算第N层的结果，公式如下：
S3.2.2.2.4、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新,计算最终DNN模型的显式预测结果
公式如下：
其中,α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3.2.2.3、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中,σ为激活函数；
S3.3、计算最终的用户物品预测结果；
步骤S3.3包括如下步骤：
S3.3.1、计算最终用户项目预测结果，公式如下：
其中，ω1+ω2＝1，ω1是隐式反馈的权重，ω2是显式反馈的权重，
是隐式预测结果，
是显式预测结果。
本发明技术方案的进一步改进在于：S4包括如下步骤：
S4.1、针对某一用户推荐Top-N个物品，取得这个用户对应的嵌入表示向量；
S4.2、遍历所有物品，取得物品的嵌入向量表示；
S4.3、将用户与每个物品的嵌入向量表示输入MFDNN模型中的MF部分；
S4.4、得到MF的用户对这个物品的预测评分；
S4.5、将用户与每个物品的嵌入向量表示输入MFDNN模型中的DNN部分；
S4.6、得到DNN的用户对这个物品的预测评分；
S4.7、融合MF与DNN输出的同一用户对同一物品的评分，得到最终这个用户对这个物品的评分；
S4.8、针对每个用户对所有物品的评分进行排序，输出每个用户评分最高的N个物品。
本发明技术方案的进一步改进在于：S5包括如下步骤：
S5.1、取得测试集的MFDNN预测的评分数据；
S5.2、取得测试集的真实评分数据；
S5.3、通过HR(命中率)评估指标评估，公式为：
其中,N表示用户的总数量，hits(i):第i个用户访问的值是否在推荐列表中，是则为1，否则为0；
S5.4、通过NDCG(标准化折扣累积增益)评估指标评估，公式为：
其中,N代表用户的总数量，pi表示第i个用户真实访问值在推荐列表的位置。
与现有技术相比，本发明提供的一种基于异构建模的深层神经网络Top-N推荐方法有益效果如下：
1.本发明提供一种基于异构建模的深层神经网络Top-N推荐方法，该算法采用元路径的选择以及先进MFDNN模型技术，推荐效果极佳，能有效准确解决用户在海量的信息中寻找自己喜欢的信息问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于异构建模的深层神经网络Top-N推荐算法的流程图。
图2为本发明的MFDNN的算法框架图。
图3为本发明的整体框架图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-3所示，本发明基于异构建模的深层神经网络Top-N推荐方法，包括如下步骤：
S1、数据获取构建，得到用户与物品的交互信息；
S2、将原始推荐用的异构信息网络(HIN),即用户物品评分网络通过构造元路径生成增强的显示和隐式反馈矩阵；
步骤S2的具体过程为：
S21、将原始用户物品评分数据(u,r,i)中的评分设置一个阈值T，高于阈值的交互认为是训练时的正样本，低于这个阈值的认为是训练时的负样本；
步骤S21的具体过程为：
S211、阈值T的设置可以采用统计方法，统计所有的评分数据，选取所有数据的平均数，或者中位数。具体的选取可以将阈值T作为模型的一个超参数，根据整体效果调节；
S212、正样本是指包含较多用户喜欢信息的样本，负样本是指包含较多用户不喜欢信息的样本；
S22、按照评分阈值T与设计的元路径生成隐式反馈矩阵；
步骤S22的具体过程为：
S221、初始化一个全0的(m,n)矩阵R-，其中m是用户数，n是物品数；
S222、遍历所有的用户物品评分对(u,r,i),如果评分r<T，在对应的矩阵R-中设置为-1，代表是负样本；如果评分r>T,在对应的矩阵R-中设置为1，代表是正样本；
S223、定义带权重的元路径P1＝{U(r)I(r)U(r)I|r<T},代表对同一个物品同样不喜欢的用户，对于另一个不喜欢的物品同样不喜欢，通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户不喜欢的物品；
S224、遍历每个用户u，按照元路径P1，找到用户不喜欢的物品i，在矩阵R-中按一个比例p在对应(u,i)位置设置为-1；
S225、定义带权重的元路径P2＝{U(r)I(r)U(r)I|r>T},代表对同一个物品同样喜欢的用户，对于另一个喜欢的物品同样喜欢，通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户喜欢的物品；
S226、遍历每个用户u，按照元路径P2，找到用户喜欢的物品i，在矩阵R-中按一个比例p在对应(u,i)位置设置为1；
S23、按照评分阈值T与设计的元路径生成显式反馈矩阵；
步骤S23的具体过程为：
S231、初始化一个全0的(m,n)矩阵R+，其中m是用户数，n是物品数；
S232、遍历所有的用户物品评分对(u,r,i)，在对应的矩阵R+中设置值为r；
S233、定义带权重的元路径P3＝{U(r)I(r)U(r)I},代表对同一个物品有同样评分的用户，对于另一个物品有同样的评分，通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户评分的物品；
S234、遍历每个用户u，按照元路径P3，找到用户可能评分的物品i，在矩阵R+中按一个比例p在对应(u,i)位置设置为r；
S3、MFDNN模型进行信息分析，即将所得到的显示反馈信息和隐式反馈信息输入MFDNN模型进行信息分析预测缺失的用户-物品交互评分值；
进一步的，步骤S3的具体过程为：
S31、将得到的用户-物品交互矩阵也就是隐式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出隐式反馈信息预测值；
进一步的，步骤S31的具体过程为；
S311、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S312、
和
分别用于MF模型和DNN模型训练；
进一步的，步骤S312的具体过程为：
S3121、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
进一步的，步骤S3121的具体过程为：
S31211、通过MF来学习用户和物品的潜在特征的线性组合；
S31212、计算
和
的内积作为预测值，公式如下：
其中K表示潜在空间的维度，我们设置为10；
S31213、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力。我们把第一层MF的映射函数定义为：
其中⊕表示向量的元素乘积；
S31214、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中αout是激活函数。考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3122、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值；
其中
是用户u对物品i通过DNN模型训练预测的预测值；
进一步的，步骤S3122的具体过程为:
S31221、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S31222、以同样的方式，计算第二层的结果，公式如下：
其中
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S31223、计算第N层的结果，公式如下：
S31224、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新。计算最终DNN模型的显式预测结果
公式如下：
其中α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3123、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中σ为激活函数；
S32、将得到的用户-物品评分矩阵也就是显式式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出显式反馈信息预测值；
进一步的，步骤S32的具体过程为；
S321、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S322、
和
分别用于MF模型和DNN模型训练；
进一步的，步骤S322的具体过程为：
S3221、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
进一步的，步骤S3221的具体过程为：
S32211、通过MF来学习用户和物品的潜在特征的线性组合；
S32212、计算
和
的内积作为预测值，公式如下：
其中K表示潜在空间的维度，我们设置为10；
S32213、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力。我们把第一层MF的映射函数定义为：
其中⊕表示向量的元素乘积；
S32214、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中αout是激活函数。考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3222、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值
其中
是用户u对物品i通过DNN模型训练预测的预测值；
进一步的，步骤S3122的具体过程为:
S32221、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S32222、以同样的方式，计算第二层的结果，公式如下：
其中
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S32223、计算第N层的结果，公式如下：
S32224、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新。计算最终DNN模型的显式预测结果
公式如下：
其中α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3223、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中σ为激活函数；
S33计算最终的用户物品预测结果；
进一步的，步骤S33的具体过程为:
S331计算最终用户项目预测结果，公式如下：
其中，ω1+ω2＝1，ω1是隐式反馈的权重，ω2是显式反馈的权重，
是隐式预测结果，
是显式预测结果；
S4、将MFDNN模型最终训练得到的用户物品向量嵌入输入到MFDNN模型，得到评分，进行排序输出；
进一步的，步骤S4的具体过程为：
S41、针对某一用户推荐Top N个物品，取得这个用户对应的嵌入表示向量；
S42、遍历所有物品，取得物品的嵌入向量表示；
S43、将用户与每个物品的嵌入向量表示输入MFDNN模型中的MF部分；
S44、得到MF的用户对这个物品的预测评分；
S45、将用户与每个物品的嵌入向量表示输入MFDNN模型中的DNN部分；
S46、得到DNN的用户对这个物品的预测评分；
S47、融合MF与DNN输出的同一用户对同一物品的评分，得到最终这个用户对这个物品的评分；
S48、针对每个用户对所有物品的评分进行排序，输出每个用户评分最高的N个物品；
S5、将MFDNN模型最终预测的用户对物品的评分与真实的用户评分进行对比，得出模型的效果；
进一步的，步骤S5的具体过程为：
S51、取得测试集的MFDNN预测的评分数据；
S52、取得测试集的真实评分数据；
S53、通过HR(命中率)评估指标评估，公式为：
其中N表示用户的总数量，hits(i):第i个用户访问的值是否在推荐列表中，是则为1，否则为0
S54、通过NDCG(标准化折扣累积增益)评估指标评估，公式为：
其中N代表用户的总数量，pi表示第i个用户真实访问值在推荐列表的位置。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明装置权利要求书确定的保护范围内。
Claims (4)
1.一种基于异构建模的深层神经网络Top-N推荐方法，其特征在于，包括如下步骤：
S1、数据获取构建，得到用户与物品的交互信息；
S2、将原始推荐用的异构信息网络,即用户物品评分网络通过构造元路径生成增强的显示和隐式反馈矩阵；
S3、MFDNN模型进行信息分析，即将所得到的显示反馈信息和隐式反馈信息输入MFDNN模型进行信息分析预测缺失的用户-项目交互评分值，S3包括如下步骤：
S3.1、将得到的用户-物品交互矩阵也就是隐式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出隐式反馈信息预测值；
步骤S3.1包括如下步骤：
S3.1.1、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中,
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S3.1.2、
和
分别用于MF模型和DNN模型训练；
步骤S3.1.2包括如下步骤：
S3.1.2.1、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
步骤S3.1.2.1包括如下步骤：
S3.1.2.1.1、通过MF来学习用户和物品的潜在特征的线性组合；
S3.1.2.1.2、计算
和
的内积作为预测值，公式如下：
其中,K表示潜在空间的维度，我们设置为10；
S3.1.2.1.3、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力,我们把第一层MF的映射函数定义为：
其中,
表示向量的元素乘积；
S3.1.2.1.4、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中,αout是激活函数,考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3.1.2.2、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值；
其中,
是用户u对物品i通过DNN模型训练预测的预测值；
步骤S3.1.2.2包括如下步骤：
S3.1.2.2.1、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S3.1.2.2.2、以同样的方式，计算第二层的结果，公式如下：
其中,
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S3.1.2.2.3、计算第N层的结果，公式如下：
S3.1.2.2.4、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新,计算最终DNN模型的显式预测结果
公式如下：
其中,α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3.1.2.3、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中,σ为激活函数；
S3.2、将得到的用户-物品评分矩阵也就是显式式反馈信息矩阵作为MFDNN模型的输入通过MFDNN模型的训练预测出显式反馈信息预测值；
步骤S3.2包括如下步骤：
S3.2.1、将输入层的系数表示映射为稠密的特征向量中作为嵌入层，即
嵌入层采用全连接的方式；
其中,
为MF的用户嵌入，
为MF的物品嵌入，
为DNN模型的用户嵌入，
为DNN模型的物品嵌入；
S3.2.2、
和
分别用于MF模型和DNN模型训练；
步骤S3.2.2包括如下步骤：
S3.2.2.1、MF模型计算显式信息用户u对物品i的预测值
填充用户-物品矩阵的缺失值；
步骤S3.2.2.1包括如下步骤：
S3.2.2.1.1、通过MF来学习用户和物品的潜在特征的线性组合；
S3.2.2.1.2、计算
和
的内积作为预测值，公式如下：
其中,K表示潜在空间的维度，我们设置为10；
S3.2.2.1.3、在低维潜在空间中使用简单内积来估计复杂的用户-物品交互会限制MF的表达，并影响模型的泛化能力,我们把第一层MF的映射函数定义为：
其中,
表示向量的元素乘积；
S3.2.2.1.4、然后使用相同的权重将特征向量线性组合，计算预测信息
公式如下：
其中,αout是激活函数，考虑到收敛速度，我们使用ReLU(线性整流)函数作为激活函数，定义为max(0，x)；hT是权重向量；
S3.2.2.2、DNN模型计算隐式反馈预测信息
填充用户-物品矩阵的缺失值；
其中,
是用户u对物品i通过DNN模型训练预测的预测值；
步骤S3.1.2.2包括如下步骤：
S3.2.2.2.1、计算
和
的内积来计算嵌入层的数据来获得第一层的数据，公式如下：
S3.2.2.2.2、以同样的方式，计算第二层的结果，公式如下：
其中,
和b2分别是权重矩阵和偏置向量，α2是激活函数，将ReLU函数作为激活函数；
S3.2.2.2.3、计算第N层的结果，公式如下：
S3.2.2.2.4、对于DNN的每一层的连接权重和偏置向量使用Adam算法更新,计算最终DNN模型的显式预测结果
公式如下：
其中,α为激活函数，H为隐藏层数，W|H|+1和b|H|+1分别为权重矩阵和偏置向量，我们选择了ReLU函数作为激活函数；
S3.2.2.3、将MF模型和DNN模型得到的预测结果
和
通过sigmoid激活函数将其求和，计算公式如下：
其中,σ为激活函数；
S3.3、计算最终的用户物品预测结果；
步骤S3.3包括如下步骤：
S3.3.1、计算最终用户项目预测结果，公式如下：
其中，ω1+ω2＝1，ω1是隐式反馈的权重，ω2是显式反馈的权重，
是隐式预测结果，
是显式预测结果；
S4、将MFDNN模型最终训练得到的用户物品向量嵌入到MFDNN模型，得到评分，进行排序输出；
S5、将MFDNN模型最终预测的用户对物品的评分与真实的用户评分进行对比，得出模型的效果。
2.根据权利要求1所述的一种基于异构建模的深层神经网络Top-N推荐方法，其特征在于：S2中包括如下步骤：
S2.1、将原始用户物品评分数据u,r,i中的评分r设置一个阈值T，高于阈值的交互认为是训练时的正样本，低于这个阈值的认为是训练时的负样本；
步骤S2.1包括如下步骤：
S2.1.1、阈值T的设置可以采用统计方法，统计所有的评分数据，选取所有数据的平均数，或者中位数,具体的选取可以将阈值T作为模型的一个超参数，根据整体效果调节；
S2.1.2、正样本是指包含较多用户喜欢信息的样本,负样本是指包含较多用户不喜欢信息的样本；
S2.2、按照评分阈值T与设计的元路径生成隐式反馈矩阵；
步骤S2.2包括如下步骤：
S2.2.1、初始化一个全0的m,n矩阵R-，其中m是用户数，n是物品数；
S2.2.2、遍历所有的用户物品评分对u,r,i,如果评分r<T，在对应的矩阵R-中设置为-1，代表是负样本；如果评分r>T,在对应的矩阵R-中设置为1，代表是正样本；
S2.2.3、定义带权重的元路径P1＝{U(r)I(r)U(r)I|r<T},代表对同一个物品同样不喜欢的用户，对于另一个不喜欢的物品同样不喜欢,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户不喜欢的物品；
S2.2.4、遍历每个用户u，按照元路径P1，找到用户不喜欢的物品i，在矩阵R-中按一个填充比例p在对应(u,i)位置设置-1；
S2.2.5、定义带权重的元路径P2＝{U(r)I(r)U(r)(I)|r>T},代表对同一个物品同样喜欢的用户，对于另一个喜欢的物品同样喜欢,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户喜欢的物品；
S2.2.6、遍历每个用户u，按照元路径P2，找到用户喜欢的物品i，在矩阵R-中按一个比例p在对应(u,i)位置设置1；
S2.3、按照评分阈值T与设计的元路径生成显式反馈矩阵；
步骤S2.3包括如下步骤：
S2.3.1、初始化一个全0的m,n矩阵R+，其中m是用户数，n是物品数；
S2.3.2、遍历所有的用户物品评分对u,r,i，在对应的矩阵R+中设置值为r；
S2.3.3、定义带权重的元路径P3＝{U(r)I(r)U(r)I},代表对同一个物品有同样评分的用户，对于另一个物品有同样的评分,通过这种元路径的设计，可以在没有被用户评分的物品中发现更多用户评分的物品；
S2.3.4、遍历每个用户u，按照元路径P3，找到用户可能评分的物品i，在矩阵R+中按一个比例p在对应u,i位置设置为r。
3.根据权利要求1所述的一种基于异构建模的深层神经网络Top-N推荐方法，其特征在于，S4包括如下步骤：
S4.1、针对某一用户推荐Top-N个物品，取得这个用户对应的嵌入表示向量；
S4.2、遍历所有物品，取得物品的嵌入向量表示；
S4.3、将用户与每个物品的嵌入向量表示输入MFDNN模型中的MF部分；
S4.4、得到MF的用户对这个物品的预测评分；
S4.5、将用户与每个物品的嵌入向量表示输入MFDNN模型中的DNN部分；
S4.6、得到DNN的用户对这个物品的预测评分；
S4.7、融合MF与DNN输出的同一用户对同一物品的评分，得到最终这个用户对这个物品的评分；
S4.8、针对每个用户对所有物品的评分进行排序，输出每个用户评分最高的N个物品。
4.根据权利要求1所述的一种基于异构建模的深层神经网络Top-N推荐方法，其特征在于，S5包括如下步骤：
S5.1、取得测试集的MFDNN预测的评分数据；
S5.2、取得测试集的真实评分数据；
S5.3、通过HR(命中率)评估指标评估，公式为：
其中,N表示用户的总数量，hits(i):第i个用户访问的值是否在推荐列表中，是则为1，否则为0；
S5.4、通过NDCG(标准化折扣累积增益)评估指标评估，公式为：
其中,N代表用户的总数量，pi表示第i个用户真实访问值在推荐列表的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893029.7A CN113590964B (zh) | 2021-08-04 | 2021-08-04 | 一种基于异构建模的深层神经网络Top-N推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893029.7A CN113590964B (zh) | 2021-08-04 | 2021-08-04 | 一种基于异构建模的深层神经网络Top-N推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113590964A CN113590964A (zh) | 2021-11-02 |
| CN113590964B true CN113590964B (zh) | 2023-05-23 |
Family
ID=78255160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110893029.7A Active CN113590964B (zh) | 2021-08-04 | 2021-08-04 | 一种基于异构建模的深层神经网络Top-N推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113590964B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114662010A (zh) * | 2022-03-16 | 2022-06-24 | 重庆邮电大学 | 一种基于多任务学习的显隐式协同过滤推荐方法 |
| CN115098787B (zh) * | 2022-07-21 | 2024-04-19 | 西安电子科技大学 | 基于余弦排名损失和虚拟边图神经网络的物品推荐方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
| CN110059262A (zh) * | 2019-04-19 | 2019-07-26 | 武汉大学 | 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法 |
| CN110188283A (zh) * | 2019-06-05 | 2019-08-30 | 中国人民解放军国防科技大学 | 一种基于联合神经网络协同过滤的信息推荐方法及其系统 |
| US10824940B1 (en) * | 2016-11-30 | 2020-11-03 | Amazon Technologies, Inc. | Temporal ensemble of machine learning models trained during different time intervals |
-
2021
- 2021-08-04 CN CN202110893029.7A patent/CN113590964B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10824940B1 (en) * | 2016-11-30 | 2020-11-03 | Amazon Technologies, Inc. | Temporal ensemble of machine learning models trained during different time intervals |
| CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
| CN110059262A (zh) * | 2019-04-19 | 2019-07-26 | 武汉大学 | 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法 |
| CN110188283A (zh) * | 2019-06-05 | 2019-08-30 | 中国人民解放军国防科技大学 | 一种基于联合神经网络协同过滤的信息推荐方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于用户评论的深度情感分析和多视图协同融合的混合推荐方法;张宜浩;朱小飞;徐传运;董世都;;计算机学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113590964A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及系统 | |
| CN111177575A (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
| CN113590964B (zh) | 一种基于异构建模的深层神经网络Top-N推荐方法 | |
| CN112765480B (zh) | 一种信息推送方法、装置及计算机可读存储介质 | |
| CN106649658B (zh) | 针对用户角色无差异对待和数据稀疏的推荐系统及方法 | |
| CN112597392B (zh) | 一种基于动态注意力和分层强化学习的推荐系统 | |
| CN112364976A (zh) | 基于会话推荐系统的用户偏好预测方法 | |
| CN109471982B (zh) | 一种基于用户和服务聚类QoS感知的Web服务推荐方法 | |
| CN112700274A (zh) | 一种基于用户偏好的广告点击率预估方法 | |
| CN111753209A (zh) | 一种基于改进时序卷积网络的序列推荐列表生成方法 | |
| CN116304279B (zh) | 基于图神经网络的用户偏好演化主动感知方法及系统 | |
| CN114662015A (zh) | 一种基于深度强化学习的兴趣点推荐方法及系统 | |
| CN114969533A (zh) | 一种基于用户长短期偏好的序列推荐方法 | |
| Chen et al. | A Generalized Nesterov's Accelerated Gradient-Incorporated Non-Negative Latent-Factorization-of-Tensors Model for Efficient Representation to Dynamic QoS Data | |
| CN115510322A (zh) | 一种基于深度学习的多目标优化推荐方法 | |
| CN113449182B (zh) | 一种知识信息个性化推荐方法及系统 | |
| CN117408735A (zh) | 一种基于物联网的客户管理方法及系统 | |
| CN114021011A (zh) | 一种基于自注意力机制的下一个兴趣点推荐方法 | |
| CN114841778B (zh) | 一种基于动态图神经网络的商品推荐方法 | |
| CN114417166B (zh) | 基于行为序列和动态社交影响的连续兴趣点推荐方法 | |
| CN115687757A (zh) | 融合层次注意与特征交互的推荐方法及其应用系统 | |
| CN111460318B (zh) | 基于显性和隐性信任的协同过滤推荐方法 | |
| CN113987363A (zh) | 一种基于隐因子预测的冷启动推荐算法 | |
| Liu | Restricted Boltzmann machine collaborative filtering recommendation algorithm based on project tag improvement | |
| CN114117251B (zh) | 一种智慧文博下融合多因素的矩阵分解个性化推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |