CN110968794B - 一种基于二元信息网络的多视角注意力推荐方法 - Google Patents
一种基于二元信息网络的多视角注意力推荐方法 Download PDFInfo
- Publication number
- CN110968794B CN110968794B CN201911114426.9A CN201911114426A CN110968794B CN 110968794 B CN110968794 B CN 110968794B CN 201911114426 A CN201911114426 A CN 201911114426A CN 110968794 B CN110968794 B CN 110968794B
- Authority
- CN
- China
- Prior art keywords
- path
- vector
- commodity
- user
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 239000013598 vector Substances 0.000 claims abstract description 163
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 239000012535 impurity Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于二元信息网络的多视角注意力推荐算法，该算法从二元信息网络中生成高质量的、从目标用户到目标商品间的多条路径；对生成路径采用CNN和max‑pooling操作，提取对应的路径向量；将生成的多种路径向量通过attention机制进行加权合并，得到一个可以对应目标用户和目标商品对的路径合并向量；同样通过attention操作，利用S3生成的对应路径合并向量更新用户向量和商品向量；将生成的路径合并向量、用户向量和商品向量进行拼接，传输到多层感知机进行训练，即可获得最后的打分预测。
Description
技术领域
本发明涉及图神经网络领域，更具体地，涉及一种基于二元信息网络的多视角注意力推荐方法。
背景技术
近年来，随着互联网经济的蓬勃发展，推荐算法被应用到人们生活中的方方面面，如何高效地实现面向用户的个性化推荐成了很多企业的一个重要研究方向。在常用的推荐算法中，有一种方法被应用到大多数场景中，那就是协同过滤算法，它又可以分为基于内容的协同过滤（例如基于用户或者商品的KNN算法）和基于模拟交互行为的协同过滤（例如基于矩阵分解的协同过滤），其中后者效果尤为明显，它在得到大量的关注的同时，也被发现存在一个很大的问题，即如何更好的模拟用户与商品的交互信息，例如矩阵分解算法采用矩阵点乘方式进行模拟，该方法在模拟非线性关系时表现较差。而随着神经网络的兴起，多层感知机被应用到协同过滤算法中，其中就诞生了基于神经网络的矩阵分解推荐算法，采用该算法后，之前提到的问题得到很大的缓解。
但是，基于这种模拟交互行为的协同过滤仍存在一个问题—没有对用户与商品交互行为进行深层次的挖掘与利用。例如，在一个只由用户与商品的交互信息组成的关系网中，在和/>之间可能存在一条连接路径为/>，这条路径表示了/>可能对/>更感兴趣，因为和/>购买过相同商品的/>也购买过/>。这样的信息即可以理解为用户与商品交互行为中所蕴含的深层次信息，它们显然是普遍存在的，而前面提到的协同过滤算法是无法考虑到这些信息的。
发明内容
本发明提供一种推荐效果较好的基于二元信息网络的多视角注意力推荐方法。
为了达到上述技术效果，本发明的技术方案如下：
一种基于二元信息网络的多视角注意力推荐方法，包括以下步骤：
S1：从二元信息网络中生成高质量的、从目标用户到目标商品间的多条路径；
S2：对生成路径采用CNN和max-pooling操作，提取对应的路径向量；
S3：将生成的多种路径向量通过attention机制进行加权合并，得到一个可以对应目标用户和目标商品对的路径组合并向量；
S4：同样通过attention操作，利用S3生成的对应路径合并向量更新用户向量和商品向量；
S5：将S3和S4生成的路径合并向量、用户向量和商品向量进行拼接，传输到多层感知机进行训练，即可获得最后的打分预测。
进一步地，所述步骤S1的具体过程是：
S11：进行数据预处理，通过用户商品交互矩阵生成用户-用户相似矩阵和商品-商品相似矩阵，在利用BPR-MF模型生成用户矩阵和商品矩阵，两个矩阵包含每个用户和商品对应的隐向量，设该向量长度为d；
S12：首先确定要生成的路径的起点与终点，即目标用户和目标商品，然后决定生成的路径蕴含的条数，一般选用3跳路径，即一条路径包含4个点，根据已有信息，可以得知3跳路径有4种可能组合：，/>，/>，/>，其中，/>表示用户，/>表示商品；
S13：在计算其中一种组合路径的所有候选路径的相似度之后，设定合适的阈值后，将相似度低于阈值的杂质路径过滤掉，剩余路径可根据路径相似度排序选出前5个路径出来作为该种组合下的候选路径组；
S14：重复步骤S13，得到4种组合路径下的候选路径组，每组都至多有5条候选路径。
进一步地，步骤S13中计算每条符合条件的路径的相似度的的过程是：
1）、设路径中每条边对应的两个点和/>向量之间余弦相似度为/>，计算出路径中所有边的相似度后对其的平均值，设为/>，那么边/>的相似度/>可用如下公式求得：
；
2）、求边的置信度/>，即计算边起点/>的出度/>和终点/>的入度，/>大，意味着该点的出度边较多，每条边的重要性较低，相反则意味着每条边重要性较大；以此类推，/>小，意味着每条入度边的重要性较大，即/>和/>的大小与边的置信度呈现反相关，通过试验，用如下公式来模拟该关系：
；
3）、将边的相似度乘以边的置信值/>即可得到该边的相似度，将3条边的相似度相加得到对应路径的相似度V(p)，路径相似度公式如下所示：
；
4）、之后选取前5个V(p)最大的路径作为对应路径组的候选路径即可。
进一步地，所述步骤S2的具体过程是：
S21：将每种组合路径下的5条候选路径分别转化为5个路径矩阵，将其中一条路径中每一个点对应的d维向量选出来，再对其进行纵向拼接成一个4*d矩阵，然后采用CNN对该矩阵进行信息提取获得对应一条路径的特征向量/>；
S22：采用同样的方法即可获得同一种路径组合下的5条候选路径所对应的5个路径向量，再采用max-pooling操作对其进行信息合并，即可获得一组路径组合所对应的路径向量；具体计算公式如下：
；
S23：重复S21和S23，就可获得4组不同的路径组合对应的4种不同的路径向量，称其为路径组合并向量。
进一步地，所述步骤S3的具体过程如下：
S31：利用神经网络训练出两个生成矩阵，用于生成对应目标用户的向量和目标商品的向量；
S32：将生成的用户向量与每一组路径组向量(和/>)进行点乘，将得到的4组点乘结果进行softmax 操作得到每组路径组向量对应权重，再进行加权求和，即可把实现到用户影响加入到路径组向量合并过程中，得到第一路径合并向量；
S33：类似与S32，将用户向量代替为商品向量，用相同算法就可以得到考虑到商品影响后的第二路径合并向量；
S34：之后将S32得到的第一路径合并向量加上S33的第二路径合并向量，即可得到最终的合并向量，称其为路径组合并向量，它有综合考虑用户和商品对4种路径组向量的影响；
S35：实际上就是使用注意力机制对4种不同的路径组向量(，/>，，/>)进行向量合并，这其中用到了目标用户向量/>和目标商品向量/>，具体公式如下：
。
进一步地，所述步骤S4的具体过程如下：
S41：将和/>拼接后通过一层全连接层，求出权重向量，用该向量和/>进行点乘，得到更新后的用户向量/>；
S42：同样的，用相同方法得到更新后的商品向量；
S43：实际上就是反向利用attention机制—利用来更新用户向量/>和商品向量/>，对于用户向量来说，具体的更新公式如下所示：
，/>。
进一步地，所述步骤S5的具体过程是：
S51：将S3得到的路径组合并向量与S4得到向量和/>向量进行拼接，多层感知机进行训练，其运行结果即为预测结果；
即将它们通过MLP多层感知机进行训练，训练稳定后得到最终的预测结果，最终的结果公式如下：
；
S52：训练时采用Adam方式进行迭代，学习率为0.0001，训练迭代次数为40次，每次将训练集分若干batch，每组batch数为256个样本，样本获取采用算法动态负采样，使得一个训练样本包含1个正样本和4个负样本；
通过分析上述提到的公式，可以确定优化目标为，然后根据似然概率公式，得到优化目标函数为如下：
这个表示正样本，/>表示负样本，为方便计算，将上述公式取对数，得到如下需要优化的目标函数：
化简后得到算法的优化目标函数：
。
与现有技术相比，本发明技术方案的有益效果是：
1、本发明利用充分利用了用户-商品矩阵的隐藏信息，深入挖掘了基于用户-商品矩阵下的三跳路径所蕴含的相关信息，并将其作用于基于模拟交互行为的协同过滤推荐算法中，从而获得更佳的推荐效果，这是以往算法都没有尝试过的；
2、本发明采用了多视角的注意力机制，把路径信息、目标用户信息和商品信息三者之间相互影响、相互作用的关系做了相应的量化操作，并将它们加入发明中，这样即使得的发明效果有了进一步的提升，也使其更具有解释性。
附图说明
图1为本发明的基于二元信息网络的多视角注意力推荐方法的过程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，一种基于二元信息网络的多视角注意力推荐方法，包括以下步骤：
S1：从二元信息网络中生成高质量的、从目标用户到目标商品间的多条路径，S1对应图1中的“路径生成”部分；
S2：对生成路径采用CNN和max-pooling操作，提取对应的路径向量，S2对应图1中的“路径向量生成”部分；
S3：将生成的多种路径向量通过attention机制进行加权合并，得到一个可以对应目标用户和目标商品对的路径组合并向量；
S4：同样通过attention操作，利用S3生成的对应路径合并向量更新用户向量和商品向量，S3和S4对应图1中“合并多种路径向量以及更新用户商品向量”部分；
S5：将S3和S4生成的路径合并向量、用户向量和商品向量进行拼接，传输到多层感知机进行训练，即可获得最后的打分预测，S5对应图1中的“预测结果”部分。
步骤S1的具体过程是：
S1-1：进行数据预处理，通过用户商品交互矩阵生成用户-用户相似矩阵和商品-商品相似矩阵，在利用BPR-MF模型生成用户矩阵和商品矩阵，两个矩阵包含每个用户和商品对应的隐向量，设该向量长度为d；
S1-2：首先确定要生成的路径的起点与终点，即目标用户和目标商品。然后决定生成的路径蕴含的条数，一般选用3跳路径，即一条路径包含4个点。根据已有信息，可以得知3跳路径有4种可能组合：，/>，/>，/>
(表示用户，/>表示商品)；
S1-3：在计算其中一种组合(例如)路径的所有候选路径的相似度之后，设定合适的阈值后，将相似度低于阈值的杂质路径过滤掉，剩余路径可根据路径相似度排序选出前5个路径出来作为该种组合下的候选路径组；
计算每条符合条件的路径的相似度的公式：
a）设路径中每条边对应的两个点和/>向量之间余弦相似度为/>，计算出路径中所有边的相似度后对其的平均值，设为/>，那么边/>的相似度/>可用如下公式求得：
b）求边的置信度/>，即计算边起点/>的出度/>和终点/>的入度/>。大，意味着该点的出度边较多，每条边的重要性较低，相反则意味着每条边重要性较大；以此类推，/>小，意味着每条入度边的重要性较大。即/>和/>的大小与边的置信度呈现反相关，通过试验，用如下公式来模拟该关系：
c）将边的相似度乘以边的置信值/>即可得到该边的相似度，将3条边的相似度相加得到对应路径的相似度V(p)。路径相似度公式如下所示：
d）之后选取前5个V(p)最大的路径作为对应路径组的候选路径即可。
S1-4：重复S1-3，得到4种组合路径下的候选路径组，每组都至多有5条候选路径。
步骤S2的具体过程是：
S2-1：将每种组合路径下的5条候选路径分别转化为5个路径矩阵。将其中一条路径中每一个点对应的d维向量选出来，再对其进行纵向拼接成一个4*d矩阵，然后采用CNN对该矩阵进行信息提取获得对应一条路径的特征向量/>。
采用同样的方法即可获得同一种路径组合下的5条候选路径所对应的5个路径向量，再采用max-pooling操作对其进行信息合并，即可获得一组路径组合所对应的路径向量；具体计算公式如下：
S2-3：重复S21和S23，就可获得4组不同的路径组合对应的4种不同的路径向量，称其为路径组向量。
步骤S3的具体过程如下：
S31：利用神经网络训练出两个生成矩阵，用于生成对应目标用户的向量和目标商品的向量；
S32：将生成的用户向量与每一组路径组向量(和/>)进行点乘，将得到的4组点乘结果进行softmax 操作得到每组路径组向量对应权重，再进行加权求和，即可把实现到用户影响加入到路径组向量合并过程中，得到第一路径合并向量；
S33：类似与S32，将用户向量代替为商品向量，用相同算法就可以得到考虑到商品影响后的第二路径合并向量；
S34：之后将S32得到的第一路径合并向量加上S33的第二路径合并向量，即可得到最终的合并向量，称其为路径组合并向量，它有综合考虑用户和商品对4种路径组向量的影响；
S3-4：之后将S32得到的路径合并向量加上S33的路径合并向量，即可得到最终的合并向量，称其为路径组合并向量，它有综合考虑用户和商品对4种路径组向量的影响。
S35：实际上就是使用注意力机制对4种不同的路径组向量(，/>，，/>)进行向量合并，这其中用到了目标用户向量/>和目标商品向量/>，具体公式如下：
。
步骤S4的具体过程是：
S4-1：将和/>拼接后通过一层全连接层，求出权重向量，用该向量和/>进行点乘，得到更新后的用户向量/>；
S4-2：同样的，用相同方法得到更新后的商品向量；
S4-3实际上就是反向利用attention机制——利用来更新用户向量/>和商品向量/>，对于用户向量来说，。具体的更新公式如下所示：
。
步骤S5的具体过程是：
S5-1：将S3得到的路径组合并向量与S4得到向量和/>向量进行拼接，多层感知机进行训练，其运行结果即为预测结果；
即将它们通过MLP多层感知机进行训练，训练稳定后得到最终的预测结果。最终的结果公式如下：
；
S5-2：训练时采用Adam方式进行迭代，学习率为0.0001，训练迭代次数为40次，每次将训练集分若干batch，每组batch数为256个样本。样本获取采用算法动态负采样，使得一个训练样本包含1个正样本和4个负样本；
通过分析上述提到的公式，可以确定优化目标为，然后根据似然概率公式，得到优化目标函数为如下：
这个表示正样本，/>表示负样本，为方便计算，将上述公式取对数，得到如下需要优化的目标函数：
化简后得到算法的优化目标函数：
本发明是一种利用二元信息网络的一种基于多视角注意力机制的个性化推荐算法，发明的核心目的是进行产品推荐。那么首先要研究和确定数据集，我们采用的是在推荐算法领域常用的两组数据集——movielens 电影评分和LastFM收听记录数据集，前者发布在https://grouplens.org/datasets/movielens/，后者发布在https://www.last.fm。表1为两组数据集的维度大小和交互信息的数量。
然后要确定推荐效果的评判标准，这里采用在该领域常用的HR和NDCG来表示模型的推荐效果。即当我们得到所有的商品的预测评分，将它们进行排序，取前3个最大评分的商品作为推荐结果，然后计算HR@3和NDCG@3得到推荐的结果评定。
根据评判标准，我们将两组数据集都分为训练集和测试集，其中测试集为随机从正样本中抽取一个作为测试集，其余数据作为训练集。训练时所用到的训练采样样本使用动态负采样方法来获取，使得一个训练样本包含1个正样本和4个负样本。
现有技术中，常用提取二维信息网络的路径算法基本上都是采用随机路径生成算法来生成目标路径的，该算法虽然能快速生成候选路径，但是其缺点同样也是非常明显的——即候选路径很有可能含有相当多和目标用户-商品对的关联性不大，即杂质路径。其次，常用方法基本都是直接将路径信息加入到用户、商品向量中，没有考虑到用户、商品和路径三者之间存在着相互作用的。
所以，我们就提出的新的算法，它采用的一种基于路径相关性的路径生成算法来生成路径，且采用了多视角注意力机制来考虑用户、商品和路径三者之间的相互作用。
为了和以前方法做对比，我们同样计算了这些方法在两个数据集上的HR@3和NDCG@3的表现，训练集和测试集的分割方式同样和我们的方法保持一致，进行模型训练时也同样采用了下采样来获取训练batch：
表2、多种模型在两组数据集上的表现
从表2的结果可以看出我们的发明相较于以前方法都很大的提升，这从很大程度是因为本发明从二维信息图衍生出的优质路径出发，通过多视角注意力机制，最大程度地利用了这些优质路径所蕴含的相关信息来提高预测结果的准确性。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (6)
1.一种基于二元信息网络的多视角注意力推荐方法，其特征在于，包括以下步骤：
S1：从二元信息网络中生成高质量的、从目标用户到目标商品间的多条路径；
S2：对生成路径采用CNN和max-pooling操作，提取对应的路径向量；
S3：将生成的多种路径向量通过attention机制进行加权合并，得到一个可以对应目标用户和目标商品对的路径组合并向量；
S4：同样通过attention操作，利用S3生成的对应路径合并向量更新用户向量和商品向量；
S5：将S3和S4生成的路径合并向量、用户向量和商品向量进行拼接，传输到多层感知机进行训练，即可获得最后的打分预测；所述步骤S5的具体过程是：
S51：将S3得到的路径组合并向量与S4得到向量和/>向量进行拼接，多层感知机进行训练，其运行结果即为预测结果；
即将它们通过MLP多层感知机进行训练，训练稳定后得到最终的预测结果，最终的结果公式如下：
；
S52：训练时采用Adam方式进行迭代，学习率为0.0001，训练迭代次数为40次，每次将训练集分若干batch，每组batch数为256个样本，样本获取采用算法动态负采样，使得一个训练样本包含1个正样本和4个负样本；
通过分析上述提到的公式，可以确定优化目标为，然后根据似然概率公式，得到优化目标函数为如下：
这个表示正样本，/>表示负样本，为方便计算，将上述公式取对数，得到如下需要优化的目标函数：
化简后得到算法的优化目标函数：
。
2.根据权利要求1所述的基于二元信息网络的多视角注意力推荐方法，其特征在于，所述步骤S1的具体过程是：
S11：进行数据预处理，通过用户商品交互矩阵生成用户-用户相似矩阵和商品-商品相似矩阵，在利用BPR-MF模型生成用户矩阵和商品矩阵，两个矩阵包含每个用户和商品对应的隐向量，设该向量长度为d；
S12：首先确定要生成的路径的起点与终点，即目标用户和目标商品，然后决定生成的路径蕴含的条数，一般选用3跳路径，即一条路径包含4个点，根据已有信息，可以得知3跳路径有4种可能组合：，/>，/>，/> ，其中，/>表示用户，/>表示商品；
S13：在计算其中一种组合路径的所有候选路径的相似度之后，设定合适的阈值后，将相似度低于阈值的杂质路径过滤掉，剩余路径可根据路径相似度排序选出前5个路径出来作为该种组合下的候选路径组；
S14：重复步骤S13，得到4种组合路径下的候选路径组，每组都至多有5条候选路径。
3.根据权利要求2所述的基于二元信息网络的多视角注意力推荐方法，其特征在于，所述步骤S13中计算每条符合条件的路径的相似度的过程是：
1）、设路径中每条边对应的两个点和/>向量之间余弦相似度为/>，计算出路径中所有边的相似度后对其的平均值，设为/>，那么边/>的相似度/>可用如下公式求得：
；
2）、求边的置信度/>，即计算边起点/>的出度/>和终点/>的入度/>，/>大，意味着该点的出度边较多，每条边的重要性较低，相反则意味着每条边重要性较大；以此类推，/>小，意味着每条入度边的重要性较大，即/>和/>的大小与边的置信度呈现反相关，通过试验，用如下公式来模拟该关系：
；
3）、将边的相似度乘以边的置信值/>即可得到该边的相似度，将3条边的相似度相加得到对应路径的相似度V(p)，路径相似度公式如下所示：
；
4）、之后选取前5个V(p)最大的路径作为对应路径组的候选路径即可。
4.根据权利要求3所述的基于二元信息网络的多视角注意力推荐方法，其特征在于，所述步骤S2的具体过程是：
S21：将每种组合路径下的5条候选路径分别转化为5个路径矩阵，将其中一条路径中每一个点对应的d维向量选出来，再对其进行纵向拼接成一个4*d矩阵，然后采用CNN对该矩阵进行信息提取获得对应一条路径的特征向量/>；
S22：采用同样的方法即可获得同一种路径组合下的5条候选路径所对应的5个路径向量，再采用max-pooling操作对其进行信息合并，即可获得一组路径组合所对应的路径向量；具体计算公式如下：
；
S23：重复S21和S23，就可获得4组不同的路径组合对应的4种不同的路径向量，称其为路径组向量。
5.根据权利要求4所述的基于二元信息网络的多视角注意力推荐方法，其特征在于，所述步骤S3的具体过程如下：
S31：利用神经网络训练出两个生成矩阵，用于生成对应目标用户的向量和目标商品的向量；
S32：将生成的用户向量与每一组路径组向量和/>进行点乘，将得到的4组点乘结果进行softmax 操作得到每组路径组向量对应权重，再进行加权求和，即可把实现到用户影响加入到路径组向量合并过程中，得到第一路径合并向量；
S33：类似与S32，将用户向量代替为商品向量，用相同算法就可以得到考虑到商品影响后的第二路径合并向量；
S34：之后将S32得到的第一路径合并向量加上S33的第二路径合并向量，即可得到最终的合并向量，称其为路径组合并向量，它有综合考虑用户和商品对4种路径组向量的影响；
S35：实际上就是使用注意力机制对、/>、/>、/>这 4种不同的路径组向量进行向量合并，这其中用到了目标用户向量/>和目标商品向量/>，具体公式如下：
。
6.根据权利要求5所述的基于二元信息网络的多视角注意力推荐方法，其特征在于，所述步骤S4的具体过程如下：
S41：将和/>拼接后通过一层全连接层，求出权重向量，用该向量和/>进行点乘，得到更新后的用户向量/>；
S42：同样的，用相同方法得到更新后的商品向量；
S43：实际上就是反向利用attention机制—利用来更新用户向量/>和商品向量/>，对于用户向量来说，具体的更新公式如下所示：
，/>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114426.9A CN110968794B (zh) | 2019-11-14 | 2019-11-14 | 一种基于二元信息网络的多视角注意力推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114426.9A CN110968794B (zh) | 2019-11-14 | 2019-11-14 | 一种基于二元信息网络的多视角注意力推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110968794A CN110968794A (zh) | 2020-04-07 |
| CN110968794B true CN110968794B (zh) | 2023-12-12 |
Family
ID=70030713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911114426.9A Active CN110968794B (zh) | 2019-11-14 | 2019-11-14 | 一种基于二元信息网络的多视角注意力推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110968794B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038629A (zh) * | 2017-12-30 | 2018-05-15 | 北京工业大学 | 一种基于协同过滤的优化方法 |
| CN108920503A (zh) * | 2018-05-28 | 2018-11-30 | 哈尔滨工程大学 | 一种基于社交网络信任度的微视频个性化推荐算法 |
| CN108985830A (zh) * | 2018-07-05 | 2018-12-11 | 北京邮电大学 | 基于异质信息网络的推荐评分方法、装置 |
| CN109087130A (zh) * | 2018-07-17 | 2018-12-25 | 深圳先进技术研究院 | 一种基于注意力机制的推荐系统及推荐方法 |
-
2019
- 2019-11-14 CN CN201911114426.9A patent/CN110968794B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038629A (zh) * | 2017-12-30 | 2018-05-15 | 北京工业大学 | 一种基于协同过滤的优化方法 |
| CN108920503A (zh) * | 2018-05-28 | 2018-11-30 | 哈尔滨工程大学 | 一种基于社交网络信任度的微视频个性化推荐算法 |
| CN108985830A (zh) * | 2018-07-05 | 2018-12-11 | 北京邮电大学 | 基于异质信息网络的推荐评分方法、装置 |
| CN109087130A (zh) * | 2018-07-17 | 2018-12-25 | 深圳先进技术研究院 | 一种基于注意力机制的推荐系统及推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110968794A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066583B (zh) | 一种基于紧凑双线性融合的图文跨模态情感分类方法 | |
| CN108596774B (zh) | 基于深层次网络嵌入特征的社会化信息推荐算法及系统 | |
| CN110619081B (zh) | 一种基于交互图神经网络的新闻推送方法 | |
| CN109918539B (zh) | 一种基于用户点击行为的音、视频互相检索方法 | |
| CN110781409B (zh) | 一种基于协同过滤的物品推荐方法 | |
| CN110008397A (zh) | 一种推荐模型训练方法及装置 | |
| CN115062732A (zh) | 基于大数据用户标签信息的资源共享合作推荐方法及系统 | |
| JP2017199355A (ja) | レコメンデーション生成 | |
| CN113469289A (zh) | 视频自监督表征学习方法、装置、计算机设备和介质 | |
| CN112584062A (zh) | 背景音频构建方法及装置 | |
| CN112488055A (zh) | 一种基于渐进图注意力网络的视频问答方法 | |
| CN114781503A (zh) | 一种基于深度特征融合的点击率预估方法 | |
| KR20190047576A (ko) | 추천시스템을 위한 선택적 오토인코딩 방법 및 오토인코딩 시스템 | |
| JP2019185439A (ja) | 単語ベクトル変更装置、方法、及びプログラム | |
| CN112464106B (zh) | 对象推荐方法及装置 | |
| CN110968794B (zh) | 一种基于二元信息网络的多视角注意力推荐方法 | |
| CN113051468A (zh) | 一种基于知识图谱和强化学习的电影推荐方法及系统 | |
| CN116541592A (zh) | 向量生成方法、信息推荐方法、装置、设备及介质 | |
| US11049041B2 (en) | Online training and update of factorization machines using alternating least squares optimization | |
| CN114997175A (zh) | 一种基于领域对抗训练的情感分析方法 | |
| Alrashidi et al. | Hybrid CNN-based Recommendation System | |
| CN111078854A (zh) | 问答预测模型的训练方法及装置、问答预测方法及装置 | |
| Trivedi et al. | Neural architecture search for effective teacher-student knowledge transfer in language models | |
| Yi et al. | Auxiliary domain selection in cross-domain collaborative filtering | |
| Shi et al. | Quantize Sequential Recommenders Without Private Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |