CN113268669A - 基于联合神经网络的面向关系挖掘的兴趣点推荐方法 - Google Patents
基于联合神经网络的面向关系挖掘的兴趣点推荐方法 Download PDFInfo
- Publication number
- CN113268669A CN113268669A CN202110611269.3A CN202110611269A CN113268669A CN 113268669 A CN113268669 A CN 113268669A CN 202110611269 A CN202110611269 A CN 202110611269A CN 113268669 A CN113268669 A CN 113268669A
- Authority
- CN
- China
- Prior art keywords
- network
- user
- layer
- vector
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 72
- 230000009467 reduction Effects 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000005065 mining Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 92
- 230000006870 function Effects 0.000 claims description 36
- 210000002569 neuron Anatomy 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了基于联合神经网络的面向关系挖掘的兴趣点推荐方法，该方法首先构建训练数据集，然后构建局部特征提取、降维神经网络，关系挖掘网络，矩阵分解和联合神经网络的兴趣点推荐模型，采用现有数据集对兴趣点推荐模型进行训练，最后对于用户集合中的任一用户，预测该用户对多个未知地点是否感兴趣，将该用户和多个地点输入兴趣点推荐模型，得到该用户对多个位置地点的预测概率值，将所述概率值由大到小排序，得到该用户对多个未知地点感兴趣程度的推荐列表。本发明方法推荐兴趣点的排序质量和用户真正感兴趣的地点的命中率都高于现有方法。
Description
技术领域
本发明涉及兴趣点推荐技术领域，特别涉及基于联合神经网络的面向关系挖掘的兴趣点推荐方法。
背景技术
移动应用的崛起带来了诸多基于位置的移动服务。这些移动服务产生了大量的与用户相关的位置数据，为探索用户的出行偏好和行为模式提供了机会。兴趣点推荐，旨在通过挖掘用户的历史地点签到记录来为用户推荐没有访问过的可能感兴趣的地点。兴趣点推荐不仅可以丰富用户的出行体验，也能为第三方商家带来利益。因此，兴趣点推荐具有研究价值。与大多数其他的推荐领域一样，兴趣点推荐仍然采用经典的协同过滤与矩阵分解。目前有许多研究对这两种主流算法进行了改进和优化。
兴趣点推荐中的全体用户和地点组成了用户地点矩阵，其中每一个元素代表了用户访问某地点的次数。一般而言，将每一行当作用户向量，将每一列当作地点向量。协同过滤，通过计算不同行向量之间的余弦相似度来为每个用户寻找具有相似偏好的用户群体。相似用户群体普遍认可的目标用户未曾访问过的地点将会得到排序和推荐。矩阵分解，将原始的用户地点矩阵用两个小矩阵的乘积结果近似地去代替。这两个小矩阵分别代表了用户隐因子矩阵和地点隐因子矩阵。通过矩阵分解技术，可以填充原始用户地点矩阵中的未知项，从而对所有未知项进行排序，完成推荐任务。
但是，传统的兴趣点推荐仍然存在如下问题：
①协同过滤在进行推荐的时候，为了发现偏好相同的用户，需要计算目标用户与全体用户的相似度，计算量过于庞大。况且，每当用户访问了一个地点，该用户和地点的向量随即发生改变，则相应的协同过滤计算需要重新进行。矩阵分解面临同样的问题，即原始的矩阵不断地发生改变，不能保持恒定的分解后的隐因子矩阵。因此，如何设计一个通用的模型能够在用户和地点数据不断变化的同时动态地适应和完成推荐，将会是兴趣点推荐的一大难题。
②协同过滤和矩阵分解最大的特点是它们都是基于一些运算规则和数学流程的标准化算法。因此，这两种算法无法挖掘出用户和地点之间潜在的关系。这个问题是目前协同过滤和矩阵分解面临的最大挑战，也是目前许多研究的重心。用户和地点之间的潜在关系，是一种非线性的隐式关系。如果明确了这种潜在关系，那么推荐任务将不再依赖于显式的原始特征，而是深层次地判定用户是否会访问某个地点。如何有效地挖掘用户和地点之间的潜在关系将会是兴趣点推荐的另外一个大难题。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：如何有效地挖掘用户和地点之间的潜在关系进行兴趣点推荐。
为解决上述技术问题，本发明采用如下技术方案：基于联合神经网络的面向关系挖掘的兴趣点推荐方法，包括如下步骤：
S100：构建训练数据集，所述训练数据集包括，训练数据集中训练样本是第i个用户ui和第j个地点lj构成的数据组；
定义用户集合，地点集合和用户地点矩阵，其中用户集合表示为U＝{u1,u2,u3,…,um}，m表示用户数量，地点集合表示为L＝{l1,l2,l3,…,ln}，n表示地点的数量，用户地点矩阵表示为R：U×L，Rij表示了用户ui和地点lj之间的原始联系，即用户ui访问地点lj的次数；
S200：构建特征提取网络对每个训练样本进行特征的提取，得到每个样本的用户初级特征向量和地点初级特征向量；
S300：构建降维网络对每个训练样本的用户初级特征向量和地点初级特征向量分别进行向量降维处理，得到每个训练样本对应的用户高级特征向量和地点高级特征向量，且用户高级特征向量和地点高级特征向量的维数相等；
S400：计算每个训练样本中用户与配对的地点之间的预测结果，具体如下：
S410：针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息；
S420：构建关系挖掘网络，将每个训练样本高阶的特征组合信息作为输入，输出每个训练样本中用户与配对的地点之间的预测结果Coij；
S430：采用sigmoid函数将预测结果Coij转化为预测概率值；
S500：计算损失，计算ui对lj是否感兴趣的真实概率值与ui对lj是否感兴趣的预测概率值之间的损失，根据损失值更新特征提取网络、降维网络和关系挖掘网络的参数，再将所有训练样本依次输入更新参数后的特征提取网络、降维网络和关系挖掘网络进行继续训练；
当损失不在下降时，特征提取网络、降维网络和关系挖掘网络训练完成；
S600：对于用户集合中的任一用户，预测该用户对多个未知地点是否感兴趣，将该用户和多个地点输入训练好的特征提取网络、降维网络和关系挖掘网络，得到该用户对多个位置地点的预测概率值，将所述概率值由大到小排序，得到该用户对多个未知地点感兴趣程度的推荐列表。
作为改进，所述S200构建特征提取网络为局部特征提取层，具体如下：
用户ui的原始向量以
表示，地点lj的原始向量以
表示，定义一个局部窗口window大小的数值，将输入
或
按照该局部窗口window大小划分为若干局部模块，同时，根据局部窗口的数量将第一层神经网络划分为不同的部分，输入
或
的每个局部模块与第一层神经网络的每个部分对应；
表示用户向量或地点向量的输入层如公式(3)所示，进行局部特征提取的第一层神经网络如公式(4)所示。
其中，w_n是根据局部窗口大小得到的局部窗口个数，
和In1分别是第一层神经网络中第一个局部窗口对应的网络权重和输入，
是第一个局部窗口的网络偏置项，
和In2分别是第一层神经网络中第二个局部窗口对应的网络权重和输入，
是第二个局部窗口的网络偏置项，
和Inw_n分别是是第一层神经网络中第w_n个局部窗口对应的网络权重和输入，
第w_n个局部窗口的网络偏置项，Con表示拼接操作，即将所有局部学习的结果整合在一起作为第一层网络的输出，f是激活函数，采用ReLu形式，如公式(5)所示：
f(x)＝max(0，x) (5)。
作为改进，所述S300构建的降维网络具体如下：
设包含局部特征提取层在内的降维神经网络一共有M层，如公式(6)所示：
Layerk＝f(wkLayerk-1+bk)，k＝2，3...，M (6)
其中，wk和bk分别是第k层网络的权重和偏置，Layerk-1是k-1层的输出结果，当k＝2时，输入来自于局部特征提取层的结果，f采用ReLu激活函数；
在每一层神经网络发挥非线性作用之前，先将中间输入拉回到标准的正态分布，如(7)所示：
Layerk＝f(BNk(wkLayerk-1+bk)) (7)
其中，BNk是第k层的批量归一化处理，γ和β是需要训练得到的参数，∈是极小量参数，BNk在单个神经元上的计算形式，如公式(8)所示，Neumid代表了未经激活函数处理的单个神经元的中间输出值，如公式(9)所示，
和
分别是该神经元在层权重wk和层偏置bk的对应部分，
是该神经元在输入Layerk-1的对应部分，μ(Neumid)计算的是一个批次的训练数据集在该神经元上的平均值，σ(Neumid)2计算的是方差；
μ(Neumid)和σ(Neumid)2分别如公式(10)和公式(11)所示：
μ(Neumid)＝1/|Batch|∑z xz (10)
σ(Neumid)2＝1/|Batch|∑z(xz-μ(Neumid))2 (11)
其中，Batch代表了一个训练批次，xz代表了训练批次中的单个输入数据，每层网络中的每一个神经元都在激活函数之前执行批量归一化处理，将数据分布进行重新调整，之后才让激活函数执行非线性映射操作；
构建两个结构完成相同的降维降维网络，即用户降维降维网络和地点降维降维网络，经过向量降维网络后，用户向量
和地点向量
的新表达分别如公式(12)和公式(13)所示：
其中，
是用户降维降维网络的批量归一化、神经网络权重和偏置，
是面向地点降维降维网络的批量归一化、神经网络权重和偏置，
和
分别是降维后的用户高级特征向量和地点高级特征向量。
作为改进，所述S420构建关系挖掘网络，具体公式(15)所示，同时加入了Drop-out来缓解关系挖掘网络的过拟合现象，如公式(16)所示：
其中，关系挖掘网络的层数为N，wk和bk是每一层网络的权重和偏置，f是ReLu激活函数，
是由drop计算得到的由0或1表示的向量，其维度和所在层的神经元个数保持一致，drop函数在生成向量的时候，每一个维度取决于Bernoulli(p)，而Bernoulli(p)会按照概率p生成为1或0。
作为改进，在所述S420之后构建用户隐因子矩阵ULF和地点隐因子矩阵LLF，并初始化；矩阵分解的预测结果如公式(17)所示：
其中，
是用户ui在ULF中的对应向量，
是地点lj在LLF中的对应向量；
所述S500根据损失值进行参数更新时，也对用户隐因子矩阵ULF和地点隐因子矩阵LLF进行更新。
作为改进，在构建ULF和LLF之后构建联合神经网络，如公式(18)所示：
Unionij＝f(wCoCoij+wMFMFij+b) (18)
其中，wCo和wMF分别为Coij和MFij对应的网络权重，b是网络的偏置；
所述S430中采用sigmoid函数将Unionij转化为概率值；
所述S500根据损失值进行参数更新时，也对联合神经网络的参数进行更新。
作为改进，所述S500计算ui对lj是否感兴趣的真是概率值与ui对lj是否感兴趣的预测概率值之间的损失使用的损失函数为如公式(20)所示：
其中，I表示的是指示函数，如果Rij大于0，I(Rij)的值为1，否则为0，损失函数中的Rij属于当前采样的批次。
相对于现有技术，本发明至少具有如下优点：
本发明通过构建兴趣点推荐模型，该兴趣点推荐模型包括局部特征提取、降维神经网络，关系挖掘网络，矩阵分解和联合神经网络，矩阵分解的预测结果在联合网络中对关系挖掘的结果做进一步的加强，而联合神经网络结合了关系挖掘网络得到的预测结果和深度矩阵分解得到的结果，得到了最终的兴趣点推荐列表。通过实验对本发明方法进行验证得到，本发明方法推荐兴趣点的排序质量和用户真正感兴趣的地点的命中率都高于现有方法。
附图说明
图1为基于联合神经网络的面向关系挖掘的兴趣点推荐方法的框架图。
图2为局部特征提取层的框架图。
图3为降维神经网络的框架图。
图4为关系挖掘网络的框架图。
图5为联合神经网络的框架图。
图6为本发明方法中负采样个数对NDCG和Recall的影响，图6(a)为洛杉矶数据下NDCG和Recall的影响，图6(b)为西雅图数据下NDCG和Recall的影响。
图7为本发明方法中局部窗口大小对NDCG和Recall的影响，图7(a)为洛杉矶数据下NDCG和Recall的影响，图7(b)为西雅图数据下NDCG和Recall的影响。
图8为本发明方法在现有数据集上损失变化，图8(a)为洛杉矶数据，图8(b)为西雅图数据。
图9为本发明方法与现有方法的对比实验结果。
具体实施方式
下面对本发明作进一步详细说明。
兴趣点推荐，旨在通过挖掘用户的历史签到记录来求解用户的个人偏好，然后向其推荐可能感兴趣的新地点。设有包括m个用户的用户集合U＝{u1，u2，u3，...，um}，以及n个地点的地点集合L＝{l1，l2，l3，...，ln}。这些全体的用户和地点构成了用户地点矩阵R：U×L，其中Rij表示了用户ui和地点lj之间的原始联系，即用户ui访问地点lj的次数。
R反映了原始的用户和地点之间的联系，这种联系是显式且可观测的。也可以使用由0或1表示的指示关系，即如果用户访问了某个地点，则取值为1，如果未曾访问过则为0。兴趣点推荐算法的目的就是基于已观测的原始矩阵R，来预测没有被观测的项，也就是预测用户在新地点上的访问行为。假设当前的目标用户ui没有访问过地点lj，则推荐计算的结果如公式(1)所示，反馈给用户的推荐列表如公式(2)所示。
其中，
是预测值，Model是兴趣点推荐算法模型，θ是所有参数的集合，K是推荐个数。在对所有未知地点完成预测后，就可以进行排序并生成推荐列表。
参见图1，基于联合神经网络的面向关系挖掘的兴趣点推荐方法，包括如下步骤：
S100：构建训练数据集，所述训练数据集包括，训练数据集中训练样本是第i个用户ui和第j个地点lj构成的数据组；
S200：构建特征提取网络对每个训练样本进行特征的提取，得到每个样本的用户初级特征向量和地点初级特征向量。
作为改进，参见图2，所述构建特征提取网络为局部特征提取层，具体如下：
用户ui的原始向量以
表示，地点lj的原始向量以
表示，第一层神经网络和输入之间采用局部学习的方式，定义一个局部窗口window大小的数值，将输入
或
按照该局部窗口window大小划分为若干局部模块，同时，根据局部窗口的数量将第一层神经网络划分为不同的部分，输入
或
的每个局部模块与第一层神经网络的每个部分对应，局部特征学习让第一层的神经元专注于各自小范围内的特征信息。
表示用户向量或地点向量的输入层如公式(3)所示，进行局部特征提取的第一层神经网络如公式(4)所示。
其中，w_n是根据局部窗口大小得到的局部窗口个数(window number)，
和In1分别是第一层神经网络中第一个局部窗口对应的网络权重和输入，
是第一个局部窗口的网络偏置项，
和In2分别是第一层神经网络中第二个局部窗口对应的网络权重和输入，
是第二个局部窗口的网络偏置项，
和Inw_n分别是是第一层神经网络中第w_n个局部窗口对应的网络权重和输入，
第w_n个局部窗口的网络偏置项，Con表示拼接操作，即将所有局部学习的结果整合在一起作为第一层网络的输出，f是激活函数，采用ReLu形式，如公式(5)所示：
f(x)＝max(0，x) (5)。
由于输入接收层的原始数据所包含的信息最多，因此神经网络的第一层显得尤为重要。局部学习能够让神经网络更专注于规定范围内的学习，而不是大范围的全连接学习。这利于网络更有效地从输入数据中学习初始特征信息，而且不同局部窗口之间互不干扰，从而实现局部式的“因地制宜”。
S300：构建降维网络对每个训练样本的用户初级特征向量和地点初级特征向量分别进行向量降维处理，得到每个训练样本对应的用户高级特征向量和地点高级特征向量，且用户高级特征向量和地点高级特征向量的维数相等。
局部学习阶段尽可能地保留了原始输入数据的信息，但得到的初级特征向量并不能直接用于后续的推荐任务中，一是没有深层次地学习特征，二是维度仍然较高，不利于计算。因此，本发明搭建了降维神经网络来进一步地学习高阶特征，并对向量的维度进行缩减。
所述S300构建的降维网络具体如下：
设包含局部特征提取层在内的降维神经网络一共有M层，如公式(6)所示：
Layerk＝f(wkLayerk-1+bk)，k＝2，3...，M (6)
其中，wk和bk分别是第k层网络的权重和偏置，Layerk-1是k-1层的输出结果，当k＝2时，输入来自于局部特征提取层的结果，f采用ReLu激活函数；神经网络通过逐层映射将输入变换到其他的特征空间中，这存在一个问题，即会使得原有的数据分布发生改变。虽然使用降维网络来提取特征信息，但仍然应该遵循原始的数据分布，因为后续的神经网络要挖掘用户和地点之间的潜在关系。一旦数据分布发生了改变，那么可能会导致用户和地点的复杂关系发生变化，挖掘出错误的结论。
在每一层神经网络发挥非线性作用之前，先将中间输入拉回到标准的正态分布，如(7)所示：
Layerk＝f(BNk(wkLayerk-1+bk)) (7)
其中，BNk是第k层的批量归一化处理，它既能够处理数据的分布，又能在一定程度上缓解过拟合，γ和β是需要训练得到的参数，用于补偿网络的映射能力，∈是极小量参数，防止分母为0，BNk在单个神经元上的计算形式，如公式(8)所示，Neumid代表了未经激活函数处理的单个神经元的中间输出值，如公式(9)所示，
和
分别是该神经元在层权重wk和层偏置bk的对应部分，
是该神经元在输入Layerk-1的对应部分，μ(Neumid)计算的是一个批次的训练数据集在该神经元上的平均值，σ(Neumid)2计算的是方差；
μ(Neumid)和σ(Neumid)2分别如公式(10)和公式(11)所示：
μ(Neumid)＝1/|Batch|∑z xz (10)
σ(Neumid)2＝1/|Batch|∑z(xz-μ(Neumid))2 (11)
其中，Batch代表了一个训练批次，xz代表了训练批次中的单个输入数据，每层网络中的每一个神经元都在激活函数之前执行批量归一化处理，将数据分布进行重新调整，之后才让激活函数执行非线性映射操作；
构建两个结构完成相同的降维降维网络，即用户降维降维网络和地点降维降维网络，用户降维降维网络面向用户，地点降维降维网络面向地点，继而将各自的高阶信息提取出来，同时达到降维的作用。经过向量降维网络后，用户向量
和地点向量
的新表达分别如公式(12)和公式(13)所示：
其中，
是用户降维降维网络的批量归一化、神经网络权重和偏置，
是面向地点降维降维网络的批量归一化、神经网络权重和偏置，
和
分别是降维后的用户高级特征向量和地点高级特征向量。新向量包含高阶特征，且冗余信息较少，维度较小。整个向量降维网络如图3所示。
S400：计算每个训练样本中用户与配对的地点之间的预测结果，具体如下：
S410：针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息。
使用神经网络技术的主要目的就是挖掘用户和地点之间的潜在关系。原始的用户向量和地点向量通过降维神经网络后，变成了
和
这两个新向量包含原始数据的高阶特征，且不含冗余信息，维度更小。因此，这两个新向量足以用于后续的推荐算法，适合深层次的计算。
所述针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息的过程具体为：将
和
组合在一起，如公式(14)所示：
其中，运算符
表示的是拼接操作，
是
和
的唯一配对向量，
是用户ui和地点lj之间高阶的特征组合信息，单个用户和单个地点之间仅有唯一的配对向量，因此能够有针对性的挖掘用户和地点之间的潜在关系。这种专属的配对信息在进行关系挖掘的时候不会受其他用户和地点的影响。
S420：构建关系挖掘网络，将每个训练样本高阶的特征组合信息作为输入，输出每个训练样本中用户与配对的地点之间的预测结果Coij。
所述构建关系挖掘网络，具体公式(15)所示，同时加入了Drop-out来缓解关系挖掘网络的过拟合现象，如公式(16)所示：
其中，关系挖掘网络的层数为N，wk和bk是每一层网络的权重和偏置，f是ReLu激活函数，
是由drop计算得到的由0或1表示的向量，其维度和所在层的神经元个数保持一致，drop函数在生成向量的时候，每一个维度取决于Bernoulli(p)，而Bernoulli(p)会按照概率p生成为1或0。在降维神经网络中，通过Batch-Normalization来达到保持数据分布的作用。在关系挖掘网络中，采用丢弃神经元的Drop-out形式，避免了网络的过度学习。通过挖掘
的潜在关系来对未知的地点进行预测和推荐，一是不应该让神经网络在训练数据上过度拟合，二是不需要对唯一配对向量
进行特征提取。
经过关系挖掘网络后，得到单个输出值Coij，其表示的是用户ui和地点lj之间的潜在关系。潜在关系揭示了用户和地点之间的关联程度。关系挖掘网络如图4所示。
构建用户隐因子矩阵ULF和地点隐因子矩阵LLF，并初始化，LF是Laten Factor)，通过矩阵分解对于推荐预测进行校正。
矩阵分解的预测结果如公式(17)所示：
其中，
是用户ui在ULF中的对应向量，
是地点lj在LLF中的对应向量；
所述S500根据损失值进行参数更新时，也对用户隐因子矩阵ULF和地点隐因子矩阵LLF进行更新。矩阵分解的预测结果可以在联合网络中对关系挖掘的结果做进一步的加强。通过神经网络挖掘出来的潜在关系可以作为一种独有的隐式偏好，其深层次地刻画了用户。如果进一步地联合深度矩阵分解，则能充分发挥隐式偏好的作用。
参见图5，构建联合神经网络，如公式(18)所示：
Unionij＝f(wCoCoij+wMFMFij+b) (18)
其中，wCo和wMF分别为Coij和MFij对应的网络权重，b是网络的偏置；
所述S430中采用sigmoid函数将Unionij转化为概率值，所述S500根据损失值进行参数更新时，也对联合神经网络的参数进行更新。
通过构建关系挖掘网络和深度矩阵分解，得到了两种不同的预测结果，即Coij和MFij。Coij表示的是用户ui和地点lj之间的潜在关系，而MFij则可以看成是对推荐结果的加强。为了将关系挖掘和矩阵分解进行结合，整个联合神经网络仅有输出层发挥作用，因为联合神经网络的目的仅在于结合Coij和MFij，得到了最终的用户ui访问地点lj的概率Unionij。sigmoid函数如公式(19)所示：
f(x)＝1/(1+e-x) (19)
S430：采用sigmoid函数将预测结果Coij转化为预测概率值；
S500：计算损失，计算ui对lj是否感兴趣的真实概率值与ui对lj是否感兴趣的预测概率值之间的损失，根据损失值更新特征提取网络、降维网络和关系挖掘网络的参数，再将所有训练样本依次输入更新参数后的特征提取网络、降维网络和关系挖掘网络进行继续训练。
当损失不在下降时，特征提取网络、降维网络和关系挖掘网络训练完成。
联合神经网络的最终输出Unionij代表了用户访问未知地点的概率，同时也是生成推荐结果的依据。因为Unionij是概率值。
所述计算ui对lj是否感兴趣的真是概率值与ui对lj是否感兴趣的预测概率值之间的损失使用的损失函数为如公式(20)所示：
其中，I表示的是指示函数，如果Rij大于0，I(Rij)的值为1，否则为0，损失函数中的Rij属于当前采样的批次。基于指示函数，原有的兴趣点推荐任务可以看作是二分类任务，即“访问”与“不访问”的选择。
S600：对于用户集合中的任一用户，预测该用户对多个未知地点是否感兴趣，将该用户和多个地点输入训练好的特征提取网络、降维网络和关系挖掘网络，得到该用户对多个位置地点的预测概率值，将所述概率值由大到小排序，得到该用户对多个未知地点感兴趣程度的推荐列表。
实验验证：
1.实验数据集
本实验所选取的数据集来自于社交网站Foursquare。Foursquare是一家基于用户地理位置信息的手机服务网站，其鼓励用户分享自己当前的位置信息。本实验选取了Foursquare中的两个城市数据，一个是洛杉矶，另一个是西雅图。两个城市的数据集都记录了2011年和2012年的用户签到，其内容包括用户ID、地点ID、地点经纬度、签到时间、地点类别。具体的数据集信息如表1所示。
表1数据集详情
2.评价标准
当兴趣点推荐方法对所有未知地点进行预测计算后，会对所有的分值进行排序，采用NDCG(Normalized Discounted Cumulative Gain)来评价排序的质量。如果正相关的条目排到前面且负相关的条目排到后面，那么NDCG的值就会越高，代表了这是正确的排序。兴趣点推荐方法的核心在于推荐的命中程度，即是否命中了用户真正感兴趣的地点，故还选取召回率Recall。Recall是机器学习中的基础评价指标，用于评价算法在所有正例中正确预测了多少。如果推荐算法能尽可能地命中用户的兴趣点，那么Recall的值就会越高。NDCG和Recall分别如公式(21)和公式(22)所示。
NDCG@K＝1/m∑u DCGu@K/IDCGu@K (21)
Recall@K＝1/m∑u|Recu∩Testu|/|Testu| (22)
其中，K代表了推荐的个数，Recu是为用户u生成的推荐列表，Testu是用户真正感兴趣的地点，即测试数据，m是用户总数。NDCG的计算需要使用到DCG和IDCG。IDCG反映的是理想情况下的排序，而DCG反映的是真实的排序情况，它们分别如公式(23)和公式(24)所示。
DCGu@K＝∑z 1/log(z+1) (23)
其中，z代表了在长度为K的推荐列表中，每一个真实命中的兴趣点所对应的排序序号，而q代表了每一个测试数据的排序序号，当Testu的数量大于推荐列表长度的时候，以推荐列表长度为准。log是以2为底的对数函数。不难看出，无论测试数据如何排序，IDCGu@K的值都是恒定的，因为这些测试数据都是用户真正感兴趣的地点，即正例。
3.实验设置及对比实验选取
随机地选取70％作为训练数据，剩下的30％作为测试数据。如此一来，将原始的数据集划分为了训练数据和测试数据两部分。训练数据用于训练提出的深度学习模型，测试数据用于确定关键参数以及验证模型的有效性。训练方法采用小批量梯度下降法(Mini-Batch Gradient Descent)。在理想条件下，应该使用模型在整个训练数据上的损失来训练模型，但是这样会造成巨额的计算开销。为了解决这个问题，可以采用随机梯度下降法，但是用一个样本的损失去更新模型，极有可能带来较大的波动，误差极大。因此，小批量梯度下降法可以看作是批量梯度和随机梯度之间的一个权衡。为了实验的有效进行，剔除了少于5个签到地点的用户和被少于5个用户签到的地点。
为了使得模型达到最优效果，在局部特征学习中，局部窗口的大小对于初始的特征提取有着重要的作用。而在训练过程中，光有正样本的训练数据无法获得用户的“不喜欢”偏好，故需要加入负样本数据。负样本的作用仅是补充少量的负面偏好，而深度模型的最终任务是命中用户感兴趣的地点，因此负样本的数量不宜过多。为了实验的简便，随机地从未观测的数据中选取负样本数据。需要通过实验来选取的参数的详细信息如表2所示。
表2参数实验
应当指出的是，训练过程中的Batch-Size(一个批次的大小)为512，初始的学习率为0.001。为了验证模型的有效性，将发明兴趣点推荐方法与下列推荐算法进行对比：
Union-Deep：本发明兴趣点推荐方法
POP：基于地点流行度的推荐算法，向用户推荐热门的地点。
NMF：非负矩阵分解，标准的矩阵分解技术。
BPR：贝叶斯个性化排序，分析不同地点之间的相对排序，从而获得用户对于地点的排序偏好。
DMF：深度矩阵分解，将用户和地点映射到同一个空间，去挖掘用户和地点之间的匹配程度。
NCF神经协同过滤，使用神经网络技术实现协同过滤和矩阵分解，并且将二者进行结合。
4.实验结果分析
负采样个数的实验如图6所示。对于洛杉矶数据集而言，最优Negative-Num为3，而对于西雅图数据集而言，最优Negative-Num为5。
总体而言，两个数据集的评价指标都会随着K值的增加而提升，这是因为推荐个数的增长扩大了命中的范围。在洛杉矶数据集上，所有推荐个数下的NDCG都在Negatiye-Num达到3之后开始明显下降。Recall基本也符合该规律，但在K＝20的时候，Negative-Num＝6比Negative-Num＝5有小幅度回升，但也不如Negative-Num＝3。因此，为洛杉矶数据集中的每个训练数据配备3个负样本最为合适，这也表明了不宜在该数据集上去挖掘过多的“不喜欢”偏好。
在西雅图数据集上，当Negative-Num从2增加到4的时候，所有推荐个数下的NDCG都是呈下降趋势，但是变化到5的时候，发生了跃迁，即Negative-Num＝5的NDCG超出了之前所有的负样本情况。而当K＝10的时候，Negatiye-Num＝6的Recall是最高的。而当K＝20和K＝30的时候，Negative-Num＝5是最优Recall。整体来看，较多的负样本个数有助于提升模型性能，故为西雅图数据集中的每个训练数据配备5个负样本最为适中。
局部学习窗口的大小实验如图7所示。对于洛杉矶数据集而言，最优Window-Size为300，而对于西雅图数据集而言，最优Window-Size为200。
在洛杉矶数据集上，当Window-Size从100增加至300的时候，所有推荐个数下的NGCG都有所增长，而且在300达到极值。Window-Size＝400时，NDCG有所下降，之后在500又明显回升。而在Recall方面，所有的推荐个数均呈现一样的规律，即先上升后下降，Window-Size＝300使得Recall达到最大值。洛杉矶数据集上的最优Window-Size处于中间水平，既不是会导致学习过于局限的小值，也不是会导致学习过于宽泛的大值。
在西雅图数据集上，在不同K值的推荐情形下，Window-Size的变化使得NDCG和Recall均有不稳定的波动。在K＝10的时候，Window-Size＝500使得NDCG最大化，而K＝20或30的时候，Window-Size＝200是面向NDCG的最佳选择。同样的，Window-Size＝300使得Recall最大化，但Window-Size＝200又是K＝20或30的最佳设置。因此，经过权衡地考虑，在西雅图数据集上，Window-Size最终取值为200。由于数据集的不同，西雅图数据集的最优Window-Size较小，但足以实现局部提取初级特征的作用。
需要特别说明的是，本实验是按照全部的参数组合(负采样个数和局部窗口大小)进行的，然后得到了最优的参数组合。而分析和讨论其中一个参数的时候，另外一个参数已经被固定为最优设置。总之，洛杉矶数据集的最优Negative-Num为2，最优Window-Size则是300。而西雅图数据集的最优Negative-Num为5，最优Window-Size为200。两个数据集在各自最优参数组合下的损失变化如图8所示。
训练过程的“阶”指的是将整个训练数据全部使用一次，即每一阶包含大量批次的迭代。每一阶的损失是其中各个批次的损失的平均值。从图8中可以看出，两个数据集的损失在第15阶的时候基本都收敛至0。15阶也是本小节全部实验设置的最大迭代阶数。对于深度学习模型而言，虽然损失一直在下降，但并不意味着模型的性能就会越好，一是因为前面章节所提到的过拟合现象，二是深度学习模型本身就存在一定的随机性。故本实验结果是每一次训练的15阶里的最好结果。
以洛杉矶数据集和西雅图数据集在最优参数组合下的结果为标准，进行了对比实验，其结果如图9所示。总体而言，本章方法在两个数据集上都优于目前热门的对比算法。
对于洛杉矶数据集而言，POP比NCF和DMF在内的对比算法具有更高的NDCG，说明这个城市以地点热度进行排序能起到较好的地点推荐效果，而POP的Recall除了在K＝10的时候能次于NCF以外，在K＝20或30的时候都比较差，这说明以热度来命中用户感兴趣的地点还是太过局限。DMF在Recall方面不如BPR这类经典的个性化排序模型。最大可能性的原因是DMF依赖于用户和地点的共同空间，但却使用相似度来计算用户和地点之间的匹配程度。BPR在NDCG上的表现尚可，在Recall上次于NCF。BPR作为成对模型的代表算法，旨在挖掘出不同地点之间的相对排序。NMF无论是NDCG还是Recall方面都表现较差，说明传统的矩阵分解无法做到有效地求解用户偏好。
在西雅图数据集上，NMF的NDCG次于NCF，强于其他对比算法，这极有可能是因为数据集之间的差异，该数据集更加符合矩阵分解的目标。BPR无论是在NDCG还是Recall方面都优于DMF，但在K＝10的NDCG不如POP。DMF甚至具有最差的NDCG，这说明该深度模型在该城市上的兴趣点排序能力较弱。POP具有最差的Recall，同洛杉矶数据一样，无法以热度来更好地命中用户的兴趣点。NCF以深度学习的方式实现并结合了协同过滤和矩阵分解，在两个数据集上都有出色的性能。本发明提出的Union-Deep模型基于深度学习技术来深层次地挖掘用户和地点之间的潜在关系，同时利用深度矩阵分解来增强推荐，因此在洛杉矶数据集和西雅图数据上的NDCG和Recall都优于上述热门的推荐算法。表3展示了对比实验结果的具体数值，其对应了图9。
表3对比实验
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于，包括如下步骤：
S100：构建训练数据集，所述训练数据集包括，训练数据集中训练样本是第i个用户ui和第j个地点lj构成的数据组；
定义用户集合，地点集合和用户地点矩阵，其中用户集合表示为U＝{u1，u2，u3，...，um}，m表示用户数量，地点集合表示为L＝{l1，l2，l3，...，ln}，n表示地点的数量，用户地点矩阵表示为R：U×L，Rij表示了用户ui和地点lj之间的原始联系，即用户ui访问地点lj的次数；
S200：构建特征提取网络对每个训练样本进行特征的提取，得到每个样本的用户初级特征向量和地点初级特征向量；
S300：构建降维网络对每个训练样本的用户初级特征向量和地点初级特征向量分别进行向量降维处理，得到每个训练样本对应的用户高级特征向量和地点高级特征向量，且用户高级特征向量和地点高级特征向量的维数相等；
S400：计算每个训练样本中用户与配对的地点之间的预测结果，具体如下：
S410：针对每个训练样本将对应的用户高级特征向量和地点高级特征向量进行拼接得到每个训练样本高阶的特征组合信息；
S420：构建关系挖掘网络，将每个训练样本高阶的特征组合信息作为输入，输出每个训练样本中用户与配对的地点之间的预测结果Coij；
S430：采用sigmoid函数将预测结果Coij转化为预测概率值；
S500：计算损失，计算ui对lj是否感兴趣的真实概率值与ui对lj是否感兴趣的预测概率值之间的损失，根据损失值更新特征提取网络、降维网络和关系挖掘网络的参数，再将所有训练样本依次输入更新参数后的特征提取网络、降维网络和关系挖掘网络进行继续训练；
当损失不在下降时，特征提取网络、降维网络和关系挖掘网络训练完成；
S600：对于用户集合中的任一用户，预测该用户对多个未知地点是否感兴趣，将该用户和多个地点输入训练好的特征提取网络、降维网络和关系挖掘网络，得到该用户对多个位置地点的预测概率值，将所述概率值由大到小排序，得到该用户对多个未知地点感兴趣程度的推荐列表。
2.如权利要求1所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于：所述S200构建特征提取网络为局部特征提取层，具体如下：
用户ui的原始向量以
表示，地点lj的原始向量以
表示，定义一个局部窗口window大小的数值，将输入
或
按照该局部窗口window大小划分为若干局部模块，同时，根据局部窗口的数量将第一层神经网络划分为不同的部分，输入
或
的每个局部模块与第一层神经网络的每个部分对应；
表示用户向量或地点向量的输入层如公式(3)所示，进行局部特征提取的第一层神经网络如公式(4)所示。
其中，w_n是根据局部窗口大小得到的局部窗口个数，
和In1分别是第一层神经网络中第一个局部窗口对应的网络权重和输入，
是第一个局部窗口的网络偏置项，
和In2分别是第一层神经网络中第二个局部窗口对应的网络权重和输入，
是第二个局部窗口的网络偏置项，
和Inw_n分别是是第一层神经网络中第w_n个局部窗口对应的网络权重和输入，
第w_n个局部窗口的网络偏置项，Con表示拼接操作，即将所有局部学习的结果整合在一起作为第一层网络的输出，f是激活函数，采用ReLu形式，如公式(5)所示：
f(x)＝max(0，x) (5)。
3.如权利要求2所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于：
所述S300构建的降维网络具体如下：
设包含局部特征提取层在内的降维神经网络一共有M层，如公式(6)所示：
Layerk＝f(wkLayerk-1+bk)，k＝2，3...，M (6)
其中，wk和bk分别是第k层网络的权重和偏置，Layerk-1是k-1层的输出结果，当k＝2时，输入来自于局部特征提取层的结果，f采用ReLu激活函数；
在每一层神经网络发挥非线性作用之前，先将中间输入拉回到标准的正态分布，如(7)所示：
Layerk＝f(BNk(wkLayerk-1+bk)) (7)
其中，BNk是第k层的批量归一化处理，γ和β是需要训练得到的参数，∈是极小量参数，BNk在单个神经元上的计算形式，如公式(8)所示，Neumid代表了未经激活函数处理的单个神经元的中间输出值，如公式(9)所示，
和
分别是该神经元在层权重wk和层偏置bk的对应部分，
是该神经元在输入Layerk-1的对应部分，μ(Neumid)计算的是一个批次的训练数据集在该神经元上的平均值，σ(Neumid)2计算的是方差；
μ(Neumid)和σ(Neumid)2分别如公式(10)和公式(11)所示：
μ(Neumid)＝1/|Batch|∑zxz (10)
σ(Neumid)2＝1/|Batch|∑z(xz-μ(Neumid))2 (11)
其中，Batch代表了一个训练批次，xz代表了训练批次中的单个输入数据，每层网络中的每一个神经元都在激活函数之前执行批量归一化处理，将数据分布进行重新调整，之后才让激活函数执行非线性映射操作；
构建两个结构完成相同的降维降维网络，即用户降维降维网络和地点降维降维网络，经过向量降维网络后，用户向量
和地点向量
的新表达分别如公式(12)和公式(13)所示：
其中，
是用户降维降维网络的批量归一化、神经网络权重和偏置，
是面向地点降维降维网络的批量归一化、神经网络权重和偏置，
和
分别是降维后的用户高级特征向量和地点高级特征向量。
4.如权利要求5所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于：
所述S420构建关系挖掘网络，具体公式(15)所示，同时加入了Drop-out来缓解关系挖掘网络的过拟合现象，如公式(16)所示：
其中，关系挖掘网络的层数为N，wk和bk是每一层网络的权重和偏置，f是ReLu激活函数，
是由drop计算得到的由0或1表示的向量，其维度和所在层的神经元个数保持一致，drop函数在生成向量的时候，每一个维度取决于Bernoulli(p)，而Bernoulli(p)会按照概率p生成为1或0。
5.如权利要求4所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于，在所述S420之后构建用户隐因子矩阵ULF和地点隐因子矩阵LLF，并初始化；
矩阵分解的预测结果如公式(17)所示：
其中，
是用户ui在ULF中的对应向量，
是地点lj在LLF中的对应向量；
所述S500根据损失值进行参数更新时，也对用户隐因子矩阵ULF和地点隐因子矩阵LLF进行更新。
6.如权利要求5所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于：在构建ULF和LLF之后构建联合神经网络，如公式(18)所示：
Unionij＝f(wCoCoij+wMFMFij+b) (18)
其中，wCo和wMF分别为Coij和MFij对应的网络权重，b是网络的偏置；
所述S430中采用sigmoid函数将Unionij转化为概率值；
所述S500根据损失值进行参数更新时，也对联合神经网络的参数进行更新。
7.如权利要求6所述的基于联合神经网络的面向关系挖掘的兴趣点推荐方法，其特征在于：所述S500计算ui对lj是否感兴趣的真是概率值与ui对lj是否感兴趣的预测概率值之间的损失使用的损失函数为如公式(20)所示：
其中，I表示的是指示函数，如果Rij大于0，I(Rij)的值为1，否则为0，损失函数中的Rij属于当前采样的批次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611269.3A CN113268669B (zh) | 2021-06-01 | 2021-06-01 | 基于联合神经网络的面向关系挖掘的兴趣点推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611269.3A CN113268669B (zh) | 2021-06-01 | 2021-06-01 | 基于联合神经网络的面向关系挖掘的兴趣点推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113268669A true CN113268669A (zh) | 2021-08-17 |
| CN113268669B CN113268669B (zh) | 2022-09-23 |
Family
ID=77234001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110611269.3A Active CN113268669B (zh) | 2021-06-01 | 2021-06-01 | 基于联合神经网络的面向关系挖掘的兴趣点推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113268669B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656698A (zh) * | 2021-08-24 | 2021-11-16 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN113889217A (zh) * | 2021-10-19 | 2022-01-04 | 天津大学 | 基于孪生神经网络和深度因子分解机的药物推荐方法 |
| CN113901319A (zh) * | 2021-10-18 | 2022-01-07 | 桂林电子科技大学 | 一种基于序列语义与属性图特征学习的地点推荐方法 |
| CN114116692A (zh) * | 2021-11-04 | 2022-03-01 | 重庆大学 | 一种基于mask和双向模型的缺失POI轨迹补全方法 |
| CN116523566A (zh) * | 2023-06-30 | 2023-08-01 | 和元达信息科技有限公司 | 一种基于互联网广告投放的伪热度识别方法及系统 |
| CN114116692B (zh) * | 2021-11-04 | 2024-05-10 | 重庆大学 | 一种基于mask和双向模型的缺失POI轨迹补全方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766462A (zh) * | 2017-09-28 | 2018-03-06 | 重庆大学 | 基于用户偏好、社交信誉度和地理位置的兴趣点推荐方法 |
| CN108446635A (zh) * | 2018-03-19 | 2018-08-24 | 西北大学 | 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法 |
| CN109299396A (zh) * | 2018-11-28 | 2019-02-01 | 东北师范大学 | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 |
| CN111538916A (zh) * | 2020-04-20 | 2020-08-14 | 重庆大学 | 一种基于神经网络和地理影响的兴趣点推荐方法 |
| CN111666462A (zh) * | 2020-04-28 | 2020-09-15 | 百度在线网络技术（北京）有限公司 | 地理位置的推荐方法、装置、设备和计算机存储介质 |
| CN112328911A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 地点推荐方法、装置、设备及存储介质 |
| CN112380426A (zh) * | 2020-10-23 | 2021-02-19 | 南京邮电大学 | 一种基于图嵌入与用户长短期兴趣融合的兴趣点推荐方法、系统 |
| US20210110436A1 (en) * | 2019-10-14 | 2021-04-15 | Visa International Service Association | Group item recommendations for ephemeral groups based on mutual information maximization |
-
2021
- 2021-06-01 CN CN202110611269.3A patent/CN113268669B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766462A (zh) * | 2017-09-28 | 2018-03-06 | 重庆大学 | 基于用户偏好、社交信誉度和地理位置的兴趣点推荐方法 |
| CN108446635A (zh) * | 2018-03-19 | 2018-08-24 | 西北大学 | 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法 |
| CN109299396A (zh) * | 2018-11-28 | 2019-02-01 | 东北师范大学 | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 |
| US20210110436A1 (en) * | 2019-10-14 | 2021-04-15 | Visa International Service Association | Group item recommendations for ephemeral groups based on mutual information maximization |
| CN111538916A (zh) * | 2020-04-20 | 2020-08-14 | 重庆大学 | 一种基于神经网络和地理影响的兴趣点推荐方法 |
| CN111666462A (zh) * | 2020-04-28 | 2020-09-15 | 百度在线网络技术（北京）有限公司 | 地理位置的推荐方法、装置、设备和计算机存储介质 |
| CN112380426A (zh) * | 2020-10-23 | 2021-02-19 | 南京邮电大学 | 一种基于图嵌入与用户长短期兴趣融合的兴趣点推荐方法、系统 |
| CN112328911A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 地点推荐方法、装置、设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| ZHIQIAN ZHANG ET AL.: "NEXT: A Neural Network Framework for Next POI Recommendation", 《HTTPS://DOI.ORG/10.1007/S11704-018-8011-2》 * |
| 唐浩然 等: "结合地点类别和社交网络的兴趣点推荐", 《重庆大学学报》 * |
| 李英华: "基于神经网络的兴趣地点推荐研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王娜娜: "LBSN中用户偏好和嵌入增强的POI推荐技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 蔡海尼 等: "基于用户签到和地理属性的个性化位置推荐算法研究", 《计算机科学》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656698A (zh) * | 2021-08-24 | 2021-11-16 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN113656698B (zh) * | 2021-08-24 | 2024-04-09 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN113901319A (zh) * | 2021-10-18 | 2022-01-07 | 桂林电子科技大学 | 一种基于序列语义与属性图特征学习的地点推荐方法 |
| CN113901319B (zh) * | 2021-10-18 | 2024-03-26 | 桂林电子科技大学 | 一种基于序列语义与属性图特征学习的地点推荐方法 |
| CN113889217A (zh) * | 2021-10-19 | 2022-01-04 | 天津大学 | 基于孪生神经网络和深度因子分解机的药物推荐方法 |
| CN114116692A (zh) * | 2021-11-04 | 2022-03-01 | 重庆大学 | 一种基于mask和双向模型的缺失POI轨迹补全方法 |
| CN114116692B (zh) * | 2021-11-04 | 2024-05-10 | 重庆大学 | 一种基于mask和双向模型的缺失POI轨迹补全方法 |
| CN116523566A (zh) * | 2023-06-30 | 2023-08-01 | 和元达信息科技有限公司 | 一种基于互联网广告投放的伪热度识别方法及系统 |
| CN116523566B (zh) * | 2023-06-30 | 2024-01-02 | 和元达信息科技有限公司 | 一种基于互联网广告投放的伪热度识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113268669B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113268669B (zh) | 基于联合神经网络的面向关系挖掘的兴趣点推荐方法 | |
| CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
| CN109785062B (zh) | 一种基于协同过滤模型的混合神经网络推荐系统 | |
| CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
| CN109508428B (zh) | 基于兴趣点真流行度与隐式信任挖掘的兴趣点推荐方法 | |
| CN109840833B (zh) | 贝叶斯协同过滤推荐方法 | |
| CN110532429B (zh) | 一种基于聚类和关联规则的线上用户群体分类方法及装置 | |
| CN112115377A (zh) | 一种基于社交关系的图神经网络链路预测推荐方法 | |
| CN110222838B (zh) | 文档排序方法、装置、电子设备及存储介质 | |
| US20120109865A1 (en) | Using affinity measures with supervised classifiers | |
| CN109471982B (zh) | 一种基于用户和服务聚类QoS感知的Web服务推荐方法 | |
| CN113269647B (zh) | 基于图的交易异常关联用户检测方法 | |
| CN108920647B (zh) | 基于谱聚类的低秩矩阵填充top-n推荐方法 | |
| CN111538916B (zh) | 一种基于神经网络和地理影响的兴趣点推荐方法 | |
| Wang | A hybrid recommendation for music based on reinforcement learning | |
| Zhang et al. | Aggregated recommendation through random forests | |
| CN113918834A (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| CN109933720B (zh) | 一种基于用户兴趣自适应演化的动态推荐方法 | |
| CN113342994B (zh) | 一种基于无采样协作知识图网络的推荐系统 | |
| CN111753215A (zh) | 一种多目标推荐优化方法及可读介质 | |
| CN116911949A (zh) | 基于边界排名损失和邻域感知图神经网络的物品推荐方法 | |
| CN110543601B (zh) | 一种基于中智集的上下文感知兴趣点推荐方法及系统 | |
| Joorabloo et al. | A probabilistic graph-based method to solve precision-diversity dilemma in recommender systems | |
| CN113536109B (zh) | 一种基于神经网络和移动上下文的兴趣点推荐方法 | |
| CN111159543B (zh) | 基于多级视觉相似度的个性化旅游地点推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231220 Address after: No. 546, Luoyu Road, Hongshan District, Wuhan, Hubei Province, 430000 Patentee after: HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co.,Ltd. Address before: 400044 No. 174 Sha Jie street, Shapingba District, Chongqing Patentee before: Chongqing University |