CN110134885B - 一种兴趣点推荐方法、装置、设备以及计算机存储介质 - Google Patents

一种兴趣点推荐方法、装置、设备以及计算机存储介质 Download PDF

Info

Publication number
CN110134885B
CN110134885B CN201910429264.1A CN201910429264A CN110134885B CN 110134885 B CN110134885 B CN 110134885B CN 201910429264 A CN201910429264 A CN 201910429264A CN 110134885 B CN110134885 B CN 110134885B
Authority
CN
China
Prior art keywords
user
matrix
interest point
interest
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429264.1A
Other languages
English (en)
Other versions
CN110134885A (zh
Inventor
陈建兵
陈平华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910429264.1A priority Critical patent/CN110134885B/zh
Publication of CN110134885A publication Critical patent/CN110134885A/zh
Application granted granted Critical
Publication of CN110134885B publication Critical patent/CN110134885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种兴趣点推荐方法、装置、设备以及计算机存储介质，包括：根据各个用户对各个兴趣点的历史签到数据，构建用户‑兴趣点评分矩阵；对用户‑兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；提取用户评语文本的语义特征与图像集合的图像特征，利用所述语义特征和图像特征分别辅助初始用户特征矩阵和初始兴趣点特征矩阵的更新学习，将更新后的用户特征矩阵和兴趣点特征矩阵相乘，得到预测评分矩阵；利用预测评分矩阵减用户‑兴趣点评分矩阵，得到差值；采用梯度下降的方法差值进行优化，直至差值不发生变化，获取目标评分矩阵，利用目标评分矩阵向用户推荐目标兴趣点。

Description

一种兴趣点推荐方法、装置、设备以及计算机存储介质
技术领域
本发明涉及数据处理技术领域，特别是涉及一种兴趣点推荐方法、装置、设备以及计算机可读存储介质。
背景技术
随着互联网技术的快速发展、移动多媒体设备的普及和定位技术的广泛应用，基于位置的社交网络(Location-based social network，LBSN)及其服务越来越流行，如国内的美团、大众点评和国外的Yelp及Instagram等。用户在基于位置的社交网络中，以签到形式对兴趣点(Points-of-interest，POIs)进行评分、写评论和上传图片，与好友分享在当前位置的活动。因此，积累了海量的签到数据，通过这些签到数据分析用户的行为模式，预测用户将对哪些兴趣点，如餐厅、博物馆和旅游景点等进行访问，催生了一种新的个性化推荐系统—兴趣点推荐。LBSN中个性化的兴趣点推荐有助于用户在海量的情景信息中快速获取满足自身需求的信息，增强社交体验。对于服务提供商，挖掘用户的行为习惯，有助于其及时推出相应的营销策略。
目前的兴趣点推荐研究主要关注于与兴趣点相关的三个情景信息，地理位置、时间和社交关系。相关的兴趣点推荐算法证明了融合上述情景信息有助于提高兴趣点推荐。但是这些算法还存在着一定的问题，如在真实的LBSN中显式的评分数据非常稀疏而导致推荐性能大打折扣；如隐式的情景信息难以获得并建模，以时间因素为例，动态的时间变化因难以建模时常被忽视，导致用户对兴趣点的评分矩阵极度稀疏，使得推荐性能大打折扣，向用户推荐的兴趣点准确度较低。
现有技术中基于概率矩阵分解(Probabilistic matrix factorization，PMF)的兴趣点推荐，只是简单的利用用户对兴趣点的签到数据构建评分矩阵
Figure GDA0003914415790000011
然后将高维的评分矩阵R分解为低维的用户隐特征矩阵(Latent user feature matrix)
Figure GDA0003914415790000012
和兴趣点隐特征矩阵(Latent POI feature matrix)
Figure GDA0003914415790000013
其中，k为特征空间维度，且k＜＜min(m，n)。用户对兴趣点的偏好建模为特征空间中的点ui和lj的点积
Figure GDA0003914415790000014
现有技术中兴趣点推荐方法的模型结构如图1所示。
概率矩阵分解高斯先验表达式为：
Figure GDA0003914415790000021
其中，Iij为指示函数，当Rij＞0时Iij＝1，否则Iij＝0。
Figure GDA0003914415790000022
是均值为μ，方差为σ2的高斯分布。同时，假设用户和兴趣点隐特征矩阵分别服从
Figure GDA0003914415790000023
和
Figure GDA0003914415790000024
的高斯先验。
因此，后验概率分布表达式为：
Figure GDA0003914415790000025
综上所述可以看出，如何提高兴趣点推荐模型的推荐性能是目前有待解决的问题。
发明内容
本发明的目的是提供一种兴趣点推荐方法、装置、设备以及计算机可读存储介质，以解决现有技术中兴趣点推荐的准确度较低的问题。
为解决上述技术问题，本发明提供一种兴趣点推荐方法，包括：根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户。
优选地，所述提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征包括：
利用BERT算法提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征。
优选地，所述利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵包括：
在所述初始用户特征矩阵中提取用户特征向量；
将所述用户特性向量和语义特征向量相的乘积输入至sigmoid函数中，得到所述语义特征向量为所述用户特征向量所表示的用户所写的第一概率值；
提高所述第一概率值，对所述用户特性向量进行更新，从而得到更新后的第一用户特征矩阵。
优选地，所述提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征包括：
利用卷积神经网络中的VGG16算法提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征。
优选地，所述利用所述图像特征进行所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵包括：
在所述初始兴趣点特征矩阵中提取兴趣点特征向量；
将所述兴趣点特征向量与图像特征向量的乘积输入至sigmoid函数中，得到所述图像特征向量表示的图像在所述兴趣点特征向量所表示的兴趣点所拍摄的第二概率值；
提高所述第二概率值，对所述兴趣点特征向量进行更新，得到更新后的第一兴趣点特征矩阵。
优选地，所述将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵包括：
利用似然函数联合所述第一用户特征矩阵和所述第一兴趣点特征矩阵，得到所述各个用户对所述各个兴趣点的预测评分矩阵。
优选地，所述根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵包括：
循环执行利用所述差值和所述语义特征对所述第一用户特征矩阵进行更新，利用所述差值和所述图像特征对所述第一兴趣点特征矩阵进行更新，利用更新后的第一用户特征矩阵和更新后的第一兴趣点特征矩阵相乘，得到更新后的预测评分矩阵，利用更新后的预测评分矩阵减去所述用户-兴趣点评分矩阵，得到更新后的差值的步骤，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵。
本发明还提供了一种兴趣点推荐装置，包括：
构建模块，用于根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
分解模块，用于对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
第一提取模块，用于提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
第二提取模块，用于提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
第一处理模块，用于将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
第二处理模块，用于利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
优化模块，用于根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
选取模块，用于在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户。
本发明还提供了一种兴趣点推荐设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种兴趣点推荐方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种兴趣点推荐方法的步骤。
本发明所提供的兴趣点推荐方法，根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵。对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵。提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征；依据所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征。利用所述评语文本集合的语义特征辅助所述初始用户特征的更新学习，利用所述图像集合的图像特征辅助所述初始兴趣点特征的更新学习。利用更新后的用户特征矩阵和兴趣点特征矩阵，得到预测评分矩阵。采用梯度下降的方法对所述预测评分矩阵与所述用户-兴趣点评分矩阵差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵，以便于利用所述目标评分矩阵向所述用户集合中的目标用户推荐目标兴趣点。本发明所提供的兴趣点推荐方法，利用用户的评语文本和图像内容辅助了对用户-兴趣点评分矩阵概率概念分解后得到的用户特征矩形和兴趣点特征矩形的更新学习，解决了现有技术中用户对兴趣点的评分矩阵极度稀疏的问题，优化了兴趣点推荐模型，提高了推荐性能。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于概率矩阵分解的兴趣点推荐方法的模型结构图；
图2为本发明所提供的兴趣点推荐方法的第一种具体实施例的流程图；
图3为本发明所提供的兴趣点推荐方法的第一种具体实施例的流程图；
图4为BERT算法模型的网络架构示意图；
图5为VGG16算法模型的框架结构示意图；
图6为RIPOI的模型结构图；
图7为本发明实施例提供的一种兴趣点推荐装置的结构框图。
具体实施方式
本发明的核心是提供一种兴趣点推荐方法、装置、设备以及计算机可读存储介质，利用用户的评语文本和图像内容，优化了兴趣点推荐模型，提高了推荐性能。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图2，图2为本发明所提供的兴趣点推荐方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S201：根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
根据用户集合
Figure GDA0003914415790000061
中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵
Figure GDA0003914415790000062
其中，m为用户数量，n为兴趣点数量。
矩阵
Figure GDA0003914415790000063
用于描述用户对兴趣点的评分情况，每个元素Rij表示用户ui对兴趣点lj的评分值，大小在区间[1，5]范围，Rij＝0表示用户ui未访问过兴趣点lj。
步骤S202：对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
步骤S203：提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
步骤S204：提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
步骤S205：将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
步骤S206：利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
步骤S207：根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
步骤S208：在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户。
在本实施例中，充分利用了用户评语文本中隐含的对兴趣点的评分依据以及情感倾向信息与图像内容中隐含的兴趣点相关的属性，如外观轮廓、周围环境等丰富的语义信息。使用深度神经网络提取了用户评语文本集合中的语义特征和图像集合中的图像特征，融合了评语、图像和评分数据，重新构建了基于概率矩阵分解构建统一的兴趣点推荐模型，提高了推荐性能，解决了现有技术中的兴趣点推荐模型由于用户对兴趣点的评分矩阵极度稀疏，使得推荐性能大打折扣的问题。
基于上述实施例，在本实施例中，可以利用BERT算法提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征。利用卷积神经网络中的VGG16算法提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征。
请参考图3，图3为本发明所提供的兴趣点推荐方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S301：根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
步骤S302：对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
步骤S303：利用BERT算法提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征；
为了将所述评语文本集合
Figure GDA0003914415790000071
融合到概率矩阵分解中辅助用户隐特征向量的学习，需要从所述评论文件集合中的评语中抽取有用的语义特征。
在本实施例中，可以利用深度神经网络作为一种高效的文本特征抽取工具。在本实施例选用BERT(Bidirectional Encoder Representations from Transformers)算法提取所述评语文本集合中的语义特征。在本发明的其他实施例中还可以选用其他深度神经网络算法实现语义特征的提取。
BERT算法模型为谷歌提出的基于双向Transformer大规模预训练(pre-trained)语言模型，可以高效的抽取文本的语义特征，所述BERT算法模型的网络架构示意图如图4所示。如图4可以看出在处理每个词时，模型都能利用前面的词和后面的词两部分信息，因此能够捕捉到文本的双向上下文语境。相对于RNN，BERT使用更高效的Transformer，能捕获句子的长依赖关系。本发明选用BERT作为评语语义特征抽取模型。输入任意长度句子ta，输出维度为da＝768的特征向量，记为BERT(ta)。
步骤S304：利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
利用所述语义特征辅助所述初始用户特征矩阵的更新学习时，在所述初始用户特征矩阵中提取用户特征向量，将所述用户特性向量和语义特征向量相的乘积输入至sigmoid函数中，得到所述语义特征向量为所述用户特征向量所表示的用户所写的第一概率值；提高所述第一概率值，对所述用户特性向量进行更新，从而得到更新后的第一用户特征矩阵。
本实施例基于一个假设：评语文本ta由用户ui对兴趣点lj所撰写，则评语ta包含了ui对lj的评分依据和情感信息等用户偏好特征，同时用户ui的偏好由用户特征向量ui所表示，也即ui能够分辨ta是否为ui所撰写。将其转化为数学模型，首先定义一个sigmoid函数P(fai＝1|ui，ta)表示ta是ui撰写的概率，其中fai标记ta是否为ui所撰写。表达式如下所示：
Figure GDA0003914415790000081
由于向量
Figure GDA0003914415790000082
和向量BERT(ta)维度不一致，所以式中
Figure GDA0003914415790000083
为
Figure GDA0003914415790000084
和BERT(ta)的交互矩阵。对于
Figure GDA0003914415790000085
通过最大化概率P(fai＝1|ui，ta)，可以从用户ui所撰写的评语集
Figure GDA0003914415790000086
中辅助所述用户特征向量ui的学习。
步骤S305：利用卷积神经网络中的VGG16算法提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征；
为了建模所述图像集合
Figure GDA0003914415790000087
中的图像对兴趣点推荐的影响，在本实施例中可以选用卷积神经网络(Convolutional neural network，CNN)中最主流模型VGG16的预训练(pre-trained)模型作为图像特征抽取模型。
如图5所示，VGG16由13层卷积层、5层池化层、3层全连接层和一层SoftMax层组成，输入是一张大小为224×224×3的RGB图像，输出是图像的类别。由于本发明实施例的目的为抽取图像集合的图像特征，不需要进行图像分类，因此可以去掉VGG16模型中用于分类的SoftMax层，并将模型中最后一层设置成1×1×100的全连接层。对于图像集合中的任意一张图像pb，可以将其大小置为224×224作为输入，输出维度db＝100的特征向量，记为VGG(pb)。
步骤S306：利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习时，在所述初始兴趣点特征矩阵中提取兴趣点特征向量；将所述兴趣点特征向量与图像特征向量的乘积输入至sigmoid函数中，得到所述图像特征向量表示的图像在所述兴趣点特征向量所表示的兴趣点所拍摄的第二概率值；提高所述第二概率值，对所述兴趣点特征向量进行更新，从而得到更新后的第一兴趣点特征矩阵。
对于任一拍摄于兴趣点lj的图像pb，必然会隐含有描述所述兴趣点lj特征相关的信息，如建筑物外观轮廓、餐饮店特色菜等。同时，所述兴趣点lj的隐图像特征由向量lj表示。用数学模型表示，首先定义一个sigmoid函数P(gbj＝1|lj，pb)表示图像pb拍摄于兴趣点lj的概率，其中gbj标记pb是否拍摄于lj，表达式如下所示：
Figure GDA0003914415790000091
由于向量lj与向量VGG(pb)维度不一致，所以取矩阵
Figure GDA0003914415790000092
为lj与VGG(pb)的交互矩阵。因此，对于
Figure GDA0003914415790000093
通过最大化概率P(gbj＝1|lj，pb)，从拍摄于兴趣点lj的图像集
Figure GDA0003914415790000094
中辅助lj隐图像特征向量lj的学习。
步骤S307：将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
结合公式(3)和公式(4)，并通过似然函数联合学习评语文本和图像语义信息，可以得到所述预测评分矩阵，如下所示：
Figure GDA0003914415790000095
其中，
Figure GDA0003914415790000096
同时假设交互矩阵P和Q分别服从均值μ＝0的高斯分布
Figure GDA0003914415790000097
Figure GDA0003914415790000101
步骤S308：利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
联合公式(2)和公式(5)，确定所述预测评分矩阵与所述用户-兴趣点评分矩阵之间的差值；并在本实施例中提出了一个融合评分信息、评语文本和图像语义信息的兴趣点推荐框架RIPOI(Reviews-Images-POIs)：
Figure GDA0003914415790000102
其中，RIPOI的后验分布(posterior distribution)P(U,L,P,Q│R,F,G,T,P)经过贝叶斯公式推导得出：
Figure GDA0003914415790000103
如图6所示，将公式(2)和公式(5)代入公式(7)，且公式两边取对数化简，得到RIPOI模型的目标函数：
Figure GDA0003914415790000104
步骤S309：根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
循环执行利用所述差值和所述语义特征对所述第一用户特征矩阵进行更新，利用所述差值和所述图像特征对所述第一兴趣点特征矩阵进行更新，利用更新后的第一用户特征矩阵和更新后的第一兴趣点特征矩阵相乘，得到更新后的预测评分矩阵，利用更新后的预测评分矩阵减去所述用户-兴趣点评分矩阵，得到更新后的差值的步骤，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵。
步骤S310：在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户。
在本实施例中，使用深度神经网络框架BERT和VGG16分别提取用户评语文本和图像内容特征，分别建立用户-评语特征模型、兴趣点-图像特征模型和用户-评分模型，基于概率矩阵分解构建统一的兴趣点推荐模型RIPOI。该模型能够利用评语语义特征辅助用户偏好特征的学习、利用图像语义特征辅助兴趣点特征的学习，提高了兴趣点推荐的性能，在一定程度上解决了兴趣点推荐中用户签到数据极度稀疏性带来的推荐性能问题。
请参考图7，图7为本发明实施例提供的一种兴趣点推荐装置的结构框图；具体装置可以包括：
构建模块100，用于根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
分解模块200，用于对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
第一提取模块300，用于提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
第二提取模块400，用于提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
第一处理模块500，用于将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
第二处理模块600，用于利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
优化模块700，用于根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
选取模块800，用于在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户。
本实施例的兴趣点推荐装置用于实现前述的兴趣点推荐方法，因此兴趣点推荐装置中的具体实施方式可见前文中的兴趣点推荐方法的实施例部分，例如，构建模块100，分解模块200，第一提取模块300，第二提取模块400，第一处理模块500，第二处理模块600，优化模块700和选取模块800分别用于实现上述兴趣点推荐方法中步骤S101，S102，S103，S104，S105，S106，S107和S108，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种兴趣点推荐设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种兴趣点推荐方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种兴趣点推荐方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的兴趣点推荐方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种兴趣点推荐方法，其特征在于，包括：
根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户；
所述提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征包括：
利用BERT算法提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征；
所述利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵包括：
在所述初始用户特征矩阵中提取用户特征向量；
将所述用户特性向量和语义特征向量相的乘积输入至sigmoid函数中，得到所述语义特征向量为所述用户特征向量所表示的用户所写的第一概率值；
提高所述第一概率值，对所述用户特性向量进行更新，从而得到更新后的第一用户特征矩阵；
所述提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征包括：
利用卷积神经网络中的VGG16算法提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征；
所述利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵包括：
在所述初始兴趣点特征矩阵中提取兴趣点特征向量；
将所述兴趣点特征向量与图像特征向量的乘积输入至sigmoid函数中，得到所述图像特征向量表示的图像在所述兴趣点特征向量所表示的兴趣点所拍摄的第二概率值；
提高所述第二概率值，对所述兴趣点特征向量进行更新，从而得到更新后的第一兴趣点特征矩阵；
并且，所述sigmoid函数的表达式如下所示：
Figure FDA0003914415780000021
式中，P(fai＝1|ui，ta)，表示评语文本ta是用户特征向量ui对应的用户撰写的概率，其中fai标记评语文本ta是否为用户特征向量ui对应的用户所撰写；
Figure FDA0003914415780000022
为向量
Figure FDA0003914415780000023
和BERT(ta)的交互矩阵。
2.如权利要求1所述的方法，其特征在于，所述将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵包括：
利用似然函数联合所述第一用户特征矩阵和所述第一兴趣点特征矩阵，得到所述各个用户对所述各个兴趣点的预测评分矩阵。
3.如权利要求1至2任一项所述的方法，其特征在于，所述根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵包括：
循环执行利用所述差值和所述语义特征对所述第一用户特征矩阵进行更新，利用所述差值和所述图像特征对所述第一兴趣点特征矩阵进行更新，利用更新后的第一用户特征矩阵和更新后的第一兴趣点特征矩阵相乘，得到更新后的预测评分矩阵，利用更新后的预测评分矩阵减去所述用户-兴趣点评分矩阵，得到更新后的差值的步骤，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵。
4.一种兴趣点推荐装置，其特征在于，包括：
构建模块，用于根据用户集合中各个用户对兴趣点集合中各个兴趣点的历史签到数据，构建用户-兴趣点评分矩阵；
分解模块，用于对所述用户-兴趣点评分矩阵进行概念矩阵分解，得到初始用户特征矩阵和初始兴趣点特征矩阵；
第一提取模块，用于提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征，利用所述语义特征辅助所述初始用户特征矩阵的更新学习，得到更新后的第一用户特征矩阵；
第二提取模块，用于提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征，利用所述图像特征辅助所述初始兴趣点特征矩阵的更新学习，得到更新后的第一兴趣点特征矩阵；
第一处理模块，用于将所述第一用户特征矩阵和所述第一兴趣点特征矩阵相乘，得到预测评分矩阵；
第二处理模块，用于利用所述预测评分矩阵减去所述用户-兴趣点评分矩阵，得到差值；
优化模块，用于根据所述语义特征和所述图像特征，采用梯度下降法对所述差值进行优化，直至所述差值不发生变化，获取当前差值对应的预测评分矩阵作为目标评分矩阵；
选取模块，用于在所述兴趣点集合中划分出所述用户集合中目标用户未去过的兴趣点子集合后，根据所述目标评分矩阵在所述兴趣点子集合中选取k个评分值最大的目标兴趣点发送至所述目标用户；
所述第一提取模块，具体用于利用BERT算法提取所述各个用户对所述各个兴趣点的评语文本集合的语义特征；在所述初始用户特征矩阵中提取用户特征向量；将所述用户特性向量和语义特征向量相的乘积输入至sigmoid函数中，得到所述语义特征向量为所述用户特征向量所表示的用户所写的第一概率值；提高所述第一概率值，对所述用户特性向量进行更新，从而得到更新后的第一用户特征矩阵；
所述第二提取模块，具体用于利用卷积神经网络中的VGG16算法提取所述各个用户在所述各个兴趣点拍摄的图像集合的图像特征；在所述初始兴趣点特征矩阵中提取兴趣点特征向量；将所述兴趣点特征向量与图像特征向量的乘积输入至sigmoid函数中，得到所述图像特征向量表示的图像在所述兴趣点特征向量所表示的兴趣点所拍摄的第二概率值；提高所述第二概率值，对所述兴趣点特征向量进行更新，从而得到更新后的第一兴趣点特征矩阵；
并且，所述sigmoid函数的表达式如下所示：
Figure FDA0003914415780000041
式中，P(fai＝1|ui，ta)，表示评语文本ta是用户特征向量ui对应的用户撰写的概率，其中fai标记评语文本ta是否为用户特征向量ui对应的用户所撰写；
Figure FDA0003914415780000042
为向量
Figure FDA0003914415780000043
和BERT(ta)的交互矩阵。
5.一种兴趣点推荐设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述一种兴趣点推荐方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述一种兴趣点推荐方法的步骤。
CN201910429264.1A 2019-05-22 2019-05-22 一种兴趣点推荐方法、装置、设备以及计算机存储介质 Active CN110134885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429264.1A CN110134885B (zh) 2019-05-22 2019-05-22 一种兴趣点推荐方法、装置、设备以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429264.1A CN110134885B (zh) 2019-05-22 2019-05-22 一种兴趣点推荐方法、装置、设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110134885A CN110134885A (zh) 2019-08-16
CN110134885B true CN110134885B (zh) 2022-12-20

Family

ID=67572599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429264.1A Active CN110134885B (zh) 2019-05-22 2019-05-22 一种兴趣点推荐方法、装置、设备以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110134885B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061961B (zh) * 2019-11-19 2023-05-26 江西财经大学 一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统
CN112905873A (zh) * 2019-12-03 2021-06-04 京东数字科技控股有限公司 数据处理方法、装置和计算机可读存储介质
CN111159543B (zh) * 2019-12-18 2022-04-05 浙江大学 基于多级视觉相似度的个性化旅游地点推荐方法
CN112860992B (zh) * 2021-01-25 2023-03-24 西安博达软件股份有限公司 基于网站内容数据推荐的特征优化预训练方法
CN112818146B (zh) * 2021-01-26 2022-12-02 山西三友和智慧信息技术股份有限公司 一种基于产品图像风格的推荐方法
CN113205427B (zh) * 2021-06-07 2022-09-16 广西师范大学 社交网络的下一个兴趣点的推荐方法
CN113742597A (zh) * 2021-09-18 2021-12-03 辽宁工程技术大学 一种基于lbsn和多图融合的兴趣点推荐方法
CN115905717B (zh) * 2023-03-02 2023-05-09 中南大学 基于混合3d卷积融合评级与评论的景点推荐方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126615A (zh) * 2016-06-22 2016-11-16 苏州大学 一种兴趣点推荐的方法及系统
CN108829766A (zh) * 2018-05-29 2018-11-16 苏州大学 一种兴趣点推荐方法、系统、设备及计算机可读存储介质
CN109241454A (zh) * 2018-07-18 2019-01-18 广东工业大学 一种将社交网络和图像内容融合的兴趣点推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126615A (zh) * 2016-06-22 2016-11-16 苏州大学 一种兴趣点推荐的方法及系统
CN108829766A (zh) * 2018-05-29 2018-11-16 苏州大学 一种兴趣点推荐方法、系统、设备及计算机可读存储介质
CN109241454A (zh) * 2018-07-18 2019-01-18 广东工业大学 一种将社交网络和图像内容融合的兴趣点推荐方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于数字标牌广告数据的兴趣点推荐算法研究;解贵龙等;《计算机应用与软件》;20160715(第07期);第249-278页 *
基于深度学习的推荐系统研究综述;黄立威等;《计算机学报》;20180305(第07期);第191-219页 *
融合信任关系和有用性评价的矩阵分解推荐方法;曾安等;《计算机科学》;20170415(第04期);第295-301页 *
融合偏好度与网络结构的推荐算法;黄继婷等;《计算机工程与应用》;20190307;第9-15页 *
融合社交网络和图像内容的兴趣点推荐;邵长城等;《计算机应用》;20190121(第05期);第21-28页 *

Also Published As

Publication number Publication date
CN110134885A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110134885B (zh) 一种兴趣点推荐方法、装置、设备以及计算机存储介质
CN107861938B (zh) 一种poi文案生成方法及装置，电子设备
CN107133277B (zh) 一种基于动态主题模型和矩阵分解的旅游景点推荐方法
CN107133262B (zh) 一种基于多影响嵌入的个性化poi推荐方法
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN111581966A (zh) 一种融合上下文特征方面级情感分类方法和装置
CN113505204B (zh) 召回模型训练方法、搜索召回方法、装置和计算机设备
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN108304376B (zh) 文本向量的确定方法、装置、存储介质及电子装置
US10217224B2 (en) Method and system for sharing-oriented personalized route planning via a customizable multimedia approach
CN113705313A (zh) 文本识别方法、装置、设备及介质
CN110321918A (zh) 基于微博的舆论机器人系统情感分析和图像标注的方法
CN107392392A (zh) 基于深度学习的微博转发预测方法
CN114461943B (zh) 基于深度学习的多源poi语义匹配方法、装置及其存储介质
CN109858031B (zh) 神经网络模型训练、上下文预测方法及装置
CN114490926A (zh) 一种相似问题的确定方法、装置、存储介质及终端
CN112733040B (zh) 一种旅游行程推荐方法
CN113901789A (zh) 基于门控空洞卷积和图卷积的方面级情感分析方法及系统
US11651280B2 (en) Recording medium, information processing system, and information processing method
CN113722436A (zh) 文本信息提取方法、装置、计算机设备及存储介质
CN115906861B (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN110851629A (zh) 一种图像检索的方法
CN111177565B (zh) 基于相关矩阵和词向量模型的兴趣点推荐方法
CN114817734A (zh) 推荐模型的训练方法、推荐方法和装置、电子设备及介质
CN114443916A (zh) 一种面向试验数据的供需匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant