CN112257517A - 一种基于景点聚类和群体情感识别的旅游景点推荐系统 - Google Patents
一种基于景点聚类和群体情感识别的旅游景点推荐系统 Download PDFInfo
- Publication number
- CN112257517A CN112257517A CN202011058628.9A CN202011058628A CN112257517A CN 112257517 A CN112257517 A CN 112257517A CN 202011058628 A CN202011058628 A CN 202011058628A CN 112257517 A CN112257517 A CN 112257517A
- Authority
- CN
- China
- Prior art keywords
- scenic spot
- emotion
- spot
- scenic
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 141
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000007476 Maximum Likelihood Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 11
- 239000010410 layer Substances 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于景点聚类和群体情感识别的旅游景点推荐系统,包括:数据采集模块、数据库、景点聚类模块、情感计算模块、景点情感与景点类型关系建模及分析模块、景点推荐模块以及服务显示模块。本发明的有益效果是:该系统基于多项人工智能技术,对游客分享的景点照片进行情感分析和计算,为旅游者提供丰富而真实的景点体验数据,按照景点类型进行推荐,充分考虑了由于景点类型造成的景点情感分数的影响,丰富了用户的景点选择参考信息,帮助旅游者更好的做出旅游决策。
Description
技术领域
本发明涉及旅游领域,尤其涉及一种基于景点聚类和群体情感识别的旅游景点推荐系统。
背景技术
随着社会经济的发展,旅游业已成为促进经济增长方式转变的重要产业,旅游景点信息的分析处理至关重要。大数据时代的到来,信息过载使得人们在以指数增长的资源中快速、准确地定位到所需内容变得非常重要且极具挑战。对游客而言,这种挑战就具体到从海量信息中快速找到真实直观的旅游体验数据,一种公正全面的旅游推荐系统亟待研发。
现有的旅游景点排名列表依赖于环境和社会经济等客观指标,或直接根据游客量来直接排名,游客的感知和感受常常被忽略。基于游客情感感知排名能够提供以人为本的旅游推荐,则需要对景点进行自动情感计算。
早前,社会科学领域的学者经常使用问卷和报告来调查人们在不同环境中的情感,花费很多人力资源缺乏及时性;而且,依赖于问卷的结果可能会受自我认知的限制和知情同意的影响。随着情感计算技术的出现,大多数现有研究使用自然语言处理(NLP)从文本语料库中提取人类情感,如微博推文数据、带有地理标记的文本等。文本通常是在事件发生后记录下来的,可能缺乏实时性;此外,目前基于文本的情感计算仅限于一次分析一种语言的资料,将面临多语言环境的挑战,不适用于全球规模的研究。而面部表情在各个国家和不同时期都具有普遍性,是人类传达其情感状态和意图最强烈、最自然和最普遍的信号之一,同时可以实时捕获人的情绪,具有实时性和普适性,适合全球范围内的场所情感提取。近年来,由于深度卷积神经网络的发展,越来越多的研究开始将深度学习技术运用到了人脸表情识别中,使得人脸表情识别技术有较强的抗干扰性(例如,在有遮挡物和光线太强或太弱的场景下,也能较好的识别)。因此,将“游客照”中的人脸进行表情识别,根据他们所表达出的“积极”、“消极”和“中性”的情感来分析该景点的群体情感指数和推荐指数,具有重大意义。
此外,旅游景点类型影响着人们真实情绪的表达,例如人们在教堂、军师纪念馆等场所,会抑制自己开心情绪的表达,在游客照上将较少呈现出高兴表情,但这并不意味这游客在这些场所的情感是不积极的;而在游乐场、户外等场所,人们感情得到释放,表现出很多开心表情。因此,深入讨论景点类型与人类情绪之间的关联度指数,为游客提供更为全面的景点情感指标和推荐信息,也具有重要的研究意义。
发明内容
为了解决上述问题,本发明提供了一种基于景点聚类和群体情感识别的旅游景点推荐系统。
一种基于景点聚类和群体情感识别的旅游景点推荐系统,包括:数据采集模块、数据库、景点聚类模块、情感计算模块、景点情感与景点类型关系建模及分析模块、景点推荐模块以及服务显示模块;
数据采集模块,用于选取全球游客量靠前的若干个景点,并在相关网站上爬取各景点中若干张游客照片,并获取用户收藏、点赞及评论行为信息;
景点聚类模块,用于按照景点分类标准,对选取的景点进行分类;
情感计算模块,用于计算出各景点的景点情感指数;
景点情感与景点类型关系建模及分析模块,用于分析景点类型与景点情感指数的相关关系,并建立景点类型与景点情感指数的模型;
景点推荐模块,用于计算出景点偏好相似的用户集以及目标用户没有看过的景点的推荐评分,并给出各景点类型的推荐景点;
数据库,用于存储用户信息和数据采集模块发送的各景点的游客照片及用户收藏、点赞和评论行为信息,还用于存储景点情感与景点类型关系建模及分析模块发送的景点类型与各景点的情感指数的相关关系分析结果;
服务显示模块,用于显示各景点类型的推荐景点以及景点类型与各景点的情感指数的相关关系分析结果;
进一步地,数据采集模块中,爬取的游客照片覆盖全部景点,且各景点的游客照片至少有2万张;
进一步地,利用情感计算模块计算出各景点的场景情感指数的具体步骤为:
S1、获取公开情感数据集;
S2、利用步骤S1中所述公开情感数据集训练基于上下文内容的图注意力神经网络,获得群体情感预测模型;
S3、利用步骤S2中所述群体情感预测模型来分别对各景点的游客照片中群体情感进行预测,识别出各景点中每张游客照片中表达出来的情感类别;
S4、基于步骤S3中所述情感类别,计算出各景点的景点情感指数;
进一步地,在步骤S2中,针对所述公开情感数据集中的任意一张图片,首先基于多任务卷积神经网络裁剪出人脸,基于语义分割网络模型分割出场景中的不同类别的目标,然后,基于卷积神经网络提取人脸特征、各类别目标特征及全局场景特征,最后,将每个特征作为节点,通过注意力模型学习到的自适应权重,将每对节点通过无方向边加权连接,构成基于上下文内容的图注意力神经网络;
进一步地,在步骤S4中,某一个景点的景点情感指数的计算公式如公式(1):
其中,i表示第i个景点,i∈{1,2,...,N},N表示景点的总数,ei表示景点i的景点情感指数,表示第i个景点包含的所有游客照片中,判定为积极表情的游客照片的总数,表示第i个景点包含的所有游客照片中,判定为消极表情的游客照片的总数,表示第i个景点包含的所有游客照片中,判定为中性表情的游客照片的总数;
进一步地,景点情感与景点类型关系建模及分析模块中,利用皮尔逊相关系数来计算景点类型与景点情感指数的相关关系Pe,t,计算公式如公式(2):
其中,e={e1,e2,...,ei,...,en},ei表示景点i的景点情感指数,i表示第i个景点,i∈{1,2,...,N},N表示景点的总数,t表示某种景点类型,t∈{t1,t2,...,tn},n表示景点类型的总数,ue表示e的均值,ut表示t的均值,Pe表示e的标准差,Pt表示ut的标准差,E表示e、t、ue以及ut的协方差;
当Pe,t>0时,表示该景点类型对景点情感指数有正影响,当Pe,t=0时,表示该景点类型对景点情感指数无影响,当Pe,t<0时,表示该景点类型对景点情感指数有负影响;
进一步地,景点情感与景点类型关系建模及分析模块中,基于MLR,建立景点类型与景点情感指数的多元线性回归模型,如公式(3):
景点推荐模块中,给出各景点类型的推荐景点的具体步骤为:
S101、基于余弦相似度算法和用户收藏、点赞及评论行为信息,计算出目标用户与任一用户之间的相似度wuv,并建立相似度矩阵,如公式(4):
其中,u和v表示两个不同的用户,u为目标用户,N(u)表示用户u曾经有过正反馈的景点集合,N(v)为用户v曾经有过正反馈的景点集合;
S102、选取与目标用户相似度最高的K个用户;
S103、基于步骤S102中选取的K个用户,计算出目标用户没有看过的景点的推荐评分,如公式(5):
p(u,i)=∑v∈S(u,K)∩N(i)wuvrvi (5)
其中,i表示第i个景点,i∈{1,2,...,I},I表示目标用户u没有看过的景点总数,p(u,i)表示目标用户没有看过的景点i的推荐评分,S(u,K)表示和目标用户u相似度最高的K个用户的集合,即与目标用户景点偏好相似的用户集,N(i)表示对景点i有过评价的用户集合,wuv表示目标用户u与用户v之间的相似度,rvi=w1uvi+w2ei,w1+w2=1,rvi表示结合uvi对景点i的综合评价,uvi表示用户v对景点i的评价,ei表示景点i的情感指数,w1和w2分别表示uvi和ei的权重;
S104、根据景点的推荐评分对景点进行降序排序,并按照景点类型分别选出各景点类型中排名前3的景点来作为各景点类型的推荐景点。
本发明提供的技术方案带来的有益效果是:该系统基于多项人工智能技术,对游客分享的景点照片进行情感分析和计算,为旅游者提供丰富而真实的景点体验数据,按照景点类型进行推荐,充分考虑了由于景点类型造成的景点情感分数的影响,丰富了用户的景点选择参考信息,帮助旅游者更好的做出旅游决策,具体体现在以下方面:
1、为用户提供直观的景点推荐信息,用户可方便直接根据景点排名选择旅游地;
2、提出基于上下文图注意力网络的群体人脸表情识别计算旅游景点情感指数,从人的主观偏好出发,提供了游客的真实体验数据;
3、分析景点情感与景点类型的关系模型,客观评价景点情感指数,丰富了景点选择参考信息的同时方便用户根据喜好自由选择景点类型。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种基于景点聚类和群体情感识别的旅游景点推荐系统的示意图;
图2是本发明实施例中数据采集流程图;
图3是本发明实施例中景点情感指数计算流程图;
图4是本发明实施例中联合上下文内容的图注意力网络框架的示意图;
图5是本发明实施例中景点推荐算法流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于景点聚类和群体情感识别的旅游景点推荐系统。
请参考图1,图1是本发明实施例中一种基于景点聚类和群体情感识别的旅游景点推荐系统的示意图,该系统包括:数据采集模块、数据库、景点聚类模块、情感计算模块、景点情感与景点类型关系建模及分析模块、景点推荐模块以及景点推荐服务显示模块;
数据采集模块,用于选取全球游客量靠前的若干个景点,并在相关网站上爬取各景点中若干张游客照片,并获取用户收藏、点赞及评论行为信息;
景点聚类模块,用于按照景点分类标准,对选取的景点进行分类;
对于从社交网络上爬取的景点游客照片,以中国旅游景区协会2019年11月15日发布的《旅游景区分类》团体标准为依据,并借鉴前人研究中的景点类型,拟将景点类型分为自然景观类、人文景观类、乡村田园类、现代娱乐类、美食类和博物馆类6大类;
情感计算模块,用于计算出各景点的景点情感指数;某一个景点的景点情感指数的计算公式如公式(1):
其中,i表示第i个景点,i∈{1,2,...,N},N表示景点的总数,ei表示景点i的景点情感指数,表示第i个景点包含的所有游客照片中,判定为积极表情的游客照片的总数,表示第i个景点包含的所有游客照片中,判定为消极表情的游客照片的总数,表示第i个景点包含的所有游客照片中,判定为中性表情的游客照片的总数;
景点情感与景点类型关系建模及分析模块,用于分析景点类型与景点情感指数的相关关系,并建立景点类型与景点情感指数的模型;
根据前人研究及环境心理学的研究表明,地理环境因素对人类情感有一定影响,进而可知,景点类型也影响着游客情感的表达,因此,本发明中利用皮尔逊相关系数来分析景点类型对于景点情感的正负影响,并将分析结果提供给用户,助其更客观依据游客情感指数来进行景点挑选;
利用皮尔逊相关系数来计算景点类型与景点情感指数的相关关系Pe,t,计算公式如公式(2):
其中,e={e1,e2,...,ei,...,en},ei表示景点i的景点情感指数,i表示第i个景点,i∈{1,2,...,N},N表示景点的总数,t表示某种景点类型,t∈{t1,t2,...,tn},n表示景点类型的总数,ue表示e的均值,ut表示t的均值,Pe表示e的标准差,Pt表示ut的标准差,E表示e、t、ue以及ut的协方差;
由于相关分析仅适用于数值,景点情感指数与每一景点类型之间的相关系数通过将景点类别变量转换为虚拟变量(0,1)来计算;例如:若有100个景点,计算某种景点类型t的均值ut的具体过程为:对于某种景点类型t,一个景点若属于该景点类型,则将该景点的类型值赋值为1,否则,赋值为0,将所有景点的类型值的和除以100个景点个数,得到均值ut;
当Pe,t>0时,表示该景点类型对景点情感指数有正影响,当Pe,t=0时,表示该景点类型对景点情感指数无影响,当Pe,t<0时,表示该景点类型对景点情感指数有负影响;
一个景点可能隶属于多种景点类型,因此,可使用多元线性回归(MLR)来建立景点类型与景点情感指数的多元线性回归模型,如公式(3):
即对于任何一个景点,若给了该景点对应的景点类型,则利用公式(3)可以计算出该景点对应的景点情感指数;
分析景点类型与景点情感指数的相关关系,并建立景点类型与景点情感指数的模型的目的在于:
1、对于严肃的景点,人们的情感也比较严肃,如果不先进行分类再来排名的话,有些比较好的严肃景点就容易推荐不到,因此,要分析景点类型对景点情感的影响,这个相关性信息给游客作为参考就更加客观;
2、使用所有景点类型,建立景点类型与景点情感的多元线性回归模型,进一步验证不同景点类型对景点情感的影响;
3、对于数据特别少的景点,当知道景点类型后,建立的回归模型可以辅助预测景点情感,丰富游客参考信息;
景点推荐模块,用于计算出与目标用户景点偏好相似的用户集以及目标用户没有看过的景点的推荐评分,并给出各景点类型的推荐景点;
数据库,用于存储用户信息和数据采集模块发送的各景点的游客照片及用户收藏、点赞和评论行为信息,还用于存储景点情感与景点类型关系建模及分析模块发送的景点类型与各景点的情感指数的相关关系分析结果;
服务显示模块,用于显示各景点类型的推荐景点以及景点类型与各景点的情感指数的相关关系分析结果;客户端向服务器发送显示请求,查询缓存是否存在,若存在则从MongoDB中获取缓存,否则直接从HDFS获取原始数据加以显示。
请参考图2,图2是本发明实施例中数据采集流程图,本实施例中,选取全球游客量排名靠前的100个景点,以景点名为索引用爬虫脚本调用Flickr API、Twitter API以及微博的API来爬取足够数量的游客照,并获取用户收藏、点赞及评论行为信息,其中,爬取的游客照片覆盖全部景点,且各景点的游客照片至少有2万张;具体包括以下步骤:
S201、找到需要爬取图片的网页URL,打开该网页的检查页面(即查看HTML代码),在HTML代码中找到要提取的数据,写python代码进行网页请求、解析,并存储图片数据;
S202、判断某一景点的游客照片数量是否充足,若某一景点的游客照片数量没达到2万张,则返回步骤S201,直到该景点的游客照片数量充足;若某一景点游客照片数量达到2万张,则执行步骤S203;
S203、将该景点的游客照片存储到本地游客照数据集。
请参考图3,图3是本发明实施例中景点情感指数计算流程图,包括以下步骤:
S1、获取公开情感数据集;所述公开情感数据集包括Group Affect Database3.0和GroupEmoW,其中,Group Affect Database3.0是从社交网站上收集的图片集,GroupEmoW数据集图片是从谷歌、百度、必应和Flickr上通过搜索与社会事件相关的关键词来收集的;一组人对同一张图片中所包含的整体情绪进行人为判断,将每一张图片手动标注为积极、消极和中性3类;执行标记任务的一组人是由受过训练的注释者完成的,每一张图片都由5位注释者进行标注,由一致性决定图片整体情绪,如果不能达成一致意见,则从数据集中删除图像;
S2、利用步骤S1中所述公开情感数据集训练基于上下文内容的图注意力神经网络,获得群体情感预测模型;
请参考图4,图4为本发明实施例中基于上下文内容的图注意力神经网络框架的示意图,针对所述公开情感数据集中的任意一张图片,首先基于多任务卷积神经网络裁剪出人脸,基于语义分割网络模型分割出场景中的不同类别的目标(包括人体、海报、自行车、水体、树木以及植被等),然后,基于卷积神经网络提取人脸特征、各类别目标特征及全局场景特征,具体为:使用VGG-FACE模型提取人脸特征,使用SE-Resnet-50提取人体姿态特征,使用SENet-154模型提取环境目标特征,使用Inception-V2模型提取全局场景特征,从而得到各类别的特征向量(包括人脸类别、人体类别、环境目标类别以及全局场景类别),表示为:其中,X1表示人脸特征向量,X2表示人体姿态特征向量,X3~Xm-1表示环境目标特征向量,Xm表示全局场景特征向量,Xh∈Lh×Nh,h表示第h个类别,Lh表示第h个类别的特征向量的维度,表示第h个类别的特征向量中的第Nh个特征,h∈{1,2,...,m},m表示类别的总数,Nh表示第h个类别的特征向量中的特征的总数,例如,对于人脸类别,Nh表示图片中检测到的人脸个数;
最后,将每个特征作为节点,通过注意力模型学习到的自适应权重,将每对节点通过无方向边加权连接,构成基于上下文内容的图注意力神经网络(Context-basedGraph Attention Networks,CBGAT);
由于每个特征的维度是基于各目标类别的,大小不一,因此,在将其作为节点输入之前,需要将这些特征转换为相同大小的向量,对于每个节点相应的特征,使用单层感知器将所述节点对应的特征的大小与其他节点对应的特征的大小相同,并将转换后得到的特征作为初始特征;
将人脸、人体、目标以及环境要素联合起来分析场景情感可以提高识别准确率,但直接连接几种不同的的特征往往不能提供最佳性能,因此,需要使用一种自注意力机制,本申请中采用图注意力神经网络来将所有特征进行融合,融合所有特征的图注意力神经网络即为基于上下文内容的图注意力神经网络。
图注意力神经网络(GAT)通过堆叠图注意力感知层(GAL)来实现的,具体为:
输入初始特征向量后,对于任意节点p,在每个时间步,GAL将上一隐藏状态和信息作为输入,然后,输出更新后的隐藏层T个时间步后,隐藏层被喂入全连接层以输出分类值,softmax层将分类值归一化为0-1之间的值,预测结果取多数节点所预测的类别,最终将情感分为“积极”、“消极”和“中性”表情。这里,信息是每个邻域节点传递过来的特征信息的聚合,k表示第k个时间步,k∈{1,2,...,T},T表示时间步的总数;
GAL具体实现过程为:对于任意节点,为了计算每个邻居节点的权重,通过一个F×F'的共享权重矩阵W应用于每个节点,如公式(6):
利用softmax层归一化权重系数,如公式(7)
在基于上下文内容的图注意力神经网络中,传递完整的数据集一次(一个epoch)是不够的,我们需要将完整的数据集在同样的图神经网络中传递多次,即训练过程:
a)若epoch≤s,则继续训练基于上下文内容的图注意力神经网络;
b)若epoch>s,则训练完成。
其中,s为使得公开情感数据集在图神经网络训练阶段取得最优识别精度的参数;
S3、利用步骤S2中所述群体情感预测模型来对各景点的游客照片中群体情感分别进行预测,识别出游客照片中表达出来的情感类别;
游客照片是从Flickr、Twitter和微博等社交网站上爬取的带有地理标签的景点游客照,包含全球游客量较大的前100个旅游景点的游客照片,每个景点约5w张图片,总共500多万张;
S4、基于步骤S3中所述情感类别,计算出各景点的景点情感指数;
请参考图5,图5是本发明实施例中景点推荐算法流程图,具体步骤如下:
S101、基于余弦相似度算法和用户收藏、点赞及评论行为信息,计算出目标用户与任一用户之间的相似度wuv,并建立相似度矩阵,如公式(4):
其中,u和v表示两个不同的用户,u为目标用户,N(u)表示用户u曾经有过正反馈的景点集合,N(v)为用户v曾经有过正反馈的景点集合;所述正反馈即为用户的行为倾向于喜欢该景点;
S102、选取与目标用户相似度最高的K个用户;
S103、基于步骤S102中选取的K个用户,计算出目标用户没有看过的景点的推荐评分,如公式(5):
p(u,i)=∑v∈S(u,K)∩N(i)wuvrvi (5)
其中,i表示第i个景点,i∈{1,2,...,I},I表示目标用户u没有看过的景点总数,p(u,i)表示目标用户没有看过的景点i的推荐评分,S(u,K)表示和目标用户u相似度最高的K个用户的集合,即与目标用户景点偏好相似的用户集,N(i)表示对景点i有过评价的用户集合,wuv表示目标用户u与用户v之间的相似度,rvi=w1uvi+w2ei,w1+w2=1,rvi表示结合uvi对景点i的综合评价,uvi表示用户v对景点i的评价,ei表示景点i的情感指数,w1和w2分别表示uvi和ei的权重;
S104、根据景点的推荐评分对景点进行降序排序,并按照景点类型分别选出各景点类型中排名前3的景点来作为各景点类型的推荐景点。
本实施例中,K=10。
本发明的有益效果是:该系统基于多项人工智能技术,对游客分享的景点照片进行情感分析和计算,为旅游者提供丰富而真实的景点体验数据,按照景点类型进行推荐,充分考虑了由于景点类型造成的景点情感分数的影响,丰富了用户的景点选择参考信息,帮助旅游者更好的做出旅游决策,具体体现在以下方面:
1、为用户提供直观的景点推荐信息,用户可方便直接根据景点排名选择旅游地;
2、提出基于上下文图注意力网络的群体人脸表情识别计算旅游景点情感指数,从人的主观偏好出发,提供了游客的真实体验数据;
3、分析景点情感与景点类型的关系模型,客观评价景点情感指数,丰富了景点选择参考信息的同时方便用户根据喜好自由选择景点类型。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:该系统包括:数据采集模块、数据库、景点聚类模块、情感计算模块、景点情感与景点类型关系建模及分析模块、景点推荐模块以及服务显示模块;
数据采集模块,用于选取全球游客量靠前的若干个景点,并在相关网站上爬取各景点中若干张游客照片,并获取用户收藏、点赞及评论行为信息;
景点聚类模块,用于按照景点分类标准,对选取的景点进行分类;
情感计算模块,用于计算出各景点的景点情感指数;
景点情感与景点类型关系建模及分析模块,用于分析景点类型与景点情感指数的相关关系,并建立景点类型与景点情感指数的模型;
景点推荐模块,用于计算出与目标用户景点偏好相似的用户集以及目标用户没有看过的景点的推荐评分,并给出各景点类型的推荐景点;
数据库,用于存储用户信息和数据采集模块发送的各景点的游客照片及用户收藏、点赞和评论行为信息,还用于存储景点情感与景点类型关系建模及分析模块发送的景点类型与各景点的情感指数的相关关系分析结果;
服务显示模块,用于显示各景点类型的推荐景点以及景点类型与各景点的情感指数的相关关系分析结果。
2.如权利要求1所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:数据采集模块中,爬取的游客照片覆盖全部景点,且各景点的游客照片至少有2万张。
3.如权利要求1所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:利用情感计算模块计算出各景点的场景情感指数的具体步骤为:
S1、获取公开情感数据集;
S2、利用步骤S1中所述公开情感数据集训练基于上下文内容的图注意力神经网络,获得群体情感预测模型;
S3、利用步骤S2中所述群体情感预测模型来分别对各景点的游客照片中群体情感进行预测,识别出各景点中每张游客照片中表达出来的情感类别;
S4、基于步骤S3中所述情感类别,计算出各景点的景点情感指数。
4.如权利要求3所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:
在步骤S2中,针对所述公开情感数据集中的任意一张图片,首先基于多任务卷积神经网络裁剪出人脸,基于语义分割网络模型分割出场景中的不同类别的目标,然后,基于卷积神经网络提取人脸特征、各类别目标特征及全局场景特征,最后,将每个特征作为节点,通过注意力模型学习到的自适应权重,将每对节点通过无方向边加权连接,构成基于上下文内容的图注意力神经网络。
5.如权利要求3所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:在步骤S3中,所述情感类别包括积极、中性和消极表情。
7.如权利要求1所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:景点情感与景点类型关系建模及分析模块中,利用皮尔逊相关系数来计算景点类型与景点情感指数的相关关系Pe,t,计算公式如公式(2):
其中,e表示景点情感指数,e={e1,e2,...,ei,...,en},ei表示景点i的景点情感指数,i表示第i个景点,i∈{1,2,...,N},N表示景点的总数,t表示某种景点类型,t∈{t1,t2,...,tn},n表示景点类型的总数,ue表示e的均值,ut表示t的均值,Pe表示e的标准差,Pt表示ut的标准差,E表示e、t、ue以及ut的协方差;
当Pe,t>0时,表示该景点类型对景点情感指数有正影响,当Pe,t=0时,表示该景点类型对景点情感指数无影响,当Pe,t<0时,表示该景点类型对景点情感指数有负影响。
9.如权利要求1所述的一种基于景点聚类和群体情感识别的旅游景点推荐系统,其特征在于:景点推荐模块中,给出各景点类型的推荐景点的具体步骤为:
S101、基于余弦相似度算法和用户收藏、点赞及评论行为信息,计算出目标用户与任一用户之间的相似度wuv,并建立相似度矩阵,如公式(4):
其中,u和v表示两个不同的用户,u为目标用户,N(u)表示用户u曾经有过正反馈的景点集合,N(v)为用户v曾经有过正反馈的景点集合;
S102、选取与目标用户相似度最高的K个用户;
S103、基于步骤S102中选取的K个用户,计算出目标用户没有看过的景点的推荐评分,如公式(5):
p(u,i)=∑vεS(u,k)∩N(i)wuvrvi (5)
其中,i表示第i个景点,i∈{1,2,...,I},I表示目标用户u没有看过的景点总数,p(u,i)表示目标用户u没有看过的景点i的推荐评分,S(u,K)表示和目标用户u相似度最高的K个用户的集合,即与目标用户景点偏好相似的用户集,N(i)表示对景点i有过评价的用户集合,wuv表示目标用户u与用户v之间的相似度,rvi=w1uvi+w2ei,w1+w2=1,rvi表示结合uvi对景点i的综合评价,uvi表示用户v对景点i的评价,ei表示景点i的情感指数,w1和w2分别表示uvi和ei的权重;
S104、根据景点的推荐评分对景点进行降序排序,并按照景点类型分别选出各景点类型中排名前3的景点来作为各景点类型的推荐景点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011058628.9A CN112257517B (zh) | 2020-09-30 | 2020-09-30 | 一种基于景点聚类和群体情感识别的旅游景点推荐系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011058628.9A CN112257517B (zh) | 2020-09-30 | 2020-09-30 | 一种基于景点聚类和群体情感识别的旅游景点推荐系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112257517A true CN112257517A (zh) | 2021-01-22 |
CN112257517B CN112257517B (zh) | 2023-04-21 |
Family
ID=74234449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011058628.9A Active CN112257517B (zh) | 2020-09-30 | 2020-09-30 | 一种基于景点聚类和群体情感识别的旅游景点推荐系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112257517B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115905717A (zh) * | 2023-03-02 | 2023-04-04 | 中南大学 | 基于混合3d卷积融合评级与评论的景点推荐方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930469A (zh) * | 2016-04-23 | 2016-09-07 | 北京工业大学 | 基于Hadoop的个性化旅游推荐系统及方法 |
US20170216671A1 (en) * | 2016-02-01 | 2017-08-03 | JayBird LLC | Systems, methods and devices for providing a personalized exercise program recommendation |
CN107133277A (zh) * | 2017-04-12 | 2017-09-05 | 浙江大学 | 一种基于动态主题模型和矩阵分解的旅游景点推荐方法 |
CN107679661A (zh) * | 2017-09-30 | 2018-02-09 | 桂林电子科技大学 | 一种基于知识图谱的个性化旅游路线规划方法 |
CN108829852A (zh) * | 2018-06-21 | 2018-11-16 | 桂林电子科技大学 | 一种个性化旅游路线推荐方法 |
KR20190023723A (ko) * | 2017-08-30 | 2019-03-08 | 주식회사 플렉싱크 | 빅데이터와 웰니스 관광지표를 활용한 관광상품 추천 시스템 |
CN110489547A (zh) * | 2019-07-11 | 2019-11-22 | 桂林电子科技大学 | 一种基于混合式监督学习的旅游景点推荐方法及装置 |
CN111309859A (zh) * | 2020-01-21 | 2020-06-19 | 上饶市中科院云计算中心大数据研究院 | 一种景区网络口碑情感分析方法及装置 |
CN111339847A (zh) * | 2020-02-14 | 2020-06-26 | 福建帝视信息科技有限公司 | 一种基于图卷积神经网络的人脸情绪识别方法 |
-
2020
- 2020-09-30 CN CN202011058628.9A patent/CN112257517B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170216671A1 (en) * | 2016-02-01 | 2017-08-03 | JayBird LLC | Systems, methods and devices for providing a personalized exercise program recommendation |
CN105930469A (zh) * | 2016-04-23 | 2016-09-07 | 北京工业大学 | 基于Hadoop的个性化旅游推荐系统及方法 |
CN107133277A (zh) * | 2017-04-12 | 2017-09-05 | 浙江大学 | 一种基于动态主题模型和矩阵分解的旅游景点推荐方法 |
KR20190023723A (ko) * | 2017-08-30 | 2019-03-08 | 주식회사 플렉싱크 | 빅데이터와 웰니스 관광지표를 활용한 관광상품 추천 시스템 |
CN107679661A (zh) * | 2017-09-30 | 2018-02-09 | 桂林电子科技大学 | 一种基于知识图谱的个性化旅游路线规划方法 |
CN108829852A (zh) * | 2018-06-21 | 2018-11-16 | 桂林电子科技大学 | 一种个性化旅游路线推荐方法 |
CN110489547A (zh) * | 2019-07-11 | 2019-11-22 | 桂林电子科技大学 | 一种基于混合式监督学习的旅游景点推荐方法及装置 |
CN111309859A (zh) * | 2020-01-21 | 2020-06-19 | 上饶市中科院云计算中心大数据研究院 | 一种景区网络口碑情感分析方法及装置 |
CN111339847A (zh) * | 2020-02-14 | 2020-06-26 | 福建帝视信息科技有限公司 | 一种基于图卷积神经网络的人脸情绪识别方法 |
Non-Patent Citations (2)
Title |
---|
徐旋旋;肖迎元;许庆贤;: "基于社交网络的个性化旅游景点推荐方法" * |
蔡清;: "融合热度和隐特征分析模型推荐个性化森林旅游景点" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115905717A (zh) * | 2023-03-02 | 2023-04-04 | 中南大学 | 基于混合3d卷积融合评级与评论的景点推荐方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112257517B (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11893071B2 (en) | Content recommendation method and apparatus, electronic device, and storage medium | |
CN111444428B (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
CN111737495B (zh) | 基于领域自分类的中高端人才智能推荐系统及其方法 | |
CN111125422A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
CN112119388A (zh) | 训练图像嵌入模型和文本嵌入模型 | |
CN109992674B (zh) | 一种融合自动编码器和知识图谱语义信息的推荐方法 | |
CN107577782B (zh) | 一种基于异质数据的人物相似度刻画方法 | |
Huang et al. | Expert as a service: Software expert recommendation via knowledge domain embeddings in stack overflow | |
CN112074828A (zh) | 训练图像嵌入模型和文本嵌入模型 | |
CN114201516B (zh) | 一种用户画像构建的方法、信息推荐的方法以及相关装置 | |
CN112085120B (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
CN113239159A (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
CN115659008A (zh) | 大数据信息反馈的信息推送系统、方法、电子设备及介质 | |
CN117271818B (zh) | 视觉问答方法、系统、电子设备及存储介质 | |
CN114239730A (zh) | 一种基于近邻排序关系的跨模态检索方法 | |
Kim et al. | IoT-based personalized NIE content recommendation system | |
US20130332440A1 (en) | Refinements in Document Analysis | |
CN116628345B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
CN114282528A (zh) | 一种关键词提取方法、装置、设备及存储介质 | |
CN112257517B (zh) | 一种基于景点聚类和群体情感识别的旅游景点推荐系统 | |
CN113469752A (zh) | 内容推荐方法、装置、存储介质及电子设备 | |
CN113535949A (zh) | 基于图片和句子的多模态联合事件检测方法 | |
CN112925983A (zh) | 一种电网资讯信息的推荐方法及系统 | |
Dhameliya et al. | Job recommendation system using content and collaborative filtering based techniques | |
Santhosh et al. | Machine learning based ideal job role fit and career recommendation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |