CN115375001A - 一种用于景区的游客情绪评估方法及装置 - Google Patents

一种用于景区的游客情绪评估方法及装置 Download PDF

Info

Publication number
CN115375001A
CN115375001A CN202210812885.XA CN202210812885A CN115375001A CN 115375001 A CN115375001 A CN 115375001A CN 202210812885 A CN202210812885 A CN 202210812885A CN 115375001 A CN115375001 A CN 115375001A
Authority
CN
China
Prior art keywords
emotion
user
feature map
global
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210812885.XA
Other languages
English (en)
Inventor
罗锐
王斯轶
任燕
李倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Tourism Cloud Information Technology Co ltd
Original Assignee
Chongqing Tourism Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Tourism Cloud Information Technology Co ltd filed Critical Chongqing Tourism Cloud Information Technology Co ltd
Priority to CN202210812885.XA priority Critical patent/CN115375001A/zh
Publication of CN115375001A publication Critical patent/CN115375001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用于景区的游客情绪评估方法及装置，其中，所述方法包括：获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；构建用户情绪确定模型；将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；构建旅游路线模型；将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一用户根据多个所述旅游路线，选择获得第一旅游路线。解决了存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题，达到了根据用户情绪智能规划推荐景区旅游路线，提高用户的旅游路线规划合理性的技术效果，提高了游客对景区的体验感和满意度。

Description

一种用于景区的游客情绪评估方法及装置
技术领域
本申请涉及人工智能技术领域，具体涉及一种用于景区的游客情绪评估方法及装置。
背景技术
“旅”是旅行，外出，即为了实现某一目的而在空间上从甲地到乙地的行进过程；“游”是外出游览、观光、娱乐，即为达到这些目的所作的旅行。二者合起来即旅游。所以，旅行偏重于行，旅游不但有“行”，且有观光、娱乐含义。旅游从狭义的理解是那些暂时离开自己的住地，为了满足生活和文化的需要，或各种各样的愿望，而作为经济和文化商品的消费者逗留在异地的人的交往。
近年来，随着国民经济水平的提高及交通运输行业的飞速发展，旅游行业发展蒸蒸日上，选择假日期间进行旅游的人口逐年增多，各大景区为了吸引更多的游客，纷纷为游客提供更好的服务，但是，在提升服务的同时，传统的旅游景区忽视了游客在旅游时的情绪，无法根据游客旅游时的情绪，为游客提供旅游路线的推荐，导致用户对单调的旅游路线不太满意，从而影响了游客对景区的体验感和满意度。
现有技术存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题。
发明内容
本申请通过提供了一种用于景区的游客情绪评估方法及装置，解决了存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题，达到了根据用户情绪智能规划推荐景区旅游路线，提高用户的旅游路线规划合理性的技术效果，提高了游客对景区的体验感和满意度。
鉴于上述问题，本申请提供了一种用于景区的游客情绪评估方法及装置。
第一方面，本申请提供了一种用于景区的游客情绪评估方法，其中，所述方法包括：获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；构建用户情绪确定模型；将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；构建旅游路线模型；将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一用户根据多个所述旅游路线，选择获得第一旅游路线。
第二方面，本申请提供了一种用于景区的游客情绪评估装置，其中，第一情绪特征信息获取模块，用于获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；用户情绪确定模型构建模块，用于构建用户情绪确定模型；第一情绪状态获取模块，用于将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；旅游路线模型构建模块，用于构建旅游路线模型；第一输入模块，用于将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一旅游路线获取模块，用于第一用户根据多个所述旅游路线，选择获得第一旅游路线。
第三方面，本申请提供了一种用于景区的游客情绪评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面，本申请提供了一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现第一方面任一项所述方法的步骤。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；构建用户情绪确定模型；将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；构建旅游路线模型；将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一用户根据多个所述旅游路线，选择获得第一旅游路线。解决了存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题，达到了根据用户情绪智能规划推荐景区旅游路线，提高用户的旅游路线规划合理性的技术效果，提高了游客对景区的体验感和满意度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种用于景区的游客情绪评估方法及装置的流程示意图；
图2为本申请一种用于景区的游客情绪评估方法及装置的获得第一用户的第一情绪状态的流程示意图；
图3为本申请一种用于景区的游客情绪评估方法及装置的获得情绪标签的流程示意图；
图4为本申请一种用于景区的游客情绪评估方法及装置的获得第三情绪状态的流程示意图；
图5为本申请一种用于景区的游客情绪评估方法及装置的获得第二情绪状态的流程示意图；
图6为本申请一种用于景区的游客情绪评估方法及装置的人脸图像超分辨率重建网络结构示意图；
图7为本申请一种用于景区的游客情绪评估方法及装置的第二特征提取单元的结构示意图；
图8为本申请一种用于景区的游客情绪评估方法及装置的全局通道注意力网络的结构示意图；
图9为本申请一种用于景区的游客情绪评估方法及装置的获得第三旅游路线的流程示意图；
图10为本申请一种用于景区的游客情绪评估方法及装置的获得第四旅游路线的流程示意图；
图11为本申请一种用于景区的游客情绪评估装置的结构示意图；
图12为本申请示例性电子设备的结构示意图。
附图标记说明：1-人脸原始图像，2-目标图像，3-第一特征提取单元，4-第二特征提取单元，41-残差连接，5-全局通道注意力网络，51-全局平均池化层，52-全局最大平均池化层，53-多层感知机，54-第一注意力特征图，55-第二注意力特征图，56-全局通道注意力图，6-降维单元，7-图像重建单元，71-第一重建卷积层，72-重建亚像素卷积层，73-第二重建卷积层，11-第一情绪特征信息获取模块，12-用户情绪确定模型构建模块，13-第一情绪状态获取模块，14-旅游路线模型构建模块，15-第一输入模块，16-第一旅游路线获取模块，300-电子设备，301-存储器，302-处理器，303-通信接口，304-总线架构。
具体实施方式
本申请通过提供了一种用于景区的游客情绪评估方法，解决了存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题，达到了根据用户情绪智能规划推荐景区旅游路线，提高用户的旅游路线规划合理性的技术效果，提高了游客对景区的体验感和满意度。
申请概述
近年来，随着国民经济水平的提高及交通运输行业的飞速发展，旅游行业发展蒸蒸日上，选择假日期间进行旅游的人口逐年增多，各大景区为了吸引更多的游客，纷纷为游客提供更好的服务，但是，在提升服务的同时，传统的旅游景区忽视了游客在旅游时的情绪，无法根据游客旅游时的情绪，为游客提供旅游路线的推荐，导致用户对单调的旅游路线不太满意，从而影响了游客对景区的体验感和满意度。
现有技术存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题。
针对上述技术问题，本申请提供的技术方案总体思路如下：
本申请提供了一种用于景区的游客情绪评估方法，其中，所述方法包括：获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；构建用户情绪确定模型；将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；构建旅游路线模型；将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一用户根据多个所述旅游路线，选择获得第一旅游路线。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请提供了一种用于景区的游客情绪评估方法及装置，其中，所述方法包括：
S100：获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；
具体而言，所述语音信息可以是第一用户随意说的一段语音音频，也可以是通过预先设置问题，采取向第一用户提问的方式，获得第一用户回答问题的语音音频，当然的，实际的第一用户的语音信息可能包括其他语音或音频相关的信息，此处是为进行步骤理解进行的细化，不对所述第一用户的出发地信息进行具体限定。
S200:构建用户情绪确定模型；
具体而言，所述用户情绪确定模型的模型基础为神经网络模型，具体的，构建一语音信息数据集，以所述语音信息数据集与标记输出情绪状态的标记信息为训练数据，将所述语音信息数据集与标记输出情绪状态的标记信息输入所述神经网络模型，在所述神经网络模型输出稳定的情况下，确定所述用户情绪确定模型，所述语音信息数据集是基于大数据采集音频信息，采用自然语言处理算法将所述语音信息进行标准处理，使得计算机可以对所述语音信息进行定量化的具体运算，常见的，可以采用归一化对所述语音信息进行处理，具体的，结合所述语音信息数据特征，采用映射的方式将所述语音信息数据映射到0～1范围之内，使得语音信息能够参与运算，当然的，实际的运算过程应结合所述语音信息数据集的数据特征进行具体确定，此处是为进行步骤理解进行的细化，不对所述构建用户情绪确定模型的方式进行具体限定。
S300:将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；
具体而言，将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，所述用户情绪确定模型将所述第一用户的所述第一情绪特征信息进行处理，处理的过程与所述语音信息的数据特征相关，所述用户情绪确定模型输出第一情绪状态，所述用户情绪确定模型根据所述第一用户的所述语音信息变化，输出的第一情绪状态可能会对应变化，实际应结合所述用户情绪确定模型将所述第一用户的所述第一情绪特征信息变化情况进行进一步的确定，此处是为进行步骤理解进行的细化，不对所述获得所述第一用户的第一情绪状态的方式进行具体限定。
S400：构建旅游路线模型；
具体而言，所述旅游路线模型的模型基础为神经网络模型，具体的，构建一情绪状态数据集，以所述情绪状态数据集与标记输出旅游路线的标记信息为训练数据，将所述情绪状态数据集与标记输出旅游路线的标记信息输入所述神经网络模型，在所述神经网络模型输出稳定的情况下，确定所述旅游路线模型，所述情绪状态数据集是基于大数据采集情绪状态信息，采用自然语言处理算法将所述情绪状态信息进行标准处理，使得计算机可以对所述情绪状态信息进行定量化的具体运算，常见的，可以采用归一化对所述情绪状态信息进行处理，具体的，结合所述情绪状态数据特征，采用映射的方式将所述情绪状态数据映射到0～1范围之内，使得情绪状态能够参与运算，当然的，实际的运算过程应结合所述情绪状态数据集的数据特征进行具体确定，此处是为进行步骤理解进行的细化，不对所述构建旅游路线模型的方式进行具体限定。
S500：将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；
具体而言，服务器将按照匹配度高低进行排序，优先推送匹配度高的旅游攻略方案，对于匹配度低的旅游路线方案后排推送，提示用户作为景区旅游的路线方向引导性的依据。
S600：第一用户根据多个所述旅游路线，选择获得第一旅游路线。
具体而言，所述旅游路线根据所述第一用户的所述第一情绪特征信息的变化，也可能会对应变化，实际应结合将根据所述第一用户的所述第一情绪特征信息变化情况进行进一步的确定，获得的所述旅游路线包括不同情绪的符合用户情绪的旅游路线或其他多个旅游路线；所述第一用户对所述第一用户的符合用户情绪的旅游路线或其他多个旅游路线进行选择，选择获得第一旅游路线，所述第一旅游路线为最佳的旅游路线。
进一步的，如图2所示，S300的步骤，包括：
S310：构建的语音情绪标签库，所述语音情绪标签库中的各个音频数据分别带有对应的情绪标签；
具体而言，语音情绪标签库可按着七种基本情绪(高兴、惊奇、生气、厌恶、害怕、悲伤和轻蔑)进行汇成大型标签库，具体包括Emotional Voices、Emotional Voice、MELD、VoxCeleb、GEMEP、RML、ENTERFACE、IEMOCAP标签库，需说明的是，标签库中的标签可以通过这七种情绪进行设置，也可以挑选七种中的几个来进行设置，此处是为进行步骤理解进行的细化，不对其进行具体限定。
S320：将所述语音信息输入所述语音情绪标签库进行匹配，获得与所述语音信息对应的所述情绪标签；
S330：根据所述情绪标签获得所述第一用户的所述第一情绪状态。
进一步的，如图3所示，步骤S320包括：
S321：将所述语音情绪标签库的所述音频数据划分为训练集和测试集；
S322：对所有的所述音频数据分别进行处理获取第一语谱图；
S323：将所述第一语谱图输入到所述用户情绪确定模型进行训练和测试；
S324：将所述语音信息进行处理获取第二语谱图，并输入到完成训练和测试的所述用户情绪确定模型以获得所述情绪标签。具体地，可移植到客户端上进行前向推理并反馈给智能问答系统，辅助系统更好地进行语义理解，修正系统的文本和语音输出，使得语音交互系统的回答更加贴合对话者的使用需求。
具体而言，获取所述第一语谱图和所述第二语谱图的方法是对音频数据进行分割、分帧处理、短时傅里叶变换、归一化处理，来获取语谱图。
具体一个示例是：包括如下分步骤：
A.分割：对音频数据进行切分，使得每段子音频≤3s，每段子音频的标签为原长音频的标签，而预测的时候原长音频的标签为每段子音频的预测结果的平均；
B.分帧：对每段子音频进行分帧处理，而分帧所采用的窗是窗长为40ms、时移为10ms的汉明窗，为了数据增强，还采用了窗长为20ms、时移为10ms的汉明窗，如此便可增加多一倍的数据；
C.短时傅里叶变换：对分帧后的音频进行短时傅里叶变换，获得语谱图；
D.归一化：对语谱图进行对数化、减均值除方差操作；
E.固定长度：由于网络输入必须是固定尺寸，所以每个语谱图的频率轴取400个点(代表4KHz以内，这是人类语音的频率范围)，时间轴取300个点(代表3s，不足补零)。
因为传统的声学统计特征是全局性特征，时间上和局部上的重要信息容易被平滑掉，因此本方法采用语谱图作为语音情绪状态评估模型的输入。语谱图是一种时间-频率图，能够显示语音能量如何随时间和频率变化，在保留时序信息和局部信息的同时能够很好地体现语音的谐波结构和频率信息。
进一步的，如图4所示，步骤S300之后还包括：
S340：获取第一用户的面部表情信息；
S350：根据所述面部表情信息，获得第二情绪状态；
S360：根据所述第二情绪状态，对所述第一情绪状态进行调整，获得第三情绪状态。
具体而言，将所述面部表情信息在处理系统中进行信息录入确定，根据所述面部表情信息，获得第二情绪状态，再根据所述第二情绪状态，对所述第一情绪状态进行调整，获得第三情绪状态，最后根据所述第三情绪状态对旅游路线进行综合确定推荐；判断所述第一情绪状态与所述第二情绪状态是否相同，对所述第一情绪状态和所述第二情绪状态的相似度进行评估；如果获得的所述第一情绪状态和所述第二情绪状态相同或相似，则当两者相同时，则获得的所述第三情绪状态与所述第一情绪状态和第二情绪状态相同，当两者相似时，如当所述第一情绪状态为较为高兴，所述第二情绪状态为高兴时，则第三情绪状态将在高兴与较为高兴取个平衡值，在之后的旅游路线推荐中，可将与情绪为“高兴”对应的旅游路线和将情绪为“较为高兴”对应的旅游路线进行共同推荐，以供游客自由选择；而当所述第一情绪状态和所述第二情绪状态不相同时，则获得情绪特征集合，再根据情绪特征集合对应的景区景点进行路线设计，如当第一情绪状态为“高兴”，而所述第二情绪状态为“生气”时，获得“高兴”与“生气”之间的情绪特征集合，即获得情绪为“高兴”和“生气”时均能前往的景区内的景点，再根据这些景点设计旅游路线，进一步对旅游路线进行优化，优化确定旅游路线的逻辑。
进一步的，如图5所示，本申请步骤S340和步骤S350包括：
S341：用图像采集设备获取用户的面部表情；
具体而言，通过手机或者其他设备等图像采集设备获取用户的所述面部表情，通过所述图像采集设备持续获取用户在线上旅游平台或实际经营场所浏览或进入景区时的脸部表情。
S342：获取所述面部表情中的脸部特征，根据所述脸部特征进行人脸识别后，提取识别结果中与表情相关的信息数据；
具体而言，比如游客A在进入景区时的时间段内获取到用户A的所述信息数据中的微表情包括“皱眉”、“嘴角上扬”等。
S343：获取所述信息数据中包含的微表情数据，根据所述微表情数据从预设的微表情库中确定用户当前的所述第二情绪状态。
具体而言，本步骤中根据提取的所述信息数据中所述微表情数据，从预设的微表情库中确定用户当前的所述第二情绪状态，比如设定所述微表情库中微表情“皱眉”对应的情绪为“生气”，微表情“嘴角上扬”对应的情绪为“高兴”，若获取到用户A在进入景区时的过程中的微表情包括“皱眉”、“嘴角上扬”，对应用户A的心情包括“生气”与“高兴”，当然，在所述图像采集设备在用户进入景区时的时间段内可以持续获取用户的面部表情，而微表情的识别次数可以设置为多次，以确保所述用户心情信息获取的准确性，比如，在用户进入景区时的时间段内，用户“嘴角上扬”的次数为5次，那么此时用户当前的所述心情信息为“较为高兴”，若超过5次，则为“高兴”，若用户“皱眉”的次数为5次，则此时用户当前的所述心情信息为“较为生气”，若大于5次，则为“生气”，若“嘴角上扬”的次数小于5次或“皱眉”的次数小于5次，则为“情绪一般”，需说明的是，此处是为进行步骤理解进行的细化，不对所述心情信息和所述微表情数据进行具体限定。
进一步的，本申请步骤S341，包括：
获取训练好的人脸图像超分辨率重建网络，利用训练数据集训练所述人脸图像超分辨率重建网络；
获取需要进行超分辨率重建的人脸原始图像1，对所述人脸原始图像1进行特征提取，得到原始特征图；
对所述原始特征图进行第二特征提取，获得多个第二特征图；
对多个所述第二特征图进行拼接，得到全局特征图；
将所述全局特征图输入全局通道注意力网络5，生成全局通道注意力图56，然后将所述全局通道注意力图56与所述全局特征图融合，得到增强特征图；所述全局通道注意力网络5包括全局平均池化层51、全局最大平均池化层52、多层感知机53和sigmoid激活函数；所述全局特征图依次通过所述全局平均池化层51和所述多层感知机53后，得到第一注意力特征图54，所述全局特征图通过所述全局最大平均池化层52和所述多层感知机53后，得到第二注意力特征图55，将所述第一注意力特征图54与所述第二注意力特征图55融合，然后经过sigmoid激活函数后，生成所述全局通道注意力图56；
所述全局最大平均池化层52可以表示为如下公式：
Figure BDA0003739932800000101
其中，MaxAvePc表示所述全局最大平均池化层52的输出，Fc表示所述全局特征图的各层，Fc作为所述全局最大平均池化层52的输入，Largei(Fc)表示所述全局特征图在第c层上第i大的值，n可以表示为如下公式：
Figure BDA0003739932800000102
其中，W表示所述全局特征图的宽度，H表示所述全局特征图的高度，λ为超参数。
利用所述人脸图像重建网络对所述增强特征图进行超分辨率重建，得到目标图像2，所述目标图像2的分辨率大于所述人脸原始图像1的分辨率。
进一步的本申请所述对所述原始特征图进行第二特征提取，获得多个第二特征图的步骤包括：
构建第二特征提取单元4，所述第二特征提取单元4包括ReLU激活函数、3*3卷积层、5*5卷积层、3*3可变形卷积层、膨胀率为2的第一空洞卷积层、膨胀率为3的第二空洞卷积层和局部降维层；
输入所述第二特征提取单元4的特征图经过所述3*3卷积层和ReLU激活函数后，得到第一特征图，输入所述第二特征提取单元4的特征图经过所述5*5卷积层和ReLU激活函数后，得到第二特征图，输入所述第二特征提取单元4的特征图经过所述3*3可变形卷积层和ReLU激活函数后，得到第三特征图；
将所述第一特征图、所述第二特征图和所述第三特征图拼接后，经过所述第一空洞卷积和ReLU激活函数，得到第四特征图，将所述第四特征图与所述第三特征图拼接后，经过所述第二空洞卷积和ReLU激活函数，得到第五特征图，将所述第五特征图与所述第三特征图拼接后，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取单元4的特征图通道数量相同。
具体而言，按照图6所示的人脸图像超分辨率重建网络结构搭建模型，其中，利用第一特征提取单元3对人脸原始图像1进行特征提取，以获得原始特征图，具体的，第一特征提取单元3包括顺次连接的3*3的卷积层和ReLU层激活函数。第二特征提取单元4的结构如图7所示，第二特征提取单元4的数量为6个，第一空洞卷积和第二空洞卷积的卷积核尺寸均为3*3。全局通道注意力网络5如图8所示，包括全局平均池化层51、全局最大平均池化层52、多层感知机53和sigmoid激活函数，本实施例中超参数λ取1，多层感知机53的层数为3，多层感知机53内均采用sigmoid激活函数，多层感知机53中间隐藏层的神经元数量为全局特征图通道数量的一半。全局特征图两次通过多层感知机53分别生成第一注意力特征图54和第二注意力特征图55过程中，多层感知机53的参数保持不变，实现参数共享。第一注意力特征图54和第二注意力特征图55通过矩阵加法操作进行融合，再经过sigmoid激活函数，生成所述全局通道注意力图56，第一注意力特征图54、第二注意力特征图55和全局通道注意力图56的通道数量与全局特征图的通道数量相同。局部降维层和降维单元6均采用卷积核为1*1的卷积层实现，降维单元6、第一重建卷积层71、重建亚像素卷积层72和第二重建卷积层73后面均紧跟着设有ReLU激活函数。
代码基于3.6版本的python和0.4.1版本的pytorch框架，采用L1函数作为损失函数，以Adam作为优化器，batch-size设置为16，学习率固定设置为0.0001，epoch数量为1000。
模型训练时，采用DIV2K数据集中训练集的800张图片，并通过镜像和旋转对训练集进行扩充，测试集为Set5，Set14和BSDS100三个数据集，利用python下采样分别获取原始高分辨率图片所对应的低分辨率图像。训练时图片采用RGB格式，测试时，图片为YCbCr格式，测试结果基于YCbCr格式的亮度通道。
模型训练时，随机截取低分辨率图片中大小为48*48的图片作为人脸原始图像1，输入图像超分辨率重建网络，通过设置合适的padding值，图像经过第一特征提取单元3、第二特征提取单元4中的各个卷积层、降维单元6、重建卷积层和分支卷积层前后，图像的长宽大小保持均不变。输入网络时图片的通道为3，经过第一特征提取单元3后，原始特征图通道为64，输入/输出第二特征提取单元4特征图通道均为64，降维单元6对增强特征图进行降维，降维单元6输出的图像通道也为64。第一重建卷积层71输出的通道数根据放大倍数确定，假设图片放大倍数为M，则第一重建卷积层71输出的通道数为64M2，经过重建亚像素卷积层72后，图片的通道变成64，长宽尺寸变为原来的M倍，经过第二重建卷积层73后，通道数变为3，获得目标图像2。
采用广泛使用的PSNR(峰值信噪比)和SSIM(结构相似性)作为衡量参数，与目前先进的模型EDSR进行比较，测试结果如下表所示。每一单元格中，前一个参数代表PSNR，后一个参数代表SSIM。其中，EDSR模型的实验数据取自该模型提出者所发表的论文(EnhancedDeep Residual Networks for Single Image Super-Resolution)。
Figure BDA0003739932800000121
Figure BDA0003739932800000122
Figure BDA0003739932800000131
Figure BDA0003739932800000132
实施例1中模型的参数量与EDSR模型的参数量对比如下表所示：
模型 参数量
EDSR 43M
实施例1 5.9M
从上面的数据可以看出，实施例1所采用人脸图像超分辨率重建网络的参数量远低于EDSR模型，同时实施例1在不同放大倍数下的图片重建效果均略好于EDSR，具有特征提取效率高，冗余信息少，便于训练和部署等优点。
进一步的，如图9所示，本申请所述的方法，还包括：
S700：获取第一用户的进入景区时间及预计游玩时间；
S800：根据所述进入景区时间和所述预计游玩时间，对所述第一旅游路线进行调整，获得第三旅游路线。
具体而言，所述进入景区时间即为游客在景区内开始游玩的时间，而所述预计游玩时间即为以游客开始旅游为始，到游客出景区的时间。需说明的是对所述第一旅游路线进行调整，需考虑到在景区内旅游时的乘坐工具，但游客以步行的方式游玩时，考虑到预计游玩时间有限，在旅游路线的推荐上需考虑到步行所花的时间，即前往景区内景点所花时间和在景点游玩时间之和需小于预计游玩时间，而选择缆车或观光车游玩时，路上所花时间较短，因此，设计旅游路线的景点相对可以增加，游玩的时间也可相对增加，保证了旅游路线的可行性。
进一步的，如图10所示，本申请所述方法，还包括：
S900：获取游客离开景区的第二情绪特征信息；
将所述第二情绪特征信息输入所述用户情绪确定模型获得第一用户的第四情绪状态；
S910：根据所述第四情绪状态，获得第一用户对景区所述第一旅游路线的体验感和满意度；
S920：将所述体验感和满意度反馈给服务器，所述服务器根据所述体验感和满意度对所述第一旅游路线进行调整，获得第四旅游路线。
具体而言，根据获取到的游客离开景区时的第二情绪特征信息，获得游客的所述第四情绪状态，根据第四情绪状态可以得到游客在景区内第一旅游路线旅游后的感受，即体验感和满意度，如当游客离开景区时，第四情绪状态为“高兴”，则说明游客对于推荐的所述第一旅游路线体验感好、满意度高，则所述第四旅游路线与所述第一旅游路线相同。当游客离开景区时，第四情绪状态为“生气”时，则说明游客对于推荐的所述第一旅游路线体验感差、满意度低，则将会对第一旅游路线进行调整，具体的调整，可根据获取游客离开时“生气”的原因对所述第一旅游路线进行调整，得到所述第四旅游路线，完成对旅游路线的更新，确保为用户提供更为适合的旅游路线。
综上所述，本申请所提供的一种旅游规划信息处理方法及系统具
有如下技术效果：
1.由于采用了获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；构建用户情绪确定模型；将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；构建旅游路线模型；将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；第一用户根据多个所述旅游路线，选择获得第一旅游路线。解决了存在无法根据情绪对游客的旅游路线进行合理定制化的智能推荐的技术问题，达到了根据用户情绪智能规划推荐景区旅游路线，提高用户的旅游路线规划合理性的技术效果，提高了游客对景区的体验感和满意度。
2.由于采用了构建的语音情绪标签库，所述语音情绪标签库中的各个音频数据分别带有对应的情绪标签；将所述语音信息输入所述语音情绪标签库进行匹配，获得与所述语音信息对应的所述情绪标签；根据所述情绪标签获得所述第一用户的所述第一情绪状态。可通过获得游客的语音信息，根据语音信息中的音频数据在语音情绪标签库中进行匹配，获得游客的第一情绪状态，进一步提升方法的可行性。
3.由于采用了将所述语音情绪标签库的所述音频数据划分为训练集和测试集；对所有的所述音频数据分别进行处理获取第一语谱图；将所述第一语谱图输入到所述用户情绪确定模型进行训练和测试；将所述语音信息进行处理获取第二语谱图，并输入到完成训练和测试的所述用户情绪确定模型以获得所述情绪标签。常规声学统计特征的表征能力有限且全局统计特征容易失去局部信息，通过利用语谱图。语谱图是一种时间-频率图，能够显示语音能量如何随时间和频率变化，在保留时序信息和局部信息的同时能够很好地体现语音的谐波结构和频率信息，很好的解决了这一问题，进一步提升了方法的可行性。
4.由于采用了获取第一用户的面部表情信息；根据所述面部表情信息，获得第二情绪状态；根据所述第二情绪状态，对所述第一情绪状态进行调整，获得第三情绪状态。根据用户的面部表情信息直接的获取用户的情绪状态，为用户提供了便利，保证了方法的有效性与可实施性。
5.由于采用了用图像采集设备获取用户的面部表情；获取所述面部表情中的脸部特征，根据所述脸部特征进行人脸识别后，提取识别结果中与表情相关的信息数据；获取所述信息数据中包含的微表情数据，根据所述微表情数据从预设的微表情库中确定用户当前的所述第二情绪状态。根据用户的面部表情直接的获取用户的第二情绪状态，为用户提供了便利，提高了第二情绪状态的准确性，保证了方法的有效性与可实施性。
6.本申请通过对原始图像的特征进行原始特征提取和第二特征提取，将各个第二特征提取的第二特征图进行拼接，获得不同尺度上的图片特征，通过全局通道注意力网络在全局特征图通道方向上分配不同的权重参数，选择性地提取更多所需要的信息，减少无关信息，对于不同放大倍数的模型，训练完成后，全局通道注意力网络在全局特征图上聚焦的位置不同，模型的针对性更强，超分辨率重建效果更好；
7.本申请全局通道注意力网络中，全局最大平均池化层的输出为每个特征图中前n个最大值的平均值，与常规全局最大池化层相比，全局最大平均池化层能提取更多特征图的内容信息，提高超分辨率重建效果，同时还降低了训练数据集对网络造成的偏差，提高模型泛化能力，实验过程中发现，当输入网络的图片中存干扰信息(如图片中出现损坏、伪影和噪点等情况)时，由于全局特征图中包含了不同尺度上的图片特征，而全局通道注意力网络具有针对性选择的效果，全局通道注意力网络与全局特征图相配合，使本社区内对实际场景下获取的有损图像具有很好的恢复能力；
8.本申请第二特征提取中，利用3*3和5*5两个普通卷积核在不同视野下提取图片特征，然后依次利用两个空洞卷积在更大的视野上充分提取图片特征，另一方面，通过一个3*3的可变形卷积针对性地提取图片中关键的高频信息，并将该信息在不同位置重复输入上述特征提取结构中，可变形卷积与空洞卷积相配合，实现了在不同尺度上重用高频信息，减少了低频信息冗余，同时也降低了干扰信息对图像重建造成的不利影响；
9.由于采用了获取第一用户的进入景区时间及预计游玩时间；
根据所述进入景区时间和所述预计游玩时间，对所述第一旅游路线进行调整，获得第三旅游路线。进一步根据进入景区时间和预计游玩时间，对旅游路线进行优化，保证了旅游路线的有效性与可实施性。
10.由于采用了获取游客离开景区的第二情绪特征信息；将所述第二情绪特征信息输入所述用户情绪确定模型获得第一用户的第四情绪状态；根据所述第四情绪状态，获得第一用户对景区所述第一旅游路线的体验感和满意度；将所述体验感和满意度反馈给服务器，所述服务器根据所述体验感和满意度对所述第一旅游路线进行调整，获得第四旅游路线，实现了通过游客离开景区时的情绪特征对第一旅游路线的更新调整，保证了旅游路线的有效性。
实施例二
基于与前述实施例中一种用于景区的情绪评估方法相同的发明构思，如图10所示，本申请提供了一种用于景区的情绪评估装置，其中，所述装置包括
第一情绪特征信息获取模块11，用于获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；
用户情绪确定模型构建模块12，用于构建用户情绪确定模型；
第一情绪状态获取模块13，用于将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；
旅游路线模型构建模块14，用于构建旅游路线模型；
第一输入模块15，用于将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；
第一旅游路线获取模块16，用于第一用户根据多个所述旅游路线，选择获得第一旅游路线。
进一步的，所述装置还包括：
语音情绪标签库构建模块，用于构建的语音情绪标签库，所述语音情绪标签库中的各个音频数据分别带有对应的情绪标签；
情绪标签获取模块，用于将所述语音信息输入所述语音情绪标签库进行匹配，获得与所述语音信息对应的所述情绪标签；
标签情绪获取模块，用于根据所述情绪标签获得所述第一用户的所述第一情绪状态。
进一步的，所述装置，还包括：
划分模块，用于将所述语音情绪标签库的所述音频数据划分为训练集和测试集；
第一语谱图获取模块，用于对所有的所述音频数据分别进行处理获取第一语谱图；
第二输入模块，用于将所述第一语谱图输入到所述用户情绪确定模型进行训练和测试；
第二语谱图获取模块，用于将所述语音信息进行处理获取第二语谱图，并输入到完成训练和测试的所述用户情绪确定模型以获得所述情绪标签。
进一步的，所述装置还包括：
面部表情信息获取模块，用于获取第一用户的面部表情信息；
第二情绪状态获取模块，用于根据所述面部表情信息，获得第二情绪状态；
第三情绪状态获取模块，用于根据所述第二情绪状态，对所述第一情绪状态进行调整，获得第三情绪状态。
进一步的，所述装置包括：
面部表情获取模块，用于用图像采集设备获取用户的面部表情；
脸部特征获取模块，用于获取所述面部表情中的脸部特征，根据所述脸部特征进行人脸识别后，提取识别结果中与表情相关的信息数据；
第二情绪状态输出模块，用于获取所述信息数据中包含的微表情数据，根据所述微表情数据从预设的微表情库中确定用户当前的所述第二情绪状态。
进一步的，所述装置还包括：
脸图像超分辨率重建网络模块，用于获取训练好的人脸图像超分辨率重建网络，利用训练数据集训练所述人脸图像超分辨率重建网络；
第一特征提取模块，用于获取需要进行超分辨率重建的人脸原始图像，对所述人脸原始图像进行特征提取，得到原始特征图；
第二特征提取模块，用于对所述原始特征图进行第二特征提取，获得多个第二特征图；
拼接模块，用于对多个所述第二特征图进行拼接，得到全局特征图；
全局通道注意力网络模块，用于将所述全局特征图输入全局通道注意力网络，生成全局通道注意力图，然后将所述全局通道注意力图与所述全局特征图融合，得到增强特征图；所述全局通道注意力网络包括全局平均池化层、全局最大平均池化层、多层感知机和sigmoid激活函数；所述全局特征图依次通过所述全局平均池化层和所述多层感知机后，得到第一注意力特征图，所述全局特征图通过所述全局最大平均池化层和所述多层感知机后，得到第二注意力特征图，将所述第一注意力特征图与所述第二注意力特征图融合，然后经过sigmoid激活函数后，生成所述全局通道注意力图；
所述全局最大平均池化层可以表示为如下公式：
Figure BDA0003739932800000191
其中，MaxAvePc表示所述全局最大平均池化层的输出，Fc表示所述全局特征图的各层，Fc作为所述全局最大平均池化层的输入，Largei(Fc)表示所述全局特征图在第c层上第i大的值，n可以表示为如下公式：
Figure BDA0003739932800000192
其中，W表示所述全局特征图的宽度，H表示所述全局特征图的高度，λ为超参数。
目标图像获得模块，用于利用所述人脸图像重建网络对所述增强特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述原始图像的分辨率。
进一步的，所述装置还包括：
第二特征提取单元构建模块，用于构建第二特征提取单元，所述第二特征提取单元包括ReLU激活函数、3*3卷积层、5*5卷积层、3*3可变形卷积层、膨胀率为2的第一空洞卷积层、膨胀率为3的第二空洞卷积层和局部降维层；
第三特征图获得模块，用于输入所述第二特征提取单元的特征图经过所述3*3卷积层和ReLU激活函数后，得到第一特征图，输入所述第二特征提取单元的特征图经过所述5*5卷积层和ReLU激活函数后，得到第二特征图，输入所述第二特征提取单元的特征图经过所述3*3可变形卷积层和ReLU激活函数后，得到第三特征图；
降维模块，用于将所述第一特征图、所述第二特征图和所述第三特征图拼接后，经过所述第一空洞卷积和ReLU激活函数，得到第四特征图，将所述第四特征图与所述第三特征图拼接后，经过所述第二空洞卷积和ReLU激活函数，得到第五特征图，将所述第五特征图与所述第三特征图拼接后，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取单元的特征图通道数量相同。
进一步的，所述装置还包括：
景区时间及预计游玩时间获取模块，用于获取第一用户的进入景区时间及预计游玩时间；
第三旅游路线获得模块，用于根据所述进入景区时间和所述预计游玩时间，对所述第一旅游路线进行调整，获得第三旅游路线。
进一步的，所述装置还包括：
第二情绪特征信息获取模块，用于获取游客离开景区的第二情绪特征信息；
第四情绪状态获得模块，用于将所述第二情绪特征信息输入所述用户情绪确定模型获得第一用户的第四情绪状态；
第一旅游路线的体验感和满意度获得模块，用于根据所述第四情绪状态，获得第一用户对景区所述第一旅游路线的体验感和满意度；
第四旅游路线获得模块，用于将所述体验感和满意度反馈给服务器，所述服务器根据所述体验感和满意度对所述第一旅游路线进行调整，获得第四旅游路线。
示例性电子设备
下面参考图11来描述本申请的电子设备，基于与前述实施例中一种用于景区的游客情绪评估方法及装置相同的发明构思，本申请还提供了一种基于大数据的景区景点推荐系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使得系统以执行第一方面任一项所述的方法。该电子设备300包括：处理器302、通信接口303、存储器301。
可选的，电子设备300还可以包括总线架构304。其中，通信接口303、处理器302以及存储器301可以通过总线架构304相互连接；总线架构304可以是外设部件互连标(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extendedindustry Standard architecture，简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。处理器302可以是一个CPU，微处理器，ASIC，或一个或多个用于控制本申请方案程序执行的集成电路。通信接口303，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN),无线局域网(wireless local area networks，WLAN)，有线接入网等。存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable Programmableread-only memory，EEPROM)、只读光盘(compact discread-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器301用于存储执行本申请方案的计算机执行指令，并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令，从而实现本申请上述实施例提供的一种旅游规划信息处理方法。
可选的，本申请中的计算机执行指令也可以称之为应用程序代码，本申请对此不作具体限定。
本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围，也不表示先后顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如a，b，或c中的至少一项(个、种)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(SolidState Disk，SSD))等。
本申请中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本申请中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。
示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于终端中。可选地，处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (10)

1.一种用于景区的游客情绪评估方法，其特征在于，包括：
获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；
构建用户情绪确定模型；
将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；
构建旅游路线模型；
将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；
第一用户根据多个所述旅游路线，选择获得第一旅游路线。
2.根据权利要求1所述的用于景区的游客情绪评估方法，其特征在于，所述将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态的步骤，包括：
构建的语音情绪标签库，所述语音情绪标签库中的各个音频数据分别带有对应的情绪标签；
将所述语音信息输入所述语音情绪标签库进行匹配，获得与所述语音信息对应的所述情绪标签；
根据所述情绪标签获得所述第一用户的所述第一情绪状态。
3.根据权利要求2所述的用于景区的游客情绪评估方法，其特征在于，所述将所述语音信息输入所述语音情绪标签库进行匹配，获得与所述语音信息对应的所述情绪标签的步骤，包括：
将所述语音情绪标签库的所述音频数据划分为训练集和测试集；
对所有的所述音频数据分别进行处理获取第一语谱图；
将所述第一语谱图输入到所述用户情绪确定模型进行训练和测试；
将所述语音信息进行处理获取第二语谱图，并输入到完成训练和测试的所述用户情绪确定模型以获得所述情绪标签。
4.根据权利要求1所述的用于景区的游客情绪评估方法，其特征在于，在所述将所述第一用户的所述情绪信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态的步骤之后，还包括：
获取第一用户的面部表情信息；
根据所述面部表情信息，获得第二情绪状态；
根据所述第二情绪状态，对所述第一情绪状态进行调整，获得第三情绪状态。
5.根据权利要求4所述的用于景区的游客情绪评估方法，其特征在于，所述获取第一用户的面部表情信息；根据所述面部表情信息，获得第二情绪状态的步骤，包括：
用图像采集设备获取用户的面部表情；
获取所述面部表情中的脸部特征，根据所述脸部特征进行人脸识别后，提取识别结果中与表情相关的信息数据；
获取所述信息数据中包含的微表情数据，根据所述微表情数据从预设的微表情库中确定用户当前的所述第二情绪状态。
6.根据权利要求4所述的用于景区的游客情绪评估方法，其特征在于，所述用图像采集设备获取用户的面部表情的步骤包括：
获取训练好的人脸图像超分辨率重建网络，利用训练数据集训练所述人脸图像超分辨率重建网络；
获取需要进行超分辨率重建的人脸原始图像，对所述人脸原始图像进行特征提取，得到原始特征图；
对所述原始特征图进行第二特征提取，获得多个第二特征图；
对多个所述第二特征图进行拼接，得到全局特征图；
将所述全局特征图输入全局通道注意力网络，生成全局通道注意力图，然后将所述全局通道注意力图与所述全局特征图融合，得到增强特征图；所述全局通道注意力网络包括全局平均池化层、全局最大平均池化层、多层感知机和sigmoid激活函数；所述全局特征图依次通过所述全局平均池化层和所述多层感知机后，得到第一注意力特征图，所述全局特征图通过所述全局最大平均池化层和所述多层感知机后，得到第二注意力特征图，将所述第一注意力特征图与所述第二注意力特征图融合，然后经过sigmoid激活函数后，生成所述全局通道注意力图；
所述全局最大平均池化层可以表示为如下公式：
Figure FDA0003739932790000031
其中，MaxAvePc表示所述全局最大平均池化层的输出，Fc表示所述全局特征图的各层，Fc作为所述全局最大平均池化层的输入，Largei(Fc)表示所述全局特征图在第c层上第i大的值，n可以表示为如下公式：
Figure FDA0003739932790000032
其中，W表示所述全局特征图的宽度，H表示所述全局特征图的高度，λ为超参数。
利用所述人脸图像重建网络对所述增强特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述原始图像的分辨率。
7.根据权利要求6所述的用于景区的游客情绪评估方法，其特征在于，对所述原始特征图进行第二特征提取，获得多个第二特征图的步骤包括：
构建第二特征提取单元，所述第二特征提取单元包括ReLU激活函数、3*3卷积层、5*5卷积层、3*3可变形卷积层、膨胀率为2的第一空洞卷积层、膨胀率为3的第二空洞卷积层和局部降维层；
输入所述第二特征提取单元的特征图经过所述3*3卷积层和ReLU激活函数后，得到第一特征图，输入所述第二特征提取单元的特征图经过所述5*5卷积层和ReLU激活函数后，得到第二特征图，输入所述第二特征提取单元的特征图经过所述3*3可变形卷积层和ReLU激活函数后，得到第三特征图；
将所述第一特征图、所述第二特征图和所述第三特征图拼接后，经过所述第一空洞卷积和ReLU激活函数，得到第四特征图，将所述第四特征图与所述第三特征图拼接后，经过所述第二空洞卷积和ReLU激活函数，得到第五特征图，将所述第五特征图与所述第三特征图拼接后，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取单元的特征图通道数量相同。
8.根据权利要求1所述的用于景区的游客情绪评估方法，其特征在于，所述方法还包括：
获取第一用户的进入景区时间及预计游玩时间；
根据所述进入景区时间和所述预计游玩时间，对所述第一旅游路线进行调整，获得第三旅游路线。
9.根据权利要求1所述的用于景区的游客情绪评估方法，其特征在于，还包括：
获取游客离开景区的第二情绪特征信息；
将所述第二情绪特征信息输入所述用户情绪确定模型获得第一用户的第四情绪状态；
根据所述第四情绪状态，获得第一用户对景区所述第一旅游路线的体验感和满意度；
将所述体验感和满意度反馈给服务器，所述服务器根据所述体验感和满意度对所述第一旅游路线进行调整，获得第四旅游路线。
10.一种用于景区的游客情绪评估装置，其特征在于，所述装置包括：
第一情绪特征信息获取模块，用于获取第一用户的第一情绪特征信息，所述第一情绪特征信息包括语音信息；
用户情绪确定模型构建模块，用于构建用户情绪确定模型；
第一情绪状态获取模块，用于将所述第一用户的所述第一情绪特征信息输入所述用户情绪确定模型，获得所述第一用户的第一情绪状态；
旅游路线模型构建模块，用于构建旅游路线模型；
第一输入模块，用于将所述第一用户的所述第一情绪状态输入所述旅游路线模型，获得多个旅游路线；
第一旅游路线获取模块，用于第一用户根据多个所述旅游路线，选择获得第一旅游路线。
CN202210812885.XA 2022-07-11 2022-07-11 一种用于景区的游客情绪评估方法及装置 Pending CN115375001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210812885.XA CN115375001A (zh) 2022-07-11 2022-07-11 一种用于景区的游客情绪评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210812885.XA CN115375001A (zh) 2022-07-11 2022-07-11 一种用于景区的游客情绪评估方法及装置

Publications (1)

Publication Number Publication Date
CN115375001A true CN115375001A (zh) 2022-11-22

Family

ID=84061619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210812885.XA Pending CN115375001A (zh) 2022-07-11 2022-07-11 一种用于景区的游客情绪评估方法及装置

Country Status (1)

Country Link
CN (1) CN115375001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078362A (zh) * 2023-10-17 2023-11-17 北京铭洋商务服务有限公司 一种个性化差旅路线推荐方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024521A (zh) * 2012-12-27 2013-04-03 深圳Tcl新技术有限公司 节目筛选方法、系统及具有该系统的电视
CN106096717A (zh) * 2016-06-03 2016-11-09 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN107807947A (zh) * 2016-09-09 2018-03-16 索尼公司 基于情绪状态检测在电子设备上提供推荐的系统和方法
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110046955A (zh) * 2019-03-12 2019-07-23 平安科技（深圳）有限公司 基于人脸识别的营销方法、装置、计算机设备及存储介质
CN110334658A (zh) * 2019-07-08 2019-10-15 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备和存储介质
CN110890089A (zh) * 2018-08-17 2020-03-17 珠海格力电器股份有限公司 语音识别方法及装置
CN111883127A (zh) * 2020-07-29 2020-11-03 百度在线网络技术（北京）有限公司 用于处理语音的方法和装置
CN113643046A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 适用于虚拟现实的共情策略推荐方法、装置、设备及介质
CN113781308A (zh) * 2021-05-19 2021-12-10 马明才 图像超分辨率重建方法、装置、存储介质及电子设备
CN114117196A (zh) * 2020-09-01 2022-03-01 宝马股份公司 用于在车辆内向用户提供推荐服务的方法和系统
CN114582373A (zh) * 2022-03-07 2022-06-03 浙江连信科技有限公司 用于在人机对话中识别用户情绪的方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024521A (zh) * 2012-12-27 2013-04-03 深圳Tcl新技术有限公司 节目筛选方法、系统及具有该系统的电视
CN106096717A (zh) * 2016-06-03 2016-11-09 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN107807947A (zh) * 2016-09-09 2018-03-16 索尼公司 基于情绪状态检测在电子设备上提供推荐的系统和方法
CN110890089A (zh) * 2018-08-17 2020-03-17 珠海格力电器股份有限公司 语音识别方法及装置
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110046955A (zh) * 2019-03-12 2019-07-23 平安科技（深圳）有限公司 基于人脸识别的营销方法、装置、计算机设备及存储介质
CN110334658A (zh) * 2019-07-08 2019-10-15 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备和存储介质
CN111883127A (zh) * 2020-07-29 2020-11-03 百度在线网络技术（北京）有限公司 用于处理语音的方法和装置
CN114117196A (zh) * 2020-09-01 2022-03-01 宝马股份公司 用于在车辆内向用户提供推荐服务的方法和系统
CN113781308A (zh) * 2021-05-19 2021-12-10 马明才 图像超分辨率重建方法、装置、存储介质及电子设备
CN113643046A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 适用于虚拟现实的共情策略推荐方法、装置、设备及介质
CN114582373A (zh) * 2022-03-07 2022-06-03 浙江连信科技有限公司 用于在人机对话中识别用户情绪的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078362A (zh) * 2023-10-17 2023-11-17 北京铭洋商务服务有限公司 一种个性化差旅路线推荐方法及系统
CN117078362B (zh) * 2023-10-17 2023-12-29 北京铭洋商务服务有限公司 一种个性化差旅路线推荐方法及系统

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
Kuleshov et al. Audio super resolution using neural networks
CN111061946B (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN107861938B (zh) 一种poi文案生成方法及装置，电子设备
Burnap et al. Design and evaluation of product aesthetics: A human-machine hybrid approach
Burnap et al. Product aesthetic design: A machine learning augmentation
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
JP7475105B2 (ja) 学習装置、学習方法及びプログラム
CN107330130A (zh) 一种向人工客服推荐回复内容的对话机器人的实现方法
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN113748439A (zh) 电影的成功商数的预测
JP7505208B2 (ja) マッチングシステム、マッチング方法およびマッチングプログラム
EP4302242A1 (en) Recommending matches using machine learning
CN114218488A (zh) 基于多模态特征融合的信息推荐方法、装置及处理器
CN115641533A (zh) 目标对象情绪识别方法、装置和计算机设备
CN115375001A (zh) 一种用于景区的游客情绪评估方法及装置
Rodriguez et al. The art of feeling different: Exploring the diversity of emotions experienced during an art museum visit.
CN115204412A (zh) 基于知识蒸馏的问答模型压缩方法、装置及相关设备
Huang et al. Fine-grained talking face generation with video reinterpretation
CN113345464B (zh) 语音提取方法、系统、设备及存储介质
CN114398909A (zh) 用于对话训练的问题生成方法、装置、设备和存储介质
CN112214791B (zh) 基于强化学习的隐私策略优化方法、系统及可读存储介质
EP1587003A2 (en) Song search system and song search method
CN115525740A (zh) 对话应答语句的生成方法、装置、电子设备及存储介质
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20221122