CN109801096A - 一种多模态客户满意度综合评价系统、方法 - Google Patents

Abstract

本发明公开了一种多模态客户满意度综合评价系统、方法，属于智能分析技术领域，数据获取模块，至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；用户情绪分析与评价模块，基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；信息融合模块，基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息；从而避免了单一化的指标对于最终评价信息的影响，且根据用户习惯以及实际信息采集情况给予不同的指标分配不同的权重从而更加客观、精准地实现最终的满意度综合评价。

Description

一种多模态客户满意度综合评价系统、方法

技术领域

本发明涉及智能分析技术领域，尤其涉及一种多模态客户满意度综合评价系统、方法。

背景技术

目前，随着人工智能技术的飞速发展，智能柜台正逐步取代银行柜员，成为未来银行的主要“服务者”。银行作为一种服务与盈利相结合的企业。一方面，客户满意度体现银行服务的价值与质量，其调查结果可以对银行服务的改进提供依据，作为市场驱动质量方法的一种手段。另一方面，无人银行因为其“无人”的特性，客户满意度的调研手段与传统方式有很大不同。无扰、便捷的数据获取方式，智能、合理的评价体系，是无人银行客户满意度评价系统的关键。传统银行的客户满意度调查，是通过客户口头反馈和和问卷调查的形式实现的。调查花费人力物力财力巨大，效率和准确率不高，还不一定适用于无人银行。

传统银行的客户满意度调查，一般通过客户口头反馈和和问卷调查的形式实现的。此类调查一般会花费巨大的人力物力财力，但是效率和准确率不高，数据人为主观因素很大；而现有技术存在单模态的面部表情信号并不能准确评价客户的满意度，一方面，人的面部表情数据可能因为被遮挡等无法获取，或者数据质量很差，导致无法分析出客户的满意度；另一方面，仅从面部表情分析，容易忽略情绪强度对满意度的影响，客观性、准确性低。

发明内容

本发明的主要目的在于提出一种多模态客户满意度综合评价系统、方法，旨在解决传统的客户满意度评价方式过于单一、客观性较低的技术问题。

为实现上述目的，本发明提供的一种多模态客户满意度综合评价系统，包括：

数据获取模块，至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

用户情绪分析与评价模块，基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

信息融合模块，基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息。

可选地，所述用户情绪分析与评价模块包括人体姿态评价模块、面部表情评价模块、信息评价模块、语音信息评价模块的一项或多项；

所述人体姿态评价模块，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

所述面部表情评价模块，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

所述信息评价模块，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述语音信息评价模块，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

可选地，所述信息融合模块，给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

可选地，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

可选地，所述人体姿态评价模块、面部表情评价模块的满意度评分至少包括 3个等级；

所述文本信息评价模块的满意度评分至少包括6个等级；

所述语音信息评价模块的满意度评分至少包括4个评分格次。

此外，为实现上述目的，本发明还提出一种多模态客户满意度综合评价方法，所述方法包括：

至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息。

可选地，所述基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的评分包括人体姿态评价获取步骤、面部表情评价获取步骤、信息评价获取步骤、语音信息评价获取步骤的一项或多项；

所述人体姿态评价获取步骤，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

所述面部表情评价获取步骤，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

所述信息评价获取步骤，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述语音信息评价获取步骤，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

可选地，所述基于用户情绪与评价分析模块进行分析获取的一项或多项评价信息，获取最终评价信息，包括：

给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

可选地，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

可选地，所述人体姿态评价获取步骤、面部表情评价获取步骤的满意度评分至少包括3个等级；

所述文本信息评价获取步骤的满意度评分至少包括6个等级；

所述语音信息评价获取步骤的满意度评分至少包括4个评分格次。

本发明提出的多模态客户满意度综合评价系统、方法，通过采集获取至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；通过检测、识别对应于人体姿态信息、面部表情信息、文本信息及语音信息的满意度评分，并进一步基于加权融合算法，实现融合人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项满意度评分信息，从而获取最终的综合评价信息，避免了单一化的指标对于最终评价信息的影响，且根据用户习惯以及实际信息采集情况给予不同的指标分配不同的权重从而更加客观、精准地实现最终的满意度综合评价。

附图说明

图1为本发明所述多模态客户满意度综合评价系统结构以及流程图；

图2为本发明所述多模态客户满意度综合评价系统中所述数据获取模块进行获取数据的途径图；

图3为本发明所述多模态客户满意度综合评价系统中所述人体姿态评价流程图；

图4为本发明所述多模态客户满意度综合评价系统中所述面部表情评价流程图；

图5为本发明所述多模态客户满意度综合评价系统中所述语音信息评价流程图；

图6为本发明所述多模态客户满意度综合评价系统中所述语音信息评价模块中语音内容识别的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例一种多模态客户满意度综合评价系统，包括：

数据获取模块，至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

相应的，数据获取途径如图2所示，数据获取遵循容易获得，真实有效的原则，选择了银行大厅已有的监控摄像头，以及智能柜台处的摄像头，触摸屏和麦克风，共四种现有或者改装容易实现的获取方法。

在业务办理过程中，从银行大厅监控摄像头获得客户人体姿态视频，从智能柜台处的摄像头获得客户面部表情视频，在业务办理后，从智能柜台触摸屏处获得由客户选择的满意度评分的文本信息，以及智能柜台处的麦克风获得客户对银行建议及意见的语音信息。

用户情绪分析与评价模块，基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

信息融合模块，基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息。

可选地，所述用户情绪分析与评价模块包括人体姿态评价模块、面部表情评价模块、信息评价模块、语音信息评价模块的一项或多项；

可选地，如图3所示，所述人体姿态评价模块，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

可选地，所述人体姿态评价模块的满意度评分至少包括3个等级；

相应的，本发明所述多模态客户满意度综合评价系统中所述人体姿态评价模块执行人体姿态信息进行满意度评价。对于无人银行客户满意度评价系统，检测客户是否出现疑惑、生气、非常生气的身体姿态，是人体姿态评价模块的主要任务。当客户为中性情绪的动作时，记100分；出现疑惑的动作，记80分；客户出现生气的动作，记40分；非常生气，记20分。

人在疑惑时，通常会做出手托腮，摸下巴，摸头等动作。人在生气时，通常会做出握拳，快速捶打桌面等动作。因此，人体姿态评价模块从客户人体姿态视频中先进行人体检测，找到客户。之后提取手部与重心的相对位置，手部与头部的相对位置等特征，与以疑惑、生气为主的动作数据库提取的特征进行匹配，获得动作识别的结果，分析客户是否有疑惑、生气的动作。人体姿态评价模块还从客户人体姿态视频中提取手部运动的速度，角速度等特征，识别客户生气的程度，构建情绪数据库。与动作识别结果结合，科学客观地得出人体姿态评价结果。

可选地，如图4所示，所述面部表情评价模块，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

可选地，所述面部表情评价模块的满意度评分至少包括3个等级；

面部表情是指通过面部的各个器官如眼睛、额眉、鼻颊、口唇等肌肉变化所表现出来的各种情绪,它能精细的表达出不同性质的情绪。面部表情用于无人银行客户满意度评价系统，既能反映出客户对银行此次服务的总体满意度，又能根据客户情绪的变化，快速定位到服务中需要改进的部分。本发明面部表情评价模块，当客户表现积极和中性情绪，记100分；当客户出现消极情绪，如疑惑，焦虑，生气时，根据消极情绪的时长占比和强度，以20分为梯度依次扣分，格次分别为：80分，60分，40分，20分，最低分0分。本发明面部表情评价模块采用目前效果很好的深度学习方法，图4为本发明所述多模态客户满意度综合评价系统中所述面部表情评价流程图。

获得客户面部表情视频后，先进行关键帧检测，检测出带有客户的帧。之后，进行预处理。预处理包括人脸检测，人脸对齐，数据增强，归一化，共四步。因为智能柜台摄像头与客户距离基本固定，采集到的视频人脸大小基本一致，本发明采用滑动窗口法检测人脸。之后，采用SDM算法(监督下降法)检测出人脸关键点，进行人脸对齐操作。数据增强部分采用了尺度变化，旋转，颜色变化，噪声干扰等方式，获得增强后的数据。归一化分为亮度归一化和姿态归一化两部分，亮度归一化采用直方图归一化法，姿态归一化采用TP-GAN网络(双路径生成对抗网络)。表情识别是目前人工智能领域研究的热点，有很多公开的大型数据集可以用来预训练CNN(卷积神经网络)模型。本发明采用CK+数据集(扩展的Cohn-Kanade数据集)预训练得到模型，用于客户面部表情的识别，最终分析出客户面部表情。

可选地，如图5所示，所述信息评价模块，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述文本信息评价模块的满意度评分至少包括6个等级；

文本信息评价基于传统客户满意度问卷表中的问题得到，由客户在智能柜台触摸屏处点击对应选项选择即可。请客户对本次服务进行评价，分为“非常满意”、“满意”、“基本满意”、“一般”、“不满意”、“非常不满意”，共计六种评价。文本信息评价模块分别将上述六种评价记为100分，90分，80分，60分，40分， 20分。

可选地，如图6所示，所述语音信息评价模块，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

所述语音信息评价模块的满意度评分至少包括4个评分格次。

本发明语音信息评价模块，当客户表现积极和中性情绪，记100分；当客户出现消极情绪，如疑惑，焦虑，生气时，根据消极情绪的时长占比和强度，以 20分为梯度依次扣分，格次分别为：80分，60分，40分，20分，最低分0分。

语音信息由智能柜台麦克风收录，主要是在客户点击触摸屏的服务评价之后，收录用户的意见建议。避免了客户手工输入的繁琐问题，减少了评价耗时。所述语音信息评价模块主要包括语音内容识别和语音情绪分析两个单元。

语音内容识别技术和语音情绪识别技术，是现阶段发展较为成熟的技术。

语音内容识别技术，就是让机器通过识别和理解，把语音信号转变为相应的文本或命令的技术。图6为本发明所述多模态客户满意度综合评价系统中所述语音信息评价流程图；语音内容识别单元本质上是一种模式识别系统。主要包括信号预处理、特征提取、模式匹配、参考模式库四个部分。

本发明直接采用预训练好的普通话语音帧数据(Mandarin Speech Frame Data)作为参考模式库，省去了模型训练部分。其中，预处理部分，滤除原始语音信号中的次要信息及背景噪音等,包括抗混叠滤波、预加重、模/数转换、自动增益控制等。特征提取部分，对语音的声学参数进行分析后提取出语音特征参数, 包括短时平均幅度、短时平均能量、线性预测编码系数、短时频谱等。模式匹配部分,选择目前有代表性的隐马尔可夫法，将分析出来的特征参数与普通话语音帧数据(Mandarin Speech Frame Data)中的模板进行模式匹配，得到识别结果。识别结果一方面判断客户是否有建议，另一方面用于记录客户的意见建议，便于银行服务的改进。

语音情绪分析单元的基本结构与语音内容识别单元一致，将参考模板库换位预先训练好的语音情绪模板库即可。

可选地，，所述信息融合模块，给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

本发明采用决策层融合。决策层融合就是将各子源信息先分别进行预处理、特征提取、分类识别，建立对所观测目标的初步评价得分,然后融合中心对各子源处理的结果进行整合得到最后的得分结果。决策层融合在信息处理方面具有很高的灵活性,能有效地反映环境和目标各个侧面的不同类型信息,而且可以处理异步信息。

本发明采用最简单的加权融合方式，文本信息评价模块是客户满意度最直接体现的模块，权重最大；语音信息评价模块和面部表情评价模块，因其一定程度反应了客户满意度，权重次之；人体姿态评价模块权重最小。但是，客户赶时间之时，难免出现不进行满意度评价的情况，本发明还列出了此情况下融合模块的权重。

可选地，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

，当具有语音信息满意度评分以及文本信息满意度评分时，权重分配如下：人体姿态10％、面部表情20％、文本信息50％、语音信息20％；

当没有语音信息满意度评分，但具有文本信息满意度评分时，权重分配如下：人体姿态10％、面部表情20％、文本信息70％、语音信息0％；

当没有语音信息满意度评分，且没有文本信息满意度评分时，权重分配如下：人体姿态30％、面部表情70％、文本信息0％、语音信息0％。

实施例二

本发明实施例一种多模态客户满意度综合评价方法，包括：

数据获取步骤，至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

相应的，数据获取途径如图2所示，数据获取遵循容易获得，真实有效的原则，选择了银行大厅已有的监控摄像头，以及智能柜台处的摄像头，触摸屏和麦克风，共四种现有或者改装容易实现的获取方法。

在业务办理过程中，从银行大厅监控摄像头获得客户人体姿态视频，从智能柜台处的摄像头获得客户面部表情视频，在业务办理后，从智能柜台触摸屏处获得由客户选择的满意度评分的文本信息，以及智能柜台处的麦克风获得客户对银行建议及意见的语音信息。

用户情绪分析与评价步骤，基于所述数据获取步骤获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

信息融合步骤，基于用户情绪与评价分析步骤进行分析获取的一项或多项满意度评分，获取最终评价信息。

可选地，所述用户情绪分析与评价步骤包括人体姿态评价步骤、面部表情评价步骤、信息评价步骤、语音信息评价步骤的一项或多项；

可选地，如图3所示，所述人体姿态评价步骤，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

可选地，所述人体姿态评价步骤的满意度评分至少包括3个等级；

相应的，本发明所述多模态客户满意度综合评价系统中所述人体姿态评价步骤执行人体姿态信息进行满意度评价。对于无人银行客户满意度评价系统，检测客户是否出现疑惑、生气、非常生气的身体姿态，是人体姿态评价步骤的主要任务。当客户为中性情绪的动作时，记100分；出现疑惑的动作，记80分；客户出现生气的动作，记40分；非常生气，记20分。

人在疑惑时，通常会做出手托腮，摸下巴，摸头等动作。人在生气时，通常会做出握拳，快速捶打桌面等动作。因此，人体姿态评价步骤从客户人体姿态视频中先进行人体检测，找到客户。之后提取手部与重心的相对位置，手部与头部的相对位置等特征，与以疑惑、生气为主的动作数据库提取的特征进行匹配，获得动作识别的结果，分析客户是否有疑惑、生气的动作。人体姿态评价步骤还从客户人体姿态视频中提取手部运动的速度，角速度等特征，识别客户生气的程度，构建情绪数据库。与动作识别结果结合，科学客观地得出人体姿态评价结果。

可选地，如图4所示，所述面部表情评价步骤，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

可选地，所述面部表情评价步骤的满意度评分至少包括3个等级；

面部表情是指通过面部的各个器官如眼睛、额眉、鼻颊、口唇等肌肉变化所表现出来的各种情绪,它能精细的表达出不同性质的情绪。面部表情用于无人银行客户满意度评价系统，既能反映出客户对银行此次服务的总体满意度，又能根据客户情绪的变化，快速定位到服务中需要改进的部分。本发明面部表情评价步骤，当客户表现积极和中性情绪，记100分；当客户出现消极情绪，如疑惑，焦虑，生气时，根据消极情绪的时长占比和强度，以20分为梯度依次扣分，格次分别为：80分，60分，40分，20分，最低分0分。本发明面部表情评价步骤采用目前效果很好的深度学习方法，图4为本发明所述多模态客户满意度综合评价系统中所述面部表情评价流程图。

获得客户面部表情视频后，先进行关键帧检测，检测出带有客户的帧。之后，进行预处理。预处理包括人脸检测，人脸对齐，数据增强，归一化，共四步。因为智能柜台摄像头与客户距离基本固定，采集到的视频人脸大小基本一致，本发明采用滑动窗口法检测人脸。之后，采用SDM算法(监督下降法)检测出人脸关键点，进行人脸对齐操作。数据增强部分采用了尺度变化，旋转，颜色变化，噪声干扰等方式，获得增强后的数据。归一化分为亮度归一化和姿态归一化两部分，亮度归一化采用直方图归一化法，姿态归一化采用TP-GAN网络(双路径生成对抗网络)。表情识别是目前人工智能领域研究的热点，有很多公开的大型数据集可以用来预训练CNN(卷积神经网络)模型。本发明采用CK+数据集(扩展的Cohn-Kanade数据集)预训练得到模型，用于客户面部表情的识别，最终分析出客户面部表情。

可选地，如图5所示，所述信息评价步骤，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述文本信息评价步骤的满意度评分至少包括6个等级；

文本信息评价基于传统客户满意度问卷表中的问题得到，由客户在智能柜台触摸屏处点击对应选项选择即可。请客户对本次服务进行评价，分为“非常满意”、“满意”、“基本满意”、“一般”、“不满意”、“非常不满意”，共计六种评价。文本信息评价步骤分别将上述六种评价记为100分，90分，80分，60分，40分， 20分。

可选地，如图6所示，所述语音信息评价步骤，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

所述语音信息评价步骤的满意度评分至少包括4个评分格次。

本发明语音信息评价步骤，当客户表现积极和中性情绪，记100分；当客户出现消极情绪，如疑惑，焦虑，生气时，根据消极情绪的时长占比和强度，以 20分为梯度依次扣分，格次分别为：80分，60分，40分，20分，最低分0分。

语音信息由智能柜台麦克风收录，主要是在客户点击触摸屏的服务评价之后，收录用户的意见建议。避免了客户手工输入的繁琐问题，减少了评价耗时。所述语音信息评价步骤主要包括语音内容识别和语音情绪分析两个步骤。

语音内容识别技术和语音情绪识别技术，是现阶段发展较为成熟的技术。

语音内容识别技术，就是让机器通过识别和理解，把语音信号转变为相应的文本或命令的技术。图6为本发明所述多模态客户满意度综合评价系统中所述语音信息评价流程图；语音内容识别单元本质上是一种模式识别系统。主要包括信号预处理、特征提取、模式匹配、参考模式库四个部分。

本发明直接采用预训练好的普通话语音帧数据(Mandarin Speech Frame Data)作为参考模式库，省去了模型训练部分。其中，预处理部分，滤除原始语音信号中的次要信息及背景噪音等,包括抗混叠滤波、预加重、模/数转换、自动增益控制等。特征提取部分，对语音的声学参数进行分析后提取出语音特征参数, 包括短时平均幅度、短时平均能量、线性预测编码系数、短时频谱等。模式匹配部分,选择目前有代表性的隐马尔可夫法，将分析出来的特征参数与普通话语音帧数据(Mandarin Speech Frame Data)中的模板进行模式匹配，得到识别结果。识别结果一方面判断客户是否有建议，另一方面用于记录客户的意见建议，便于银行服务的改进。

语音情绪分析步骤的基本结构与语音内容识别单元一致，将参考模板库换位预先训练好的语音情绪模板库即可。

可选地，，所述信息融合步骤，给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

本发明采用决策层融合。决策层融合就是将各子源信息先分别进行预处理、特征提取、分类识别，建立对所观测目标的初步评价得分,然后融合中心对各子源处理的结果进行整合得到最后的得分结果。决策层融合在信息处理方面具有很高的灵活性,能有效地反映环境和目标各个侧面的不同类型信息,而且可以处理异步信息。

本发明采用最简单的加权融合方式，文本信息评价步骤是客户满意度最直接体现的步骤，权重最大；语音信息评价步骤和面部表情评价步骤，因其一定程度反应了客户满意度，权重次之；人体姿态评价步骤权重最小。但是，客户赶时间之时，难免出现不进行满意度评价的情况，本发明还列出了此情况下融合的权重。

可选地，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

，当具有语音信息满意度评分以及文本信息满意度评分时，权重分配如下：人体姿态10％、面部表情20％、文本信息50％、语音信息20％；

当没有语音信息满意度评分，但具有文本信息满意度评分时，权重分配如下：人体姿态10％、面部表情20％、文本信息70％、语音信息0％；

当没有语音信息满意度评分，且没有文本信息满意度评分时，权重分配如下：人体姿态30％、面部表情70％、文本信息0％、语音信息0％。

本发明提出的多模态客户满意度综合评价系统、方法，通过采集获取至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；通过检测、识别对应于人体姿态信息、面部表情信息、文本信息及语音信息的满意度评分，并进一步基于加权融合算法，实现融合人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项满意度评分信息，从而获取最终的综合评价信息，避免了单一化的指标对于最终评价信息的影响，且根据用户习惯以及实际信息采集情况给予不同的指标分配不同的权重从而更加客观、精准地实现最终的满意度综合评价。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多模态客户满意度综合评价系统，其特征在于，包括：

数据获取模块，至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

用户情绪分析与评价模块，基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

信息融合模块，基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息。

2.根据权利要求1所述的多模态客户满意度综合评价系统，其特征在于，所述用户情绪分析与评价模块包括人体姿态评价模块、面部表情评价模块、信息评价模块、语音信息评价模块的一项或多项；

所述人体姿态评价模块，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

所述面部表情评价模块，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

所述文本信息评价模块，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述语音信息评价模块，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

3.根据权利要求1或2所述的多模态客户满意度综合评价系统，其特征在于，所述信息融合模块，给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

4.根据权利要求3所述的多模态客户满意度综合评价系统，其特征在于，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

5.根据权利要求2所述的多模态客户满意度综合评价系统，其特征在于，

所述人体姿态评价模块、面部表情评价模块的满意度评分至少包括3个等级；

所述文本信息评价模块的满意度评分至少包括6个等级；

所述语音信息评价模块的满意度评分至少包括4个评分格次。

6.一种多模态客户满意度综合评价方法，其特征在于，包括：

至少获取客户人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项；

基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的满意度评分；

基于用户情绪与评价分析模块进行分析获取的一项或多项满意度评分，获取最终评价信息。

7.根据权利要求6所述的多模态客户满意度综合评价系统，其特征在于，所述基于所述数据获取模块获取的一项或多项信息执行用户情绪分析，并获取相应的评分包括人体姿态评价获取步骤、面部表情评价获取步骤、信息评价获取步骤、语音信息评价获取步骤的一项或多项；

所述人体姿态评价获取步骤，用于检测并识别客户对应于不同情绪的肢体动作，并对应获取相应的姿态满意度评分；

所述面部表情评价获取步骤，用于检测并识别客户对应于不同情绪的面部表情动作，并对应获取相应的面部表情满意度评分；

所述文本信息评价获取步骤，用于获取客户手动点击的评分选项对应的文本信息满意度评分；

所述语音信息评价获取步骤，用于检测并识别客户对应于不同情绪的语音，并对应获取相应的语音信息满意度评分。

8.根据权利要求6或7所述的多模态客户满意度综合评价系统，其特征在于，所述基于用户情绪与评价分析模块进行分析获取的一项或多项评价信息，获取最终评价信息，包括：

给予人体姿态信息、面部表情信息、文本信息及语音信息的一项或多项信息，分配不同的权重等级，加权获取综合评分。

9.根据权利要求8所述的多模态客户满意度综合评价系统，其特征在于，所权重等级由高到低依次为：文本信息、面部表情信息、语音信息、人体姿态信息。

10.根据权利要求7所述的多模态客户满意度综合评价系统，其特征在于，

所述人体姿态评价获取步骤、面部表情评价获取步骤的满意度评分至少包括3个等级；

所述文本信息评价获取步骤的满意度评分至少包括6个等级；

所述语音信息评价获取步骤的满意度评分至少包括4个评分格次。