CN107194316A

CN107194316A - 一种情绪满意度的评价方法、装置及系统

Info

Publication number: CN107194316A
Application number: CN201710261563.XA
Authority: CN
Inventors: 邓立邦
Original assignee: Guangdong Phase Intelligent Technology Co Ltd
Current assignee: Guangdong Phase Intelligent Technology Co Ltd
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2017-09-22

Abstract

本发明公开了一种情绪满意度的评价方法、装置及系统，该方法包括以下步骤：S1：建立人的面部识别模型库；S2：获取人的面部识别信息，所述面部识别信息包括人面部的当前特征向量；S3：根据面部识别信息得到用户的满意度数据。本发明的情绪满意度的评价方法省去了现有满意度评价器需要手动操作才能提交信息的复杂操作流程，避免用户不愿操作的不足，并且能够真实判断出用户的满意度，提高了满意度调查数据的完整性和准确性。

Description

一种情绪满意度的评价方法、装置及系统

技术领域

本发明涉及一种图像识别技术领域，尤其涉及一种情绪满意度的评价方法、装置及系统。

背景技术

目前，为了了解各办事窗口办事人员的工作服务状态、为提高服务质量提供依据，目前普遍采用通过在服务窗口设置满意度评价器的方式，对用户进行服务满意度调查数据的采集。满意度评价器上设置有满意、不满意按钮，用户完成业务办理后，通过操作按钮提交对服务是否满意的反馈信息。

但是，现有的满意度评价方式存在以下缺陷：

(1)由于服务评价需要在窗口前进行手动操作，用户的评价意愿不一定能真实的表达或者需要办理业务的人员提醒用户进行评价操作

(2)可能因为用户怕麻烦赶时间离开而不愿意进行评价操作。使得反馈的满意度调查数据不真实、或不完整，使得相关的参考信息不能够准确反映出

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种情绪满意度的评价方法，其能解决用户情绪监测的技术问题。

本发明的目的之二在于提供一种情绪满意度的评价装置，其能解决用户情绪监测的技术问题。

本发明的目的之三在于提供一种情绪满意度的评价系统，其能解决用户情绪监测的技术问题。

本发明的目的之一采用如下技术方案实现：

一种情绪满意度的评价方法，包括以下步骤：

S1：建立人的面部识别模型库；

S2：获取人的面部识别信息，所述面部识别信息包括人面部的当前特征向量；

S3：根据面部识别信息得到用户的满意度数据。

进一步地，所述步骤S1具体包括以下子步骤：

S11：获取用户情绪变化时的模型识别信息，所述模型识别信息包括模型特征向量，所述模型特征向量为模型特征点的位移变化；

S12：将满意度区间定义为满意、平静和不满意三个区间，并在不同满意度区间存储相对应的模型特征向量集以形成人的面部识别模型库。

进一步地，所述模型特征点的数量为70至75之间的任意一数值。

进一步地，所述步骤S3具体包括以下子步骤：

S301：将获取到的当前特征向量与面部识别模型库中的模型特征向量进行比对以得比对结果；

S302：根据比对结果判断所属满意度区间以得到用户的满意度数据。

进一步地，所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述步骤S3具体包括以下子步骤：

S31：根据获取到的开始特征向量得到用户的开始满意度；

S32：根据获取到的结束特征向量得到用户的结束满意度；

S33：根据结束满意度与开始满意度的变化得到用户在识别过程中的满意度数据。

本发明的目的之二采用如下技术方案实现：

一种情绪满意度的评价装置，包括以下模块：

模型建立模块：用于建立人的面部识别模型库；

信息获取模块：用于获取人的面部识别信息，所述面部识别信息包括人面部的当前特征向量；

满意度获取模块：用于根据面部识别信息得到用户的满意度数据。

进一步地，所述模型建立模块具体包括以下子模块：

模型特征获取模块：用于获取用户情绪变化时的模型识别信息，所述模型识别信息包括模型特征向量，所述模型特征向量为模型特征点的位移变化；

区间划分模块：用于将满意度区间定义为满意、平静和不满意三个区间，并在不同满意度区间存储相对应的模型特征向量以形成人的面部识别模型库。

进一步地，所述满意度获取模块具体包括以下子模块：

相似度获取模块：用于将获取到的当前特征向量与面部识别模型库中的模型特征向量进行比对以得比对结果；

相似度判断模块：用于根据比对结果判断所属满意度区间以得到用户的满意度数据。

进一步地，所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述满意度获取模块具体包括以下子模块：

开始满意度获取模块：用于根据获取到的开始特征向量得到用户的开始满意度；

结束满意度获取模块：用于根据获取到的结束特征向量得到用户的结束满意度；

满意度计算模块：用于根据结束满意度与开始满意度的变化得到用户在识别过程中的满意度数据。

本发明的目的之三采用如下技术方案实现：

一种情绪满意度的评价系统，包括执行器，所述执行器用于执行上述所描述的情绪满意度的评价方法。

相比现有技术，本发明的有益效果在于：

本发明的情绪满意度的评价方法省去了现有满意度评价器需要手动操作才能提交信息的复杂操作流程，避免用户不愿操作的不足，并且能够真实判断出用户的满意度，提高了满意度调查数据的完整性和准确性。

附图说明

图1为本发明的情绪满意度的评价方法的流程图；

图2为本发明的情绪满意度的评价装置的结构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

本发明提供一种基于视频图像识别的满意度自动分析系统，通过机器学习建立满意度识别模型，在进行实施的时候，是通过在各办事服务窗口设置摄像头来捕捉前来办事的用户视频图像，将用户的面部表情变化与识别模型比对做持续分析，从而得出用户对服务的满意度结果数据，不需要用户手动提交满意度的信息。

本发明主要包括摄像头和信息处理服务器，该摄像头设置分别设置在服务窗口处，其能获取到前来办事的用户面部视频图像信息，并且将持续捕捉到的面部视频图像通过网络或数据线传输到信息处理服务器处，信息处理服务器集成有用户管理模块、识别模块和数据管理模块；用户管理模块：用于用户数据管理。该模块建立了管理员账号和需要统计服务满意度的工作人员的个人账号。工作人员开始工作时，通过账号登录或登出来启动或停止对应自己的满意度识别进程；管理员使用账号登录后可以进行各个工作人员账号的设置和数据查看。

识别模块：包括识别模型和情绪识别。利用建立好的识别模型对摄像头获取到的面部视频图像进行数据处理分析，根据办事过程中用户的面部持续情绪变化，对比识别模型得到用户对服务的满意度结果数据。并通将上述结果数据传输到数据管理模块。

识别模型：通过对面部视频图像抽取关键帧、构建面部关键点，对关键点进行特征提取，对大量人脸面部表情视频进行学习从而建立对应满意度各区间的训练集模版库，作为满意度识别模型。

如图1所示，本发明提供了一种情绪满意度的评价方法，包括以下步骤：

S1：建立人的面部识别模型库；所述步骤S1具体包括以下子步骤：

S11：获取用户情绪变化时的模型识别信息，所述模型识别信息包括模型特征向量集，所述模型特征向量为模型特征点的位移变化；所述模型特征点的数量为70至75之间的任意一数值；在本实施例中，采用72个模型特征点来对其进行面部特征描述，人的面部结构及五官形态组合在情绪变化时具有显著特征。通过学习和不断校正，根据面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、颧骨等面部五官及各个组成部分的结构、轮廓组合特点，查找出能够体现人的脸部表情变化、且在各种光线投射外部环境影响下、人脸各角度偏移时、稳定的72个关键点，基于72个关键点建立识别模型；72个点是建立模型时，通过不断比对识别结果挑选出来的稳定的点。通过实际测试，对比不同数量的稳定性与准确度后定下来的规则。

S12：将满意度区间定义为满意、平静和不满意三个区间，并在不同满意度区间存储相对应的模型特征向量集以形成人的面部识别模型库。用总体满意度百分比来对应个满意度区间建立识别模型，数值越低表示满意度越低，数值越大表示满意度越高，即0-35为不满意，35-65为平静，65-100为满意，非常不满意趋近于0，非常满意趋近于100；通过机器学习训练、分析大量服务对象的面部视频，统计72个特征点在不同情绪变化时的点的坐标数据，计算出他们在不同情绪下的坐标偏移量，形成描述面部情绪变化的特征向量，将上述特征向量对应满意、平静、不满意区间的模板库存储，从而建立满意度识别模型，训练过程需要指定特征向量集所对应的满意度区间，通过不断比对模型的识别结果修整各区间的特征向量集；

S2：获取人的面部识别信息，所述面部识别信息包括人面部的当前特征向量；S3：根据面部识别信息得到用户的满意度数据。在具体的实施过程中可以有两种方式来判断用户情绪状态；第一种是采用直接判断用户的情绪状态的方式，在该方式中，所述步骤S3具体包括以下子步骤：

S301：将获取到的当前特征向量与面部识别模型库中的模型特征向量集进行比对以得比对结果；根据相似度判断出与当前特征向量最接近的模型特征向量将得到的模型特征向量对应到各满意度区间，然后得到一个满意度百分比以进行满意度的判断；

S302：根据比对结果判断所属满意度区间以得到用户的满意度数据。该满意度数据即为用户当前的表情是满意的、是平静的还是不满意的；这种方式可以实时的显示处用户的当前的情绪状态。

但是由于人的情绪是会随着时间不断变化的，并且在整个服务的过程中，人的情绪也会因为相关人员的态度而改变，不能单一考虑用户的当前的情绪就做出相应的判断，而是需要结合整个服务过程中用户的情绪来做出相应的判断的；在该方式中，所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述步骤S3具体包括以下子步骤：

S31：根据获取到的开始特征向量得到用户的开始满意度；

S32：根据获取到的结束特征向量得到用户的结束满意度；具体计算开始满意度和结束满意度的方式也是采用相似度来进行判断的。

S33：根据结束满意度与开始满意度的变化得到用户在识别过程中的满意度变化以得到相应的满意度数据。以开始服务初期的满意度识别结果作为识别初始数据依据，基于初始数据和用户在服务过程中的满意度变化数据，判断整个服务过程中用户的满意度数据。

在进行识别之后，还可以统计分析识别到的满意度结果数据，并将数据形成可视化分析报告。每个工作人员的账号都对应有各自的满意度统计结果数据，对应用户账号保存；同时也会统计分析各个时间周期的总体服务满意度。管理员登录后通过数据管理后台查看各工作人员的满意度统计结果数据，和总体满意度分析报告；给后期的管理带来了更大的方便。

本发明的工作原理：

工作人员开始对外办公时，使用账号登录情绪识别满意度评价系统，信息处理服务器开始启动识别流程，通过服务办事大厅办事窗口对应设置的摄像头实时获取前来办事用户的脸部视频图像信息。

信息处理服务器的识别模块获取到办事用户的面部视频图像后，根据面部特征建立该用户的面部72个关键点。

持续计算办事过程中用户面部72个关键点的坐标偏移向量数据，比对识别模型，得到用户的服务过程满意度变化数据。

设定整个办事过程为10分钟，将用户最初到达办事窗口时的前1分钟视频中的识别结果数据作为判断满意度的基础初始数据，判断后面9分钟的识别结果数据变化情况，得到最终的满意度结果数据。即当用户到达时的前1分钟，情绪本身为较高兴的满意状态，在之后服务过程情绪状态变化转为没有相对之前高兴，甚至趋向平静或不太满意，则最终的识别结果则趋向于不满意或平静。如用户到达时的前1分钟，情绪本身为较愤怒的不满意状态，在之后服务过程情绪变化转为相对平静或开心的满意状态，则最终的识别结果则趋向于平静或满意。

完成服务用户离开窗口，识别结束。识别模块将满意度结果数据发送到数据管理模块对应该工作人员的账号存储。

数据管理模块定期每日、每周、每月、每季度、半年、每年、对每个工作人员账号对应的满意度结果进行数据统计，并形成可视化分析报告；同时统计分析各个时间周期的总体服务满意度。

管理人员登录后通过数据管理后台查看各工作人员的满意度统计结果数据，和总体满意度分析报告。

如图2所示，本发明提供了一种情绪满意度的评价装置，包括以下模块：

模型建立模块：用于建立人的面部识别模型库；所述模型建立模块具体包括以下子模块：

模型特征获取模块：用于获取用户情绪变化时的模型识别信息，所述模型识别信息包括模型特征向量；

区间划分模块：用于将满意度区间定义为满意、平静和不满意三个区间，并在不同满意度区间存储相对应的模型特征向量集以形成人的面部识别模型库。

满意度获取模块：用于根据面部识别信息得到用户的满意度数据。在满意度获取的过程中有两种不同的实现方式，第一种所述满意度获取模块具体包括以下子模块：

相似度获取模块：用于将获取到的当前特征向量与面部识别模型库中的模型特征向量集进行比对以得比对结果；

第二种是：所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述满意度获取模块具体包括以下子模块：

满意度计算模块：用于根据结束满意度与开始满意度的变化得到用户在识别过程中的满意度变化以得到相应的满意度数据。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims

1.一种情绪满意度的评价方法，其特征在于，包括以下步骤：

S1：建立人的面部识别模型库；

S3：根据面部识别信息得到用户的满意度数据。

2.如权利要求1所述的情绪满意度的评价方法，其特征在于，所述步骤S1具体包括以下子步骤：

3.如权利要求2所述的情绪满意度的评价方法，其特征在于，所述模型特征点的数量为70至75之间的任意一数值。

4.如权利要求2所述的情绪满意度的评价方法，其特征在于，所述步骤S3具体包括以下子步骤：

S301：将获取到的当前特征向量与面部识别模型库中的模型特征向量集进行比对以得比对结果；

5.如权利要求2所述的情绪满意度的评价方法，其特征在于，所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述步骤S3具体包括以下子步骤：

S31：根据获取到的开始特征向量得到用户的开始满意度；

S32：根据获取到的结束特征向量得到用户的结束满意度；

6.一种情绪满意度的评价装置，其特征在于，包括以下模块：

模型建立模块：用于建立人的面部识别模型库；

7.如权利要求6所述的情绪满意度的评价装置，其特征在于，所述模型建立模块具体包括以下子模块：

8.如权利要求7所述的情绪满意度的评价装置，其特征在于，所述满意度获取模块具体包括以下子模块：

9.如权利要求7所述的情绪满意度的评价装置，其特征在于，所述面部识别信息包括识别过程中的开始特征向量和结束特征向量，所述满意度获取模块具体包括以下子模块：

10.一种情绪满意度的评价系统，其特征在于，包括执行器，所述执行器用于执行如权利要求1-5中任意一项所述的情绪满意度的评价方法。