CN110363154A - 一种基于情绪识别的服务质量考评方法及系统 - Google Patents

一种基于情绪识别的服务质量考评方法及系统 Download PDF

Info

Publication number
CN110363154A
CN110363154A CN201910643683.5A CN201910643683A CN110363154A CN 110363154 A CN110363154 A CN 110363154A CN 201910643683 A CN201910643683 A CN 201910643683A CN 110363154 A CN110363154 A CN 110363154A
Authority
CN
China
Prior art keywords
service quality
emotional state
state data
unit
target face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910643683.5A
Other languages
English (en)
Inventor
王学能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI AISINO Co Ltd
Original Assignee
ANHUI AISINO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI AISINO Co Ltd filed Critical ANHUI AISINO Co Ltd
Priority to CN201910643683.5A priority Critical patent/CN110363154A/zh
Publication of CN110363154A publication Critical patent/CN110363154A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机视觉处理技术领域，具体而言，涉及一种基于情绪识别的服务质量考评方法及系统。所述基于情绪识别的服务质量考评方法包括以下步骤：获取客户区图像，识别目标人脸；对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述目标人脸的情绪状态数据；根据所述情绪状态数据和第二预设规则对服务质量进行评价。所述基于情绪识别的服务质量考评系统，包括人脸跟踪模块(1)、情绪分析模块(2)和服务质量评价模块(3)。本发明根据客户在接收服务过程中的情绪状态变化对服务质量做出评价，可有效保障评价的客观、准确。

Description

一种基于情绪识别的服务质量考评方法及系统
技术领域
本发明涉及计算机视觉处理技术领域，具体而言，涉及一种基于情绪识别的服务质量考评方法及系统。
背景技术
目前，对于用户在窗口、前台或者终端接受的服务质量的考评，多建立在用户对服务进行被动评价的基础上，例如在服务窗口设置服务评价器或者通过向用户手机发送请求评价的短信。这存在诸多弊端：1、用户疏于评价或者不愿反馈，造成收集到的样本较少；2、流于形式，用户未慎重评价，造成评价结果不客观；3、一般评价器均是将服务评价设置几个分档，例如分为满意、一般、不满意等，这就造成对服务评价的不具体，更无法从中获取更为精确的反馈信息，且无法得到有利于改进服务质量的建设性反馈。
实际上，最能有效反映服务质量的是：用户在接受服务时所体现出的情绪变化，例如面部表情和肢体语言等。当接受高质量的服务时，体现的会是正面、积极的情绪；反之，则会出现消极、抵触的情绪。现有技术中，虽然已经出现针对面部情绪识别技术的研究，但是，还未将其应用至服务监督系统中，因此，如何根据客户情绪状态实现对服务质量的有效评价依然是一项空白。
发明内容
为在一定程度上解决上述问题的至少一个方面，本发明提供一种基于情绪识别的服务质量考评方法，包括以下步骤：
获取客户区图像，识别目标人脸；
对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述目标人脸的情绪状态数据；
根据所述情绪状态数据和第二预设规则对服务质量进行评价。
可选地，所述对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述人脸的情绪状态的步骤包括：
对所述目标人脸的眉毛、鼻子、眼睛和嘴进行特征提取；
将位于情感轮象限中的情感标签编码，将所述对所述眉毛、鼻子、眼睛和嘴进行特征提取得到的特征数据进行分类识别，并映射到所述情感轮象限中，获取所述情绪状态数据。
可选地，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤包括，根据所述目标人脸的所述情绪状态数据，做出所述目标人脸在第二预设时间段内的情绪变化趋势图。
可选地，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤包括：分析所述情绪状态数据在所述第二预设时间段内的变化趋势，根据所述变化趋势对所述服务质量进行评价。
可选地，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤还包括：对所有情绪状态数据进行归一化处理得到每个情绪状态对应的情绪分值，综合所有所述情绪分值的变化量，对所述服务质量进行评级。
可选地，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤还包括：设置情绪报警阈值，当所述情绪状态数据超过所述阈值时，做出报警和/或改善服务提醒。
本发明的基于情绪识别的服务质量考评方法，根据客户在接收服务过程中的情绪状态变化，对服务质量做出评价，可有效保障评价的客观、准确；根据客户情绪变化趋势，分析服务环节的不足，有利于改善服务水平；采用基于情绪识别的服务质量考评方法，省去了用户评价要求，本身就有助于提高用户体验。
本发明的另一目的，在于提出一种基于情绪识别的服务质量考评系统，包括人脸跟踪模块、情绪分析模块和服务质量评价模块；
所述人脸跟踪模块，用于获取客户区图像，识别目标人脸，并传送至所述情绪分析模块；
所述情绪分析模块，用于对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述目标人脸的情绪状态数据，将所述情绪状态数据传送至所述服务质量评价模块；
所述服务质量评价模块，用于根据所述情绪状态数据和第二预设规则对服务质量进行评价。
可选地，所述人脸跟踪模块包括图像采集单元、目标识别定位单元、云台控制单元和数据传输单元；
所述图像采集单元用于获取所述客户区图像并发送到所述目标识别定位单元；
所述目标识别定位单元，用于从所述客户区图像中识别出所述目标人脸和所述目标人脸的相对位置信息，并发送到云台控制单元和所述数据传输单元；
所述云台控制单元，用于根据所述目标人脸的所述相对位置信息，控制所述图像采集单元对所述目标人脸进行跟踪拍摄；
所述数据传输单元，用于与所述目标识别定位单元、所述云台控制单元和所述情绪分析模块进行数据交互。
可选地，所述情绪分析模块包括特征提取单元和数据处理分析单元；
所述特征提取单元，用于对所述目标人脸进行特征提取，并将提取结果发送到所述数据处理分析单元；
所述数据处理分析单元，用于根据第一预设规则对所述提取结果进行情绪识别得到情绪状态数据，并将所述情绪状态数据发送到所述服务质量评价模块。
可选地，所述服务质量评价模块包括：信息处理单元、结果判定分析单元和结果输出单元；
所述信息处理单元用于接收所述情绪分析模块的所述情绪状态数据，并与所述结果判定分析单元和所述结果输出单元进行数据交换；
所述结果判定分析单元用于根据所述情绪状态数据和第二预设规则对服务质量进行评价；
所述结果输出单元用于输出所述评价结果。
本发明的基于情绪识别的服务质量考评系统与基于情绪识别的服务质量考评方法所具有的有益效果相同，在此不再赘述。
附图说明
图1为特征提取和情绪识别框图；
图2为情感轮象限示意图；
图3为客户情绪变化趋势图示意图；
图4为本发明基于情绪识别的服务质量考评系统的结构框图。
附图标记说明：
1-人脸跟踪模块；11-云台控制单元；12-图像采集单元；13-目标识别定位单元；14-数据传输单元；2-情绪分析模块；21-预处理单元；22-特征提取单元；23-数据处理分析单元；3-服务质量评价模块；31-信息处理单元；32-结果判定分析单元；33-结果输出单元。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
一种基于情绪识别的服务质量考评方法，包括以下步骤：
S1：获取客户区图像，识别目标人脸。通过在服务窗口或者服务终端的适当位置设置图像采集设备可以获得客户区的图像，从客户区图像中检测出客户的脸部图像，即目标人脸。目标人脸得到的是一个矩形的人脸区域。
S2：对获取的所述目标人脸进行特征提取，根据第一预设规则获取所述目标人脸的情绪状态数据。对能够表征人类情绪状态的脸部特征，诸如眼睛、嘴型、眉毛等进行特征提取，并根据第一预设规则建立特征点到情绪状态的映射，得到客户的情绪状态数据。
S3：根据所述情绪状态数据和第二预设规则对服务质量进行评价。根据客户的情绪状态或情绪变化，按照定义好的情绪状态或者情绪变化与服务质量的对应关系，即第二预设规则，实现对服务质量的有效评价。
参考图1，较佳的，步骤S2还包括子步骤：
S21：脸部姿态修正。
由于目标人脸的特征受到头部姿态的影响，即头部姿态因为扭转和俯仰状态的不同，会影响脸部特征的表达，所以需要对面部姿态进行修正。首先，需要对S1检测到的面部数据进行眼模板提取，通过计算眼睛中心线与水平面的夹角估计头部姿态，并对检测到的目标人脸进行纠偏性的扭转和俯仰，以实现头部直立姿态，从而获得修正后的目标人脸数据。同时，为在后续步骤中使用嘴型的数据，本步骤也完成了嘴型提取。
S22：首先对S21处理后的目标人脸划分各功能区，然后进行眉毛检测、鼻子检测、眼睛检测和嘴检测，最后结合人体测量评估对检测数据进行置信度的估计。具体操作如下：
S221：将目标人脸分割成三个相互重叠的矩形区域，分别为左眼和左眉毛区域、右眼和右眉毛区域、嘴巴区域。
S222：在相应的各功能区进行嘴边界提取、眼边界提取、鼻子检测和眉毛检测。由于眉毛检测和鼻子检测相对容易且较易得到相对准确的提取结果，因此可以对眉毛和鼻子采用单一算法进行特征提取，得到眉毛和鼻子的最终特征。但是，由于眼睛和嘴的检测相对复杂，采用单一算法往往会得到差距较大的提取结果，因此，本实施例中，在对眼睛和嘴的提取中采取多种算法进行特征提取后，然后对多种算法的提取结果进行融合，以期实现更为有效的分类结果。
例如，对于眼睛的特征提取，采用了神经网络分类算法、基于区域增长技术的分类算法和canny算子边缘提取算法，然后对各算法进行验证和权重赋值，最后采用融合算法将各分类提取算法得到的脸部特征进行融合。嘴的特征提取与眼睛类似，这里不再赘述。
由于每种算法具有其自身的优势和不足，为了尽量降低各个算法带来的检测偏差，得到最精确的提取结果，本实施例没有采用择一的方式选择某一种分类算法，而是采用融合算法分别对嘴边界和眼边界的提取结果进行融合，得到嘴和眼睛的最终特征。
S223：人体测量评估。由于任何特征提取算法都可能存在检测结果的不确定性，因此，有必要对最终提取结果进行验证。验证方法为：根据对人体实际测量的数据建立多个指标，使用这些指标检查S222中得到的目标人脸的特征数据，以确定其是否为有效的特征或特征集。
S23：根据S22的特征提取结果和第一预设规则进行情绪识别。
现有的情绪识别，一般采用面部动作编码系统(Facial Action CodingSystem，FACS)定义情绪识别的规则，而FACS是基于六种表情原型(喜悦、惊讶、恐惧、愤怒、厌恶、悲伤)建立的，在主题表达能力不强(表情不太夸张)的情况下，往往得不到准确的识别结果，这也使得基于FACS的情绪识别的规则在服务质量评价的应用中，遇到困难。
本实施例中，采用基于脸部动画参数(Facial Animation Parameters，FAP)构建的情绪识别规则表作为第一预设规则(《情绪识别规则表》参见附表1)。
该第一预设规则中，将位于情感轮象限中的情感标签编码(所述情感轮象限参见附图2)，通过建立特定特征点的运动与这些感情标签之间的映射，将对目标人脸的眉毛、鼻子、眼睛和嘴进行特征提取得到的特征数据进行分类识别，使其映射到所述情感轮象限中，实现情绪识别。本发明采用基于FAP的情绪识别规则，能够得到更为准确的情绪识别结果。
较佳的，步骤S3根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤，具体包括以下内容：
在客户接受服务的过程中，间隔一定时间采集目标人脸(即客户的脸)的情绪状态数据，形成客户情绪状态的时间序列。为便于后续处理，将这些情绪状态数据进行归一化处理，即将S2中识别生成的情绪状态数据生成0-1之间的分数，其中0为最差情绪，1为最好情绪(这里的最差情绪和最好情绪对应情感轮象限中标注的最好情绪标签和最差情绪标签)。假设在第二预设时间内，共采集到客户在n个时刻的n个表情状态数据，这n个表情状态数据经过归一化处理后，按照时间从前到后排序分别为t1、t2、……、tn-1、tn。需要特别强调的是，很显然，在其他实施例中，也可以将情绪状态数据处理到数轴上的任意段位，因此，这里的区间0-1只是为了方便理解给出的一种示例，不能作为对本发明的不利限定。
第二预设规则包括步骤A：根据客户的表情状态的时间序列，对服务质量打分。具体的，服务质量分数＝(tn-tn-1)+(tn-1-tn-2)+……+(t2-t1)＝tn-t1。因为，t1、t2、……、tn-1、tn均是处于0至1之间的分数，因此服务质量的分数介于-1至1之间。
例如，在办税大厅，有五个办税工作人员，每个办税工作人员为一个客户服务，通过跟踪五个客户的情绪状态变化得到下表：
则按照第二预设规则，每个办税工作人员的得分为：
第二预设规则还包括步骤B：根据服务质量分数，对服务质量评级。具体的，定义：得分在1至0.5(含)之间，评级为好；得分在0.5(不含)至0.3(含)之间，评级为较好；得分在0.3(不含)至0(含)之间，评级为一般；得分在0(不含)至-0.5(含)之间，评级为较差；得分在-0.5(不含)至-1(含)之间，评级为差。则上述五个办税工作人员的服务质量评级如下表所示：
较佳的，为较为直观的观察整个服务过程中，客户情绪状态的变化，可根据客户情绪状态数据的时间序列绘制客户的情绪变化趋势图。以上面的办税工作人员服务客户的过程为例，绘制的客户情绪变化趋势图如附图3所示。图3中，客户情绪变化趋势图是以曲线的形式呈现，实际上还可以采用柱状图、点图、面积图等形式。
可选地，可以每间隔第一预设时间，就采集一次目标人脸的情绪状态数据，做出目标人脸在第二预设时间段内的情绪变化趋势图。其中第一预设时间为一个固定的时间间隔，且第一预设时间小于第二预设时间，能够保障在第二预设时间内，采集足够多的目标人脸的情绪状态数据即可。第二预设时间可以为预先设定的一段时间；也可以是客户从接受服务开始，到终止接受服务的时间段；甚至可以是客户从进入可检测区域到走出可检测区域的整个时间段。本处所说的可检测区域指的是可实现目标人脸情绪状态识别的区域。在第二预设时间内，情绪状态数据形成时间序列，以时间轴为横轴，以情绪状态数据为纵轴，可以绘制客户的情绪状态变化曲线。
可选地，也可以在第二预设时间内连续采集目标人脸的情绪状态，选取不同时刻的多帧图像，并以时间轴为横轴，选取的图像对应的情绪状态为纵轴，做出目标人脸在第二预设时间段内的情绪变化趋势图。
较佳的，还可以设置情绪报警阈值。当检测到客户的情绪状态数据超过报警阈值时，对服务人员进行预警。较佳的，还可以在进行预警的同时，对服务人员做出改善服务提醒。本发明通过设置报警阈值，可以使服务人员及时意识到其服务质量出现问题，避免在客户体验较差的情绪点使其情绪进一步恶化。
如图4所示，本发明的另一目的在于，基于上述基于情绪识别的服务质量考评方法，提供一种基于情绪识别的服务质量考评系统。基于情绪识别的服务质量考评系统，包括人脸跟踪模块、与人脸跟踪模块通信的情绪分析模块和与情绪分析模块服务质量评价模块。
人脸跟踪模块，用于获取客户区图像，识别被服务客户的目标人脸，并传送至情绪分析模块。人脸跟踪模块包括图像采集单元、目标识别定位单元、云台控制单元和数据传输单元；
图像采集单元用于获取外界图像信息并发送到目标识别定位单元。图像采集单元包括图像采集设备，例如摄像机。图像采集设备用于获取外界图像信息，包括客户区图像。图像采集设备与控制电机连接，控制电机连接云台控制单元。云台控制单元可连接多个控制电机或者多组控制电机，也就是说，多个服务窗口或者服务终端可共用一个云台控制单元。图像采集单元接收云台控制单元发送来的控制信息，通过控制电机调整摄像机的拍摄角度，从而保障可以跟踪采集目标人脸。图像采集单元将采集的客户区图像信息传送给目标识别定位单元。
目标识别定位单元接收图像采集单元的图像信息，并从该图像信息中识别出目标人脸，将目标人脸的图像数据传给数据传输单元；同时将目标人脸的相对位置发送到云台控制单元。
云台控制单元接收到目标识别定位单元发送来的目标人脸的位置信息后，根据目标人脸的相对位置信息，控制图像采集单元，对目标人脸进行跟踪拍摄。
数据传输单元用于与目标识别定位单元、云台控制单元和情绪分析模块进行数据交互。数据传输单元接收目标识别定位单元的目标人脸图像数据，并传送给情绪分析模块；同时，从系统获得信息后，可传送至云台控制单元和目标识别定位单元。
情绪分析模块，用于对获取的所述目标人脸进行特征提取，根据第一预设规则获取所述目标人脸的情绪状态数据。
情绪分析模块包括预处理单元、特征提取单元和数据处理分析单元。
预处理单元，接收人脸跟踪模块的目标人脸的图像数据，进行预处理，转化为需要的数据。
特征提取单元，用于对经过预处理的图像数据进行特征提取，得到目标人脸各特征的形状和位置数据，并发送到数据处理分析单元；
数据处理分析单元，用于将接收到的数据参数化，根据第一预设规则获取目标人脸的情绪状态数据，并发送到服务质量评价模块。
服务质量评价模块，接收情绪分析模块的目标人脸的情绪状态数据，并根据目标人脸的情绪状态数据对服务质量进行评价。服务质量评价模块包括信息处理单元、结果判定分析单元和结果输出单元；
信息处理单元用于接收情绪分析模块的情绪状态数据，并与结果判定分析单元和结果输出单元进行数据交换。
结果判定分析单元用于根据客户的情绪状态数据和一定规则对服务质量进行评价。本单元采用的规则可以为上述的第二预设规则，也可以采取其他关于客户情绪状态与服务质量具有映射关系的规则。结果判定分析单元将判定和分析结果传送至结果输出单元，结果判定分析单元可实现对服务质量的打分、评级、绘制客户(即目标人脸)在时间轴上情绪状态变化曲线、与情绪报警阈值比较等判定、分析内容。
结果输出单元用于输出服务质量的评级结果、情绪变化趋势图、提醒和报警等。
需要再次申明的是，虽然本发明的初衷是针对窗口服务人员或服务终端的服务质量考评系统，但是，很显然，本发明具有普遍的借鉴意义，因此不能将使用场景、环境或者使用行业作为对本发明的不利限定。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
附表1情绪识别规则表

Claims (10)

1.一种基于情绪识别的服务质量考评方法，其特征在于，包括以下步骤：
获取客户区图像，识别目标人脸；
对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述目标人脸的情绪状态数据；
根据所述情绪状态数据和第二预设规则对服务质量进行评价。
2.根据权利要求1所述的基于情绪识别的服务质量考评方法，其特征在于，所述对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述人脸的情绪状态的步骤包括：
对所述目标人脸的眉毛、鼻子、眼睛和嘴进行特征提取；
将位于情感轮象限中的情感标签编码，将所述对所述眉毛、鼻子、眼睛和嘴进行特征提取得到的特征数据进行分类识别，并映射到所述情感轮象限中，获取所述情绪状态数据。
3.根据权利要求1所述的基于情绪识别的服务质量考评方法，其特征在于，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤包括：根据所述目标人脸的所述情绪状态数据，做出所述目标人脸在第二预设时间段内的情绪变化趋势图。
4.根据权利要求1所述的基于情绪识别的服务质量考评方法，其特征在于，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤包括：分析所述情绪状态数据在所述第二预设时间段内的变化趋势，根据所述变化趋势对所述服务质量进行评价。
5.根据权利要求4所述的基于情绪识别的服务质量考评方法，其特征在于，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤还包括：对所有情绪状态数据进行归一化处理得到每个情绪状态对应的情绪分值，综合所有所述情绪分值的变化量，对所述服务质量进行评级。
6.根据权利要求3或4所述的基于情绪识别的服务质量考评方法，其特征在于，所述根据所述情绪状态数据和第二预设规则对服务质量进行评价的步骤还包括：设置情绪报警阈值，当所述情绪状态数据超过所述阈值时，做出报警和/或改善服务提醒。
7.一种利用权利要求1-6中任一所述方法的基于情绪识别的服务质量考评系统，包括人脸跟踪模块(1)、情绪分析模块(2)和服务质量评价模块(3)；
所述人脸跟踪模块(1)，用于获取客户区图像，识别目标人脸，并传送至所述情绪分析模块(2)；
所述情绪分析模块(2)，用于对获取的所述目标人脸进行特征提取，并根据第一预设规则获取所述目标人脸的情绪状态数据，将所述情绪状态数据传送至所述服务质量评价模块(3)；
所述服务质量评价模块(3)，用于根据所述情绪状态数据和第二预设规则对服务质量进行评价。
8.根据权利要求7所述的基于情绪识别的服务质量考评系统，其特征在于，所述人脸跟踪模块(1)包括图像采集单元(12)、目标识别定位单元(13)、云台控制单元(11)和数据传输单元(14)；
所述图像采集单元(12)用于获取所述客户区图像并发送到所述目标识别定位单元(13)；
所述目标识别定位单元(13)，用于从所述客户区图像中识别出所述目标人脸和所述目标人脸的相对位置信息，并发送到所述云台控制单元(11)和所述数据传输单元(14)；
所述云台控制单元(11)，用于根据所述目标人脸的所述相对位置信息，控制所述图像采集单元(12)对所述目标人脸进行跟踪拍摄；
所述数据传输单元(14)，用于与所述目标识别定位单元(13)、所述云台控制单元(11)和所述情绪分析模块(2)进行数据交互。
9.根据权利要求7所述的基于情绪识别的服务质量考评系统，其特征在于，所述情绪分析模块(2)包括特征提取单元(22)和数据处理分析单元(23)；
所述特征提取单元(22)，用于对所述目标人脸进行特征提取，并将提取结果发送到所述数据处理分析单元(23)；
所述数据处理分析单元(23)，用于根据第一预设规则对所述提取结果进行情绪识别得到情绪状态数据，并将所述情绪状态数据发送到所述服务质量评价模块(3)。
10.根据权利要求7所述的基于情绪识别的服务质量考评系统，其特征在于，所述服务质量评价模块(3)包括：信息处理单元(31)、结果判定分析单元(32)和结果输出单元(33)；
所述信息处理单元(31)用于接收所述情绪分析模块的所述情绪状态数据，并与所述结果判定分析单元(32)和所述结果输出单元(33)进行数据交换；
所述结果判定分析单元(32)用于根据所述情绪状态数据和第二预设规则对服务质量进行评价；
所述结果输出单元(33)用于输出评价结果。
CN201910643683.5A 2019-07-17 2019-07-17 一种基于情绪识别的服务质量考评方法及系统 Pending CN110363154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910643683.5A CN110363154A (zh) 2019-07-17 2019-07-17 一种基于情绪识别的服务质量考评方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910643683.5A CN110363154A (zh) 2019-07-17 2019-07-17 一种基于情绪识别的服务质量考评方法及系统

Publications (1)

Publication Number Publication Date
CN110363154A true CN110363154A (zh) 2019-10-22

Family

ID=68219994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910643683.5A Pending CN110363154A (zh) 2019-07-17 2019-07-17 一种基于情绪识别的服务质量考评方法及系统

Country Status (1)

Country Link
CN (1) CN110363154A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718293A (zh) * 2019-10-23 2020-01-21 合肥盛东信息科技有限公司 一种护理员服务质量监测评价系统
CN111563663A (zh) * 2020-04-16 2020-08-21 五邑大学 一种机器人、服务质量评价方法及系统
CN112052740A (zh) * 2020-08-09 2020-12-08 中信银行股份有限公司 一种客服评价方法、装置及存储介质
CN112581230A (zh) * 2020-12-24 2021-03-30 安徽航天信息科技有限公司 一种商品推荐方法及装置
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113837523A (zh) * 2021-06-30 2021-12-24 青岛华正信息技术股份有限公司 一种基于自然语言处理算法的社区服务质量评价的方法
CN116597497A (zh) * 2023-06-16 2023-08-15 绍兴市麦芒智能科技有限公司 一种ai识别人脸表情的数据采集分析方法
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154257A (zh) * 2017-04-18 2017-09-12 苏州工业职业技术学院 基于客户语音情感的客服服务质量评价方法及系统
CN107818798A (zh) * 2017-10-20 2018-03-20 百度在线网络技术（北京）有限公司 客服服务质量评价方法、装置、设备及存储介质
CN107943449A (zh) * 2017-12-23 2018-04-20 河南智盈电子技术有限公司 一种基于面部表情识别的智能音响系统
CN109168052A (zh) * 2018-10-31 2019-01-08 杭州比智科技有限公司 服务满意度的确定方法、装置及计算设备
CN109726655A (zh) * 2018-12-19 2019-05-07 平安普惠企业管理有限公司 基于情绪识别的客服服务评价方法、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154257A (zh) * 2017-04-18 2017-09-12 苏州工业职业技术学院 基于客户语音情感的客服服务质量评价方法及系统
CN107818798A (zh) * 2017-10-20 2018-03-20 百度在线网络技术（北京）有限公司 客服服务质量评价方法、装置、设备及存储介质
CN107943449A (zh) * 2017-12-23 2018-04-20 河南智盈电子技术有限公司 一种基于面部表情识别的智能音响系统
CN109168052A (zh) * 2018-10-31 2019-01-08 杭州比智科技有限公司 服务满意度的确定方法、装置及计算设备
CN109726655A (zh) * 2018-12-19 2019-05-07 平安普惠企业管理有限公司 基于情绪识别的客服服务评价方法、装置、介质及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NARENDRA PATEL 等: "Automatic FAPs Determination and Expressions Synthesis", 《ADVANCES IN INTELLIGENT AND SOFT COMPTING》 *
熊欣 著: "《人脸识别技术与应用》", 31 August 2018, 黄河水利出版社 *
甘杨兰 等著: "《面向基因组分析的数据挖掘算法研究》", 31 August 2017, 同济大学出版社 *
陈鹏展 著: "《个体行为的机器识别与决策协同》", 31 July 2018, 知识产权出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718293A (zh) * 2019-10-23 2020-01-21 合肥盛东信息科技有限公司 一种护理员服务质量监测评价系统
CN111563663A (zh) * 2020-04-16 2020-08-21 五邑大学 一种机器人、服务质量评价方法及系统
CN111563663B (zh) * 2020-04-16 2023-03-21 五邑大学 一种机器人、服务质量评价方法及系统
CN112052740A (zh) * 2020-08-09 2020-12-08 中信银行股份有限公司 一种客服评价方法、装置及存储介质
CN112581230A (zh) * 2020-12-24 2021-03-30 安徽航天信息科技有限公司 一种商品推荐方法及装置
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113837523A (zh) * 2021-06-30 2021-12-24 青岛华正信息技术股份有限公司 一种基于自然语言处理算法的社区服务质量评价的方法
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法
CN116682159B (zh) * 2023-06-07 2024-02-02 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法
CN116597497A (zh) * 2023-06-16 2023-08-15 绍兴市麦芒智能科技有限公司 一种ai识别人脸表情的数据采集分析方法

Similar Documents

Publication Publication Date Title
CN110363154A (zh) 一种基于情绪识别的服务质量考评方法及系统
CN107194316A (zh) 一种情绪满意度的评价方法、装置及系统
CN107480622A (zh) 微表情识别方法、装置及存储介质
CN110163236A (zh) 模型的训练方法和装置、存储介质、电子装置
CN112732071B (zh) 一种免校准眼动追踪系统及应用
CN107341688A (zh) 一种客户体验的采集方法及系统
CN107085715A (zh) 一种电视智能检测用户睡眠状态的系统及方法
CN106909220A (zh) 一种适用于触控的视线交互方法
CN105354527A (zh) 一种消极表情识别鼓励系统
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
US20180121715A1 (en) Method and system for providing feedback ui service of face recognition-based application
CN110969106A (zh) 一种基于表情、语音和眼动特征的多模态测谎方法
CN110235169A (zh) 化妆评价系统及其动作方法
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
CN113887386B (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
Beyan et al. Moving as a leader: Detecting emergent leadership in small groups using body pose
CN108133197B (zh) 用于生成信息的方法和装置
CN113920491A (zh) 基于面部骨架模型的疲劳检测系统、方法、介质、检测设备
KR102174345B1 (ko) 몰입도 측정장치 및 방법
KR20150064977A (ko) 얼굴정보 기반의 비디오 분석 및 시각화 시스템
CN108198043A (zh) 一种基于用户推荐的脸部护肤品推荐方法
CN110110671A (zh) 一种性格分析方法、装置及电子设备
CN112801859A (zh) 一种具有美妆指导功能的化妆镜系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN111444389A (zh) 一种基于目标检测的会议视频分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022