CN112036328B - 银行客户满意度计算方法及装置 - Google Patents
银行客户满意度计算方法及装置 Download PDFInfo
- Publication number
- CN112036328B CN112036328B CN202010908803.2A CN202010908803A CN112036328B CN 112036328 B CN112036328 B CN 112036328B CN 202010908803 A CN202010908803 A CN 202010908803A CN 112036328 B CN112036328 B CN 112036328B
- Authority
- CN
- China
- Prior art keywords
- picture
- frame
- emotion
- action unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 182
- 230000001815 facial effect Effects 0.000 claims abstract description 130
- 230000008921 facial expression Effects 0.000 claims abstract description 35
- 230000009471 action Effects 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 11
- 239000000463 material Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 8
- 238000011835 investigation Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种银行客户满意度计算方法及装置，其中该方法包括：获取客户接受银行服务时的面部表现视频；对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；根据每一帧图片对应的情绪数值，计算客户的满意度。本发明可实现在客户接受银行服务时，对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生。
Description
技术领域
本发明涉及人脸微表情识别技术领域，尤其涉及一种银行客户满意度计算方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
现有技术下，银行客户满意度的调查过程是采用人工方式获取客户的满意度，在银行业务结束后对客户进行询问和回访等工作，人工调查每个用户的满意度。现有的客户满意度调查方法主要为：1)工作人员邀请客户在服务完成后，对服务感受进行评分；2)客户在服务完成后，通过多种方式对满意度进行反馈(如口头表达、问卷调查、现场匿名评分等)；3)工作人员获得客户反馈后，收集客户的满意度。
现有的客户满意度调查方法需要工作人员结合自身的工作经验，花费大量时间和精力，与客户进行沟通，并且收集资料。现有过程的缺点如下：
1.对工作人员来说，传统的银行客户满意度计算方法需投入的时间和人力成本过大，同时效率比较低下；2.对客户来说，部分客户不愿意参与满意度调查，强制客户参与满意度调查可能出现客户恶意评分的风险。
发明内容
本发明实施例提供一种银行客户满意度计算方法，用以自动地对银行客户满意度进行计算，该方法包括：
获取客户接受银行服务时的面部表现视频；
对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
根据每一帧图片对应的情绪数值，计算客户的满意度。
本发明实施例还提供一种银行客户满意度计算装置，用以自动地对银行客户满意度进行计算，该装置包括：
视频获取模块，用于获取客户接受银行服务时的面部表现视频；
面部动作单元识别模块，用于对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
情绪分析模块，用于对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
满意度计算模块，用于根据每一帧图片对应的情绪数值，计算客户的满意度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行客户满意度计算方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述银行客户满意度计算方法的计算机程序。
本发明实施例中，获取客户接受银行服务时的面部表现视频；对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；根据每一帧图片对应的情绪数值，计算客户的满意度，从而可实现在客户接受银行服务时，对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中银行客户满意度计算方法的流程示意图；
图2为本发明实施例中银行客户满意度计算方法实例的示意图；
图3为本发明实施例中银行客户满意度计算方法实例的流程示意图；
图4为本发明实施例中银行客户满意度计算装置的结构示意图；
图5为本发明实施例中银行客户满意度计算装置实例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明实施例涉及的名词如下进行解释：
面部动作编码系统：根据人脸的解剖学特点，将其划分成若干既相互独立又相互联系的运动单元(AU)，并分析了这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，从而描绘出了不同的脸部肌肉动作和不同表情的对应关系。面部动作编码系统由这些脸部运动单元的运动特征所构成；
微表情识别技术：微表情识别技术就是利用计算机视觉和机器学习算法来实现自动微表情式识别。
本发明实施例提供的银行客户满意度计算方法，如图1所示，该方法可以包括如下步骤：
步骤101：获取客户接受银行服务时的面部表现视频；
步骤102：对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
步骤103：对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
步骤104：根据每一帧图片对应的情绪数值，计算客户的满意度。
本发明实施例中，获取客户接受银行服务时的面部表现视频；对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；根据每一帧图片对应的情绪数值，计算客户的满意度，从而可实现在客户接受银行服务时，对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生。
具体实施时，首先获取客户接受银行服务时的面部表现视频。
实施例中，获取客户接受银行服务时的面部表现视频的方法有多种，例如，可以包括：通过在用户服务场所中设置的正对客户的摄像头，获取客户接受银行服务过程中，客户的面部表现视频。
在上述实施例中，通过获取客户接受银行服务时的面部表现视频，可直接得到客户的面部表现视频，不需以人工实现客户满意度计算，避免耗费大量的人力物力，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生，并有助于在后续步骤中对银行客户满意度进行计算。
具体实施时，在获取客户接受银行服务时的面部表现视频后，对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
实施例中，对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合的方法有多种，例如，可以包括：对面部表现视频进行解帧操作，得到面部表现视频对应的图片序列；对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域；对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
在上述实施例中，可通过利用OpenCV(一个基于BSD许可开源发行的跨平台计算机视觉和机器学习软件库)对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域。
实施例中，本发明实施例提供的一种银行客户满意度计算方法还可以包括：基于面部表情编码系统，获取面部动作单元大数据集；所述面部动作单元大数据集包括与不同的面部动作单元对应的图片序列；通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型。而对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合的方法有多种，例如，还可以包括：通过面部动作单元识别模型，对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
在上述实施例中，通过解帧操作，可将客户接受银行服务时，如接收面审过程中，客户接受服务时的视频数据，转变为图片序列，有利于确定每一帧图片对应的面部动作单元组合；接受图片序列，通过人脸截取、人脸标定以及图像缩放处理，将图片序列中的每一张图片中的人脸部分截取出来，有利于后续步骤中确定每一帧图片对应的面部动作单元组合；而通过每一帧图片对应的人脸区域，可通过脸部动作单元识别，将每一张人脸图片中的脸部动作单元组合识别出来。
具体实施时，本发明实施例提供的银行客户满意度计算方法还可以包括：基于面部表情编码系统，获取面部动作单元组合大数据集；所述面部动作单元大数据集包括与不同的面部动作单元组合对应的图片序列；通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型；而对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合的方法有多种，例如，还可以包括：通过面部动作单元识别模型，对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
实施例中，通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型的方法有多种，例如，可以包括：通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，训练集和验证集包含多个图片序列，利用深度学习中的数据增强技术对每一个图片序列进行倾斜，移动等处理操作，进一步扩大数据的多样性，经训练和验证后得到面部动作单元识别模型；其中，面部动作单元识别模型为卷积神经网络和循环神经网络联合模型，采用已知标签的图像序列样本对卷积神经网络和循环神经网络联合模型进行训练得到所述的面部动作单元识别模型；其中，已知标签的图像序列样本中，每个图像样本均包括一个图像和一个标签组合，该标签组合为该图像对应的面部动作单元组合。
举一例，面部动作单元识别模型可以为卷积神经网络和循环神经网络联合模型，通过预训练的卷积神经网络提取图片序列中每张图片的特征，得到一系列的特征序列，然后将这些特征序列依次输入到循环神经网络中，则可以分析出图片序列中的特征变化，从而获取每一时刻人脸中的多个预设的面部动作单元的概率值，将概率值大于循环神经网络分类器中预设的阈值的面部动作单元，确定为当前时刻输入目标图片的面部动作单元。其中，概率值为0-1之间的值，若输出概率值为0.7，预设阈值为0.5，则将0.7对应的面部动作单元作为当前时刻输入目标图片的面部动作单元。由于循环神经网络对应每个面部动作单元均有一个对应的分类器，最后所确定的为当前时刻输入目标图片的面部动作单元组合。
在上述实施例中，面部表情编码系统中包括划分成若干既相互独立又相互联系的运动单元(AU)，用于分析这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情。根据面部表情编码系统中描绘的不同的脸部肌肉动作和不同表情的对应关系，获取面部动作单元组合大数据集。以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型，可得到准确率高且识别迅速的面部动作单元识别模型。而在获取面部动作单元大数据集时，需考虑各种因素，例如人种、年龄、性别等因素。
具体实施时，在对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合后，对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪。
实施例中，面部动作单元识别模型可以为卷积神经网络和循环神经网络联合模型，采用已知标签的图像序列样本对卷积神经网络和循环神经网络联合模型进行训练得到所述的面部动作单元识别模型；其中，在对面部动作单元识别模型进行训练时，需要预先收集大量已知标签的图像序列样本，每个图像样本均包括一个图像和一个标签组合，该标签组合为该图像对应的面部动作单元组合。通过预训练的卷积神经网络提取图片序列中每张图片的特征，得到一系列的特征序列，然后将这些特征序列输入到循环神经网络中，则可以分析出图片序列中的特征变化，从而识别出每一时刻人脸的面部动作单元组合。对每一帧图片对应的面部动作单元组合进行情绪分析，需结合一套情绪分析的标准；本发明实施例提供的银行客户满意度计算方法还可以包括：根据心理学的相关知识，将面部动作单元组合和人类情绪状态联系起来，形成一套准确可信的情绪分析判断标准；依据此标准对每一帧图片对应的面部动作单元组合进行情绪分析。
在上述实施例中，通过情绪分析，可将人脸动作单元组合对应到人类的心理情绪状态，有助于后续步骤中将情绪分类为正面情绪和负面情绪，同时根据此情绪下各人脸动作单元的概率计算情绪的强烈程度。
具体实施时，在对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值后，根据每一帧图片对应的情绪数值，计算客户的满意度。
实施例中，根据每一帧图片对应的情绪数值，计算客户的满意度的方法有多种，例如，可以包括：结合面部表现视频中每一帧图片，预设立情绪数值的阈值；所述情绪数值的阈值包括正面情绪的阈值和负面情绪的阈值；根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；对每一帧图片对应的待计算情绪值进行积分计算，计算客户的满意度。其中，每一帧图片对应的待计算情绪值可形成人类心理情绪状态的一序列，有助于后续步骤中计算客户的满意度。在上述实施例中，通过利用微表情识别技术，可检测连续的人脸表情，识别其中存在的情绪转变。
在上述实施例中，可按如下公式根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
其中，xi为第i帧图片对应的待计算情绪值；ai为第i帧图片对应的情绪数值；th0为正面情绪的阈值；th1为负面情绪的阈值。
可按如下公式以情绪数据的阈值，对每一帧图片对应的情绪数值进行积分计算，计算客户的满意度：
X＝∫xidt
其中，X为客户的满意度；xi为第i帧图片对应的待计算情绪值。
在上述实施例中，提供了一种计算客户的满意度的方法，有利于对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，实现了通过数学统计的方法正确而有效地量化出客户的满意度程度的目的。
举一例，如图2所示，通过识别出来的人类心理情绪状态序列，根据出现的正面负面情绪设置阈值，在设定的正面情绪的阈值和负面情绪的阈值间的情绪数值不予计算。通过计算其中出现的正面情绪和负面情绪块的面积，并统计量化整体的客户情绪满意度，实现了合理划分客户满意度的目的。量化客户满意度的示意图如图2所示，通过只计算整个业务过程中，正面情绪和负面情绪的的时间累积(当且仅当正面情绪和负面情绪超过一定阈值时，即超过一定的强度时)，如图2中的正面情绪或负面情绪的面积块，最后累加得到最终的满意度量化结果。
基于上述实施例，本发明提出如下一个实施例来说明银行客户满意度计算方法的详细流程，图3为本发明实施例中银行客户满意度计算方法实例的流程示意图，包括：
1.视频数据获取：获取客户接受银行服务时的面部表现视频；
2.视频解帧：对面部表现视频进行解帧操作，得到面部表现视频对应的图片序列；
3.人脸标定：对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域；
4.脸部动作单元识别：对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
5.情绪分析：对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
6.客户满意度评估：根据每一帧图片对应的情绪数值，计算客户的满意度。
当然，可以理解的是，上述详细流程还可以有其他变化例，相关变化例均应落入本发明的保护范围。
本发明实施例中，获取客户接受银行服务时的面部表现视频；对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；根据每一帧图片对应的情绪数值，计算客户的满意度，从而可实现在客户接受银行服务时，对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生。
如上所述，本发明实施例可自动检测服务过程中客户的异常行为，并基于对动态情绪转变的检测，实时监测客户的脸部表现，对每一帧的人脸图像使用同一模型进行分析和判断，替代人工进行识别。因此，不会出现遗漏申请人异常表现，并且可以统一异常行为的判断标准，可有效识别服务过程中客户可能出现的异常情绪，分析出申请人的异常心理行为，能够替代人工事后进行调查和处理，统一客户满意度调查的判断标准，可有效识别客户的满意度程度，减少客户的恶意评分，并且节省时间和人力成本。本发明实施例可利用人工智能技术，将客户满意度收集工作放在实际业务过程中，实时收集用户的满意度，不需要事后再花费大量人力物力收集客户满意度。本发明实施例通过使用微表情识别技术结合心理学有关理论有效识别客户面部异常，智能分析客户情绪，使用人工智能技术有效替代人工满意度调查，使客户满意度调查自动化进行，从而将银行人力资本从大量初级工作中解放出来，有效提升银行客户满意度调查的效率，降低其运营成本，可实现银行客户满意度收集工作的自动化实施。
本发明实施例中还提供了一种银行客户满意度计算装置，如下面的实施例所述。由于该装置解决问题的原理与银行客户满意度计算方法相似，因此该装置的实施可以参见银行客户满意度计算方法的实施，重复之处不再赘述。
本发明实施例提供的银行客户满意度计算装置，如图4所示，该装置包括：
视频获取模块01，用于获取客户接受银行服务时的面部表现视频；
面部动作单元识别模块02，用于对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
情绪分析模块03，用于对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
满意度计算模块04，用于根据每一帧图片对应的情绪数值，计算客户的满意度。
在一个实施例中，面部动作单元识别模块，具体可用于：对面部表现视频进行解帧操作，得到面部表现视频对应的图片序列；对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域；对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
在一个实施例中，本发明实施例提供的银行客户满意度计算装置面部动作单元识别模块，还可以包括：面部动作单元识别模型建模模块，用于基于面部表情编码系统，获取面部动作单元大数据集；所述面部动作单元大数据集包括与不同的面部动作单元对应的图片序列；通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型；面部动作单元识别模块，具体可用于：通过面部动作单元识别模型，对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
在一个实施例中，满意度计算模块，具体可用于：结合面部表现视频中每一帧图片，预设立情绪数值的阈值；所述情绪数值的阈值包括正面情绪的阈值和负面情绪的阈值；根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；对每一帧图片对应的待计算情绪值进行积分计算，计算客户的满意度。
在一个实施例中，满意度计算模块，具体可用于：按如下公式根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
其中，xi为第i帧图片对应的待计算情绪值；ai为第i帧图片对应的情绪数值；th0为正面情绪的阈值；th1为负面情绪的阈值。
在一个实施例中，满意度计算模块，具体可用于：按如下公式以情绪数据的阈值，对每一帧图片对应的情绪数值进行积分计算，计算客户的满意度：
X＝∫xidt
其中，X为客户的满意度；xi为第i帧图片对应的待计算情绪值。
下面给出一个具体实施例，来说明本发明的装置的具体应用。
图5为本发明实施例中银行客户满意度计算装置实例的结构示意图，如图5所示，包括：视频录制模块、视频预处理模块，动态情绪转变识别模块，满意度评估模块。其中，在本发明实施例中，视频获取模块可包括视频录制模块；面部动作单元识别模块可包括视频预处理模块；情绪分析模块可包括动态情绪转变识别模块；满意度计算模块可包括满意度评估模块。
视频录制模块，用于主要将客户在接受服务的视频录制，并传输给后台；
视频预处理模块，用于接收视频，将视频本地存储，并将视频解帧后获取图像中人脸区域的片段；
动态情绪转变识别模块，用于将解帧后的图像序列每一帧都进行面部动作单元识别，并根据面部动作单元分析每一帧图片中客户的心理情绪；
满意度评估模块，用于统计客户异常的心理情绪(如高兴、厌恶)，量化客户的满意度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行客户满意度计算方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述银行客户满意度计算方法的计算机程序。
本发明实施例中，获取客户接受银行服务时的面部表现视频；对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；根据每一帧图片对应的情绪数值，计算客户的满意度，从而可实现在客户接受银行服务时，对客户的满意度进行自动计算，与现有技术对比，不需以人工实现客户满意度计算，避免耗费大量的人力物力，以及提高了满意度统计效率，同时也避免了线下询问客户满意度易导致客户厌烦的情况的发生。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种银行客户满意度计算方法，其特征在于，包括：
获取客户接受银行服务时的面部表现视频；
对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
根据每一帧图片对应的情绪数值，计算客户的满意度；
根据每一帧图片对应的情绪数值，计算客户的满意度，包括：
结合面部表现视频中每一帧图片，预设立情绪数值的阈值；所述情绪数值的阈值包括正面情绪的阈值和负面情绪的阈值；
根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
对每一帧图片对应的待计算情绪值进行积分计算，计算客户的满意度；
按如下公式根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
其中，xi为第i帧图片对应的待计算情绪值；ai为第i帧图片对应的情绪数值；th0为正面情绪的阈值；th1为负面情绪的阈值；
按如下公式以情绪数据的阈值，对每一帧图片对应的情绪数值进行积分计算，计算客户的满意度：
X＝∫xidt
其中，X为客户的满意度；xi为第i帧图片对应的待计算情绪值。
2.如权利要求1所述的方法，其特征在于，对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合，包括：
对面部表现视频进行解帧操作，得到面部表现视频对应的图片序列；
对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域；
对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
3.如权利要求1所述的方法，其特征在于，还包括：基于面部表情编码系统，获取面部动作单元组合大数据集；所述面部动作单元大数据集包括与不同的面部动作单元组合对应的图片序列；
通过微表情识别技术，以面部动作单元大数据集作为训练集和验证集，经训练和验证后得到面部动作单元识别模型；
对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合，包括：
通过面部动作单元识别模型，对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
4.一种银行客户满意度计算装置，其特征在于，包括：
视频获取模块，用于获取客户接受银行服务时的面部表现视频；
面部动作单元识别模块，用于对面部表现视频中每一帧图片进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合；
情绪分析模块，用于对每一帧图片对应的面部动作单元组合进行情绪分析，确定每一帧图片对应的情绪数值；所述情绪数值用于量化不同面部动作单元组合对应的情绪；
满意度计算模块，用于根据每一帧图片对应的情绪数值，计算客户的满意度；
满意度计算模块，具体用于：
结合面部表现视频中每一帧图片，预设立情绪数值的阈值；所述情绪数值的阈值包括正面情绪的阈值和负面情绪的阈值；
根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
对每一帧图片对应的待计算情绪值进行积分计算，计算客户的满意度；
满意度计算模块，具体用于：按如下公式根据每一帧图片对应的情绪数值和情绪数值的阈值，确定每一帧图片对应的待计算情绪值；
其中，xi为第i帧图片对应的待计算情绪值；ai为第i帧图片对应的情绪数值；th0为正面情绪的阈值；th1为负面情绪的阈值；
满意度计算模块，具体用于：按如下公式以情绪数据的阈值，对每一帧图片对应的情绪数值进行积分计算，计算客户的满意度：
X＝∫xidt
其中，X为客户的满意度；xi为第i帧图片对应的待计算情绪值。
5.如权利要求4所述的装置，其特征在于，面部动作单元识别模块，具体用于：
对面部表现视频进行解帧操作，得到面部表现视频对应的图片序列；
对面部表现视频对应的图片序列中每一帧图片进行人脸截取、人脸标定以及图像缩放处理，得到每一帧图片对应的人脸区域；
基于面部表情编码系统，对每一帧图片对应的人脸区域进行面部动作单元识别，确定每一帧图片对应的面部动作单元组合。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010908803.2A CN112036328B (zh) | 2020-09-02 | 2020-09-02 | 银行客户满意度计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010908803.2A CN112036328B (zh) | 2020-09-02 | 2020-09-02 | 银行客户满意度计算方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036328A CN112036328A (zh) | 2020-12-04 |
| CN112036328B true CN112036328B (zh) | 2024-02-27 |
Family
ID=73591116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010908803.2A Active CN112036328B (zh) | 2020-09-02 | 2020-09-02 | 银行客户满意度计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036328B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139812A (zh) * | 2021-04-27 | 2021-07-20 | 中国工商银行股份有限公司 | 用户的交易风险识别方法、装置和服务器 |
| CN113256154A (zh) * | 2021-06-16 | 2021-08-13 | 中国银行股份有限公司 | 客户服务满意度的评估方法及装置、存储介质及电子设备 |
| CN117131099B (zh) * | 2022-12-14 | 2024-08-02 | 广州数化智甄科技有限公司 | 产品测评中的情绪数据分析方法、装置及产品测评方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341688A (zh) * | 2017-06-14 | 2017-11-10 | 北京万相融通科技股份有限公司 | 一种客户体验的采集方法及系统 |
| CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
-
2020
- 2020-09-02 CN CN202010908803.2A patent/CN112036328B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341688A (zh) * | 2017-06-14 | 2017-11-10 | 北京万相融通科技股份有限公司 | 一种客户体验的采集方法及系统 |
| CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 人机情感交互智能体及其在控制性能评价中的应用;李宏光;宿;;计算机集成制造系统;20111130(第11期);全文 * |
| 基于可信反馈的微博用户情绪异常预警模型研究;熊建英;;情报科学;20170405(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036328A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036328B (zh) | 银行客户满意度计算方法及装置 | |
| CN108509941B (zh) | 情绪信息生成方法和装置 | |
| CN110070029B (zh) | 一种步态识别方法及装置 | |
| CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
| CN109948476B (zh) | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 | |
| KR102168558B1 (ko) | 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법 | |
| CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
| CN115331002A (zh) | 一种基于ar眼镜实现热力站故障远程处理方法 | |
| CN112101074A (zh) | 一种在线教育辅助评分方法和系统 | |
| CN112163760A (zh) | 学生学习专注度检测方法和系统 | |
| CN111860118A (zh) | 一种基于人工智能的人体行为分析方法 | |
| CN113177476A (zh) | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 | |
| CN117496389A (zh) | 一种适用于Android设备的手卫生实时检测方法 | |
| CN112200462B (zh) | 风险评估方法及装置 | |
| CN111222370A (zh) | 一种案件研判方法、系统及装置 | |
| CN115424253A (zh) | 车牌识别方法、装置、电子设备和存储介质 | |
| CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
| CN111339904A (zh) | 动物精子图像识别方法和装置 | |
| CN116309724B (zh) | 针对实验室考核的人脸模糊方法及人脸模糊装置 | |
| CN111738216B (zh) | 一种行为检测方法、装置及设备 | |
| CN115860995B (zh) | 基于云计算的智能培训监督方法及系统 | |
| CN117558035B (zh) | 一种基于图像技术的人物身份识别系统及方法 | |
| TWI841402B (zh) | 頭髮特徵分析方法與系統 | |
| Deng et al. | Tongue image datasets and performance evaluation | |
| CN113963406A (zh) | 一种基于人脸表情分析的课堂教学质量监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |