CN115063872A - 一种表情与肢体识别相结合的客户满意度检测方法及系统 - Google Patents

一种表情与肢体识别相结合的客户满意度检测方法及系统 Download PDF

Info

Publication number
CN115063872A
CN115063872A CN202210971312.1A CN202210971312A CN115063872A CN 115063872 A CN115063872 A CN 115063872A CN 202210971312 A CN202210971312 A CN 202210971312A CN 115063872 A CN115063872 A CN 115063872A
Authority
CN
China
Prior art keywords
satisfaction
client
detected
evaluation result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210971312.1A
Other languages
English (en)
Inventor
叶舟
吴昊
谢礼冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202210971312.1A priority Critical patent/CN115063872A/zh
Publication of CN115063872A publication Critical patent/CN115063872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明提出了一种表情与肢体识别相结合的客户满意度检测方法及系统，涉及满意度识别技术领域。该方法包括：利用人脸检测技术对待检测视频进行人脸检测得到目标图像。若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建。利用客户面部满意度检测模型对人脸进行满意度检测，得到第一满意度评价结果，利用动作识别技术对肢体动作进行识别，得到第二满意度评价结果。重复以上步骤，直至判别出所有客户的满意度，并计算满意度较高、满意度适中、满意度较低的客户所占的比重，得到客户整体满意度评价结果。从而结合表情识别技术和肢体动作识别技术，提升了对客户满意度检测的精准度，精准地对客户整体满意度进行全方位有效评价。

Description

一种表情与肢体识别相结合的客户满意度检测方法及系统
技术领域
本发明涉及满意度识别技术领域，具体而言，涉及一种表情与肢体识别相结合的客户满意度检测方法及系统。
背景技术
随着技术的革新，虽然很多经典的技术可以有效地对客户满意度进行辅助评价，例如表情识别与肢体动作识别都是较为经典的方法。然而，单一的方法往往存在较为显著的随机性，无法精准地对客户的满意度进行全方位的有效评价。
发明内容
本发明的目的在于提供一种表情与肢体识别相结合的客户满意度检测方法及系统，用以改善现有技术中由于单一的方法往往存在较为显著的随机性，无法精准地对客户的满意度进行全方位有效评价的问题。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供一种表情与肢体识别相结合的客户满意度检测方法，其包括如下步骤：
获取目标场景的待检测视频，并利用人脸检测技术对待检测视频进行人脸检测，以得到目标图像；
若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建；
利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
重复以上步骤，直至判别出待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
在本发明的一些实施例中，上述利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果的步骤之前，该方法还包括：
预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
在本发明的一些实施例中，上述利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果的步骤包括：
按照预设采样帧率对待检测视频中包含该客户的肢体动作的视频进行采样，以得到序列帧；
将序列帧输入时间金字塔网络，利用时间金字塔网络对待检测视频中该客户的肢体动作进行分析得到动作分析结果；
若动作分析结果达到了预设标准，则判定该客户的肢体动作较为丰富，并认定该客户的第二满意度评价结果达到了预设满意度阈值。
在本发明的一些实施例中，上述利用人脸检测技术对待检测视频进行人脸检测的步骤包括：
将待检测视频中的每一帧图像作为待检测图像；
选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量；
根据特征向量判断该框选窗口框选的图像区域是否包含人脸图像。
在本发明的一些实施例中，上述选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量的步骤包括：
将框选窗口从待检测图像的左上角滑动到右下角，以对待检测图像进行遍历；
在滑动过程中，基于框选窗口的大小，对待检测图像进行缩放调整，并对框选窗口框选的图像区域进行人脸检测。
在本发明的一些实施例中，上述获取目标场景的待检测视频的步骤包括：
实时采集目标场景的视频。
第二方面，本申请实施例提供一种表情与肢体识别相结合的客户满意度检测系统，其包括：
目标图像得到模块，用于获取目标场景的待检测视频，并利用人脸检测技术对待检测视频进行人脸检测，以得到目标图像；
超分辨率重建模块，用于若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建；
满意度评价模块，用于利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
满意度综合模块，用于若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
满意度统计模块，用于执行重复以上模块，直至判别出待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
在本发明的一些实施例中，上述表情与肢体识别相结合的客户满意度检测系统还包括：
样本挑选模块，用于预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
模型训练模块，用于利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
在本发明的一些实施例中，上述满意度评价模块包括：
序列帧得到单元，用于按照预设采样帧率对待检测视频中包含该客户的肢体动作的视频进行采样，以得到序列帧；
动作分析结果得到单元，用于将序列帧输入时间金字塔网络，利用时间金字塔网络对待检测视频中该客户的肢体动作进行分析得到动作分析结果；
肢体动作评判单元，用于若动作分析结果达到了预设标准，则判定该客户的肢体动作较为丰富，并认定该客户的第二满意度评价结果达到了预设满意度阈值。
在本发明的一些实施例中，上述目标图像得到模块包括：
待检测图像得到单元，用于将待检测视频中的每一帧图像作为待检测图像；
特征提取单元，用于选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量；
人脸判断单元，用于根据特征向量判断该框选窗口框选的图像区域是否包含人脸图像。
在本发明的一些实施例中，上述特征提取单元包括：
检测遍历子单元，用于将框选窗口从待检测图像的左上角滑动到右下角，以对待检测图像进行遍历；
缩放调整子单元，用于在滑动过程中，基于框选窗口的大小，对待检测图像进行缩放调整，并对框选窗口框选的图像区域进行人脸检测。
在本发明的一些实施例中，上述目标图像得到模块包括：
视频采集单元，用于实时采集目标场景的视频。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本发明提供一种表情与肢体识别相结合的客户满意度检测方法及系统，其包括如下步骤：获取目标场景的待检测视频，并利用人脸检测技术对待检测视频进行人脸检测，以得到目标图像。若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建。利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果。若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低。重复以上步骤，直至判别出待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。该方法及系统首先利用人脸检测技术对待检测视频中的每一帧图像进行人脸检测，以得到目标图像，并将清晰度不高的目标图像进行超分辨率重建，以保证所有目标图像都能保持较高的分辨率，进而为对目标图像中的人脸图像进行检测提供了较好的识别基础。然后利用客户面部满意度检测模型对目标图像中的任一人脸进行表情识别，以对该客户的人脸进行满意度检测。同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，将肢体动作较为丰富的客户认定为满意，其次则认定为不满意，进而结合表情识别技术和肢体动作识别技术，显著地提升了客户满意度检测的精准度，并根据第一满意度评价结果和第二满意度评价结果精准地对目标场景中的每个客户的满意度进行全方位的有效评价。最后通过对待检测视频中所有客户的满意度进行判别，统计满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，可以得到目标场景客户整体满意度评价结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种表情与肢体识别相结合的客户满意度检测方法的流程图；
图2为本发明实施例提供的一种肢体动作识别的流程图；
图3为本发明实施例提供的一种人脸检测的流程图；
图4为本发明实施例提供的一种表情与肢体识别相结合的客户满意度检测系统的结构框图；
图5为本发明实施例提供的一种电子设备的示意性结构框图。
图标：100-表情与肢体识别相结合的客户满意度检测系统；110-目标图像得到模块；120-超分辨率重建模块；130-满意度评价模块；140-满意度综合模块；150-满意度统计模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，若出现术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，若出现由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
实施例
请参照图1，图1所示为本申请实施例提供的一种表情与肢体识别相结合的客户满意度检测方法的流程图。本申请实施例提供一种表情与肢体识别相结合的客户满意度检测方法，其包括如下步骤：
S110：获取目标场景的待检测视频，并利用人脸检测技术对待检测视频进行人脸检测，以得到目标图像；
具体的，利用人脸检测技术对待检测视频中的每一帧图像进行人脸检测，以确定任一帧图像中是否含有人脸，尽量选择待检测视频中包含人脸较多的图像，作为目标图像，以减少目标图像的获取次数。
S120：若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建；
其中，超分辨率重建是指将低分辨率图像重建出相应的高分辨率图像，即将图像从低分辨率到高分辨率进行放大。上述超分辨率重建方法可以为SRCNN或者DRCN。
具体的，若目标图像的清晰度低于预设清晰度，则利用超分辨率重建方法对目标图像进行重建，超分辨率会有多种尺度，例如尺度为原始目标图像的4倍、16倍等。通过将清晰度不高的目标图像进行超分辨率重建，可以保证得到的所有目标图像都能保持较高的分辨率，进而为对目标图像中的人脸图像进行检测提供了较好的识别基础。
S130：利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
具体的，客户面部满意度检测模型可以对目标图像中的任一人脸进行表情识别，以对该客户的人脸进行满意度检测。同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，将肢体动作较为丰富的客户认定为满意，其次则认定为不满意，进而结合表情识别技术和肢体动作识别技术，显著地提升了客户满意度检测的精准度，并根据第一满意度评价结果和第二满意度评价结果精准地对目标场景中的每个客户的满意度进行全方位的有效评价。
其中，上述动作识别技术可以是利用一种用于动作识别的时间金字塔网络对待检测视频中任一客户的肢体动作进行分析判断。
S140：若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
S150：重复以上步骤，直至判别出待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
具体的，基于所有未检测的客户的数据，重复执行S110至S150，再次利用人脸检测技术对待检测视频进行人脸检测得到目标图像，并对目标图像中的所有客户进行表情识别和肢体动作识别，得到每个客户的第一满意度评价结果和第二满意度评价结果，并由第一满意度评价结果和第二满意度评价结果判断该客户的满意度。通过对待检测视频中所有客户的满意度进行判别，统计满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，由此可以得到目标场景客户整体满意度评价结果。
其中，若目标场景为商场，则可将客户整体满意度评价结果反馈至商场相关部分进行使用。
在本实施例的一些实施方式中，上述利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果的步骤之前，该方法还包括：
预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
具体的，人工挑选足量的满意度较高的人脸图像作为正训练样本，挑选出足量的满意度较低的人脸图像作为负训练样本，然后利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
请参照图2，图2所示为本发明实施例提供的一种肢体动作识别的流程图。在本实施例的一些实施方式中，上述利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果的步骤包括：
按照预设采样帧率对待检测视频中包含该客户的肢体动作的视频进行采样，以得到序列帧；
将序列帧输入时间金字塔网络，利用时间金字塔网络对待检测视频中该客户的肢体动作进行分析得到动作分析结果；
若动作分析结果达到了预设标准，则判定该客户的肢体动作较为丰富，并认定该客户的第二满意度评价结果达到了预设满意度阈值。
具体的，将包含该客户的肢体动作的序列帧输入时间金字塔网络，若时间金字塔网络判断该客户的肢体动作较为丰富，则判定该客户的第二满意度评价结果达到了预设满意度阈值，即从肢体动作而言，判定该客户满意。
请参照图3，图3所示为本发明实施例提供的一种人脸检测的流程图。在本实施例的一些实施方式中，上述利用人脸检测技术对待检测视频进行人脸检测的步骤包括：
将待检测视频中的每一帧图像作为待检测图像；
选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量；
根据特征向量判断该框选窗口框选的图像区域是否包含人脸图像。
具体的，对于任一待检测图像而言，选择该待检测图像上的预设矩形区域作为一个框选窗口，对框选窗口框选的图像区域进行特征提取，以对这个图像区域进行描述得到特征向量，从而根据特征向量判断这个框选窗口是否正好框住了一张人脸。
在本实施例的一些实施方式中，上述选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量的步骤包括：
将框选窗口从待检测图像的左上角滑动到右下角，以对待检测图像进行遍历；
在滑动过程中，基于框选窗口的大小，对待检测图像进行缩放调整，并对框选窗口框选的图像区域进行人脸检测。
具体的，对于任一待检测图像而言，将框选窗口从待检测图像的左上角出发，按照从左至由，从上往下的顺序进行滑动，若基于框选窗口的大小，框选窗口未能与待检测图像上的某个人脸图像进行贴合，则对待检测图像进行缩放调整，将待检测图像缩放到不同大小，以使框选窗口与每个人脸图像进行贴合，从而利用框选窗口遍历整个待检测图像，完成对整个待检测图像的人脸检测。
在本实施例的一些实施方式中，上述获取目标场景的待检测视频的步骤包括：
实时采集目标场景的视频。
请参照图4，图4所示为本发明实施例提供的一种表情与肢体识别相结合的客户满意度检测系统100的结构框图。本申请实施例提供一种表情与肢体识别相结合的客户满意度检测系统100，其包括：
目标图像得到模块110，用于获取目标场景的待检测视频，并利用人脸检测技术对待检测视频进行人脸检测，以得到目标图像；
超分辨率重建模块120，用于若目标图像的清晰度低于预设清晰度，则对目标图像进行超分辨率重建；
满意度评价模块130，用于利用客户面部满意度检测模型对目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
满意度综合模块140，用于若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
满意度统计模块150，用于执行重复以上模块，直至判别出待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
具体的，该系统首先利用人脸检测技术对待检测视频中的每一帧图像进行人脸检测，以得到目标图像，并将清晰度不高的目标图像进行超分辨率重建，以保证所有目标图像都能保持较高的分辨率，进而为对目标图像中的人脸图像进行检测提供了较好的识别基础。然后利用客户面部满意度检测模型对目标图像中的任一人脸进行表情识别，以对该客户的人脸进行满意度检测。同时利用动作识别技术对待检测视频中该客户的肢体动作进行识别，将肢体动作较为丰富的客户认定为满意，其次则认定为不满意，进而结合表情识别技术和肢体动作识别技术，显著地提升了客户满意度检测的精准度，并根据第一满意度评价结果和第二满意度评价结果精准地对目标场景中的每个客户的满意度进行全方位的有效评价。最后通过对待检测视频中所有客户的满意度进行判别，统计满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，可以得到目标场景客户整体满意度评价结果。
在本实施例的一些实施方式中，上述表情与肢体识别相结合的客户满意度检测系统100还包括：
样本挑选模块，用于预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
模型训练模块，用于利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
具体的，人工挑选足量的满意度较高的人脸图像作为正训练样本，挑选出足量的满意度较低的人脸图像作为负训练样本，然后利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
在本实施例的一些实施方式中，上述满意度评价模块130包括：
序列帧得到单元，用于按照预设采样帧率对待检测视频中包含该客户的肢体动作的视频进行采样，以得到序列帧；
动作分析结果得到单元，用于将序列帧输入时间金字塔网络，利用时间金字塔网络对待检测视频中该客户的肢体动作进行分析得到动作分析结果；
肢体动作评判单元，用于若动作分析结果达到了预设标准，则判定该客户的肢体动作较为丰富，并认定该客户的第二满意度评价结果达到了预设满意度阈值。
具体的，将包含该客户的肢体动作的序列帧输入时间金字塔网络，若时间金字塔网络判断该客户的肢体动作较为丰富，则判定该客户的第二满意度评价结果达到了预设满意度阈值，即从肢体动作而言，判定该客户满意。
在本实施例的一些实施方式中，上述目标图像得到模块110包括：
待检测图像得到单元，用于将待检测视频中的每一帧图像作为待检测图像；
特征提取单元，用于选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用框选窗口对待检测图像进行框选，并对框选窗口框选的图像区域进行特征提取，以得到特征向量；
人脸判断单元，用于根据特征向量判断该框选窗口框选的图像区域是否包含人脸图像。
具体的，对于任一待检测图像而言，选择该待检测图像上的预设矩形区域作为一个框选窗口，对框选窗口框选的图像区域进行特征提取，以对这个图像区域进行描述得到特征向量，从而根据特征向量判断这个框选窗口是否正好框住了一张人脸。
在本实施例的一些实施方式中，上述特征提取单元包括：
检测遍历子单元，用于将框选窗口从待检测图像的左上角滑动到右下角，以对待检测图像进行遍历；
缩放调整子单元，用于在滑动过程中，基于框选窗口的大小，对待检测图像进行缩放调整，并对框选窗口框选的图像区域进行人脸检测。
具体的，对于任一待检测图像而言，将框选窗口从待检测图像的左上角出发，按照从左至由，从上往下的顺序进行滑动，若基于框选窗口的大小，框选窗口未能与待检测图像上的某个人脸图像进行贴合，则对待检测图像进行缩放调整，将待检测图像缩放到不同大小，以使框选窗口与每个人脸图像进行贴合，从而利用框选窗口遍历整个待检测图像，完成对整个待检测图像的人脸检测。
在本实施例的一些实施方式中，上述目标图像得到模块110包括：
视频采集单元，用于实时采集目标场景的视频。
请参照图5，图5为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的一种表情与肢体识别相结合的客户满意度检测系统100对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种表情与肢体识别相结合的客户满意度检测方法，其特征在于，包括如下步骤：
获取目标场景的待检测视频，并利用人脸检测技术对所述待检测视频进行人脸检测，以得到目标图像；
若所述目标图像的清晰度低于预设清晰度，则对所述目标图像进行超分辨率重建；
利用客户面部满意度检测模型对所述目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对所述待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
重复以上步骤，直至判别出所述待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
2.根据权利要求1所述的表情与肢体识别相结合的客户满意度检测方法，其特征在于，所述利用客户面部满意度检测模型对所述目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果的步骤之前，还包括：
预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
3.根据权利要求1所述的表情与肢体识别相结合的客户满意度检测方法，其特征在于，所述利用动作识别技术对所述待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果的步骤包括：
按照预设采样帧率对所述待检测视频中包含该客户的肢体动作的视频进行采样，以得到序列帧；
将所述序列帧输入时间金字塔网络，利用所述时间金字塔网络对所述待检测视频中该客户的肢体动作进行分析得到动作分析结果；
若所述动作分析结果达到了预设标准，则判定该客户的肢体动作较为丰富，并认定该客户的第二满意度评价结果达到了预设满意度阈值。
4.根据权利要求1所述的表情与肢体识别相结合的客户满意度检测方法，其特征在于，所述利用人脸检测技术对所述待检测视频进行人脸检测的步骤包括：
将所述待检测视频中的每一帧图像作为待检测图像；
选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用所述框选窗口对所述待检测图像进行框选，并对所述框选窗口框选的图像区域进行特征提取，以得到特征向量；
根据所述特征向量判断该框选窗口框选的图像区域是否包含人脸图像。
5.根据权利要求4所述的表情与肢体识别相结合的客户满意度检测方法，其特征在于，所述选择任一待检测图像上的预设矩形区域作为一个框选窗口，利用所述框选窗口对所述待检测图像进行框选，并对所述框选窗口框选的图像区域进行特征提取，以得到特征向量的步骤包括：
将所述框选窗口从所述待检测图像的左上角滑动到右下角，以对所述待检测图像进行遍历；
在滑动过程中，基于所述框选窗口的大小，对所述待检测图像进行缩放调整，并对所述框选窗口框选的图像区域进行人脸检测。
6.根据权利要求1所述的表情与肢体识别相结合的客户满意度检测方法，其特征在于，所述获取目标场景的待检测视频的步骤包括：
实时采集目标场景的视频。
7.一种表情与肢体识别相结合的客户满意度检测系统，其特征在于，包括：
目标图像得到模块，用于获取目标场景的待检测视频，并利用人脸检测技术对所述待检测视频进行人脸检测，以得到目标图像；
超分辨率重建模块，用于若所述目标图像的清晰度低于预设清晰度，则对所述目标图像进行超分辨率重建；
满意度评价模块，用于利用客户面部满意度检测模型对所述目标图像中的任一人脸进行满意度检测，以得到对应客户的第一满意度评价结果，同时利用动作识别技术对所述待检测视频中该客户的肢体动作进行识别，以得到该客户的第二满意度评价结果；
满意度综合模块，用于若任一客户的第一满意度评价结果和第二满意度评价结果均达到了预设满意度阈值，则认定该客户的满意度较高，若任一客户的第一满意度评价结果和第二满意度评价结果仅有一个达到了预设满意度阈值，则认定该客户的满意度适中，若任一客户的第一满意度评价结果和第二满意度评价结果均未达到预设满意度阈值，则认定该客户的满意度较低；
满意度统计模块，用于执行重复以上模块，直至判别出所述待检测视频中所有客户的满意度，分别计算满意度较高的客户、满意度适中的客户、满意度较低的客户所占的比重，以得到目标场景客户整体满意度评价结果。
8.根据权利要求7所述的表情与肢体识别相结合的客户满意度检测系统，其特征在于，还包括：
样本挑选模块，用于预先挑选出多个满意度高于预设满意度的人脸图像作为正训练样本，挑选出多个满意度低于预设满意度的人脸图像作为负训练样本；
模型训练模块，用于利用SVM模型对正训练样本和负训练样本进行训练学习，得到客户面部满意度检测模型。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202210971312.1A 2022-08-15 2022-08-15 一种表情与肢体识别相结合的客户满意度检测方法及系统 Pending CN115063872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210971312.1A CN115063872A (zh) 2022-08-15 2022-08-15 一种表情与肢体识别相结合的客户满意度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971312.1A CN115063872A (zh) 2022-08-15 2022-08-15 一种表情与肢体识别相结合的客户满意度检测方法及系统

Publications (1)

Publication Number Publication Date
CN115063872A true CN115063872A (zh) 2022-09-16

Family

ID=83208095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971312.1A Pending CN115063872A (zh) 2022-08-15 2022-08-15 一种表情与肢体识别相结合的客户满意度检测方法及系统

Country Status (1)

Country Link
CN (1) CN115063872A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
CN102799893A (zh) * 2012-06-15 2012-11-28 北京理工大学 考场监控视频处理方法
KR20180072136A (ko) * 2016-12-21 2018-06-29 주식회사 이앤지테크 화자의 감정 유형 표시가 가능한 의사 소통 시스템 및 그 구동방법
CN108805088A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的生理信号分析子系统
CN110991310A (zh) * 2019-11-27 2020-04-10 北京金山云网络技术有限公司 人像检测方法、装置、电子设备及计算机可读介质
CN112434669A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种多信息融合的人体行为检测方法及系统
CN113569825A (zh) * 2021-09-26 2021-10-29 北京国电通网络技术有限公司 视频监控方法、装置、电子设备和计算机可读介质
CN113947422A (zh) * 2021-09-13 2022-01-18 青岛颐中科技有限公司 基于多维度特征的营销方法、装置和电子设备
CN114170653A (zh) * 2021-11-24 2022-03-11 奥比中光科技集团股份有限公司 一种人脸特征的提取方法及装置、终端设备和存储介质
CN114821742A (zh) * 2022-05-19 2022-07-29 北京市西城区和平门幼儿园 一种实时识别儿童或青少年面部表情的方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN102799893A (zh) * 2012-06-15 2012-11-28 北京理工大学 考场监控视频处理方法
KR20180072136A (ko) * 2016-12-21 2018-06-29 주식회사 이앤지테크 화자의 감정 유형 표시가 가능한 의사 소통 시스템 및 그 구동방법
CN108805088A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的生理信号分析子系统
CN110991310A (zh) * 2019-11-27 2020-04-10 北京金山云网络技术有限公司 人像检测方法、装置、电子设备及计算机可读介质
CN112434669A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种多信息融合的人体行为检测方法及系统
CN113947422A (zh) * 2021-09-13 2022-01-18 青岛颐中科技有限公司 基于多维度特征的营销方法、装置和电子设备
CN113569825A (zh) * 2021-09-26 2021-10-29 北京国电通网络技术有限公司 视频监控方法、装置、电子设备和计算机可读介质
CN114170653A (zh) * 2021-11-24 2022-03-11 奥比中光科技集团股份有限公司 一种人脸特征的提取方法及装置、终端设备和存储介质
CN114821742A (zh) * 2022-05-19 2022-07-29 北京市西城区和平门幼儿园 一种实时识别儿童或青少年面部表情的方法和装置

Similar Documents

Publication Publication Date Title
CN109376667B (zh) 目标检测方法、装置及电子设备
CN108710847B (zh) 场景识别方法、装置及电子设备
CN109325954B (zh) 图像分割方法、装置及电子设备
CN108171158B (zh) 活体检测方法、装置、电子设备及存储介质
CN108986125B (zh) 物体边缘提取方法、装置及电子设备
CN107944427A (zh) 动态人脸识别方法及计算机可读存储介质
CN107331118B (zh) 跌倒检测方法及装置
CN110263733B (zh) 图像处理方法、提名评估方法及相关装置
CN108509994B (zh) 人物图像聚类方法和装置
US20200065663A1 (en) Classifying Time Series Image Data
CN114241484B (zh) 一种面向社交网络的图像大数据精准检索方法及系统
CN116562991B (zh) 面向元宇宙电商平台的商品大数据信息识别方法及系统
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN116071790A (zh) 掌静脉图像质量评估方法、装置、设备及存储介质
CN111611944A (zh) 身份识别方法及装置、电子设备、存储介质
CA3062788A1 (en) Detecting font size in a digital image
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
CN113850151A (zh) 一种驾驶员分心行为的识别方法、装置、终端及存储介质
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
CN112906696A (zh) 一种英文图像区域识别方法及装置
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN116977895A (zh) 用于通用相机镜头的污渍检测方法、装置及计算机设备
CN115063872A (zh) 一种表情与肢体识别相结合的客户满意度检测方法及系统
CN111966851B (zh) 基于少量样本的图像识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220916