CN117373094A - 情绪类型检测方法、装置、设备、存储介质和程序产品 - Google Patents
情绪类型检测方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN117373094A CN117373094A CN202311446313.5A CN202311446313A CN117373094A CN 117373094 A CN117373094 A CN 117373094A CN 202311446313 A CN202311446313 A CN 202311446313A CN 117373094 A CN117373094 A CN 117373094A
- Authority
- CN
- China
- Prior art keywords
- emotion
- image
- target
- target object
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 277
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种种情绪类型检测方法、装置、设备、存储介质和程序产品。涉及人工智能技术领域。该方法包括获取目标对象的待检测图像；根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。采用本方法能够提高情绪类型检测结果。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种情绪类型检测方法、装置、设备、存储介质和程序产品。
背景技术
随着人工智能的发展，人脸识别成为很多产品的重要的功能之一，通常情况下，人脸识别技术通常应用于对用户的人脸进行识别，从而以判断该用户是否为目标用户，以达到对目标用户进行验证的目的。另外，人脸识别技术还可以用于对用户的面部表情进行识别，以判断用户当前时刻的情绪。
但是，现有技术中，对采集到的图像进行人脸识别，检测用户当前时刻的情绪类型时，通常存在情绪类型检测结果不准确的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高情绪类型检测结果的情绪类型检测方法、装置、设备、存储介质和程序产品。
第一方面，本申请提供了一种情绪类型检测方法，包括：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
在其中一个实施例中，根据待检测图像，确定目标对象的各面部部位对应的情绪特征值，包括：
根据待检测图像，确定待检测图像中是否包含目标对象的预设角度的面部信息；
若待检测图像中包含预设角度的面部信息，则根据待检测图像，确定目标对象的各面部部位对应的情绪特征值。
在其中一个实施例中，根据待检测图像，确定待检测图像中是否包含目标对象的预设角度的面部信息，包括：
通过交并比模型检测待检测图像中是否包含目标对象的面部信息；
若待检测图像中包含目标对象的面部信息，则将待检测图像转换为积分特征图，并将积分特征图输入至分类器中得到分类结果，分类结果用于指示积分特征图中是否包含预设角度的面部信息。
在其中一个实施例中，根据待检测图像，确定目标对象的各面部部位对应的情绪特征值，包括：
利用目标检测算法，在待检测图像中标注各面部部位的位置信息，得到标注图像；
对标注图像中各面部部位进行特征提取，确定各面部部位对应的情绪特征值。
在其中一个实施例中，对标注图像中各面部部位进行特征提取，确定各面部部位对应的情绪特征值，包括：
通过滤波器，对标注图像中各面部部位进行特征提取，得到各面部部位对应的初始特征值，并将各初始特征值与各面部部位对应的参考特征值进行差异比较，得到各面部部位对应的特征差异值；
将各面部部位对应的特征差异值作为各面部部位对应的情绪特征值。
在其中一个实施例中，根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型，包括：
确定各面部部位对应的权重；
根据各面部部位对应的情绪特征值以及各面部部位对应的权重，确定目标对象对应的目标情绪类型。
在其中一个实施例中，根据各面部部位对应的情绪特征值以及各面部部位对应的权重，确定目标对象对应的目标情绪类型，包括：
利用各面部部位对应的权重对各面部部位对应的情绪特征值进行统计处理，得到目标对象对应的目标特征值；
根据目标特征值与阈值区间的关系，确定目标对象对应的目标情绪类型。
在其中一个实施例中，阈值区间至少包括两个，各阈值区间对应不同的情绪类型；根据目标特征值与阈值区间的关系，确定目标对象对应的目标情绪类型，包括：
将目标特征值落入的阈值区间所对应的情绪类型确定为目标对象对应的目标情绪类型。
在其中一个实施例中，根据各面部部位对应的情绪特征值以及各面部部位对应的权重，确定目标对象对应的目标情绪类型，包括：
对各面部部位对应的情绪特征值进行情绪分类处理，得到各面部部位对应的情绪类型；
从各面部部位对应的权重中确定最大权重，并将最大权重的面部部位对应的情绪类型作为目标情绪类型。
第二方面，本申请还提供了一种情绪类型检测装置，包括：
图像获取模块，用于获取目标对象的待检测图像；
情绪特征值确定模块，用于根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
目标情绪类型确定模块，用于根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
上述情绪类型检测方法、装置、设备、存储介质和程序产品，获取目标对象的待检测图像之后，根据待检测图像，确定目标对象的各面部部位对应的情绪特征值，之后，再根据各面部部位对应的情绪特征值来确定目标对象对应的目标情绪类型。由于目标对象的整体情绪表现主要通过目标对象的各面部部位的情绪表现来体现，并且，各面部部位对应的情绪特征值能够表征该面部部位的情绪，因此，根据各面部部位对应的情绪特征值确定目标对象对应的目标情绪类型，相较于传统技术中将整个面部作为整体判断情绪类型的方式而言，能够使确定出的目标情绪类型更加准确。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例提供的一种情绪类型检测方法的应用环境图；
图2为本实施例提供的第一种情绪类型检测方法的流程示意图；
图3为本实施例提供的一种确定待检测图像中是否包含目标对象的预设角度的面部信息的流程示意图；
图4为本实施例提供的一种确定目标对象的各面部部位对应的情绪特征值的流程示意图；
图5为本实施例提供的一种确定目标对象对应的目标情绪类型的流程示意图；
图6为本实施例提供的第二种情绪类型检测方法的流程示意图；
图7为本实施例提供的第一种情绪类型检测装置的结构框图；
图8为本实施例提供的第二种情绪类型检测装置的结构框图；
图9为本实施例提供的第三种情绪类型检测装置的结构框图；
图10为本实施例提供的第四种情绪类型检测装置的结构框图；
图11为本实施例提供的第五种情绪类型检测装置的结构框图；
图12为本实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在对本申请提供的情绪类型检测方法进行介绍之前，需要说明的是，面部表情是目标对象(包括人类或动物)表达自己的情绪状态和意图最强大、最自然和最普遍的信号之一。目前，在对目标对象进行面部表情识别时，主要通过提取包含目标对象面部区域的目标框并进行特征归一化处理，然后构建面部表情识别模型进行面部表情识别。该方法更侧重于目标对象的面部整体，对面部整体的全部数据进行分析处理与特征提取，在处理过程中存在着大量的冗余数据，检测效率低下，更重要的是，该方法通常存在情绪类型检测结果不准确的情况，本申请正是为了解决这个问题而提出的一种情绪类型检测方法。
本申请实施例提供的情绪类型检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。可选的，终端102上设置有用于获取目标对象的待检测图像的图像采集设备，如摄像头装置。终端102获取到目标对象的待检测图像之后，将待检测图像发送至服务器104，服务器104根据待检测图像确定目标对象的各面部部位对应的情绪特征值，并根据各面部部位对应的情绪特征值确定目标对象对应的目标情绪类型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中，如图2所示，提供了一种情绪类型检测方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S201，获取目标对象的待检测图像。
其中，目标对象可以是需要进行情绪类型检测的对象，目标对象可以是人，也可以是动物。示例性地，目标对象可以是在金融机构营业厅中进行业务处理的用户。待检测图像可以是用于进行情绪类型检测的图像，示例性地，可以是通过图像采集设备采集到的包含目标对象的图像。
可选的，本实施例中，服务器可以实时从终端获取目标对象的待检测图像。也可以以预设时间段为采集周期，定期从终端获取目标对象的待检测图像。
S202，根据待检测图像，确定目标对象的各面部部位对应的情绪特征值。
其中，目标对象的各面部部位可以是目标对象的五官部位，如，目标对象的眼睛、鼻子、嘴巴等。各面部部位对应的情绪特征值用于表征该面部部位反映出的目标对象的情绪特征。
可选的，本实施例可以将待检测图像直接输入至预先训练好的情绪特征值确定模型中，情绪特征值确定模型对待检测图像进行解析与处理，输出目标对象的各面部部位对应的情绪特征值。
可以理解的是，要根据待检测图像，确定目标对象的各面部部位对应的情绪特征值的前提是，待检测图像中包含有目标对象的各面部部位。因此，在一个实施例中，本实施例可以是根据待检测图像，确定待检测图像中是否包含目标对象的预设角度的面部信息；若待检测图像中包含预设角度的面部信息，则根据待检测图像，确定目标对象的各面部部位对应的情绪特征值。其中，预设角度可以是正面，相应的，预设角度的面部信息可以是目标对象的正面图像。
本实施例可以将待检测图像输入至预先训练好的预设角度确定模型中，预设角度确定模型对待检测图像进行解析和处理，输出待检测图像是否包含目标对象的预设角度的面部信息的确定结果，即，包含或不包含。若不包含，则舍弃该待检测图像；若包含，则将待检测图像输入至预先训练好的情绪特征值确定模型中，由情绪特征值确定模型输出目标对象的各面部部位对应的情绪特征值。
S203，根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
其中，目标情绪类型用于表征目标对象的情绪类型。示例性地，情绪类型可以包括有生气、快乐、惊讶、厌恶、伤心、害怕等。
可选的，本实施例可以将各面部部位对应的情绪特征值求均值，根据该均值与预先确定好的各情绪类型阈值之间的关系，确定目标对象对应的目标情绪类型。例如，各面部部位对应的情绪特征值的均值为10，预先设置的情绪类型为“快乐”的阈值为[8，12]，可见，该均值10落在情绪类型为“快乐”的阈值之间，因此，目标情绪类型为“快乐”。
上述情绪类型检测方法中，获取目标对象的待检测图像之后，根据待检测图像，确定目标对象的各面部部位对应的情绪特征值，之后，再根据各面部部位对应的情绪特征值来确定目标对象对应的目标情绪类型。由于目标对象的整体情绪表现主要通过目标对象的各面部部位的情绪表现来体现，并且，各面部部位对应的情绪特征值能够表征该面部部位的情绪，因此，根据各面部部位对应的情绪特征值确定目标对象对应的目标情绪类型，相较于传统技术中将整个面部作为整体判断情绪类型的方式而言，能够使确定出的目标情绪类型更加准确。
进一步地，为了使确定待检测图像中是否包含目标对象的预设角度的面部信息的过程更加严谨，在一个实施例中，提供了另一种确定方式，如图3所示，包括以下几个步骤：
S301，通过交并比模型检测待检测图像中是否包含目标对象的面部信息。
其中，交并比模型可以用于判断待检测图像中是否包含目标对象的面部信息的模型。
具体的，将待检测图像输入至预先训练好的交并比模型中，交并比模型对待检测图像进行处理，输出待检测图像中是否包含目标对象的面部信息，即，包含或不包含。
S302，若待检测图像中包含目标对象的面部信息，则将待检测图像转换为积分特征图，并将积分特征图输入至分类器中得到分类结果，分类结果用于指示积分特征图中是否包含预设角度的面部信息。
其中，积分特征图表征待检测图像对应的积分图，积分图中任意一点的特征值是从待检测图像的左上角到这个点所构成的矩形区域内的所有点的灰度值之和。分类器可以是预先训练好的，用于对待检测图像进行分类处理，输出待检测图像是否包含预设角度的面部信息的分类结果。本实施例中，分类器可以是级联强分类器(如Haar分类器)，由多个强分类器串联组成，能够具有更好的分类效果。强分类器由多个弱分类器组成。
本实施例中，若待检测图像中包含目标对象的面部信息，则对待检测图像进行积分处理，得到待检测图像对应的积分特征图，之后，将积分特征图输入至预先训练好的分类器中，由分类器输出用于指示积分特征图中是否包含预设角度的面部信息的分类结果。若不包含，则舍弃该待检测图像。
上述实施例中，先通过交并比模型检测待检测图像中是否包含目标对象的面部信息，再通过分类器检测待检测图像中是否包含预设角度的面部信息，使得确定待检测图像中是否包含目标对象的预设角度的面部信息的过程更加严谨准确。另外，将待检测图像转换为积分特征图，通过分类器对积分特征图进行处理，能够减少计算量，提高计算效率。
进一步地，在一个实施例中，如图4所示，确定目标对象的各面部部位对应的情绪特征值的方式可以包括以下几个步骤：
S401，利用目标检测算法，在待检测图像中标注各面部部位的位置信息，得到标注图像。
其中，目标检测算法可以是显式形状回归算法(Explicit Shape Regression，ESP)，用于确定待检测图像中各面部部位的位置，并对各面部部位的位置信息进行标注。标注图像可以是标注各面部部位的位置信息后的待检测图像。
具体的，本实施例中，可以基于目标检测算法训练目标检测模型，通过目标检测模型对待检测图像进行处理，输出待检测图像对应的标注图像，标注图像中标注了眼睛、眉毛、鼻子、嘴巴的位置。
S402，对标注图像中各面部部位进行特征提取，确定各面部部位对应的情绪特征值。
可选的，本实施例中，可以直接将S401确定的标注图像输入至预先训练好的情绪特征值确定模型中，情绪特征值确定模型对标注图像进行解析和处理，输出标注图像中各面部部位对应的情绪特征值。
还可以是通过滤波器，对标注图像中各面部部位进行特征提取，得到各面部部位对应的初始特征值，并将各初始特征值与各面部部位对应的参考特征值进行差异比较，得到各面部部位对应的特征差异值；将各面部部位对应的特征差异值作为各面部部位对应的情绪特征值。其中，滤波器可以是Gabor滤波器。各面部部位对应的初始特征值用于表征该面部部位对应的特征值。参考特征值可以是预先确定好的该面部部位对应的特征值。特征差异值可以是初始特征值与参考特征值之间的差值，用于表征该面部部位反映出的目标对象的情绪特征。
具体的，本实施例中，可以先对目标对象的初始图像(例如注册图像)进行特征提取，得到目标对象的各面部部位对应的参考特征值。之后，利用滤波器对标注图像中各面部部位进行特征提取，确定各面部部位对应的初始特征值之后，将各面部部位对应的初始特征值与参考特征值作差，得到该面部部位对应的特征差异值，作为该面部部位对应的情绪特征值。
上述实施例中，先利用目标检测算法对待检测图像中各面部部位的位置信息进行标注，再对标注图像进行特征提取，使得特征提取的过程仅针对标注出的位置，能够减少特征提取的计算量，提高特征提取效率。
进一步地，为了使确定目标对象对应的目标情绪类型的过程更加严谨，从而保证目标情绪类型的准确性，在一个实施例中，如图5所示，提供了一种确定目标对象对应的目标情绪类型的方式，包括以下几个步骤：
S501，确定各面部部位对应的权重。
具体的，本实施例中可以预先确定好各面部部位对应的权重。示例性地，可以分别将眼睛、眉毛、鼻子、嘴巴的权重设置为40％、10％、10％、40％。
S502，根据各面部部位对应的情绪特征值以及各面部部位对应的权重，确定目标对象对应的目标情绪类型。
可选的，本实施例可以将各面部部位对应的情绪特征值以及各面部部位对应的权重输入至预先训练好的目标情绪类型确定模型中，目标情绪类型确定模型对接收到的数据进行处理，输出目标对象对应的目标情绪类型。
另一种可实现方式可以是，利用各面部部位对应的权重对各面部部位对应的情绪特征值进行统计处理，得到目标对象对应的目标特征值；根据目标特征值与阈值区间的关系，确定目标对象对应的目标情绪类型。其中，目标特征值用于表征目标对象的情绪特征。
可选的，本实施例中，对各面部部位对应的情绪特征值进行加权求和处理，得到目标对象对应的目标特征值，之后，判断目标特征值是否在预设阈值区间之内，若是，则确定目标对象对应的目标情绪类型为第一情绪类型(例如，“快乐”)，若否，则确定目标对象对应的目标情绪类型为第二情绪类型(例如，除“快乐”之外的其他情绪类型)。
为了使确定出的目标情绪类型更加准确，在一个实施例中阈值区间至少包括两个，各阈值区间对应不同的情绪类型，相应的，确定目标对象的目标情绪类型的方式可以是：将目标特征值落入的阈值区间所对应的情绪类型确定为目标对象对应的目标情绪类型。示例性地，若“生气”的阈值区间为[0，7]，“快乐”的阈值区间为[8，12]，目标特征值为6，落入的阈值区间所对应的情绪类型为“生气”，则确定目标对象的目标情绪类型为“生气”。
还有一种可实现方式可以是，对各面部部位对应的情绪特征值进行情绪分类处理，得到各面部部位对应的情绪类型；从各面部部位对应的权重中确定最大权重，并将最大权重的面部部位对应的情绪类型作为目标情绪类型。
可选的，本实施例可以将各面部部位对应的情绪特征值输入至预先训练好的SVM分类器中，由SVM分类器对各面部部位对应的情绪特征值进行处理，输出各面部部位对应的情绪类型。
进一步地，还可以是根据各面部部位对应的各情绪类型阈值，和该面部部位对应的情绪特征值，确定该面部部位对应的情绪类型。示例性地，以面部部位为眼睛为例，其对应的“生气”的阈值区间为[0，5]，“快乐”的阈值区间为[6，10]，若眼睛对应的情绪特征值为8，则眼睛对应的情绪类型为“快乐”。以面部部位为鼻子为例，其对应的“生气”的阈值区间为[0，8]，“快乐”的阈值区间为[9，12]，若鼻子对应的情绪特征值为8，则眼睛对应的情绪类型为“生气”。可见，各面部部位对应的各情绪类型阈值可以是不同的。确定各面部部位对应的情绪类型之后，根据预先确定好的各面部部位对应的权重，将最大权重的面部部位对应的情绪类型作为目标情绪类型。例如，若眼睛为最大权重的面部部位，则将眼睛对应的情绪类型作为目标对象的目标情绪类型。
上述实施例中，根据各面部部位对应的权重和情绪特征值确定目标情绪类型，使得确定目标情绪类型的过程更加严谨，也使得确定出的目标情绪类型更加准确。
为了使本领域技术人员能够理解本实施例提供的方法，在一个实施例中，如图6所示，对本实施例提供的情绪类型检测方法进行详细介绍，包括以下几个步骤：
S601，获取目标对象的待检测图像。
S602，通过交并比模型检测待检测图像中是否包含目标对象的面部信息，若是，同执行S604，若否，则执行S603。
S603，舍弃该待检测图像。
S604，将待检测图像转换为积分特征图，并将积分特征图输入至分类器中得到分类结果，分类结果用于指示积分特征图中是否包含预设角度的面部信息。若是，同执行S605，若否，则执行S603。
S605，利用目标检测算法，在待检测图像中标注各面部部位的位置信息，得到标注图像。
S606，通过滤波器，对标注图像中各面部部位进行特征提取，得到各面部部位对应的初始特征值，并将各初始特征值与各面部部位对应的参考特征值进行差异比较，得到各面部部位对应的特征差异值。
S607，将各面部部位对应的特征差异值作为各面部部位对应的情绪特征值。
S608，确定各面部部位对应的权重。
S609，利用各面部部位对应的权重对各面部部位对应的情绪特征值进行统计处理，得到目标对象对应的目标特征值。
S610，根据目标特征值与阈值区间的关系，将目标特征值落入的阈值区间所对应的情绪类型确定为目标对象对应的目标情绪类型。
其中，阈值区间至少包括两个，各阈值区间对应不同的情绪类型。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的情绪类型检测方法的情绪类型检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个情绪类型检测装置实施例中的具体限定可以参见上文中对于情绪类型检测方法的限定，在此不再赘述。
在一个示例性的实施例中，如图7所示，提供了一种情绪类型检测装置1，包括：图像获取模块10、情绪特征值确定模块11和目标情绪类型确定模块12，其中：
图像获取模块10，用于获取目标对象的待检测图像。
情绪特征值确定模块11，用于根据待检测图像，确定目标对象的各面部部位对应的情绪特征值。
目标情绪类型确定模块12，用于根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
在一个实施例中，如图8所示，情绪特征值确定模块11包括第一确定单元110和第二确定单元111。其中：
第一确定单元110，用于根据待检测图像，确定待检测图像中是否包含目标对象的预设角度的面部信息。
第二确定单元111，用于若待检测图像中包含预设角度的面部信息，则根据待检测图像，确定目标对象的各面部部位对应的情绪特征值。
在一个实施便中，第一确定单元110包括第一确定子单元和第二确定子单元。其中：
第一确定子单元，用于通过交并比模型检测待检测图像中是否包含目标对象的面部信息。
第二确定子单元，用于若待检测图像中包含目标对象的面部信息，则将待检测图像转换为积分特征图，并将积分特征图输入至分类器中得到分类结果，分类结果用于指示积分特征图中是否包含预设角度的面部信息。
在一个实施例中，如图9所示，情绪特征值确定模块11还包括第三确定单元112和第四确定单元113。其中：
第三确定单元112，用于利用目标检测算法，在待检测图像中标注各面部部位的位置信息，得到标注图像。
第四确定单元113，用于对标注图像中各面部部位进行特征提取，确定各面部部位对应的情绪特征值。
在一个实施例中，第四确定单元113包括第三确定子单元和第四确定子单元。其中：
第三确定子单元，用于通过滤波器，对标注图像中各面部部位进行特征提取，得到各面部部位对应的初始特征值，并将各初始特征值与各面部部位对应的参考特征值进行差异比较，得到各面部部位对应的特征差异值。
第四确定子单元，用于将各面部部位对应的特征差异值作为各面部部位对应的情绪特征值。
在一个实施例中，如图10所示，目标情绪类型确定模块12包括权重确定单元120和第一目标情绪确定单元121。其中：
权重确定单元120，用于确定各面部部位对应的权重。
第一目标情绪确定单元121，用于根据各面部部位对应的情绪特征值以及各面部部位对应的权重，确定目标对象对应的目标情绪类型。
在一个实施例中，目标情绪确定单元121包括第五确定子单元和第六确定子单元。其中：
第五确定子单元，用于利用各面部部位对应的权重对各面部部位对应的情绪特征值进行统计处理，得到目标对象对应的目标特征值。
第六确定子单元，用于根据目标特征值与阈值区间的关系，确定目标对象对应的目标情绪类型。
在一个实施例中，阈值区间至少包括两个，各阈值区间对应不同的情绪类型；第六确定子单元具体用于将目标特征值落入的阈值区间所对应的情绪类型确定为目标对象对应的目标情绪类型。
在一个实施例中，如图11所示，目标情绪确定单元121还包括面部情绪确定单元122和第二目标情绪确定单元123。其中：
面部情绪确定单元122，用于对各面部部位对应的情绪特征值进行情绪分类处理，得到各面部部位对应的情绪类型。
第二目标情绪确定单元123，用于从各面部部位对应的权重中确定最大权重，并将最大权重的面部部位对应的情绪类型作为目标情绪类型。
上述情绪类型检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于进行情绪类型检测的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种情绪类型检测方法。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种情绪类型检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对象的待检测图像；
根据待检测图像，确定目标对象的各面部部位对应的情绪特征值；
根据各面部部位对应的情绪特征值，确定目标对象对应的目标情绪类型。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户图像等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种情绪类型检测方法，其特征在于，所述方法包括：
获取目标对象的待检测图像；
根据所述待检测图像，确定所述目标对象的各面部部位对应的情绪特征值；
根据各所述面部部位对应的情绪特征值，确定所述目标对象对应的目标情绪类型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像，确定所述目标对象的各面部部位对应的情绪特征值，包括：
根据所述待检测图像，确定所述待检测图像中是否包含所述目标对象的预设角度的面部信息；
若所述待检测图像中包含所述预设角度的面部信息，则根据所述待检测图像，确定所述目标对象的各所述面部部位对应的情绪特征值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待检测图像，确定所述待检测图像中是否包含所述目标对象的预设角度的面部信息，包括：
通过交并比模型检测所述待检测图像中是否包含所述目标对象的面部信息；
若所述待检测图像中包含所述目标对象的面部信息，则将所述待检测图像转换为积分特征图，并将所述积分特征图输入至分类器中得到分类结果，所述分类结果用于指示所述积分特征图中是否包含所述预设角度的面部信息。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述待检测图像，确定所述目标对象的各所述面部部位对应的情绪特征值，包括：
利用目标检测算法，在所述待检测图像中标注各所述面部部位的位置信息，得到标注图像；
对所述标注图像中各所述面部部位进行特征提取，确定各所述面部部位对应的情绪特征值。
5.根据权利要求4所述的方法，其特征在于，所述对所述标注图像中各所述面部部位进行特征提取，确定各所述面部部位对应的情绪特征值，包括：
通过滤波器，对所述标注图像中各所述面部部位进行特征提取，得到各所述面部部位对应的初始特征值，并将各所述初始特征值与各所述面部部位对应的参考特征值进行差异比较，得到各所述面部部位对应的特征差异值；
将各所述面部部位对应的特征差异值作为各所述面部部位对应的情绪特征值。
6.根据权利要求1所述的方法，其特征在于，所述根据各所述面部部位对应的情绪特征值，确定所述目标对象对应的目标情绪类型，包括：
确定各所述面部部位对应的权重；
根据各所述面部部位对应的情绪特征值以及各所述面部部位对应的权重，确定所述目标对象对应的目标情绪类型。
7.根据权利要求6所述的方法，其特征在于，所述根据各所述面部部位对应的情绪特征值以及各所述面部部位对应的权重，确定所述目标对象对应的目标情绪类型，包括：
利用各所述面部部位对应的权重对各所述面部部位对应的情绪特征值进行统计处理，得到所述目标对象对应的目标特征值；
根据所述目标特征值与阈值区间的关系，确定所述目标对象对应的目标情绪类型。
8.根据权利要求7所述的方法，其特征在于，所述阈值区间至少包括两个，各所述阈值区间对应不同的情绪类型；所述根据所述目标特征值与阈值区间的关系，确定所述目标对象对应的目标情绪类型，包括：
将所述目标特征值落入的阈值区间所对应的情绪类型确定为所述目标对象对应的目标情绪类型。
9.根据权利要求6所述的方法，其特征在于，所述根据各所述面部部位对应的情绪特征值以及各所述面部部位对应的权重，确定所述目标对象对应的目标情绪类型，包括：
对各所述面部部位对应的情绪特征值进行情绪分类处理，得到各所述面部部位对应的情绪类型；
从各所述面部部位对应的权重中确定最大权重，并将所述最大权重的面部部位对应的情绪类型作为所述目标情绪类型。
10.一种情绪类型检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标对象的待检测图像；
情绪特征值确定模块，用于根据所述待检测图像，确定所述目标对象的各面部部位对应的情绪特征值；
目标情绪类型确定模块，用于根据各所述面部部位对应的情绪特征值，确定所述目标对象对应的目标情绪类型。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311446313.5A CN117373094A (zh) | 2023-11-01 | 2023-11-01 | 情绪类型检测方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311446313.5A CN117373094A (zh) | 2023-11-01 | 2023-11-01 | 情绪类型检测方法、装置、设备、存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117373094A true CN117373094A (zh) | 2024-01-09 |
Family
ID=89403932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311446313.5A Pending CN117373094A (zh) | 2023-11-01 | 2023-11-01 | 情绪类型检测方法、装置、设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117373094A (zh) |
-
2023
- 2023-11-01 CN CN202311446313.5A patent/CN117373094A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11042785B2 (en) | Systems and methods for machine learning enhanced by human measurements | |
| US10726244B2 (en) | Method and apparatus detecting a target | |
| Zhang et al. | Random Gabor based templates for facial expression recognition in images with facial occlusion | |
| CN107169454B (zh) | 一种人脸图像年龄估算方法、装置及其终端设备 | |
| WO2019095571A1 (zh) | 人物情绪分析方法、装置及存储介质 | |
| CA2789887C (en) | Face feature vector construction | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| CN107633207A (zh) | Au特征识别方法、装置及存储介质 | |
| EP2889805A2 (en) | Method and system for emotion and behavior recognition | |
| US11837061B2 (en) | Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection | |
| US11816876B2 (en) | Detection of moment of perception | |
| CN108509994B (zh) | 人物图像聚类方法和装置 | |
| JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
| Gehrig et al. | A common framework for real-time emotion recognition and facial action unit detection | |
| CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
| CN117373094A (zh) | 情绪类型检测方法、装置、设备、存储介质和程序产品 | |
| CN113822871A (zh) | 基于动态检测头的目标检测方法、装置、存储介质及设备 | |
| Shojaeilangari et al. | Dynamic facial expression analysis based on extended spatio-temporal histogram of oriented gradients | |
| Tang et al. | MRP-Net: A Light Multiple Region Perception Neural Network for Multi-label AU Detection | |
| Wang et al. | Framework for facial recognition and reconstruction for enhanced security and surveillance monitoring using 3D computer vision | |
| CN117726994A (zh) | 车辆重识别方法、装置、设备、存储介质和程序产品 | |
| CN117808749A (zh) | 图像检测方法、深度学习模型的训练方法、装置 | |
| CN118038303A (zh) | 身份识别图像处理方法、装置、计算机设备和存储介质 | |
| CN116311425A (zh) | 人脸识别模型训练方法、装置、计算机设备和存储介质 | |
| CN117423047A (zh) | 基于特征图像的计数方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |