CN109492603A - 一种人脸情绪的识别方法和识别装置、计算机可读介质 - Google Patents
一种人脸情绪的识别方法和识别装置、计算机可读介质 Download PDFInfo
- Publication number
- CN109492603A CN109492603A CN201811396514.8A CN201811396514A CN109492603A CN 109492603 A CN109492603 A CN 109492603A CN 201811396514 A CN201811396514 A CN 201811396514A CN 109492603 A CN109492603 A CN 109492603A
- Authority
- CN
- China
- Prior art keywords
- mood
- target
- periodicity
- emotional
- emotional parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 293
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002996 emotional effect Effects 0.000 claims abstract description 142
- 230000005484 gravity Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims description 12
- 230000005021 gait Effects 0.000 claims description 10
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000008451 emotion Effects 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003205 fragrance Substances 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 150000004945 aromatic hydrocarbons Chemical class 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种人脸情绪的识别方法和识别装置、计算机可读介质，该情绪的识别方法包括：实时采集目标的多种情绪参数；在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果；统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态。本发明提供的上述人脸情绪的识别方法通过采集多种情绪参数、并通过上述计算方法来确定目标在每一情绪周期内的情绪结果，从而通过统计目标在连续的多个情绪周期内的情绪结果来确定目标在测试时间段内的情绪状态，因此对目标的人脸情绪判断的准确性高。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种人脸情绪的识别方法和识别装置、计算机可读介质。
背景技术
随着社会的发展，时代的进步，人们的生活节奏越来越快，因为社会竞争所带来的各种压力也随之而来，越来越多的负面情绪出现在我们的生活中。人们在出现负面情绪时，往往无法及时的对负面情绪进行自主调控，因此会因为给自己或者周围环境的人带来一定的伤害。
传统的人脸情绪识别主要利用人脸图像的特征识别，传统算法以人脸的五官与轮廓定位，提取情绪识别的特征点，再根据该特征点识别情绪。这种方式过于概括，只考虑了人脸区域信息，限制了情绪的理解边界，难以准确识别人脸情绪，情绪识别的准确性较低。
因此如何提供一种能够准确识别人脸情绪的方法至关重要。
发明内容
有鉴于此，本发明实施例提供一种人脸情绪的识别方法、情绪的识别装置及计算机可读介质，用以提升人脸情绪识别的准确性。
本发明实施例提供了一种人脸情绪的识别方法，包括：
实时采集目标的多种情绪参数；
在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果；
统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果，具体包括：
对各所述情绪参数进行特征提取，并对提取到的特征进行量化以得到各所述情绪参数对应的多个量化值；
在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数的多个量化值和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数的多个量化值和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果，具体包括：
在所述情绪周期内，针对每个所述情绪参数的多个量化值，在同一所述情绪参数的所述多个量化值中选取多个中心值；
根据同一所述情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各所述量化值所属的类别；
将同一所述情绪参数中量化值最多的类别作为所述情绪参数的情绪值；
在同一所述情绪周期内，根据各所述情绪参数的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述根据同一所述情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各所述量化值所属的类别，具体包括：
针对同一所述情绪的多个量化值，确定每个所述量化值与各所述中心值之间的距离；
将所述量化值与距离最近的所述中心值归为同一类别。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述在同一所述情绪周期内，根据各所述情绪参数的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果，具体包括：
对各所述情绪参数的情绪值进行标准归一化处理；
根据各所述情绪参数标准归一化处理后的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述情绪参数包括：人脸图像参数、肢体语言参数、步态参数、语音的语调参数、气味参数、音乐的音调参数和文字的褒贬参数中的任意组合。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，所述统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态，具体包括：
将所述目标在连续的多个情绪周期内数量最多的同一所述情绪结果作为所述目标的情绪状态。
在一种可能的实现方式中，在本发明实施例提供的上述人脸情绪的识别方法中，在所述统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态之后，还包括：
根据所述目标的情绪状态生成对应的控制指令，以根据所述控制指令执行对应的控制动作。
相应地，本发明实施例还提供了一种人脸情绪的识别装置，包括：
采集模块，用于实时采集目标的多种情绪参数；
第一情绪确定模块，用于在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果；
第二情绪确定模块，用于统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态。
相应地，本发明实施例还提供了一种计算机可读介质，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行本发明实施例提供的上述人脸情绪的识别方法的步骤。
本发明实施例的有益效果包括：
本发明实施例提供的人脸情绪的识别方法和识别装置、计算机可读介质，该情绪的识别方法包括：实时采集目标的多种情绪参数；在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果；统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态。本发明提供的上述人脸情绪的识别方法通过采集多种情绪参数、并通过上述计算方法来确定目标在每一情绪周期内的情绪结果，从而通过统计目标在连续的多个情绪周期内的情绪结果来确定目标在测试时间段内的情绪状态，因此对目标的人脸情绪判断的准确性高。
附图说明
图1为本发明实施例提供的人脸情绪的识别方法流程图之一；
图2为本发明实施例提供的人脸情绪的识别方法流程图之二；
图3为本发明实施例提供的人脸情绪的识别方法流程图之三；
图4为本发明实施例提供的人脸情绪的识别方法流程图之四；
图5为本发明实施例提供的人脸情绪的识别方法流程图之五；
图6为本发明实施例提供的人脸情绪的识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
附图中各部件的形状和大小不反映真实比例，目的只是示意说明本发明内容。
本发明实施例提供的一种人脸情绪的识别方法，如图1所示，具体包括以下步骤：
S101、实时采集目标的多种情绪参数；
S102、在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果；
S103、统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态。
本发明实施例提供的人脸情绪的识别方法包括：实时采集目标的多种情绪参数；在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果；统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态。本发明提供的上述人脸情绪的识别方法通过采集多种情绪参数、并通过上述计算方法来确定目标在每一情绪周期内的情绪结果，从而通过统计目标在连续的多个情绪周期内的情绪结果来确定目标在测试时间段内的情绪状态，因此对目标的人脸情绪判断的准确性高。
可选地，在本发明实施例提供的上述人脸情绪的识别方法中，情绪参数可以包括：人脸图像参数、肢体语言参数、步态参数、语音的语调参数、气味参数、音乐的音调参数和文字的褒贬参数中的任意组合。当然，具体实施时，情绪参数可以是——但不限于——本发明实施例提供的上述几种，还可以包括其它类型的情绪参数，在此不做限定。
具体实施时，本发明实施例提供的情绪周期的时间可以根据实际情况进行设定与调整，例如采集目标在10min(连续的多个情绪周期)内的情绪参数，可以是每间隔5秒(情绪周期)连续对面部拍照125次为一组人脸情绪参数，每间隔10秒连续记录肢体动作6次作为一组肢体语言参数，每间隔5秒连续录音12次作为一组语音的语调参数等。
具体实施时，采集人脸图像参数可以是采集目标的面部(包括眉、眼、鼻、嘴、耳、脸等)情感数据，例如目标的面部照片、面部深度照片、面部红外图等，可以采用高速摄像机、普通相机、近红外摄像机、近红外传感器等采集人脸图像参数；采集肢体语言参数可以是采集目标的肢体的运动状态，包括目标的各个部位(例如手、头、足等)的动作状态，如鼓掌、顿足、搓手、锤头、摊手和捶胸等，可以采用深度摄像头、高速摄像机等采集肢体语言参数；采集语音的语调参数可以采集目标的声学特征，包括升调、降调、升降调和平调，可以采拾音器采集目标的语音的语调参数；采集目标的步态参数可以采集目标走路的加速度，可以采用步态分析仪检测目标步态参数；采集目标的气味参数可以采集周围环境中的气味，包括酒精气味、香味、烟雾味道和无气味等，可以采用在环境中安放烟雾报警器、酒精浓度监测仪、光离子化气体传感器(用于检测芳香烃物质，如香味)、异味传感器等采集目标的气味参数；采集目标的音乐的音调参数可以采集周围播放音乐的节律识别音乐的大调和小调，可以采用录音机、A/D转换器等采集目标的音乐的音调参数；采集目标的文字的褒贬参数可以通过对文字输入的文本进行分析，分析文本中贬义词和褒义词的比例来进行分析目标的文字的褒贬参数。
可选地，在本发明实施例提供的上述人脸情绪的识别方法中，在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果，如图2所示，具体包括以下步骤：
S201、对各情绪参数进行特征提取，并对提取到的特征进行量化以得到各情绪参数对应的多个量化值；例如对目标的人脸图像参数、肢体语言参数、步态参数、语音的语调参数、气味参数、音乐的音调参数和文字的褒贬参数等进行预处理和分析，具体地，以对人脸图像参数进行特征提取并进行量化为例，根据摄像头对人脸面部表情的抓取，通过情绪识别模型对人脸面部表情进行特征提取，提取的特征包括：欢快、平和、悲伤和生气，欢快的量化值为3，平和的量化值为2，悲伤的量化值是1，生气的量化值为0；以对肢体语言参数进行特征提取并进行量化为例，根据摄像头对目标的肢体语言进行识别，如：鼓掌表示兴奋，顿足代表生气，搓手表示焦虑，垂头代表沮丧，摊手表示无奈，捶胸代表痛苦；兴奋的量化值为4，搓手的量化值为0.3，锤头的量化值为1.5，摊手的量化值为1.3，捶胸的量化值为0.2，顿足的量化值为0；以对步态参数进行特征提取并进行量化为例，步态分析仪通过监测目标的步态加速度进行分析，得出目标的情绪状态，如步态加速度的绝对值小于等于0.2kg/m3表示目标的情绪平缓，量化值为2；步态加速度的值为负值，且绝对值大于0.2kg/m3时，表示目标的情绪失落，量化值为1；步态加速度为正值，且绝对值大于0.2kg/m3时，表示目标的情绪欢快，量化值为3；以对语音的语调参数进行特征提取并进行量化为例，通过拾音器采集语音，再通过语音识别系统识别语音，识别出的语音通过自带降噪算法、回声消除算法等去除噪声，语音增强技术识别出语音，利用特征分析和支持向量机等机器学习算法进行语调的识别，语调识别的结果为陈述、疑问和感叹三种语调，即对应位平调、升调和降调，对一段语音进行统计分析，绝大多数为升调表示欢快，绝大多数为降调表示悲伤，绝大多数为平调表示平和，升调降调比例差不多时表示生气，其中升调的量化值为3，平调的量化值为2，降调量化值为1，升降调量化值为0；以对文字的褒贬参数进行特征提取并进行量化为例，文字分析模块对录入的文字进行褒义词、贬义词和中性词的识别，全部为褒义量化值为3，全部为贬义量化值为0，褒义多于贬义量化值为2，贬义多于褒义量化值为1；以对气味参数进行特征提取并进行量化为例，通过采集周围环境中的气味并进行鉴别，鉴别的种类包括酒精气味、香味、烟雾味道和无气味等，其中酒精气味的量化值为1、烟雾的量化值为0、无气味量化值为2、香味量化值为3；以对音乐的音调参数进行特征提取并进行量化为例，通过采集周围环境中播放的音乐，通过音乐节律识别音乐的大调和小调，主要看一段旋律结束时，是落在大三和弦上还是小三和弦上，其中大调表示欢快，量化值为3，小调表示悲伤，量化值为1。
S202、在连续的每个情绪周期内，根据在情绪周期内的各情绪参数的多个量化值和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果。具体地，例如每一情绪周期为5秒，由于是实时采集目标的情绪参数，每40毫秒会有一个情绪，相应的有一个量化值，5秒内每一情绪参数就会有125个情绪对应的量化值，在每一情绪周期内，根据在5秒的情绪周期内的125个情绪对应的化值和各125个情绪参数的比重，确定每5秒的情绪周期内的目标对应的情绪结果。
可选地，在本发明实施例提供的上述情绪的识别方法中，在连续的每个情绪周期内，根据在情绪周期内的各情绪参数的多个量化值和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果，如图3所示，具体包括以下步骤：
S301、在情绪周期内，针对每个情绪参数的多个量化值，在同一情绪参数的多个量化值中选取多个中心值；
S302、根据同一情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各量化值所属的类别；
S303、将同一情绪参数中量化值最多的类别作为情绪参数的情绪值；
S304、在同一情绪周期内，根据各情绪参数的情绪值和各情绪参数的比重，确定该情绪周期内的目标对应的情绪结果。
可选地，在本发明实施例提供的上述情绪的识别方法中，根据同一情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各量化值所属的类别，如图4所示，具体包括以下步骤：
S401、针对同一情绪的多个量化值，确定每个量化值与各中心值之间的距离；
S402、将量化值与距离最近的中心值归为同一类别。
可选地，在本发明实施例提供的上述情绪的识别方法中，在同一情绪周期内，根据各情绪参数的情绪值和各情绪参数的比重，确定该情绪周期内的目标对应的情绪结果，如图5所示，具体包括以下步骤：
S501、对各情绪参数的情绪值进行标准归一化处理；
S502、根据各情绪参数标准归一化处理后的情绪值和各情绪参数的比重，确定该情绪周期内的目标对应的情绪结果。
可选地，在本发明实施例提供的上述情绪的识别方法中，统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态，具体可以包括：
将目标在连续的多个情绪周期内数量最多的同一情绪结果作为目标的情绪状态。
下面通过详细的实施例对本发明实施例提供的上述图3至图5所示的人脸情绪的识别方法进行详细解释：
具体的，例如在5秒的一个情绪周期内，每一情绪参数对应125个量化值，量化值的具体数值对应上述所说的3、2、1、0，选取的中心值为欢快、平和、悲伤和生气，以人脸表情为例，定义人脸表情的定点因子为：人脸表情、人脸转动的x轴、y轴、z轴，标识人脸表情点的坐标为(a、b、c、d)，其中，a表示人脸表情情绪，b表示人脸的x轴坐标，c表示人脸的y轴坐标，d表示人脸的z轴坐标。若欢快的中心值坐标为(a1、b1、c1、d1)，若平和的中心值坐标为(a2、b2、c2、d2)，若悲伤的中心值坐标为(a3、b3、c3、d3)，若生气的中心值坐标为(a4、b4、c4、d4)，计算测得的人脸表情情绪的125个量化值与各个中心值之间的距离，若该检测点与欢快的中心值之间的距离最近，则判定该检测点的情绪属于欢快的类别，若该检测点与悲伤的中心值之间的距离最近，则判定该检测点的情绪属于悲伤的类别，依次类推，计算出每一类别的量化值的数量，将量化值数量最多的类别作为一情绪周期内的情绪参数的情绪值；根据相同的方法计算出每一情绪参数在同一情绪周期内的情绪值，如以人脸图像参数为例，在5秒的情绪周期内计算出人脸图像参数的情绪值为2，由于人脸的情绪值的最大值为3，最小值为0，然后对人脸图像参数的情绪值进行标准归一化处理，即2/(3-0)，近似等于0.67，同理，计算出其它各个参数的进行标准归一化处理后的情绪值，根据公式I＝0.8*(0.25*Iface+0.38ITone+0.07Itext+0.15IBody+0.15Igait)+0.2*(0.4Ismell+0.6Imusic)，确定该5秒情绪周期内的目标对应的情绪结果I，其中，Iface表示同一周期内进行标准归一化处理后的人脸图像参数的情绪值，ITone表示同一周期内进行标准归一化处理后的语音的语调参数的情绪值，Itext表示同一周期内进行标准归一化处理后的文字参数的情绪值，IBody表示同一周期内进行标准归一化处理后的肢体语言参数的情绪值，Igait表示同一周期内进行标准归一化处理后的步态参数的情绪值，Ismell表示同一周期内进行标准归一化处理后的气味参数的情绪值，Imusic表示同一周期内进行标准归一化处理后的音乐的音调参数的情绪值，每个情绪值的系数是根据大量数据统计的，根据该公式可以计算出在同一情绪周期内目标的情绪结果I，通过连续采集多个情绪周期内的目标的情绪结果，例如采集10min内即120个情绪周期中每一情绪周期的目标的情绪结果，统计相同的情绪结果的个数，将目标在连续的120个情绪周期内数量最多的同一情绪结果如欢快、平和、悲伤或生气作为目标的情绪状态。
可选地，在本发明实施例提供的上述情绪的识别方法中，在统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态之后，还包括：
根据目标的情绪状态生成对应的控制指令，以根据控制指令执行对应的控制动作。具体地，在得知多个连续情绪周期内目标的情绪状态时，根据目标的情绪状态推送不同的音乐、灯光、新闻信息等，如若目标的情绪状态为悲伤，则可以控制设备播放欢快的音乐，柔和的灯光或高兴的新闻信息等，以让目标欢快起来；若目标的情绪状态为高兴，则可以控制设备播放更加欢快的音乐，柔和的灯光或高兴的新闻信息等，以让目标更加欢快等等。
基于同一发明构思，本发明实施例还提供了一种人脸情绪的识别装置，如图6所示，包括：
采集模块10，用于实时采集目标的多种情绪参数；
第一情绪确定模块20，用于在连续的每个情绪周期内，根据在情绪周期内的各情绪参数和各情绪参数的比重，确定各情绪周期内的目标对应的情绪结果；
第二情绪确定模块30，用于统计目标在连续的多个情绪周期内的情绪结果，确定目标的情绪状态。
本发明实施例提供的人脸情绪的识别装置，通过采集多种情绪参数、并通过上述计算方法来确定目标在每一情绪周期内的情绪结果，从而通过统计目标在连续的多个情绪周期内的情绪结果来确定目标在测试时间段内的情绪状态，因此对目标的人脸情绪判断的准确性高。
具体实施时，本发明实施例提供的上述人脸情绪的识别装置，还包括显示模块，用于根据目标的情绪状态生成对应的控制指令，以根据控制指令执行对应的控制动作。
具体实施时，本发明实施例提供的上述人脸情绪的识别装置，还包括数据传输模块，用于本发明的上述各个模块间的数据传输，例如采集模块将采集的情绪参数的数据传输至第一情绪确定模块，第一情绪确定模块将情绪结构传输至第二确定模块，第二情绪确定模块将目标的情绪状态传输至显示模块等等，数据传输模块包括但不限于蓝牙、WiFi等。
具体实施时，本发明实施例提供的上述人脸情绪的识别装置，还包括重启模块，用于实现上述人脸情绪的识别装置的重启功能。
具体实施时，本发明实施例提供的上述人脸情绪的识别装置，还包括反馈模块，用于对涉及的硬件设备的状态进行反馈。同时，上传情绪状态识别期间产生的数据，更新上述人脸情绪识别的装置数据库。
基于同一发明构思，本发明实施例还提供了一种计算机可读介质，包括程序代码，当程序代码在计算设备上运行时，程序代码用于使计算设备执行上述情绪的识别方法的步骤。由于该计算机可读介质解决问题的原理与前述一种情绪的识别方法相似，因此该计算机可读介质的实施可以参见情绪的识别方法的实施，重复之处不再赘述。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本发明的实施方式的用于显示产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在服务器设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被信息传输、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由周期网络动作系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种人脸情绪的识别方法，其特征在于，包括：
实时采集目标的多种情绪参数；
在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果；
统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态。
2.如权利要求1所述的人脸情绪的识别方法，其特征在于，所述在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果，具体包括：
对各所述情绪参数进行特征提取，并对提取到的特征进行量化以得到各所述情绪参数对应的多个量化值；
在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数的多个量化值和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果。
3.如权利要求2所述的人脸情绪的识别方法，其特征在于，所述在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数的多个量化值和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果，具体包括：
在所述情绪周期内，针对每个所述情绪参数的多个量化值，在同一所述情绪参数的所述多个量化值中选取多个中心值；
根据同一所述情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各所述量化值所属的类别；
将同一所述情绪参数中量化值最多的类别作为所述情绪参数的情绪值；
在同一所述情绪周期内，根据各所述情绪参数的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果。
4.如权利要求3所述的人脸情绪的识别方法，其特征在于，所述根据同一所述情绪参数的多个中心值，对该情绪参数的多个量化值进行聚类，确定出各所述量化值所属的类别，具体包括：
针对同一所述情绪的多个量化值，确定每个所述量化值与各所述中心值之间的距离；
将所述量化值与距离最近的所述中心值归为同一类别。
5.如权利要求3所述的人脸情绪的识别方法，其特征在于，所述在同一所述情绪周期内，根据各所述情绪参数的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果，具体包括：
对各所述情绪参数的情绪值进行标准归一化处理；
根据各所述情绪参数标准归一化处理后的情绪值和各所述情绪参数的比重，确定该情绪周期内的所述目标对应的情绪结果。
6.如权利要求1所述的人脸情绪的识别方法，其特征在于，所述情绪参数包括：人脸图像参数、肢体语言参数、步态参数、语音的语调参数、气味参数、音乐的音调参数和文字的褒贬参数中的任意组合。
7.如权利要求1所述的人脸情绪的识别方法，其特征在于，所述统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态，具体包括：
将所述目标在连续的多个情绪周期内数量最多的同一所述情绪结果作为所述目标的情绪状态。
8.如权利要求1-7任一项所述的人脸情绪的识别方法，其特征在于，在所述统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态之后，还包括：
根据所述目标的情绪状态生成对应的控制指令，以根据所述控制指令执行对应的控制动作。
9.一种人脸情绪的识别装置，其特征在于，包括：
采集模块，用于实时采集目标的多种情绪参数；
第一情绪确定模块，用于在连续的每个情绪周期内，根据在所述情绪周期内的各所述情绪参数和各所述情绪参数的比重，确定各所述情绪周期内的所述目标对应的情绪结果；
第二情绪确定模块，用于统计所述目标在连续的多个情绪周期内的情绪结果，确定所述目标的情绪状态。
10.一种计算机可读介质，其特征在于，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行权利要求1-8任一项所述的人脸情绪的识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811396514.8A CN109492603A (zh) | 2018-11-22 | 2018-11-22 | 一种人脸情绪的识别方法和识别装置、计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811396514.8A CN109492603A (zh) | 2018-11-22 | 2018-11-22 | 一种人脸情绪的识别方法和识别装置、计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109492603A true CN109492603A (zh) | 2019-03-19 |
Family
ID=65697350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811396514.8A Pending CN109492603A (zh) | 2018-11-22 | 2018-11-22 | 一种人脸情绪的识别方法和识别装置、计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492603A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN111904441A (zh) * | 2020-08-20 | 2020-11-10 | 金陵科技学院 | 一种基于多模态特征的情绪分析系统及其分析方法 |
| CN112163467A (zh) * | 2020-09-11 | 2021-01-01 | 杭州海康威视数字技术股份有限公司 | 情绪分析方法、装置、电子设备及机器可读存储介质 |
-
2018
- 2018-11-22 CN CN201811396514.8A patent/CN109492603A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110399837B (zh) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN111904441A (zh) * | 2020-08-20 | 2020-11-10 | 金陵科技学院 | 一种基于多模态特征的情绪分析系统及其分析方法 |
| CN112163467A (zh) * | 2020-09-11 | 2021-01-01 | 杭州海康威视数字技术股份有限公司 | 情绪分析方法、装置、电子设备及机器可读存储介质 |
| CN112163467B (zh) * | 2020-09-11 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 情绪分析方法、装置、电子设备及机器可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492603A (zh) | 一种人脸情绪的识别方法和识别装置、计算机可读介质 | |
| Schuller | Speech emotion recognition: Two decades in a nutshell, benchmarks, and ongoing trends | |
| JP4851447B2 (ja) | ピッチ周波数を検出する音声解析装置、音声解析方法、および音声解析プログラム | |
| CN108227932A (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN108573695B (zh) | 语音处理装置及其方法、机器人及计算机可读取记录介质 | |
| CN108231070A (zh) | 语音对话装置、语音对话方法、语音对话程序以及机器人 | |
| CN110110169A (zh) | 人机交互方法及人机交互装置 | |
| WO2016137797A1 (en) | Empathetic user interface, systems, and methods for interfacing with empathetic computing device | |
| US10748515B2 (en) | Enhanced real-time audio generation via cloud-based virtualized orchestra | |
| CN110399837A (zh) | 用户情绪识别方法、装置以及计算机可读存储介质 | |
| CN110085220A (zh) | 智能交互装置 | |
| CN109799903A (zh) | 基于虚拟现实的打击乐方法、终端设备及系统 | |
| US20200134297A1 (en) | Control System and Control Method | |
| JP7383943B2 (ja) | 制御システム、制御方法、及びプログラム | |
| US20230252315A1 (en) | Adjusting mental state to improve task performance | |
| CN116343824A (zh) | 口才表达能力的全面评估与解决方法、系统、装置及介质 | |
| CN112652041A (zh) | 虚拟形象的生成方法、装置、存储介质及电子设备 | |
| Amelynck et al. | Toward e-motion-based music retrieval a study of affective gesture recognition | |
| Cataldo et al. | Phonetic and functional features of pauses, and concurrent gestures, in tourist guides’ speech | |
| Bogaers et al. | Music-driven animation generation of expressive musical gestures | |
| Françoise et al. | Movement sequence analysis using hidden Markov models: a case study in Tai Chi performance | |
| Cervantes et al. | Embedded design of an emotion-aware music player | |
| Fabiani et al. | Interactive sonification of emotionally expressive gestures by means of music performance | |
| Cosentino et al. | Human–robot musical interaction | |
| US11257471B2 (en) | Learning progression for intelligence based music generation and creation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |
|
| RJ01 | Rejection of invention patent application after publication |