CN111222464A - 情感分析方法以及系统 - Google Patents
情感分析方法以及系统 Download PDFInfo
- Publication number
- CN111222464A CN111222464A CN202010013908.1A CN202010013908A CN111222464A CN 111222464 A CN111222464 A CN 111222464A CN 202010013908 A CN202010013908 A CN 202010013908A CN 111222464 A CN111222464 A CN 111222464A
- Authority
- CN
- China
- Prior art keywords
- target user
- physiological signal
- image information
- micro
- physiological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 91
- 238000004458 analytical method Methods 0.000 title claims abstract description 77
- 230000001815 facial effect Effects 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 230000014509 gene expression Effects 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 24
- 210000002615 epidermis Anatomy 0.000 claims description 9
- 210000003491 skin Anatomy 0.000 claims description 9
- 210000004709 eyebrow Anatomy 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 210000004209 hair Anatomy 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 239000002344 surface layer Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000002567 electromyography Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000003739 neck Anatomy 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 208000028017 Psychotic disease Diseases 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010021118 Hypotonia Diseases 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000036640 muscle relaxation Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种情感分析方法以及系统，该方法包括：获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果。本发明实施例的技术方案，解决了现有技术中人为确定目标用户当前状态信息，存在一定的误差以及人力成本较高的技术问题，实现了快速、准确的确定用户当前状态，并且降低了人力成本的技术效果。
Description
技术领域
本发明实施例涉及智能识别技术领域，尤其涉及一种情感分析方法以及系统。
背景技术
微表情是一种持续时间短的表情，表达了用户试图压抑与隐藏的真正情感。由于微表情是用户试图压抑或隐藏真实情感，因此泄露的时间非常短暂，并且不能自主控制，因此可以作为识别谎言，或者判断用户当前状态的有效线索。
现有技术基于用户的微表情确定用户的当前状态，主要是在被测试用户在回答问题的过程中，测试人员通过观察被测试用户的表情信息，来确定被测试用户当前的状态信息。采用此种方式确定用户当前状态时，由于需要人为观察，因此得到的结果与实际状态往往因人而异，可能存在一定的差异，而且存在人力成本较高以及准确率较低的技术问题。
发明内容
本发明实施例提供一种情感分析方法以及系统，以实现快速、准确确定目标用户当前的情感状态的技术效果。
第一方面，本发明实施例提供了一种情感分析方法，该方法包括：
获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
获取与所述目标用户对应的面部图像信息；
将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析结果。
进一步的，获取与所述目标用户对应的面部图像信息，包括：
通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息。
进一步的，所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果，包括：
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与所述面部图像信息相对应的加权空间特征；
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
进一步的，所述方法还包括：
利用光流估计网络提取面部视频序列的光流特征；
将所述面部图像信息划分为至少两个特征区域，根据所述光流特征和所述特征区域对所述面部图像信息进行标注。
进一步的，所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果，包括：
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；
将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
进一步的，所述肌电信号包括与所述目标用户对应的面部肌电信号；所述获取与目标用户相对应的生理信号包括：
基于面部肌电信号采集模块，分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
进一步的，所述方法还包括：
基于皮肤表层传感器，检测目标用户的表皮信息，其中，所述表皮信息中包括体表温度变化和汗毛信息；
基于所述表皮信息，确定所述目标用户在不同时刻的状态信息；
根据所述状态信息，更新与所述目标用户对应的生理信号识别结果以及微表情识别结果。
进一步的，所述基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析结果，包括：
分别对所述生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与所述目标用户对应的情感分析结果。
进一步的，所述分别对所述生理信号识别结果以及微表情识别结果进行加权，包括下述中的至少一项：
根据所述目标用户的属性信息分别对所述生理信号识别结果以及微表情识别结果进行加权，其中，所述属性信息包括年龄、性别、职业以及所处的环境中的至少一种；
根据所述目标用户的所述生理信号识别结果以及微表情识别结果在至少两个信号采集阶段的差异，分别对所述生理信号识别结果以及微表情识别结果进行加权。
第二方面，本发明实施例还提供了一种情感分析系统，该系统包括：
生理信号采集模块，用于获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
面部图像信息采集模块，用于获取与所述目标用户对应的面部图像信息；
分类识别模块，用于将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
情感分析模块，用于基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析表。
进一步的，所述生理信号采集模块包括：脑电采集模块和肌电采集模块，其中，
所述脑电采集模块，用于通过目标用户佩戴的至少16通道的电极帽采集所述目标用户的脑电信号，并显示所述脑电信号；
所述肌电采集模块，包括至少7个电极，分别设置于所述目标用户双眼的两侧、下侧、嘴角位置以及颈部，用于采集所述目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
进一步的，所述生理信号采集模块还包括：心电采集模块，用于采集所述目标用户的心电信号。
进一步的，所述面部图像信息采集模块包括通过至少一个摄像头，用于采集目标用户的面部视频序列。
进一步的，所述情感分析系统还包括：声音采集模块，用于采集目标用户的声音信息。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的情感分析方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的情感分析方法。
本发明实施例的技术方案，通过获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要通过人为观察去确定与用户的情感，得到的情感分析结果存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1本发明实施例一所提供的一种情感分析方法的流程示意图；
图2为本发明实施例二所提供的一种情感分析方法另一流程示意图；
图3为本发明实施例三所提供的一种情感分析方法示意图；
图4为本发明实施例四所提供的一种情感分析系统的结构示意图；
图5为本发明实施例五所提供的一种设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种情感分析方法流程示意图，本实施例可适用于对目标用户面部图像信息以及生理参数信息进行处理来确定目标用户当前情感分析结果的情形，该方法可以由情感分析系统来执行，该系统可以通过软件和/或硬件的形式实现。
在介绍本发明技术方案之前，先简单介绍技术背景。目前，情感识别研究主要用于宏观情感变化的检测与识别，并识别人体试图压抑或隐藏的真实细微情感变化，因此可以通过对采集到的面部图像信息、生理信号进行处理，来确定与目标用户对应的情感分析结果。情感分析结果中可以包括目标用户当前情感状态，可选的，开心、忧伤等，还可以辅助判断用户是否说谎，当然，还可以包括用户是否存在精神方面问题，可选的，抑郁症、精神病等。
如图1所述，本实施例的方法包括：
S110、获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号。
其中，目标用户可以是当前被测试用户，例如，若需要确定用户A的情感分析结果，可以将用户A作为目标用户。生理信号为人体器官组织因某些原因而向人脑发送的生理信息，因此可以将生理信号作为判断用户情感分析结果的重要参数之一。
在本实施例中，生理信号包括脑电信号、心电信号、以及肌电信号。
其中，脑电信号为众多肌纤维中运动按单元动作电位，在时间和空间上的叠加。表面肌电信号是浅层肌肉和神经干上电活动在皮肤表面上的综合效应，能在一定程度上反应神经肌肉的活动。心电信号可以是心脏发出相当复杂的微弱信号。不同状态时，用户的生理信号不同，因此可以对采集到的脑电信号、心电信号以及肌电信号进行处理，来确定目标用户的当前生理状态，可选的，当前生理状态可包括心跳加速、肌肉收缩以及肌肉放松等。
可选的，肌电信号包括与目标用户对应的面部肌电信号。面部肌电信号包括眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结信号。
具体的，可以在目标用户的眉毛、嘴角、眼角以及喉结部位放置肌电信号采集模块，用于采集目标用户各个部位的肌电信号，以便根据与各个部位对应的肌电信号，确定目标用户的当前生理状态。
S120、获取与目标用户对应的面部图像信息。
为了准确判断与目标用户相对应的微表情识别结果，可以在对目标用户测试的过程中，实时采集目标用户的面部图像信息。例如，在对目标用户测试的过程中采用摄像机实时采集目标用户的面部图像信息。
具体的，基于摄像头采集目标用户的面部图像信息。可选地，采用两个或两个以上的摄像机分别采集目标用户的面部图像信息。当然，也可以仅采用一个摄像头采集目标用户的面部图像信息。
可以通过观看预设影响或者问答的形式对目标用户测试。在进行问答测试时，为减少测试过程中提问者对目标用户的影响，可基于机器人对目标用户进行提问。其中，面部图像信息包括至少一帧面部图像。
可选的，通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息。
示例性地，可以利用光流估计模型FlowNet提取面部视频序列中的光流特征，即提取面部视频序列中不同帧的面部图像之间的变化，即提取图像中的目标对象的运动信息。本发明实施例中，可以通过不同帧面部图像的同一特征区域的光流特征来提取出面部图像中的微表情信息。
S130、将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果。
其中，目标分类模型的数量可以是多个，用于分别对目标用户的生理信号以及面部图像信息进行处理，以确定与目标用户对应的生理信号识别结果和微表情识别结果。至少一个目标特征模型的数量可以是一个、两个或者三个。在本实施例中目标分类模型的数量可以是两个，可选的，卷积长短时记忆网络、以及深度信念网络。卷积长短时记忆网络可以对采集的视频序列进行处理，即对目标用户的面部图像信息处理，得到与目标用户对应的微表情分类识别结果。深度信念网络可以对生理信号进行处理，得到与生理信号对应的识别结果。
具体的，对目标用户进行测试的过程中，可以基于摄像机采集目标用户的面部图像信息，基于生理信号采集设备采集目标用户的面部肌电信号、脑电信号以及心电信号。为了更好的确定目标用户面部细微特征信息，可以在获取人脸视频序列的基础上，利用FlowNet提取面部视频序列的光流特征。并对视频序列中的人脸分块以及AU运动单元标准的基础上，结合多尺度加权特征网络提取视频序列中的每一帧的加权空间特征，最后将视频序列的空间特征输入到卷积长短时记忆网络中完成微表情的分类识别，得到面部表情识别结果，即微表情识别结果。同时，对采集的心电信号、肌电信号、以及脑电信号进行预处理，可选的，滤除信号中的噪声，将同一时间维度上采集的生理信号输入至深度信念网络中提取高层特征，最后使用多核支持向量机完成分类识别，得到生理信号识别结果。
S140、基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果。
具体的，根据获取到生理信号识别结果以及微表情识别结果，可以在线调取与生理信号识别结果以及微表情识别结果对应的情感分析表，或者是从预先建立的数据库中获取与生理信号识别结果以及微表情识别结果对应的情感分析信息，并将其汇总得到情感分析表，以便工作人员基于该情感分析表确定目标用户当前的情感分析结果。其中，情感分析结果可以是确定目标用户的当前状态，可选的，用户的当前情感状态包括是否开心、是否悲伤，是否焦虑，是否心慌以及是否抑郁等信息中的至少一种。本发明实施例的技术方案，可以用于辅助判断用户是否说谎、是否有抑郁症的倾向或者是否精神病的倾向等。
考虑到针对同一种情感不同用户的反应可能有所不同，而且生理信号反应和微表情变化都有可能不同，可选是，分别对生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与目标用户对应的情感分析结果。
本发明实施例的技术方案，通过获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要人为观察去确定与目标用户对应的情感分析结果，因此得到的情感分析结果与实际状态存在一定的差异，存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
人为观察在上述技术方案的基础上，还需要预先训练对面部图像信息处理的卷积长短时记忆网络，对生理信号进行处理的深度信念网络。
可选的，获取多个训练样本数据，提取出训练样本数据中的面部图像信息进行训练，得到对面部图像信息处理的卷积长短时记忆网络；提取出训练样本数据中的生理信号进行训练，得到对生理信号处理的深度信念网络；其中，训练样本数据中包括处于不同状态时各个用户的面部图像信息，以及生理信号。
其中，为了提高模型的准确性，训练样本数据应该尽可能的多以及丰富，可选的，训练样本数据有5000，训练样本数据中包括：部分说谎用户的生理信号以及面部图像信息、部分精神状态异常，如，抑郁症患者的生理信号和面部图像、精神病患者的生理信号和面部图像信息、还包括其它患者的生理信号和面部图像信息，当然还包括正常用户的生理信号和面部图像信息。
具体的，获取多个样本训练数据，并获取样本训练数据中的生理信号来训练深度信念网络；同时，获取样本训练数据中的面部图像信息来训练卷积长短时记忆网络，以便基于训练得到的网络对目标用户的面部图像信息以及生理信号进行处理，以确定与目标用户对应的情感分析结果。
实施例二
在上述技术方案的基础上，为了提高确定与目标用户对应的情感分析结果，在实施例一的基础上还可以根据皮肤表层传感器检测到的表皮信息以及汗毛信息，进一步确定与目标用户对应的情感分析结果。图2为本发明实施例二所提供的一种情感分析方法另一流程示意图。如图2所示，方法包括：
S210、获取与目标用户相对应的生理信号。
示例性的，以测试用户是否说谎为例来介绍本方案。在目标用户回答问题的过程中，眼睛的闭合频率，吞咽频率以及采集到的肌电信号存在一定的差异，因此可以通过对采集到的生理信号进行处理来确定目标用户的当前状态。可选的，基于生理信号采集模块采集目标用户眉毛肌电信号、眼部肌电信号、嘴部肌电信号以及喉结肌电信号。
S220、获取与目标用户对应的面部图像信息。
通过至少一个摄像头采集目标用户的面部视频序列，获取面部视频序列中的面部图像信息。
S230、将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果。
需要说明的是，在本实施例中采用不同的模型对目标用户的生理信号以及面部图像信息进行处理，因此可以将面部图像信息输入至与其相对应的模型中，将生理信号输入至处理生理信号的模型中。
可选的，将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与面部图像信息相对应的加权空间特征；将面部视频序列的加权空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
需要说明的是，在对目标用户的面部图像信息进行处理之前，需要先对对视频序列中的每一帧图像进行处理。可选的，利用光流估计网络提取面部视频序列的光流特征；将面部图像信息划分为至少两个特征区域，根据光流特征和特征区域对面部图像信息进行标注。可以理解的是，面部图像信息的特征区域可以根据实际需求进行划分，例如，特征区域可以包括眉毛区域、眼部区域、嘴部区域和颈部区域等。
具体的，利用光流估计网络提取视频序列，即面部图像信息中的光流特征。同时，将面部图像信息划分为至少两个特征区域，即对面部图像信息进行分块。根据光流特征和划分的特征区域，对该帧图像上的面部信息进行标注。
在上述技术方案的基础上，还可以将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
也就是说，在对目标用户的面部图像信息处理的过程中，还可以将同一时刻采集到的生理参数信息输入至预先训练好的深度信念网络中，得到与目标用户对应的高层生理特征，在得到高层生理特征后，可以将高层生理特征输入至多核支持向量机中对其处理，得到与目标用户相对应的生理信号识别结果。
需要说明的是，在对目标用户的生理信号处理之前，先对生理信号进行预处理，其中，预处理包括滤除生理信号中的噪声信号等。
S240、基于皮肤表层传感器，检测目标用户的表皮信息，基于表皮信息，确定目标用户在不同时刻的状态信息，根据状态信息，更新与目标用户对应的生理信号识别结果以及微表情识别结果。
为了提高生理信号识别结果以及微表情识别结果的准确性，在采集目标用户的生理信号以及面部图像信息的同时，可以基于皮肤表层传感器检测目标用户的表皮信息。
其中，表皮信息中包括目标用户在测试过程中，体表的温度变化和汗毛信息。由于用户在紧张状态下体表温度存在一定的变化，因此可以通过检测目标用户的体表温度，来辅助确定与目标用户相对应的生理信号识别结果以及微表情识别结果。
具体的，基于皮肤表层传感器，检测目标用户的体表信息，以及汗毛信息，根据体表信息和汗毛信息，可以优化与目标用户相对应的生理信号识别结果以及微表情识别结果。
S250、分别对生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与目标用户对应的情感分析结果。
考虑到对情感反应的个体差异性，可选的，分别对生理信号识别结果以及微表情识别结果进行加权包括：根据目标用户的属性信息分别对生理信号识别结果以及微表情识别结果进行加权，其中，属性信息包括年龄、性别、职业以及所处的环境中的至少一种。
本发明实施例的技术方案，对生理信号以及微表情的识别均基于目标分类模型来实现，可以理解的是，在将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中之前，本发明实施例的情感分析方法还可以包括：根据目标用户的属性信息以及生理信号训练出与目标用户对应的生理信号分类模型；根据目标用户的属性信息以及面部图像信息训练出与目标用户对应的微表情分类模型。
可选地，分别对生理信号识别结果以及微表情识别结果进行加权包括：根据目标用户的生理信号识别结果以及微表情识别结果在至少两个信号采集阶段的差异，分别对生理信号识别结果以及微表情识别结果进行加权。例如，可以分别根据目标用户在测试前、测试中和测试后的生理信号识别结果以及微表情识别结果之间的差异，分别对生理信号识别结果以及微表情识别结果进行加权。例如，例如可以根据差异是否明显对生理信号识别结果以及微表情识别结果的权重。
本发明实施例的技术方案，通过获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要人为观察去确定与目标用户对应的情感分析结果，因此得到的情感分析结果与实际状态存在一定的差异，存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
实施例三
作为上述实施例的一优选实施例，图3为本发明实施例三所提供的一种基于微表情的信息处理方法示意图。如图3所示，所述方法包括：
在目标用户进行测试的过程中，基于摄像机采集目标用户的面部图像信息，即面部视频序列，同时基于生理信号采集设备，采集目标用户的生理信号，可选的，脑电、肌电、以及心电信号。将利用FlowNet提取面部视频序列中的光流特征，并人脸分块以及AU运动单元标注后，将其输入至预先训练的多尺度特征加权网络中提取出每一帧的加权空间特征，再将视频序列的空间特征输入至卷积长短时记忆网络中完成微表情的分类识别。在处理微表情的同时，对采集的生理信号预处理，然后对同一时间采集的生理信号输入至深度信念网络中提取出高层特征，进而使用多核支持向量机完成生理信号分类识别。当用户的情感发生变化时，可能用户生理信号和用户的微表情可能均会发生一定的变化，因此在得到微表情识别结果和生理信号识别结果的基础上，可以结合微表情识别结果和生理信号识别结果，对用户进行情感分析，得到情感分析结果。
本发明实施例的技术方案，通过获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要人为观察去确定与目标用户对应的情感分析结果，因此得到的情感分析结果与实际状态存在一定的差异，存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
实施例四
图4为本发明实施例四提供的一种情感分析系统的结构示意图，该装置包括：生理信号采集模块410、面部图像信息采集模块420、分类识别模块430和情感分析模块440。
其中，生理信号采集模块410，用于获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；面部图像信息采集模块420，用于获取与所述目标用户对应的面部图像信息；分类识别模块430，用于将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；情感分析模块430，用于基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析表。
本发明实施例的技术方案，通过获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要人为观察去确定与目标用户对应的情感分析结果，因此得到的情感分析结果与实际状态存在一定的差异，存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
在上述技术方案的基础上，所述生理信号采集模块包括：脑电采集模块和肌电采集模块，其中，所述脑电采集模块，用于通过目标用户佩戴的至少16通道的电极帽采集所述目标用户的脑电信号，并显示所述脑电信号；所述肌电采集模块，包括至少7个电极，分别设置于所述目标用户双眼的两侧、下侧、嘴角位置以及颈部，用于采集所述目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
在上述各技术方案基础上，所述生理信号采集模块还包括：心电采集模块，用于采集所述目标用户的心电信号。在上述各技术方案的基础上，所述面部图像信息采集模块包括通过至少一个摄像头，用于采集目标用户的面部视频序列。
在上述各技术方案的基础上，所述情感分析系统还包括：声音采集模块，用于采集目标用户的声音信息。
本发明实施例所提供的情感分析系统可执行本发明任意实施例所提供的情感分析方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性设备50的框图。图5显示的设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，设备50以通用计算设备的形式表现。设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该设备50交互的设备通信，和/或与使得该设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与设备50的其它模块通信。应当明白，尽管图5中未示出，可以结合设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的情感分析方法。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行情感分析方法。
该方法包括：
获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
获取与所述目标用户对应的面部图像信息；
将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种情感分析方法，其特征在于，包括：
获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
获取与所述目标用户对应的面部图像信息；
将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析结果。
2.根据权利要求1所述的方法，其特征在于，获取与所述目标用户对应的面部图像信息，包括：
通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果，包括：
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与所述面部图像信息相对应的加权空间特征；
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
4.根据权利要求3所述的方法，其特征在于，还包括：
利用光流估计网络提取面部视频序列的光流特征；
将所述面部图像信息划分为至少两个特征区域，根据所述光流特征和所述特征区域对所述面部图像信息进行标注。
5.根据权利要求1所述的方法，其特征在于，所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果，包括：
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；
将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
6.根据权利要求1所述的方法，其特征在于，所述肌电信号包括与所述目标用户对应的面部肌电信号；所述获取与目标用户相对应的生理信号包括：
基于面部肌电信号采集模块，分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
7.根据权利要求1所述的方法，其特征在于，还包括：
基于皮肤表层传感器，检测目标用户的表皮信息，其中，所述表皮信息中包括体表温度变化和汗毛信息；
基于所述表皮信息，确定所述目标用户在不同时刻的状态信息；
根据所述状态信息，更新与所述目标用户对应的生理信号识别结果以及微表情识别结果。
8.根据权利要求1所述的方法，其特征在于，所述基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析结果，包括：
分别对所述生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与所述目标用户对应的情感分析结果。
9.根据权利要求8所述的方法，其特征在于，所述分别对所述生理信号识别结果以及微表情识别结果进行加权，包括下述中的至少一项：
根据所述目标用户的属性信息分别对所述生理信号识别结果以及微表情识别结果进行加权，其中，所述属性信息包括年龄、性别、职业以及所处的环境中的至少一种；
根据所述目标用户的所述生理信号识别结果以及微表情识别结果在至少两个信号采集阶段的差异，分别对所述生理信号识别结果以及微表情识别结果进行加权。
10.一种情感分析系统，其特征在于，包括：
生理信号采集模块，用于获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
面部图像信息采集模块，用于获取与所述目标用户对应的面部图像信息；
分类识别模块，用于将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
情感分析模块，用于基于所述生理信号识别结果以及微表情识别结果，确定与所述目标用户对应的情感分析表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010013908.1A CN111222464B (zh) | 2020-01-07 | 2020-01-07 | 情感分析方法以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010013908.1A CN111222464B (zh) | 2020-01-07 | 2020-01-07 | 情感分析方法以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111222464A true CN111222464A (zh) | 2020-06-02 |
| CN111222464B CN111222464B (zh) | 2023-11-07 |
Family
ID=70831007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010013908.1A Active CN111222464B (zh) | 2020-01-07 | 2020-01-07 | 情感分析方法以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222464B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215962A (zh) * | 2020-09-09 | 2021-01-12 | 温州大学 | 一种虚拟现实情感刺激系统及其创建方法 |
| CN112244882A (zh) * | 2020-10-30 | 2021-01-22 | 北京中科心研科技有限公司 | 一种基于多模态生理数据的疾病预警方法和装置 |
| CN113297981A (zh) * | 2021-05-27 | 2021-08-24 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007043712A1 (ja) * | 2005-10-14 | 2007-04-19 | Nagasaki University | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107463874A (zh) * | 2017-07-03 | 2017-12-12 | 华南师范大学 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
| CN109036468A (zh) * | 2018-11-06 | 2018-12-18 | 渤海大学 | 基于深度信念网络和核非线性psvm的语音情感识别方法 |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN110287801A (zh) * | 2019-05-29 | 2019-09-27 | 中国电子科技集团公司电子科学研究院 | 一种微表情识别算法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| CN110555379A (zh) * | 2019-07-30 | 2019-12-10 | 华南理工大学 | 一种根据性别动态调整特征的人脸愉悦度估计方法 |
-
2020
- 2020-01-07 CN CN202010013908.1A patent/CN111222464B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007043712A1 (ja) * | 2005-10-14 | 2007-04-19 | Nagasaki University | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107463874A (zh) * | 2017-07-03 | 2017-12-12 | 华南师范大学 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN109036468A (zh) * | 2018-11-06 | 2018-12-18 | 渤海大学 | 基于深度信念网络和核非线性psvm的语音情感识别方法 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN110287801A (zh) * | 2019-05-29 | 2019-09-27 | 中国电子科技集团公司电子科学研究院 | 一种微表情识别算法 |
| CN110555379A (zh) * | 2019-07-30 | 2019-12-10 | 华南理工大学 | 一种根据性别动态调整特征的人脸愉悦度估计方法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215962A (zh) * | 2020-09-09 | 2021-01-12 | 温州大学 | 一种虚拟现实情感刺激系统及其创建方法 |
| CN112215962B (zh) * | 2020-09-09 | 2023-04-28 | 温州大学 | 一种虚拟现实情感刺激系统及其创建方法 |
| CN112244882A (zh) * | 2020-10-30 | 2021-01-22 | 北京中科心研科技有限公司 | 一种基于多模态生理数据的疾病预警方法和装置 |
| CN113297981A (zh) * | 2021-05-27 | 2021-08-24 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
| CN113297981B (zh) * | 2021-05-27 | 2023-04-07 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111222464B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Bota et al. | A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals | |
| Bulagang et al. | A review of recent approaches for emotion classification using electrocardiography and electrodermography signals | |
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| CN111222464B (zh) | 情感分析方法以及系统 | |
| Wang et al. | Facial expression video analysis for depression detection in Chinese patients | |
| US20210015416A1 (en) | Method for evaluating multi-modal emotion cognition capability of patient with autism spectrum disorder | |
| Donmez et al. | Emotion classification from EEG signals in convolutional neural networks | |
| US20160078771A1 (en) | Multi-view learning in detection of psychological states | |
| JP2004527313A (ja) | 被験者の行動解析 | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| Khalili et al. | Emotion detection using brain and peripheral signals | |
| Abadi et al. | Inference of personality traits and affect schedule by analysis of spontaneous reactions to affective videos | |
| CN109805944B (zh) | 一种儿童共情能力分析系统 | |
| Zhang et al. | Real-time mental stress detection using multimodality expressions with a deep learning framework | |
| Moshkova et al. | Facial emotional expression assessment in parkinson’s disease by automated algorithm based on action units | |
| Lu et al. | A dual model approach to EOG-based human activity recognition | |
| CN111568412A (zh) | 一种利用脑电信号重建视觉图像的方法及装置 | |
| CN115101191A (zh) | 一种帕金森疾病诊断系统 | |
| Hussain et al. | Classification of cognitive load from task performance & multichannel physiology during affective changes | |
| CN115439920B (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| CN110569968A (zh) | 基于电生理信号的创业失败恢复力评估方法及评估系统 | |
| CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
| CN115813343A (zh) | 儿童行为异常评估方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |