CN107463874A - 情绪识别方法及系统、及应用该方法的智能看护系统 - Google Patents
情绪识别方法及系统、及应用该方法的智能看护系统 Download PDFInfo
- Publication number
- CN107463874A CN107463874A CN201710533416.3A CN201710533416A CN107463874A CN 107463874 A CN107463874 A CN 107463874A CN 201710533416 A CN201710533416 A CN 201710533416A CN 107463874 A CN107463874 A CN 107463874A
- Authority
- CN
- China
- Prior art keywords
- emotion
- electroencephalogram
- value
- client
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000002996 emotional effect Effects 0.000 claims abstract description 18
- 230000036651 mood Effects 0.000 claims abstract description 15
- 230000008909 emotion recognition Effects 0.000 claims description 68
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000000474 nursing effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000006996 mental state Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 abstract 2
- 238000005267 amalgamation Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 16
- 238000012706 support-vector machine Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 239000013598 vector Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 206010027951 Mood swings Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Developmental Disabilities (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种情绪识别方法及系统、及应用该方法的智能看护系统，其中，该情绪识别方法包括步骤：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。由此本发明实现了通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。
Description
技术领域
本发明涉及情绪识别领域，特别是涉及一种情绪识别方法及系统、及应用该方法的智能看护系统。
背景技术
情绪是人的感觉、思想和行为的综合状态，其既包括人们由于个人经历对外界或自身刺激的心里反应，也包括随之产生的生理反应。情绪在人们的日常生活沟通交流中至关重要，而情绪识别可以应用到多个领域，如智能机器人控制、娱乐、教育、卫生保健甚至市场营销领域。
目前，情绪的识别一般是基于人的面部表情、声音或肢体语言等外在特征，虽然这些特征容易提取，但是也容易被伪装，尤其是当人们不想让别人知道他们的想法时，很可能会作出与上述特征相反的其它反应，故根据人体面部表情、声音或肢体语言等外在特征实现情绪识别的方法的可靠性较低，不能保证识别出来的情绪即为人体此时的情绪。
为了解决上述问题，现有也提出了一种基于脑电信号的情绪识别方法，以获取人体的内在特征，从而提高情绪识别的可靠性。但是，目前基于脑电信号的情绪识别的研究，大多数都还处于实验室状态，离实际应用尚有相当距离，其存在的主要问题有：
1、脑电信号的采集质量尚待改善、稳定性不高，且成本较高；
2、脑电信号的采集所在的真实环境较为复杂，会对脑电信号造成较大的影响，且脑电信号的处理对于伪迹去除算法有较高要求，需要更加有效地伪迹去除算法才能够将脑电信号中掺杂的眼电、肌电、心电、工频干扰、电磁干扰等信号及与情绪不相关的其它脑电信号去除掉；因此，脑电信号的预处理即去除伪迹信号的处理对算法的要求较高，实现难度较大；
3、由于脑电信号在信号表征的过程中具有一定的个性差异，且不同被试者对于同一刺激材料的反应存在差异，如何从这种差异中寻找稳定的情绪与脑电信号特征的对应关系，从而基本消除个体差异性，是一个具有挑战性的问题。
发明内容
为解决上述现有技术的缺点和不足，本发明提供了一种情绪识别方法及系统，通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。另外，为在医疗保健方面，能够及时获取被看护人的情绪状态，以使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助，本发明还提供了一种应用上述情绪识别方法的智能看护系统。
为实现本发明的第一目的，本发明提供了一种情绪识别方法，适于在计算设备中执行，该方法包括以下步骤：
获取同一时刻或同一时间段内的被测人脸图像和脑电信号；
对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；
根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。
由此通过以上技术方案，本发明实现了通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。
所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号，其中，被测人脸图像的获取包括以下步骤：
调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；
通过摄像设备获取人体正面图像；
显示人体正面图像，并于人体正面图像中生成人脸检测框；
通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；
以及，脑电信号的获取包括以下步骤：
调用脑电提取设备；
通过脑电提取设备获取被测人体的脑电信号。
通过对此处步骤的限定，有利于保证了人脸图像和脑电信号获取的准确性，从而进一步提高情绪识别的准确度。
进一步，在所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号中，在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；
当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。
通过对此处步骤的限定，有利于规律地测试并识别被测人体的情绪，从而能够更好地得知被测人体的情绪的变化规律，有利于丰富了情绪的识别结果，从而更加能够发现被测人体的情绪规律并作出合适的计划。
进一步，所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值，其中，对被测人脸图像的处理包括以下步骤：
对被测人脸图像中进行灰度化处理，得到人脸灰度图像；
对人脸灰度图像进行特征提取，得到表情原始特征数据；
对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；
将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；
以及，对脑电信号的处理包括以下步骤：
对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；
通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值。
通过对此处步骤的限定，有利于提高表情参数值和内心情绪参数值的准确度，以进一步提高情绪信息的准确度。
进一步，所述步骤对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析进行数据降维，得到表情特征值，包括以下步骤：
B1：通过离散余弦变换处理后的表情原始特征数据为一个M×N矩阵E0，其中，M为样本数目，N表示每个样本的数据维数；
B2：对所述矩阵E0进行样本矩阵中心化处理：
B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；
B22：对所述矩阵E0中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；
B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；
B3：计算并得到矩阵E的协方差矩阵；
B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；
B5：将所述矩阵E0与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵。
通过对此处步骤的限定，有利于减少数据集的维数，同时保持数据集中对方差贡献最大的特征，并减少表情参数值的计算量，降低计算复杂度。
进一步，在所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值之前，还包括步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入。
通过此处步骤的限定，有利于根据实际需要而确定是否对被测人脸图像和脑电信号进行处理。
进一步，所述步骤对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值中，情绪融合参数值Sture＝w1Sface+w2SEEG，其中，Sture表示情绪融合参数值，Sface表示表情参数值，SEEG表示内心情绪参数值，w1表示表情参数值的权重系数，w2表示内心情绪参数值的权重系数；
以及，所述w1和w2的获取步骤包括：
设定一损失函数Loss，其中，predict＝w1Sface+w2SEEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；
求出损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的初值；
将求得的w1和w2的初值分别覆盖原w1和w2的值，更新损失函数Loss；
通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；
求出最小化的损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的最终值。
通过此处步骤的限定，有利于提高情绪融合参数值的准确度，从而获取更加准确的情绪信息。
为实现本发明的第二目的，本发明还提供了与上述情绪识别方法相应的一种情绪识别系统，该系统包括
处理器，适于实现各指令；
存储器，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1～8任一项所述的情绪识别方法；
摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像；
以及脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。
由于本发明的情绪识别系统与本发明的情绪识别方法相应，故本发明的情绪识别系统具有与本发明的情绪识别方法相同的所有技术效果，在此不再赘述。
为实现本发明的第三目的，本发明还提供了一种应用上述情绪识别方法的智能看护系统，其包括摄像设备、脑电提取设备、客户端和服务器；
所述摄像设备，适于由所述服务器控制而获取相关图像；
所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号；
所述客户端，适于与所述服务器进行数据交互，并执行以下指令：
提供用户注册平台和用户登录平台；
获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；
判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；
提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端；
所述服务器，适于与客户端进行数据交互，并执行以下指令：
通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；
对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；
根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；
根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；
根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；
根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；
同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；
根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。
由此通过上述技术方案，本发明的智能看护系统能够及时获取被看护人的情绪状态，使看护人采取更好地措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明情绪识别方法的方法流程图；
图2为仅基于表情的情绪识别的实验效果准确率图；
图3为仅基于脑电信号的情绪识别的实验效果准确率图；
图4为本发明情绪识别方法、仅基于表情的情绪识别、以及仅基于脑电信号的情绪识别的三者之间的实验效果准确率对比示意图；
图5为本发明智能看护系统中显示于客户端的显示屏中的情绪波动占比总览图；
图6为本发明智能看护系统中显示于客户端的显示屏中的详细情绪波动预览图；
图7为本发明智能看护系统中显示于客户端的显示屏中的特定情绪波动图。
具体实施方式
请参阅图1，本发明提供了一种情绪识别方法，适于在计算设备中执行，该方法包括以下步骤：
S1：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；
S2：对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
S3：对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；
S4：根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。
为进一步提高本发明的情绪识别的准确度，以下为本实施例中所述步骤S1～S4的最优具体方案，而在其它变形实施例中，只要能从本实施例中实现步骤S1～S4的具体方案获取相应的变形方案或在本领域中能够不付出创造性得到实现步骤S1～S4的所有方案都应该纳入本发明的实施手段和保护范围内。
具体地，本实施例中，为保证人脸图像和脑电信号获取的准确性，从而进一步提高情绪识别的准确度，优选地，所述步骤S1中，被测人脸图像的获取包括以下步骤：
S111：调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；
S112：通过摄像设备获取人体正面图像；
S113：显示人体正面图像，并于人体正面图像中生成人脸检测框；在该步骤S113中，是通过Haar分类器使用Adaboost算法训练区分人脸和非人脸的强分类器，并将通过筛选式级联将训练得到的强分类器级联在一起，实现对人脸的准确检测，其具体训练方式与现有技术相同，故不赘述。由此可根据使用需要在相关图像上形成人脸检测框，从而实现对人脸的检测和提取。
S114：通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；
以及，脑电信号的获取包括以下步骤：
S121：调用脑电提取设备；在本实施例中，所述脑电提取设备采用Neurosky公司的脑电提取设备；
S122：通过脑电提取设备获取被测人体的脑电信号；在本实施例中，通过Neurosky公司的脑电提取设备提取出的每种脑电波的值也即脑电信号是一个无符号整数。
在本实施例中，所述步骤S111～S114和S121～S122是并行的。
为有规律地测试并识别被测人体的情绪，从而能够更好地得知被测人体的情绪的变化规律，有利于丰富了情绪的识别结果，从而更加能够发现被测人体的情绪规律并作出合适的计划，作为一种更优的技术方案，在所述步骤S1中，人脸图像和脑电信号的获取是在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。
优选地，0＜T1＜300s，0＜T2＜300s，而在其它实施例中，可根据实际使用需求而重新定义T1和T2的大小，不一定是要在本发明的范围内。
进一步优选地，在本实施例中，在获取人脸图像的时间内每隔1s获取一次脑电信号。
优选地，所述步骤S2中，对被测人脸图像的处理包括以下步骤：
S211：对被测人脸图像中进行灰度化处理，得到人脸灰度图像；在经过灰度化处理后，还可以进一步通过高斯滤波处理，以去除更多噪声、光照及其他与表情无关的干扰信息，提高图像质量；
S212：对人脸灰度图像进行特征提取，得到表情原始特征数据；此处对人脸灰度图像的特征提取指的是提取全部人脸图像像素的特征，而提取方法与现有人脸特征提取方法相同，故在此不再赘述；
S213：对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析(PCA，Principal ComponentAnalysis)进行数据降维，得到表情特征值，包括以下步骤：
B1：通过离散余弦变换(DCT，Discrete Cosine Transform)处理后的表情原始特征数据为一个M×N矩阵E0，其中，M为样本数目，N表示每个样本的数据维数；
B2：对所述矩阵E0进行样本矩阵中心化处理：
B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；
B22：对所述矩阵E0中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；
B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；
B3：计算并得到矩阵E的协方差矩阵；其中，协方差矩阵的计算与现有技术相同，故在此不再赘述；
B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；
B5：将所述矩阵E0与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵；
S214：将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；在本实施例中，只要将现有的卷积神经网络应用于表情特征值的多次训练即可得到训练好的卷积神经网络，其具体的训练方法和训练过程与现有技术的相同，故在此也不再赘述；
以及，对脑电信号的处理包括以下步骤：
S221：对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；
S222：通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值；其中，通过预先训练好的SVM(Support Vector Machine，支持向量机)分类器对脑电特征值进行特征分类指的是：将被测人体的内心情绪分类，分成虚弱、普通和强烈三类，以对应情绪波动的强弱程度；另外，所述内心情绪参数值反映的是内心情绪波动，也可以理解为是内心情绪波动信息。
本实施例中，使用交叉验证方法对基于脑电特征值对SVM分类器进行多次训练和检验，并在交叉验证中，将训练数据分成n块，通过SVM算法对n-1块数据进行训练，并用最后一块进行检验，且每块数据都被SVM算法轮流处理若干次，由此保证SVM算法可以在训练中评估所有数据，得到一个准确率高的SVM分类器。
由于脑电信号一般由DELTA、THETA,、ALPHA1、ALPHA2、BETA1、BETA2、GAMMA1、GAMMA2共8种信号组成，故脑电信号是一个8维向量，则必须基于脑电信号对SVM分类器进行训练，以使SVM分类器能够进行特征识别，得到相关的内心情绪参数值。具体地，本发明对SVM分类器的训练包括以下步骤：
D1：给定脑电信号训练样本D，设脑电信号的每个样本点为(xi，yi)，其中，并基于训练样本D在样本空间中寻找得到一个划分超平面，以使不用类别的样本分开；
D2：设线性可分时存在的上述划分超平面可表示为：f(x)＝wTx+b，其中，w为待确定的行向量，b为在实际数据训练中训练得到的偏置常数，以提高模型适应度；
D3：将分类任务分成两个类别，将y＝+1的情况视为一个类别，将y＝-1和y＝0的情况视为一个类别，此时计算每个样本点到超平面的距离r，其中，如果yi＝+1，则wTx+b＞0，如果yi＝-1或0，则wTx+b＜0；
D4：令如果距离超平面最近的训练样本点使得上式等号成立，则这些训练样本点为支持向量；支持向量的点到超平面的距离之和为
D5：判断是否存在满足条件的w值：通过拉格朗日乘子算法计算公式s.t.yi(wTx+b)≥1,i＝1,2,...,m的等价公式s.t.yi(wTx+b)≥1,i＝1,2,...,m的最优解，如果存在最优解也即w值，则执行步骤D6，否则，表示不存在w值，并执行步骤D7；
D6：将w值代入到公式f(x)＝wTx+b，求得线性可分时的超平面；
D7：w值不存在，表示线性不可分，此时存在超平面可将样本从原始空间映射到一个更高维的空间，使得训练样本D在整个样本空间线性可分，设g(x)为x映射后的特征向量，则在特征空间中划分超平面的模型可参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝wTg(x)+b，求得线性可分时的超平面；参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝wTg(x)+b，求得线性可分时的超平面；以表示为f(x)＝wTg(x)+b；
D8：参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝wTg(x)+b，求得线性可分时的超平面；
D9：将从所述步骤D6或D8得到的超平面函数模型记录为f1(x)；
D10：根据f1(x)对y＝-1和y＝0的情况进行分类，此时计算每个样本点到超平面的距离r，其中，如果yi＝0，则f1(x)＞0，如果yi＝-1，则f1(x)＜0，并根据所述D4～D8求得相应的超平面函数模型f2(x)。
由此通过步骤D1～D9不断对超平面函数模型f2(x)进行训练，实现超平面函数模型f2(x)能够对脑电特征值进行准确分类，以得到最好的SVM分类器，由此能够准确地对脑电特征值进行特征分类，并得到相应的内心情绪参数值。
在计算内心情绪参数值时，只要将得到的脑电特征值作为输入值输入到训练好的SVM分类器中，也即将脑电特征值作为变量x输入到训练好的SVM分类器中的超平面函数模型f2(x)中，即可计算得到此时的内心情绪参数值f2(x)。
进一步，在执行所述步骤S2前，先执行步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入；其中，在本实施例中，监听人脸检测框内是否有信号输入中的信号指的是鼠标信号，也即，如果在人体检测框内监听到因按击鼠标左键或右键所产生的输入信号时，也即表示人脸检测框内有信号输入，即可进行步骤S2。
进一步，所述步骤S3中，情绪融合参数值Sture＝w1Sface+w2SEEG，其中，Sture表示情绪融合参数值，Sface表示表情参数值，SEEG表示内心情绪参数值，w1表示表情参数值的权重系数，w2表示内心情绪参数值的权重系数；所述w1和w2的获取步骤包括：
C1：设定一损失函数Loss，其中，predict＝w1Sface+w2SEEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；
C2：求出损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的初值；
C3：将求得的w1和w2的初值分别覆盖原w1和w2的值，更新损失函数Loss；
C4：通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；
C5：求出最小化的损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的最终值。
进一步，所述步骤S4中，情绪融合数据库是通过对大量实验者的实际情绪和识别出的情绪信息进行统计分析得到的。
另外，在所述步骤S4中，还可以将每个被测人体的情绪信息按照时间顺序整合并存储形成相应的个人情绪数据库，并为了更加清楚被测人体的情绪变化，还可以增加步骤S5：根据个人情绪数据库统计该被测人体在某段时间内的情绪变化，得到相应的心态状况，也可以将该情绪变化绘制成相应的曲线。
在实际中，选取了20名18～22岁的实验对象，其中的男女比例为1：1。对每个对象检测8种基本表情，每种表情检测3次。被测对象的内心的心情状态各有不同，但表情都被要求装成所需要的表情。用总体准确率(识别准确的个数与总体识别个数的比例)评估识别的效果：
首先，对于仅仅基于表情的情绪识别，表情识别实验效果准确率如图2表示，其中，x轴表示实验者编号，y轴表示准确率。由此根据图2可知，虽然对人脸的各种表情准确率能够高达90％左右，但是对内心情绪波动程度的辨别程度几乎为0。因此，单纯基于人脸图像对真实情绪检测的准确率并不高。
其次，对于仅仅基于脑电信号的情绪识别，只利用脑电提取设备，对每个对象的不同的内心情绪分别检测10次，将每人每次的检测作为一个样本，进行内心情绪波动程度的检测，检测效果如图3所示。由此可知，仅仅利用脑电信号对内心情绪波动检测的方法对内心情绪波动微弱检测的召回率较差，但在其它方面均可达到80％的准确率。
最后，基于本发明的情绪识别方法的情绪识别，在表情识别的基础上结合脑电信号进行情绪识别，本发明的情绪识别方法、仅基于表情的情绪识别、以及仅基于脑电信号的情绪识别三者对情绪强烈、情绪正常、情绪微弱的三种情绪的识别效果如图4所示，其中，x轴表示实验者编号，y轴表示准确率。由此可知，仅基于表情的情绪识别进行真实情绪识别时具有较高的波动性，因为实验者只要懂得假装自己的面部表情即可成功地骗过机器；而基于本发明情绪识别方法的识别能够很好地弥补了仅基于单一信息源识别的缺陷，在检测出面部表情的基础上，还检测出了内心情绪的波动程度，这部分准确率在80％左右，很大程度上拓宽了情绪信息的广度。
相应地，本发明还提供了与上述情绪识别方法相应的一种情绪识别系统，该系统包括处理器、存储器、摄像设备和脑电提取设备。
所述处理器，适于实现各指令。
所述存储器，适于存储多条指令，所述指令适于由处理器加载并执行本发明的情绪识别方法的所有步骤，具体步骤可查看本发明的情绪识别方法，故在此不赘述。
所述摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像。
所述脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。
另外，为了使得本发明的情绪识别方法更好地应用于医疗保健领域，以能够及时获取被看护人的情绪状态，使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助，本发明还提供了一种应用上述情绪识别方法的智能看护系统，其包括摄像设备、脑电提取设备、客户端和服务器。
所述摄像设备，适于由所述服务器控制而获取相关图像。
所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号。
所述客户端，适于与所述服务器进行数据交互，并执行以下指令：
步骤E1：提供用户注册平台和用户登录平台；在本实施例中，会在客户端中设置相应的看护应用程序或软件，而该看护应用程序或软件的功能及实现可参照本发明需要实现的功能进行设计完成，其设计完成所涉及的方法与现有客户端应用程序的设计方法相同，故不赘述；
步骤E2：获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；
步骤E3：判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；
步骤E4：提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端。
在本实施例中，根据实际操作需要，客户端从服务器接收到的相应数据后的显示可以包括图5～7三种显示方式，其中，图5所示为显示于客户端的显示屏中的情绪波动占比总览图，图6为显示于客户端的显示屏中的详细情绪波动预览图，图7为显示于客户端的显示屏中的特定情绪波动图。
所述服务器，适于与客户端进行数据交互，并执行以下指令：
步骤F1：通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；
步骤F2：对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
步骤F3：对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；
步骤F4：根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；
步骤F5：根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；
步骤F6：根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；
步骤F7：根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；在本实施例中，紧急情况的判定是先根据被看护人的情绪情况而设定一个阈值，当求得的看护人的情绪信息的值超过该阈值，则表示其情绪不稳定并处于紧急状况；
步骤F8：同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；
步骤F9：根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。
其中，所述步骤F1～步骤F5、步骤F6～步骤F7、步骤F8、步骤F9之间为并行执行。并且，所述步骤F1～步骤F4的实现原理与本发明的情绪识别方法的步骤S1～步骤S4的实现原理相同，故可参照步骤S1～步骤S4对所述步骤F1～步骤F4进行理解，在此不再赘述。
相对于现有技术，本发明情绪识别方法及系统通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响；同时本发明中应用所述情绪识别方法的智能看护系统能够及时获取被看护人的情绪状态，使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (9)
1.一种情绪识别方法，适于在计算设备中执行，其特征在于：该方法包括以下步骤：
获取同一时刻或同一时间段内的被测人脸图像和脑电信号；
对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；
根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。
2.根据权利要求1所述的情绪识别方法，其特征在于：所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号，其中，被测人脸图像的获取包括以下步骤：
调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；
通过摄像设备获取人体正面图像；
显示人体正面图像，并于人体正面图像中生成人脸检测框；
通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；
以及，脑电信号的获取包括以下步骤：
调用脑电提取设备；
通过脑电提取设备获取被测人体的脑电信号。
3.根据权利要求2所述的情绪识别方法，其特征在于：在所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号中，在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；
当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。
4.根据权利要求2或3所述的情绪识别方法，其特征在于：所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值，其中，对被测人脸图像的处理包括以下步骤：
对被测人脸图像中进行灰度化处理，得到人脸灰度图像；
对人脸灰度图像进行特征提取，得到表情原始特征数据；
对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；
将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；
以及，对脑电信号的处理包括以下步骤：
对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；
通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值。
5.根据权利要求4所述的情绪识别方法，其特征在于：所述步骤对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析进行数据降维，得到表情特征值，包括以下步骤：
B1：通过离散余弦变换处理后的表情原始特征数据为一个M×N矩阵E0，其中，M为样本数目，N表示每个样本的数据维数；
B2：对所述矩阵E0进行样本矩阵中心化处理：
B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；
B22：对所述矩阵E0中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；
B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；
B3：计算并得到矩阵E的协方差矩阵；
B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；
B5：将所述矩阵E0与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵。
6.根据权利要求4所述的情绪识别方法，其特征在于：在所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值之前，还包括步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入。
7.根据权利要求1或2或3或5或6所述的情绪识别方法，其特征在于：所述步骤对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值中，情绪融合参数值Sture＝w1Sface+w2SEEG，其中，Sture表示情绪融合参数值，Sface表示表情参数值，SEEG表示内心情绪参数值，w1表示表情参数值的权重系数，w2表示内心情绪参数值的权重系数；
以及，所述w1和w2的获取步骤包括：
设定一损失函数Loss，其中，predict＝w1Sface+w2SEEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；
求出损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的初值；
将求得的w1和w2的初值分别覆盖原w1和w2的值，更新损失函数Loss；
通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；
求出最小化的损失函数Loss的值最小时对应的系数w1和w2，得到w1和w2的最终值。
8.一种情绪识别系统，其特征在于：包括
处理器，适于实现各指令；
存储器，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1～7任一项所述的情绪识别方法；
摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像；
以及脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。
9.一种智能看护系统，其特征在于：包括摄像设备、脑电提取设备、客户端和服务器；
所述摄像设备，适于由所述服务器控制而获取相关图像；
所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号；
所述客户端，适于与所述服务器进行数据交互，并执行以下指令：
提供用户注册平台和用户登录平台；
获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；
判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；
提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端；
所述服务器，适于与客户端进行数据交互，并执行以下指令：
通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；
对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；
对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；
根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；
根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；
根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；
根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；
同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；
根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710533416.3A CN107463874A (zh) | 2017-07-03 | 2017-07-03 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710533416.3A CN107463874A (zh) | 2017-07-03 | 2017-07-03 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107463874A true CN107463874A (zh) | 2017-12-12 |
Family
ID=60546637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710533416.3A Pending CN107463874A (zh) | 2017-07-03 | 2017-07-03 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107463874A (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108056774A (zh) * | 2017-12-29 | 2018-05-22 | 中国人民解放军战略支援部队信息工程大学 | 基于视频刺激材料的实验范式情绪分析实现方法及其装置 |
| CN108279777A (zh) * | 2018-02-11 | 2018-07-13 | 广东欧珀移动通信有限公司 | 脑电波控制方法及相关设备 |
| CN108334766A (zh) * | 2018-02-13 | 2018-07-27 | 广东欧珀移动通信有限公司 | 电子装置、解锁方法及相关产品 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN108962395A (zh) * | 2018-09-06 | 2018-12-07 | 南京龙渊微电子科技有限公司 | 一种基于并行分数阶生理信号实时采集和分析方法 |
| CN109727653A (zh) * | 2018-08-31 | 2019-05-07 | 广州华见智能科技有限公司 | 一种社区智能健康监控系统 |
| CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
| WO2019137538A1 (en) * | 2018-01-12 | 2019-07-18 | Huawei Technologies Co., Ltd. | Emotion representative image to derive health rating |
| CN110090119A (zh) * | 2019-06-05 | 2019-08-06 | 北京大学深圳医院 | 一种基于大数据技术的昏迷患者护理智慧病床 |
| CN110237372A (zh) * | 2019-07-24 | 2019-09-17 | 南阳医学高等专科学校第一附属医院 | 小儿智能雾化器 |
| CN110490152A (zh) * | 2019-08-22 | 2019-11-22 | 珠海格力电器股份有限公司 | 基于图像识别的信息分享方法及电子设备 |
| CN110517085A (zh) * | 2019-08-27 | 2019-11-29 | 新华网股份有限公司 | 生成展示报告方法、电子设备及计算机可读存储介质 |
| CN110826637A (zh) * | 2019-11-11 | 2020-02-21 | 广州国音智能科技有限公司 | 情绪识别方法、系统及计算机可读存储介质 |
| CN110991178A (zh) * | 2019-11-08 | 2020-04-10 | 苏宁金融科技(南京)有限公司 | 智能客服与人工客服的切换方法、装置及计算机设备 |
| CN111046854A (zh) * | 2020-01-10 | 2020-04-21 | 北京服装学院 | 一种脑电波外部识别方法、装置及系统 |
| CN111191483A (zh) * | 2018-11-14 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 看护方法、装置及存储介质 |
| CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
| CN111297380A (zh) * | 2020-02-12 | 2020-06-19 | 电子科技大学 | 一种基于时空卷积核心块的情绪识别方法 |
| KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
| CN111639518A (zh) * | 2020-03-06 | 2020-09-08 | 上海卓繁信息技术股份有限公司 | 一种满意度测评方法，装置及存储设备 |
| CN111717219A (zh) * | 2020-06-03 | 2020-09-29 | 智车优行科技（上海）有限公司 | 变换天窗图案的方法、系统及汽车 |
| CN112220455A (zh) * | 2020-10-14 | 2021-01-15 | 深圳大学 | 基于视频脑电信号的情绪识别方法、装置及计算机设备 |
| CN112270972A (zh) * | 2020-10-22 | 2021-01-26 | 新华网股份有限公司 | 情感交流信息处理系统 |
| CN112562260A (zh) * | 2020-12-16 | 2021-03-26 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112568915A (zh) * | 2019-09-11 | 2021-03-30 | 中国科学院自动化研究所 | 基于多任务学习的立体显示视疲劳评估方法、系统、装置 |
| CN112842337A (zh) * | 2020-11-11 | 2021-05-28 | 郑州大学第一附属医院 | 一种用于移动查房场景的情感疏导系统及方法 |
| CN112906555A (zh) * | 2021-02-10 | 2021-06-04 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN113111855A (zh) * | 2021-04-30 | 2021-07-13 | 北京邮电大学 | 一种多模态情感识别方法、装置、电子设备及存储介质 |
| CN113139812A (zh) * | 2021-04-27 | 2021-07-20 | 中国工商银行股份有限公司 | 用户的交易风险识别方法、装置和服务器 |
| CN113807904A (zh) * | 2020-06-17 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 物品推荐方法、装置和系统、计算机系统和存储介质 |
| CN113855020A (zh) * | 2021-09-18 | 2021-12-31 | 中国信息通信研究院 | 用于情绪识别的方法及装置、计算机设备、存储介质 |
| CN114366107A (zh) * | 2022-02-23 | 2022-04-19 | 天津理工大学 | 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法 |
| WO2022087965A1 (zh) * | 2020-10-27 | 2022-05-05 | 垒途智能教科技术研究院江苏有限公司 | 一种用于眼动仪的情感识别系统及方法 |
| CN116115226A (zh) * | 2023-03-02 | 2023-05-16 | 华南师范大学 | 基于脑电信号的情绪识别方法、装置和设备 |
| CN116269437A (zh) * | 2023-03-23 | 2023-06-23 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090062681A1 (en) * | 2007-08-29 | 2009-03-05 | Neurofocus, Inc. | Content based selection and meta tagging of advertisement breaks |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析系统及自闭症儿童监护辅助系统 |
| CN102780651A (zh) * | 2012-07-21 | 2012-11-14 | 上海量明科技发展有限公司 | 在即时通信消息中加注情绪数据的方法、客户端及系统 |
| CN104391569A (zh) * | 2014-10-15 | 2015-03-04 | 东南大学 | 基于认知与情绪状态多模态感知的脑机接口系统 |
| CN106203344A (zh) * | 2016-07-12 | 2016-12-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的情绪识别方法及系统 |
| CN106778497A (zh) * | 2016-11-12 | 2017-05-31 | 上海任道信息科技有限公司 | 一种基于综合检测的智能养老看护方法及系统 |
-
2017
- 2017-07-03 CN CN201710533416.3A patent/CN107463874A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090062681A1 (en) * | 2007-08-29 | 2009-03-05 | Neurofocus, Inc. | Content based selection and meta tagging of advertisement breaks |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析系统及自闭症儿童监护辅助系统 |
| CN102780651A (zh) * | 2012-07-21 | 2012-11-14 | 上海量明科技发展有限公司 | 在即时通信消息中加注情绪数据的方法、客户端及系统 |
| CN104391569A (zh) * | 2014-10-15 | 2015-03-04 | 东南大学 | 基于认知与情绪状态多模态感知的脑机接口系统 |
| CN106203344A (zh) * | 2016-07-12 | 2016-12-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的情绪识别方法及系统 |
| CN106778497A (zh) * | 2016-11-12 | 2017-05-31 | 上海任道信息科技有限公司 | 一种基于综合检测的智能养老看护方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SANDER KOELSTRA 等: "Fusion of facial expressions and EEG for implicit affective tagging", 《IMAGE AND VISION COMPUTING》 * |
| 曾阳艳，叶柏龙: "基于PCA方法的人脸特征提取和检测", 《人工智能及识别技术》 * |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108056774A (zh) * | 2017-12-29 | 2018-05-22 | 中国人民解放军战略支援部队信息工程大学 | 基于视频刺激材料的实验范式情绪分析实现方法及其装置 |
| WO2019137538A1 (en) * | 2018-01-12 | 2019-07-18 | Huawei Technologies Co., Ltd. | Emotion representative image to derive health rating |
| US10610109B2 (en) | 2018-01-12 | 2020-04-07 | Futurewei Technologies, Inc. | Emotion representative image to derive health rating |
| CN108279777A (zh) * | 2018-02-11 | 2018-07-13 | 广东欧珀移动通信有限公司 | 脑电波控制方法及相关设备 |
| CN108279777B (zh) * | 2018-02-11 | 2021-06-25 | Oppo广东移动通信有限公司 | 脑电波控制方法及相关设备 |
| CN108334766A (zh) * | 2018-02-13 | 2018-07-27 | 广东欧珀移动通信有限公司 | 电子装置、解锁方法及相关产品 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN109727653A (zh) * | 2018-08-31 | 2019-05-07 | 广州华见智能科技有限公司 | 一种社区智能健康监控系统 |
| CN108962395A (zh) * | 2018-09-06 | 2018-12-07 | 南京龙渊微电子科技有限公司 | 一种基于并行分数阶生理信号实时采集和分析方法 |
| CN108962395B (zh) * | 2018-09-06 | 2022-06-07 | 南京龙渊微电子科技有限公司 | 一种基于并行分数阶生理信号实时采集和分析方法 |
| CN111191483A (zh) * | 2018-11-14 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 看护方法、装置及存储介质 |
| KR102243294B1 (ko) | 2018-11-30 | 2021-04-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
| KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
| CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
| CN110090119A (zh) * | 2019-06-05 | 2019-08-06 | 北京大学深圳医院 | 一种基于大数据技术的昏迷患者护理智慧病床 |
| CN110237372B (zh) * | 2019-07-24 | 2021-11-09 | 南阳医学高等专科学校第一附属医院 | 小儿智能雾化器 |
| CN110237372A (zh) * | 2019-07-24 | 2019-09-17 | 南阳医学高等专科学校第一附属医院 | 小儿智能雾化器 |
| CN110490152A (zh) * | 2019-08-22 | 2019-11-22 | 珠海格力电器股份有限公司 | 基于图像识别的信息分享方法及电子设备 |
| CN110517085A (zh) * | 2019-08-27 | 2019-11-29 | 新华网股份有限公司 | 生成展示报告方法、电子设备及计算机可读存储介质 |
| CN112568915B (zh) * | 2019-09-11 | 2022-02-15 | 中国科学院自动化研究所 | 基于多任务学习的立体显示视疲劳评估方法、系统、装置 |
| CN112568915A (zh) * | 2019-09-11 | 2021-03-30 | 中国科学院自动化研究所 | 基于多任务学习的立体显示视疲劳评估方法、系统、装置 |
| CN110991178A (zh) * | 2019-11-08 | 2020-04-10 | 苏宁金融科技(南京)有限公司 | 智能客服与人工客服的切换方法、装置及计算机设备 |
| CN110991178B (zh) * | 2019-11-08 | 2024-06-28 | 苏宁金融科技(南京)有限公司 | 智能客服与人工客服的切换方法、装置及计算机设备 |
| CN110826637A (zh) * | 2019-11-11 | 2020-02-21 | 广州国音智能科技有限公司 | 情绪识别方法、系统及计算机可读存储介质 |
| CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
| CN111222464B (zh) * | 2020-01-07 | 2023-11-07 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
| CN111046854A (zh) * | 2020-01-10 | 2020-04-21 | 北京服装学院 | 一种脑电波外部识别方法、装置及系统 |
| CN111046854B (zh) * | 2020-01-10 | 2024-01-26 | 北京服装学院 | 一种脑电波外部识别方法、装置及系统 |
| CN111297380A (zh) * | 2020-02-12 | 2020-06-19 | 电子科技大学 | 一种基于时空卷积核心块的情绪识别方法 |
| CN111639518A (zh) * | 2020-03-06 | 2020-09-08 | 上海卓繁信息技术股份有限公司 | 一种满意度测评方法，装置及存储设备 |
| CN111717219A (zh) * | 2020-06-03 | 2020-09-29 | 智车优行科技（上海）有限公司 | 变换天窗图案的方法、系统及汽车 |
| CN113807904A (zh) * | 2020-06-17 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 物品推荐方法、装置和系统、计算机系统和存储介质 |
| CN112220455A (zh) * | 2020-10-14 | 2021-01-15 | 深圳大学 | 基于视频脑电信号的情绪识别方法、装置及计算机设备 |
| CN112270972A (zh) * | 2020-10-22 | 2021-01-26 | 新华网股份有限公司 | 情感交流信息处理系统 |
| WO2022087965A1 (zh) * | 2020-10-27 | 2022-05-05 | 垒途智能教科技术研究院江苏有限公司 | 一种用于眼动仪的情感识别系统及方法 |
| CN112842337A (zh) * | 2020-11-11 | 2021-05-28 | 郑州大学第一附属医院 | 一种用于移动查房场景的情感疏导系统及方法 |
| CN112562260A (zh) * | 2020-12-16 | 2021-03-26 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112562260B (zh) * | 2020-12-16 | 2022-08-09 | 浙江大华技术股份有限公司 | 防走失方法及装置 |
| CN112906555B (zh) * | 2021-02-10 | 2022-08-05 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN112906555A (zh) * | 2021-02-10 | 2021-06-04 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN113139812A (zh) * | 2021-04-27 | 2021-07-20 | 中国工商银行股份有限公司 | 用户的交易风险识别方法、装置和服务器 |
| CN113111855B (zh) * | 2021-04-30 | 2023-08-29 | 北京邮电大学 | 一种多模态情感识别方法、装置、电子设备及存储介质 |
| CN113111855A (zh) * | 2021-04-30 | 2021-07-13 | 北京邮电大学 | 一种多模态情感识别方法、装置、电子设备及存储介质 |
| CN113855020A (zh) * | 2021-09-18 | 2021-12-31 | 中国信息通信研究院 | 用于情绪识别的方法及装置、计算机设备、存储介质 |
| CN114366107A (zh) * | 2022-02-23 | 2022-04-19 | 天津理工大学 | 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法 |
| CN116115226A (zh) * | 2023-03-02 | 2023-05-16 | 华南师范大学 | 基于脑电信号的情绪识别方法、装置和设备 |
| CN116269437A (zh) * | 2023-03-23 | 2023-06-23 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
| CN116269437B (zh) * | 2023-03-23 | 2024-04-02 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107463874A (zh) | 情绪识别方法及系统、及应用该方法的智能看护系统 | |
| Swami et al. | A novel robust diagnostic model to detect seizures in electroencephalography | |
| Kächele et al. | Methods for person-centered continuous pain intensity assessment from bio-physiological channels | |
| Zheng et al. | Transfer components between subjects for EEG-based emotion recognition | |
| CN114052735A (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
| Agarwal et al. | Classification of alcoholic and non-alcoholic EEG signals based on sliding-SSA and independent component analysis | |
| CN108932511B (zh) | 一种基于脑机交互的购物决策方法 | |
| TWI535420B (zh) | 多生理訊號之情感運算引擎系統及方法 | |
| Arnau-González et al. | ES1D: A deep network for EEG-based subject identification | |
| Lee et al. | Action-perception cycle learning for incremental emotion recognition in a movie clip using 3D fuzzy GIST based on visual and EEG signals | |
| Kelsey et al. | Applications of sparse recovery and dictionary learning to enhance analysis of ambulatory electrodermal activity data | |
| US11630512B2 (en) | Determination device, determination method, program, and information storage medium | |
| Sharma et al. | DepCap: a smart healthcare framework for EEG based depression detection using time-frequency response and deep neural network | |
| Putra et al. | EEG-based emotion classification using wavelet decomposition and K-nearest neighbor | |
| Reeja et al. | EEG signal-based human emotion detection using an artificial neural network | |
| Immanuel et al. | Recognition of emotion with deep learning using EEG signals-the next big wave for stress management in this covid-19 outbreak | |
| Gómez-Tapia et al. | On the minimal amount of EEG data required for learning distinctive human features for task-dependent biometric applications | |
| Cecotti | Convolutional neural networks for event-related potential detection: impact of the architecture | |
| Li et al. | Classification of coma/brain-death EEG dataset based on one-dimensional convolutional neural network | |
| Zhou et al. | End-to-end deep learning for stress recognition using remote photoplethysmography | |
| US11768258B2 (en) | Signal separating apparatus, signal separating method, and non-transitory recording medium | |
| Hasan | Emotion state analysis by Electroencephalogram | |
| Hasan et al. | Diagnosis of tobacco addiction using medical signal: An EEG-based time-frequency domain analysis using machine learning | |
| Panayotova et al. | One Approach to using R for Bayesian Analysis of Brain Signals | |
| Safie et al. | Footprint biometric authentication using SqueezeNet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171212 |
|
| RJ01 | Rejection of invention patent application after publication |