CN112597967A - 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 - Google Patents
沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 Download PDFInfo
- Publication number
- CN112597967A CN112597967A CN202110008234.0A CN202110008234A CN112597967A CN 112597967 A CN112597967 A CN 112597967A CN 202110008234 A CN202110008234 A CN 202110008234A CN 112597967 A CN112597967 A CN 112597967A
- Authority
- CN
- China
- Prior art keywords
- emotion
- trainee
- virtual
- training
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 48
- 230000008451 emotion Effects 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000002474 experimental method Methods 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 230000006698 induction Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 27
- 230000036651 mood Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 9
- 239000008280 blood Substances 0.000 claims description 9
- 210000004369 blood Anatomy 0.000 claims description 9
- 229910052760 oxygen Inorganic materials 0.000 claims description 9
- 239000001301 oxygen Substances 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000002329 infrared spectrum Methods 0.000 claims description 8
- 210000004556 brain Anatomy 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 210000001061 forehead Anatomy 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 13
- 230000037007 arousal Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000002360 prefrontal effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001037 metacarpus Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- -1 OXY Chemical class 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 101150065184 sym-2 gene Proteins 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置，该方法包括：步骤一、在实验环境中进行情绪诱发实验；步骤二、在实验环境中受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集受训者的生物信号，利用SAM自我评估人体模型对图片进行量化评分；步骤二、将量化评分定位在valence‑arousal二维情绪模型进行映射，确定量化评分对应的情绪种类；步骤三、以情绪种类作为标签将受训者的生理信号投入识别卷积神经网络模型，训练得到情绪模型；步骤四，获取测试者的个人生物信号导入情绪模型中，识别测试者的情绪类别。
Description
技术领域
本发明涉及情绪识别领域，尤其涉及一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置。
背景技术
现有技术中，机器人技术在完成某项任务的过程中，没有考虑到人的主观感受和心理上的需求。人们已经不仅仅满足于命令机器人做一些机械性的、简单的操作，如果机器人能够识别人的情绪并根据人的情绪做出符合人意愿的调节，那么人与机器人之间的交互将变得更加和谐。
目前的情绪识别方法基于表情、语音语调和姿态姿势进行情绪识别，往往不能真实感知人的情感态度，虽然生理信号的情绪识别具有更强的准确性与鲁棒性，但是单一模态的生理信号准确率较低。同时单模态的生理数据对情绪的表达存在一定限制，每个模态对于不同情绪的敏感度存在差异。
因此，如何提供一种准确率高、适应性好的情绪识别方法和装置，是本领域技术人员亟待解决的技术问题。
发明内容
为了解决上述问题，本发明提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，该方法包括以下步骤：
步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；
步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；
步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；
步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；
步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在所述步骤一之前还包括筛选所述受训者的步骤：
筛选所述受训者，从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则所述观看者为受训者。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：
培训所述受训者，从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80％范围内，则所述受训者培训合格。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤三中，
所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤四中，
采用三个并联卷积层提取所述数据集的特征图，3个所述并联卷积层的卷积核窗口大小为3*4、4*4和5*4，3个所述并联卷积层的卷积核均为128个；
采用最大池化的方式对所述特征图进行池化，得到3个最大池化的特征图，核大小为2*4；利用拼接的方法，将所述特征图拼接成一个特征向量；
全连接层中，使用Dropout方法按一定比例使一部分神经元的权值向量失效，概率p＝0.6；最后在softmax分类函数得出分类结果。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤一和所述步骤二之间还包括将所述步骤一中采集到的数据集分成训练子集和测试子集；
所述步骤二中训练并构建识别卷积神经网络模型的过程为：进行参数的随机初始化；输入所述训练子集，计算所述训练子集的预测值与真实值的交叉熵损失值来更新所述识别卷积神经网络模型的权值和偏置，当损失值低于阈值时，输出的识别卷积神经网络模为训练后的所述识别卷积神经网络模；训练后的所述识别卷积神经网络模能对测试子集进行结果的预测。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述实验环境为：
在10m*20m的虚拟室内场景中，所述受训者坐在智能移动设备，佩戴虚拟现实设备观看所述图片；所述受训者平复心情2min，利用SAM自我评估人体模型对所述图片进行量化评分，休息10min，进行下次实验。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述诱发实验为：所述受训者坐在所述智能移动设备上佩戴所述戴虚拟现实设备，所述虚拟现实设备显示虚拟实验场景，在所述虚拟实验场景中设置与所述智能移动设备同步运动的虚拟移动设置，在所述虚拟实验场景中所述虚拟移动设备按照特定路径移动，途径障碍物，所述障碍物与所述移动路径之间的垂直距离作为变量，进行诱发实验；
其中，所述虚拟移动设备的移动速度为0.1m/s～0.8m/s，所述移动路径的长度值为8m；所述变量为0.2m、0.3m、0.4m、0.5m、0.6m、0.7m和0.8m；所述受训者按照不同的变量进行实验。
在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述生物信号包括心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量。
本发明另一方面提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法进行情绪识别的装置，该装置包括：
数据库，其存储有国际情感图片系统的彩色照片和训练好的情绪模型；
智能移动装置，所述使用者能控制所述移动装置移动；
虚拟现实设备；
生物信号采集模块，其用于采集所述使用者的心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量；所述生物信号采集模块包括多通道生理信号采集仪器和功能性近红外光谱。
有益效果：
1、本发明所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，克服了传统的情绪建模所检测的生理信号单一，对情绪识别的精度不够高的问题。
2、本发明所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，使用深度学习中的卷积神经网络(CNN)把四个原本为单模态的生理信号联系在一起，先在卷积层将原始信号特征增强和降低噪声，然后在池化层对数据进行采样，降维和二次特征提取的作用，最后由网络进行输出，大幅度的提高了准确率。
附图说明
图1是本发明所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法的流程图。
图2是本发明实施例中智能移动装置与虚拟轮椅驱动同步运动的上位机程序流程图。
图3是本发明实施例中BIOPAC与WOT-100功能性近红外光谱同步采集的上位机程序流程。
图4是本发明实施例中卷积神经网络的结构图。(这3个图，需要将框架图的背景填充去掉，只用黑白框图)
图5是本发明实施例中建立的valence-arousal二维情绪模型的结构。
图6-8是本发明生理数据案例图。
图9是本发明试验实验轮椅与障碍物位置状态示意图。
具体实施方式
现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。
应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为具体公开了该范围的上限和下限以及它们之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。
除非另有说明，否则本文使用的所有技术和科学术语具有本发明所述领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。关于本文中所使用的“和/或”，包括所述事物的任一或全部组合。除非另有说明，否则％指质量体积百分比。
如图1至图5所示，本发明提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其中，该方法包括以下步骤：
步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；
步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；
步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；
步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；
步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。
当每个测试者在使用自己的多种生理数据进行情绪识别时，效果更佳，更具有针对性。当测试者利用原先其他用户的数据对自身情绪状态进行与测试，能够减少数据计算，所述情绪模型具有很好的灵活性与实用性。
本发明以Russell提出的二维情绪模型作为对情绪的分类方法，valence-arousal二维情绪模型使用了一个二维坐标系，将情绪以效价(Valence)和唤醒度(Arousal)两个矢量进行了分解。其中效价代表情绪的消极方面(不愉快)和积极方面(愉快)，唤醒度表示情绪的强烈程度(有一点愉快或者非常愉快)。
上述方案中，所述情绪种类包括：消极情绪、中性情绪和积极情绪。
当所述量化评分在valence-arousal二维情绪模型中高唤醒度低效价的第一预设范围时，确定所述受训者的情绪状态为消极情绪；当所述量化评分在valence-arousal二维情绪模型中高唤醒度高效价的第二预设范围时，确定所述受训者的情绪状态为中性情绪；当所述量化评分在valence-arousal二维情绪模型中低唤醒度高效价的第四预设范围时，确定所述受训者的情绪状态为积极情绪。
上述方案中，国际情感图片系统(IAPS)中存储有一大批唤起情感、具有国际可达性的彩色照片，每张所述彩色照片均均有情感评级，这些照片的内容涵盖了广泛的语义类别。IAPS共有1000张图片，它的每张图片都代表着不同的唤醒度和效价，并且唤醒度和效价值对应有一个标准差。
上述方案中，SAM自我人体评估模型是Bradley&Lang提出一种自我评价的人体模型。它衡量的是人类情绪在被诱发以后所达到愉悦程度(效价)与兴奋程度(唤醒)，未标记的维度以图像形式表示，分值为1-9分。SAM图包括两行，上面一行、下面一行分别显示了效价、激活。效价量从小到大表示从微笑到皱眉，唤醒量从小到大表示从睡觉到觉醒。
上述方案中，在所述步骤一之前还包括筛选所述受训者的步骤：
筛选所述受训者，从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则所述观看者为受训者。
为了让观看者能够准确的评估自己的情绪，观看者需要了解更多的刺激对自己情绪的影响，并准确评估。从国际情感图片系统IAPS随机抽取30张图片对观看者进行筛选，面对放映幻灯片的屏幕。每次筛选都以一张准备幻灯片(“准备评价下一张幻灯片”)开始，幻灯片展示5秒钟。然后，将所述受训图片展示6秒，在受训图片离开屏幕后，让观看者利用SAM自我评估人体模型进行量化打分。每组实验20s，各种生理信号传感器采样率均为2000HZ，每组实验之间让受训者休息10分钟，平复情绪，避免因干扰而影响生理信号的波动，循环进行若干组实验。
对比观看者评分与IAPS库中的评分，当观看者80％图片的评分在给定的标准差范围内时即为受训者，直接进入培训。整体评分低于80％的观看者即为不合格受训者。
上述方案中，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：
培训所述受训者，从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80％范围内，则所述受训者培训合格。
重新在IAPS图片库中随机抽取30张图片。所述受训者继续观看培训图片进行量化打分。当受训者80％图片的评分在给定的标准差范围内的受训者即为合格受训者。整体评分低于80％的受训者即为不合格受训者。
让培训合格的受训者参与，并获取生物信号数据，确定基于时间序列下生物数据。当受训者在不同的情绪状态下，生物信号数据曲线的变化也不相同，根据多种生物信号数据的多种不同变化来识别受训者的情绪。从而改善单模态的生物信号对情绪的表达存在一定限制，每个模态对于不同情绪的敏感度存在差异的问题，提高情绪识别准确率。
上述方案中，所述步骤四中，识别所述测试者的情绪类别的具体过程为：确定输入向量与输出向量；所述的输入向量为特征向量X＝{a*b}，其中a为生理信号的采集时间，b为四种生理信号的类别号，所述的输入向量为：y∈{0，1，2}，其中0表示平静，1表示兴奋，2表示恐惧。
将采集到的特征向量X映射到输入向量y中,再使用最大池化法(MAXpool)作为池化层的对卷积层第一层采样特征进行提取，通过Dropout方法停止让一部分神经元的采样的权值向量，并再次通过最大池化法(MAXpool)作为池化层的对卷积层的第二层采样特征进行提取；再次通过Dropout方法停止让一部分神经元的采样的权值向量之后进行第三层采样特征进行提取；由全连接层输出三分类的分类情绪识别结果。
采集到的特征向量X映射到输入向量y中步骤如下：
1.对于特征向量X，并联卷积层分别使用3*4，4*4，5*4的卷积核进行特征采样；X通过卷积计算后获得卷积层的输出值hk(k＝1,2,3)，其中神经元的权值向量为使用均匀分布作为初始化向量，并使用RELU作为激活函数；
2.使用最大池化法作为第一层池化层的特征提取方法对步骤1中的初始化向量中重新提取新的特征值多个特征值组成新的向量组ak特征向量表述公式如下：
ak＝max(hk) (1)
3.利用concat方法将步骤2中的三个最大池化后的输出进行hk(k＝1,2,3)进行拼接形成一个二维矩阵，多个新的特征值组成新的特征向量
4.利用flatten方法将步骤3中的二维特征向量进行降维后进行拼接形成一个新的一维特征向量
5.使用Dropout方法使步骤4中一部分神经元的权值向量暂停更新。在Dropout方法中，比率设置为0.6。
6.通过获得的卷积层特征向量通过全连接层(Dense)输出三分类情绪识别并使用softmax(·)作为激活函数，构建出卷积神经网络的三分类情绪识别模型
7.采用随机梯度下降法更新神经网络的参数值；
8.损失函数(loss function)是用来估量你模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。本结构的损失函数考虑使用交叉熵
y′i为真实结果，yi为softmax激活函数后的结果
将X映射到输入向量y中的权重记为θj，计算θj的偏导数获得此时的梯度；通过调整θj使得损失函数j(θj)最小。其中学习率决定参数θj移动到最优值的速率，动量因子控制先前权值的更新对本次权值更新的影响程度；
9.训练完成，获得基于卷积神经网络CNN的三类情绪识别模型的参数值，得到情绪识别模型。
上述方案中，所述步骤三中，所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。
上述方案中，所述步骤一和所述步骤二之间还包括将所述步骤一中采集到的数据集分成训练子集和测试子集；
所述步骤二中训练并构建识别卷积神经网络模型的过程为：进行参数的随机初始化；输入所述训练子集，计算所述训练子集的预测值与真实值的交叉熵损失值来更新所述识别卷积神经网络模型的权值和偏置，当损失值低于阈值时，输出的识别卷积神经网络模为训练后的所述识别卷积神经网络模；训练后的所述识别卷积神经网络模能对测试子集进行结果的预测。
上述方案中，所述实验环境为：在10m*20m的虚拟室内场景中，所述受训者坐在智能移动设备，佩戴虚拟现实设备观看所述图片；所述受训者平复心情2min，利用SAM自我评估人体模型对所述图片进行量化评分，休息10min，进行下次实验。
上述方案中，所述诱发实验为：所述受训者坐在所述智能移动设备上佩戴所述戴虚拟现实设备，所述虚拟现实设备显示虚拟实验场景，在所述虚拟实验场景中设置与所述智能移动设备同步运动的虚拟移动设置，在所述虚拟实验场景中所述虚拟移动设备按照特定路径移动，途径障碍物，所述障碍物与所述移动路径之间的垂直距离作为变量，进行诱发实验；
其中，所述虚拟移动设备的移动速度为0.1m/s～0.8m/s，所述移动路径的长度值为8m；所述变量为0.2m、0.3m、0.4m、0.5m、0.6m、0.7m和0.8m；所述受训者按照不同的变量进行实验。
上述方案中，所述生物信号包括心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量。
上述方案中，还包括对所述心电信号、所述肌电信号、所述皮肤电导信号和所述脑前额叶血氧含量进行数据处理，其具体过程为：
对获取的所述肌电电信号进行小波变换，使用递归特征选择的方法选取合适的功率谱密度特征。调用巴特沃斯带通滤波器去除原始肌电信号的干扰信号。
首先将去除皮电信号中的基线水平。然后使用巴特沃斯低通滤波器(f＝0.3)进行平滑滤波。以完整的实验周期作为一个样本进行采样，获得时序特征。
利用Burg法计算所述心电信号的功率谱图，使用工频限波器去工频采取以sym2小波降噪的方式去除高频毛刺，使用查分法去检测所述心电信号中的QRS波群，以相邻R峰的时间差计算RR间隔根据RR间隔得到心率信号。
同时对含氧血红蛋白信号(OXY)和脱氧血红蛋白信号(D·EOXY)的进行加权平均处理形成一种混合血红蛋白(total)。
所述心电信号、所述肌电信号、所述皮肤电导信号和所述脑前额叶血氧含量数据均以完整的相同实验周期作为一个样本进行采样，获得时序特征。
本发明另一方还提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法进行情绪识别的装置，该装置包括：
数据库，其存储有国际情感图片系统的彩色照片和训练好的情绪模型；
智能移动装置，所述使用者能控制所述智能移动装置移动；在某些实施方式中，所述智能移动设备可采用智能轮椅，该智能轮椅可使用四个无刷直流电机驱动四个全向轮进行运动。智能轮椅的控制模式可以分为手动操控模式、以及PC操控模式。模式的切换位置在命令输入模块，同时手动操控模式也是在命令输入模块进行操控，命令输入模块有两个旋钮、一个急停按钮以及一个操纵杆。两个按钮分别用来控制模式的切换和速度的等级，摇杆可以用来控制轮椅的全方向移动以及旋转。PC操控模式则是使用外部接口通讯(如RS232通讯接口)，轮椅处于PC操控模式时可以通过RS232的数据通讯线来接收外部计算机传来的信息进行驱动。可采用Visual Studio 2012编程平台，使用C++语言编写进行程序。智能轮椅的控制指令发送程序遵循智能轮椅自带的说明手册与通讯协议。通过控制指令来带动四个无刷直流电机。整个控制指令一共含有21个字节。每3个字节控制一个电机的运作，包括使能、旋转方向以及电机转速。1-3字节,4-6字节,7-9字节，10-12字节分别负责控制轮椅的左前轮，右前轮，左后轮，右后轮。在基于Visual Studio 2012编程平台在编写轮椅驱动程序的同时加入MFC工程下的资源dialog制作了一个可视化界面。通过在制作的可视化界面下输入的一个现实速度(0m/s-1.6m/s)，点击启动以后，打开串口，将现实速度存入设定好的速度数组。无刷直流电机通过16进制赋值运算进行驱动(命令速度＝现实速度*219.8)。以50ms为采样率将速度数组不断写入串口然后通过USB转RS232数据线为外部媒介付给四个全向轮下的无刷直流电机进行运动控制。通过虚拟串口技术将上述速度数组同时写入设置好的虚拟串口中。利用Visual Studio 2012平台使用C#语言来进行编程。将编写好的脚本加载在轮椅模型中。当启动按钮被打开后，虚拟串口同时打开，unity3d自动执行编写好的脚本。接收到来自可视化窗口中设定的现实速度。虚拟轮椅模型将在3D unity环境下进行符合世界坐标系要求的平移运动(指定位移＝速度*时间*移动方向)。在按下停止按钮后，各个串口被关闭，串口句柄被清除，智能轮椅与虚拟轮椅被停止不再运动。
虚拟现实设备；所述虚拟现实设备使用Oculus rift cv1专业VR虚拟现实设备实现。该虚拟现实设备提供360度全景图像，该设备具有两个目镜，单眼分辨率为1080*1200像素情感诱发设备，利用陀螺仪控制视角，配备INTEL i5-4590处理器和8GB内存，使360度全景全程流畅而不间断，保证了设备使用过程中的沉浸感。
虚拟现实设备中的场景使用Autodesk 3DMax绘制场景中的材料，如房屋空间的墙壁、地板、窗户、虚拟人、轮椅和障碍物，并使用Vray进行渲染，实现真实环境的情景再现，然后导入Unity3D中，Oculus为开发者提供了在Unity3D中开发虚拟环境的开源数据包，我们在Unity3D中调用Oculus提供的VR摄像头作为主摄像头，让使用者可以自由控制视角。
为了增强受训者在实验沉浸感，本发明采用Visual Studio 2012编程平台，使用C++语言编写进行程序。智能轮椅的控制指令发送程序遵循了智能轮椅自带的说明手册与通讯协议。通过控制指令来带动四个无刷直流电机。整个控制指令一共含有21个字节。每3个字节控制一个电机的运作，包括使能、旋转方向以及电机转速。1-3字节，-6字节，7-9字节，10-12字节分别负责控制轮椅的左前轮，右前轮，左后轮，右后轮。
在基于Visual Studio 2012编程平台在编写轮椅驱动程序的同时加入MFC工程下的资源dialog制作了一个可视化界面。
在制作的可视化界面下输入的一个现实速度(0m/s-1.6m/s)，点击启动以后，打开串口，将现实速度存入设定好的速度数组。无刷直流电机是通过16进制赋值运算进行驱动(命令速度＝现实速度*219.8)。以50ms为采样率将速度数组不断写入串口然后通过USB转RS232数据线为外部媒介付给四个全向轮下的无刷直流电机进行运动控制。
通过虚拟串口技术将上述速度数组同时写入设置好的虚拟串口中。利用VisualStudio 2012平台使用C#语言来进行编程。将编写好的脚本加载在轮椅模型中。当启动按钮被打开后，虚拟串口同时打开，unity3d自动执行编写好的脚本。接收到来自可视化窗口中设定的现实速度。虚拟轮椅模型将在3D unity环境下进行符合世界坐标系要求的平移运动(指定位移＝速度*时间*移动方向)。
在按下停止按钮后，各个串口被关闭，串口句柄被清除，智能轮椅与虚拟轮椅被停止不再运动。
实现了虚拟场景中轮椅与现实场景的轮椅同步驱动的效果，不仅保证了受训者在虚拟环境下受训者的本体感觉。更加达成肉体感觉(轮椅)与视觉效果(虚拟环境)的一致性。
生物信号采集模块，其用于采集所述使用者的心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量；所述生物信号采集模块包括多通道生理信号采集仪器和功能性近红外光谱。
其中心电信号、肌电信号和皮肤电导信号选用美国BIOPAC公司的MP160型多通道生理信号采集仪器，它提供了一种集成的方法，用于采集和记录；脑前额叶血氧含量信号选用日本日立公司生产的WOT-100功能性近红外光谱(fNISR)监测人脑前额叶脑血流的变化。使用CATHAY CH3236TDY一次性生理电极片作为媒介连接无线检测模块与人体。BIPACMP160中的皮肤电导率EDA100C模块分别连接左手食指，中指与掌骨左下侧来测量皮肤电导率；肌电EMG100C连接右臂肱桡肌；心电ECG100C连接左下胸部位。头戴日立功能性近红外光谱与OculusVR虚拟现实设备。实验开始时调用BIOPAC多通道生理信号采集器与日立功能性近红外光谱采集受训者的生理数据。
实现多通道生理信号采集仪器和功能性近红外光谱同步采集信号，保证传感器侦测数据的时间点一致性。也为了方便也可以采用自动的方式控制传感器。通过串口通信向两个设备同时发送开始信号实现同步采集并在文档中记录数据。首先在基于VISUALSTUDIO的环境下进行程序编写时，使用的是MFC的工具箱进行操作。因此界面的形成与构建是由计算机完成。由于WOT-100功能性近红外光谱设备可以通过串行接口的方式进行通讯，使用虚拟串口技术设定延迟触发，利用两个虚拟串口模块之间的对接。实现上位机控制的触发与终止。利用MFC工具箱的按键设置串口的打开与关闭。
MP160型多通道生理信号采集仪器可以设置触发器进行延迟启动，通过BIOPACSTP100隔离数字接口可以收到来自外部触发设备的信号。因此将单片机与STP100S数进行连接，单片机产生的数字数据将包括两个电平，+5V和0V。+5V被解释为二进制1，0V被解释为二进制0。当串口打开时，开关关闭时(即，按钮被按下)，信号从+5V变化到0V。当当串口关闭时，开关打开时时(即，按钮被按下)，信号从0V变化到+5V。由此编写下位机的控制程序。
实验开始前分别设置Wearable Optical Topography软件下的通讯方式(串口通信)。AcqKnowledge 5.0软件下触发方式(数字触发)。
首先运行MFC程序，进行串口的初始化之后就开始一直等待开始采集的按钮按下。在按下开始采集按钮后，程序就开始向虚拟串口与单片机通讯的串口发送字符，与此同时传感器的数据采集以及数据存储也同步运行。将其以时间序列存储区到文件中，方便进行分析和处理。在按下结束采集按钮后，各个串口被关闭，串口句柄被清除，数据停止采集。
上述方案中，该装置还包括显示器，所述显示屏用于显示生理信号的采集状况和情绪预测状况。更为简单明了展示生理信号的变化情况和预测结果。
本发明还提供一种在计算机上使用的可储存介质，所述储存有情绪识别程序和训练好的网络情绪模型，所述情绪识别程序被处理器执行时实现上述情绪识别方法的其中相关步骤。
如图6-8，为受试者正确穿戴检测设备。使用CATHAY CH3236TDY一次性生理电极片作为媒介连接无线检测模块与人体。BIPACMP160中的皮肤电导率EDA100C模块分别连接左手食指，中指与掌骨左下侧来测量皮肤电导率；肌电EMG100C连接右臂肱桡肌；心电ECG100C连接左下胸部位。头戴日立功能性近红外光谱与OculusVR虚拟现实设备。进行实验过程前尽可能受试者保证穿戴舒适和视觉清晰。
考虑人与智能轮椅机器人交互的复杂环境中可能影响人体情绪变化的因素(障碍物与人体之间的距离)。使用4D式高沉浸感的虚拟场景来制作了一个10m*20m的全仿真虚拟室内场景。制作受试者乘坐智能轮椅的虚拟模型。轮椅宽度为1m,人眼高度设置1m。模仿人与智能轮椅型机器人交互过程中可能出现的现实场景。然后进行2种独立因素评估的实验：
以受试者与障碍物横向距离为独立评估要素：实验过程中，轮椅将以匀速直线运动，途中左侧有一障碍。跑道长度为8m。轮椅行驶速度：v＝0.4m/s，障碍物平面处平行于跑道。如图9所示，实验轮椅与障碍物(边长为r＝1m的正方体)的距离d分别为0.2m、0.3m,………,0.8m。
受试者在进行每一项独立因素评估的实验时组间对比都是以乱序排列。一组实验后获取受试者的主观评价。每组实验前受试者会有3分钟时间休息时间用于平复情绪与调整心情，减少组间实验相互干扰的可能性。
根据实验数据的解析：
在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
Claims (10)
1.一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，该方法包括以下步骤：
步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；
步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；
步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；
步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；
步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。
2.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在所述步骤一之前还包括筛选所述受训者的步骤：
从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述受训图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则将所述观看者作为受训者。
3.根据权利要求2所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：
从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述培训图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80%范围内，则所述受训者培训合格。
4.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤三中，
所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。
5.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤四中，识别所述测试者的情绪类别的过程为：
采用三个并联卷积层提取所述个人生物信号的特征图，3个所述并联卷积层的卷积核窗口大小为3*4、4*4和5*4，3个所述并联卷积层的卷积核均为128个；
采用最大池化的方式对所述特征图进行池化，得到3个最大池化的特征图，核大小为2*4；利用拼接的方法，将所述特征图拼接成一个特征向量；
全连接层中，使用Dropout方法使部分神经元的权值向量失效，概率p = 0.6；最后在softmax分类函数得出情绪类别。
6.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤一和所述步骤二之间还包括将所述步骤一中采集到的数据集分成训练子集和测试子集；
所述步骤二中训练并构建识别卷积神经网络模型的过程为：进行参数的随机初始化；输入所述训练子集，计算所述训练子集的预测值与真实值的交叉熵损失值来更新所述识别卷积神经网络模型的权值和偏置，当损失值低于阈值时，输出的识别卷积神经网络模为训练后的所述识别卷积神经网络模；训练后的所述识别卷积神经网络模能对测试子集进行结果的预测。
7.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述实验环境为：
在10m*20m的虚拟室内场景中，所述受训者坐在智能移动设备，佩戴虚拟现实设备观看所述图片；所述受训者平复心情2min，利用SAM自我评估人体模型对所述图片进行量化评分，休息10min，进行下次实验。
8.根据权利要求7所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述诱发实验为：所述受训者坐在所述智能移动设备上佩戴所述戴虚拟现实设备，所述虚拟现实设备显示虚拟实验场景，在所述虚拟实验场景中设置与所述智能移动设备同步运动的虚拟移动设置，在所述虚拟实验场景中所述虚拟移动设备按照特定路径移动，途径障碍物，所述障碍物与所述移动路径之间的垂直距离作为变量，进行诱发实验；
其中，所述虚拟移动设备的移动速度为0.1m/s～0.8m/s，所述移动路径的长度值为8m；所述变量为0.2m、0.3m、0.4m、0.5m、0.6m、0.7m和0.8m；所述受训者按照不同的变量进行实验。
9.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述生物信号包括心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量。
10.一种利用权利要求1至9任一项所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法进行情绪识别的装置，其特征在于，该装置包括：
数据库，其存储有国际情感图片系统的彩色照片和训练好的情绪模型；
智能移动装置，所述使用者能控制所述移动装置移动；
虚拟现实设备；
生物信号采集模块，其用于采集所述使用者的心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量；所述生物信号采集模块包括多通道生理信号采集仪器和功能性近红外光谱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008234.0A CN112597967A (zh) | 2021-01-05 | 2021-01-05 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008234.0A CN112597967A (zh) | 2021-01-05 | 2021-01-05 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112597967A true CN112597967A (zh) | 2021-04-02 |
Family
ID=75206942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110008234.0A Pending CN112597967A (zh) | 2021-01-05 | 2021-01-05 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597967A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470787A (zh) * | 2021-07-09 | 2021-10-01 | 福州大学 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
| CN114403877A (zh) * | 2022-01-21 | 2022-04-29 | 中山大学 | 基于二维连续模型的多生理信号情绪定量评估方法 |
| CN114581823A (zh) * | 2022-02-24 | 2022-06-03 | 华南理工大学 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
| CN115587347A (zh) * | 2022-09-28 | 2023-01-10 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的内容处理方法及装置 |
| CN116603232A (zh) * | 2023-05-30 | 2023-08-18 | 深圳市德尔凯科技有限公司 | 一种基于三维vr和实体反馈互助游戏娱乐系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104287747A (zh) * | 2014-10-24 | 2015-01-21 | 南京邮电大学 | 基于情绪感知的运动康复机器人交互控制方法 |
| CN106598223A (zh) * | 2016-11-14 | 2017-04-26 | 深圳欧德蒙科技有限公司 | 一种基于情绪识别的虚拟环境渲染方法和装置 |
| CN106774906A (zh) * | 2016-12-22 | 2017-05-31 | 南京邮电大学 | 一种基于情绪识别的康复机器人交互控制方法 |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| CN107578807A (zh) * | 2017-07-17 | 2018-01-12 | 华南理工大学 | 一种虚拟现实情感刺激系统的创建方法 |
| CN107714057A (zh) * | 2017-10-01 | 2018-02-23 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于卷积神经网络的三分类情绪识别模型方法 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN109871124A (zh) * | 2019-01-25 | 2019-06-11 | 华南理工大学 | 基于深度学习的情感虚拟现实场景评估方法 |
| CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
| KR20190125707A (ko) * | 2018-04-30 | 2019-11-07 | 한국과학기술원 | 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템 |
| US20190347476A1 (en) * | 2018-05-09 | 2019-11-14 | Korea Advanced Institute Of Science And Technology | Method for estimating human emotions using deep psychological affect network and system therefor |
| KR20190128978A (ko) * | 2018-05-09 | 2019-11-19 | 한국과학기술원 | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| WO2020014797A1 (es) * | 2019-07-02 | 2020-01-23 | Serani Mostazal Jorge | Equipo para provocar frissons o escalofríos estéticos, a traves de la estimulación multisensorial y multimodal; con el objeto de aliviar dolores crónicos y método para usarlo |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
-
2021
- 2021-01-05 CN CN202110008234.0A patent/CN112597967A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104287747A (zh) * | 2014-10-24 | 2015-01-21 | 南京邮电大学 | 基于情绪感知的运动康复机器人交互控制方法 |
| CN106598223A (zh) * | 2016-11-14 | 2017-04-26 | 深圳欧德蒙科技有限公司 | 一种基于情绪识别的虚拟环境渲染方法和装置 |
| CN106774906A (zh) * | 2016-12-22 | 2017-05-31 | 南京邮电大学 | 一种基于情绪识别的康复机器人交互控制方法 |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| CN107578807A (zh) * | 2017-07-17 | 2018-01-12 | 华南理工大学 | 一种虚拟现实情感刺激系统的创建方法 |
| CN107714057A (zh) * | 2017-10-01 | 2018-02-23 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于卷积神经网络的三分类情绪识别模型方法 |
| KR20190125707A (ko) * | 2018-04-30 | 2019-11-07 | 한국과학기술원 | 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템 |
| US20190347476A1 (en) * | 2018-05-09 | 2019-11-14 | Korea Advanced Institute Of Science And Technology | Method for estimating human emotions using deep psychological affect network and system therefor |
| KR20190128978A (ko) * | 2018-05-09 | 2019-11-19 | 한국과학기술원 | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 |
| CN109871124A (zh) * | 2019-01-25 | 2019-06-11 | 华南理工大学 | 基于深度学习的情感虚拟现实场景评估方法 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN110070944A (zh) * | 2019-05-17 | 2019-07-30 | 段新 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
| WO2020014797A1 (es) * | 2019-07-02 | 2020-01-23 | Serani Mostazal Jorge | Equipo para provocar frissons o escalofríos estéticos, a traves de la estimulación multisensorial y multimodal; con el objeto de aliviar dolores crónicos y método para usarlo |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
Non-Patent Citations (7)
| Title |
|---|
| BO YANG 等: "Emotion Detection During Human-Robots Interaction in Visual Reality Environment", 《SPRINGER》, 31 December 2020 (2020-12-31) * |
| 徐国政;宋爱国;高翔;陈盛;徐宝国;: "基于情绪感知的机器人辅助主动康复训练任务控制方法", 机器人, no. 04, 6 June 2018 (2018-06-06) * |
| 李勇 等: "智能体Petri 网融合的多机器人-多任务协调框架", 《自动化学报》, 18 November 2019 (2019-11-18) * |
| 杨勇涛;张忠秋;林玲;: "积极和消极虚拟环境对大学生情绪的影响", 中国运动医学杂志, no. 08, 25 August 2013 (2013-08-25) * |
| 潘家辉 等: "多模态情绪识别研究综述", 《智能系统学报》, vol. 15, no. 4, 31 July 2020 (2020-07-31) * |
| 聂聃;王晓;段若男;吕宝粮;: "基于脑电的情绪识别研究综述", 中国生物医学工程学报, no. 04, 20 August 2012 (2012-08-20) * |
| 陆正志 等: "基于人情绪的智能轮椅路径规划", 《第十四届沈阳科学学术年会论文集（理工农医）》, 11 August 2017 (2017-08-11) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470787A (zh) * | 2021-07-09 | 2021-10-01 | 福州大学 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
| CN113470787B (zh) * | 2021-07-09 | 2024-01-30 | 福州大学 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
| CN114403877A (zh) * | 2022-01-21 | 2022-04-29 | 中山大学 | 基于二维连续模型的多生理信号情绪定量评估方法 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN114581823A (zh) * | 2022-02-24 | 2022-06-03 | 华南理工大学 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
| CN114581823B (zh) * | 2022-02-24 | 2024-04-30 | 华南理工大学 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
| CN115587347A (zh) * | 2022-09-28 | 2023-01-10 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的内容处理方法及装置 |
| CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
| CN116603232A (zh) * | 2023-05-30 | 2023-08-18 | 深圳市德尔凯科技有限公司 | 一种基于三维vr和实体反馈互助游戏娱乐系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112597967A (zh) | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 | |
| CN110313923B (zh) | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 | |
| KR101680995B1 (ko) | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 | |
| CN111714118B (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| CN110363129B (zh) | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 | |
| CN109086754A (zh) | 一种基于深度学习的人体姿态识别方法 | |
| CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
| CN110135244B (zh) | 一种基于脑-机协同智能的表情识别方法 | |
| CN110534180A (zh) | 深度学习人机互适应运动想象脑机接口系统和训练方法 | |
| CN113837153B (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 | |
| CN111930238B (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| Chen et al. | CreativeBioMan: a brain-and body-wearable, computing-based, creative gaming system | |
| CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN113011504A (zh) | 基于视角权重和特征融合的虚拟现实场景情感识别方法 | |
| CN113729710A (zh) | 一种融合多生理模态的实时注意力评估方法及系统 | |
| CN111914925B (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
| Li et al. | Research on leamer's emotion recognition for intelligent education system | |
| CN109998497A (zh) | 光环境中入睡检判系统及被照平面照度检测装置 | |
| Jingchao et al. | Recognition of classroom student state features based on deep learning algorithms and machine learning | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN113408397B (zh) | 领域自适应的跨受试者运动想象脑电信号识别系统及方法 | |
| CN113064490B (zh) | 一种基于眼动轨迹的虚拟增强设备的识别方法 | |
| CN111772629B (zh) | 一种脑认知技能移植的方法 | |
| Abdellaoui et al. | Deep brain state classification of meg data | |
| Ahmed et al. | A non Invasive Brain-Computer-Interface for Service Robotics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |