CN113470787A - 基于神经网络的情绪识别与脱敏训练效果评估方法 - Google Patents
基于神经网络的情绪识别与脱敏训练效果评估方法 Download PDFInfo
- Publication number
- CN113470787A CN113470787A CN202110777122.1A CN202110777122A CN113470787A CN 113470787 A CN113470787 A CN 113470787A CN 202110777122 A CN202110777122 A CN 202110777122A CN 113470787 A CN113470787 A CN 113470787A
- Authority
- CN
- China
- Prior art keywords
- emotion
- scene
- training
- neural network
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 68
- 238000000586 desensitisation Methods 0.000 title claims abstract description 56
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 45
- 230000000694 effects Effects 0.000 title claims abstract description 36
- 238000011156 evaluation Methods 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000002474 experimental method Methods 0.000 claims abstract description 14
- 230000006698 induction Effects 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 5
- 230000001965 increasing effect Effects 0.000 claims description 10
- 241000282326 Felis catus Species 0.000 claims description 8
- 230000007787 long-term memory Effects 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000007547 defect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种基于神经网络的情绪识别与脱敏训练效果评估方法。包括：搭建虚拟现实情绪诱发分级场景并进行实验，获取多种生理数据，构建样本数据集，并采用SAM问卷进行场景分级验证；进行生理信号预处理，得到预处理后的数据集，分为训练集和测试集；选取卷积块、长短期记忆网络构造单模态生理信号神经网络结构，并进行融合得到基于多生理信号的神经网络情绪识别模型；选取30名被试分别进行低等级场景测试，同时记录测试过程中的生理信号，用于情绪预测；基于上述情绪预测结果，将30名被试分别进行低等级与高等级脱敏训练，并预测脱敏训练效果。本发明能快速准确地识别实验对象的情绪状态，并能够对实验对象参与实验的脱敏训练效果进行有效评估。
Description
技术领域
本发明涉及神经网络用于情绪预测与脱敏训练领域，具体涉及一种基于神经网络的情绪识别与脱敏训练效果评估方法。
背景技术
情绪是人们对客观事物的感知状态，不同的情绪状态影响了人们的学习、记忆与决策等。对于不同情绪状态进行有效识别在远程教育、医疗、智能系统以及人机交互等领域均有着广泛的应用前景。基于生理信号的情绪识别能够克服传统外部特征易人为掩饰导致识别结果不精准的缺陷，多模态生理信号融合分析能够更加准确地识别出具体的情绪状态，使得结果更加客观和准确。
当人长期处于恐惧状态下容易影响人的健康，使人患上高血压、冠心病等生理疾病，也容易影响人际交往和工作效率。因此，如何精准判断患者对事物的恐惧程度是近年来的研究热点。产生恐惧后，如何对患者进行脱敏并进行有效评估也是目前研究亟待解决的一个难题。
综上所述，采用基于多模态生理信号的神经网络结构预判情绪类别将有助于更加客观和准确的反映情绪状态。现有的脱敏训练评估方法大多通过问卷进行评估，问卷结果反映情绪脱敏效果具有不真实、主观性强的缺点。因此，探索一种基于多生理信号的神经网络脱敏训练评估方法尤为重要。
发明内容
本发明的目的在于提供一种基于神经网络的情绪识别与脱敏训练效果评估方法，能快速准确地识别实验对象的情绪状态，并能够对实验对象参与实验的脱敏训练效果进行有效评估。
为实现上述目的，本发明的技术方案是：一种基于神经网络的情绪识别与脱敏训练效果评估方法，包括如下步骤：
步骤S1、搭建虚拟现实情绪诱发分级场景并进行实验，获取实验样本人群的多种生理数据，构建样本数据集，并采用SAM问卷进行场景分级验证，确保场景分级符合要求；
步骤S2、将样本数据集中的生理信号经过滤波、分割、数据增强、数据归一化方法得到预处理后的数据集，并将预处理后的数据集按照比例分为训练集和测试集；
步骤S3、选取卷积块、长短期记忆网络构造单模态生理信号神经网络结构，并将单模态生理信号神经网络结构进行融合，得到基于多生理信号的神经网络情绪识别模型；
步骤S4、选取30名被试分别进行低等级场景测试，同时记录测试过程中的生理信号，用于情绪预测；
步骤S5、基于步骤S4情绪预测结果，将30名被试分别进行低等级与高等级脱敏训练，采用基于多生理信号的神经网络情绪识别模型预测脱敏训练效果。
在本发明一实施例中，所述步骤S1具体为：搭建虚拟现实情绪诱发分级场景，选用被试进行低等级与高等级实验，同步采集训练时被试的多种生理数据，构建样本数据集；所述样本数据集中的生理信号有：心电、皮电、肌电、脉搏；分级场景测试后，采用SAM问卷对场景分级进行评分，确保场景分级符合要求。
在本发明一实施例中，所述虚拟现实情绪诱发分级场景与场景分级合理性评估具体为：
虚拟现实情绪诱发分级场景为处于不同高度下的高空救猫任务场景，被试需要分别对低等级和高等级进行高空救猫任务，同步记录多种生理数据；每个等级实验结束后，选用SAM问卷对场景分级进行评分，验证高等级的唤醒程度评分是否高于低等级的唤醒程度评分，确保场景分级符合要求。
在本发明一实施例中，所述步骤S2具体为：将样本数据集生理信号经过滤波处理，去除信号中的噪声；对样本数据集进行分割，增加原始数据采样量；对样本中数据较少的情绪标签样本采用垂直翻转的数据增强方法增大样本容量，保证样本的数据分布均匀；将数据归一化到[0,1]之间，使得模型能够更快收敛；按照8：2比例将预处理后的数据集分为训练集和测试集。
在本发明一实施例中，所述步骤S3具体为：对各个生理信号分别设计神经网络结构，通过对比卷积块个数与长短期记忆网络层数，获取基于单模态生理信号神经网络结构；并将其进行融合获得基于多模态生理信号的神经网络情绪识别模型。
在本发明一实施例中，所述对比卷积块个数与长短期记忆网络层数具体为：
对于单模态生理信号，选用卷积层、最大池化层作为一个卷积块，通过叠加卷积块个数增加卷积层个数，提取生理信号中的特征，卷积块个数依次递增，直至获取最高准确率；此外，在卷积块获取最佳准确率的神经网络结构基础上对长短期记忆网络层数依次递增，长短期记忆网络有利于提取生理信号的时序特征，直至获取最高的准确率。
在本发明一实施例中，所述基于多模态生理信号的神经网络情绪识别模型具体为：
将单模态生理信号神经网络特征图通过全连接层进行展开，采用融合策略对单模态生理信号的特征图进行融合，选用密集层将融合特征展开，并用Softmax分类函数输出情绪分类结果，得到基于多生理信号的神经网络情绪识别模型，样本数据集中低等级场景下的情绪标签定义为平静，高等级场景下的情绪标签定义为恐惧。
在本发明一实施例中，所述步骤S4具体为：选取30名被试分别进行低等级场景测试，同时佩戴生理信号采集装置采集测试过程中的生理信号，利用训练好的基于多生理信号的神经网络情绪识别模型进行情绪预测。
在本发明一实施例中，所述步骤S5具体为：基于步骤S4情绪预测结果，与样本数据集情绪标签进行匹配，获得二级情绪标签对应数据集，对每一情绪标签对应数据集进行相应等级脱敏训练，并采用基于多生理信号神经网络情绪识别模型进行脱敏训练效果评估。
在本发明一实施例中，所述相应等级脱敏训练具体为：
情绪标签定义为恐惧的被试采用低等级场景进行训练，训练过程中同步采集生理信号，训练结束后基于多模态生理信号神经网络模型进行情绪预测，若情绪预测结果仍然为恐惧，继续选用低等级场景进行训练；当情绪预测结果为平静，选用高等级场景进行训练；高等场景训练后用同样方法进行情绪预测，若对于高等场景情绪预测结果为恐惧，重复高等场景训练，直至情绪预测结果为平静，训练结束。
相较于现有技术，本发明具有以下有益效果：
本发明有效将多模态生理信号进行神经网络结构设计，融合多模态生理信号特点进行情绪识别，克服传统单一生理信号情绪识别易受噪声影响的缺点；
本发明针对不同等级任务进行脱敏训练，提出基于多模态生理信号的情绪识别与脱敏训练效果评估方法，克服传统基于问卷进行脱敏训练评估易受主观思维控制的缺点，提高脱敏训练效果评估的准确率。
附图说明
图1是本发明方法流程图；
图2是本发明基于多模态生理信号神经网络模型图；
图3是本发明脱敏训练与效果评估方法流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明一种基于神经网络的情绪识别与脱敏训练效果评估方法，包括如下步骤：
步骤S1、搭建虚拟现实情绪诱发分级场景并进行实验，获取实验样本人群的多种生理数据，构建样本数据集，并采用SAM问卷进行场景分级验证，确保场景分级符合要求；
步骤S2、将样本数据集中的生理信号经过滤波、分割、数据增强、数据归一化方法得到预处理后的数据集，并将预处理后的数据集按照比例分为训练集和测试集；
步骤S3、选取卷积块、长短期记忆网络构造单模态生理信号神经网络结构，并将单模态生理信号神经网络结构进行融合，得到基于多生理信号的神经网络情绪识别模型；
步骤S4、选取30名被试分别进行低等级场景测试，同时记录测试过程中的生理信号，用于情绪预测；
步骤S5、基于步骤S4情绪预测结果，将30名被试分别进行低等级与高等级脱敏训练，采用基于多生理信号的神经网络情绪识别模型预测脱敏训练效果。
以下为本发明具体实现实例。
请参照图1，本实例提供了一种基于神经网络的情绪识别与脱敏训练效果评估方法，包括以下步骤：
步骤S1、搭建虚拟现实情绪诱发分级场景（低等级、高等级）并进行实验，获取实验样本人群的多种生理数据，构建样本数据集，并采用SAM问卷进行场景分级验证，确保符合分级要求；
步骤S2、将样本数据集中的生理信号经过滤波、分割、数据增强、数据归一化方法得到预处理后的数据集，并将预处理后的数据集按照一定比例分为训练集和测试集；
步骤S3、选取卷积块、长短期记忆网络构造单模态生理信号的最佳神经网络结构，并将单模态生理信号神经网络结构进行融合，得到基于多生理信号的神经网络情绪识别模型；
步骤S4、选取30名被试分别进行低等级场景测试，同时记录测试过程中的生理信号，用于情绪预测；
步骤S5、基于上述情绪预测结果，将30名被试分别进行低等级与高等级脱敏训练，用所设计的神经网络预测脱敏训练效果。
优选的，在本实施例中分级实验具体为：搭建虚拟现实情绪诱发分级场景，选用一定量被试进行低等级与高等级实验，同步采集训练时被试的多种生理数据，构建样本数据集。所述样本数据集包含生理信号有：心电、皮电、肌电、脉搏等。分级场景测试后，采用SAM问卷对场景分级进行评分，确保场景分级符合要求。
优选的，虚拟现实情绪诱发分级场景与分级合理性评估具体为：虚拟现实情绪诱发分级场景为处于不同高度下的高空救猫任务场景，被试需要分别对低等级（楼层5层，高度20米）和高等级（楼层25层，高度100米）进行高空救猫任务，同步记录多种生理数据。每个等级实验结束后，选用SAM问卷对场景分级进行评分，验证高等级的唤醒程度评分是否高于低等级的唤醒程度评分，确保分级符合要求。
参考图2，在本实施例中，提出一种基于多模态生理信号的神经网络结构具体为：对各个生理信号分别设计神经网络结构，通过对比卷积块个数与长短期记忆网络层数，获取基于单模态生理信号的最佳神经网络结构；并将其进行融合获得基于多模态生理信号的神经网络情绪识别模型。
优选的，在本实施例中基于多模态生理信号的神经网络情绪识别模型具体为：将单模态生理信号神经网络特征图通过全连接层进行展开，采用融合策略对单模态生理信号的特征图进行融合，选用密集层将融合特征展开，并用Softmax分类函数输出情绪分类结果，得到基于多生理信号的神经网络情绪识别模型，样本数据集中低等级场景下的情绪标签定义为平静，高等级场景下的情绪标签定义为恐惧。
参考图3，本实施例中，还提供一种基于脱敏训练效果评估方法，包括脱敏训练流程设计，基于神经网络的多模态生理信号脱敏训练效果评估系统，预测结果有助于主试直观观察脱敏训练效果。
优选的，在本实施例中，选取30名被试进行低等级场景测试，同时佩戴生理信号采集装置采集测试过程中的生理信号，利用训练好的基于多生理信号的神经网络情绪识别模型进行情绪预测。
在本实施例中，步骤S5具体为：
基于上述情绪预测结果，与样本数据集情绪标签进行匹配，获得二级情绪标签对应数据集，对每一情绪标签对应数据集进行相应等级脱敏训练，并基于所设计多生理信号神经网络情绪识别模型进行脱敏训练效果评估。
优选的，在本实施例中所述相应等级脱敏训练具体为：情绪标签定义为恐惧的被试采用低等级场景进行训练，训练过程中同步采集生理信号，训练结束后基于多模态生理信号神经网络模型进行情绪预测，若情绪预测结果仍然为恐惧，继续选用低等级场景进行训练；当情绪预测结果为平静，选用高等级场景进行训练；高等场景训练后用同样方法进行情绪预测，若对于高等场景情绪预测结果为恐惧，重复高等场景训练，直至情绪预测结果为平静，训练结束。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (10)
1.一种基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，包括如下步骤：
步骤S1、搭建虚拟现实情绪诱发分级场景并进行实验，获取实验样本人群的多种生理数据，构建样本数据集，并采用SAM问卷进行场景分级验证，确保场景分级符合要求；
步骤S2、将样本数据集中的生理信号经过滤波、分割、数据增强、数据归一化方法得到预处理后的数据集，并将预处理后的数据集按照比例分为训练集和测试集；
步骤S3、选取卷积块、长短期记忆网络构造单模态生理信号神经网络结构，并将单模态生理信号神经网络结构进行融合，得到基于多生理信号的神经网络情绪识别模型；
步骤S4、选取30名被试分别进行低等级场景测试，同时记录测试过程中的生理信号，用于情绪预测；
步骤S5、基于步骤S4情绪预测结果，将30名被试分别进行低等级与高等级脱敏训练，采用基于多生理信号的神经网络情绪识别模型预测脱敏训练效果。
2.根据权利要求1所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述步骤S1具体为：搭建虚拟现实情绪诱发分级场景，选用被试进行低等级与高等级实验，同步采集训练时被试的多种生理数据，构建样本数据集；所述样本数据集中的生理信号有：心电、皮电、肌电、脉搏；分级场景测试后，采用SAM问卷对场景分级进行评分，确保场景分级符合要求。
3.根据权利要求2所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述虚拟现实情绪诱发分级场景与场景分级合理性评估具体为：
虚拟现实情绪诱发分级场景为处于不同高度下的高空救猫任务场景，被试需要分别对低等级和高等级进行高空救猫任务，同步记录多种生理数据；每个等级实验结束后，选用SAM问卷对场景分级进行评分，验证高等级的唤醒程度评分是否高于低等级的唤醒程度评分，确保场景分级符合要求。
4.根据权利要求1所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述步骤S2具体为：将样本数据集生理信号经过滤波处理，去除信号中的噪声；对样本数据集进行分割，增加原始数据采样量；对样本中数据较少的情绪标签样本采用垂直翻转的数据增强方法增大样本容量，保证样本的数据分布均匀；将数据归一化到[0,1]之间，使得模型能够更快收敛；按照8：2比例将预处理后的数据集分为训练集和测试集。
5.根据权利要求1所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述步骤S3具体为：对各个生理信号分别设计神经网络结构，通过对比卷积块个数与长短期记忆网络层数，获取基于单模态生理信号神经网络结构；并将其进行融合获得基于多模态生理信号的神经网络情绪识别模型。
6.根据权利要求5所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述对比卷积块个数与长短期记忆网络层数具体为：
对于单模态生理信号，选用卷积层、最大池化层作为一个卷积块，通过叠加卷积块个数增加卷积层个数，提取生理信号中的特征，卷积块个数依次递增，直至获取最高准确率；此外，在卷积块获取最佳准确率的神经网络结构基础上对长短期记忆网络层数依次递增，长短期记忆网络有利于提取生理信号的时序特征，直至获取最高的准确率。
7.根据权利要求5所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述基于多模态生理信号的神经网络情绪识别模型具体为：
将单模态生理信号神经网络特征图通过全连接层进行展开，采用融合策略对单模态生理信号的特征图进行融合，选用密集层将融合特征展开，并用Softmax分类函数输出情绪分类结果，得到基于多生理信号的神经网络情绪识别模型，样本数据集中低等级场景下的情绪标签定义为平静，高等级场景下的情绪标签定义为恐惧。
8.根据权利要求1所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述步骤S4具体为：选取30名被试分别进行低等级场景测试，同时佩戴生理信号采集装置采集测试过程中的生理信号，利用训练好的基于多生理信号的神经网络情绪识别模型进行情绪预测。
9.根据权利要求1所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述步骤S5具体为：基于步骤S4情绪预测结果，与样本数据集情绪标签进行匹配，获得二级情绪标签对应数据集，对每一情绪标签对应数据集进行相应等级脱敏训练，并采用基于多生理信号神经网络情绪识别模型进行脱敏训练效果评估。
10.根据权利要求9所述的基于神经网络的情绪识别与脱敏训练效果评估方法，其特征在于，所述相应等级脱敏训练具体为：
情绪标签定义为恐惧的被试采用低等级场景进行训练，训练过程中同步采集生理信号，训练结束后基于多模态生理信号神经网络模型进行情绪预测，若情绪预测结果仍然为恐惧，继续选用低等级场景进行训练；当情绪预测结果为平静，选用高等级场景进行训练；高等场景训练后用同样方法进行情绪预测，若对于高等场景情绪预测结果为恐惧，重复高等场景训练，直至情绪预测结果为平静，训练结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110777122.1A CN113470787B (zh) | 2021-07-09 | 2021-07-09 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110777122.1A CN113470787B (zh) | 2021-07-09 | 2021-07-09 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470787A true CN113470787A (zh) | 2021-10-01 |
| CN113470787B CN113470787B (zh) | 2024-01-30 |
Family
ID=77879308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110777122.1A Active CN113470787B (zh) | 2021-07-09 | 2021-07-09 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470787B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105877766A (zh) * | 2016-06-21 | 2016-08-24 | 东北大学 | 一种基于多生理信号融合的精神状态检测系统及方法 |
| CN107799165A (zh) * | 2017-09-18 | 2018-03-13 | 华南理工大学 | 一种基于虚拟现实技术的心理评估方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
| CN111128103A (zh) * | 2019-12-19 | 2020-05-08 | 北京凯来科技有限公司 | 一种沉浸式ktv智能点唱系统 |
| CN111839551A (zh) * | 2019-04-29 | 2020-10-30 | 北京入思技术有限公司 | 一种基于视频和生理信号的多模态情感识别方法及系统 |
| CN112069316A (zh) * | 2020-09-03 | 2020-12-11 | 常州微亿智造科技有限公司 | 情绪识别方法和装置 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN112819133A (zh) * | 2019-11-15 | 2021-05-18 | 北方工业大学 | 一种深度混合神经网络情感识别模型的构建方法 |
| WO2021134277A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 情感识别方法、智能装置和计算机可读存储介质 |
-
2021
- 2021-07-09 CN CN202110777122.1A patent/CN113470787B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105877766A (zh) * | 2016-06-21 | 2016-08-24 | 东北大学 | 一种基于多生理信号融合的精神状态检测系统及方法 |
| CN107799165A (zh) * | 2017-09-18 | 2018-03-13 | 华南理工大学 | 一种基于虚拟现实技术的心理评估方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| CN111839551A (zh) * | 2019-04-29 | 2020-10-30 | 北京入思技术有限公司 | 一种基于视频和生理信号的多模态情感识别方法及系统 |
| CN112819133A (zh) * | 2019-11-15 | 2021-05-18 | 北方工业大学 | 一种深度混合神经网络情感识别模型的构建方法 |
| CN111128103A (zh) * | 2019-12-19 | 2020-05-08 | 北京凯来科技有限公司 | 一种沉浸式ktv智能点唱系统 |
| WO2021134277A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 情感识别方法、智能装置和计算机可读存储介质 |
| CN112069316A (zh) * | 2020-09-03 | 2020-12-11 | 常州微亿智造科技有限公司 | 情绪识别方法和装置 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470787B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3748649A1 (en) | Method for evaluating multi-modal emotional understanding capability of patient with autism spectrum disorder | |
| CN105877766A (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
| CN108052973B (zh) | 基于多项眼动数据的地图符号用户兴趣分析方法 | |
| CN113662545B (zh) | 一种基于情绪脑电信号和多任务学习的人格评估方法 | |
| CN108937407A (zh) | 一种智能镜子化妆指导方法及系统 | |
| CN115563484A (zh) | 一种基于生理唤醒识别的街道绿化品质检测方法 | |
| CN113069117A (zh) | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 | |
| CN109567832A (zh) | 一种基于智能手环的检测愤怒驾驶状态的方法及系统 | |
| CN115906002A (zh) | 一种基于多粒度数据融合的学习投入状态评估方法 | |
| CN111067513A (zh) | 一种特征权重自学习的睡眠质量检测关键脑区判定方法 | |
| CN114159079B (zh) | 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法 | |
| CN112370058A (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
| CN113470787B (zh) | 基于神经网络的情绪识别与脱敏训练效果评估方法 | |
| CN117198468A (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| CN111723869A (zh) | 一种面向特殊人员的行为风险智能预警方法及系统 | |
| CN111214249B (zh) | 基于便携式设备获取情绪信息的环境参数阈值探测方法及应用 | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| CN115633961A (zh) | 基于动态加权决策融合恐高情绪识别模型构建方法与系统 | |
| CN113616209B (zh) | 基于时空注意力机制的精神分裂症患者甄别方法 | |
| CN112932508B (zh) | 一种基于手臂肌电网络的手指活动识别系统 | |
| CN113143275B (zh) | 一种样本与特征质量联合量化评估的脑电疲劳检测方法 | |
| CN112274154B (zh) | 基于脑电样本权重调整的跨被试疲劳驾驶分类方法 | |
| CN110675953B (zh) | 利用人工智能和大数据筛查识别精神病患者的系统 | |
| Wu et al. | Spatial and Temporal Analytic Pipeline for Evaluation of Potential Guide Dogs Using Location and Behavior Data | |
| CN110781719A (zh) | 非接触式与接触式协同的心理状态智能监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |