CN116304642A - 情绪识别预警及模型训练方法、装置、设备和存储介质 - Google Patents
情绪识别预警及模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116304642A CN116304642A CN202310559291.7A CN202310559291A CN116304642A CN 116304642 A CN116304642 A CN 116304642A CN 202310559291 A CN202310559291 A CN 202310559291A CN 116304642 A CN116304642 A CN 116304642A
- Authority
- CN
- China
- Prior art keywords
- emotion
- sample
- training
- early warning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 144
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008451 emotion Effects 0.000 claims abstract description 195
- 238000013528 artificial neural network Methods 0.000 claims abstract description 57
- 230000000638 stimulation Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000002996 emotional effect Effects 0.000 claims description 58
- 230000015654 memory Effects 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 31
- 230000036962 time dependent Effects 0.000 claims description 23
- 210000004556 brain Anatomy 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000006399 behavior Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007787 long-term memory Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Fuzzy Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开的情绪识别预警及模型训练方法、装置、设备和存储介质，属于脑电信号处理技术领域。主要包括：对用户在面对多个正常和消极的情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并获取对应多个第一样本情绪状态；并据以对神经网络进行训练得到第一模型部分；对用户在情绪严重消极时，以及情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号，并获取对应的多个第二样本情绪状态；并据以对神经网络进行训练得到第二模型部分；及组合第一模型部分和第二模型部分得到情绪识别预警模型。本发明能够对用户进行二级情绪监控，并对不同级别的消极情绪进行及时精确地识别并进行及时有效地预警。
Description
技术领域
本发明涉及脑电信号处理技术领域，尤其涉及一种情绪识别预警及模型训练方法、装置、设备和存储介质。
背景技术
近年来，随着人工智能的发展也为基于脑电信号的情绪识别研究提供了可靠的技术手段，例如，可以通过脑电采集设备对人大脑皮层神经元放电现象进行采集生成脑电信号图，可以使用多种机器学习方法对采集到的脑电信号进行分类等。目前，情绪识别已成为现代神经科学、心理学和计算机科学等领域的研究热点，也成为国内外学者们的重要研究课题，它正在逐渐发展成为一个新的跨学科研究领域。
但现有技术进行情绪识别尤其是对消极情绪进行识别时识别不够精确及时，且缺少及时有效的预警方案。
发明内容
本发明实施例提供一种情绪识别预警及模型训练方法、装置、设备和存储介质，利用情绪识别预警模型能够精确及时地获取用户的消极情绪，并据以进行及时有效地预警。
第一方面，本发明实施例提供一种情绪识别预警模型训练方法，包括：对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并采集获取与每个第一样本脑电信号一一对应的多个第一样本情绪状态；根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分；对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号，并采集获取与每个第二样本脑电信号一一对应的多个第二样本情绪状态；根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分；以及，利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型。
第二方面，本发明实施例提供一种情绪识别预警方法，包括：按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号；将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型部分输出得到所述用户的第一情绪状态；若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号；将所述第二待识别脑电信号作为情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态；以及，若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
第三方面，本发明实施例提供一种情绪识别预警模型训练装置，包括：第一样本采集模块，用于对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并对所述用户对面对每个情绪刺激场景时的情绪状态的描述进行采集得到多个第一样本情绪状态；第一训练模块，用于根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分；第二样本采集模块，用于对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号；第二训练模块，根据所述多个第二样本脑电信号以及对应的多个第二样本情绪状态对神经网络进行训练得到第二模型部分；以及，情绪识别预警模型获取模块，用于利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型。
第四方面，本发明实施例提供一种情绪识别预警装置，包括：第一采集模块，用于按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号；第一识别模块，用于将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型部分输出得到所述用户的第一情绪状态；初步预警及第二采集模块，用于若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号；第二识别模块，用于将所述第二待识别脑电信号作为情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态；以及加强预警模块，用于若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的情绪识别预警模型训练方法或者情绪识别预警方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的情绪识别预警模型训练方法或者情绪识别预警方法。
本发明提供的一种情绪识别预警及模型训练方法、装置、设备和存储介质，通过利用正常情绪刺激场景和消极情绪刺激场景刺激下的脑电信号和情绪状态训练得到情绪识别预警模型的第一部分，并利用加强消极情绪刺激场景且情绪严重消极时的脑电信号，和移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号及对应的情绪状态得到情绪识别预警模型的第二部分，使得利用情绪识别预警模型进行消极情绪识别时，能够进行二级情绪监控，并对用户不同级别的消极情绪进行及时精确地识别并进行及时有效地预警，以利于进一步采取措施避免负面情绪造成的损失。
附图说明
图1是本发明实施例提供的情绪识别预警模型训练方法的一个流程示意图；
图2是本发明实施例提供的情绪识别预警模型训练方法的另一个流程示意图；
图3是本发明实施例提供的情绪识别预警模型训练方法的另一个流程示意图；
图4是本发明实施例提供的情绪识别预警方法的一个流程示意图；
图5是本发明实施例提供的情绪识别预警模型训练装置的一个结构示意图；
图6是本发明实施例提供的情绪识别预警装置的一个结构示意图；
图7是本发明实施例提供的电子设备的一个结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
脑电信号存在于人们的中枢神经系统，区别于人的面部表情、声音、动作等外在生理信号特征容易受主观控制，脑电信号更能真实的反映人的情绪状态能够体现不同时刻的差异。脑电信号反映了大脑神经系统的基本活动，所以能够客观反映出人的内在情感；当驾驶员处于不同情绪状态时脑电频段会有不同的变化，同时每个人的心里承受能力不同，对于外界环境的刺激自身调节能力也不同，所以每个驾驶员在面对相同的情感刺激时脑电信号频段变化也不同。
本发明提供的一种情绪识别预警及模型训练方法、装置、设备和存储介质，通过利用正常情绪刺激场景和消极情绪刺激场景刺激下的脑电信号和情绪状态训练得到情绪识别预警模型的第一部分，并利用加强消极情绪刺激场景且情绪严重消极时的脑电信号，和移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号及对应的情绪状态得到情绪识别预警模型的第二部分，使得利用情绪识别预警模型进行消极情绪识别时，能够进行二级情绪监控，并对用户不同级别的消极情绪进行及时精确地识别并进行及时有效地预警，以利于进一步采取措施避免负面情绪造成的损失。
图1为本发明实施例提供的情绪识别预警模型训练方法的一个流程示意图，该方法可以由本发明实施例提供的情绪识别预警模型训练装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、车辆客户端及服务器等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：
步骤101，对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并采集获取与每个第一样本脑电信号一一对应的多个第一样本情绪状态，以利于利用第一样本脑电信号以及第一样本情绪状态训练得到情绪识别预警模型的第一模型部分。
具体的，上述用户可以是存在情绪控制问题的人员。
具体的，上述正常情绪刺激场景以及消极情绪刺激场景可以是用户在可能面对日常场景。具体的，可以是用户在驾驶车辆过程中可能面对的运行场景。正常情绪刺激场景例如道路畅通、天气风和日丽等场景，消极情绪刺激场景例如遇到堵车，阴雨天，或有人超车等场景。
在本发明的可选具体实施例中，上述正常情绪刺激场景以及消极情绪刺激场景可以根据用户的描述进行设置。
具体的，上述消极情绪刺激场景可以包括，使得用户产生愤怒、烦躁、悲伤及紧张等各种消极情绪的场景。
可选的，上述消极情绪刺激场景是可以使用户产生轻度消极情绪的场景。
具体的，上述第一样本脑电信号以及第二样本脑电信号，可以是利用62通道的脑电采集仪采集获取的情感脑电数据集（SEED数据集），例如SEED-VIG数据集，利用模拟驾驶系统，模拟在沉闷的环境中激发车辆驾驶员的疲劳状态。
具体的，上述正常情绪刺激场景以及消极情绪刺激场景，可以是真实场景，例如真实的车辆运行场景。具体的，可以让用户观看车辆真实运行的场景，对观看过程中用户的脑电信号进行采集得到上述第一样本脑电信号，也可以对真正处于上述真实场景中的用户的脑电信号进行采集得到上述第一样本脑电信号。
具体的，上述正常情绪刺激场景以及消极情绪刺激场景，可以是虚拟场景，例如虚拟车辆运行场景。具体的，可以让用户观看上述虚拟场景，并在观看过程中对用户的脑电信号进行采集得到上述第一样本脑电信号。也可以利用模拟驾驶器模拟用户驾驶车辆运行在上述虚拟车辆运行场景中，并在模拟过程中对用户的脑电信号进行采集得到上述第一样本脑电信号。
可选的，上述第一样本情绪状态可以是用户对面对相应刺激场景时用户的情绪状态的描述评价。
在本发明的可选具体实施例中，上述采集获取与每个第一样本脑电信号一一对应的多个第一样本情绪状态的过程可以是通过对用户进行调查问卷的方式获取的。
在实际应用中，利用上述每个上述情绪刺激场景刺激第一预设时长，例如7分钟后，利用调查问卷的方式获取上述用户对上述每个情绪刺激场景刺激时的情绪状态的描述评价。
可选的，可以将上述第一预设时长的中间部分，例如7分钟时长的中间5分钟对应的脑电信号作为上述第一样本脑电信号。
步骤102，根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分，以利于利用第一模型部分得到组合得到情绪识别预警模型。
可选的，上述神经网络包括卷积神经网络以及长短期记忆网络。具体的，本实施例利用卷积神经网络以及长短记忆网络训练得到情绪识别预警模型，对脑电信号的空间信息特征和时间依赖特征都能进行提取，能够提高利用情绪识别预警模型进行消极情绪预设识别时的及时性和准确率。
在本发明的可选具体实施例中，上述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：利用所述卷积神经网络的卷积层对所述第一样本脑电信号进行特征提取，得到第一卷积样本特征。
具体的，上述卷积层的层数可以选择1-4层的任一数目，优选4层。
具体的，上述4个卷积层的大小分别可以为第一个卷积层大小为64@3*3，第二层为128@4*4，第三层为256@5*5，第四层为64@1*1。
具体的，卷积层是卷积神经网络的核心，通过不同的卷积核来获取输入数据的特征。一层卷积层只能提取低级的特征，多层卷积层的网络可以从低级特征中迭代提取更复杂的特征。
在本发明的可选具体实例中，上述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：利用所述卷积神经网络的池化层，对所述卷积样本特征进行最大池化操作以及平均池化操作，得到第二池化样本特征。
具体的，在卷积层进行特征提取得到卷积样本特征后，利用池化层进行特征选择，目的是为了降维，降低数据体的空间尺寸，可以减少网络中参数的数量，防止由于参数过多而造成过拟合，提高运算速度和所提特征的鲁棒性。本发明实施例选用包括最大池化操作以及平均池化操作的组合池化方式，可以兼以最大池化关注局部特征，和平均池化关注全局特征的优势，丰富特征层。
具体的，池化核可以设置为F=2*2，步长S=2，池化过程具体可以如公式所示：
其中
表示第k个特征图中池化区域/>
的输出值，/>
表示池化区域位于位置/>
的元素数值，/>
。
在本发明的可选具体实例中，上述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理处理得到所述卷积神经网络的第一输出特征。
具体的，可以先利用上述展品层对上述池化样本特征进行一维化处理之后再利用上述全连接层进行全连接处理。
需要将卷积层和池化层提取的数据特征，经过展品层降维以及全连接层处理后，才能得到负荷长短期记忆网络输入要求的数据。
在本发明的可选具体实例中，上述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：利用长短期记忆网络从所述卷积神经网络的输出特征中提取得到第一时间依赖特征。
具体的，长短期记忆网络LSTM在处理时序信息时具有较好的效果。本发明实施例在利用卷积神经网络提取脑电信号的空间特征的基础，进一步利用长短期记忆网络，对脑电信号蕴含时间依赖特征进行提取。
具体的，时间依赖特征可以为脑电信号表现出来的与时序有关的脑电信号趋势等特征。
具体的，可以利用LSTM单元代替RNN中的神经元，得到上述长短期记忆网络。在输入、输出、忘记过去信息上分别加入了输入门、遗忘门、输出门来控制允许多少信息通过，设定σ为sigmoid函数的输出值，W、U为权重矩阵，b为偏置向量。
遗忘门的激活向量
决定了前一个单元细胞信息/>
多大程度被保留，
为网络输入信息，/>
是上一个单元的网络输出信息：
输入门决定了哪些信息将被储存在当前单元细胞信息
，/>
是输入门的激活向量,
和/>
通过tanh层得到新的候选细胞信息/>
:
输出门决定输出哪些信息，
为LSTM单元的最终网络输出信息，/>
是输出门的激活向量。
可选的，利用长短期记忆网络的全连接层对上述时间依赖特征行局部特征整合。对于全连接层，输入特征数为长短期记忆网络中隐藏单元数。
在本发明的可选具体实施例中，上述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：根据所述第一时间依赖特征利用所述长短期记忆网络的输出层输出得到第一训练情绪状态；以及对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第一训练情绪状态与所述第一样本脑电信号对应的情绪状态相符合。
可选的，上述根据所述第一时间依赖特征利用所述长短期记忆网络的输出层输出得到第一训练情绪状态的过程包括：利用柔性最大值函数分类器（Softmax分类器）根据所述第一时间依赖特征分类得到训练情绪状态。
具体的，还可以利用其他的分类器根据上述第一时间依赖特征分类得到上述训练情绪状态。
可选的，在上述利用柔性最大值函数分类器根据所述第一时间依赖特征分类得到所述训练情绪状态的过程中，可以选用交叉熵作为损失函数。
具体的，选择柔性最大值函数分类器作为对输出的训练情绪状态进行二分类，能够使得交叉熵损失更小，分类更加准确。
步骤103，对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号，并采集获取与每个第二样本脑电信号一一对应的多个第二样本情绪状态。以利于根据第二样本脑电信号和第二样本情绪状态训练得到情绪识别预警模型的第二部分。
具体的，上述加强消极情绪刺激场景可以是多个前文中的消极情绪场景的叠加场景，例如虚拟车辆运行场景中的，堵车，阴雨天，有人超车等多种场景的叠加。
可选的，利用上述每个上述加强情绪刺激场景刺激第二预设时长，例如3分钟后，根据用户需求和表述，在其感觉情绪严重消极的时候，随时终止刺激移除刺激场景，并记录脑电信号和情绪状态。之后根据用户表述在其情绪恢复正常时，再次记录用户脑电信号和情绪状态。
可选的，上述移除所述加强消极情绪刺激场景的过程包括，一次移除上述加强消极情绪刺激场景中的全部场景。
步骤104，根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分，以利于利用第二模型部分组合得到情绪识别预警模型。
可选的，上述神经网络包括卷积神经网络以及长短期记忆网络。
在本发明的可选具体实施例中，上述根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分的过程包括：利用所述卷积神经网络的卷积层对所述第二样本脑电信号进行特征提取，得到第二卷积样本特征；利用所述卷积神经网络的池化层，对所述第二卷积样本特征进行最大池化操作以及平均池化操作，得到第二池化样本特征；利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理得到所述卷积神经网络的第二输出特征；利用长短期记忆网络从所述卷积神经网络的输出特征中提取得到第二时间依赖特征；根据所述第二时间依赖特征利用所述长短期记忆网络的输出层输出得到第二训练情绪状态；以及对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第二训练情绪状态与所述第二样本脑电信号对应的情绪状态相符合。
本发明实施例，利用卷积神经网络以及长短记忆网络训练得到情绪识别预警模型，对脑电信号的空间信息特征和时间依赖特征都能进行提取，并在利用卷积神经网络进行训练时，选用包括最大池化操作以及平均池化操作的组合池化方式，可以兼以最大池化关注局部特征，和平均池化关注全局特征的优势，丰富特征层，从而能够提高利用情绪识别预警模型进行消极情绪预设识别时的及时性和准确率。
可选的，所述根据所述第二时间依赖特征利用所述长短期记忆网络的输出层输出得到第二训练情绪状态的过程包括：利用柔性最大值函数分类器根据所述第二时间依赖特征分类得到训练情绪状态。
可选的，在上述利用柔性最大值函数分类器根据所述第二时间依赖特征分类得到所述训练情绪状态的过程中，可以选用交叉熵作为损失函数。
具体的，选择柔性最大值函数分类器作为对输出的训练情绪状态进行二分类，能够使得交叉熵损失更小，分类更加准确。
步骤105，利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型，这样就能够得到情绪识别预警模型，使得对用户进行负面情绪识别时，能够及时精确地进行，并进行及时有效地预警，以利于进一步采取措施避免负面情绪造成的损失。
下面进一步介绍识别预警模型训练方法，如图2所示，即图1中的步骤102可以包括：
步骤1021，按照预设的频段划分方法对每个所述第一样本脑电信号进行频段划分得到的多个第一样本频带。
具体的，可以利用巴特沃斯带通滤波器对上述第一样本脑电信号进行滤波得到5个频段分别为δ（1-4Hz），θ（4-8Hz），α（8-14Hz），β（14-31Hz），γ（31-51Hz）的频带。
步骤1022，根据每个正常第一样本频带与相同频段的消极第一样本频带的微分熵特征差异获取训练频带组合方式，所述正常第一样本频带为正常情绪刺激场景对应的所述第一样本频带，所述消极第一样本频带为所述消极情绪刺激场景对应的所述第一样本频带。
可选的，提取上述多个第一样本频带中每个第一样本频带的微分熵特征，并比较相同频段正常第一样本频带和消极第一样本频带的微分熵差异，之后根据微分熵差异得到上述频带组合方式。
具体的，可以通过对上述相同频段正常第一样本频带的微分熵特征和消极第一样本频带微分熵特征之间，进行方差分析，得到上述微分熵差异。
具体的，不同用户在情绪消极时，不同频段的脑电波的敏感程度是不一样的，因此可以通过分析用户在面对正常情绪刺激场景和消极情绪刺激场景的不同频段脑电波微分熵的变化差异，得到适用于不同用户的用于识别其消极情绪的脑电波频段。
在本发明的可选具体实例中，利用一个或多个所述微分熵特征差异最显著的所述第一样本频带对应的频段得到的训练频段组合，并根据所述训练频段组合得到所述训练频带组合方式。
示例地，可以利用前述五个频段中对应的微分熵特征差异最显著的一个频段，2个频段，或者3个频段得到训练频段组合。
具体的，有的用户在情绪消极时，部分频段的脑电波是与正常情况相比是没有变化的，因此根据用户在面对正常情绪刺激场景和消极情绪刺激场景时各个频段微分熵特征的变化大小，选择用户在情绪消极时变化最明显的脑电波频段，对神经网络模型进行训练，能够减少后续识别时的计算量，降低功耗，提高识别效率。
步骤1023，根据所述训练频带组合方式利用一个或者多个所述第一样本频带得到第一训练样本脑电信号。
具体的，获取并利用训练频带组合方式对应频段的第一样本频带组合得到上述第一训练样本脑电信号。
步骤1024，将所述第一训练样本脑电信号作为所述神经网络的输入，并以对应的所述第一样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第一模型部分。
在本具体实施例中，如图3所示，图1中的步骤103包括：
步骤1031，按照所述预设的频段划分方法对每个所述第二样本脑电信号进行频段划分得到多个第二样本频带。
步骤1032，根据所述训练频带组合方式利用一个或者多个所述第二样本频带得到第二训练样本脑电信号。
步骤1033，将所述第二训练样本脑电信号作为所述神经网络的输入，并以对应的所述第二样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第二模型部分。
具体的，利用步骤1021-1023得到的每个用户在情绪消极时脑电信号变化最大的频段对神经网络模型进行训练得到模型第二部分，不仅能够保证利用训练得到的模型针对每个用户进行消极情绪识别时的准确率，还能够，降低功耗和系统延时，提高识别效率。
图4为本发明实施例提供的情绪识别预警方法的一个流程示意图，该方法可以由本发明实施例提供的情绪识别预警装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、车辆客户端等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图4，该方法具体可以包括如下步骤：
步骤401，按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号。
具体的，上述第一预设周期可以是5分钟。在严重消极情绪出现概率相对较低时，利用较低的频率对用户进行脑电信号采集，能够保证在及时发现消极情绪的前提下，避免高频采集识别造成的计算开销等。
步骤402，将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型部分输出得到所述用户的第一情绪状态。
具体的，利用第一模型部分能够及时识别用户的情绪消极的初级状态。
步骤403，若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号。
具体的，上述初步预警的方式可以是通过语音提醒，也可以是通过闪烁的指示灯等方式进行提醒。
具体的，上述第二预设周期可以是1分钟。在严重消极情绪出现的概率较高时，以较高的频率对用户的脑电信号进行采集以利于及时识别得到严重消极情绪状态，避免严重消极状态造成重大损失。
步骤404，将所述第二待识别脑电信号作为情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态。
具体的，利用模型第二部分能够对用户在经理了消极情绪的初级状态之后，是否发展为严重消极进行及时的识别判断。
步骤405，若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
具体的，上述加强预警的方式可以是通过语音提醒，也可以是通过闪烁的指示灯等方式进行提醒。
本发明实施例能够利用情绪识别预警模型对用户进行二级情绪监控，并对用户不同级别的消极情绪进行及时精确地识别并进行及时有效地预警，以利于进一步采取措施避免负面情绪造成的损失。
可选的，本发明情绪识别预警方法还包括，若所述第一情绪状态或者所述第二情绪状态为正常状态，则执行所述按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号步骤。
这样就能够及时掌握用户情绪恢复正常状态的信息，避免进入后续高频采集识别的环节，从而避免造成高频采集识别造成的计算开销等。
在本发明的可选具体实施例中，本发明情绪识别预警方法还包括，在所述按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号之前，对所述用户进行情绪舒缓以及第一行为控制；以及，若所述第二情绪状态为严重消极状态，则对所述用户进行第二行为控制；所述第二行为控制的控制力度大于所述第一行为控制的控制力度。
具体的，在识别到用户的消极情绪的初级状态的时候进行情绪舒缓，能够避免用户的情绪发展为严重消极状态，有利于用户身心健康。并且在用户的情绪为消极情绪的初级状态和严重消极状态时，进行行为控制能够有效避免用户因为消极情绪导致的不可控行为。
示例地，上述用户为车辆驾驶员，在识别到第一情绪状态为消极状态时，可以为驾驶员播放提前预设的音乐缓和心情，且可以通过蓝牙语音提请驾驶员注意行车安全，并可以对车辆进行限速。在识别到第二情绪状态为严重消极状态，则可以播放蓝牙语音建议驾驶员在安全的地方紧急停车，并给预设的紧急联系人发送位置信息。
可选的，本发明情绪识别预警方法还包括，若所述第二情绪状态为正常状态，则在解除所述第一行为控制后，执行所述按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号步骤。
具体的，在用户情绪恢复正常状态时，解除行为控制，并降低脑电波采集频率，以提高用户体验，并避免非必要开销。
图5是本发明实施例提供的一种情绪识别预警模型训练装置的一个结构图，该装置适用于执行本发明实施例提供的一种情绪识别预警模型训练方法。如图5所示，该装置具体可以包括：
第一样本采集模块501，用于对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并对所述用户对面对每个情绪刺激场景时的情绪状态的描述进行采集得到多个第一样本情绪状态。
第一训练模块502，用于根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分。
可选的，上述神经网络包括卷积神经网络以及长短期记忆网络。
可选的，上述第一训练模块502能够具体用于利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理得到所述卷积神经网络的第一输出特征；利用长短期记忆网络从所述卷积神经网络的第一输出特征中提取得到第一时间依赖特征； 根据所述第一时间依赖特征利用所述长短期记忆网络的输出层输出得到第一训练情绪状态；以及对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第一训练情绪状态与所述第一样本脑电信号对应的情绪状态相符合。
可选的，上述第一训练模块502，能够具体用于利用柔性最大值函数分类器根据所述第一时间依赖特征分类得到所述训练情绪状态。
可选的，上述第一训练模块502，能够具体用于按照预设的频段划分方法对每个所述第一样本脑电信号进行频段划分得到的多个第一样本频带；根据每个正常第一样本频带与相同频段的消极第一样本频带的微分熵特征差异获取训练频带组合方式，所述正常第一样本频带为正常情绪刺激场景对应的所述第一样本频带，所述消极第一样本频带为所述消极情绪刺激场景对应的所述第一样本频带；根据所述训练频带组合方式利用一个或者多个所述第一样本频带得到第一训练样本脑电信号；以及，将所述第一训练样本脑电信号作为所述神经网络的输入，并以对应的所述第一样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第一模型部分。
可选的，上述第一训练模块502，能够具体用于利用一个或多个所述微分熵特征差异最显著的所述第一样本频带对应的频段得到的训练频段组合，并根据所述训练频段组合得到所述训练频带组合方式。
第二样本采集模块503，用于对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号。
第二训练模块504，根据所述多个第二样本脑电信号以及对应的多个第二样本情绪状态对神经网络进行训练得到第二模型部分。
可选的，上述第二训练模块504，能够具体用于利用所述卷积神经网络的卷积层对所述第二样本脑电信号进行特征提取，得到第二卷积样本特征；利用所述卷积神经网络的池化层，对所述卷积样本特征进行最大池化操作以及平均池化操作，得到第二池化样本特征；利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理得到所述卷积神经网络的第二输出特征；利用长短期记忆网络从所述卷积神经网络的第二输出特征中提取得到第二时间依赖特征； 根据所述第二时间依赖特征利用所述长短期记忆网络的输出层输出得到第二训练情绪状态；以及，对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第二训练情绪状态与所述第二样本脑电信号对应的情绪状态相符合。
可选的，上述第二训练模块504，能够具体用于利用柔性最大值函数分类器根据所述第二时间依赖特征分类得到所述训练情绪状态。
可选的，上述第二训练模块504，能够具体用于按照所述预设的频段划分方法对每个所述第二样本脑电信号进行频段划分得到多个第二样本频带；根据所述训练频带组合方式利用一个或者多个所述第二样本频带得到第二训练样本脑电信号；以及，将所述第二训练样本脑电信号作为所述神经网络的输入，并以对应的所述第二样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第二模型部分。
情绪识别预警模型获取模块505，用于利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型。
图6是本发明实施例提供种情绪识别预警模型训练装置的一个结构图，该装置适用于执行本发明实施例提供的情绪识别预警模型训练方法。如图6所示，该装置具体可以包括：
第一采集模块601，用于按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号。
第一识别模块602，用于将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型部分输出得到所述用户的第一情绪状态。
初步预警及第二采集模块603，用于若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号。
第二识别模块604，用于将所述第二待识别脑电信号作为情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态。
加强预警模块605，用于若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
可选的，本发明情绪识别预警模型训练装置还包括：舒缓控制模块，用于在所述按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号之前，对所述用户进行情绪舒缓以及第一行为控制；以及，若所述第二情绪状态为严重消极状态，则对所述用户进行第二行为控制；所述第二行为控制的控制力度大于所述第一行为控制的控制力度。
可选的，本发明情绪识别预警模型训练装置还包括：控制解除模块，用于若所述第二情绪状态为正常状态，则解除所述第一行为控制。
本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例提供的情绪识别预警模型训练方法或者情绪识别预警方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的情绪识别预警模型训练方法或者情绪识别预警方法。
下面参考图7，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，可依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一样本采集模块、第一训练模块、第二样本采集模块、第二训练模块和情绪识别预警模型获取模块；或者，可以描述为：一种处理器包括第一采集模块、第一识别模块、初步预警及第二采集模块、第二识别模块和加强预警模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (14)
1.一种情绪识别预警模型训练方法，其特征在于，包括：
对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并采集获取与每个第一样本脑电信号一一对应的多个第一样本情绪状态；
根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分；
对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号，并采集获取与每个第二样本脑电信号一一对应的多个第二样本情绪状态；
根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分；以及
利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型。
2.根据权利要求1所述的一种情绪识别预警模型训练方法，其特征在于，
所述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：
按照预设的频段划分方法对所述每个第一样本脑电信号进行频段划分得到的多个第一样本频带；根据每个正常第一样本频带与相同频段的消极第一样本频带的微分熵特征差异获取训练频带组合方式，所述正常第一样本频带为正常情绪刺激场景对应的所述第一样本频带，所述消极第一样本频带为所述消极情绪刺激场景对应的所述第一样本频带；根据所述训练频带组合方式利用一个或者多个所述第一样本频带得到第一训练样本脑电信号；以及，将所述第一训练样本脑电信号作为所述神经网络的输入，并以对应的所述第一样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第一模型部分；
所述根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分的过程包括：
按照所述预设的频段划分方法对所述每个第二样本脑电信号进行频段划分得到多个第二样本频带；根据所述训练频带组合方式利用一个或者多个所述第二样本频带得到第二训练样本脑电信号；以及，将所述第二训练样本脑电信号作为所述神经网络的输入，并以对应的所述第二样本情绪状态指导所述神经网络的输出，对所述神经网络进行训练得到所述第二模型部分。
3.根据权利要求2所述的情绪识别预警模型训练方法，其特征在于，所述根据每个正常第一样本频带与相同频段的消极第一样本频带的微分熵特征差异获取训练频带组合方式的过程包括：
利用一个或多个所述微分熵特征差异最显著的所述第一样本频带对应的频段得到的训练频段组合，并根据所述训练频段组合得到所述训练频带组合方式。
4.根据权利要求1所述的情绪识别预警模型训练方法，其特征在于，
所述神经网络包括卷积神经网络以及长短期记忆网络；
所述根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分的过程包括：
利用所述卷积神经网络的卷积层对所述第一样本脑电信号进行特征提取，得到第一卷积样本特征；
利用所述卷积神经网络的池化层，对所述卷积样本特征进行最大池化操作以及平均池化操作，得到第一池化样本特征；
利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理得到所述卷积神经网络的第一输出特征；
利用长短期记忆网络从所述卷积神经网络的第一输出特征中提取得到第一时间依赖特征；
根据所述第一时间依赖特征利用所述长短期记忆网络的输出层输出得到第一训练情绪状态；以及
对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第一训练情绪状态与所述第一样本脑电信号对应的情绪状态相符合。
5.根据权利要求1所述的情绪识别预警模型训练方法，其特征在于，
所述神经网络包括卷积神经网络以及长短期记忆网络；
所述根据所述多个第二样本脑电信号以及所述多个第二样本情绪状态对神经网络进行训练得到第二模型部分的过程包括：
利用所述卷积神经网络的卷积层对所述第二样本脑电信号进行特征提取，得到第二卷积样本特征；
利用所述卷积神经网络的池化层，对所述卷积样本特征进行最大池化操作以及平均池化操作，得到第二池化样本特征；
利用所述卷积神经网络的展平层和全连接层先后对所述池化样本特征进行一维化处理以及全连接处理得到所述卷积神经网络的第二输出特征；
利用长短期记忆网络从所述卷积神经网络的第二输出特征中提取得到第二时间依赖特征；
根据所述第二时间依赖特征利用所述长短期记忆网络的输出层输出得到第二训练情绪状态；以及
对所述卷积神经网络模型以及所述长短记忆网络的参数进行调整，使得所述第二训练情绪状态与所述第二样本脑电信号对应的情绪状态相符合。
6.根据权利要求4所述的情绪识别预警模型训练方法，其特征在于，
所述根据所述第一时间依赖特征利用所述长短期记忆网络的输出层输出得到第一训练情绪状态的过程包括：
利用柔性最大值函数分类器根据所述第一时间依赖特征分类得到所述训练情绪状态。
7.一种情绪识别预警方法，其特征在于，包括：
按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号；
将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型部分输出得到所述用户的第一情绪状态；
若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号；
将所述第二待识别脑电信号作为所述情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态；以及
若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
8.根据权利要求7所述的情绪识别预警方法，其特征在于，还包括：
若所述第一情绪状态或者所述第二情绪状态为正常状态，则执行所述按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号步骤。
9.根据权利要求7所述的情绪识别预警方法，其特征在于，还包括：
在所述按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号之前，对所述用户进行情绪舒缓以及第一行为控制；以及
若所述第二情绪状态为严重消极状态，则对所述用户进行第二行为控制；
所述第二行为控制的控制力度大于所述第一行为控制的控制力度。
10.根据权利要求9所述的情绪识别预警方法，其特征在于，还包括：
若所述第二情绪状态为正常状态，则在解除所述第一行为控制后，执行所述按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号步骤。
11.一种情绪识别预警模型训练装置，其特征在于，包括：
第一样本采集模块，用于对用户在面对多个正常情绪刺激场景以及多个消极情绪刺激场景时的脑电信号进行采集得到多个第一样本脑电信号，并对所述用户对面对每个情绪刺激场景时的情绪状态的描述进行采集得到多个第一样本情绪状态；
第一训练模块，用于根据所述多个第一样本脑电信号以及所述多个第一样本情绪状态对神经网络进行训练得到第一模型部分；
第二样本采集模块，用于对所述用户在面对多个加强消极情绪刺激场景且情绪严重消极时的脑电信号，以及移除所述加强消极情绪刺激场景至所述用户的情绪恢复正常的脑电信号进行采集得到多个第二样本脑电信号；
第二训练模块，根据所述多个第二样本脑电信号以及对应的多个第二样本情绪状态对神经网络进行训练得到第二模型部分；以及
情绪识别预警模型获取模块，用于利用所述第一模型部分以及所述第二模型部分组合得到情绪识别预警模型。
12.一种情绪识别预警装置，其特征在于，包括：
第一采集模块，用于按照第一预设周期对用户的脑电信号进行实时采集得到第一待识别脑电信号；
第一识别模块，用于将所述第一待识别脑电信号作为情绪识别预警模型的第一模型部分的输入，利用所述第一模型输出得到所述用户的第一情绪状态；
初步预警及第二采集模块，用于若所述第一情绪状态为消极状态，则对所述用户进行初步预警后，按照第二预设周期对所述用户的脑电信号进行实时采集，得到第二待识别脑电信号；
第二识别模块，用于将所述第二待识别脑电信号作为情绪识别预警模型的第二模型部分的输入，利用所述第二模型部分输出得到所述用户的第二情绪状态；以及
加强预警模块，用于若所述第二情绪状态为严重消极状态，则对所述用户进行加强预警。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一所述的情绪识别预警模型训练方法，或者所述处理器执行所述程序时实现如权利7至10中任一所述的情绪识别预警方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一所述的情绪识别预警模型训练方法，或者该程序被处理器执行时实现如权利要求7至10中任一所述的情绪识别预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559291.7A CN116304642B (zh) | 2023-05-18 | 2023-05-18 | 情绪识别预警及模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559291.7A CN116304642B (zh) | 2023-05-18 | 2023-05-18 | 情绪识别预警及模型训练方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116304642A true CN116304642A (zh) | 2023-06-23 |
| CN116304642B CN116304642B (zh) | 2023-08-18 |
Family
ID=86789124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559291.7A Active CN116304642B (zh) | 2023-05-18 | 2023-05-18 | 情绪识别预警及模型训练方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116304642B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407733A (zh) * | 2016-12-12 | 2017-02-15 | 兰州大学 | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 |
| CN109833049A (zh) * | 2019-03-05 | 2019-06-04 | 浙江强脑科技有限公司 | 疲劳驾驶预防方法、装置及可读存储介质 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| CN112488002A (zh) * | 2020-12-03 | 2021-03-12 | 重庆邮电大学 | 基于n170的情绪识别方法及识别系统 |
| US20210267474A1 (en) * | 2020-03-02 | 2021-09-02 | Wuyi University | Training method, and classification method and system for eeg pattern classification model |
| CN114818837A (zh) * | 2022-06-29 | 2022-07-29 | 电子科技大学 | 基于多级神经网络和分块计算的脑电信号智能处理电路 |
| CN115414043A (zh) * | 2022-09-26 | 2022-12-02 | 北京脑陆科技有限公司 | 基于脑电信号分析的抑郁障碍识别系统、装置及存储介质 |
| CN115659207A (zh) * | 2022-05-26 | 2023-01-31 | 华中师范大学 | 一种脑电情绪识别方法及系统 |
| CN115804602A (zh) * | 2022-12-21 | 2023-03-17 | 西京学院 | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 |
| CN115937946A (zh) * | 2022-12-12 | 2023-04-07 | 华中师范大学 | 一种基于多模态数据融合的在线学习状态检测方法 |
-
2023
- 2023-05-18 CN CN202310559291.7A patent/CN116304642B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407733A (zh) * | 2016-12-12 | 2017-02-15 | 兰州大学 | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 |
| CN109833049A (zh) * | 2019-03-05 | 2019-06-04 | 浙江强脑科技有限公司 | 疲劳驾驶预防方法、装置及可读存储介质 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| US20210267474A1 (en) * | 2020-03-02 | 2021-09-02 | Wuyi University | Training method, and classification method and system for eeg pattern classification model |
| CN112488002A (zh) * | 2020-12-03 | 2021-03-12 | 重庆邮电大学 | 基于n170的情绪识别方法及识别系统 |
| CN115659207A (zh) * | 2022-05-26 | 2023-01-31 | 华中师范大学 | 一种脑电情绪识别方法及系统 |
| CN114818837A (zh) * | 2022-06-29 | 2022-07-29 | 电子科技大学 | 基于多级神经网络和分块计算的脑电信号智能处理电路 |
| CN115414043A (zh) * | 2022-09-26 | 2022-12-02 | 北京脑陆科技有限公司 | 基于脑电信号分析的抑郁障碍识别系统、装置及存储介质 |
| CN115937946A (zh) * | 2022-12-12 | 2023-04-07 | 华中师范大学 | 一种基于多模态数据融合的在线学习状态检测方法 |
| CN115804602A (zh) * | 2022-12-21 | 2023-03-17 | 西京学院 | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| WEI-LONG ZHENG等: "Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks", 《IEEE TRANSACTIONS ON AUTONOMOUS MENTAL DEVELOPMENT》, pages 162 - 175 * |
| 张俊晓;薄华;: "基于卷积神经网络的脑电情绪识别研究", 现代计算机(专业版), no. 23 * |
| 王浩伦;朱业安;彭理群;苏航;: "汽车驾驶人的情绪诱发与识别研究综述", 交通信息与安全, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116304642B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Budak et al. | An effective hybrid model for EEG-based drowsiness detection | |
| CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
| CN110604565A (zh) | 一种基于便携式eeg设备的脑部健康筛查方法 | |
| Hooda et al. | A comprehensive review of approaches to detect fatigue using machine learning techniques | |
| CN110390272B (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
| CN107577991B (zh) | 随访数据处理方法、装置、存储介质和计算机设备 | |
| CN113257406A (zh) | 基于智能眼镜的灾害救援检伤分类及辅助诊断方法 | |
| CN112932501B (zh) | 一种基于一维卷积神经网络自动识别失眠方法 | |
| CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| Avila et al. | Speech-based stress classification based on modulation spectral features and convolutional neural networks | |
| CN109222966A (zh) | 一种基于变分自编码器的脑电信号情感分类方法 | |
| Zhao et al. | Research and development of autism diagnosis information system based on deep convolution neural network and facial expression data | |
| CN114504331A (zh) | 一种融合cnn和lstm的情绪识别分类方法 | |
| Zhang et al. | Research on lung sound classification model based on dual-channel CNN-LSTM algorithm | |
| CN116304642B (zh) | 情绪识别预警及模型训练方法、装置、设备和存储介质 | |
| CN112370058A (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
| CN111723869A (zh) | 一种面向特殊人员的行为风险智能预警方法及系统 | |
| CN116687422A (zh) | 一种基于自动睡眠分期的意识障碍患者辅助诊断系统 | |
| CN116386845A (zh) | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 | |
| Arora et al. | Unraveling depression using machine intelligence | |
| Begawan et al. | Sleep stage identification based on eeg signals using parallel convolutional neural network and recurrent neural network | |
| Nissimagoudar et al. | Driver alertness detection using CNN-BiLSTM and implementation on ARM-based SBC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |