CN113397482A - 一种人类行为分析方法及系统 - Google Patents
一种人类行为分析方法及系统 Download PDFInfo
- Publication number
- CN113397482A CN113397482A CN202110545234.4A CN202110545234A CN113397482A CN 113397482 A CN113397482 A CN 113397482A CN 202110545234 A CN202110545234 A CN 202110545234A CN 113397482 A CN113397482 A CN 113397482A
- Authority
- CN
- China
- Prior art keywords
- human
- prediction
- analysis method
- snn
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Ophthalmology & Optometry (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开一种人类行为分析方法及系统,涉及人类行为分析技术领域,以解决现有的分析方法主观性强的问题。所述人类行为分析方法包括:先采集多种类型的信号,并提取每一种信号的特征,得到多个特征,再对多个特征进行筛选,得到多个预测用特征,最后以多个预测用特征作为输入,利用训练好的SNN‑BLSTM行为模型得到人类行为,该分析方法能够基于人体本身信号分析人类行为,相较于生物学家依赖领域知识和经验对人的行为进行分析和判断的方法,能够显著提高人类行为预测的客观性。所述一种人类行为分析系统与上述技术方案所述的人类行为分析方法相对应。本发明提供的人类行为分析方法及系统用于预测人类行为。
Description
技术领域
本发明涉及人类行为分析技术领域,尤其涉及一种人类行为分析方法及系统。
背景技术
现有的对人类行为进行分析的分析方法,多是生物学家依赖领域知识和经验对人的行为进行分析和判断,这种方法过于主观,无法从实际人本身的角度进行客观分析,因此缺乏客观的说服力。
发明内容
本发明的目的在于提供一种人类行为分析方法及系统,用于对人类行为进行客观分析,预测人类行为。
为了实现上述目的,本发明提供如下技术方案:
一种人类行为分析方法,包括:
采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
提取每一种所述信号的特征,得到多个特征;
对多个所述特征进行筛选,得到多个预测用特征;
以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
与现有技术相比,本发明提供的一种人类行为分析方法中,采集人在作出某一行为时对应的多种人体信号,提取每一种信号的特征,并对多个特征进行筛选,筛选出具有可分性的多个预测用特征,再以多个预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为,分析人类行为意图,能够基于人体本身的信号分析人类行为,相较于生物学家依赖领域知识和经验对人的行为进行分析和判断的方法,能够显著提高人类行为预测的客观性。
本发明还提供一种人类行为分析系统,包括:
采集模块,用于采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
提取模块,用于提取每一种所述信号的特征,得到多个特征;
筛选模块,用于对多个所述特征进行筛选,得到多个预测用特征;
预测模块,用于以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
与现有技术相比,本发明提供的人类行为分析系统的有益效果与上述技术方案所述人类行为分析方法的有益效果相同,此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例1所提供的分析方法的方法流程图。
图2为本发明实施例1所提供的分析方法的原理图。
图3为本发明实施例1所提供的脑电信号采集通道示意图。
图4为本发明实施例1所提供的脑电信号预处理的流程图。
图5为本发明实施例1所提供的特征筛选方法的流程图。
图6为本发明实施例1所提供的脑电信号各频段相关性分析的结果示意图。
图7为本发明实施例1所提供的分析方法的流程示意图。
图8为本发明实施例1所提供的SNN-BLSTM行为模型的结构示意图。
图9为本发明实施例1所提供的定性模型评估方法流程图。
图10为本发明实施例1所提供的定量模型评估方法流程图。
图11为本发明实施例2所提供的分析系统的系统框图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案,本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b的结合,a和c的结合,b和c的结合,或a、b和c的结合,其中a,b,c可以是单个,也可以是多个。
实施例1:
本实施例用于提供一种人类行为分析方法,如图1和图2所示,该分析方法包括如下步骤:
S1:采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
在人受到视觉、听觉、触觉的感官刺激后,人的大脑会产生一系列反应,具体的体现在对脑电信号的检测中。人脑皮质可以分成两大块:左大脑和右大脑,各大块均包含四个部分:额叶脑、颞叶脑、枕叶脑和顶叶脑。各个脑区具有不同的功能,如大脑额叶位于中央沟前,主要负责人的思维和计划,同时与个体的情感需求有关。大脑顶叶位于中央沟之后,顶枕裂与枕前切迹连线之前,顶叶部分的脑区负责人的疼痛触摸、品尝、温度、压力的感觉,也与数学和逻辑相关。
具体的,对于脑电信号的采集而言,本实施例采用美国Nueroscan32导联脑电采集设备进行原始脑电信号的采集,电极以10-20国际标准的顺序放置,即相对距离以10%与20%来确定。本实施例采用两条标志线,一条称为矢状线,是从鼻根到枕外隆凸的连线,从前向后标出5个点:Fpz、Fz、Cz、Pz、Oz,Fpz之前与Oz之后的线段长度占全长的10%,其余各点的间距均占全长的20%。另一条称为冠状线,是两外耳道之间的连线,从左到右也标出5个点:T7、C3、Cz、C4、T8。T7和T8的外侧各占10%,其余各点间的距离均占全长的20%,脑电通道如图3所示。在脑电信号的采集过程中,需要保证所有电极的阻抗小于10kΩ,并以双耳乳突处的M1与M2电极作为参考电极,采样频率为1000Hz。
如图4所示,本实施例所述的分析方法还包括对采集得到的脑电信号进行预处理,预处理过程可以包括:第一步,数据可视化,查看原始脑电信号各单通道的信号之间是否存在互相耦合的情况。第二步,进行脑电参考电极的重参考,本实施例是对行为学的研究,故可以采用双侧乳突作为重参考的电极。第三步,选择感兴趣的频率进行带通滤波,本实施例具体选择频率范围为0-55Hz。第四步,由于脑电信号易受到空调等电设备的信号干扰,故选择去除工频干扰,设定的去除范围为49Hz-51Hz。第五步,对脑电信号做独立成份分析处理,查找信号干扰项,去除眼漂、眨眼、头动伪迹等。第六步,做基线校正,使得所有通道的数据基准对齐标准化。第七步,去除工频干扰。为了便于观察,本实施例还可以将微弱的脑电信号进行放大、进行数据叠加,同时去除无效异常值,获取规范化低噪数据集。
另外,对于其他类型的信号,均可以利用现有的采集方法进行采集,本实施例对此不再赘述。
S2:提取每一种所述信号的特征,得到多个特征;
对于脑电信号,本实施例在对脑电信号进行预处理后,得到无噪声的脑电信号。然后按照波频率,对无噪声的脑电信号做多级小波分解,提取脑电信号的频域特征,所述频域特征包括α波(alpha波,其频率范围为6~12Hz)、δ波(delta波,其频率范围为12~25Hz)和θ波(theta波,其频率范围为3~6Hz)。
对于眼动信号,为了描述眼动信号的多维信息,本实施例选取平均瞳孔直径、瞳孔大小、定位坐标、扫视计数、眨眼率、注视率、平均注视持续时长作为眼动信号的特征。眼动信号有助于全面解码人类行为中注意力的保持、转换和分配情况。
其中,平均瞳孔直径的计算公式为其中为平均瞳孔直径,i=1,2,...m;m为注视行为的数量;ldi为第i次注视行为期间测量得到的瞳孔直径大小。眨眼率的计算公式为fb为眨眼率,n为眨眼总次数,T为人类行为的总时间。注视率的计算公式为fg为注视率,m为注视总次数。平均注视持续时长的计算公式为为平均注视持续时长,dfi为第i次注视行为的持续时长。
对于心电信号,为了能够多维度的提取心电信号的特征,本实施例采用时域分析法和频域分析法来识别行为信息。采用时域分析法,通过统计学离散趋势分析法计算R-R间期的变化,是计算心率变异性HRV(Heart Rate Variability,HRT)指标的直接方法,本实施例可以提取均值(MEAN)、总体标准差(SDNN)、均值标准差(SDANN)和标准差的均方根(r-MSSD)作为心电信号的特征。采用频域分析法将心电信号分解为一系列不同能量、不同频段的成分并对其进行分析,可有效弥补时域分析法缺失的HRV动态特征,本实施例选取信号总功率(TP)、极低频段功率(VLF)、低、高频段的功率比(LF/HF)作为心电信号对应的特征。利用该方法提取得到的特征可定量判断交感神经和副交感神经的均衡作用,在指标敏感性和特异性方面效果较好。
同理,对采集的其他类型的信号进行特征提取时,可参考上述脑电信号、眼动信号、心电信号的特征提取方式进行提取。
S3:对多个所述特征进行筛选,得到多个预测用特征;
由于本实施例是采集多种类型的信号,并对每一信号提取其对应的特征,所获得的特征多且冗杂,特征可以包括客观多模态生理行为特征(脑电生理行为特征、心电生理行为特征和眼动生理行为特征)和主观心理特征(脑力需求、体力需求、时间压力、情感压力、业绩评估、努力程度、挫折程度、操作体验)。针对这一数据特点,本实施例提出三种特征筛选方法,用于筛选出具有最大化类间差异和最小化类内差异的特征,得到具有可分性的多模态特征。
如图5所示,对多个特征进行筛选可以包括:
利用基于决策树的筛选方法对多个特征进行筛选。具体的,基于改进的DT决策树的筛选方法,对任务行为的贡献度进行分析,保留贡献度大的特征,这一筛选方法的核心思想是分析哪一类信号的哪一种特征受任务行为影响更多。
或,利用基于ANOVA的筛选方法对多个特征进行筛选。基于多元统计分析的ANOVA(方差分析)的筛选方法,检索不同任务行为之间,特征是否呈现出显著差异,剔除无显著性差异的特征。
举例而言,对于脑电信号的特征,本实施例可以对32个通道的频段特征进行相关性分析,查看脑电信号32个通道彼此之间频段特征的相关性,其相关性结果如图6所示,颜色越浅代表相关度越高,颜色越深代表相关度越低。同时,采用ANOVA分析,发现脑电信号的每一特征,其P值都小于0.05,则脑电信号的每一特征之间均具有显著性差异,显著性差异大代表该特征对于区分行为具有较好的可分性,从而可以将脑电信号的每一特征均筛选出来,作为预测用特征。
或,利用多模态卷积神经网络的特征筛选方法对多个所述特征进行筛选。具体的,基于多模态卷积神经网络的特征筛选方法,用于在多模态卷积神经网络的全连接层,确定每个特征的权重,筛选出具有最大化类间差异的特征作为预测用特征。
利用上述三种方法中的任一种方法进行特征的精化处理,能够为提高模型训练速度做前期基础。
如图7所示,在得到预测用特征后,本实施例提供两种方法用于预测人类行为,一是建立定性模型,定性模型即为训练好的SNN-BLSTM行为模型,以得到人类行为,对人的不同行为进行区分。二是建立定量模型,定量模型即多元序列网络编码方案表达式,不仅能够得到人类行为,还可以得到这一人类行为下各个预测用特征分别对应的贡献度,解决人在执行不同任务时多模态特征的贡献度求解问题。
S4:以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
本实施例采用SNN-BLSTM行为模型,对多个预测用特征对应的行为进行定性分析。针对目前脉冲神经网络模型SNN尚不能实现多时间尺度时序信号学习与高性能识别的问题,本实施例采用双向循环神经网络的双向LSTM(Bidirectional LSTM,BLSTM)来对SNN网络模型进行改进,基于单一SNN多任务学习的理论分析与实现机理,利用BLSTM网络能够对输入序列的上下文两个方向都产生较长期的记忆的思想,在SNN网络中添加前向隐层和逆向隐层,得到学习型循环脉冲神经网络,即SNN-BLSTM行为模型,以实现慢时间尺度学习多时间尺度任务的共性特点、快时间尺度适应新任务,使其具有双向长短时记忆能力。
如图8所示,所述SNN-BLSTM行为模型包括:输入层、前向隐层、逆向隐层、SNN网络的隐藏层和输出层。输入层分别与前向隐层的输入和逆向隐层的输入相连接,前向隐层的输出和逆向隐层的输出均与SNN网络的隐藏层的输入相连接,SNN网络的隐藏层的输出与输出层相连接。其中,对于前向隐层,其根据t时刻的输入和t-1时刻前向隐层的状态,计算并保存t时刻前向隐层的激活值,并以t时刻前向隐层的激活值作为前向隐层t时刻的输出。对于逆向隐层,其根据t时刻的输入和t+1时刻逆向隐层的状态,计算并保存t时刻逆向隐层的激活值,并以t时刻逆向隐层的激活值作为逆向隐层t时刻的输出。将t时刻前向隐层的激活值和t时刻逆向隐层的激活值作为SNN网络隐藏层的输入,即可计算得到t时刻的输出值,并通过输出层将t时刻的输出值进行输出。
基于上述SNN-BLSTM行为模型的结构,本实施例所提供的分析方法还包括对SNN-BLSTM行为模型进行训练,得到训练好的SNN-BLSTM行为模型,该训练过程可以包括:
以多个特征样本作为输入,以每一特征样本对应的历史人类行为作为标签数据,采用交叉验证的方法对SNN-BLSTM行为模型进行训练,得到训练好的SNN-BLSTM行为模型。所述特征样本包括与预测用特征一一对应的多个历史预测用特征。本领域技术人员可以理解的是,本实施例是利用多个特征样本和历史人类行为进行训练,使SNN-BLSTM行为模型进行多次迭代,并在每次迭代后对SNN-BLSTM行为模型的网络权重参数进行调整,进而得到训练好的SNN-BLSTM行为模型。为了防止SNN-BLSTM行为模型的过拟合,在SNN-BLSTM行为模型的训练过程中采用交叉验证(CV Error)的方法进行训练。同时,采用网格搜索优化算法对SNN-BLSTM行为模型的超参数进行参数寻优,避免人工手工调参,提高预测的正确率,能够更准确地分析人类行为。
作为另一种可选的实施方式,在S3得到多个预测用特征之后,所述分析方法还包括:以多个预测用特征作为输入,利用多元序列网络编码方案表达式得到人类行为。
具体的,所述分析方法还包括得到多元序列网络编码方案表达式,可以包括:
以多个特征样本和每一特征样本对应的历史人类行为作为输入,利用多元序列网络编码方案计算特征样本中的每一历史预测用特征对应的贡献度,得到多元序列网络编码方案表达式。
本实施例所用的多元序列网络编码方案的基础表达式如下:
式1中,Y为人类行为;β0为模型常数;i=1,2,...n;n为预测用生理特征的个数;βi为第i个预测用生理特征对应的贡献度;xi为第i个预测用生理特征;ε为不可观测的随机误差,ε的期望E(ε)=0,ε的方差D(ε)=σ2。
由于人的行为并不是一个绝对值,而是一个相对于其静息状态下的变化值,因此本实施例所建立的多元序列网络编码方案对上述基础表达式进行了修正,如下:
式2中,△Y为人类行为的变化量;β0′为模型常数;i=1,2,...n;n为预测用生理特征的个数;βi′为第i个预测用生理特征对应的贡献度;△xi为第i个预测用生理特征在人类行为作出前后的差值;ε′为不可观测的随机误差,ε′的期望E(ε′)=0,ε′的方差D(ε′)=σ2。
本实施例还默认每个人的行为在静息状态下均为0,故对式2进行简化后,所得到的多元序列网络编码方案如下式:
式3中,Y为人类行为;β0′为模型常数;i=1,2,...n;n为预测用生理特征的个数;βi′为第i个预测用生理特征对应的贡献度;△xi为第i个预测用生理特征在人类行为作出前后的差值;ε′为随机误差。
本实施例所建立的多元序列网络编码方案表达式(定量模型),以多模态生理混合特征作为模型输入,比传统的行为分析模型的输入更为丰富,相当于从人类的认知过程中进行建模,而不是在认知结果上进行建模。
无论采用定性模型还是定量模型预测人类行为,在得到人类行为之后,所述分析方法还可以包括:以预测用特征和人类行为作为输入,利用多元序列网络编码方案表达式计算每一预测用特征对应的贡献度,进而能够确定人在行为决策过程中行为的人因特征规律。
根据以上方案给出定性模型和定量模型的示意图,如图9和图10所示。定性模型的主要任务是对人类行为进行行为分类(行为1、行为2、行为3等等)。而定量模型的主要任务为不仅能够确定人类行为,还能计算产生每一种行为时每一预测用特征的贡献度的大小。即定性模型是从宏观上对行为进行区分,定量模型不仅从宏观上对行为进行区分,还能从微观上对某一种行为的某一种预测用特征给出量值表示。
对于建立的定性模型,本实施例采用准确率(accuracy,ACC)、混淆矩阵、精确率(precision)、召回率(recall)、F1值对该定性模型进行评估分析。
其中,准确率的计算公式为:
式4中,ACC为准确率;TP表示本来是正样例,预测成正样例的数量;FP表示本来是负样例,预测成正样例的数量;FN表示本来是正样例,预测成负样例的数量;TN表示本来是负样例,预测成负样例的数量。
精确率的计算公式为:
式5中,P为精确率。
召回率的计算公式为:
式6中,R为召回率。
F1值的计算公式为:
对于建立的定量模型,运用多元统计分析方法进行评估。首选对正态性假设的验证和等方差假设的验证,模型的随机误差是否服从正态分布、查看模型的标准化残差的散点图,标准化残差值与标准化预计值之间是否有明显的关系。其次,做共线性检验(容忍度与方差膨胀因子VIF)和拟合优度检验,从而验证行为分析模型的有效性。
本实施例所提供的分析方法适用于对人的多模态人因特征对人行为的影响进行定量和定性分析,可以用于解码人类特殊任务下的行为意图,可广泛应用于测试飞机驾驶员、宇航员、装甲车驾驶员和货车司机不同行为特征贡献的定量与定性分析中,用于寻找人在行为决策过程中行为的人因特征规律。
实施例2:
本发明实施例可以根据上述方法示例对人类行为分析系统进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图11示出了本发明实施例提供的一种人类行为分析系统的结构示意图,该人类行为分析系统包括:
采集模块M1,用于采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
提取模块M2,用于提取每一种所述信号的特征,得到多个特征;
筛选模块M3,用于对多个所述特征进行筛选,得到多个预测用特征;
预测模块M4,用于以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述,显而易见的,在不脱离本发明的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明,且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种人类行为分析方法,其特征在于,包括:
采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
提取每一种所述信号的特征,得到多个特征;
对多个所述特征进行筛选,得到多个预测用特征;
以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
2.根据权利要求1所述的一种人类行为分析方法,其特征在于,提取所述脑电信号的特征具体包括:
对所述脑电信号做多级小波分解,提取所述脑电信号的频域特征;所述频域特征包括α波、δ波和θ波。
3.根据权利要求1所述的一种人类行为分析方法,其特征在于,对多个所述特征进行筛选具体包括:
利用基于决策树的筛选方法对多个所述特征进行筛选;
或,利用基于ANOVA的筛选方法对多个所述特征进行筛选;
或,利用多模态卷积神经网络的特征筛选方法对多个所述特征进行筛选。
4.根据权利要求1所述的一种人类行为分析方法,其特征在于,所述SNN-BLSTM行为模型包括:输入层、前向隐层、逆向隐层、SNN网络的隐藏层和输出层;
所述输入层分别与所述前向隐层的输入和所述逆向隐层的输入相连接;
所述前向隐层的输出和所述逆向隐层的输出均与所述SNN网络的隐藏层的输入相连接;
所述SNN网络的隐藏层的输出与所述输出层相连接。
5.根据权利要求1所述的一种人类行为分析方法,其特征在于,所述分析方法还包括对SNN-BLSTM行为模型进行训练,得到训练好的SNN-BLSTM行为模型,具体包括:
以多个特征样本作为输入,以每一所述特征样本对应的历史人类行为作为标签数据,采用交叉验证的方法对所述SNN-BLSTM行为模型进行训练,得到训练好的SNN-BLSTM行为模型;所述特征样本包括与所述预测用特征一一对应的多个历史预测用特征。
6.根据权利要求5所述的一种人类行为分析方法,其特征在于,在对所述SNN-BLSTM行为模型进行训练时,所述分析方法还包括:
在每次迭代结束后,利用网格搜索优化算法对所述SNN-BLSTM行为模型的超参数进行参数寻优。
7.根据权利要求1所述的一种人类行为分析方法,其特征在于,在得到多个预测用特征之后,所述分析方法还包括:以多个所述预测用特征作为输入,利用多元序列网络编码方案表达式得到人类行为。
8.根据权利要求7所述的一种人类行为分析方法,其特征在于,所述分析方法还包括得到多元序列网络编码方案表达式,具体包括:
以多个特征样本和每一所述特征样本对应的历史人类行为作为输入,利用多元序列网络编码方案计算所述特征样本中的每一历史预测用特征对应的贡献度,得到多元序列网络编码方案表达式。
9.根据权利要求7所述的一种人类行为分析方法,其特征在于,在得到人类行为之后,所述分析方法还包括:
以所述预测用特征和所述人类行为作为输入,利用多元序列网络编码方案表达式计算每一所述预测用特征对应的贡献度。
10.一种人类行为分析系统,其特征在于,包括:
采集模块,用于采集多种类型的信号;所述信号包括脑电信号、眼动信号、心电信号和心理信号;
提取模块,用于提取每一种所述信号的特征,得到多个特征;
筛选模块,用于对多个所述特征进行筛选,得到多个预测用特征;
预测模块,用于以多个所述预测用特征作为输入,利用训练好的SNN-BLSTM行为模型得到人类行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545234.4A CN113397482B (zh) | 2021-05-19 | 2021-05-19 | 一种人类行为分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545234.4A CN113397482B (zh) | 2021-05-19 | 2021-05-19 | 一种人类行为分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113397482A true CN113397482A (zh) | 2021-09-17 |
CN113397482B CN113397482B (zh) | 2023-01-06 |
Family
ID=77678856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110545234.4A Active CN113397482B (zh) | 2021-05-19 | 2021-05-19 | 一种人类行为分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113397482B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113397567A (zh) * | 2021-05-19 | 2021-09-17 | 中国航天科工集团第二研究院 | 一种人类行为脑电信号分类方法及系统 |
CN114343637A (zh) * | 2021-12-29 | 2022-04-15 | 河北体育学院 | 基于卷积和循环神经网络运动员心理压力评估方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107106063A (zh) * | 2014-11-02 | 2017-08-29 | 恩戈格勒公司 | 智能音频头戴式耳机系统 |
CN108256579A (zh) * | 2018-01-19 | 2018-07-06 | 中央民族大学 | 一种基于先验知识的多模态民族认同感量化测量方法 |
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN109645990A (zh) * | 2018-08-30 | 2019-04-19 | 北京航空航天大学 | 一种癫痫患者脑电信号的计算机模式识别方法 |
CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
WO2020248008A1 (en) * | 2019-06-14 | 2020-12-17 | The University Of Adelaide | A method and system for classifying sleep related brain activity |
CN113297994A (zh) * | 2021-05-31 | 2021-08-24 | 中国航天科工集团第二研究院 | 一种飞行员行为分析方法及系统 |
-
2021
- 2021-05-19 CN CN202110545234.4A patent/CN113397482B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107106063A (zh) * | 2014-11-02 | 2017-08-29 | 恩戈格勒公司 | 智能音频头戴式耳机系统 |
CN108256579A (zh) * | 2018-01-19 | 2018-07-06 | 中央民族大学 | 一种基于先验知识的多模态民族认同感量化测量方法 |
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN109645990A (zh) * | 2018-08-30 | 2019-04-19 | 北京航空航天大学 | 一种癫痫患者脑电信号的计算机模式识别方法 |
CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
WO2020248008A1 (en) * | 2019-06-14 | 2020-12-17 | The University Of Adelaide | A method and system for classifying sleep related brain activity |
CN113297994A (zh) * | 2021-05-31 | 2021-08-24 | 中国航天科工集团第二研究院 | 一种飞行员行为分析方法及系统 |
Non-Patent Citations (1)
Title |
---|
ESMA MANSOURI BENSSASSI AND JUAN YE: "Investigating Multisensory Integration in Emotion Recognition through Bio-inspired Computational Models", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113397567A (zh) * | 2021-05-19 | 2021-09-17 | 中国航天科工集团第二研究院 | 一种人类行为脑电信号分类方法及系统 |
CN113397567B (zh) * | 2021-05-19 | 2023-03-21 | 中国航天科工集团第二研究院 | 一种人类行为脑电信号分类方法及系统 |
CN114343637A (zh) * | 2021-12-29 | 2022-04-15 | 河北体育学院 | 基于卷积和循环神经网络运动员心理压力评估方法及系统 |
CN114343637B (zh) * | 2021-12-29 | 2023-10-13 | 河北体育学院 | 基于卷积和循环神经网络运动员心理压力评估方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113397482B (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109770924B (zh) | 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法 | |
Hamad et al. | Feature extraction of epilepsy EEG using discrete wavelet transform | |
AlSharabi et al. | EEG signal processing for Alzheimer’s disorders using discrete wavelet transform and machine learning approaches | |
CN101690659B (zh) | 脑电波分析方法 | |
CN113397546B (zh) | 基于机器学习和生理信号的情绪识别模型构建方法及系统 | |
Albert et al. | Automatic EEG processing for the early diagnosis of traumatic brain injury | |
CN112353391A (zh) | 一种基于脑电信号的汽车车内声音品质识别方法及装置 | |
US20150245800A1 (en) | Method for Detection Of An Abnormal Sleep Pattern In A Person | |
CN113397482B (zh) | 一种人类行为分析方法及系统 | |
Alotaibi et al. | Ensemble Machine Learning Based Identification of Pediatric Epilepsy. | |
CN114246589A (zh) | 记忆认知能力测评方法及系统 | |
CN115590529A (zh) | 基于时空注意力机制的癫痫脑电信号监测方法及系统 | |
Li et al. | Spatial–temporal discriminative restricted Boltzmann machine for event-related potential detection and analysis | |
CN114983419B (zh) | 一种基于脑电信号提升运动技能的康复装置 | |
CN112426162A (zh) | 一种基于脑电信号节律熵的疲劳检测方法 | |
CN112057087A (zh) | 精神分裂症高风险人群自主神经功能的评估方法及装置 | |
Smitha et al. | Classifying subjective emotional stress response evoked by multitasking using EEG | |
CN114366103A (zh) | 注意力评估方法、装置及电子设备 | |
Xu et al. | Lightweight eeg classification model based on eeg-sensor with few channels | |
CN111248907A (zh) | 基于精神病临床高危人群脑电信号特征的风险预测方法 | |
Vijean et al. | Objective investigation of vision impairments using single trial pattern reversal visually evoked potentials | |
Akhanda et al. | Detection of cognitive state for brain-computer interfaces | |
CN110192878A (zh) | 基于多导脑电信号定向转移函数的测谎方法 | |
CN115804601A (zh) | 基于多复杂度减速器装配场景的N-Back次任务脑电试验方法 | |
Pratiwi | Comparative Analysis of Brain Waves for EEG-Based Depression Detection in the Prefrontal Cortex Lobe using LSTM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |