CN113397482B - 一种人类行为分析方法及系统 - Google Patents

Abstract

本发明公开一种人类行为分析方法及系统，涉及人类行为分析技术领域，以解决现有的分析方法主观性强的问题。所述人类行为分析方法包括：先采集多种类型的信号，并提取每一种信号的特征，得到多个特征，再对多个特征进行筛选，得到多个预测用特征，最后以多个预测用特征作为输入，利用训练好的SNN‑BLSTM行为模型得到人类行为，该分析方法能够基于人体本身信号分析人类行为，相较于生物学家依赖领域知识和经验对人的行为进行分析和判断的方法，能够显著提高人类行为预测的客观性。所述一种人类行为分析系统与上述技术方案所述的人类行为分析方法相对应。本发明提供的人类行为分析方法及系统用于预测人类行为。

Description

一种人类行为分析方法及系统

技术领域

本发明涉及人类行为分析技术领域，尤其涉及一种人类行为分析方法及系统。

背景技术

现有的对人类行为进行分析的分析方法，多是生物学家依赖领域知识和经验对人的行为进行分析和判断，这种方法过于主观，无法从实际人本身的角度进行客观分析，因此缺乏客观的说服力。

发明内容

本发明的目的在于提供一种人类行为分析方法及系统，用于对人类行为进行客观分析，预测人类行为。

为了实现上述目的，本发明提供如下技术方案：

一种人类行为分析方法，包括：

采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

提取每一种所述信号的特征，得到多个特征；

对多个所述特征进行筛选，得到多个预测用特征；

以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为。

与现有技术相比，本发明提供的一种人类行为分析方法中，采集人在作出某一行为时对应的多种人体信号，提取每一种信号的特征，并对多个特征进行筛选，筛选出具有可分性的多个预测用特征，再以多个预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为，分析人类行为意图，能够基于人体本身的信号分析人类行为，相较于生物学家依赖领域知识和经验对人的行为进行分析和判断的方法，能够显著提高人类行为预测的客观性。

本发明还提供一种人类行为分析系统，包括：

采集模块，用于采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

提取模块，用于提取每一种所述信号的特征，得到多个特征；

筛选模块，用于对多个所述特征进行筛选，得到多个预测用特征；

预测模块，用于以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为。

与现有技术相比，本发明提供的人类行为分析系统的有益效果与上述技术方案所述人类行为分析方法的有益效果相同，此处不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例1所提供的分析方法的方法流程图。

图2为本发明实施例1所提供的分析方法的原理图。

图3为本发明实施例1所提供的脑电信号采集通道示意图。

图4为本发明实施例1所提供的脑电信号预处理的流程图。

图5为本发明实施例1所提供的特征筛选方法的流程图。

图6为本发明实施例1所提供的脑电信号各频段相关性分析的结果示意图。

图7为本发明实施例1所提供的分析方法的流程示意图。

图8为本发明实施例1所提供的SNN-BLSTM行为模型的结构示意图。

图9为本发明实施例1所提供的定性模型评估方法流程图。

图10为本发明实施例1所提供的定量模型评估方法流程图。

图11为本发明实施例2所提供的分析系统的系统框图。

具体实施方式

为了便于清楚描述本发明实施例的技术方案，本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

实施例1：

本实施例用于提供一种人类行为分析方法，如图1和图2所示，该分析方法包括如下步骤：

S1：采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

在人受到视觉、听觉、触觉的感官刺激后，人的大脑会产生一系列反应，具体的体现在对脑电信号的检测中。人脑皮质可以分成两大块：左大脑和右大脑，各大块均包含四个部分：额叶脑、颞叶脑、枕叶脑和顶叶脑。各个脑区具有不同的功能，如大脑额叶位于中央沟前，主要负责人的思维和计划，同时与个体的情感需求有关。大脑顶叶位于中央沟之后，顶枕裂与枕前切迹连线之前，顶叶部分的脑区负责人的疼痛触摸、品尝、温度、压力的感觉，也与数学和逻辑相关。

具体的，对于脑电信号的采集而言，本实施例采用美国Nueroscan32导联脑电采集设备进行原始脑电信号的采集，电极以10-20国际标准的顺序放置，即相对距离以10％与20％来确定。本实施例采用两条标志线，一条称为矢状线，是从鼻根到枕外隆凸的连线，从前向后标出5个点：Fpz、Fz、Cz、Pz、Oz，Fpz之前与Oz之后的线段长度占全长的10％，其余各点的间距均占全长的20％。另一条称为冠状线，是两外耳道之间的连线，从左到右也标出5个点：T7、C3、Cz、C4、T8。T7和T8的外侧各占10％，其余各点间的距离均占全长的20％，脑电通道如图3所示。在脑电信号的采集过程中，需要保证所有电极的阻抗小于10kΩ，并以双耳乳突处的M1与M2电极作为参考电极，采样频率为1000Hz。

如图4所示，本实施例所述的分析方法还包括对采集得到的脑电信号进行预处理，预处理过程可以包括：第一步，数据可视化，查看原始脑电信号各单通道的信号之间是否存在互相耦合的情况。第二步，进行脑电参考电极的重参考，本实施例是对行为学的研究，故可以采用双侧乳突作为重参考的电极。第三步，选择感兴趣的频率进行带通滤波，本实施例具体选择频率范围为0-55Hz。第四步，由于脑电信号易受到空调等电设备的信号干扰，故选择去除工频干扰，设定的去除范围为49Hz-51Hz。第五步，对脑电信号做独立成份分析处理，查找信号干扰项，去除眼漂、眨眼、头动伪迹等。第六步，做基线校正，使得所有通道的数据基准对齐标准化。第七步，去除工频干扰。为了便于观察，本实施例还可以将微弱的脑电信号进行放大、进行数据叠加，同时去除无效异常值，获取规范化低噪数据集。

另外，对于其他类型的信号，均可以利用现有的采集方法进行采集，本实施例对此不再赘述。

S2：提取每一种所述信号的特征，得到多个特征；

对于脑电信号，本实施例在对脑电信号进行预处理后，得到无噪声的脑电信号。然后按照波频率，对无噪声的脑电信号做多级小波分解，提取脑电信号的频域特征，所述频域特征包括α波(alpha波，其频率范围为6～12Hz)、δ波(delta波，其频率范围为12～25Hz)和θ波(theta波，其频率范围为3～6Hz)。

对于眼动信号，为了描述眼动信号的多维信息，本实施例选取平均瞳孔直径、瞳孔大小、定位坐标、扫视计数、眨眼率、注视率、平均注视持续时长作为眼动信号的特征。眼动信号有助于全面解码人类行为中注意力的保持、转换和分配情况。

其中，平均瞳孔直径的计算公式为

其中

为平均瞳孔直径，i＝1，2，...m；m为注视行为的数量；l_di为第i次注视行为期间测量得到的瞳孔直径大小。眨眼率的计算公式为

f_b为眨眼率，n为眨眼总次数，T为人类行为的总时间。注视率的计算公式为

f_g为注视率，m为注视总次数。平均注视持续时长的计算公式为

为平均注视持续时长，d_fi为第i次注视行为的持续时长。

对于心电信号，为了能够多维度的提取心电信号的特征，本实施例采用时域分析法和频域分析法来识别行为信息。采用时域分析法，通过统计学离散趋势分析法计算R-R间期的变化，是计算心率变异性HRV(Heart Rate Variability，HRT)指标的直接方法，本实施例可以提取均值(MEAN)、总体标准差(SDNN)、均值标准差(SDANN)和标准差的均方根(r-MSSD)作为心电信号的特征。采用频域分析法将心电信号分解为一系列不同能量、不同频段的成分并对其进行分析，可有效弥补时域分析法缺失的HRV动态特征，本实施例选取信号总功率(TP)、极低频段功率(VLF)、低、高频段的功率比(LF/HF)作为心电信号对应的特征。利用该方法提取得到的特征可定量判断交感神经和副交感神经的均衡作用，在指标敏感性和特异性方面效果较好。

同理，对采集的其他类型的信号进行特征提取时，可参考上述脑电信号、眼动信号、心电信号的特征提取方式进行提取。

S3：对多个所述特征进行筛选，得到多个预测用特征；

由于本实施例是采集多种类型的信号，并对每一信号提取其对应的特征，所获得的特征多且冗杂，特征可以包括客观多模态生理行为特征(脑电生理行为特征、心电生理行为特征和眼动生理行为特征)和主观心理特征(脑力需求、体力需求、时间压力、情感压力、业绩评估、努力程度、挫折程度、操作体验)。针对这一数据特点，本实施例提出三种特征筛选方法，用于筛选出具有最大化类间差异和最小化类内差异的特征，得到具有可分性的多模态特征。

如图5所示，对多个特征进行筛选可以包括：

利用基于决策树的筛选方法对多个特征进行筛选。具体的，基于改进的DT决策树的筛选方法，对任务行为的贡献度进行分析，保留贡献度大的特征，这一筛选方法的核心思想是分析哪一类信号的哪一种特征受任务行为影响更多。

或，利用基于ANOVA的筛选方法对多个特征进行筛选。基于多元统计分析的ANOVA(方差分析)的筛选方法，检索不同任务行为之间，特征是否呈现出显著差异，剔除无显著性差异的特征。

举例而言，对于脑电信号的特征，本实施例可以对32个通道的频段特征进行相关性分析，查看脑电信号32个通道彼此之间频段特征的相关性，其相关性结果如图6所示，颜色越浅代表相关度越高，颜色越深代表相关度越低。同时，采用ANOVA分析，发现脑电信号的每一特征，其P值都小于0.05，则脑电信号的每一特征之间均具有显著性差异，显著性差异大代表该特征对于区分行为具有较好的可分性，从而可以将脑电信号的每一特征均筛选出来，作为预测用特征。

或，利用多模态卷积神经网络的特征筛选方法对多个所述特征进行筛选。具体的，基于多模态卷积神经网络的特征筛选方法，用于在多模态卷积神经网络的全连接层，确定每个特征的权重，筛选出具有最大化类间差异的特征作为预测用特征。

利用上述三种方法中的任一种方法进行特征的精化处理，能够为提高模型训练速度做前期基础。

如图7所示，在得到预测用特征后，本实施例提供两种方法用于预测人类行为，一是建立定性模型，定性模型即为训练好的SNN-BLSTM行为模型，以得到人类行为，对人的不同行为进行区分。二是建立定量模型，定量模型即多元序列网络编码方案表达式，不仅能够得到人类行为，还可以得到这一人类行为下各个预测用特征分别对应的贡献度，解决人在执行不同任务时多模态特征的贡献度求解问题。

S4：以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为。

本实施例采用SNN-BLSTM行为模型，对多个预测用特征对应的行为进行定性分析。针对目前脉冲神经网络模型SNN尚不能实现多时间尺度时序信号学习与高性能识别的问题，本实施例采用双向循环神经网络的双向LSTM(Bidirectional LSTM，BLSTM)来对SNN网络模型进行改进，基于单一SNN多任务学习的理论分析与实现机理，利用BLSTM网络能够对输入序列的上下文两个方向都产生较长期的记忆的思想，在SNN网络中添加前向隐层和逆向隐层，得到学习型循环脉冲神经网络，即SNN-BLSTM行为模型，以实现慢时间尺度学习多时间尺度任务的共性特点、快时间尺度适应新任务，使其具有双向长短时记忆能力。

如图8所示，所述SNN-BLSTM行为模型包括：输入层、前向隐层、逆向隐层、SNN网络的隐藏层和输出层。输入层分别与前向隐层的输入和逆向隐层的输入相连接，前向隐层的输出和逆向隐层的输出均与SNN网络的隐藏层的输入相连接，SNN网络的隐藏层的输出与输出层相连接。其中，对于前向隐层，其根据t时刻的输入和t-1时刻前向隐层的状态，计算并保存t时刻前向隐层的激活值，并以t时刻前向隐层的激活值作为前向隐层t时刻的输出。对于逆向隐层，其根据t时刻的输入和t+1时刻逆向隐层的状态，计算并保存t时刻逆向隐层的激活值，并以t时刻逆向隐层的激活值作为逆向隐层t时刻的输出。将t时刻前向隐层的激活值和t时刻逆向隐层的激活值作为SNN网络隐藏层的输入，即可计算得到t时刻的输出值，并通过输出层将t时刻的输出值进行输出。

基于上述SNN-BLSTM行为模型的结构，本实施例所提供的分析方法还包括对SNN-BLSTM行为模型进行训练，得到训练好的SNN-BLSTM行为模型，该训练过程可以包括：

以多个特征样本作为输入，以每一特征样本对应的历史人类行为作为标签数据，采用交叉验证的方法对SNN-BLSTM行为模型进行训练，得到训练好的SNN-BLSTM行为模型。所述特征样本包括与预测用特征一一对应的多个历史预测用特征。本领域技术人员可以理解的是，本实施例是利用多个特征样本和历史人类行为进行训练，使SNN-BLSTM行为模型进行多次迭代，并在每次迭代后对SNN-BLSTM行为模型的网络权重参数进行调整，进而得到训练好的SNN-BLSTM行为模型。为了防止SNN-BLSTM行为模型的过拟合，在SNN-BLSTM行为模型的训练过程中采用交叉验证(CV Error)的方法进行训练。同时，采用网格搜索优化算法对SNN-BLSTM行为模型的超参数进行参数寻优，避免人工手工调参，提高预测的正确率，能够更准确地分析人类行为。

作为另一种可选的实施方式，在S3得到多个预测用特征之后，所述分析方法还包括：以多个预测用特征作为输入，利用多元序列网络编码方案表达式得到人类行为。

具体的，所述分析方法还包括得到多元序列网络编码方案表达式，可以包括：

以多个特征样本和每一特征样本对应的历史人类行为作为输入，利用多元序列网络编码方案计算特征样本中的每一历史预测用特征对应的贡献度，得到多元序列网络编码方案表达式。

本实施例所用的多元序列网络编码方案的基础表达式如下：

式1中，Y为人类行为；β₀为模型常数；i＝1，2，...n；n为预测用生理特征的个数；β_i为第i个预测用生理特征对应的贡献度；x_i为第i个预测用生理特征；ε为不可观测的随机误差，ε的期望E(ε)＝0，ε的方差D(ε)＝σ²。

由于人的行为并不是一个绝对值，而是一个相对于其静息状态下的变化值，因此本实施例所建立的多元序列网络编码方案对上述基础表达式进行了修正，如下：

式2中，△Y为人类行为的变化量；β₀′为模型常数；i＝1，2，...n；n为预测用生理特征的个数；β_i′为第i个预测用生理特征对应的贡献度；△x_i为第i个预测用生理特征在人类行为作出前后的差值；ε′为不可观测的随机误差，ε′的期望E(ε′)＝0，ε′的方差D(ε′)＝σ²。

本实施例还默认每个人的行为在静息状态下均为0，故对式2进行简化后，所得到的多元序列网络编码方案如下式：

式3中，Y为人类行为；β₀′为模型常数；i＝1，2，...n；n为预测用生理特征的个数；β_i′为第i个预测用生理特征对应的贡献度；△x_i为第i个预测用生理特征在人类行为作出前后的差值；ε′为随机误差。

本实施例所建立的多元序列网络编码方案表达式(定量模型)，以多模态生理混合特征作为模型输入，比传统的行为分析模型的输入更为丰富，相当于从人类的认知过程中进行建模，而不是在认知结果上进行建模。

无论采用定性模型还是定量模型预测人类行为，在得到人类行为之后，所述分析方法还可以包括：以预测用特征和人类行为作为输入，利用多元序列网络编码方案表达式计算每一预测用特征对应的贡献度，进而能够确定人在行为决策过程中行为的人因特征规律。

根据以上方案给出定性模型和定量模型的示意图，如图9和图10所示。定性模型的主要任务是对人类行为进行行为分类(行为1、行为2、行为3等等)。而定量模型的主要任务为不仅能够确定人类行为，还能计算产生每一种行为时每一预测用特征的贡献度的大小。即定性模型是从宏观上对行为进行区分，定量模型不仅从宏观上对行为进行区分，还能从微观上对某一种行为的某一种预测用特征给出量值表示。

对于建立的定性模型，本实施例采用准确率(accuracy，ACC)、混淆矩阵、精确率(precision)、召回率(recall)、F1值对该定性模型进行评估分析。

其中，准确率的计算公式为：

式4中，ACC为准确率；TP表示本来是正样例，预测成正样例的数量；FP表示本来是负样例，预测成正样例的数量；FN表示本来是正样例，预测成负样例的数量；TN表示本来是负样例，预测成负样例的数量。

精确率的计算公式为：

式5中，P为精确率。

召回率的计算公式为：

式6中，R为召回率。

F1值的计算公式为：

对于建立的定量模型，运用多元统计分析方法进行评估。首选对正态性假设的验证和等方差假设的验证，模型的随机误差是否服从正态分布、查看模型的标准化残差的散点图，标准化残差值与标准化预计值之间是否有明显的关系。其次，做共线性检验(容忍度与方差膨胀因子VIF)和拟合优度检验，从而验证行为分析模型的有效性。

本实施例所提供的分析方法适用于对人的多模态人因特征对人行为的影响进行定量和定性分析，可以用于解码人类特殊任务下的行为意图，可广泛应用于测试飞机驾驶员、宇航员、装甲车驾驶员和货车司机不同行为特征贡献的定量与定性分析中，用于寻找人在行为决策过程中行为的人因特征规律。

实施例2：

本发明实施例可以根据上述方法示例对人类行为分析系统进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图11示出了本发明实施例提供的一种人类行为分析系统的结构示意图，该人类行为分析系统包括：

采集模块M1，用于采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

提取模块M2，用于提取每一种所述信号的特征，得到多个特征；

筛选模块M3，用于对多个所述特征进行筛选，得到多个预测用特征；

预测模块M4，用于以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种人类行为分析方法，其特征在于，包括：

采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

提取每一种所述信号的特征，得到多个特征；所述眼动信号的特征包括平均瞳孔直径、瞳孔大小、定位坐标、扫视计数、眨眼率、注视率和平均注视持续时长；所述心电信号的特征包括均值、总体标准差、均值标准差、标准差的均方根、信号总功率、极低频段功率和低、高频段的功率比；

对多个所述特征进行筛选，得到多个预测用特征；所述对多个所述特征进行筛选具体包括：利用基于决策树的筛选方法对多个所述特征进行筛选；或，利用基于ANOVA的筛选方法对多个所述特征进行筛选；或，利用多模态卷积神经网络的特征筛选方法对多个所述特征进行筛选；

以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为；

所述SNN-BLSTM行为模型包括：输入层、前向隐层、逆向隐层、SNN网络的隐藏层和输出层；所述输入层分别与所述前向隐层的输入和所述逆向隐层的输入相连接；所述前向隐层的输出和所述逆向隐层的输出均与所述SNN网络的隐藏层的输入相连接；所述SNN网络的隐藏层的输出与所述输出层相连接；

在得到人类行为之后，所述分析方法还包括：以所述预测用特征和所述人类行为作为输入，利用多元序列网络编码方案表达式计算每一所述预测用特征对应的贡献度；

所述多元序列网络编码方案表达式为：

其中，Y为人类行为；β₀′为模型常数；i＝1，2，...，n，n为预测用特征的个数；β_i′为第i个预测用特征对应的贡献度；Δx_i为第i个预测用特征在人类行为作出前后的差值；ε′为随机误差。

2.根据权利要求1所述的一种人类行为分析方法，其特征在于，提取所述脑电信号的特征具体包括：

对所述脑电信号做多级小波分解，提取所述脑电信号的频域特征；所述频域特征包括α波、δ波和θ波。

3.根据权利要求1所述的一种人类行为分析方法，其特征在于，所述分析方法还包括对SNN-BLSTM行为模型进行训练，得到训练好的SNN-BLSTM行为模型，具体包括：

以多个特征样本作为输入，以每一所述特征样本对应的历史人类行为作为标签数据，采用交叉验证的方法对所述SNN-BLSTM行为模型进行训练，得到训练好的SNN-BLSTM行为模型；所述特征样本包括与所述预测用特征一一对应的多个历史预测用特征。

4.根据权利要求3所述的一种人类行为分析方法，其特征在于，在对所述SNN-BLSTM行为模型进行训练时，所述分析方法还包括：

在每次迭代结束后，利用网格搜索优化算法对所述SNN-BLSTM行为模型的超参数进行参数寻优。

5.根据权利要求1所述的一种人类行为分析方法，其特征在于，在得到多个预测用特征之后，所述分析方法还包括：以多个所述预测用特征作为输入，利用多元序列网络编码方案表达式得到人类行为。

6.根据权利要求5所述的一种人类行为分析方法，其特征在于，所述分析方法还包括得到多元序列网络编码方案表达式，具体包括：

以多个特征样本和每一所述特征样本对应的历史人类行为作为输入，利用多元序列网络编码方案计算所述特征样本中的每一历史预测用特征对应的贡献度，得到多元序列网络编码方案表达式。

7.一种人类行为分析系统，其特征在于，包括：

采集模块，用于采集多种类型的信号；所述信号包括脑电信号、眼动信号、心电信号和心理信号；

提取模块，用于提取每一种所述信号的特征，得到多个特征；所述眼动信号的特征包括平均瞳孔直径、瞳孔大小、定位坐标、扫视计数、眨眼率、注视率和平均注视持续时长；所述心电信号的特征包括均值、总体标准差、均值标准差、标准差的均方根、信号总功率、极低频段功率和低、高频段的功率比；

筛选模块，用于对多个所述特征进行筛选，得到多个预测用特征；所述对多个所述特征进行筛选具体包括：利用基于决策树的筛选方法对多个所述特征进行筛选；或，利用基于ANOVA的筛选方法对多个所述特征进行筛选；或，利用多模态卷积神经网络的特征筛选方法对多个所述特征进行筛选；

预测模块，用于以多个所述预测用特征作为输入，利用训练好的SNN-BLSTM行为模型得到人类行为；

所述SNN-BLSTM行为模型包括：输入层、前向隐层、逆向隐层、SNN网络的隐藏层和输出层；所述输入层分别与所述前向隐层的输入和所述逆向隐层的输入相连接；所述前向隐层的输出和所述逆向隐层的输出均与所述SNN网络的隐藏层的输入相连接；所述SNN网络的隐藏层的输出与所述输出层相连接；

在得到人类行为之后，还包括：以所述预测用特征和所述人类行为作为输入，利用多元序列网络编码方案表达式计算每一所述预测用特征对应的贡献度；

所述多元序列网络编码方案表达式为：

其中，Y为人类行为；β₀′为模型常数；i＝1，2，...，n，n为预测用特征的个数；β_i′为第i个预测用特征对应的贡献度；Δx_i为第i个预测用特征在人类行为作出前后的差值；ε′为随机误差。

Images