CN115758097A - 多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质 - Google Patents

Abstract

本申请涉及一种多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质，属于个体状态监测的技术领域，模型建立方法包括：获取针对不同预设的状态类别时的至少一个单模态样本数据信息；对至少一个单模态样本数据信息进行预处理，得到单模态样本特征值或多模态样本特征值；基于预设的状态类别对单模态样本特征值或多模态样本特征值标记标签，生成数据集；基于预设的分类算法对数据集进行分类测试，根据各个分类算法的准确度，确定每个状态类别对应的准确度最高的分类算法；基于每个状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型。本申请提高状态监测系统的适用灵活性，可实现数据的实时获取和数据的实时处理，时效性强。

Description

多模态人因智能状态识别模型创建及实时状态监测方法、系 统及存储介质

技术领域

本申请涉及个体智能状态识别的技术领域，尤其是涉及一种多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质。

背景技术

随着认知神经学、心理生理学和计算机科学的发展，研究人员发现，个体的情绪状态、完成某项工作时的认知负荷水平、身心的压力和疲倦程度等个体状态，都会影响个体的工作态度和工作效率，因此，使用客观测量指标对个体的状态进行实施监控的研究，对交通人因、航空航天、工业建筑等领域都产生了巨大的影响。

例如在交通人因领域，可以在驾驶员辅助系统中应用人因智能状态识别系统，对驾驶员不同的刹车意图进行识别，对驾驶员的疲劳状态、危险驾驶等行为进行预警，降低事故发生率。

在航空航天领域，可以应用人因智能状态识别系统，对飞机起飞、上升、巡航、下降、落地等不同阶段时飞行员的认知负荷进行识别和监测，便于设计更合理的操作控制台，提高飞行员的驾驶安全性。

在工业建筑领域，可以应用人因智能状态识别系统识别建筑工人的压力，对建筑工人工作状态进行识别和监测，助于提升工人们的安全和生产力。

然而，目前的人因智能状态识别系统在各个领域中单独应用，定制化程度高，无法自定义各模态数据源，适应性较差，不灵活。

发明内容

为了提高人因智能状态识别系统的适用灵活性，本申请提供一种多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质。

第一方面，本申请提供一种多模态人因智能状态识别模型创建方法，采用如下的技术方案：

获取针对不同预设的状态类别时的至少一个单模态样本数据信息；

对所述单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值；

将每个所述单模态样本特征值或多模态样本特征值根据对应的预设的状态类别设置标签，生成由多个所述单模态样本特征值或多个多模态样本特征值组成的数据集；

基于预设的分类算法对所述数据集进行分类测试，根据各个分类算法的准确度，确定每个预设的状态类别对应的准确度最高的分类算法；

基于每个预设的状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型。

通过采用上述技术方案，电子设备获取在不同预设状态类别时的单模态样本数据信息，对单模态样本数据信息进行预处理，当存在一个单模态样本数据信息时，电子设备处理得到单模态样本特征值，当存在多个单模态样本数据信息时，电子设备处理得到多模态样本特征值，将单模态或多模态样本特征值进行标记，得到数据集，根据预设的数据集进行分类测试，选择出预测每个预设的状态类别准确度最高的分类算法，并用准确度最高的分类算法建立多模态人因智能状态识别模型，在创建模型的过程中，电子设备可根据研究场景和探究对象的特征，灵活处理多模态数据，并允许选择各种分类算法，在多种应用环境的需求中，均可得到广泛应用，适应性强。

进一步地，所述获取针对不同预设的状态类别时的至少一个单模态样本数据信息，包括：

对信息采集设备以及当前设备进行时间同步化；

同时获取各个所述信息采集设备在不同预设的状态类别时发送的单模态样本数据信息；

根据每种所述信息采集设备发送的单模态样本数据信息分别进行事件标记，所述事件标记包括采集信息类型和预设的状态类别。

通过采用上述技术方案，电子设备将信息采集设备以及电子设备进行时间校准，然后同时获取各个信息采集设备发送的单模态样本特征值，进而减小不同模态数据之间的时间差。

进一步地，所述对所述至少一个单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值，包括：

对所述单模态样本数据信息进行滤波处理；

根据预设的特征值提取方法，对所述滤波处理后的单模态样本数据信息进行特征值提取，删除伪迹成分，得到多个前期单模态样本特征值；

对所述多个前期样本特征值进行相关性分析，得到与预测准确度相关性最高的多个中期单模态样本特征值；

将所述多个中期单模态样本特征值组合成多个特征子集，运行学习算法，将提供最佳准确度的特征子集内的中期单模态样本特征值确定为单模态样本特征值；

当存在多个单模态样本特征值时，根据时间轴和事件标记，将所述多个单模态样本特征值进行整合，得到多模态样本特征值。

通过采用上述技术方案，电子设备对单模态样本数据信息依次进行滤波和独立成分分析步骤，并根据预设的提取方法，提取得到前期单模态样本特征值，进而通过相关性分析，进一步筛选得到与预测准确度相关性最高的多个中期单模态样本特征值，进而将中期单模态样本特征值组合成多个特征自己后，通过学习算法选择出最佳准确度的单模态样本特征值，从而对特征值进行层层筛选，选出对分类准确度相关性高的特征值，利于提高生成监测模型的准确性。

进一步地，所述基于预设的分类算法对所述数据集进行分类测试，根据各个分类算法的准确度，确定每个状态类别对应的准确度最高的分类算法，包括：

判断是否接收到用户选择的预设算法；若是，则针对所述用户选择的每个预设分类算法对所述数据集分别进行分类测试；

否则，针对数据库中保存的每个预设分类算法对所述数据集分别进行分类测试；

应用预设的验证方法验证每种预设分类算法的准确度；

将所述准确度最高的预设分类算法确定为准确度最高的分类算法。

通过采用上述技术方案，电子设备在用户选择预设算法时，对每个分类算法进行分类测试，当用户未选择预设算法时，遍历所有的分类算法，进而根据准确度选择准确度最高的分类算法，自动分析出最适合的分类算法，得到准确度高的监测模型。

进一步地，若每个状态类别对应的数据集包括至少两个单模态样本特征值，基于每个状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型，包括：

对当前状态类别对应的数据集中所述至少两个单模态样本特征值进行处理，得到多个组合数据集，所述组合数据集包括每个单模态样本特征值组成的数据集、以及每个单模态样本特征值与其他单模态样本特征值组合组成的数据集；

应用所述准确度最高的分类算法，分别对每个组合数据集进行分类测试，验证每个分类测试的准确度；

将所述准确度最高的组合数据集对应的模态组合类型，确定为预测当前状态类别时的模态组合类型；

根据预测每个状态类别时的模态组合类型以及所述最优分类算法，建立多模态人因智能状态识别模型。

通过采用上述技术方案，电子设备对每种模态组合分别进行分类测试，从而选择准确度最高的模态组合，进而能够结合最优分类算法，建立多模态人因智能状态识别模型。

进一步地，在所述基于预设的分类算法对所述数据集进行分类测试，之前，所述方法还包括：

获取预设的状态类别；

判断是否预存有对所述预设的状态类别进行分类的分类算法；若是，则将所述分类算法进行推荐；

否则，对所述预设的状态类别进行分析，得到多个相似的状态类别，获取对每个所述相似的状态类别进行分类的第一分类算法；

基于各个所述第一分类算法的分类准确度进行排序，生成第一降序序列；

将所述第一降序序列中前预设数量个第一分类算法进行推荐。

通过采用上述技术方案，电子设备根据预设的状态类别，选择类似的状态类别，以及对应的分类算法和精确度，从而根据精度度给出推荐信息，为研究者提供便利条件。

第二方面，本申请提供一种多模态人因智能实时状态监测方法，采用如下的技术方案：

一种多模态人因智能实时状态监测方法，包括：

每隔预设时间，获取一次个体的至少一个单模态实时数据信息；

对所述至少一个单模态实时数据信息进行实时预处理，得到单模态实时特征值或由多个单模态实时特征值整合成的多模态实时特征值；

将所述单模态实时特征值或多模态实时特征值输入至由第一方面中任一项所述的多模态人因智能状态识别模型创建方法建立好的多模态人因智能状态识别模型，输出个体的状态。

通过采用上述技术方案，电子设备获取在不同预设状态类别时的单模态实时数据信息，对单模态实时数据信息进行预处理，当存在一个单模态实时数据信息时，电子设备处理得到单模态实时特征值，当存在多个单模态实时数据信息时，电子设备处理得到多模态实时特征值，将实时特征值输入多模态人因智能状态识别模型，得到个体的状态，可根据研究场景和探究对象的特征，灵活处理多模态数据，并允许选择各种分类算法，可实现数据的实施获取和数据的实时处理，减小数据传输耗费的时间，在多种应用环境的需求中，均可得到广泛应用，适应性强，时效性强。

进一步地，所述方法还包括：

将各个所述单模态实时数据信息以及对应的个体的状态，进行同步显示；

实时统计个体每种状态持续的时间和出现次数；

对所述个体的状态监测信息进行存储，所述状态监测信息至少包括各个单模态实时数据信息、对应的个体的状态、每种状态持续的时间和出现次数。

通过采用上述技术方案，电子设备能够将获取的单模态实时数据信息和个体状态，进行同步显示，实现数据可视化，并且能够对个体状态的持续时间和出现次数进行统计和存储，实现监测后的事后功能，便于针对不同个体的状态的信息进行对比。

第三方面，本申请提供一种多模态人因智能实时状态监测系统，包括：

电子设备，用于执行如第一方面中任一项所述的多模态人因智能状态识别模型创建方法以及第二方面中任一项所述的多模态人因智能实时状态监测方法；

至少一个便携式设备，所述便携式设备与所述电子设备通讯，所述便携式设备用于采集个体的单模态实时数据信息，并将单模态实时数据信息发送给所述电子设备。

通过采用上述技术方案，便携式设备能够实时采集个体的单模态实时数据信息，并发送给电子设备，电子设备能够根据多模态人因智能状态识别模型创建方法建立多模态人因智能状态识别模型，并根据多模态人因智能实时状态监测方法对个体状态进行监测，因此能够减少数据传输过程中耗费的时间，对采集到的数据信息进行实时分析和数据整理，进而实现对个体状态的实时预测，时效性强。

第四方面，本申请提供一种计算机可读存储介质，包括：

存储有能够被处理器加载并执行如第一方面中任一项所述的多模态人因智能状态识别模型创建方法以及如第二方面中任一项所述的多模态人因智能实时状态监测方法的计算机程序。

通过采用上述技术方案，处理器执行计算机可读存储介质中的计算机程序，获取在不同预设状态类别时的单模态样本数据信息，对单模态样本数据信息进行预处理，当存在一个单模态样本数据信息时，电子设备处理得到单模态样本特征值，当存在多个单模态样本数据信息时，电子设备处理得到多模态样本特征值，将单模态或多模态样本特征值进行标记，得到数据集，根据预设的数据集进行分类测试，选择出预测每个状态类别准确度最高的分类算法，并用准确度最高的分类算法建立多模态人因智能状态识别模型；

获取在不同预设状态类别时的单模态实时数据信息，对单模态实时数据信息进行预处理，当存在一个单模态实时数据信息时，电子设备处理得到单模态实时特征值，当存在多个单模态实时数据信息时，电子设备处理得到多模态实时特征值，将实时特征值输入多模态人因智能状态识别模型，得到个体状态；

在创建模型以及预测的过程中，电子设备可灵活处理多模态数据，并允许选择各种分类算法，在多种应用环境的需求中，均可得到广泛应用，适应性强，可实现数据的实施获取和数据的实时处理，减小数据传输耗费的时间，在多种应用环境的需求中，均可得到广泛应用，适应性强，时效性强。

综上所述，本申请包括以下至少一种有益技术效果：

1.获取在不同预设状态类别时的单模态样本数据信息，将单模态或多模态样本特征值进行标记标签，得到数据集，根据预设的数据集进行分类测试，选择出预测每个状态类别准确度最高的分类算法，并用准确度最高的分类算法建立多模态人因智能状态识别模型，在创建模型的过程中，电子设备可根据研究场景和探究对象的特征，灵活处理多模态数据，并允许选择各种分类算法，在多种应用环境的需求中，均可得到广泛应用，适应性强；

2.电子设备与信息采集设备时间同步化，然后同时获取各个信息采集设备发送的单模态样本特征值，进而减小不同模态数据之间的时间差；

3.电子设备在用户选择预设算法时，对每个分类算法进行分类测试，当用户未选择预设算法时，遍历所有的分类算法，进而根据准确度选择准确度最高的分类算法，自动分析出最适合的分类算法，得到准确度高的监测模型；

4.可实现数据的实时获取和数据的实时处理，减小数据传输耗费的时间，在多种应用环境的需求中，均可得到广泛应用，适应性强，时效性强；

5.数据可视化，并且能够对个体状态的持续时间和出现次数进行统计和存储，实现监测后的事后功能，便于针对不同个体的状态信息进行对比。

附图说明

图1是本申请实施例中多模态人因智能状态识别模型创建方法的流程示意图。

图2是本申请实施例中对用户选择的预设算法进行分析，选出准确度最高的分类算法的流程示意图。

图3是本申请实施例中对数据库中保存的预设分类算法进行分析，选出准确度最高的分类算法的流程示意图。

图4是本申请实施例中对比数据库的示意图。

图5是本申请实施例中运用KNN算法确定预设的分类算法相似的状态类别的示意图。

图6是本申请实施例中多模态人因智能实时状态监测方法的流程示意图。

图7是本申请实施例中多模态人因智能实时状态监测系统的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请实施例公开一种多模态人因智能状态识别模型创建方法。参照图1，该方法由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等，但并不局限于此。

多模态人因智能状态识别模型创建方法，主要流程如下(步骤S101～步骤S105)：步骤S101：获取针对不同预设的状态类别时的至少一个单模态样本数据信息。

具体地，电子设备支持常见的各种对人员的脑认知、生理和行为信号的采集。

每种产品采集的信息即对应一个单模态样本数据信息。

例如，脑认知数据包括：EEG(Electroencephalogram，脑电图)、fNIRS(functionalnear-infrared spectroscopy，功能性近红外光谱技术)。

生理数据包括PPG(PhotoPlethysmoGraphy，光电容积脉搏波描记法)、EDA(Electrodermal activity，皮电活动)、RESP(Respiration，呼吸频率)、SKT(skintemperature，皮肤温度)、SPO2(oxygen saturation，氧饱和度)、ECG(electrocardiogram，心电图)、EMG(electromyelogram，肌电图)和HRV(HeartRateVariability，心率变异性)以及人体九轴姿态数据等

行为数据包括：面部表情，眼动数据和动作捕捉等。

其中，脑认知数据以及生理数据可以采用对应的仪器监测得到，行为数据可以采用摄像头进行监测得到，所有用于采集信号的产品均采用便携式设备，均可通过无线传输技术，将采集到的信号发送给电子设备。无线传输技术可以采用蓝牙、WLAN、4G或者5G等。

进一步地，预设的状态类别即研究者根据多模态人因智能状态识别的需求具体设置。

以设置用于监测建筑工人施工状态的多模态人因智能状态识别模型为例，建筑工人在一个相对高危的环境中工作，对于身体和心理的要求很高，工人过度的职业压力已被证明会增加错误、事故、伤害和健康问题的可能性，并与生产力停滞或下降有关，所以早期压力的识别对于建筑工人的压力管理显得尤为重要。因此，在设置多模态人因智能状态识别模型时，研究者预设的状态类别包括两种：高压力和低压力。

使用脑电仪采集多名工人的EEG信号，工人分别被要求在地面和梯子顶部执行相同的重复性任务，在梯子顶部的操作会诱发工人具有高压力，在梯子底部工人具有低压力，脑电仪因此采集到不同预设状态类别时的EEG数据，电子设备接收脑电仪发送的EEG数据，得到一个单模态样本数据信息。

为了进一步降低时间差异，步骤S101包括(步骤S11～步骤S13)：

步骤S11：对信息采集设备以及当前设备进行时间同步化。

具体地，电子设备可以通过获取NTP网络时间协议、信息采集设备以及当前设备的时间戳，进行信息采集设备、当前设备与网络时间的校准。然后，通过Christian算法对信息采集设备进行进一步的时间校正。

具体地，NTP协议全称网络时间协议(Network Time Protocol)。它的目的是在国际互联网上传递统一、标准的时间。Christian算法是一种集中式的时间服务器，拥有标准时间,所有信息采集设备都通过周期性询问的方式与这个时间服务器同步。

步骤S12：同时获取各个信息采集设备在不同预设的状态类别时发送的单模态样本数据信息。

步骤S13：根据每种信息采集设备发送的单模态样本数据信息分别进行事件标记，事件标记包括采集信息类型和预设的状态类别。

例如，以设置用于监测建筑工人施工状态的多模态人因智能状态识别模型为例，电子设备接收到EEG数据，则对其标记采集信息类型为EEG，接收研究者的操作信息，将工人处于低压力时的数据标记为低压力，将工人处于高压力时的数据标记为高压力，电子设备即分别获取得到标记为低压力和高压力的EEG数据。

进一步地，由于信息采集设备与当前设备已时间同步化，则事件标记对应的时间轴相同。

同时，为了便于进行预设的状态类别标记，电子设备保存接收到的数据，允许进行回放和编辑，使研究者可以在采集数据的同时进行预设的状态类别标记，也支持采用回放的方式进行预设的状态类别标记。

步骤S102：对单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值，包括(步骤S1021～步骤S1026)：

步骤S1021：对单模态样本数据信息进行滤波处理。

具体地，采集到的脑认识数据或生理数据，其中会掺杂伪迹成分，常见的伪迹成分包括生理伪迹和非生理伪迹，生理伪迹包括：眼电伪迹，如眨眼、眼动；肌电伪迹，如额肌、颞肌活动；心电伪迹，如心跳；其他伪迹，如头皮出汗、电极移位，非生理伪迹包括：市电干扰，包括50Hz或60Hz；电极伪迹，即电极与头皮接触不良；记录系统故障，如放大器噪声；环境因素，如电线或电路故障。

每种伪迹均有对应的频率，因此电子设备结合高通滤波、低通滤波以及凹陷滤波中任一种或多种方法，排除单模态样本数据信息中的伪迹干扰，以得到更清晰的数据信息。

例如，若采集到EEG数据，电子设备对EEG数据进行0.5HZ的高通滤波，高通滤波允许高于该阈值的所有频段的波通过，可以排除出汗、或者极低频噪音对EEG数据产生的影响；然后进行70Hz的低通滤波，低通滤波允许低于该阈值的所有频段的波通过，可以排除较大的肌电伪迹产生的噪音干扰；最后进行50Hz的凹陷滤波，主要目的是为了排除市电的干扰。

步骤S1022：根据预设的特征值提取方法，对滤波处理后的单模态样本数据信息进行特征值提取，删除伪迹成分，得到多个前期单模态样本特征值。

具体地，电子设备对滤波处理后的单模态样本数据信息进行特征提取，删除伪迹成分。常用的特征提取方法有：主成分分析、独立成分分析、线性判别分析。

例如，独立成分分析利用线性方程组的估计方式求解信号源，分解后能够提供独立成分在时间和空间上的属性，研究者通过查看波形图和能量地形图能够识别出干扰源产生的伪迹，理论上认为信号和伪迹是彼此独立的，因此可以将标记的伪迹成分从原始数据中剔除，并对其他数据进行重新组合，获得干净的脑电信号。

进一步地，电子设备根据预设的特征值提取方法，对删除伪迹成分后的单模态样本数据信息进行提取，得到多个前期单模态样本特征值。

具体地，电子设备预存有多种特征值提取方法，支持参数调整。特征值提取方法均为现有的方法，研究者可以在数据库自由选择特征值提取方法，电子设备将其作为预设的特征值提取方法。

以设置用于监测建筑工人施工状态的多模态人因智能状态识别模型为例，研究者采用滑动窗口的方法，电子设备对删除伪迹成分后的EEG数据进行提取，以5S为一个窗口，进行时域(最大值、最小值、极差、中值、均方根、峰值、标准差、方差等)和频域特征值(δ、θ、α、β等4个频段的平均功率、中值频率等)的提取，总共14个通道，每个通道提取40个不同的特征值，参考前人研究去除了部分通道的某些特征值，共计提取到540个特征值，540个特征值即为前期单模态样本特征值。

步骤S1024：对多个前期样本特征值进行相关性分析，得到与预测准确度相关性最高的多个中期单模态样本特征值。

具体地，相关性分析常采用T检验、方差分析、欧式距离和皮尔逊相关等方式，通过相关性分析，可以计算某特征值在不同的标签上差异最大的前a％的特征，其中a的数量可以由研究者设置，前a％的特征即可作为中期单模态样本特征值。

步骤S1025：将多个中期单模态样本特征值组合成多个特征子集，运行学习算法，将提供最佳准确度的特征子集内的中期单模态样本特征值确定为单模态样本特征值。

例如，电子设备选择出与预测准确度相关性最高的224个特征值，将剩余的224个特征值组合成可能的特征子集，运行学习算法，提供最佳准确度的特征子集将被视为相关特征，因此选择了产生最大预测准确度的80个特征。即应用基于包装器的方法根据特征子集对给定预测器的有用性来评估特征子集，进而选择出单模态样本特征值。

步骤S1026：当存在多个单模态样本特征值时，根据事件标记，将多个单模态样本特征值进行整合，得到多模态样本特征值。

具体地，电子设备将在同一段时间接收到的、具有相同预设的状态类别的、不同采集信息类型单模态样本数据整合，得到多模态样本特征信息。

步骤S103：将每个单模态样本特征值或多模态样本特征值根据对应的预设的状态类别进行标签，生成由多个单模态样本特征值或多个多模态样本特征值组成的数据集。

例如，以设置用于监测建筑工人施工状态的多模态人因智能状态识别模型为例，预设的状态类别包括高压力和低压力两种，电子设备则对每个单模态样本特征值进行标签，因此得到的数据集中包括高压力和低压力两种样本特征值，便于电子设备根据标签进行分类。

步骤S104：基于预设的分类算法对数据集进行分类测试，根据各个分类算法的准确度，确定每个预设的状态类别对应的准确度最高的分类算法。

具体地，由于不同类型的状态，不同的数据大小可能适合的算法不同，所以电子设备自带决策树、SVM支持向量机、神经网络、逻辑回归、K邻近等各种常见算法以及调参功能，以及自带各种验证方法，如留出法、交叉验证法和自助法等。

步骤S104包括(步骤S1041～步骤S1045)：

步骤S1041：判断是否接收到用户选择的预设算法；若是，则执行步骤S1042：针对用户选择的每个预设分类算法对数据集分别进行分类测试；否则，执行步骤S1043：针对数据库中保存的每个预设分类算法对数据集分别进行分类测试。

具体地，研究者可以根据自身先验知识选择若干个分类算法，使电子设备进行分类测试，在研究者不选择的情况下，电子设备自动执行遍历模式，采用所有合适的分类算法进行分类测试。

步骤S1044：应用预设的验证方法验证每种预设分类算法的准确度。

步骤S1045：确定准确度最高的预设分类算法。

具体地，电子设备进行分类测试时，将数据集分成训练集、验证集和测试集，应用预设的分类算法分类训练集中的样本特征值，利用验证集和测试集，和预设的验证方法，对分类结果进行验证，得到准确度。

例如，电子设备分别使用了K近邻分类法、高斯判别分析，支持向量机、决策树和逻辑回归算法进行分类测试，接着采用10折交叉验证法对各个分类算法的准确度进行验证，其中，支持向量机预测的精准度最高，电子设备则将支持向量机分类算法确定为准确度最高的分类算法。

参照图2，A1、A2、A3、A4分别为用户选择的预设分类算法，电子设备则分别应用预设的分类算法对数据集进行分类测试，进而分别验证得到每个预设分类算法对应的分类准确度，从而选出准确度最高的预设分类算法。

参照图3，B1～Bn为数据库中保存的预设分类算法，当没有接收到用户选择的预设分类算法时，电子设备将数据库中的预设分类算法分别进行分类测试，进而通过验证和比较，选出准确度最高的预设分类算法。

步骤S105：基于每个预设的状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型。

具体地，当每个状态类别对应的数据集包括一个单模态样本特征值时，电子设备根据准确度最高的分类算法，直接建立多模态人因智能状态识别模型。

在建立多模态实时人员监测模型时，将数据集分成训练集、验证集和测试集，将训练集输入多模态人因智能状态识别模型中进行训练，重复训练的步骤，直至分类误差不再发生变化或处于预设区间，且利用验证集和测试集对多模态人因智能状态识别模型测试的峰值信噪比和结构相似性达到最优，输出训练好的多模态人因智能状态识别模型。

向多模态人因智能状态识别模型输入对应的单模态样本特征值，即可输出监测结果。例如，以建立用于监测建筑工人施工状态的多模态人因智能状态识别模型为例，应用EEG的单模态数据集，以及支持向量机的分类算法，建立用于监测建筑工人施工状态的多模态人因智能状态识别模型。

在另一种可能的实现方式中，每个状态类别对应的数据集包括至少两个单模态样本特征值，则步骤S105包括(步骤S21～步骤S24)：

步骤S21：对当前状态类别对应的数据集中至少两个单模态样本特征值进行处理，得到多个组合数据集，组合数据集包括每个单模态样本特征值组成的数据集、以及每个单模态样本特征值与其他单模态样本特征值组合组成的数据集。

例如，某一状态类别对应的数据集中包括EEG单模态样本特征值和HRV单模态样本特征值，电子设备对两个单模态样本特征值进行组合，得到组合数据集：EEG单模态数据集、HRV单模态数据集和EEG+HRV组合后的多模态数据集。

步骤S22：应用准确度最高的分类算法，分别对每个组合数据集进行分类测试，验证每个分类测试的准确度。

例如下表，采用支持向量机的分类算法，对每个组合数据集进行分类测试得到的数据。

Model	Sensitivity(％)	Specificity(％)	Accuracy(％)	AUC
					EEG	84.6	72.0	77.9	0.8354
HRV	76.9	73.2	75.0	0.8164
					EEG+HRV	90.0	85.0	87.5	0.9563

步骤S23：将准确度最高的组合数据集对应的模态组合类型，确定为预测当前状态类别时的模态组合类型。

步骤S24：根据预测每个状态类别时的模态组合类型以及最优分类算法，建立多模态人因智能状态识别模型。

具体地，根据上表可得，在模态组合类型为EEG+HRV时，对应的准确度最高。因此电子设备确定在预测当前状态类别时，应用EEG+HRV的多模态数据集，以及支持向量机的分类算法，建立多模态人因智能状态识别模型。

在另一种可能的实现方式中，为了能够使研究者快速选择预设的分类算法，在系统执行步骤S104之前，上述方法还包括(步骤S31～步骤S36)：

步骤S31：获取预设的状态类别。

步骤S32：判断是否预存有对预设的状态类别进行分类的分类算法；若是，则执行步骤S33：将分类算法进行推荐。

具体地，当研究者应用电子设备进行过对上述预设的状态类别进行分类的操作后，电子设备保存预设的状态对应的分类算法，因此当再次对同一预设的状态类别进行分类时，电子设备将对应的分类算法推荐给研究者。

否则，执行步骤S34～步骤S36：

步骤S34：对预设的状态类别进行分析，得到多个相似的状态类别，获取对每个相似的状态类别进行分类的第一分类算法。

具体地，参照图4，电子设备设置对比数据库，对比数据库中包括多种状态类别、对应的分类算法以及分类精确度。

电子设备可应用多种分类算法，确定多个相似的状态类别，如应用相似运算、聚类运算和支持向量机等，例如，电子设备采用KNN算法，预设KNN算法中的K的数量，得到多个相似的状态类别，进而得到对应的分类算法作为第一分类算法。

参照图5，星星为预设的状态类别，K＝3时，电子设备得到相似状态类别1、3和4，进而从对比数据库中获取状态类别1、3和4对应的分类算法，从而得到多各第一分类算法。

步骤S35：基于各个第一分类算法的分类精确度进行排序，生成第一降序序列。

步骤S36：将第一降序序列中前预设数量个第一分类算法进行推荐。

为了更好地应用由多模态人因智能状态识别模型创建方法建立的多模态人因智能状态识别模型，参照图6，本申请实施例提供一种多模态人因智能实时状态监测方法，主要流程如下(步骤S201～步骤S203)：

步骤S201：每隔预设时间，获取一次个体的至少一个单模态实时数据信息。

具体地，电子设备每隔预设时间即对个体的数据进行一次获取，能够实现对个体状态的实时监测。例如，电子设备每隔2s就可以提取一次个体的脑电数据，或者，每隔10s可以提取一次心电数据。

步骤S202：对单模态实时数据信息进行实时预处理，得到单模态实时特征值或由多个单模态实时特征值整合成的多模态实时特征值。

具体地，电子设备接收到至少一个单模态实时数据信息后，则立即进行预处理，电子设备对至少一个单模态实时数据信息进行预处理的步骤与对至少一个单模态样本数据信息进行预处理的步骤相同。

步骤S203：将单模态实时特征值或多模态实时特征值输入至由上述的多模态人因智能状态识别模型创建方法建立好的多模态人因智能状态识别模型，输出个体的状态。

例如，以监测建筑工人施工状态为例，使施工人员佩戴脑电仪，脑电仪将监测到的施工人员脑电数据发送给电子设备，电子设备每隔2S，即获取一次EEG数据，并对数据进行预处理后，输入至建立好的用于监测建筑工人施工状态的多模态人因智能状态识别模型中，输出得到个体的状态，即施工人员当前处于高压力状态或低压力状态，并将个体状态进行实时显示，进而，若电子设备处理的数据足够快，那么可以实现个体状态的实时监测。

进一步地，为了便于直观地监测数据，上述多模态人因智能实时状态监测方法还包括(步骤S41～步骤S43)：

步骤S41：将各个单模态实时数据信息以及对应的个体的状态，进行同步显示。

具体地，电子设备根据至少一个单模态实时数据信息时的时间轴，将接收到的单模态实时数据信息在显示屏上进行显示，同时将预测结果同步显示，且支持记录回放功能，通过拖拽时间轴可查看任意时刻人员的状态。

例如，当工人在高空进行施工时，在显示屏上显示EEG数据以及个体状态，能够更加直观地对比数据与个体状态的相关性。

步骤S42：实时统计个体每种状态持续的时间和出现次数。

具体地，电子设备统计个体每种状态持续的时间和出现次数，便于直观地统计个体状态，可以是实时的，也可以用于后续与其他数据进行比较对比。

进一步地，个体处于某种状态持续预设时间时，能够转换成事件，而用户可以对预设时间进行设置。例如，驾驶员疲劳状态持续3s，则转化为危险驾驶状态，从而在应用到驾驶系统中后，具有实时监测驾驶状态从而提高安全性的效果。

步骤S43：对个体的状态监测信息进行存储，状态监测信息至少包括各个单模态实时数据信息、对应的个体的状态、每种状态持续的时间和出现次数。

具体地，电子设备能够通过综合统计和存储，为状态监测后的事后功能提供前提条件，能够将不同个体的状态信息进行对比，从而便于针对每种状态的区别表现进行对比。

例如，在将多模态人因智能状态识别模型应用在对驾驶员的驾驶状态监测时，能够实时监测驾驶员是否疲劳，同时能够统计驾驶员在监测时间段内有疲劳状态的时间和次数。并且由于电子设备对驾驶员的状态进行了存储，当分别对驾驶员在失眠和不失眠情况下进行驾驶测试时，能够比较两种情况下驾驶员处于疲劳状态的时间和次数，对相关领域的研究具有更大的作用，也提高多模态实时人员状态检测模型在实际应用中的智能性。

本申请不对步骤S41～步骤S43限定执行先后顺序。

为了更好地执行上述方法，参照图7，本申请实施例还提供一种多模态人因智能实时状态监测系统300，包括：

电子设备301，用于执行上述多模态人因智能状态识别模型创建方法以及多模态人因智能实时状态监测方法；

至少一个便携式设备302，便携式设备302与电子设备301通讯，便携式设备302用于采集个体的单模态实时数据信息，并将单模态实时数据信息发送给电子设备301。

进一步地，便携式设备302内设置有无线通讯模块303，至少一个便携式设备302通过无线通讯模块303与电子设备301无线通讯。

具体地，便携式设备302能够实时采集个体的单模态实时数据信息，并发送给电子设备301，电子设备301能够根据多模态人因智能状态识别模型创建方法建立多模态人因智能状态识别模型，并根据多模态人因智能实时状态监测方法对个体状态进行监测，因此能够减少数据传输过程中耗费的时间，对采集到的数据信息进行实时分析和数据整理，进而实现对个体状态的实时预测，时效性强。

本申请还提供一种多模态人因智能实时状态监测装置400包括多模态人因智能状态识别模型建立模块401，多模态人因智能状态识别模型建立模块401包括：

样本数据采集子模块4011，用于,获取针对不同预设的状态类别时的至少一个单模态样本数据信息；

样本数据处理子模块4012，用于对单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值；

数据集生成子模块4013，用于基于预设的状态类别对多模态样本特征值进行分类，生成每个状态类别对应的数据集；

分类算法选择子模块4014，用于基于预设的分类算法对数据集进行分类测试，根据各个分类算法的准确度，确定每个状态类别对应的准确度最高的分类算法；

模型建立子模块4015，用于基于每个状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型。

进一步地，数据采集模块4011，具体用于：

对信息采集设备以及当前设备进行时间同步化；

同时获取各个信息采集设备在不同预设的状态类别时发送的单模态样本数据信息；

根据每种信息采集设备发送的单模态样本数据信息分别进行事件标记，事件标记包括采集信息类型和预设的状态类别。

进一步地，数据信息处理模块4012，具体用于：

对单模态样本数据信息进行滤波处理；

对滤波处理后的单模态样本数据信息进行独立成分分析，删除伪迹成分；

根据预设的特征值提取方法，对删除伪迹成分后的单模态样本数据信息进行提取，得到多个前期单模态样本特征值；

对多个前期样本特征值进行相关性分析，得到与预测准确度相关性最高的多个中期单模态样本特征值；

将多个中期单模态样本特征值组合成多个特征子集，运行学习算法，将提供最佳准确度的特征子集内的中期单模态样本特征值确定为单模态样本特征值；

当存在多个单模态样本特征值时，根据时间轴和事件标记，将多个单模态样本特征值进行整合，得到多模态样本特征值。

进一步地，分类算法选择模块4014，具体用于：

判断是否接收到用户选择的预设算法；若是，则针对用户选择的每个预设分类算法对数据集分别进行分类测试；

否则，针对数据库中保存的每个预设分类算法对数据集分别进行分类测试；

应用预设的验证方法验证每种预设分类算法的准确度；

将准确度最高的预设分类算法确定为准确度最高的分类算法。

进一步地，在每个状态类别对应的数据集包括至少两个单模态样本特征值时，模型建立模块4015，具体用于：

对当前状态类别对应的数据集中至少两个单模态样本特征值进行处理，得到多个组合数据集，组合数据集包括每个单模态样本特征值组成的数据集、以及每个单模态样本特征值与其他单模态样本特征值组合组成的数据集；

应用准确度最高的分类算法，分别对每个组合数据集进行分类测试，验证每个分类测试的准确度；

将准确度最高的组合数据集对应的模态组合类型，确定为预测当前状态类别时的模态组合类型；

根据预测每个状态类别时的模态组合类型以及最优分类算法，建立多模态人因智能状态识别模型。

在另一种可能的实现方式中，多模态人因智能状态识别模型建立模块401，还包括分类算法推荐模块，分类算法推荐模块具体用于：

获取预设的状态类别；

判断是否预存有对预设的状态类别进行分类的分类算法；若是，则将分类算法进行推荐；否则，对预设的状态类别进行分析，得到多个相似的状态类别，获取对每个相似的状态类别进行分类的第一分类算法；

基于各个第一分类算法的分类准确度进行排序，生成第一降序序列；

将第一降序序列中前预设数量个第一分类算法进行推荐。

多模态人因智能状态识别装置400还包括：

实时数据获取模块402，用于获取至少一个单模态实时数据信息；

实时数据处理模块403，用于对单模态实时数据信息进行处理，得到单模态实时特征值或由多个单模态样本特征值整合成的多模态实时特征值；

监测结果输出模块404，用于将单模态实时特征值或多模态实时特征值输入至上述的多模态人因智能状态识别模型创建方法建立好的多模态人因智能状态识别模型，输出个体的状态。

前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的多模态人因智能实时状态监测系统，通过前述对多模态人因智能状态识别模型创建方法以及多模态人因智能实时状态监测方法的详细描述，本领域技术人员可以清楚的知道本实施例中的多模态人因智能实时状态监测系统的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例还提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时实现上述实施例提供的多模态人因智能状态识别模型创建方法以及多模态人因智能实时状态监测方法。

处理器执行计算机可读存储介质中的计算机程序，获取在不同预设状态类别时的单模态样本数据信息，对单模态样本数据信息进行预处理，当存在一个单模态样本数据信息时，电子设备处理得到单模态样本特征值，当存在多个单模态样本数据信息时，电子设备处理得到多模态样本特征值，将单模态或多模态样本特征值进行标记，得到数据集，根据预设的数据集进行分类测试，选择出预测每个状态类别准确度最高的分类算法，并用准确度最高的分类算法建立多模态人因智能状态识别模型；

获取在不同预设状态类别时的单模态实时数据信息，对单模态实时数据信息进行预处理，当存在一个单模态实时数据信息时，电子设备处理得到单模态实时特征值，当存在多个单模态实时数据信息时，电子设备处理得到多模态实时特征值，将实时特征值输入多模态人因智能状态识别模型，得到个体状态；

在创建模型以及预测的过程中，电子设备可灵活处理多模态数据，并允许选择各种分类算法，在多种应用环境的需求中，均可得到广泛应用，适应性强，可实现数据的实施获取和数据的实时处理，减小数据传输耗费的时间，在多种应用环境的需求中，均可得到广泛应用，适应性强，时效性强。

本实施例中，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、U盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、讲台随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。

本实施例中的计算机程序包含用于执行前述所有的方法的程序代码，程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备，或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

另外，需要理解的是，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种多模态人因智能状态识别模型创建方法，其特征在于，包括：

获取针对不同预设的状态类别时的至少一个单模态样本数据信息；

对所述单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值；

将每个所述单模态样本特征值或多模态样本特征值根据对应的预设的状态类别设置标签，生成由多个所述单模态样本特征值或多个多模态样本特征值组成的数据集；

基于预设的分类算法对所述数据集进行分类测试，确定每个预设的状态类别对应的准确度最高的分类算法；

基于每个预设的状态类别对应的所述准确度最高的分类算法，建立多模态人因智能状态识别模型。

2.根据权利要求1所述的方法，其特征在于，所述获取针对不同预设的状态类别时的至少一个单模态样本数据信息，包括：

对信息采集设备以及当前设备进行时间同步化；

同时获取各个所述信息采集设备在不同预设的状态类别时发送的单模态样本数据信息；

根据每种所述信息采集设备发送的单模态样本数据信息分别进行事件标记，所述事件标记包括采集信息类型和预设的状态类别。

3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个单模态样本数据信息进行预处理，得到单模态样本特征值或由多个单模态样本特征值整合成的多模态样本特征值，包括：

对所述单模态样本数据信息进行滤波处理；

根据预设的特征值提取方法，对所述滤波处理后的单模态样本数据信息进行特征值提取，删除伪迹成分，得到多个前期单模态样本特征值；

对所述多个前期样本特征值进行相关性分析，得到与预测准确度相关性最高的多个中期单模态样本特征值；

将所述多个中期单模态样本特征值组合成多个特征子集，运行学习算法，将提供最佳准确度的特征子集内的中期单模态样本特征值确定为单模态样本特征值；

当存在多个单模态样本特征值时，根据所述事件标记，将所述多个单模态样本特征值进行整合，得到多模态样本特征值。

4.根据权利要求1所述的方法，其特征在于，所述基于预设的分类算法对所述数据集进行分类测试，根据各个分类算法的准确度，确定每个状态类别对应的准确度最高的分类算法，包括：

判断是否接收到用户选择的预设算法；若是，则针对所述用户选择的每个预设分类算法对所述数据集分别进行分类测试；

否则，针对数据库中保存的每个预设分类算法对所述数据集分别进行分类测试；

应用预设的验证方法验证每种预设分类算法的准确度；

将所述准确度最高的预设分类算法确定为准确度最高的分类算法。

5.根据权利要求1所述的方法，其特征在于，若每个状态类别对应的数据集包括至少两个单模态样本特征值，基于每个状态类别对应的准确度最高的分类算法，建立多模态人因智能状态识别模型，包括：

对当前状态类别对应的数据集中所述至少两个单模态样本特征值进行处理，得到多个组合数据集，所述组合数据集包括每个单模态样本特征值组成的数据集、以及每个单模态样本特征值与其他单模态样本特征值组合组成的数据集；

应用所述准确度最高的分类算法，分别对每个组合数据集进行分类测试，验证每个分类测试的准确度；

将所述准确度最高的组合数据集对应的模态组合类型，确定为预测当前状态类别时的模态组合类型；

根据预测每个状态类别时的模态组合类型以及所述最优分类算法，建立多模态人因智能状态识别模型。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述基于预设的分类算法对所述数据集进行分类测试，之前，所述方法还包括：

获取预设的状态类别；

判断是否预存有对所述预设的状态类别进行分类的分类算法；若是，则将所述分类算法进行推荐；

否则，对所述预设的状态类别进行分析，得到多个相似的状态类别，获取对每个所述相似的状态类别进行分类的第一分类算法；

基于各个所述第一分类算法的分类准确度进行排序，生成第一降序序列；

将所述第一降序序列中前预设数量个第一分类算法进行推荐。

7.一种多模态人因智能实时状态监测方法，其特征在于，包括：

每隔预设时间，获取一次个体的至少一个单模态实时数据信息；

对所述单模态实时数据信息进行实时预处理，得到单模态实时特征值或由多个单模态实时特征值整合成的多模态实时特征值；

将所述单模态实时特征值或多模态实时特征值输入至由如权利要求1-6任一项所述的多模态人因智能状态识别模型创建方法建立好的多模态人因智能状态识别模型，输出个体的状态。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

将各个所述单模态实时数据信息以及对应的个体的状态，进行同步显示；

实时统计个体每种状态持续的时间和出现次数；

对所述个体的状态监测信息进行存储，所述状态监测信息至少包括各个单模态实时数据信息、对应的个体的状态、每种状态持续的时间和出现次数。

9.一种多模态人因智能实时状态监测系统，其特征在于，包括：

电子设备，用于执行如权利要求1至6中任一项所述的多模态人因智能状态识别模型创建方法和/或如权利要求7或8所述的多模态人因智能实时状态监测方法；

至少一个便携式设备，所述便携式设备与所述电子设备通讯，所述便携式设备用于采集个体的单模态实时数据信息，并将单模态实时数据信息发送给所述电子设备。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至6中任一项所述的多模态人因智能状态识别模型创建方法和/或如权利要求7或8所述的多模态人因智能实时状态监测方法的计算机程序。

Images