CN114742107A

CN114742107A - 信息服务中的感知信号的识别方法及相关设备

Info

Publication number: CN114742107A
Application number: CN202210397192.9A
Authority: CN
Inventors: 蔡飞; 张伟康; 李佳; 江苗; 王梦如; 张鑫; 宋城宇
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2022-04-15
Filing date: 2022-04-15
Publication date: 2022-07-12

Abstract

本申请提供一种信息服务中的感知信号的识别方法及相关设备，所述方法包括：基于具有注意力层(attention)的卷积神经网络，首先对采集到的信息服务中的感知信号进行滤波处理和时间窗口选择处理，之后再对处理后的信息服务中的感知信号进行小波变换，提取小波变换后的信息服务中的感知信号的时域能量熵，最后通过具有注意力层的卷积神经网络对信息服务中的感知信号进行识别，提取整体数据的高层特征，并且使用Attention机制识别更加细粒度的高层特征差异，使卷积神经网络能够提取出具判别力的特征，得到信息服务中的感知信号的识别结果。

Description

信息服务中的感知信号的识别方法及相关设备

技术领域

本申请涉及信号识别技术领域，尤其涉及一种信息服务中的感知信号的识别方法及相关设备。

背景技术

信息的感知过程是人们获取知识及应用知识的过程，是人脑接受外界信息刺激，并进行二次加工获得自己经验方法的过程。信息的感知是对事物属性和特征的认识，是建立在人类对事物的联系及关系的感知认识，是大脑一系列复杂的信号过程。众所周知，大脑是迄今为止人类所熟知的最复杂的组织结构，而信息服务中的感知信号与大脑神经系统的功能状态的关系密切，当有刺激来临时，信息服务中的感知信号会给予复杂的响应，这也映射着信息的感知处理过程的各个环节，因此通过信息服务中的感知信号的研究可以更加清晰的研究信息感知的过程。

基于此，需要一种信息服务中的感知信号的识别方法以满足研究信息感知的需求。

发明内容

有鉴于此，本申请的目的在于提出一种信息服务中的感知信号的识别方法及相关设备。

基于上述目的，本申请提供了一种信息服务中的感知信号的识别方法，包括：

通过感知信号采集通道组合获取第一感知信号；

对所述第一感知信号进行滤波处理和时间窗口选择处理，得到第二感知信号；

对所述第二感知信号进行小波变换，提取小波变换后的所述第二感知信号的时域能量熵，将所述时域能量熵作为第三感知信号；

通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果。

进一步的，所述通过感知信号采集通道组合获取第一感知信号之前，还包括：

获取通过多个感知信号采集通道采集的训练数据集，所述训练数据集中包括多个训练感知信号；

将所述训练数据集输入随机森林分类器模型，ExtraTree分类器模型，Adaboost分类器模型，分别得到对应于所述随机森林分类器模型，所述ExtraTree分类器模型，所述Adaboost分类器模型的多个所述感知信号采集通道的排序结果；

根据所述排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图，根据所述热力图选取预设数量的所述感知信号采集通道组成所述感知信号采集通道组合。

进一步的，所述对所述第一感知信号进行时间窗口选择处理，包括：

采用预设时间长度的时间窗口截取所述第一感知信号；

将截取后的所述第一感知信号中的全部数据实施采样点标记为第一标签，其他采样点标记为第二标签；

将连续的多个所述数据实施采样点中的一个所述数据实施采样点的第一标签保留，多个所述数据实施采样点中的其他所述数据实施采样点标记为第二标签，得到所述第二感知信号。

进一步的，所述通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果，包括：

将所述第三感知信号输入所述卷积神经网络的卷积层，通过所述卷积层提取所述第三感知信号的空域特征和时域特征；

通过所述注意力层提取所述第三感知信号的高层特征；

将所述空域特征、时域特征和高层特征输入所述卷积神经网络的全连接层进行分类，得到所述识别结果。

进一步的，所述将所述训练数据集输入随机森林分类器模型，ExtraTree分类器模型，Adaboost分类器模型，分别得到对应于所述随机森林分类器模型，所述ExtraTree分类器模型，所述Adaboost分类器模型的多个所述感知信号采集通道的排序结果，包括：

将所述训练数据集输入随机森林分类器模型，所述随机森林分类器模型对所述训练数据集中的多个所述感知信号进行特征选取操作和分裂操作，得到多个所述感知信号的特征对应的的第一权重因子集；根据所述第一权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第一排序结果；

将所述训练数据集输入ExtraTree分类器模型，所述ExtraTree分类器模型对所述训练数据集中的多个所述感知信号进行特征随机、参数随机、模型随机和分裂随机的操作，得到多个所述感知信号的特征对应的的第二权重因子集；根据所述第二权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第二排序结果；

将所述训练数据集输入Adaboost分类器模型，所述Adaboost分类器模型对所述训练数据集中的多个所述感知信号进行特征选取操作，得到多个所述感知信号的特征对应的的第三权重因子集；根据所述第三权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第三排序结果。

进一步的，所述根据所述排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图，包括：

根据所述第一排序结果、第二排序结果和第三排序结果对多个所述感知信号采集通道进行特征筛选，得到多个所述感知信号采集通道的第四权重因子集；根据所述第四权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第四排序结果；

根据所述第四排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图，。

进一步的，所述感知信号为P300感知信号。

基于同一构思，本申请还提供了一种信息服务中的感知信号的识别装置，包括：

采集模块，被配置为通过感知信号采集通道组合获取第一感知信号；

第一处理模块，被配置为对所述第一感知信号进行滤波处理和时间窗口选择处理，得到第二感知信号；

第二处理模块，被配置为对所述第二感知信号进行小波变换，提取小波变换后的所述第二感知信号的时域能量熵，将所述时域能量熵作为第三感知信号；

识别模块，被配置为通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果。

基于同一构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。

基于同一构思，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机实现如上任一项所述的方法。

从上面所述可以看出，本申请提供的信息服务中的感知信号的识别方法，基于具有注意力层(attention)的卷积神经网络，首先对采集到的信息服务中的感知信号进行滤波处理和时间窗口选择处理，之后再对处理后的信息服务中的感知信号进行小波变换，提取小波变换后的信息服务中的感知信号的时域能量熵，最后通过具有注意力层的卷积神经网络对信息服务中的感知信号进行识别，提取整体数据的高层特征，并且使用Attention机制识别更加细粒度的高层特征差异，使卷积神经网络能够提取出具判别力的特征，得到信息服务中的感知信号的识别结果。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的信息服务中的感知信号的识别方法流程图；

图2为本申请实施例的感知信号采集通道组合选取方法流程图；

图3为本申请实施例的时间窗口选择方法流程图；

图4为本申请实施例的第三感知信号的识别方法流程图；

图5为本申请实施例的信息服务中的感知信号的识别装置结构示意图；

图6为本申请实施例的电子设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，相关的信息服务中的感知信号识别方法还难以满足实际研究信息感知的需要。

申请人在实现本申请的过程中发现，卷积神经网络(Convolutional NeuralNetworks,简称CNN)是可以构建深度结构，利用特征核进行卷积运算的一类前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络具有很强的表征学习能力，能够按其阶层结构的维度对数据进行平移不变分类。当处理分类任务时，我们会把若干CNN层最后输出的特征空间作为全连接层或全连接神经网络(fully connectedneural network,FCN)的输入，用全连接层来完成目标任务的分类，也就是将输入图像映射到相应标签集。当然，整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络(CNNs)，比如VGG,ResNet都是由简单的CNN调整，组合而来。

Attention机解制决了由长序列到定长向量转化编码过程中造成的信息损失的瓶颈问题，最初广泛应用在机器翻译等长序列文本编码解码工作中，之后迁移附加在各种深度学习网络中，力图建模问题中各部分权重不同的影响情况。以最简单的翻译问题为例，在编码器-解码器(Encoder-Decoder)结构中，Attention机制提出编码器在每个时刻都输入不同的语义向量c，这些向量分别通过对序列的所有隐藏状态进行加权求和的方式实现，然后利用这些语义向量进行解码，解决了序列长度带来的模型性能瓶颈。相关算法如下：

α_t，i＝soft max(e_t，i)

e_t，i＝score(s_t-1，h_i)

其中，h_i是编码层拼接的结果，α_t，i是第t时刻，h_i的权重系数，s_t-1是解码上一步隐层状态。

诱发脑电信号(P300脑-机信号)是一种具有较低信噪比，且个体差异较大的多通道时域信号。因为CNN拥有的“局部感受野”、“权值共享”和“池化操作”的三个核心优势能够较好识别并提取图像中不同通道或者感受野的特征，因此可以借鉴CNN的网络优势，结合特定的数据处理，将这种可变信号处理得到类比图像数据的表征形式。这种特定的数据处理主要包括对收集的全部脑电信号进行数字化操作、滤波操作、诱发脑电信号标记操作以及重采样操作等，进一步得到干净、光滑、符合卷积神经网络输入要求的多通道脑电数据。

有鉴于此，本申请的一个或多个实施例提供了一种信息服务中的感知信号的识别方案，基于具有注意力层(attention)的卷积神经网络，首先对采集到的感知信号进行滤波处理和时间窗口选择处理，之后再对处理后的感知信号进行小波变换，提取小波变换后的感知信号的时域能量熵，最后通过具有注意力层的卷积神经网络对感知信号进行识别，得到感知信号的识别结果。

参考图1，本申请的实施例的信息服务中的感知信号的识别方法，包括以下步骤：

步骤S101、通过感知信号采集通道组合获取第一感知信号；

在本实施例中，感知信号采集通道可以有多个，多个感知信号采集通道分别采集不同电位，用以尽可能详细的采集到感知信号。将多个信息服务中的感知信号采集通道采集到的信息服务中的感知信号的集合作为第一感知信号。

步骤S102、对所述第一感知信号进行滤波处理和时间窗口选择处理，得到第二感知信号；

在本步骤中，不同感知信号采集通道采集的感知信号具有不同的维度，且含有许多干扰以及随机噪声，使得第一感知信号提取特征存在较大难度。因此，必须进行预处理来减小噪声和其它干扰，提高第一感知信号的特征的辨识度。

作为一个具体的示例，对于收集的P300脑电信号，其中会存在肌电、工频等不同频带的干扰，肌电频带处于30Hz以上，工频处于50Hz左右，而P300信号集中于30Hz以下的低频区，需要将原始信号与产生干扰的伪迹在频谱上实现分离。滤波处理可以一定程度实现去噪。

步骤S103、对所述第二感知信号进行小波变换，提取小波变换后的所述第二感知信号的时域能量熵，将所述时域能量熵作为第三感知信号；

在本步骤中，小波变换从时间和尺度平面描述第二感知信号，是将感知信号分解为多个母小波后进行叠加的算法。叠加平均处理可以增强第二感知信号，通过数学推导可验证该方法的有效性，令pi(t)表示第二感知信号，即包括第二感知信号中有研究价值的目标信号s_i(t)和干扰信号q_i(t)：

p_i(t)＝s_i(t)+q_i(t)

对其进行N次叠加平均操作之后，可以得到：

假设干扰信号的均值为零，方差为δ²，不同时间窗口所截取的片段相互无关联，进行叠加平均操作后信号方差为：

可见，叠加平均之后干扰信号的方差δ² _change变为原方差δ²的

信噪比显著增强。因此，基于叠加原理处理的小波变换，有较强的多分辨率特性，提供随频率改变的“时间-频率”窗口。对于任意一个信号f(t)，其对应的连续小波变换为：

其对应的连续小波逆变换为：

参数a表示的是影响窗口形状的参数；参数b表示的是影响窗口位置的参数。通过窗口形状影响参数a及窗口位置影响参数b可以快速实现信号的低频部分信号的高频率分辨率和低时间分辨率；以及信号的高频部分信号的低频率分辨率和高时间分辨率。因此，小波变换具有很好的时频特性。

在本步骤中，时域能量熵不仅能够把感知信号在时域变化的情况下的复杂度表征出来，也能够把感知信号在许多频域上的特征表征出来，同时能够反映感知信号在时域与频域上的能量分布特征。因为时域能量熵能够很好地反映出在采集到的感知信号在频率空间的能量分布信息。

配合小波变换，对小波变换后的第二感知信号进行时域平均处理，目的是提取含有P300和不含P300的频带。根据信息论中香侬熵的定义，时域能量熵的计算如下式：

其中，

E_i表示第i段信号的时域能量熵，P_i表示第i段信号的能量，P为信号的总能量，n为将信号分割的段数。能量熵描述了信号能量在时域上的分布情况：能量熵越大，对应的时域段能量在信号总能量的比重越大。由图可见，包含P300的重建信号在300ms左右时间段集中了大部分能量，而不包含P300的重建信号在整个时域上分布较均匀。

步骤S104、通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果。

在本步骤中，在第一感知信号经过各项操作转变成第三感知信号后，CNN可以把它类比于图像数据，利用卷积单元组合来训练P300信号(诱发脑电信号)的分类模型。Attention增强的CNN模型能够利用CNN在卷积运算中自动识别提取整体数据的高层特征，并且使用Attention机制识别更加细粒度的高层特征差异，使模型网络提取出最具判别力的特征，故基于使用注意力机制增强的CNN模型分类器是一种很好的脑电图信号分类方法。

作为一个具体的示例，可以采用基于Cecotti和Grase的四层CNN网络，在前两个卷积层分别提取第三感知信号的空域特征和时域特征之后，增加了一个注意力层(Attention)，最后将提取到的特征特征展开成一维，输入到一个全连接层(MLP)完成分类任务，此外，还可以使用不同诱发脑电延迟假设的数据集和不同的超参数，并引入BN层以及Dropout层来改进该模型，从而提升模型的泛化能力以及加速模型的训练。

在另外一些实施例中，参考图2，对于前述实施例中所述的通过感知信号采集通道组合获取第一感知信号之前，还包括：

步骤S201、获取通过多个感知信号采集通道采集的训练数据集，所述训练数据集中包括多个训练感知信号；

在本实施例中，通过感知信号采集通道组合获取第一感知信号属于多通道信号数据，此类多通道的时序数据在参与分类建模的时候会引入大量的干扰因素，根据通道信号数据做模型计算时，也会因计算资源量大而造成浪费，影响准确率。

为了获得最优的感知信号采集通道组合，需对原始通道数据进行特征提取操作，剔除不相关或冗余的特征，对感知信号采集通道重要性进行排序并筛选出易于分类，具有鲁棒性的特征组合。特征选择的出发点通常包括两点：

第一点，特征是否发散。信息具备信息熵，信息熵代表了信息的复杂度和信息量。一般认为，特征数据信息熵越大发散性越好，易于参与后续任务。

第二点，特征之间是否具备相关性。具备强相关的特征会紧随彼此变化，适当舍弃强相关的特征有利于节省计算资源。

因此，在本实施例中，采用多模型集成嵌入法求解最优感知信号采集通道组合。多模型集成嵌入法是一种建立在机器学习模型基础上的特征排序，此法重点是选择恰当的机器学习模型算法，对处理好的全特征维度数据进行机器学习模型的训练，针对每个维度的特征和已知相应变量标签建立相应模型。

步骤S202、将所述训练数据集输入随机森林分类器模型，ExtraTree分类器模型，Adaboost分类器模型，分别得到对应于所述随机森林分类器模型，所述ExtraTree分类器模型，所述Adaboost分类器模型的多个所述感知信号采集通道的排序结果；

在一些实施例中，步骤S202具体可以包括：

步骤1、将所述训练数据集输入随机森林分类器模型，所述随机森林分类器模型对所述训练数据集中的多个所述感知信号进行特征选取操作和分裂操作，得到多个所述感知信号的特征对应的的第一权重因子集；根据所述第一权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第一排序结果；

在本步骤中，随机森林是bagging集成算法的一种，是指将多个分类器并行的集成在一起，CART决策树是随机森林算法的核心，是随机森林的基学习器，然后通过随机采样以及随机选取特征的方式对模型进行T轮次训练，然后把T个弱学习器加起来得到最终的学习器。

随机森林对样本进行自助采样，即有放回采样，每轮训练采取的样本数等于样本总数，因为是放回采样，所以有的样本可能会被重复采样，有的样本可能会没有被采样。对特征选取也是随机地选取固定个数的特征对模型进行训练。这样保证得到的弱学习器虽然不是完全彼此独立的，但是相关性较小，可以增加模型总体的泛化能力。随机森林模型的流程如下；

(1)首先是输入为样本集D＝(x₁，y₁)，(x₂，Y₂)，.....(x_m，y_m)；

(2)随机地选择训练的数据集和样本特征进行T轮训练，对于t＝1，2，……T；

a)对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集D_t

b)用采样集D_t训练第t个决策树模型G_t(x)，在训练决策树模型的节点的时候，在节点上所有的样本特征中选择一部分样本特征，在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分。

(3)输出最终的强学习器F(x)；

(4)如果是分类算法预测，则T个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

步骤2、将所述训练数据集输入ExtraTree分类器模型，所述ExtraTree分类器模型对所述训练数据集中的多个所述感知信号进行特征随机、参数随机、模型随机和分裂随机的操作，得到多个所述感知信号的特征对应的的第二权重因子集；根据所述第二权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第二排序结果；

在本步骤中，ET或Extra-Trees(Extremely randomized trees，极端随机树)算法与随机森林算法十分相似，都是由许多决策树构成。极限树与随机森林的主要区别：randomForest应用的是Bagging模型，extraTree使用的所有的样本，只是特征是随机选取的，因为分裂是随机的，所以在某种程度上比随机森林得到的结果更加好。随机森林是在一个随机子集内得到最佳分叉属性，而ET是完全随机的得到分叉值，从而实现对决策树进行分叉的。

步骤3、将所述训练数据集输入Adaboost分类器模型，所述Adaboost分类器模型对所述训练数据集中的多个所述感知信号进行特征选取操作，得到多个所述感知信号的特征对应的的第三权重因子集；根据所述第三权重因子集对多个所述感知信号采集通道进行排序，得到多个所述感知信号采集通道对应的第三排序结果。

在本步骤中，Boosting方法是集成学习中的一类算法，核心思想是将弱学习器提升为强学习器。所谓弱学习器即为泛化性能略优于随机猜测的学习器。Adaptive Boosting意为适应的提升，表示算法能适应弱分类器各自的训练误差率。该算法中最核心的两点如下：更关注被错误分类的样本：在下一轮训练中提高其样本权值，因此每个相继的分类器被强制集中在上一步误分类的训练数据上。投票合成(算法中最后一步)：分类误差率小的弱分类器的权值大，分类误差率大的弱分类器的权值小。

Adaboost算法可以简述为三个步骤：

(1)首先，是初始化训练数据的权值分布D1。假设有N个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：

w_i＝1/N

(2)进行迭代m＝1，2，.....M

a)使用初始权重w_i选择一个当前误差最小的弱分类器G_m(x)进行训练；

b)并计算该弱分类器在分布D1上的误差：

c)计算该弱分类器G_m(x)在最终分类器中占的权重：

α_m＝log((1-err_m)/err_m)

d)更新训练样本的权值分布：

w_i←w_i·exp[α_m·I(y_i≠G_m(x_i))]，i＝1，2，...，N

(3)最后，按照弱分类器的权重组合各个弱分类器，通过符号函数sign的作用得到一个强分类器：

各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小决定作用。换而言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

步骤S203、根据所述排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图，根据所述热力图选取预设数量的所述感知信号采集通道组成所述感知信号采集通道组合。

在一些实施例中，步骤S203具体可以包括：

根据所述第四排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图。

在本实施例中，采用模型集成嵌入法的模型集成学习将多个弱模型正确组合，以获得更精确和更鲁棒的模型。

因此，在本实施例中将随机森林、ExtraTree和Adaboost三个模型进行集成，集成后模型利用有监督数据的特征选择技术，在特征维度和响应变量之间的关系是非线性的情况下，采用基于树的方法(决策树、随机森林)等对样本特征进行确定。基于树的方法比较易于使用，对非线性关系的建模时不需要太多调试，通过这种训练对特征进行打分可以获得特征的重要性评分，从而获得每个被试的最优通道组合。采用随机森林、ExtraTree、Adaboost以及集成模型求解本题时，能够考虑到不同被试的特征值差异，权衡关联程度和贡献度，得到较优的特征排序结果。

在本实施例中，根据上述三个单个模型生成的信号通道排序结果，采用三个模型集成嵌入法对每名被试的信号通道再次进行特征筛选，得到各个特征的权重因子，再根据权重因子进行感知信号通道排序。进而采用皮尔逊相关系数衡量多通道间的相关性，并绘制热力图，剔除强相关的特征。皮尔逊相关系数衡量了不同通道之间的关联程度。

在另外一些实施例中，当有多名被试者分别采集对应的第一感知信号时，可以依据每名被试者的较优脑电通道组合，再次采用集成模型进行特征权重排序，考虑到每名被试的通道贡献程度，得到适用于所用被试的一组最优通道组合。

在另外一些实施例中，参考图3，对于前述实施例中所述的对所述第一感知信号进行时间窗口选择处理，包括：

步骤S301、采用预设时间长度的时间窗口截取所述第一感知信号；

步骤S302、将截取后的所述第一感知信号中的全部数据实施采样点标记为第一标签，其他采样点标记为第二标签；

步骤S303、将连续的多个所述数据实施采样点中的一个所述数据实施采样点的第一标签保留，多个所述数据实施采样点中的其他所述数据实施采样点标记为第二标签，得到所述第二感知信号。

作为一个具体的示例，P300脑电信号在小概率刺激发生后300毫秒左右出现一个正向波峰，为了定位P300信号，通常采用100-600毫秒的时间窗口截取原始信号。针对捕获后的数据实施采样点标记，将接收到P300刺激信号的多个采样点标记为“1”，否则标记为“0”，便于后续信号的二分类处理。进一步，将连续标记为“1”的采样点压缩识别为初始刺激点“1”，其余不作保留，均默认刺激信号为“0”。

在另外一些实施例中，参考图4，对于前述实施例中所述的通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果，包括：

步骤S401、将所述第三感知信号输入所述卷积神经网络的卷积层，通过所述卷积层提取所述第三感知信号的空域特征和时域特征；

步骤S402、通过所述注意力层提取所述第三感知信号的高层特征；

步骤S403、将所述空域特征、时域特征和高层特征输入所述卷积神经网络的全连接层进行分类，得到所述识别结果。

下面给出本申请的一个具体的实施场景，目标是分析5名健康成年被试(S1-S5)的P300脑-机接口实验数据，提取被试注视“目标字符”的P300电位特征，得到相应的分类识别方法，进而找出被试测试集中的10个待识别目标字符。

5名被试共计参与五轮实验。每轮实验中会在左上角采用灰色标记来提示被试注视的“目标字符”，其中“目标字符”位于一个由36个字符组成的字符矩阵中，被试要求在以随机的顺序闪烁字符矩阵的一行或一列识别出“目标字符”。闪烁行列的间隔时间为160毫秒，电位采样频率为250Hz。当被试识别“目标字符”时，脑电信号中会出现P300电位。为了采集被试的脑电信号，实验采取国际10-20系统电极通道分布，该分布特征是左侧为奇数，右侧为偶数；靠近中线采用较小数字，远离中线采用较大数字；电极名称包括电极所在头部分区的第一个字母。实验选取了其中20个电位作为信息服务中的感知信号采集通道，所采集的训练数据具有以下特征，见表1；

(1)每名被试针对12个已知目标字符“B”“D”“G”“L”“O”“Q”“S”“V”“Z”“4”“7”“9”,分别采集20个电位数据，获取12张采样数据表，合计样本数目为186702条；

(2)每名被试在相隔闪烁时间段采样40次，一轮实验耗时为1920毫秒，电位采样总数至少为480条；

(3)每名被试识别“目标字符”后300毫秒范围左右出现正向波峰，即存在信号延时，五轮采样数目总和大于2400条。

表1训练数据特征统计

按照控制变量准则，测试数据除“目标字符”未提供之外，其余信息服务中的感知信号采集通道以及被试个体均保持一致。

为了判断5名被试测试集的10个待识别字符，需要对训练数据进行滤波和特征提取操作，对不同被试注视“目标字符”的P300电位模式分类处理，通过本申请实施例的信息服务中的感知信号的识别方法实现目标判别，并给出具体的待识别字符。

(1)数据方面。假定P300脑电信号延迟分别为300ms\400ms\600ms,进行脑电数据标签化操作，收集了三份训练集，分布输入模型进行训练得到测试集的最佳分类准确率。(2)超参数方面。神经网络的手工设置的超参根据具体业务场景设定，超参数的好坏往往影响模型的收敛速度和模型准确率。在本次实验中，具体的超参选择，如下表2所示，两个卷积核的维度分别是(10，1)和(1，20)；两个全连接层的dropout值为0.5，batch_size为36，epoch为30，优化器比较了Adam和SGD，学习率是1e-5,并且对数据集进行二八分割，利用10折交叉验证进行实验。

表2超参数设置参考表

根据本申请实施例的信息服务中的感知信号的识别方法和手工识别字符等几种相关方法实践得知，S1号受试者剩余字符char13-char22分别M、4、5、2、Y、P、J、V、I和U，这个结果是利用基于attention机制增强的卷积神经网络P300信号分类算法首先识别出P300信号并检索到受刺激的行闪烁和列闪烁，识别得到的目标测试字符，同理得到受试者S2、受试者S3、受试者S4、受试者S5的待识别目标字符，并制作结果表3如下。

表3被试测试集中5个受试者的识别字符表(test_data)

P300事件相关电位在目标字符闪烁刺激发生后300毫秒范围左右出现的一个相对基线呈现的正向波峰。由于个体间的差异性，P300的发生时间也有所不同，也会在刺激发生后450毫秒左右呈现P300波形。P300电位作为一种内源性成分，它不受刺激物理特性影响，与知觉或感知心理活动有关，与注意、记忆、智能等加工过程密切相关。

在一些实施例中，训练集是从受试者S1-S5的train_data和train_event中进行人工标注得来，标注的首要任务就是确认P300信号的延迟时间，假定P300信号假定延迟300ms、400ms和800ms，并做三份训练集输入分类模型，根据模型达到的预测准确率，测试集上的Percision得分、Recall得分和F1-Score得分，综合评定在300ms的假定延迟下，P300信号的训练集更为精确。模型的上限取决于数据质量，这一部分操作优化了后续模型的性能。

可见，在本实施例中，通过本申请实施例的信息服务中的感知信号的识别方法，对处理得到的数据进行了分类学习，搭建的Attention增强的CNN模型能够利用CNN在卷积运算中自动识别提取整体数据的高层特征，并且使用Attention机制识别更加细粒度的高层特征差异，使模型网络提取出最具判别力的特征，对P300信号进行有效识别。进而预测被试者测试数据集中的待识别字符。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种信息服务中的感知信号的识别装置。

参考图5，所述信息服务中的感知信号的识别装置，包括：

采集模块501，被配置为通过感知信号采集通道组合获取第一感知信号；

第一处理模块502，被配置为对所述第一感知信号进行滤波处理和时间窗口选择处理，得到第二感知信号；

第二处理模块503，被配置为对所述第二感知信号进行小波变换，提取小波变换后的所述第二感知信号的时域能量熵，将所述时域能量熵作为第三感知信号；

识别模块504，被配置为通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果。

在另外一些实施例中，所述信息服务中的感知信号的识别装置，还包括选择模块500，所述选择模块500被配置为：

在另外一些实施例中，第一处理模块502，还被配置为：

采用预设时间长度的时间窗口截取所述第一感知信号；

在另外一些实施例中，识别模块504，还被配置为：

通过所述注意力层提取所述第三感知信号的高层特征；

在另外一些实施例中，选取模块500，还被配置为：

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的信息服务中的感知信号的识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的信息服务中的感知信号的识别方法。

图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的信息服务中的感知信号的识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的信息服务中的感知信号的识别方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的信息服务中的感知信号的识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种信息服务中的感知信号的识别方法，其特征在于，包括：

通过感知信号采集通道组合获取第一感知信号；

2.根据权利要求1所述的方法，其特征在于，所述通过感知信号采集通道组合获取第一感知信号之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述第一感知信号进行时间窗口选择处理，包括：

采用预设时间长度的时间窗口截取所述第一感知信号；

4.根据权利要求1所述的方法，其特征在于，所述通过具有注意力层的卷积神经网络对所述第三感知信号进行识别，得到所述第三感知信号的识别结果，包括：

通过所述注意力层提取所述第三感知信号的高层特征；

5.根据权利要求2所述的方法，其特征在于，所述将所述训练数据集输入随机森林分类器模型，ExtraTree分类器模型，Adaboost分类器模型，分别得到对应于所述随机森林分类器模型，所述ExtraTree分类器模型，所述Adaboost分类器模型的多个所述感知信号采集通道的排序结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述排序结果和皮尔逊相关系数绘制用于衡量多个所述感知信号采集通道间的相关性的热力图，包括：

7.根据权利要求1所述的方法，其特征在于，所述感知信号为P300感知信号。

8.一种信息服务中的感知信号的识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。

10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。