CN111783942A - 一种基于卷积循环神经网络的脑认知过程模拟方法 - Google Patents

Abstract

本发明涉及一种基于卷积循环神经网络的脑认知过程模拟方法，(1)被试人员按照预设的实验范式流程进行试验，并同步采集被试人员的多通道脑电信号数据；(2)对采集后得到的原始脑电信号进行有效成分提取；(3)确定相关刺激下脑电高效特征；(4)构建双通道检测模型，并获取所述相关刺激下提取的融合特征图；(5)构建区域推荐网络与回归网络；(6)将上述构建的双通道检测模型以及区域推荐网络与回归网络作为脑认知模型，将步骤(1)中所述的相关刺激以及步骤(3)确定的脑电高效特征组成训练数据集，对脑认知模型进行训练，逼近相关刺激信号到脑电信号的认知联系，从而模拟人体对相关刺激的处理能力。

Description

一种基于卷积循环神经网络的脑认知过程模拟方法

技术领域

本发明涉及一种基于卷积循环神经网络的脑认知过程模拟方法，属于智能信息处理技术领域。

背景技术

研究类人脑神经网络模型和计算方法，开发受脑启发的类脑智能技术，是未来智能化时代的关键领域，也是新一轮科技革命的重心。类脑智能技术能够适用于人类相对计算机更具优势的信息处理任务，如机器的环境感知、交互、自主决策与智能控制等。传统人工神经网络结构忽略了大量与实现类脑智能密切相关的生物规则。开展基于神经电生理的脑认知机理研究，以及基于脑认知的智能分析策略研究，能够从仿生学角度搭建类人脑神经网络模型，实现对脑认知技能的学习逼近和对人脑神经网络工作原理的充分表达。因此，本发明的提出有利于推出新型神经网络学习模型，并为创新神经网络结构模式，开发受脑启发的类脑智能网络结构提供技术途径。

对大脑认知系统进行辨识分析对深入理解面向相关感官刺激的脑认知机理有重要的指导意义。研究表明，人脑认知系统分级处理，从低层级系统区提取特征，到高层级的认知行为。高层的特征是低层特征的组合，从低层到高层的特征表示越来越强，越来越表现意图。从神经电生理角度出发，对人脑认知机制与脑电信号展开深入研究，利用前沿人工智能领域知识，构建深度卷积循环神经网络模拟人脑认知过程，旨在构建新型符合人脑认知模式的相关刺激处理系统，能够更好的为理解人体认知机理提供新的思路。其中最关键的是脑认知过程模拟方法的设计。脑认知过程模拟方法是通过将脑科学与信息科学有机结合，研究在一定相关感官刺激与脑电信号的多维时空关系映射，构建的基于深度卷积循环神经网络的脑认知模型。能够用于探究人脑认知识别机理与处理优势，能够从基础理论层面为相关感官刺激处理与理解的模式提供新思路。

发明内容

本发明解决的技术问题是：设计了一种基于卷积循环神经网络的脑认知过程模拟方法，实现了相关感官刺激与脑电信号的多维时空关系映射分析，保证了面向脑认知的相关刺激智能处理的可行性。

本发明解决技术的方案是：一种基于卷积循环神经网络的脑认知过程模拟方法，包括下列步骤：

(1)令被试人员按照预设的实验范式流程进行操作，同步采集被试人员在实验范式中相关刺激下的多通道原始脑电信号数据，并对采集的原始脑电信号进行有效成分提取；

(2)对提取的有效脑电信号进行关键特征提取以及特征选择，确定被试人员相关刺激下的脑电高效特征；

(3)构建基于VGG网络低层特征的边缘信息通道网络，利用该通道提取来自VGG网络中conv1-2和conv2-2的低层特征，获得相关刺激中的目标边界，进而得到边缘信息特征图；

(4)构建基于VGG网络高层特征的语义信息通道网络，利用该通道提取来自VGG网络中conv3-3，conv4-3和conv5-3的高层特征，获得相关刺激中的语义信息，进而得到语义信息特征图；

(5)将所述的边缘信息通道网络和语义信息通道网络进行拼接融合，得到双通道检测模型，同时，将对应的边缘信息特征图与语义信息特征图进行拼接得到融合特征图；

(6)构建区域推荐网络，以所述融合特征图作为输入，得到目标推荐区域；

(7)构建回归网络，以目标推荐区域连同所述的融合特征图以区域下采样的方式一起作为输入，获取脑电高效特征；

(8)将上述构建的双通道检测模型以及区域推荐网络与回归网络作为脑认知模型，将步骤(1)中所述的相关刺激以及步骤(2)确定的脑电高效特征组成训练数据集，对脑认知模型进行训练，获取脑认知过程模拟方法。

优选的，通过下述步骤对原始脑电信号进行有效成分提取：

(1.1)采用截止频率为0.1Hz-0.3Hz的高通FIR数字滤波器和截止频率为30Hz-35Hz的低通FIR数字滤波器，滤除低频、高频噪声；

(1.2)利用主成分分析算法PCA，将滤波处理后的脑电信号白化处理；

(1.3)利用独立成分分析算法ICA，分解PCA处理后的脑电信号获得独立分量，从而找到干扰成分并去除，从而获得脑电信息有效成分。

优选的，所述的关键特征包括脑电信号的时域特征、频域特征与熵值特征。

优选的，时域特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的方差计算、直方图表征、峰值检测、过零点分析。

优选的，频域特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的幅度谱、相位谱、功率谱及能量谱分析。

优选的，熵值特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的多尺度近似熵、样本熵、排列熵分析。

优选的，所述的脑电高效特征选择方法通过定量评定各项单类特征下的分类准确率指标。

优选的，通过下述步骤得到边缘信息特征图：

(1.1)将实验范式中相关刺激输入VGG网路，提取来自VGG网络中conv1-2和conv2-2的低层特征，并将每部分低层特征上采样到conv1-2特征图大小；

(1.2)构建卷积层，将(1.1)中上采样得到低层特征输入到该卷积层，卷积层的输出记为低层局部特征A；

(1.3)构建空间注意力网络模块，利用该模块将(1.2)中得到的低层局部特征A进行处理，得到边缘信息特征图。

卷积层的结构优选为3×3×64。

优选的，通过下述步骤(1.1)-(1.4)完成空间注意力网络模块的构建：

(1.1)将低层局部特征A送入一层卷积层生成两个新的二维特征图B和C；将B进行转置，并与C进行矩阵相乘，并进一步经过softmax层计算得到空间注意力图S；

(1.2)与步骤(1.1)同时，将低层局部特征A送入一层卷积得到一个新的二维特征图D；

(1.3)将S与D进行矩阵相乘，得到的结果转为三维特征图R；

(1.4)将R与A进行逐元素相加得到最终边缘信息特征图E。

优选的，通过下述步骤得到语义信息特征图：

(1.1)提取来自VGG网络中conv3-3，conv4-3和conv5-3的高层特征，并将每部分高层特征上采样到conv1-2特征图大小；

(1.2)构建多尺度语义感知模块，该模块包含至少两个具有不同膨胀率的卷积层，将(1.1)中上采样得到高层特征输入到卷积层，获取多级感受野的高层局部特征；

(1.3)构建通道注意力机制网络模块，将(1.2)中得到的高层局部特征输入到该网络模块，输出语义信息特征图。

优选的，多尺度语义感知模块结构包含三个具有不同膨胀率的3×3卷积层和一个1×1的卷积层。

优选的，通过下述步骤(1.1)-(1.3)完成通道注意力机制网络模块的构建：

(1.1)将高层局部特征进行转置，并与高层局部特征本身相乘，并进一步经过softmax层计算得到通道注意力图X；

(1.2)与步骤(1.1)同时，将高层局部特征与通道注意力图X进行矩阵相乘，得到的结果转为三维特征图；

(1.3)将步骤(1.2)中的三维特征图与高层局部特征进行逐元素相加得到最终语义信息特征图。

本发明与现有技术相比的有益效果是：

(1)本发明设计数据驱动下的脑认知过程模拟方法，利用脑科学与信息科学研究成果实现对相关感官刺激下脑电信号的有效辨识与解析，能够从计算角度为脑认知机理的分析提供理论基础。

(2)本发明研究基于卷积循环神经网络的脑认知过程模拟方法，并将脑认知技能迁移到智能信息处理，从基础理论层面为智能信息处理与理解的模式提供新思路。

(3)本发明面向脑认知过程模拟方法，开展了脑电信号关键信息提取选择，并构建脑电高效特征集合，能够量化显示脑认知模式，具有良好的可解释性，能保智能证识别准确度及其应用效果。

附图说明

图1为本发明流程图；

图2为本发明实验范式示意图；

图3为本发明眼电干扰去除流程图；

图4为本发明构建脑认知网络整体结构图；

图5为本发明构建空间注意力模块流程图；

图6为本发明设计多尺度语义感知模块示意图；

图7为本发明构建通道注意力模块示意图。

具体实施方式

下面结合实施例及附图1-7对本发明作进一步阐述。

如图1所示，为本发明方法流程图，具体步骤如下：

(1)设计相关感官刺激条件下脑电信号采集的实验范式，然后基于实验范式采集多通道脑电信号数据；

本部分以视觉刺激为例，介绍相关感官刺激条件下的脑电信号采集实验范式设计及脑电信号采集情况：

一共设计2类刺激：

图片信息中包含所感兴趣的目标物，设为目标刺激；

图片信息中不含有目标物，设为干扰刺激。

具体实验流程为：被试人员坐在电脑屏幕前约0.6米处，允许被试根据自己的身高调试合适的座位高度，戴上脑电采集设备的电极帽，正视前方播放视觉刺激图片的电脑屏幕；实验开始前确保被试已经了解实验的详细流程；一共进行五轮实验，首先屏幕显示该次实验是倒数第几轮，能让被试清楚的知道实验的进度，持续0.5s，然后是0.5s的灰屏，每次视觉刺激呈现与灰屏组合称为一次trial，每一个trial中都包含了0.5s的图片显示时间和0.5s的灰屏时间。一轮实验中目标图片比例为8％-10％(例如每150张图片为一轮实验，其包含10-15张目标图片)，且每个目标图片的前后均无目标图片。每轮实验间间隔保证被试充足休息，直到被试休息好了才开始下次实验。实验范式示意图如图2所示，根据实验范式流程利用脑电采集设备开展脑电信号采集工作。

(2)对采集后得到的原始脑电信号进行有效成分提取，主要包括滤波与有效成分分析；

直接采集到的脑电(EEG)极其微弱，易受到各种干扰噪声的影响，且脑电信号具有较强的非平稳性和随机性，影响因素较多，因而，本发明对原始脑电信号进行了有效成分提取，具体包括以下两项：

1).滤波

由奈圭斯特定理可知，若采集的原始信号中包含频率高于两倍采样频率的信号，则会出现频率混叠现象，故需选择一个较低的频率作为截止频率，一般在实际应用中，采样频率至少为截止频率的3倍。EEG中包含噪声在频率上与有用信号的差异较大。在认知神经科学实验中，事件相关电位(event-related potential，ERP)波形中的大部分有用成分的频率范围在0.01Hz到30Hz之间。故可设置截止频率为30～35Hz的低通滤波器，对噪声信息进行过滤，且对ERP波形造成的影响较小。许多实验中还需用滤波器衰减极低频信号，从而去除记录过程中由于非神经活动而引起的缓慢电压变化。例如，出汗、电极电阻漂移等会使EEG基线电压产生缓慢且持续的变化，从而出现缓慢长时间的电压漂移，使波形产生较大失真，这时可利用0.1～0.3Hz截止频率的高通滤波器，过滤掉那些极低的频率。

2).有效成分分析

与EEG信号相比，干扰电位通常较大，这就会降低叠加平均后ERP波形的信噪比。某些类型的干扰并不是随机出现的，导致叠加平均并不能消除这些干扰，最终使得平均ERP波形出现差异。眼电干扰幅值范围为50～200，频率为0.1～20Hz，是脑电信号中最为常见的干扰成分。眼电干扰通过放置在眼睛附近的双极性电极记录得到，可分为水平眼电(HEOG)、垂直眼电(VEOG)和径向眼电(REOG)，分别反映了眼球的水平运动、垂直眨眼运动和眼球的转动。眼电干扰持续时间较短，一般不超过300ms，其幅值和频率与脑电信号相近，给脑电信号的分析带来极大的干扰。此类成分的去除首先需要要求被试在实验过程中减少眼动，以此最大程度地去除水平眼点和径向眼电。而眨眼造成的垂直眼电无法通过对被试要求得到解决。本发明设计独立成分分析(ICA)和主成分分析(PCA)相结合的方法对实验记录多通道脑电信号中的垂直眼电干扰进行去除，具体流程如下：

①PCA处理

PCA的主要作用是将信号白化处理，信号的白化处理是指对任意的多维信号通过一个线性变换使其成为白色信号的过程，其变换矩阵称为白化矩阵。白色信号是指各个分量相互统计独立并且方差为1，即协方差矩阵是单一矩阵的信号。同时，PCA还有降低维度，简化ICA计算量的作用。设T为观测信号x(t)的白化矩阵，则：

其中，

为白化处理后的信号，所以有：

②ICA处理

ICA的主要作用是分解PCA处理后的信号获得独立分量，从而找到干扰成分并去除。ICA是在假设源信号相互统计独立的基础上，在源信号和信号混合矩阵未知的情况下，试图将一组随机变量表示成统计独立变量的线性组合，是多维数据的线性组合分析方法。第一步的白化处理便是为了保证。用矩阵的形式定义ICA的线性模型为：

即

X＝AS (4)

式(2)中，x_i为观测信号，s_i称为源信号，A为混合矩阵。

在ICA算法处理中，因为源信号S与混合矩阵A均为未知，因此只能构建一个解混矩阵W，希望输出的信号Y尽可能逼近S。即

y(t)＝Wx(t)＝WAs(t)＝Gs(t) (5)

其中，G称为系统矩阵，最理想的情况是G＝I，即Y＝S。此时成功恢复了源信号。

上述步骤获得的各分量中与眼电导联VEOG、HEOG相似度高的分量我们便认为是眼电成分，并予以剔除，将剩余的成分进行逆ICA运算重构脑电信号。眼电干扰的去除流程图3所示。

(3)构建面向复杂视觉刺激的脑电关键特征提取与特征选择模型，提取不同视觉刺激下脑电高效特征；

首先，特征提取是实现脑电信号分类的重要步骤，能否充分提取相关刺激下的脑电信号有效特征直接影响后续计算步骤的设计与性能。针对相关刺激下脑电特征提取问题，本发明提取以下三类特征：

时域特征。指在时域中直接提取特征，主要为方差、直方图、峰值检测、过零点分析。时域分析具备较强的直观性以及更明确的物理意义，可以体现大脑活动的重要信息。

频域特征。主要指EEG信号的幅度谱、相位谱、功率谱及能量谱等指标。具体提取方法包括傅里叶变换、经典谱估计和现代谱估计、相干分析。

熵值特征：主要包括多通道脑电信号的多尺度近似熵、样本熵、排列熵分析。

其次，特征选择是从特征提取后的原始特征集合中选择出一些最具有统计意义的特征以降低特征数据集维度的过程，其目的是使系统的特定指标最优化。包含以上全部三类特征的原始特征中存在大量与分类无关的信息，部分特征还存在相关性较大的冗余情况。这些无关和冗余信息将降低后续分类算法的性能。因此，设计特征选择原则，从原始特征集中选择能够实现有效脑电分类的高效特征子集，形成脑电高效特征向量。本发明设计采用定量评定各项单类特征下的分类准确率指标的方式获得脑电高效特征。

(4)脑认知模型的网络结构如图4所示，首先需要构建基于VGG网络高层和低层目标特征的双通道检测模型，利用该模型获取所述相关刺激中提取的融合特征图，网络结构设计情况介绍如下：

a.由于CNN低层的特征语义信息比较少，但是目标位置信息准确，高层的特征语义信息比较丰富，但是目标位置信息比较粗略。因此，提出一个分别利用VGG网络高层和低层目标特征的双通道检测模型；

b.对于低层目标特征，构建空间注意力模块(Spatial attention module,SAM)(如图5所示)，关注有效的低层特征并获得比较清晰的目标边界。SAM通过对所有位置的特征进行加权求和，有选择地在每个位置聚合特征，因此具有相似特征的任意两个位置，无论在空间上相距多远，都可以相互促进，从而提高了类内紧凑性和语义一致性。SAM模块设计情况详细介绍如下：

例如，给定一个局部特征A∈R^C×H×W，首先将它送入卷积层生成两个新的特征图B和C。因此，B和C降为二维(R^C×N，N＝H×W)。然后，将B进行转置(B∈N×C)，并与C进行矩阵相乘，进一步经过softmax层计算得到空间注意力图S∈R^N×N。与此同时，将A送入卷积得到一个新的特征图D∈R^C×H×W，并将其转为二维，再将S与D进行矩阵相乘，得到的结果转为三维特征图R^C×H×W，最后与A进行逐元素相加得到最终结果E∈R^C×H×W。结果特征图E中每个位置的最终特征是所有位置的特征与原始特征的加权和，因此，它具有全局上下文视图，并根据空间主义图有选择地聚合上下文信息，相似的语义特征能够实现相互促进，从而提高了类内紧凑性和语义一致性。

c.对于高层目标特征，设计多尺度语义感知模块(Multi-scale semanticawareness module,MSA)(如图6所示)，利用不同尺度的卷积获取多级感受野的高层特征，各层网络设计参数可见图6；

d.进一步，构建通道注意力模块(Channel attention module,CAM)(如图7所示)，加强全局语义信息的关联，选择恰当的区域和感受野。通道注意力模块通过整合各通道映射之间的相关特征，选择性地强调相互依赖的通道映射，提高特征对目标对象的语义信息表达能力。CAM模块结构与SAM模块类似，不同之处在于我们直接从原始特征A上计算通道注意力图X∈R^C×C，而不经过一层卷积操作；

e.设计空间注意力模块与通道注意力模块的拼接融合，分别经过两种注意力机制的高级特征和低级特征在信息表达上是互补的，我们将其融合起来得到对目标信息表达能力更丰富的融合特征图；

(5)基于双通道注意力机制下的融合特征图，构建区域推荐网络与回归网络，形成完整的卷积循环神经网络的脑视觉认知模型，网络设计情况介绍如下：

a.构建基于全卷积网络的区域推荐网络(Region Proposal Network,RPN)，以所述融合特征图作为输入，得到带有对象得分的矩形目标推荐；

b.构建基于全连接网络结构的回归网络，以目标推荐连同所述的融合特征图以区域下采样的方式一起作为输入，获取脑电高效特征；

c.将双通道检测模型以及上述构建的区域推荐网络与回归网络作为脑认知模型；

d.基于以上网络结构，利用脑电信号采集实验范式设计中的相关刺激数据集作为输入刺激数据，脑电高效特征数据集作为输出数据，对脑认知模型进行训练，获取脑认知过程模拟方法。

本发明未详细说明部分属于本领域技术人员的公知常识。

Claims (13)

1.一种基于卷积循环神经网络的脑认知过程模拟方法，其特征在于包括下列步骤：

(1)令被试人员按照预设的实验范式流程进行操作，同步采集被试人员在实验范式中相关刺激下的多通道原始脑电信号数据，并对采集的原始脑电信号进行有效成分提取；

(2)对提取的有效脑电信号进行关键特征提取以及特征选择，确定被试人员相关刺激下的脑电高效特征；

(3)构建基于VGG网络低层特征的边缘信息通道网络，利用该通道提取来自VGG网络中conv1-2和conv2-2的低层特征，获得相关刺激中的目标边界，进而得到边缘信息特征图；

(4)构建基于VGG网络高层特征的语义信息通道网络，利用该通道提取来自VGG网络中conv3-3，conv4-3和conv5-3的高层特征，获得相关刺激中的语义信息，进而得到语义信息特征图；

(5)将所述的边缘信息通道网络和语义信息通道网络进行拼接融合，得到双通道检测模型，同时，将对应的边缘信息特征图与语义信息特征图进行拼接得到融合特征图；

(6)构建区域推荐网络，以所述融合特征图作为输入，得到目标推荐区域；

(7)构建回归网络，以目标推荐区域连同所述的融合特征图以区域下采样的方式一起作为输入，获取脑电高效特征；

(8)将上述构建的双通道检测模型以及区域推荐网络与回归网络作为脑认知模型，将步骤(1)中所述的相关刺激以及步骤(2)确定的脑电高效特征组成训练数据集，对脑认知模型进行训练，获取脑认知过程模拟方法。

2.根据权利要求1所述的方法，其特征在于：通过下述步骤对原始脑电信号进行有效成分提取：

(1.1)采用截止频率为0.1Hz-0.3Hz的高通FIR数字滤波器和截止频率为30Hz-35Hz的低通FIR数字滤波器，滤除低频、高频噪声；

(1.2)利用主成分分析算法PCA，将滤波处理后的脑电信号白化处理；

(1.3)利用独立成分分析算法ICA，分解PCA处理后的脑电信号获得独立分量，从而找到干扰成分并去除，从而获得脑电信息有效成分。

3.根据权利要求1所述的方法，其特征在于：所述的关键特征包括脑电信号的时域特征、频域特征与熵值特征。

4.根据权利要求3所述的方法，其特征在于：时域特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的方差计算、直方图表征、峰值检测、过零点分析。

5.根据权利要求3所述的方法，其特征在于：频域特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的幅度谱、相位谱、功率谱及能量谱分析。

6.根据权利要求3所述的方法，其特征在于：熵值特征提取通过如下执行分析方法实现，分析方法包括多通道脑电信号的多尺度近似熵、样本熵、排列熵分析。

7.根据权利要求1或3所述的方法，其特征在于：所述的脑电高效特征选择方法通过定量评定各项单类特征下的分类准确率指标。

8.根据权利要求1所述的方法，其特征在于：通过下述步骤得到边缘信息特征图：

(1.1)将实验范式中相关刺激输入VGG网路，提取来自VGG网络中conv1-2和conv2-2的低层特征，并将每部分低层特征上采样到conv1-2特征图大小；

(1.2)构建卷积层，将(1.1)中上采样得到低层特征输入到该卷积层，卷积层的输出记为低层局部特征A；

(1.3)构建空间注意力网络模块，利用该模块将(1.2)中得到的低层局部特征A进行处理，得到边缘信息特征图。

9.根据权利要求8所述的方法，其特征在于：卷积层的结构优选为3×3×64。

10.根据权利要求8所述的方法，其特征在于：通过下述步骤(1.1)-(1.4)完成空间注意力网络模块的构建：

(1.1)将低层局部特征A送入一层卷积层生成两个新的二维特征图B和C；将B进行转置，并与C进行矩阵相乘，并进一步经过softmax层计算得到空间注意力图S；

(1.2)与步骤(1.1)同时，将低层局部特征A送入一层卷积得到一个新的二维特征图D；

(1.3)将S与D进行矩阵相乘，得到的结果转为三维特征图R；

(1.4)将R与A进行逐元素相加得到最终边缘信息特征图E。

11.根据权利要求1所述的方法，其特征在于：通过下述步骤得到语义信息特征图：

(1.1)提取来自VGG网络中conv3-3，conv4-3和conv5-3的高层特征，并将每部分高层特征上采样到conv1-2特征图大小；

(1.2)构建多尺度语义感知模块，该模块包含至少两个具有不同膨胀率的卷积层，将(1.1)中上采样得到高层特征输入到卷积层，获取多级感受野的高层局部特征；

(1.3)构建通道注意力机制网络模块，将(1.2)中得到的高层局部特征输入到该网络模块，输出语义信息特征图。

12.根据权利要求11所述的方法，其特征在于：多尺度语义感知模块结构包含三个具有不同膨胀率的3×3卷积层和一个1×1的卷积层。

13.根据权利要求11所述的方法，其特征在于：通过下述步骤(1.1)-(1.3)完成通道注意力机制网络模块的构建：

(1.1)将高层局部特征进行转置，并与高层局部特征本身相乘，并进一步经过softmax层计算得到通道注意力图X；

(1.2)与步骤(1.1)同时，将高层局部特征与通道注意力图X进行矩阵相乘，得到的结果转为三维特征图；

(1.3)将步骤(1.2)中的三维特征图与高层局部特征进行逐元素相加得到最终语义信息特征图。

Images