CN114781461A - 一种基于听觉脑机接口的目标探测方法与系统 - Google Patents

Abstract

本发明涉及一种基于听觉脑机接口的目标探测方法与系统，方法包括：实时采集使用者的脑电信号，并对所述脑电信号进行预处理，获取所述脑电信号的特征；对所述脑电信号的特征进行分类，获得分类结果，基于所述分类结果判断是否出现了对应于声音目标的神经表征，输出判断结果；根据所述判断结果，判断是否存在所述声音目标。本发明提出一种基于听觉脑机接口的目标探测方法与系统，有利于提升目前声音目标检测系统对于环境干扰和新目标样本的鲁棒性，从而完善声音目标检测系统的性能短板。

Description

一种基于听觉脑机接口的目标探测方法与系统

技术领域

本发明涉及人机交互科学、认知神经科学以及人工智能技术领域，特别是涉及一种基于听觉脑机接口的目标探测方法与系统。

背景技术

声音目标检测是指通过对采集到的外部声音的特征进行提取和分析进而判断出声音片段中是否存在人们感兴趣的目标的一种技术。由于声音信号与光学信号不同的传播特性，在相当一部分无法获取准确可靠的光学信号的情况下，使用声音信号进行目标检测会获得更好的识别性能，军用背景下，声音目标检测可以用于“低慢小”飞行器的目标检测问题，民用背景下，声音目标检测可以用于生物识别、灾区搜救等场景，具有广阔的应用价值。然而在实际使用过程中，一类目标往往对应多种不同的个体(例如卡车和家用轿车都属于汽车，小型航模无人机和大型拍摄用无人机都属于无人机)，由于个体间特征差异的原因导致目前的方法很难实现对某一类目标检测的鲁棒性，表现为新目标识别准确率低下，因此存在性能上的限制。

目前针对声音目标的识别方法主要依赖于机器学习技术(即提前获取要尽可能多种类多数量的检测的声音片段的数据和特征，建立数据集进行离线训练确定检测算法的参数，最终实现在线的实际应用)，该方法的一个主要缺陷是最终实际的使用性能很大程度上取决于训练集数据的数量和质量，当无法获取大量且全面的数据样本时，识别模型只能完成对一类目标中很少种类个体的识别或者无法正常完成训练。另一种解决问题的思路是利用人在声音感知上的智能，将采集到的声音通过播放设备输出到人的听觉系统，借用人的判断实现声音目标的检测，但这种方法要求人长期处于机械工作的状态下，易疲劳。脑机接口(brain-computer interface,BCI)作为一种不依赖于外周神经和肌肉组织等常规大脑输出通路的一种信号传导通道。可以直接获取人对于外界声音是否存在目标的判断，同时省去了信息反馈的过程，可以一边从事其他的工作一边完成检测，即降低使用者的脑力劳动负荷和体力消耗。

在这种背景下，为了实现对于声音目标检测的鲁棒性，提出一种方法，通过事先确定要检测的声音目标的具体类别，使用脑机接口获取使用者感知声音过程中的脑电变化，判断是否出现了对应于声音目标的神经表征，如果出现了则根据任务要求和脑电变化的详细特征判断要检测的声音目标的存在。

发明内容

本发明的目的是提供一种基于听觉脑机接口的目标探测方法与系统，以解决上述现有技术中的问题。

为实现上述目的，本发明提供了如下方案：

一种基于听觉脑机接口的目标探测方法，包括：

实时采集使用者的脑电信号，并对所述脑电信号进行预处理，获取所述脑电信号的特征；

对所述脑电信号的特征进行分类，获得分类结果，基于所述分类结果判断是否出现了对应于声音目标的神经表征，输出判断结果；

根据所述判断结果，判断是否存在所述声音目标。

优选地，对所述脑电信号进行预处理，包括：

对采集的所述脑电信号依次进行基线修正、带通滤波、伪迹滤除、共平均参考以及降采样操作，用于提取所述脑电信号的时频功率谱特征。

优选地，获取所述脑电信号的特征样本包括：

基于短时傅里叶变换方法提取所述时频功率谱特征，得到原始特征样本，对所述原始特征样本进行特征降维，得到压缩维数后的样本，即所述脑电信号的特征。

优选地，对所述原始特征样本进行特征降维，包括：

通过主成分分析方法对所述原始特征样本进行维数压缩，提取正常状态样本和检测状态样本，将所述正常状态样本和所述检测状态样本重排成一维特征向量后，计算所述正常状态样本和所述检测状态样本协方差矩阵，对所述协方差矩阵进行特征值分解，其中所述特征值按照大小排列，选取贡献率排名前90％的特征值所对应的特征向量构成变换矩阵，进行特征降维；其中，所述正常状态样本为没有目标出现时的脑电信号，所述检测状态样本为听到目标出现时的脑电信号。

优选地，获得所述分类结果的过程包括：

使用支持向量机SVM对所述脑电信号的特征样本进行分类识别，其中，所述SVM的计算方法为：

式中，

为样本x向高维空间的映射，w^T代表分类超平面在高维空间中的法方向，b为偏移量，代表了坐标原点到分类超平面的距离；

若已知了m个样本，式(1)可进一步写为：

式中，κ(x，x_i)为SVM中选择的核函数；y_i为第i个样本所属的类别，α_i为参数优化算法中每一个样本对应的拉格朗日乘子，b为偏移量；

得到f(x)后，若f(x)≥1则判断样本x为正类，若f(x)≤-1则判断样本x为负类。

优选地，判断是否出现了所述对应于声音目标的神经表征，包括：

根据所述脑电信号中提取的时频功率谱特征带入支持向量机SVM中，判断当前处理的所述脑电信号是否含有听觉事件电位中的P3成分以及alpha节律能量下降的迹象，若存在，则判断为出现了所述声音目标对应的神经表征。

优选地，输出所述判断结果的过程，包括：

通过在线判断规则，判断是否出现了所述声音目标，所述判断规则为：设置检测阈值，在一段连续的特征提取和判断过程中，若解码为“出现了声音目标对应的神经表征”的次数超过所述检测阈值，则输出“出现了声音目标”的结果，否则，均输出“没有出现声音目标”。

一种基于听觉脑机接口的目标探测系统，包括：

EEG特征提取子系统：用于采集使用者的脑电信号进行特征提取，并将提取的脑电信号特征传输至解码子系统中；

解码子系统：用于根据所述EEG特征提取子系统输出的脑电信号特征判断是否出现了对应于声音目标的神经表征；

决策子系统：用于根据所述解码子系统输出的结果判断是否存在所述声音目标。

优选地，所述EEG特征提取子系统中包括：

脑电采集模块：用于采集所述使用者的脑电信号并进行传输；

脑电处理模块：用于接收所述脑电信号，并对所述脑电信号进行处理，计算出所述脑电信号所包含的识别特征并转化成特征向量进行输出。

本发明的有益效果为：

本发明提出一种基于听觉脑机接口的目标探测方法与系统，有利于提升目前声音目标检测系统对于环境干扰和新目标样本的鲁棒性，从而完善声音目标检测系统的性能短板。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的工作系统示意图；

图2为本发明实施例的所需要采集的脑电信号对应的通道位置；

图3为本发明实施例的听觉事件相关电位特征提取及解码流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种基于听觉脑机接口的目标探测方法与系统，使用与复杂声音场景下的声音目标检测，技术人员可以根据本发明的实际适用情况，与现有的基于机器学习的声音目标检测系统向结合，拓展整个声音目标检测系统的鲁棒性和泛化性能。

本发明的基本原理是检测人员听到声音目标出现时会产生事件相关电位，这种事件相关电位与检测任务之间是严格对应的，通过对检测人员的脑电变化进行检测，从而判断出是否出现了与检测任务相关的声音目标。下面结合附图对本发明提供的基于听觉脑机接口的目标探测方法与系统进行详细描述。

本发明实施例提供一种基于听觉脑机接口的目标探测系统。包括EEG特征提取子系统、解码子系统和决策子系统。其中EEG特征提取子系统由脑电采集模块以及脑电处理模块组成，脑电采集模块用于采集使用者的脑电信号并进行传输，脑电处理模块用于接收脑电信号并且对脑电信号进行处理，最终计算出该段脑电信号所包含的识别特征并转化成一列特征向量输出，解码子系统用于根据EEG特征提取子系统提取的特征进行判断，得出目前使用者的大脑活动状态，决策子系统根据一段时间内解码子系统输出的结果，判断是否出现了的声音目标。

EEG特征提取子系统包括脑电采集模块、脑电处理模块；其中，脑电采集模块应用脑电采集仪实时采集脑电信号并且进行放大和模数转换，通过数据线与处理器进行数据传输。采集的通道总数共60个，根据“10-20国际标准导联”将脑电采集电极放置在使用者头部的Fp1，Fpz，Fp2，AF7，AF3，AF4，AF8，F7，F5，F3，F1，Fz，F2，F4，F6，F8，FT7，FC5，FC3，FC1，FCz，FC2，FC4，FC6，FT8，T7，C5，C3，C1，Cz，C2，C4，C6，T8，TP7，CP5，CP3，CP1，CPz，CP2，CP4，CP6，TP8，P7，P5，P3，P1，Pz，P2，P4，P6，P8，PO7，PO5，PO3，POz，PO4，PO6，PO8，O1，Oz，O2位置，将参考电极放置在使用者头顶的REF位置(各电极位置如图2所示)。采样频率设置为1000Hz。

其中，脑电处理模块用于接收脑电信号，并且对脑电信号进行处理，检测使用人员EEG的事件相关电位。系统以1s的窗宽，0.1s的步长对实时采集的脑电信号进行处理。

处理过程如图1所示，包括：步骤1、采集原始脑电信号并进行传输；步骤2、对传输过来的脑电信号进行前期的预处理，滤除噪音和伪迹，并从预处理后的脑电信号中提取特征；步骤3、将特征代入分类器，进行分类，并按照一段时间内的分类结果，判断声音目标的出现。

其中，步骤2具体如下：

(1)基线修正和带通滤波

脑电信号在采集的过程中，会受到各种其他因素的干扰，例如温度对电极导电阻抗的影响、电磁噪音以及其他生物电信号的干扰。

本发明使用基线修正来去除由于温度变化导致的脑电信号的基线漂移，具体的方法是对于新采集的1s脑电信号，每个通道减去上一个1s脑电信号对应通道的均值。

基线修正完成后，对1s的脑电信号进行带通滤波来初步滤除无关的干扰信号，本实施例中使用FIR滤波器，截止频率为1-49Hz。

(2)独立成分分析

使用者在佩戴脑电采集帽的过程中，会时常眨眼，这个动作会在前额的电极附近产生较强的生物电干扰，称为眼电伪迹，而且鉴于其波形的频率特性，带通滤波无法有效去除。因此，本发明使用独立成分分析来去除眼电伪迹。具体的方式是，将脑电信号和眼电伪迹看成两个不同种类的信号源，通过独立成分分析实现信号源分离，数学上，通过计算解混矩阵W，将60个通道的脑电信号投影成60个独立的信号源，然后根据每个信号源的投影向量(眼电伪迹的投影向量在前额附近的通道会具有较大的分量)以及信号源的活动幅值(眼电伪迹的波形为波峰幅值巨大而且尖锐的震荡)确定对应于眼电伪迹的信号源，将其置0，随后通过逆变换投影回原先的脑电信号。

Y(t)＝W·X(t)

X₁(t)＝W^-1·Y₁(t)

上式中X(t)为60通道脑电信号，W为解混矩阵，Y(t)为分解出的60个独立成分，Y₁(t)为将眼电伪迹置0后的独立成分，X₁(t)为去除眼电伪迹之后的脑电信号。

(3)共平均参考和降采样

本发明采用共平均参考来去除所有通道中共同存在的干扰信号，具体表达为每一个通道的脑电信号减去同一时刻所有通道的平均值。最后将1s的脑电信号降采样为100Hz以减少后续计算量。

(4)时频原始特征提取及主成分分析

如附图3，本发明使用短时傅里叶变化作为提取EEG信号时频特征的方法，对于每个通道经过预处理和降采样的EEG信号，快速傅里叶变换(FFT)的窗长为32，窗移为20。由于降采样的采样频率是100Hz，根据奈奎斯特采样定理，傅里叶变换的结果为原信号中0-50Hz的频谱，本实施例中选取其中1-12Hz的部分，最终得到60(通道数)*T(信号时长)*F(频带)的原始特征。

提取的原始特征维数过高且不适用于SVM分类器(仅接受1维特征向量)，因此为了避免过拟合的风险并减小后续的计算量，本发明使用主成分分析的方式对原始特征进行维数压缩，具体方法是在训练过程中，提取“正常状态”(即没有目标出现时的EEG)和“检测状态”(即检测员听到目标出现)两类样本，将其重排成一维特征向量(60*T*F维)后，计算样本的协方差矩阵，对协方差矩阵进行特征值分解，所有特征值按照大小排列，选取贡献率(选取的特征值总和除以所有特征值总和)排名前90％的特征值所对应的特征向量构成变换矩阵T，进行特征降维。

步骤3具体如下：

(1)支持向量机SVM

本发明使用SVM对经过降维后的特征向量进行模式识别，SVM的基本数学表达为：

上式中，

为样本x向高维空间的映射，w^T代表分类超平面在高维空间中的法方向，b为偏移量，代表了坐标原点到分类超平面的距离。若已知了m个样本，上式可进一步写为：

上式中，κ(x，x_i)即为SVM中选择的核函数，y_i为第i个样本所属的类别(一般而言，对于二分类问题，样本属于正类，y_i＝1，样本属于负类，y_i＝-1)，α_i为参数优化算法中每一个样本对应的拉格朗日乘子，b为偏移量。在本实施例中，核函数的种类为RBF核，数学表达为：

以上所有参数(包括α_i，σ，b)均在获取训练样本后经过优化算法求得，由于这个部分并不是本发明的创新之处，因此不做赘述，最终，得到f(x)后，若f(x)≥1则判断样本x为正类，若f(x)≤-1则判断样本x为负类。

(2)在线判断规则

由于本发明面向的是声音的目标检测，鉴于脑电信号本身非平稳的特性，系统在工作过程中可能会出现误判，为了降低检测过程中的虚警率，本发明在当前时刻的脑电解码完成后，加入了在线判断规则，即连续5次的解码中，有三次或者三次以上解码为“出现了声音目标对应的神经表征”，系统才会输出“存在声音目标”的结果，除此之外，系统均输出“不存在声音目标”。

数学形式上，令y_i∈{-1，1}为解码子系统在第i个时刻的判断结果(“1”为“出现了声音目标对应的神经表征”，“-1”为“未出现声音目标对应的神经表征”)，则决策子系统的决策规则为：

本发明提出一种基于听觉脑机接口的目标探测方法与系统，有利于提升目前声音目标检测系统对于环境干扰和新目标样本的鲁棒性，从而完善声音目标检测系统的性能短板。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于听觉脑机接口的目标探测方法，其特征在于，包括：

实时采集使用者的脑电信号，并对所述脑电信号进行预处理，获取所述脑电信号的特征；

对所述脑电信号的特征进行分类，获得分类结果，基于所述分类结果判断是否出现了对应于声音目标的神经表征，输出判断结果；

根据所述判断结果，判断是否存在所述声音目标。

2.根据权利要求1所述的基于听觉脑机接口的目标探测方法，其特征在于，对所述脑电信号进行预处理，包括：

对采集的所述脑电信号依次进行基线修正、带通滤波、伪迹滤除、共平均参考以及降采样操作，用于提取所述脑电信号的时频功率谱特征。

3.根据权利要求2所述的基于听觉脑机接口的目标探测方法，其特征在于，获取所述脑电信号的特征样本包括：

基于短时傅里叶变换方法提取所述时频功率谱特征，得到原始特征样本，对所述原始特征样本进行特征降维，得到压缩维数后的样本，即所述脑电信号的特征。

4.根据权利要求3所述的基于听觉脑机接口的目标探测方法，其特征在于，对所述原始特征样本进行特征降维，包括：

通过主成分分析方法对所述原始特征样本进行维数压缩，提取正常状态样本和检测状态样本，将所述正常状态样本和所述检测状态样本重排成一维特征向量后，计算所述正常状态样本和所述检测状态样本协方差矩阵，对所述协方差矩阵进行特征值分解，其中所述特征值按照大小排列，选取贡献率排名前90％的特征值所对应的特征向量构成变换矩阵，进行特征降维；其中，所述正常状态样本为没有目标出现时的脑电信号，所述检测状态样本为听到目标出现时的脑电信号。

5.根据权利要求1所述的基于听觉脑机接口的目标探测方法，其特征在于，获得所述分类结果的过程包括：

使用支持向量机SVM对所述脑电信号的特征样本进行分类识别，其中，所述SVM的计算方法为：

式中，

为样本x向高维空间的映射，w^T代表分类超平面在高维空间中的法方向，b为偏移量，代表了坐标原点到分类超平面的距离；

若已知了m个样本，式(1)可进一步写为：

式中，κ(x,x_i)为SVM中选择的核函数；y_i为第i个样本所属的类别，α_i为参数优化算法中每一个样本对应的拉格朗日乘子，b为偏移量；

得到f(x)后，若f(x)≥1则判断样本x为正类，若f(x)≤-1则判断样本x为负类。

6.根据权利要求1所述的基于听觉脑机接口的目标探测方法，其特征在于，判断是否出现了所述对应于声音目标的神经表征，包括：

根据所述脑电信号中提取的时频功率谱特征带入支持向量机SVM中，判断当前处理的所述脑电信号是否含有听觉事件电位中的P3成分以及alpha节律能量下降的迹象，若存在，则判断为出现了所述声音目标对应的神经表征。

7.根据权利要求1所述的基于听觉脑机接口的目标探测方法，其特征在于，输出所述判断结果的过程，包括：

通过在线判断规则，判断是否出现了所述声音目标，所述判断规则为：设置检测阈值，在一段连续的特征提取和判断过程中，若解码为“出现了声音目标对应的神经表征”的次数超过所述检测阈值，则输出“出现了声音目标”的结果，否则，均输出“没有出现声音目标”。

8.一种基于听觉脑机接口的目标探测系统，其特征在于，包括：

EEG特征提取子系统：用于采集使用者的脑电信号进行特征提取，并将提取的脑电信号特征传输至解码子系统中；

解码子系统：用于根据所述EEG特征提取子系统输出的脑电信号特征判断是否出现了对应于声音目标的神经表征；

决策子系统：用于根据所述解码子系统输出的结果判断是否存在所述声音目标。

9.根据权利要求8所述的基于听觉脑机接口的目标探测系统，其特征在于，所述EEG特征提取子系统中包括：

脑电采集模块：用于采集所述使用者的脑电信号并进行传输；

脑电处理模块：用于接收所述脑电信号，并对所述脑电信号进行处理，计算出所述脑电信号所包含的识别特征并转化成特征向量进行输出。

Images