CN113867533B - 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法 - Google Patents

Abstract

本发明属于脑机接口技术领域，特别涉及一种多脑协同脑机接口系统及基于该系统实现的视频目标检测方法，该系统包含：刺激呈现模块、同步采集模块、数据预处理模块和分类模型模块。所述刺激呈现模块用于将视频刺激同步呈现给多个被试，所述同步采集模块用于同步采集多个被试的脑电信号，所述数据预处理模块用于对采集的脑电信号进行预处理，所述分类模型模块用于采用基于互学习式跨域网络处理并识别采集到的脑电信号。本发明基于互学习式跨域网络将协同决策生成的伪标签反馈给互学习式跨域网络中的个体网络，从而建立个体网络之间的信息交互和动态学习机制，实现更高效、更稳健的群体检测性能，能够将所谓差数据的个体网络训练达到专家级检测水平。

Description

多脑协同脑机接口系统及基于该系统实现的视频目标检测方法

技术领域

本发明属于脑机接口技术领域，特别涉及一种多脑协同脑机接口系统及基于该系统实现的视频目标检测方法。

背景技术

脑-机接口(Brain-computerinterface，BCI)技术搭起了人机交互的桥梁，为大脑控制和监控外部环境提供了新的技术途径。先进的脑机接口技术不仅能够改善躯体障碍患者的运动能力，还可以增强健康人的身体能力。利用多脑协同脑机接口(CollaborativeBrain-Computer Interfaces,cBCI)技术进行性能增强成为人类增强研究的热点。多脑信号相当于多个信息处理系统，具有更高的群体决策性能和更强的鲁棒性。同时，多脑协作工作也更加符合未来人机交互社会化的发展趋势。对于视觉目标检测脑机接口系统而言，背景复杂性和场景动态性带来了单脑BCI系统检测的性能局限。因此，搭建视频目标检测多脑协同脑机接口系统，发挥多脑增强的性能优势，成为提高视频目标检测性能的研究重点。

多脑协同脑机接口系统被视为当前最有前景的人类增强应用之一。目前，cBCI系统主要是通过集成多脑信息提高系统的控制和决策的能力，其信息集成主要包括三个层级：信号级融合、特征级融合和决策级融合。信号级融合是提高脑电信号信噪比的最快速简单的方法。它是对多人脑电信号的平均响应进行分类。特征级融合是对多人脑电的平均特征进行分类。信号级融合和特征级融合都属于单分类器协同脑机接口(single classifiercBCI，SC-cBCI)系统。决策级融合是将多用户的决策结果进行融合，生成最终的决策，也称为多分类器协同脑机接口(multi-classifier cBCI,MC-cBCI)系统。具体的决策级融合策略包括平均决策、加权决策和投票表决等。尽管现有的多脑协同目标检测已经研究取得了显著的成果，但还是存在两点问题值得关注。第一，目前的协同脑机接口研究强调多脑的信息融合，其计算模型是静态单向非动态交互，偏离了真正的多脑协同过程。鉴于实验过程的个体交流导致更高的错误率，可以考虑从数据层建立数据层的个体信息交互。其次，为了获得个体计算模型，以往的研究要求增加准备时间采集用户的标注数据。为此，亟需一种具有信息交互、动态学习和个体迁移能力的多脑协同脑机接口方案，来提高群体检测性能。

发明内容

为此，本发明提供一种多脑协同脑机接口系统及利用该系统实现的视频目标检测方法，针对真实场景下的动态视觉目标检测需求，通过引入互学习策略，将协同决策生成的伪标签反馈给互学习式跨域网络中的个体网络，从而建立个体网络之间的信息交互和动态学习机制，实现多脑协同及更高效、更稳健的群体检测性能，能够广泛适用于无人机视频车辆检测等领域。

按照本发明所提供的设计方案，提供一种多脑协同脑机接口系统，用于视频目标检测，包含：刺激呈现模块、同步采集模块、数据预处理模块和分类模型模块，所述刺激呈现模块用于将视频刺激同步呈现给多个被试，所述同步采集模块用于同步采集多个被试的脑电信号，所述数据预处理模块用于对采集的脑电信号进行预处理，所述分类模型模块用于采用基于互学习式跨域网络处理并识别采集到的脑电信号，其中，所述互学习式跨域网络包含：以单源域适应网络来检测单试次脑电P300检测的个体通用网络模型，个体通用网络模型作为个体网络计算单元，相互之间利用互学习策略来更新系统分类损失。

进一步，本发明还提供一种视频目标检测方法，基于上述系统实现，该实现过程具体包含如下内容：

利用刺激呈现模块诱发被试大脑产生事件相关脑电信号；利用同步采集模块同步记录多个被试的脑电信号，用于分类模型模块中互学习式跨域网络进行训练和测试的数据样本，该数据样本包含：单个被试者在视觉刺激情形下的单脑脑电信号，及以组为单位获取每个组内多个被试者在统一视觉刺激情形下的多脑脑电信号；

对单脑脑电信号和多脑脑电信号进行原始数据预处理，利用预处理后的单脑脑电信号构建作为个体网络计算单元的源域样本，通过对预处理后的多脑脑电信号作为目标域样本，通过互学习策略来更新源域和目标域类别损失和域损失，以完成互学习式跨域网络的训练和预测。

作为本发明视频目标检测方法，进一步地，视觉刺激情形下收集数据样本中，选取的诱发视频包含：视频中有目标的目标诱发视频和视频中无目标的无目标诱发视频，并设定诱发目标在目标诱发视频播放预设时间段后出现，且目标诱发视频和无目标诱发视频均采用黑白视频格式，视频播放顺序采用随机播放。

作为本发明视频目标检测方法，进一步地，原始数据预处理包含：首先，依次对原始数据去除眼电、滤波及降采样；然后，从降采样处理后的原始数据中，提取目标诱发视频脑电信号和非目标诱发视频脑电信号的目标试次和非目标试次，并截取被试者预设时间长度的目标试次和非目标试次信号作为预处理后的脑电信号。

作为本发明视频目标检测方法，进一步地，构建源域过程中，基于目标试次和非目标试次获取公共空间模式第一滤波器，并对单试次脑电信号进行空间降维来构建ERP模板，通过将单试次脑电信号与EPR模板匹配来提取P300信号及其幅度信息；选择单试次电压幅度在预设值以内的信号，通过个体在顶枕区电机的平均目标ERP响应，提取P300峰值时刻脑地形图作为个体P3map；利用聚类方法对被试者中单脑脑电信号进行聚类为不同诱发强度的P3map组，选取符合诱发强度的P3map组中的个体来构建源域样本。

作为本发明视频目标检测方法，进一步地，获取目标域样本中，多脑脑电信号采用与源域相同的EPR模板进行数据筛选，并通过阈值法来检测筛选出的样本的有效性检测，通过有效性检测结果将多脑脑电信号中每个单试次脑电信号分别对应相应的类别标签和有效标签，其中，阈值法有效性检测中，将最大振幅值在预设电压值以内的单试次信号视为有效信号，否则视为无效信号。

作为本发明视频目标检测方法，进一步地，互学习式跨域网络的训练学习中，假设在N个个体网络计算单元协同决策之间引入互学习策略，N个个体网络计算单元使用相同的源域样本数据并对应不同的目标域个体，源域和N个目标域的样本数据分别表示为S₀，T₁，T₂，...，和T_N，其中，第n个个体网络计算单元，每个批次同时输入m个源域样本

和m个目标域样本

输出为源域和目标域之间的域判别概率

源域

和目标域的类别预测概率

对应源域分类损失表示为

源域和目标域的域判别损失表示为

源域类别标签l^s和域判别标签l^d均已知，每轮网络参数更新中，通过融合所有目标域个体的预测概率来得到协同决策概率p^t，对所有目标域样本估计一次类别标签l^t，融合公式表示为

将l^t作为协同决策标签同时反馈给N个个体网络计算单元来计算目标域的类别分类损失

作为本发明视频目标检测方法，进一步地，互学习式跨域网络训练中对抗学习问题表示为：

其中，α、γ和β分别表示域损失权重、源域分类损失权重和目标域分类损失权重。

本发明的有益效果：

本发明通过引入互学习策略，个体网络决策平均产生协同决策结果，协同决策结果反向指导个体网络重新决策，从而在数据层建立个体网络与协同决策之间的信息交互和动态学习机制，提升动态视觉目标的群体检测性能。并进一步通过实验数据表明，与单脑BCI(single-mind BCI，sBCI)系统和单分类器cBCI(single-classifier cBCI，SC-cBCI)系统相比，本案中多脑协同MLDANet-cBCI系统性能最好，其次是多分类器cBCI(multi-classifier cBCI，MC-cBCI)系统，在多脑协同MLDANet-cBCI系统中，互学习策略可以提高个体的网络能力，帮助所谓差数据的个体培养为专家级别的检测性能，能够有效提升多脑协同工作水平，对发展人类增强技术具有重要的意义。

附图说明：

图1为实施例中多脑协同脑机接口系统框图示意；

图2为实施例中无人机视频车辆检测实验范式示意；

图3为实施例中互学习式跨域MLDANet网络架构示意；

图4为实施例中视频目标检测流程示意；

图5为实施例中MLDANet-cBCI系统模型收敛性示意；

图6为实施例中源域数据量对系统性能的影响示意；

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

提升多脑联合工作能力的协同式脑机接口技术(collaborative brain-computerinterface，cBCI)成为当前人类增强研究的热点。基于脑电的目标检测成为多脑cBCI系统中最有前景的应用之一。然而，以往的研究往往强调个体决策的静态融合，而非多脑协同处理的动态交互。本发明实施例，提供一种多脑协同脑机接口系统，用于视频目标检测，包含：脑电信号提取模块和脑电信号处理模块，所述脑电信号提取模块用于同时提取多个被试者在视觉刺激情形下的脑电信号并将脑电信号传送至脑电信号处理模块，所述脑电信号处理模块基于互学习式跨域网络处理并识别采集到的脑电信号，其中，所述互学习式跨域网络包含：以单源域自适应网络来检测视觉刺激情形下单试次脑电P300检测的若干个体通用网络模型，个体通用网络模型作为个体网络计算单元，相互之间利用互学习策略来更新源域和目标域类别损失和域损失。

通过引入互学习策略，个体网络决策平均产生协同决策结果，协同决策结果反向指导个体网络重新决策，从而在数据层建立个体网络与协同决策之间的信息交互和动态学习机制，提升动态视觉目标的群体检测性能。

参见图1所示，互学习跨域网络是多脑协同脑机接口系统的核心，系统通过刺激呈现、多脑同步脑电采集、数据预处理和互学习跨域网络来实现多脑协同的视频目标检测。脑电信号采集中，被试坐在灯光昏暗、声音和电磁屏蔽的实验间内进行实验，具体实验流程如图2所示，为方便被试充分熟悉实验流程和实验内容，整个实验由练习实验和正式实验两个部分组成。互学习式跨域网络MLDANet架构如图3所示，MLDANet的核心是在数据层建立多脑的信息交互和动态学习机制，通过协同决策结果指导个体网络的再决策，提升视频目标检测的群体决策性能。

进一步地，参见图4所示，本发明实施例还提供一种视频目标检测方法，基于上述系统实现，该实现过程具体包含如下内容：

S101、利用刺激呈现模块用于将视频刺激同步呈现给多个被试；

S102、利用同步采集模块用于同步采集多个被试的脑电信号，搜索用于目标检测的数据样本，该数据样本包含：单个被试者在视觉刺激情形下的单脑脑电信号，及以组为单位获取每个组内多个被试者在统一视觉刺激情形下的多脑脑电信号；

S103、对单脑脑电信号和多脑脑电信号进行原始数据预处理，利用预处理后的单脑脑电信号构建作为个体网络计算单元的个体通用网络模型源域样本，通过对预处理后的多脑脑电信号筛选来获取目标域样本；

S104、分类模块中基于互学习式跨域网络进行模型的训练与测试。通过互学习策略来更新源域和目标域类别损失和域损失，以完成互学习式跨域网络的训练学习利用训练学习后的互学习式跨域网络对待检测视频目标进行检测识别。

个体通用模型可以实现可靠的跨个体检测性能，本案实施例中在数据层利用具有信息交互、动态学习和个体迁移能力的多脑协同脑机接口系统，MLDANet以P3-sSDA网络为个体网络计算单元，利用互学习策略，个体网络决策平均产生协同决策结果，协同决策结果反向指导个体网络重新决策，建立个体网络与协同决策之间的信息交互和动态学习机制，来提高群体目标检测性能。

作为本发明实施例中视频目标检测方法，进一步地，视觉刺激情形下收集数据样本中，选取的诱发视频包含：视频中有目标的目标诱发视频和视频中无目标的无目标诱发视频，并设定诱发目标在目标诱发视频播放预设时间段后出现，且目标诱发视频和无目标诱发视频均采用黑白视频格式，视频播放顺序采用随机播放。进一步地，原始数据预处理包含：首先，依次对原始数据去除眼电、滤波及降采样；然后，从降采样处理后的原始数据中，提取目标诱发视频脑电信号和非目标诱发视频脑电信号的目标试次和非目标试次，并截取被试者预设时间长度的目标试次和非目标试次信号作为预处理后的脑电信号。进一步地，构建源域过程中，基于目标试次和非目标试次获取公共空间模式第一滤波器，并对单试次脑电信号进行空间降维来构建ERP模板，通过将单试次脑电信号与EPR模板匹配来提取P300信号及其幅度信息；选择单试次电压幅度在预设值以内的信号，通过个体在顶枕区电机的平均目标ERP响应，提取P300峰值时刻脑地形图作为个体P3map；利用聚类方法对被试者中单脑脑电信号进行聚类为不同诱发强度的P3map组，选取符合诱发强度的P3map组中的个体来构建源域样本。进一步地，获取目标域样本中，多脑脑电信号采用与源域相同的EPR模板进行数据筛选，并通过阈值法来检测筛选出的样本的有效性检测，通过有效性检测结果将多脑脑电信号中每个单试次脑电信号分别对应相应的类别标签和有效标签，其中，阈值法有效性检测中，将最大振幅值在预设电压值以内的单试次信号视为有效信号，否则视为无效信号。

互学习式跨域网络的训练学习中，假设在N个个体网络计算单元协同决策之间引入互学习策略，N个个体网络计算单元使用相同的源域样本数据并对应不同的目标域个体，源域和N个目标域的样本数据分别表示为s₀，T₁，T₂，...，和T_N，其中，第n个个体网络计算单元，每个批次同时输入m个源域样本

和m个目标域样本

输出为源域和目标域之间的域判别概率

源域

和目标域的类别预测概率

对应源域分类损失表示为

源域和目标域的域判别损失表示为

源域类别标签l^s和域判别标签l^d均已知，每轮网络参数更新中，通过融合所有目标域个体的预测概率来得到协同决策概率p^t，对所有目标域样本估计一次类别标签l^t，融合公式表示为

将l^t作为协同决策标签同时反馈给N个个体网络计算单元来计算目标域的类别分类损失

进一步地，互学习式跨域网络训练中对抗学习问题表示为：

其中，α、γ和β分别表示域损失权重、源域分类损失权重和目标域分类损失权重。

为验证本案方案有效性，下面结合具体实验数据做进一步解释说明：

以真实场景下的无人机视频作为视频目标检测实验任务的实验素材。视频取材场景为人流较少的校园街道。实验的任务是对视频中的车辆目标进行检测，具体包括小汽车、大客车、自行车和三轮车等，停靠和行驶的车辆均在检测范围之内。除此之外，任何其它可能吸引或分散被试注意力的视觉刺激均被视为干扰物，如道路两边的植被和建筑物、地面上的交通标志符，以及过往的行人等。实验使用的无人机型号为DJ MAVIC air。无人机飞行高度距离地面25至40米，飞行速度约为20米/秒，原始视频的图像分辨率为3840×2160。实验从原始视频中截取200个短视频，其中100个视频各包含1个车辆，为目标视频(编号1～100)；剩余100个视频中均无车辆出现，为非目标视频(编号101～200)。每个视频长度在4到10秒之间不等。在目标视频中，车辆的类型、运动状态、出现时间、出现位置等均为随机。为避免视频开始时对大脑冲击带来的影响，所有目标视频中的车辆均在视频开始1秒后某一时刻出现。为保证视频播放的流畅性，图像像素降为1920×1080，播放速度为30帧/秒。为进一步克服色彩和头动对视觉的冲击和影响，所有视频被处理成黑白视频，按40％的缩放比例呈现在显示屏的中央，显示屏背景颜色为黑色。被试坐在灯光昏暗、声音和电磁屏蔽的实验间内进行实验，具体实验流程如图2所示。为方便被试充分熟悉实验流程和实验内容，整个实验由练习实验和正式实验两个部分组成。练习实验包含10个视频，每个视频结束后通过按键的形式反馈看到的车辆数量，0表示无车辆，1表示发现车辆。如果被试在练习实验上的行为按键正确率达到90％，则表示练习实验通过，可以进行正式实验，否则重新完成练习实验，直到满足要求。正式实验包含10个模块，每个模块由10个目标视频和10个非目标视频组成。在每个模块前有5秒钟的准备时间，随机播放20段视频，每段视频开始前呈现2秒“+”帮助被试快速集中注意力。模块内和模块间视频播放的顺序均为随机播放。每个视频结束后同样需要按键反馈发现的目标个数。当被试按下键盘时，下一段视频自动进入“+”准备。为了避免长时间工作带来的视觉负荷，在两个模块之间设置了休息时间，休息时长由被试自行控制。

采用g.USBamp(g.tec，奥地利)脑电记录系统采集16通道脑电信号。电极分布遵循国际10-20电极定位系统。脑电信号在线采样率为600hz，带通滤波为0.01～100hz，陷波频率为50hz。整个研究由两个实验组成：单脑实验和多脑实验。单脑实验共召集29名被试，每次只邀请一个被试进行实验。实验中29名被试脑电信号用于构建多脑协同脑机接口系统的训练数据库。多脑实验共召集20组被试，每组3名被试同时进行实验。相同的刺激材料同步呈现在三个复制屏幕。在整个实验过程中，3名被试之间没有任何形式的信息交流。同时，三台脑电记录系统并联同步采集48通道脑电信号，其中1～16通道、17～32通道和33～48通道分别来自被试1、被试2和被试3。相同的外部环境保证了外部因素对同一组中每个被试的影响是一致的。

单脑和多脑实验数据预处理的参数设置相同。首先，对采集的原始信号通过fastICA算法结合EEGLAB工具箱快速去除眼电，并将数据滤波滤到0.1-20Hz并降采样到100Hz。然后，分别从目标视频诱发脑电和非目标视频诱发脑电提取目标和非目标试次。考虑到每个目标视频只包含1个目标，因此，从目标视频中车辆呈现时间开始截取1500ms的目标试次信号。为保证非目标试次确实不可能看到车辆信息，从非目标视频诱发脑电中以非重叠的方式连续地截取多个1500ms长度非目标试次。因此，每名被试共可以截取100个目标试次(来自100个目标视频)和521个非目标试次(来自100个非目标视频)，单试次脑电信号大小为16×150(通道×采样点)。

互学习式跨域网络。互学习式跨域网络架构如图3所示。MLDANet的核心是在数据层建立多脑的信息交互和动态学习机制，通过协同决策结果指导个体网络的再决策，提升视频目标检测的群体决策性能。

第一：源域构建。实验以29名单脑实验的脑电信号构建训练数据库。在这里，我们采用以往研究中提出的P3map聚类方法选择P300成分诱发强烈的个体构建P3-sSDA网络的源域。在比较P300诱发强度之前，需要采用ERP对齐方法从1500ms目标信号中提取有效的P300信号及其幅度信息。ERP对齐方法的工作原理是基于目标试次和非目标试次脑电信号计算公共空间模式的第一滤波器(common spatial patterns，CSP)，并对单试次信号进行空间降维构建1维ERP模板，通过将单试次信号与ERP模板匹配，有效地提取视频目标诱发的P300信号。选择单试次电压幅度在120\\muV以内的信号，计算个体在顶枕区电极(Cz、Pz、Cpz、Cp1和Cp2)的平均目标ERP响应，提取P300峰值时刻脑地形图作为个体P3map。基于P3map聚类方法，29名被试的个体P3map被聚类为不同强度的P3map组。以强P3map组中的个体来构建源域。

第二：目标域样本筛选。以同步采集的多脑信号作为目标域。采用与源域相同的ERP模板，经过ERP对齐算法，每名被试可以产生100个目标试次信号和521个非目标试次信号，单试次样本大小为16×100(通道×采样点)。通过测试单试次信号的有效性，筛选出有效样本作为域适应网络的目标域。样本有效性检测采用阈值法。最大振幅值在120μV以内的单试次信号视为有效信号，否则视为无效信号。因此，每个单试次脑电信号分别对应一个类别标签和一个有效性标签。

第三：互学习式跨域网络。以往的研究已经提出了一种基于强P3响应用于为源域的视频目标检测的单源域域适应网络(source domain adaptation network for thevideo target detection，P3-sSDA)来实现脑电目标检测的个体通用模型。通过更新源域和目标域的类别损失以及源域和目标域之间的域损失，P3-sSDA网络可以提高跨个体的目标检测性能。在cBCI系统中，以P3-sSDA网络作为个体的网络计算单元。多个P3-sSDA网络同步交互工作，对单试次脑电信号进行类别预测。MLDANet在N个P3-sSDA网络和协同决策之间引入互学习策略。N个P3-sSDA网络使用相同的源域数据，对应不同的目标域个体。源域和N个目标域的数据分别表示为s₀，T₁，T₂，...，和T_N。对于第n个P3-sSDA网络，每个批次同时输入了m个源域样本

和m个目标域样本

重要的是，来自N个不同目标域个体的目标域样本为观看同一刺激材料时同步采集的。因此，N个P3-sSDA网络可以共享目标域的类别标签，这对实现个体网络间信息交互至关重要。第n个P3-sSDA网络输出源域和目标域之间的域判别概率

源域

和目标域的类别预测概率

N个目标域对相同刺激信息的预测概率

和

反映了不同个体对同一刺激的判决水平。源域类别标签l^s和域判别标签l^d是已知的。因此，第n个P3-sSDA网络产生的源域分类损失为

源域和目标域的域判别损失为

由于缺少目标域的类别标签l^t，无法直接获取目标域的分类损失。在MLDANet网络中，每个轮次的模型更新可以对所有目标域样本估计一次类别标签l^t。通过融合所有目标域个体的预测概率，可以得到协同决策概率p^t，p^t二值化处理为多脑协同检测的类别预测标签l^t，

进一步地，协同决策标签l^t作为为标签同时反馈给N个P3-sSDA网络计算目标域的类别分类损失

MLDANet整体的对抗学习问题可以描述为

其中，

和

表示第n个目标域的域判别损失、源域分类损失和目标域分类损失。α、γ和β为超参数，分别表示域损失权重、源域分类损失权重和目标域分类损失权重。在决策融合和反馈的过程，MLDANet建立了多脑之间的信息共享机制。随着网络参数迭代和更新，MLDANet中个体网络学习能力逐步提升。在此过程中，单个P3-sSDA网络可以同时从源域数据、目标域数据，以及协同决策结果中学习和训练。

个体P3map被聚类为两组，分别是强P3map组{6，11，12，13，14，16，17，19，20，21，23，26，28}和弱P3map组{1，2，3，4，57，8，9，10，15，18，22，24，25，27，29}。选择具有强P3map的13名个体构建源域.

计算四种不同BCI系统的检测性能，包括sBCI系统、SC-cBCI系统、MC-cBCI系统和MLDANet-cBCI系统。sBCI系统为单脑检测系统，每次只测试一个目标域，以60个目标域测试结果的平均值表示检测能力。SC-cBCI系统、MC-cBCI系统和MLDANet-cBCI系统属于多脑协作系统，以20组测试结果的平均值表示检测能力。SC-cBCI系统为信息级融合的单分类器检测系统，MC-cBCI系统和MLDANet-cBCI系统为决策级融合的多分类器检测系统。其中，MLDANet-cBCI系统在多分类器决策融合过程中引入了互学习策略。

各个BCI系统的最佳网络参数设置如表1所示。所有系统都在PyTorch平台的NVIDIA TITAN RTX GPU上进行训练。我们使用交叉熵函数的Adam优化器来优化模型。以三个目标域决策概率的平均作为协同决策概率，即个体之间的决策加权系数为(1，1，1)。

表1

表2

BCI系统	准确率	识别率	虚警率	F1分数
					sBCI	0.77	0.63	0.20	0.47
SC-cBCI	0.82	0.80	0.18	0.59
					MC-cBCI	0.86	0.69	0.11	0.61
MLDANet-cBCI	0.91	0.72	0.05	0.73

表2给出了不同BCI系统的检测性能，包括分类准确率、识别率、虚警率和F1分数。考虑到分类样本的不均衡问题，本案实验中主要以F1分数进行系统检测性能的评估与比较。结果显示，cBCI系统性能明显优于sBCI系统。多脑协同BCI系统中,基于决策级融合的MC-cBCI和MLDANet-cBCI系统性能优于信号级融合的SC-cBCI系统。其中，使用互学习策略的MLDANet-cBCI系统性能最强。相比于MC-cBCI系统,MLDANet-cBCI的F1分数提升了0.12，优势明显。图5给出了MLDANet-cBCI系统的模型损失和分类性能的收敛性，每条曲线表示一组测试群体。可以看出，当迭代轮数达到50轮时系统性能稳定，达到100轮时系统损失基本不变。

本案互学习跨域网络MLDANet-cBCI系统的互学习策略理论上应该能够提高个体网络的检测能力。表3分别给出了MC-cBCI和MLDANet-cBCI系统中20组个体网络检测的F1分数。结果显示，MLDANet-cBCI系统中的个体网络检测F1分数平均值为0.66，显著高于MC-cBCI系统的个体检测平均值0.47(p<0.01)。研究结果进一步说明了MLDANet-cBCI系统中互学习策略提升了个体网络的信息交互和动态学习能力，开发了个体网络的学习潜力，帮助所谓差的个体网络提升为专家级检测水平。由此说明，说明所谓检测性能差并不意味一定是数据不可靠，很可能只是特征不明显或难以提取，网络训练方式对性能影响也很大。引入互学习思想的多脑协同检测方式，有效地突破了传统的cBCI的检测瓶颈。

表3

源域个体数量对检测性能的影响：为了获得更好的检测性能，探究不同的BCI系统最佳的源域个体数量。根据训练个体库中29名被试的P3 map响应强度排序，依次选择前4名、前7名、前10名、前13名和前16名个体构建源域，测试源域个体数量与BCI系统性能的关系，如图6所示。结果显示，当源域个体数量为13～16名时，系统性能基本基本稳定，MLDANet-cBCI系统性能最佳。值得注意的是，MLDANet-cBCI系统检测性能对源域个体数量更加敏感。当源域个体数从4个增加到13个，F1分数提升了0.14。因此，MLDANet的性能优势依赖于足够数量的源域个体。

基于上述的系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种多脑协同脑机接口系统，用于视频目标检测，其特征在于，包含：刺激呈现模块、同步采集模块、数据预处理模块和分类模型模块，所述刺激呈现模块用于将视频刺激同步呈现给多个被试者，所述同步采集模块用于同步采集多个被试者的脑电信号，所述数据预处理模块用于对采集的脑电信号进行预处理，所述分类模型模块用于采用基于互学习式跨域网络处理并识别采集到的脑电信号，其中，所述互学习式跨域网络包含：以单源域适应网络来进行单试次脑电P300检测的个体通用网络模型，个体通用网络模型作为个体网络计算单元，相互之间利用互学习策略来更新系统分类损失；

并在视频目标检测过程中，利用刺激呈现模块诱发被试者大脑产生事件相关脑电信号；利用同步采集模块同步记录多个被试者的脑电信号，用于分类模型模块中互学习式跨域网络进行训练和测试的数据样本，该数据样本包含：单个被试者在视觉刺激情形下的单脑脑电信号，及以组为单位获取每个组内多个被试者在统一视觉刺激情形下的多脑脑电信号；对单脑脑电信号和多脑脑电信号进行原始数据预处理，利用预处理后的单脑脑电信号构建作为个体网络计算单元的源域样本，通过对预处理后的多脑脑电信号作为目标域样本，通过互学习策略来更新源域和目标域类别损失和域损失，以完成互学习式跨域网络的训练和预测；

且在互学习式跨域网络的训练和预测中，设定在N个个体网络计算单元协同决策之间引入互学习策略，N个个体网络计算单元使用相同的源域样本数据并对应不同的目标域个体，源域和N个目标域的样本数据分别表示为S₀,T₁,T₂,…,和T_N，其中，第n个个体网络计算单元，每个批次同时输入m个源域样本

和m个目标域样本

输出为源域和目标域之间的域判别概率

源域和目标域的类别预测概率

和

对应源域分类损失表示为

源域和目标域的域判别损失表示为

1≤n≤N；源域类别标签l^s和域判别标签l^d均已知，每轮网络参数更新中，通过融合所有目标域个体的预测概率来得到协同决策概率p^t，对所有目标域样本估计一次类别标签l^t，融合公式表示为

将l^t作为协同决策标签同时反馈给N个个体网络计算单元来计算目标域的类别分类损失

2.一种视频目标检测方法，其特征在于，基于权利要求1所述的系统实现，该实现过程包含如下内容：

利用刺激呈现模块诱发被试者大脑产生事件相关脑电信号；利用同步采集模块同步记录多个被试者的脑电信号，用于分类模型模块中互学习式跨域网络进行训练和测试的数据样本，该数据样本包含：单个被试者在视觉刺激情形下的单脑脑电信号，及以组为单位获取每个组内多个被试者在统一视觉刺激情形下的多脑脑电信号；

对单脑脑电信号和多脑脑电信号进行原始数据预处理，利用预处理后的单脑脑电信号构建作为个体网络计算单元的源域样本，通过对预处理后的多脑脑电信号作为目标域样本，通过互学习策略来更新源域和目标域类别损失和域损失，以完成互学习式跨域网络的训练和预测。

3.根据权利要求2所述的视频目标检测方法，其特征在于，视觉刺激情形下收集数据样本中，选取的诱发视频包含：视频中有目标的目标诱发视频和视频中无目标的无目标诱发视频，并设定诱发目标在目标诱发视频播放预设时间段后出现，且目标诱发视频和无目标诱发视频均采用黑白视频格式，视频播放顺序采用随机播放。

4.根据权利要求2所述的视频目标检测方法，其特征在于，原始数据预处理包含：首先，依次对原始数据去除眼电、滤波及降采样；然后，从降采样处理后的原始数据中，提取目标诱发视频脑电信号和非目标诱发视频脑电信号的目标试次和非目标试次，并截取被试者预设时间长度的目标试次和非目标试次信号作为预处理后的脑电信号。

5.根据权利要求4所述的视频目标检测方法，其特征在于，构建源域过程中，基于目标试次和非目标试次获取公共空间模式第一滤波器，并对单试次脑电信号进行空间降维来构建ERP模板，通过将单试次脑电信号与EPR模板匹配来提取P300信号及其幅度信息；选择单试次电压幅度在预设值以内的信号，通过个体在顶枕区电机的平均目标ERP响应，提取P300峰值时刻脑地形图作为个体P3map；利用聚类方法对被试者中单脑脑电信号进行聚类为不同诱发强度的P3map组，选取符合诱发强度的P3map组中的个体来构建源域样本。

6.根据权利要求2所述的视频目标检测方法，其特征在于，获取目标域样本中，多脑脑电信号采用与源域相同的EPR模板进行数据筛选，并通过阈值法来检测筛选出的样本的有效性检测，通过有效性检测结果将多脑脑电信号中每个单试次脑电信号分别对应相应的类别标签和有效标签，其中，阈值法有效性检测中，将最大振幅值在预设电压值以内的单试次信号视为有效信号，否则视为无效信号。

7.根据权利要求2所述的视频目标检测方法，其特征在于，互学习式跨域网络训练中对抗学习问题表示为：

其中，α、γ和β分别表示域损失权重、源域分类损失权重和目标域分类损失权重。

Images