CN111597990B - 一种基于rsvp范式的脑-机结合目标检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于RSVP范式的脑‑机结合目标检测方法及系统，对无人机航拍图进行切割，得到刺激图片，并向被试者连续呈现刺激图片序列，获取被试者的脑电信号，结合FTRL在线算法和HDCA离线算法，提出了一种新型的目标在线识别算法，对被试者的脑电信号进行实时评分，从而实现目标识别。该目标检测方法及系统提高了算法的识别精度，减少了训练的时间，增强了系统的鲁棒性。

Description

一种基于RSVP范式的脑-机结合目标检测方法及系统

技术领域

本发明涉及目标检测技术领域，特别是涉及一种基于RSVP范式的脑-机结合目标检测方法及系统。

背景技术

现有的无人机目标检测、搜救系统主要有两种：有信标的目标定位和基于图像的目标定位。某些人员在执行任务过程中佩戴专门研制的单兵信标机，与无人机进行数据传输。相比之下，基于图像的目标定位，应用面更广。而现有的基于图像的目标定位技术所采用的机器视觉相关算法，其目标检测往往需要大量的训练数据，还需要大量调参，才能增强系统对目标的识别能力，且只能检测指定的目标，若加入新的识别目标，还需要重新训练模型。

图像的视觉属性对大脑感知影响的研究已成为学者们近年来感兴趣的研究方向。研究者利用图像快速呈现(Rapid Series Visual Presentation，RSVP)的方法探索视觉属性对于大脑认知机制、行为学特性、神经信息加工的影响，并利用大脑对目标图像的神经响应特性差异，将其应用到了目标检测、人脸识别、字符拼写、医学图像分类等领域。现有的目标图像的筛选方法中，人工方法可以充分利用人脑的认知能力和视觉信息处理能力，目标图像识别准确率高，但其识别效率低。计算机人工智能方法具有庞大的信息存储能力和高速的处理速度，但其判别准确性低，目前只能识别某些低级特征信息大的信息。

目前，还没有一种人-机融合的基于RSVP范式的用于无人机航拍图像中进行目标检测的系统及方法。

发明内容

本发明的目的是提供一种基于RSVP范式的脑-机结合目标检测方法及系统，将基于RSVP范式的脑-机接口运用在实际目标检测场景中，充分利用人脑的强大功能，给目标检测技术带来新的思路和方法。根据非目标图片和目标图片激发的脑电波可分性，结合无人机所拍摄图片之间的相关性，实现了在无人机的航拍图中确定目标准确位置的功能。

为实现上述目的，本发明提供了如下方案：

一种基于RSVP范式的脑-机结合目标检测方法，包括：

接收无人机回传的航拍图；

采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。

一种基于RSVP范式的脑-机结合目标检测系统，包括：

航拍图接收单元，用于接收无人机回传的航拍图；

刺激图片生成单元，用于采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

刺激图片序列生成单元，用于按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

脑电信号采集单元，用于向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

脑电信号识别单元，用于利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

脑电信号选择单元，用于根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

算法模型更新单元，用于利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

评分单元，用于利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

目标识别单元，用于对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

(1)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统，与现有的基于图像的目标定位技术所采用的机器视觉相关算法相比，由于只需要被试者记住目标图片的内容，在多次呈现刺激图片后，分析其对应的脑电信号，以确定目标位置，因此训练简单。检测目标每次都可以随意选取，即可以对任意指定目标进行识别，从而大大增加可检测目标的种类。本发明采用异步脑机接口技术，具有实时性好、分辨准确率高、体积小、便携性好、便于操作等优势。

(2)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统，在脑电信号离线分类算法HDCA的基础上，考虑到随着实验的进行，被试者对目标的熟悉程度提高，脑电信号的潜伏期可能发生改变，进而提出一种在线算法FTRL，将FTRL运用到HDCA算法的逻辑回归部分，采用在线学习的方式在线训练模型，实时更新模型参数，对每次接收的刺激图片实时评分，从而提高了算法的识别精度，减少了训练的时间，增强了系统的鲁棒性。相比以往在线脑电信号识别算法而言，由于以往在线算法的执行过程为每间隔一定的时间，将已识别信号进行标注，加入训练集，重新训练模型，即模型每隔一段时间更新一次，因此模型更新速度慢，并且每次需要重新训练，效率比较低。而本发明提出的在线算法在每次接收到一个在线更新的脑电信号时，均会进行模型更新，因此模型参数更新快，模型能够随着信号的改变做及时调整，识别准确率高。

(3)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统，相对于传统的RSVP范式而言，由于传统的RSVP范式只是将图片随机呈现，而本发明在设计RSVP图片的呈现顺序时，利用无人机巡航过程中航拍图的相关性，根据上次的评分结果对当前刺激图片序列进行排序和重选，能够降低重复图片的数目，提高识别速度，还能避免视觉瞬脱导致的漏判。

(4)本发明提供的基于RSVP范式的脑-机结合目标检测方法及系统，由于在RSVP范式中，非目标图片数量会大大超过目标图片，样本不平衡现象严重，会在很大程度上影响模型效果，故本发明在线更新的脑电信号采用采样的方法产生，对非目标图片对应的脑电信号进行降采样，对目标图片对应的脑电信号进行过充采样，以解决样本不平衡问题，从而可以大大提高目标检测的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的基于RSVP范式的脑-机结合目标检测方法的方法流程图。

图2为本发明实施例1提供的航拍图切割示意图。

图3为本发明实施例1提供的算法性能评价ROC曲线。

图4为本发明实施例1提供的算法性能评价AUC曲线。

图5为本发明实施例1提供的控制流程图。

附图说明：

1-子图一、2-子图二、3-子图三、4-子图四、5-子图五。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于RSVP范式的脑-机结合目标检测方法及系统，结合脑-机接口和机器学习，用于无人机航拍图的目标检测，是一种新型的目标检测手段。本发明借鉴利用计算机智能与人脑感知相结合的方法以实现目标图像快速识别的思想，充分发挥计算机在运算速度方面的优势和人类在认知和视觉感知觉信息处理方面的优势，实现“计算机+人”既优于“计算机”又优于“人”的效果。本发明将RSVP快速筛选的优势与无人机的目标检测相结合，利用人脑强大的筛选功能，可以在较短的训练时间内识别出场景中的特定信息，可以用在地震救援、野外救援、森林火灾检测，野外侦察等场景，有广阔的应用前景。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

本实施例用于提供一种基于RSVP范式的脑-机结合目标检测方法，如图1的方法流程图和图5的控制流程图所示，包括如下步骤：

步骤一：接收无人机回传的航拍图；

目标以多种角度出现在多张子图之中，更有利于目标识别，所以对于无人机连续拍摄的航拍图，应该满足一部分有重叠，以保证目标以多种角度被拍到。故对于无人机连续拍摄的航拍图，设定航向重叠率。即对于连续拍摄的两张航拍图而言，其切割得到的子图之间有重复子图。

步骤二：采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

对于无人机的整张航拍图，需要将其切割成子图才能用作视觉刺激。故当接收到无人机回传的航拍图时，对其进行切割，存储，在不断地接收航拍图的过程中，持续对航拍图进行切割。设计图片切割算法需要将航拍图切割成子图以生成刺激图片，作为RSVP范式的刺激图片序列，进而用作视觉刺激。子图应当满足：大小必须覆盖目标，子图之间有重叠，保证目标至少会完整的出现在一个子图中。因此采用网格法对航拍图进行切割，得到边长为设定长度的正方形的单位网格。每张子图包含四个单位网格，且相邻子图之间有重叠部分。一张所述子图即为一张刺激图片，以得到刺激图片。

具体的，如图2所示，将整张航拍图用平行于边长的等距直线切分成正方形网格，从航拍图左上角开始按行进行子图的划分。图2中包含5张子图，每张子图占四个正方形网格，子图一1、子图二2、子图三3、子图四4、子图五5之间的位置关系如图2所示。对整张航拍图进行划分后，所得到的所有子图的相邻位置关系均与上述五张子图所描述的相邻位置关系相同，使相邻子图之间存在部分重叠，保证目标不被切碎。网格的大小按照实际比例确定。

作为一种可选的实施方式，可以通过给子图编号以区分子图。子图编号方法为：按航拍图(子图位于第几张航拍图)、位置标签(子图对应实景的位置，用数字记录)、行、列编号。例如，第一张航拍图含有10000张子图，一共100行，100列，第一个子图的编号是(1，1，1，1)。其中位置标签用于表示不同子图对同一个位置的拍摄图。

步骤三，按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

作为一种可选的实施方式，在形成所述刺激图片序列后，还包括依据上次评分结果对当前刺激图片序列进行位置调整，具体包括：

选取当前刺激图片序列中与上次刺激图片序列相重复的刺激图片，并获取重复刺激图片在上次的评分结果；所述重复刺激图片按照评分值由大到小进行排序；

按照设定删除比例删除所述评分值的排序位于末尾的所述重复刺激图片；

按设定选取比例选取所述评分值的排序位于首部的所述重复刺激图片，并均匀插入所述当前刺激图片序列中，其余所述重复刺激图片则保留原位，形成新的当前刺激图片序列，并向被试者连续呈现所述新的当前刺激图片序列。

由于对连续的两张航拍图设定航向重叠率，故连续的两张航拍图所切割得到的刺激图片之间必然有重复刺激图片。若一轮即呈现一张航拍图所切割得到的刺激图片，则两轮之间必然有重复刺激图片，便可以利用上述调整方法对当前刺激图片序列进行调整，再向被试者呈现新的当前刺激图片序列。但若并非一轮呈现一张航拍图，则两轮之间可能并不存在重复刺激图片。若两轮之间并不存在重复刺激图片，则无需对当前刺激图片序列进行调整，直接向被试者呈现当前刺激图片序列。

相比传统的RSVP范式，本实施例对当前刺激图片序列进行排序，即根据上一轮的评分结果，对当前刺激图片序列的位置关系做出调整，找到当前轮与上一轮相重复的刺激图片，并将重复刺激图片按照上一轮的评分值从大到小排序，作为参考以生成新的当前刺激图片序列。具体过程如下：按照评分值对当前轮重复刺激图片排序后，根据评分值，删除排在后百分之二十的重复刺激图片，即删除一部分大概率为非目标的重复刺激图片，再选取排在前百分之十的重复刺激图片，即大概率为目标的重复刺激图片，使其均匀分布在当前刺激图片序列中，调整间距至少为10张刺激图片，从而避免视觉瞬脱导致的漏判。按上述方式进行处理，即可获得最终的刺激图片呈现顺序。再将得到的新的当前刺激图片序列，以每秒10张图的速度呈现在被试者面前，从而诱发脑电信号。

此外，对于上轮评分值大于设定阈值，如评分值大于0.95的刺激图片，在本轮中，由被试者直接观看并且依然确认为目标图片后，将该刺激图片对应的脑电信号加入到在线更新算法的数据集中。

RSVP范式是一种诱发脑电信号的方法，即使用连续放映的图片，给被试者产生视觉刺激，从而诱发被试者的脑电信号。本实施例中，设计了结合无人机航拍图的RSVP范式，与以往的RSVP范式相比，独特之处主要体现在：(1)刺激图片序列采用网格法生成，所识别的是实时的图片，而不是图片库中固定不变的图片，实时图片具有多样性，可以提高系统的鲁棒性。(2)在刺激图片序列的生成方法上，根据上一轮的评分结果对刺激图片进行排序和重选，形成当前轮的刺激图片序列，进而能够降低重复图片的数目，提高识别速度，还能避免视觉瞬脱导致的漏判。(3)根据上一轮的评分结果，将评分值大于设定阈值的对应刺激图片返回给被试者重新确认，若依然确认为目标图片，则将该刺激图片对应的脑电信号添加到在线更新算法的数据集中。

步骤四，向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

使用Microsoft开发和制造的智能眼镜Hololens2作为刺激界面，向被试者呈现刺激图片序列。使用Unity3D开发环境，自主开发完成以下功能。刺激图片序列的呈现频率设定为10hz，即每张刺激图片呈现100ms，每秒呈现10张刺激图片。将刺激图片尽量呈现在中心视野，且刺激图片的大小占整个视野的四分之一，并采用黑色背景呈现刺激图片。增加按键功能，将信号处理所在电脑的键盘的‘N’键设定为没有目标出现，‘Y’按键设定为有目标出现，在每轮结束后让被试者按下按键，若有目标出现，被试者还要输入目标在本轮出现的次数，该方法可以让被试者观看刺激图片序列过程中尽量保持注意力集中，以实现对被试者注意力的提升，但该记录结果并不参与计算过程。

采用neuracle公司的脑电帽及设备进行被试者脑电信号的采集，由于ERP(Event-Related Potential,事件相关电位)脑电信号的主要成分在脑部中线位置以及枕曲最为明显，故选取Fz，Cz，Pz，O1，O2，Oz导联的脑电信号作为输入信号，以采集被试者的脑电信号。

步骤五，利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

对脑电信号做预处理，2—30hz滤波，将脑电信号采集频率降采样到250hz，将参考电极更改为双二耳电极M1和M2，根据标志位截取其前100ms到后500ms的脑电信号。将每段脑电信号和对应的刺激图片一一对应，并用前100ms的数据对数据段进行基线校准，进而得到每张刺激图片对应的脑电信号。该处理方式是处理脑电信号的常用方法，调用matlab的工具箱eeglab的函数即可完成，在此不再赘述。

HDCA离线算法(Hierarchical Discriminant Component，结构化判决成分分析)的原理是，RSVP范式下的脑电信号的有效成分是ERP脑电成分，RSVP范式的特点是目标图片稀疏，非目标图片占大多数。因此，当被试者看到目标图片时，会被诱发出明显的P300脑电信号，而非目标图片对应的脑电信号只含有ssvep成分，不含P300脑电信号，进而可以根据这一点区分目标图片和非目标图片。

在正式进行航拍图识别之前，需要用HDCA离线算法对被试者进行预训练，以得到训练好的HDCA算法模型。将图片库中原有的目标图片和非目标图片用做训练图片，诱发被试者的脑电信号。对诱发得到的脑电信号使用HDCA离线算法，以生成HDCA算法模型的模型参数。使用图片库中已有的图片作为视觉刺激，呈现给被试者，作用是增加用户的熟练程度，以及获得HDCA算法模型的模型参数w_i,k和c_i，并将该模型参数作为在线更新算法的初始值。

对HDCA算法模型进行预训练，得到训练好的HDCA算法模型，具体包括：

选取原有的目标图片和非目标图片作为训练图片，得到训练图片序列；向被试者连续呈现所述训练图片序列，得到被试者的脑电信号。

设对于每张训练图片被试者对应的脑电信号为K×N矩阵，其中K是导联数，N是每个导联的数据点数。将每张所述训练图片所对应的脑电信号等间隔划分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，相当于在时间上做了降维，将每个导联的数据点个数降为n个，即每张所述训练图片所对应的脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数。

将所有所述训练图片所对应的所述脑电信号输入到FLD(Fisher LinearDiscrimination，Fisher线性判别)算法中，确定第i个时间窗、第k个导联的投影系数w_i,k；其中，k＝1，2，...K；

根据

确定每张所述训练图片的第i个时间窗内的一维脑电信号y_i；其中，x_i,k为第i个时间窗、第k个导联的脑电信号。即对每张训练图片的脑电信号进行FLD降维，相当于在空间上做降维。对于第i个时间窗，其对应的脑电信号为(x_i,1,x_i,2,....x_i,K)，利用FLD算法得到的投影系数w_i,k将其第i个时间窗的脑电信号降到一维，通过这一步处理所得到的每张训练图片所对应的脑电信号为(y₁,y₂,....y_n)。

将所有所述训练图片所对应的一维脑电信号y_i输入到LR(Logistic regression，逻辑回归)算法中，确定第i个时间窗的加权系数c_i，使得目标图片的IS值大于非目标图片的IS值，最终通过c_i加权后的y_i值之和获取评分值IS。

所得到训练好的HDCA算法模型为：

其中，IS为评分值。

进一步的，对所述刺激图片对应的所述脑电信号进行评分具体包括：

将所述刺激图片所对应的所述脑电信号等间隔分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，即所述刺激图片所对应的所述脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数；根据

确定所述刺激图片的第i个时间窗内的一维脑电信号y_i；其中，k＝1，2，...K；w_i,k为第i个时间窗、第k个导联的投影系数；x_i,k为第i个时间窗、第k个导联的脑电信号；根据

确定所述刺激图片的评分值IS；其中，c_i为第i个时间窗的加权系数。

当所述脑电信号的评分值大于预设的第二阈值时，则所述脑电信号所对应的所述刺激图片为目标图片，否则，所述脑电信号所对应的所述刺激图片为非目标图片，进而得到刺激图片序列的识别结果。

作为一种可选的实施方式，对于样本不平衡问题，本实施例采用ROC和AUC来评价离线算法的性能。ROC(receiver operating characteristic curve)又叫受试者工作特征曲线，是以真阳性率(灵敏度)为纵坐标，假阳性率(1-特异度)为横坐标绘制的曲线。ROC曲线将灵敏度与特异性结合在一起，可准确反映特异性和敏感性的关系，是试验准确性的综合代表。对于最优被试者的三次实验结果的ROC曲线如图3所示。

AUC(Area Under Curve)是ROC曲线下面积，可以用AUC来衡量离线算法的好坏，AUC越大，算法性能越好。图4是预实验阶段，四个被试者的AUC随着脑电信号长度的变化，其中虚线表示平均值，可以看到，对于最优被试者，AUC可以达到0.9。

步骤六，根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

当所述识别结果为目标图片时，获取在当前目标图片之前的连续b个目标图片所对应的所述脑电信号，将b个目标图片所对应的所述脑电信号与当前目标图片所对应的所述脑电信号作叠加平均，选取当前目标图片所对应的所述脑电信号和叠加平均后得到的所述脑电信号均作为在线更新的脑电信号，存入数据集中；其中，所述数据集中预存有至少b个目标图片所对应的所述脑电信号；

当识别结果为非目标图片时，存储所述非目标图片对应的所述脑电信号至暂存区，直至所述暂存区内存储的所述脑电信号的数量到达c个；选取所述评分值最低的所述脑电信号作为在线更新的脑电信号，同时删除所述暂存区内其余c-1个所述脑电信号；其中，b和c是设定常数。

在RSVP范式中，非目标图片数量大大超过目标图片，样本不平衡现象严重，会影响到模型效果。因此，为了解决样本不平衡问题，有必要调整在线算法中数据集的分布，在线更新的脑电信号使用采样的方法产生。对脑电信号进行识别，并进行记数，如果识别结果为非目标图片，当计数的非目标脑电信号个数达到c时，选取这c个脑电信号中评分值最低的一个，作为在线更新的脑电信号，相当于对非目标图片做了降采样。如果识别结果为目标图片，使用叠加平均的方法，将之前识别到的b个目标图片的脑电信号与当前目标图片的脑电信号做平均，获取叠加平均后的脑电信号，且当前目标图片的脑电信号以及叠加平均后的脑电信号均作为在线更新的脑电信号，相当于对目标图片进行了过采样，扩充了目标图片的数目，进而解决样本不平衡问题，从而可以大大提高目标检测的精确度。

步骤七，利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

本实施例将FTRL(Follow The Regularized Leader Proximal，跟随正规化领导近端)在线算法和HDCA离线算法相结合，提出了一种新型的目标在线识别算法。其中，HDCA算法是一种ERP信号离线识别算法，FTRL是一种在线学习的优化算法，既能保证比较高的精度，又能在损失一定精度的情况下产生更好的稀疏性。在脑电信号离线分类算法HDCA的基础上，考虑到随着实验的进行，被试者对目标的熟悉程度提高，脑电信号的潜伏期可能发生改变，进而提出一种在线算法FTRL，将FTRL在线算法运用到HDCA离线算法的逻辑回归部分，以实时更新模型参数c_i，在线更新算法模型，对每次接收的刺激图片实时评分，从而提高了算法的识别精度，减少了训练的时间，增强了系统的鲁棒性。相比以往在线脑电信号识别算法而言，由于以往在线算法的执行过程为每间隔一定的时间，将已识别信号进行标注，加入训练集，重新训练模型，即模型每隔一段时间更新一次，因此模型更新速度慢，并且每次需要重新训练，效率比较低。而本实施例提出的在线算法在每次接收到一个在线更新的脑电信号时，均会进行模型更新，因此模型参数更新快，模型能够随着信号的改变做及时调整，识别准确率高。

本实施例所用的在线算法，每来一个在线更新的脑电信号，则利用下述流程对HDCA算法模型进行一次更新，对于第t个在线更新的脑电信号，更新的具体过程如下：

利用训练好的HDCA算法模型对第t个所述在线更新的脑电信号进行计算，得到第t个所述在线更新的脑电信号对应的第i个时间窗内的一维脑电信号y_t,i；其中，i＝1，2，......n；n为时间窗的数量；迭代次数t＝1，2，.....T；T为所述在线更新的脑电信号的个数；即对于每个在线更新的脑电信号均进行一次迭代；根据

确定第t个所述在线更新的脑电信号的评分值IS；其中，c_1,i＝c_i，c_i为所述训练好的HDCA算法模型中的第i个时间窗的加权系数；

其中，f(c_t-1)为损失函数；

c_t-1＝[c_t-1,1,c_t-1,2,...c_t-1,i,...,c_t-1,n]；y_t＝[y_t,1,y_t,2,...,y_t,i,...,y_t,n]^T；c_0,i＝c_i；

根据损失函数f(c_t-1)，采用式(2)计算损失函数的梯度g_t,i；

根据n_t,i＝n_t-1,i+g_t,i ²确定第t次迭代时损失函数的梯度g_t,i的累积量n_t,i；其中，n_0,i＝0；

根据式(3)计算第t次迭代后更新得到的加权系数c_t+1,i；

其中，学习速率

g_s,i为第s次迭代时损失函数的梯度，s＝1，.....t；α、λ₁为设定常数；模型参数

z_0,i＝0；

对所有所述在线训练的脑电信号均进行迭代后，即迭代T次后，以迭代T次后得到的c_T+1,i作为更新后的加权系数c_i，更新所述训练好的HDCA算法模型。

步骤八，利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

采用更新后的算法模型对刺激图片对应的脑电信号进行评分的过程与上述步骤五中记载的评分过程相同，在此不再赘述。评分值介于0-1之间，表示在本轮中，该刺激图片是目标图片的概率。对于评分值位于后20％的刺激图片，其大概率为非目标图片，将其删除，同时储存本轮的航拍图、子图以及子图对应的评分值。

步骤九，对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。

寻找所述评分值大于预设的第一阈值的所述刺激图片所对应的航拍图，将无人机使用的WGS84坐标系转换为地图坐标系，根据无人机给出的所述航拍图经纬度信息，进行坐标转换，得到地图坐标系中的经纬度，进而确定待识别的目标。

作为一种可选的实施方式，对于评分值大于预设的第一阈值的刺激图片，还可再经过人眼确认，判断是否是目标图片，从而进一步提高目标识别的精确性。对于目标图片，确定其实际地理位置，即在地图上的实际经纬度，从而完成目标检测的任务。具体而言，对最终确认为目标的子图，根据它的子图编号找到其切割前的整张航拍图。对于航拍图，无人机会给出经纬度信息，但无人机使用的是WGS84坐标系，需要换算成实际的地图坐标系。可以通过高德地图提供的坐标转换的API进行换算，得到目标在地图坐标系中的实际经纬度，完成目标检测的任务。

此外，为了提高识别准确率，对于某个地理位置的刺激图片，可以根据多张航拍图的识别结果取平均得到最终评分，而不是只靠某一次识别结果。

本实施例提供的基于RSVP范式的脑-机结合目标检测方法，与现有的基于图像的目标定位技术所采用的机器视觉相关算法相比，由于只需要被试人员记住目标图片的内容，在多次呈现刺激图片后，分析其对应的脑电信号，以确定目标位置，因此训练简单。检测目标每次都可以随意选取，检测的种类大大增加，只需要几分钟训练，就可以对任意指定目标进行识别。另外，基于RSVP范式的脑-机结合目标检测方法及系统，受过训练的被试者对小目标也敏感，能够很好的实现小目标的检测，且能够实现目标重叠，目标被遮挡等情况下的目标检测。

实施例2：

本实施例用于提供一种基于RSVP范式的脑-机结合目标检测系统，包括：

航拍图接收单元，用于接收无人机回传的航拍图；

刺激图片生成单元，用于采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

刺激图片序列生成单元，用于按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

脑电信号采集单元，用于向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

脑电信号识别单元，用于利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

脑电信号选择单元，用于根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

算法模型更新单元，用于利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

评分单元，用于利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

目标识别单元，用于对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于RSVP范式的脑-机结合目标检测方法，其特征在于，包括：

S1：接收无人机回传的航拍图；

S2：采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

S3：按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

S4：向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

S5：利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

S6：根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

S7：利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

S8：利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

S9：对剩余所述刺激图片执行S3-S8，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标；

所述根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号，具体包括：

当所述识别结果为目标图片时，即所述脑电信号的评分值大于预设的第二阈值时，所述脑电信号所对应的所述刺激图片为目标图片，获取在当前目标图片之前的连续b个目标图片所对应的所述脑电信号，将b个目标图片所对应的所述脑电信号与当前目标图片所对应的所述脑电信号作叠加平均，选取当前目标图片所对应的所述脑电信号和叠加平均后得到的所述脑电信号均作为在线更新的脑电信号，存入数据集中；其中，所述数据集中预存有至少b个目标图片所对应的所述脑电信号；

当识别结果为非目标图片时，存储所述非目标图片对应的所述脑电信号至暂存区，直至所述暂存区内存储的所述脑电信号的数量到达c个；选取所述评分值最低的所述脑电信号作为在线更新的脑电信号，同时删除所述暂存区内其余c-1个所述脑电信号；其中，b和c是设定常数。

2.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述采用图片切割算法对所述航拍图进行切割，得到刺激图片具体包括：

采用网格法对所述航拍图进行切割，得到边长为设定长度的正方形的单位网格；每张子图包含四个所述单位网格，且相邻所述子图之间有重叠部分；一张所述子图即为一张刺激图片，得到所述刺激图片。

3.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述目标检测方法在形成所述刺激图片序列后，还包括依据上次评分结果对当前刺激图片序列进行位置调整，具体包括：

选取当前刺激图片序列中与上次刺激图片序列相重复的刺激图片，并获取重复刺激图片在上次的评分结果；所述重复刺激图片按照评分值由大到小进行排序；

按照设定删除比例删除所述评分值的排序位于末尾的所述重复刺激图片；

按设定选取比例选取所述评分值的排序位于首部的所述重复刺激图片，并均匀插入所述当前刺激图片序列中，其余所述重复刺激图片则保留原位，形成新的当前刺激图片序列，并向被试者连续呈现所述新的当前刺激图片序列。

4.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述刺激图片序列的呈现速度为每秒呈现10张所述刺激图片；所述刺激图片呈现在视野的中心，大小占整个视野的四分之一。

5.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述目标检测方法还包括对HDCA算法模型进行预训练，得到训练好的HDCA算法模型，具体包括：

选取原有的目标图片和非目标图片作为训练图片，得到训练图片序列；

向被试者连续呈现所述训练图片序列，得到被试者的脑电信号；

将每张所述训练图片所对应的所述脑电信号等间隔划分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，即每张所述训练图片所对应的所述脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数；

将所有所述训练图片所对应的所述脑电信号输入到FLD算法中，确定第i个时间窗、第k个导联的投影系数w_i,k；其中，k＝1，2，...K；

根据

确定每张所述训练图片的第i个时间窗内的一维脑电信号y_i；其中，x_i,k为第i个时间窗、第k个导联的脑电信号；

将所有所述训练图片所对应的所述一维脑电信号y_i输入到LR算法中，确定第i个时间窗的加权系数c_i，得到训练好的HDCA算法模型：

其中，IS为评分值。

6.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，对所述刺激图片对应的所述脑电信号进行评分具体包括：

将所述刺激图片所对应的所述脑电信号等间隔分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，即所述刺激图片所对应的所述脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数；

根据

确定所述刺激图片的第i个时间窗内的一维脑电信号y_i；其中，k＝1，2，...K；w_i,k为第i个时间窗、第k个导联的投影系数；x_i,k为第i个时间窗、第k个导联的脑电信号；

根据

确定所述刺激图片的评分值IS；其中，c_i为第i个时间窗的加权系数。

7.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，具体步骤如下：

利用训练好的HDCA算法模型对第t个所述在线更新的脑电信号进行计算，得到第t个所述在线更新的脑电信号对应的第i个时间窗内的一维脑电信号y_t,i；其中，i＝1，2，......n；n为时间窗的数量；迭代次数t＝1，2，.....T；T为所述在线更新的脑电信号的个数；即对于每个在线更新的脑电信号均进行一次迭代；

根据

确定第t个所述在线更新的脑电信号的评分值IS；其中，c_1,i＝c_i，c_i为所述训练好的HDCA算法模型中的第i个时间窗的加权系数；

其中，f(c_t-1)为损失函数；

c_t-1＝[c_t-1,1,c_t-1,2,...c_t-1,i,...,c_t-1,n]；y_t＝[y_t,1,y_t,2,...,y_t,i,...,y_t,n]^T；c_0,i＝c_i；

根据损失函数f(c_t-1)，采用式(2)计算损失函数的梯度g_t,i；

根据n_t,i＝n_t-1,i+g_t,i ²确定第t次迭代时损失函数的梯度g_t,i的累积量n_t,i；其中，n_0,i＝0；

根据式(3)计算第t次迭代后更新得到的加权系数c_t+1,i；

其中，学习速率

g_s,i为第s次迭代时损失函数的梯度，s＝1，.....t；α、λ₁为设定常数；模型参数

z_0,i＝0；

对所有所述在线训练的脑电信号均进行迭代后，即迭代T次后，以迭代T次后得到的c_T+1,i作为更新后的加权系数c_i，更新所述训练好的HDCA算法模型。

8.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标，具体包括：

寻找所述评分值大于预设的第一阈值的所述刺激图片所对应的航拍图，将无人机使用的WGS84坐标系转换为地图坐标系，根据无人机给出的所述航拍图经纬度信息，进行坐标转换，得到地图坐标系中的经纬度，进而确定待识别的目标。

9.一种基于RSVP范式的脑-机结合目标检测系统，其特征在于，包括：

航拍图接收单元，用于执行S1，S1包括：接收无人机回传的航拍图；

刺激图片生成单元，用于执行S2，S2包括：采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；

刺激图片序列生成单元，用于执行S3，S3包括：按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；

脑电信号采集单元，用于执行S4，S4包括：向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；

脑电信号识别单元，用于执行S5，S5包括：利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；

脑电信号选择单元，用于执行S6，S6包括：根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；

算法模型更新单元，用于执行S7，S7包括：利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；

评分单元，用于执行S8，S8包括：利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；

目标识别单元，用于执行S9，S9包括：对剩余所述刺激图片执行S3-S8，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标；

所述根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号，具体包括：

当所述识别结果为目标图片时，即所述脑电信号的评分值大于预设的第二阈值时，所述脑电信号所对应的所述刺激图片为目标图片，获取在当前目标图片之前的连续b个目标图片所对应的所述脑电信号，将b个目标图片所对应的所述脑电信号与当前目标图片所对应的所述脑电信号作叠加平均，选取当前目标图片所对应的所述脑电信号和叠加平均后得到的所述脑电信号均作为在线更新的脑电信号，存入数据集中；其中，所述数据集中预存有至少b个目标图片所对应的所述脑电信号；

当识别结果为非目标图片时，存储所述非目标图片对应的所述脑电信号至暂存区，直至所述暂存区内存储的所述脑电信号的数量到达c个；选取所述评分值最低的所述脑电信号作为在线更新的脑电信号，同时删除所述暂存区内其余c-1个所述脑电信号；其中，b和c是设定常数。

Images