CN111209806A - 基于单试次脑电信号的视频目标异步检测方法 - Google Patents

基于单试次脑电信号的视频目标异步检测方法 Download PDF

Info

Publication number
CN111209806A
CN111209806A CN201911353126.6A CN201911353126A CN111209806A CN 111209806 A CN111209806 A CN 111209806A CN 201911353126 A CN201911353126 A CN 201911353126A CN 111209806 A CN111209806 A CN 111209806A
Authority
CN
China
Prior art keywords
signal
test
template
time
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911353126.6A
Other languages
English (en)
Other versions
CN111209806B (zh
Inventor
曾颖
宋喜玉
闫镔
童莉
舒君
裴喜龙
李慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN201911353126.6A priority Critical patent/CN111209806B/zh
Publication of CN111209806A publication Critical patent/CN111209806A/zh
Application granted granted Critical
Publication of CN111209806B publication Critical patent/CN111209806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明属于无人机视频目标检测领域,特别涉及一种基于单试次脑电信号的视频目标异步检测方法,包含对原始信号数据预处理;构建脑电P300信号模板;根据上述的P300模板得到P300对齐策略;对未对齐试次和由P300对齐策略计算得到的对齐试次进行分类判别。本发明设计了P300对齐策略,对P300波形进行匹配分割,进而提出了基于单试次脑电信号的视频目标异步检测方法,实现了对动态无人机视频目标的检测,材料更加逼真,操作更加规范,实验方法更加通用。

Description

基于单试次脑电信号的视频目标异步检测方法
技术领域
本发明属于无人机视频目标检测领域,特别涉及一种基于单试次脑电信号的视频目标异步检测方法。
背景技术
无人机具有飞行高度高、飞行速度快、隐蔽性能好、续航时间长等优势,近年来在农林植物保护、物流运输、安全巡查、指挥控制通信等方面发挥重要作用。其中,海量的无人机视频数据是获取敏感信息的重要来源。因此,如何从海量的无人机视频中准确高效地提取关键信息成为现阶段的研究热点。
视频敏感事件的发生往往具有突发性和不可预测性,甚至可能发生关注事件的随时转换。这些先验信息的模糊性和不完备性限制了计算机视觉技术在这一领域的应用。然而,人脑具有高级认知功能,善于处理复杂情况和捕捉敏感信息。脑机接口技术可以实现对大脑活动的在线解码。其中,脑电(Electroencephalogram,EEG)以其无创、便携、便宜和高时间分辨率等优点成为研究脑机接口的主要手段。现有研究表明,脑电P300信号能够反映人脑对敏感信息的处理过程,并且单试次脑电检测可以实现对大脑状态的快速识别。因此,单试次P300检测在实时视频目标检测研究中占有重要地位。
目前,基于单试次脑电的目标检测主要依赖于经典的快速序列视觉呈现的Oddball范式,这类范式的原理是通过控制两种刺激的概率来诱发P300信号。在这类范式中,目标图像出现的起始事件是可以提前标记的。单试次脑电敏感目标检测算法大致可以分为三类。第一类方法主要是通过空间滤波的方式将多通道信号整合成为一个时间序列来处理。第二类算法是在空间滤波的基础上引入时域信息处理的方式。第三类方法是基于深度神经网络的P300检测,这类方法大部分是基于卷积神经网络设计的,特点是在特定的网络结构上,通过大量的参数训练来提取时空信息的。
与图像目标检测不同的是,视频目标检测过程中无法预估目标的出现时间,从而增加了视频P300检测的难度。现有视频目标检测的研究还不够深入和全面。
发明内容
本发明的目的是提供一种基于单试次脑电信号的视频目标异步检测方法,通过P300时间对齐策略来预测目标信号,材料更加逼真,操作更加规范,实验方法更加通用。
为解决上述技术问题,本发明采用以下的技术方案:
本发明提出了一种基于单试次脑电信号的视频目标异步检测方法,包含:
对原始信号数据预处理;
构建脑电P300信号模板;
根据上述的P300模板得到P300对齐策略;
对未对齐试次和由P300对齐策略计算得到的对齐试次进行分类判别。
进一步地,对原始信号数据预处理的过程是:
采用独立成分分析方法去除原始信号中的眼电和肌电伪迹;
通过带通滤波器从原始信号中滤除慢波和高频噪声;
根据行为反馈,剔除按键错误试次的信号,将有效信号降采样至100Hz用于目标和非目标的分类识别。
进一步地,在离线训练中,为涵盖P300信号,从目标出现前300ms时刻开始截取信号直到目标出现后1300ms,截取区间为[-300,1300]ms,即单试次信号长度为1600ms;
在线测试过程中,以1000ms为步长,在原始数据上每次重叠600ms的时间信号向前滑动截取1600ms数据,以1600ms数据前100ms数据的均值为基线,每个通道信号减去相应通道的基线实现基线校正,得到1500ms长度的有效信号;如果某一试次的任意通道信号幅度超出±100μV,该试次被剔除。
进一步地,采用位于视觉区的Pz电极构建P300模板;首先在离线数据中,从目标出现的时间为起点截取脑电信号,计算所有被试平均ERP信号,以P300峰值为中心,截取300ms长度的初始P300模板,即SP300=[sP300(1),…,sP300(t),…,sP300(T)],其中T表示总的采样点数,sP300(t)表示第t个采样时刻对应的信号幅度;由于P300信号时间上未对齐的影响,多试次叠加ERP幅度明显低于单试次P300信号幅度,因此定义通用缩放因子K,放大初始P300模板的幅度范围,使其与单试次P300幅度相匹配,得到P300模板K×SP300
进一步地,P300对齐策略具体如下:
步骤A,计算瞬态距离平方误差;
将P300模板在时间维度逐点滑动计算瞬时最小距离平方误差DSE,在第n-th次滑动时,对应的相同长度的原始信号为Sraw(n),Sraw(n)=[sraw(n+1),…,sraw(n+t),…,sraw(n+T)],sraw(n+t)表示第n-th次滑动时原始信号中的第n+t个采样时刻的信号幅度;定义竖直平移量D,Sraw(n)纵向平移距离D,使其与P300模板K×SP300的距离平方误差最小,则第n-th次滑动时最小距离平方误差表示为:
Figure BDA0002335178460000031
其中,1=[1,1,…,1]1×T,计算竖直平移量D为
Figure BDA0002335178460000041
因此,整段原始信号的瞬时DSE为E=[e(1),…,e(n),…,e(1.5×fs-T)],其中fs=100Hz为采样率。
步骤B,计算最小距离平方误差;
由瞬时DSE计算全局最小DSE,表示为Emin=minE,假设得到结果Emin=e(M),即P300模板在原始信号上第M-th次滑动时的原始信号Sraw(M)与P300模板最为接近,由此得到全局最小DSE的时间中心为M+T/2
步骤C,分割对齐信号;
以最小DSE的时间为中心,截取1000ms有效信号,截取原则是,向前截取三分之一长度,向后截取三分之二的长度,在时间序列上表示为[M+T/2-fs/3,M+T/2+2fs/3],再向前截取100ms信号作为基线。
进一步地,采用HDPCA、sHDCA和EEGNet三种算法对对齐试次和未对齐试次进行分类判别。
与现有技术相比,本发明具有以下优点:
本发明要解决的技术问题是:在视频目标检测的研究中,目标的出现时间无法预估,被试对刺激加工的时间具有不确定性,无法直接对刺激时的事件相关电位信号进行研究;视频目标检测的过程会产生大量伪迹信息,极大降低了注视相关电位的信噪比。为了克服以上这些缺点,本发明设计了P300对齐策略,对P300波形进行匹配分割,进而提出了基于单试次脑电信号的视频目标异步检测方法,实现了对动态无人机视频目标的检测。
本发明针对不同被试和同一被试不同试次之间的潜伏期差异,提出了P300对齐策略,该方法不仅有助于获得更加明显的平均P300信号,而且揭示了大脑在目标搜索过程中主要激活了左额叶脑区,在目标发现过程中主要激活的是顶区和枕区。该方法能够明显提高目标的检测性能,在传统分类算法上的提升效果最明显。通过增加训练样本量,我们发现被试间P300相应的相似性,获得了更高的分类性能。进一步地,我们证实了脑电可以揭示更多被人类所忽视的信息,因此,本发明可以有效地实现视频P300的异步检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是基于无人机视频的敏感目标检测实验流程图;
图2是本发明基于单试次脑电信号的视频目标异步检测方法的流程图;
图3是未对齐和对齐试次Pz电极信号蝶形图和平均ERP结果比较图;
图4是所有被试未对齐试次与对齐试次平均脑地形图;
图5是单个被试对齐试次不同时刻的平均脑地形图;
图6是未对齐数据和对齐数据在传统分类方法上所有被试分类准确率的平均值;
图7是基于EEGNet分类的平均混淆矩阵;
图8是未对齐试次和对齐试次在传统方法上使用大样本训练集的分类性能;
图9是12个被试组成训练集在EEGNet上的分类的平均混淆矩阵。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图2所示,本实施例的基于单试次脑电信号的视频目标异步检测方法,包含如下步骤:
步骤S1,对原始信号数据预处理;
步骤S2,构建脑电P300信号模板;
步骤S3,根据上述的P300模板得到P300对齐策略;
步骤S4,对未对齐试次和由P300对齐策略计算得到的对齐试次进行分类判别。
步骤S1数据预处理的具体实现过程为:
首先,采用独立成分分析方法去除原始信号中的眼电和肌电伪迹;然后,通过0.1~20Hz巴特沃斯带通滤波器从原始信号中滤除慢波和高频噪声。根据行为反馈,剔除按键错误试次的信号,将有效信号降采样至100Hz用于目标和非目标的分类识别。在离线训练中,目标的出现时间随被试和试次的变化而变化,为涵盖P300信号,从目标出现前300ms时刻开始截取信号直到目标出现后1300ms,截取区间为[-300,1300]ms,即单试次信号长度为1600ms;在线测试过程中,以1000ms为步长,在原始数据上每次重叠600ms的时间信号向前滑动截取1600ms数据,以1600ms数据前100ms数据的均值为基线,每个通道信号减去相应通道的基线实现基线校正,从而得到1500ms长度的有效信号。如果某一试次的任意通道信号幅度超出±100μV,该试次将被剔除。实验中,我们认为正常被试在集中注意力实验情况下,经过处理后的目标试次个数不少于80个,非目标试次不少于370个,否则,认为该被试没有认真参与实验,直接舍弃其个人数据。
步骤S2构建P300模板的具体实现过程为:
考虑到各通道之间的响应差异,采用位于视觉区的Pz电极构建P300模板。首先在离线数据中,从目标出现的时间为起点截取脑电信号,计算所有被试平均ERP信号,以P300峰值为中心,截取300ms长度的初始P300模板,即SP300=[sP300(1),…,sP300(t),…,sP300(T)],其中T表示总的采样点数,sP300(t)表示第t个采样时刻对应的信号幅度;由于P300信号时间上未对齐的影响,多试次叠加ERP幅度明显低于单试次P300信号幅度,因此,定义通用缩放因子K,放大初始P300模板的幅度范围,使其与单试次P300幅度能够匹配,得到P300模板K×SP300
步骤S3的P300对齐策略的具体实现过程为:
步骤S301,计算瞬态距离平方误差;
将P300模板在时间维度逐点滑动计算瞬时最小距离平方误差(distance squareerror,DSE)。在第n-th次滑动时,对应的相同长度的原始信号为Sraw(n),Sraw(n)=[sraw(n+1),…,sraw(n+t),…,sraw(n+T)],sraw(n+t)表示第n-th次滑动时原始信号中的第n+t个采样时刻的信号幅度。定义竖直平移量D,Sraw(n)可以纵向平移距离D,使其与P300模板K×SP300的距离平方误差最小,则第n-th次滑动时最小距离平方误差可以表示为:
Figure BDA0002335178460000071
其中,1=[1,1,…,1]1×T,计算竖直平移量D为
Figure BDA0002335178460000072
因此,整段原始信号的瞬时DSE为E=[e(1),…,e(n),…,e(1.5×fs-T)],其中fs=100Hz为采样率。
步骤S302,计算最小距离平方误差;
由瞬时DSE计算全局最小DSE,表示为Emin=minE。假设得到结果Emin=e(M),即P300模板在原始信号上第M-th次滑动时的原始信号Sraw(M)与P300模板最为接近,由此得到全局最小DSE的时间中心为M+T/2。
步骤S303,分割对齐信号。
以最小DSE的时间为中心,截取1000ms有效信号,截取原则是,向前截取三分之一长度,向后截取三分之二的长度,在时间序列上表示为[M+T/2-fs/3,M+T/2+2fs/3],再向前截取100ms信号作为基线。最终将对齐P300信号的P300峰值时刻对齐到333ms。
步骤S4分类判别的具体实现过程为:
在视频目标检测过程中,将所有试次分为对齐试次和未对齐试次两种形式。对齐试次是通过P300对齐策略计算而得,其中的目标试次和非目标试次均需要做对齐处理。未对齐试次是直接从原始信号中截取1100ms信号,以前100ms信号为基线,得到1000ms的有效数据。与对齐试次不同的是,由于视频目标检测中目标出现时间的不确定性,导致未对齐试次中的目标试次P300信号潜伏期不稳定。本发明异步检测的分类问题同时考虑了传统分类算法和深度神经网络的方法。现有研究表明,结构化判别主成分分析(Hierarchicaldiscriminant principle components analysis,HDPCA)算法在目标起始时间准确的情况下能够取得较好的分类效果,滑动的结构化判别分析(Hierarchical discriminantcomponents analysis,sHDCA)算法可以在一定程度上克服响应潜伏期的抖动问题。此外,EEGNet以一种紧凑的卷积神经网络体系结构,能够对不同脑机接口范式的EEG信号进行分类,其性能优于其它基于卷积神经网络的算法。因此,本发明采用HDPCA、sHDCA和EEGNet三种算法进行分类。
本发明基于单试次脑电信号的视频目标异步检测方法能够产生以下四个实验结果:
(1)事件相关响应分析
针对事件相关的响应,主要探讨了未对齐和对齐的目标试次在ERP响应和激活脑区上的差异。
为比较未对齐和对齐试次的P300潜伏期差异,图3给出了所有被试在Pz电极上目标试次的单试次EEG响应和平均ERP波形。其中,未对齐试次是从目标出现时刻开始截取信号,其单试次响应和ERP平均分别如图3A和图3C所示。可以看出未对齐试次P300潜伏期明显不稳定,进而造成平均ERP中P300峰值较低。为了更好地适应时空分类器,需要先进行时间对齐。首先,从图3C中的平均ERP中提取初始P300波,图中P300峰值电位出现在450ms,以峰值时刻为中心,截取300ms信号作为初始P300模板。考虑到初始P300模板的峰值约为6μV,而单通道波形门限值为±100μV,因此,根据实验经验将初始P300模板幅度放大10倍,K=10,得到最大值为60μV的标准P300模板。通过将标准P300模板用于P300对齐策略之中,得到的图3A和图3C的对齐结果如图3B和图3D所示。可以看出,对齐的方法有效的克服了P300潜伏期不稳定的问题,并且P300峰值达到对齐前的两倍以上。综上所述,所提P300对齐策略可以有效地实现目标试次P300信号的对齐。
进一步地,我们比较了未对齐目标试次和对齐目标试次的脑地形图相应差异,如图4所示。可以看出对齐前后P300峰值时刻的响应脑区是一致的,主要位于顶区和枕区。相比于未对齐试次,对齐试次的正向响应幅度更高、响应面积更大。为进一步探索目标检测过程中大脑响应早期的变化,图5给出了每个被试峰值潜伏期前的脑地形图变化情况,时间从对齐信号的200ms时刻开始,以大约50ms的时间间隔,呈现了200ms、250ms、300ms和333ms的脑地形图。结果发现,几乎所有受试者在发现目标后的250ms左右均出现左额叶偏侧化脑响应,在此之前,偏侧化较弱,在此之后,随着反应强度的增加,偏侧化响应逐渐向全脑扩散,直到峰值潜伏期时刻,达到响应面积最大化,并呈现左右对称的趋势。同时,经与现有资料对比,峰潜伏期前80ms左右明显的左额叶反应的现象与现有研究相一致。这是因为认知相关的脑功能与多个脑皮质的激活密切相关,包括前额叶、额叶和顶叶区域。左半球具有与分析相关的功能,在编码组成部分方面比右半球更好,代表了视觉感知和类别判断。
(2)频率特征选择结果分析
本发明对每名被试随机选取60%的数据做为训练集,剩下40%的数据做为测试集。实验以20次随机选取测试结果的平均值做为最终的分类准确率。实验分别采用传统分类方法和深度神经网络的方法进行测试。
首先,采用sHDCA和HDPCA两种传统的方法对单个被试对齐前后的数据进行分类测试。sHDCA算法要求预先训练一个小的HDCA模型,对于未对齐的数据,本发明截取300ms到800ms的数据训练该模型,对于对齐后的数据,考虑到峰值潜伏期在333ms,本发明截取230ms到430ms的数据训练该模型。HDPCA的主成分个数设为6个。两种分类方法在训练HDCA模型空间滤波器时的小时间窗口均为50ms。所有被试采用传统分类方法对对齐前后的数据的平均分类结果如图6所示。图中未对齐试次使用sHDCA和HDPCA平均分类准确率为53%、56%,对齐试次的分类准确率分别为71%和67%。两种分类方法下对齐试次的分类效果显著高于未对齐试次的分类效果(p<0.001)。sHDCA算法和HDPCA算法的分类精度分别提高了18%和11%。结果表明,本发明所提的P300对齐策略在传统分类算法上是有效的。
进一步,本发明探索了P300对齐策略对深度神经网络上分类性能的影响。本发明使用了EEGNet-4,2进行分类,4表示包含4个时间滤波器,2表示每个时间滤波器包含2个空间滤波器,时间滤波器长度为50采样点,空间滤波器长度为61通道。经过100轮迭代训练,每次使用50个样本训练,正则化系数为0.5,得到基于EEGNet的平均分类混淆矩阵如图7所示。图7中EEGNet对未对齐和对齐试次的分类准确率分别为78%和79%。可以看出对齐试次的目标识别率相对更高。结果表明,提出的异步检测框架在传统分类算法和深层神经网络上均可以改善分类性能。
(3)被试间相似性分析
为探索被试间数据的相似性,使用更大的训练数据集进行模型的训练。每次从13名被试中随机选取若干名被试的数据组成训练集,剩下的被试的数据为测试集,训练数据和测试数据均来自不同的被试。以20次随机组合测试分类准确率的平均值为测试准确率。图8给出了在传统分类方法上,随训练被试样本量的增加,未对齐试次和对齐试次分类准确率的变化情况。其中,当训练数据来自12个被试时,分类准确率为12次交叉验证结果的平均值。结果显示,增加训练样本量可以提高分类准确率,重要的是,在sHDCA和HDPCA两种方法下,对齐试次的分类准确率均明显高于未对齐试次的分类准确率。本发明中,当训练数据集被试个数达到10人左右时,分类准确率逐渐稳定。当训练被试个数达到12个时,对齐试次在sHDCA和HDPCA上的分类准确率分别达到80%和78%,显著高于未对齐试次的分类准确率。进一步,采用EEGNet对相同数据进行了测试,图9给出了12个被试的训练数据集下,未对齐试次和对齐试次整理分类准确率分别为80%和82%,其中对齐试次对目标识别率达81%高于未对齐试次目标识别率79%。与图7的结果相比,增加的训练数据集的大小可以得到提高目标识别率。结果表明,训练数据集的增加有助于提高系统的性能,从而证实了跨被试P300信号的相似性。
(4)脑电目标检测的优越性
为了强调脑电在目标检测中的重要意义,本发明对被试错误反馈的试次进行了分析。13名被试在所有实验中共有12次按键错误,并且12次按键全部为目标的遗漏。这说明被试由于注意力不集中等因素的影响而对12个目标造成了漏检。本发明在EEGNet上,对12个错误反馈的试次进行了分类,目标识别率为56%。由此说明,一半以上的漏检目标是由被试忽略,并非完全没有看到。因此,脑电可以揭示更多人类忽视的信息。
下面给出一个具体的实验情景:
实验采用Eprime2.0进行刺激编写。视频材料来自DJ MAVIC air无人机沿街道拍摄的运动视频,飞机飞行距离地面高度为25至39米,飞行速度为20米,图像分辨率为3840×2160。本实验的任务是对视频中的车辆进行检测,小汽车、大客车、自行车和三轮车等,停靠和行驶的车辆均在检测范围。实验共包含200个短视频,其中100个视频中包含车辆信息作为目标视频,剩余100个视频中无车辆出现,为非目标视频。在目标视频中,车辆的类型、运动状态、出现时间、出现位置等均为随机。为避免视频开始时对大脑冲击带来的检测影响,所有目标视频中的目标均在视频开始1秒后出现。为进一步克服色彩对视觉的冲击,所有视频被处理成1920×1080大小的黑白视频,按40%的比例缩放,呈现在1920×1080显示屏的中央,显示屏背景颜色为黑色(见图1)。
被试坐在灯光昏暗、声音电磁屏蔽的实验间内进行实验,具体实验流程如图1所示。整个实验由练习实验和正式实验两个部分组成。练习实验由10个视频组成,每个视频后有一个需要按键的反馈报告,0表示无车辆,1表示发现车辆。如果被试在练习实验上的检测正确率达到90%,则可以进行正式实验,否则重新完成练习实验,直到满足要求。正式实验包含10个模块,每个模块由10个目标视频和10个非目标视频组成,模块内和模块间视频播放的顺序均为随机播放。在每个模块前有5秒钟的准备时间,每个视频前屏幕中心呈现“+”,持续3秒钟,帮助被试快速集中注意力。视频播放时间4到10秒不等。视频后同样需要按键反馈目标发现个数。一旦受试者按下反馈键盘,下一个视频循环将自动呈现。为了避免长时间工作带来的视觉负荷,在两个视频模块之间设置了休息时间,休息时间的长短由被试自行决定。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (6)

1.一种基于单试次脑电信号的视频目标异步检测方法,其特征在于,包含:
对原始信号数据预处理;
构建脑电P300信号模板;
根据上述的P300模板得到P300对齐策略;
对未对齐试次和由P300对齐策略计算得到的对齐试次进行分类判别。
2.根据权利要求1所述的基于单试次脑电信号的视频目标异步检测方法,其特征在于,对原始信号数据预处理的过程是:
采用独立成分分析方法去除原始信号中的眼电和肌电伪迹;
通过带通滤波器从原始信号中滤除慢波和高频噪声;
根据行为反馈,剔除按键错误试次的信号,将有效信号降采样至100Hz用于目标和非目标的分类识别。
3.根据权利要求2所述的基于单试次脑电信号的视频目标异步检测方法,其特征在于,在离线训练中,为涵盖P300信号,从目标出现前300ms时刻开始截取信号直到目标出现后1300ms,截取区间为[-300,1300]ms,即单试次信号长度为1600ms;
在线测试过程中,以1000ms为步长,在原始数据上每次重叠600ms的时间信号向前滑动截取1600ms数据,以1600ms数据前100ms数据的均值为基线,每个通道信号减去相应通道的基线实现基线校正,得到1500ms长度的有效信号;如果某一试次的任意通道信号幅度超出±100μV,该试次被剔除。
4.根据权利要求1所述的基于单试次脑电信号的视频目标异步检测方法,其特征在于,采用位于视觉区的Pz电极构建P300模板;首先在离线数据中,从目标出现的时间为起点截取脑电信号,计算所有被试平均ERP信号,以P300峰值为中心,截取300ms长度的初始P300模板,即SP300=[sP300(1),…,sP300(t),…,sP300(T)],其中T表示总的采样点数,sP300(t)表示第t个采样时刻对应的信号幅度;由于P300信号时间上未对齐的影响,多试次叠加ERP幅度明显低于单试次P300信号幅度,因此定义通用缩放因子K,放大初始P300模板的幅度范围,使其与单试次P300幅度相匹配,得到P300模板K×SP300
5.根据权利要求4所述的基于单试次脑电信号的视频目标异步检测方法,其特征在于,P300对齐策略具体如下:
步骤A,计算瞬态距离平方误差;
将P300模板在时间维度逐点滑动计算瞬时最小距离平方误差DSE,在第n-th次滑动时,对应的相同长度的原始信号为Sraw(n),Sraw(n)=[sraw(n+1),…,sraw(n+t),…,sraw(n+T)],sraw(n+t)表示第n-th次滑动时原始信号中的第n+t个采样时刻的信号幅度;定义竖直平移量D,Sraw(n)纵向平移距离D,使其与P300模板K×SP300的距离平方误差最小,则第n-th次滑动时最小距离平方误差表示为:
Figure FDA0002335178450000021
其中,1=[1,1,…,1]1×T,计算竖直平移量D为
Figure FDA0002335178450000022
因此,整段原始信号的瞬时DSE为E=[e(1),…,e(n),…,e(1.5×fs-T)],其中fs=100Hz为采样率。
步骤B,计算最小距离平方误差;
由瞬时DSE计算全局最小DSE,表示为Emin=minE,假设得到结果Emin=e(M),即P300模板在原始信号上第M-th次滑动时的原始信号Sraw(M)与P300模板最为接近,由此得到全局最小DSE的时间中心为M+T/2;
步骤C,分割对齐信号;
以最小DSE的时间为中心,截取1000ms有效信号,截取原则是,向前截取三分之一长度,向后截取三分之二的长度,在时间序列上表示为[M+T/2-fs/3,M+T/2+2fs/3],再向前截取100ms信号作为基线。
6.根据权利要求1所述的基于单试次脑电信号的视频目标异步检测方法,其特征在于,采用HDPCA、sHDCA和EEGNet三种算法对对齐试次和未对齐试次进行分类判别。
CN201911353126.6A 2019-12-25 2019-12-25 基于单试次脑电信号的视频目标异步检测方法 Active CN111209806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911353126.6A CN111209806B (zh) 2019-12-25 2019-12-25 基于单试次脑电信号的视频目标异步检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911353126.6A CN111209806B (zh) 2019-12-25 2019-12-25 基于单试次脑电信号的视频目标异步检测方法

Publications (2)

Publication Number Publication Date
CN111209806A true CN111209806A (zh) 2020-05-29
CN111209806B CN111209806B (zh) 2023-05-05

Family

ID=70786323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911353126.6A Active CN111209806B (zh) 2019-12-25 2019-12-25 基于单试次脑电信号的视频目标异步检测方法

Country Status (1)

Country Link
CN (1) CN111209806B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112869754A (zh) * 2021-01-08 2021-06-01 浙江大学 一种脑机融合的神经信号测谎方法
CN113052113A (zh) * 2021-04-02 2021-06-29 中山大学 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统
CN113867533A (zh) * 2021-09-30 2021-12-31 中国人民解放军战略支援部队信息工程大学 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法
CN116489236A (zh) * 2023-06-25 2023-07-25 中国科学院自动化研究所 脑电信号实时无损压缩方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987903A (en) * 1988-11-14 1991-01-29 William Keppel Method and apparatus for identifying and alleviating semantic memory deficiencies
CN105700687A (zh) * 2016-03-11 2016-06-22 中国人民解放军信息工程大学 基于folding HDCA算法的单试次脑电P300成分检测方法
CN109784233A (zh) * 2018-12-29 2019-05-21 佛山科学技术学院 一种基于Lp-范数的锁相值加权空间滤波方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987903A (en) * 1988-11-14 1991-01-29 William Keppel Method and apparatus for identifying and alleviating semantic memory deficiencies
CN105700687A (zh) * 2016-03-11 2016-06-22 中国人民解放军信息工程大学 基于folding HDCA算法的单试次脑电P300成分检测方法
CN109784233A (zh) * 2018-12-29 2019-05-21 佛山科学技术学院 一种基于Lp-范数的锁相值加权空间滤波方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
褚凯轩;常天庆;郭理彬;马也;: "目标视场角对P300-RSVP目标检测系统的影响分析" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112869754A (zh) * 2021-01-08 2021-06-01 浙江大学 一种脑机融合的神经信号测谎方法
CN113052113A (zh) * 2021-04-02 2021-06-29 中山大学 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统
CN113052113B (zh) * 2021-04-02 2022-11-04 中山大学 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统
CN113867533A (zh) * 2021-09-30 2021-12-31 中国人民解放军战略支援部队信息工程大学 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法
CN113867533B (zh) * 2021-09-30 2023-05-05 中国人民解放军战略支援部队信息工程大学 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法
CN116489236A (zh) * 2023-06-25 2023-07-25 中国科学院自动化研究所 脑电信号实时无损压缩方法、装置、电子设备及存储介质
CN116489236B (zh) * 2023-06-25 2023-09-12 中国科学院自动化研究所 脑电信号实时无损压缩方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111209806B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111209806B (zh) 基于单试次脑电信号的视频目标异步检测方法
CN112932502B (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
Cecotti et al. Single-trial classification of event-related potentials in rapid serial visual presentation tasks using supervised spatial filtering
CN110991406B (zh) 一种基于rsvp脑电特征的弱小目标检测方法及系统
Marathe et al. Sliding HDCA: single-trial EEG classification to overcome and quantify temporal variability
CN109255309B (zh) 面向遥感图像目标检测的脑电与眼动融合方法及装置
US20130096453A1 (en) Brain-computer interface devices and methods for precise control
Matran-Fernandez et al. Collaborative brain-computer interfaces for the automatic classification of images
CN113191395B (zh) 一种基于双脑的多层次信息融合的目标检测方法
CN109875583B (zh) 一种基于ar技术的疲劳驾驶检测系统及方法
Marathe et al. A novel method for single-trial classification in the face of temporal variability
CN111012342B (zh) 一种基于p300的视听双通道竞争机制脑-机接口方法
CN112162634A (zh) 一种基于seeg信号的数字输入脑机接口系统
CN111616702A (zh) 一种基于认知负荷增强的测谎分析系统
Gong et al. An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI
Song et al. Asynchronous video target detection based on single-trial EEG signals
CN107595281A (zh) 利用eeg‑nirs融合特征的动作意向分类方法
Cecotti et al. Impact of target probability on single-trial EEG target detection in a difficult rapid serial visual presentation task
Stoica et al. Multi-brain fusion and applications to intelligence analysis
CN108920699B (zh) 一种基于N2pc的目标识别反馈系统及方法
Mathan et al. Rapid image analysis using neural signals
Buvaneswari et al. A review of EEG based human facial expression recognition systems in cognitive sciences
CN112612364A (zh) 基于快速序列视觉呈现脑机接口的时空混合csp-pca目标检测方法
CN113057654B (zh) 基于频率耦合神经网络模型的记忆负荷检测提取系统及方法
KR101795723B1 (ko) 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant