CN110991406B - 一种基于rsvp脑电特征的弱小目标检测方法及系统 - Google Patents

一种基于rsvp脑电特征的弱小目标检测方法及系统 Download PDF

Info

Publication number
CN110991406B
CN110991406B CN201911317967.1A CN201911317967A CN110991406B CN 110991406 B CN110991406 B CN 110991406B CN 201911317967 A CN201911317967 A CN 201911317967A CN 110991406 B CN110991406 B CN 110991406B
Authority
CN
China
Prior art keywords
detected
picture
electroencephalogram
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911317967.1A
Other languages
English (en)
Other versions
CN110991406A (zh
Inventor
谢平
郝慎才
赵靖
张宁宁
张昌梦
江国乾
何思凡
杜正
陈晓玲
李小俚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201911317967.1A priority Critical patent/CN110991406B/zh
Publication of CN110991406A publication Critical patent/CN110991406A/zh
Application granted granted Critical
Publication of CN110991406B publication Critical patent/CN110991406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种基于RSVP脑电特征的弱小目标检测方法及系统。该方法包括：获取待检测图像；将待检测图像进行分割和放大，得到待检测图片序列；获取观测者观测待检测图片序列的脑电信号数据；待检测图片序列通过RSVP技术呈现给观测者；采用任务相关成分分析方法，提取脑电信号数据中每个待检测图片对应的相关成分特征；根据相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值；判断预测分值是否大于预测阈值；如果是，将预测分值对应的待检测图片确定为目标图像；如果否，将预测分值对应的待检测图片确定为非目标图像。本发明可以提高弱小目标检测的准确度。

Description

一种基于RSVP脑电特征的弱小目标检测方法及系统
技术领域
本发明涉及脑机接口领域，特别是涉及一种基于RSVP脑电特征的弱小目标检测方法及系统。
背景技术
现有的弱小目标检测一般采用机器视觉检测的方式，机器视觉对于一些场景简单、识别特征明显的对象进行识别时，识别速度快，准确率也很高，但是对于背景比较复杂，特征不是很明显的小目标对象，机器视觉的识别准确率明显降低，模型泛化性差。人类对于图像的感知要远远强于计算机，人脑对于视觉信息的处理也是异常强大，能在极短时间内发现图像中的目标对象，对于复杂背景，也能准确的区分图片中是否含有目标对象，且具有很强的背景适应能力，但是人工判别的方式存在观测者处理大量图片效率低、易疲劳等缺点。因此将人类视觉信息处理能力和计算机的信息处理结合起来，将大大提高目标检测的处理速度和准确性。
近些年，脑科学和计算机技术的快速发展，为脑信号识别和应用提供支持，研究表明，观测者观看一组图片，当看到图像中出现感兴趣的目标对象时，会诱发大脑产生特异电位，因此可以使用脑电采集设备记录观测者观看图片时的脑电信号，用相应的算法提取有效信息，分析脑电与视觉信息的内在关联，当前使用脑机接口(BCI)技术进行图像目标检测时，大多采用快速序列视觉呈现范式(RSVP)，利用目标图像诱发的脑电信号来快速检测目标。
有学者提出了用结构化判别成分分析(HDCA)或基于HDCA改良方法sliding HDCA和folding HDCA的方法分析脑电信号实现图像检索，实验表明此类方法可以检索图像，但是存在实时性差，结构参数易受被试影响等问题，导致目标检测的准确度不高。
发明内容
本发明的目的是提供一种基于RSVP脑电特征的弱小目标检测方法及系统，以提高弱小目标检测的准确度。
为实现上述目的，本发明提供了如下方案：
一种基于RSVP脑电特征的弱小目标检测方法，包括：
获取待检测图像；
将所述待检测图像进行分割和放大，得到待检测图片序列；所述待检测图片序列包括多个待检测图片；
获取观测者观测所述待检测图片序列的脑电数据；所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号；
采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征；
根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值；
判断所述预测分值是否大于预测阈值；
当所述预测分值大于所述预测阈值时，将所述预测分值对应的待检测图片确定为目标图像；
当所述预测分值不大于所述预测阈值时，将所述预测分值对应的待检测图片确定为非目标图像。
可选的，所述将所述待检测图像进行分割和放大，得到待检测图片序列，具体包括：
根据所述待检测图像的像素，将所述待检测图像分割为多张分图；相邻两张分图之间的重叠度为50％；
将所有分图进行放大，得到待检测图片序列。
可选的，所述采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征，之前还包括
对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰；
对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线；
对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，对所述脑电数据进行预处理。
可选的，所述采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征，具体包括：
采用任务相关成分滤波器，利用公式
Figure BDA0002326359460000031
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure BDA0002326359460000032
为任务相关成分滤波器；
采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK×K'，表示P是一个矩阵维度为KxK'的实数矩阵，K'为降维后的维度。
可选的，所述根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值，具体包括：
基于所述支持向量机模型，利用公式yn＝preSVM(An′,model)计算每个待检测图片的预测分值；其中，yn为第n个待检测图片的预测分值，An'为第n个待检测图片对应的相关成分特征，preSVM表示预测分类器，model表示训练集训练得到的支持向量机模型。
可选的，所述支持向量机模型包括目标标签和非目标标签，所述目标标签的取值为1，所述非目标标签的取值为-1；所述预测阈值的取值范围为(-1,1)。
本发明还提供一种基于RSVP脑电特征的弱小目标检测系统，包括：
待检测图像获取模块，用于获取待检测图像；
分割和放大模块，用于将所述待检测图像进行分割和放大，得到待检测图片序列；所述待检测图片序列包括多个待检测图片；
脑电数据获取模块，用于获取观测者观测所述待检测图片序列的脑电数据；所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号；
相关成分特征提取模块，用于采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征；
预测分值获取模块，用于根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值；
判断模块，用于判断所述预测分值是否大于预测阈值；
目标图像确定模块，用于当所述预测分值大于所述预测阈值时，将所述预测分值对应的待检测图片确定为目标图像；
非目标图像确定模块，用于当所述预测分值不大于所述预测阈值时，将所述预测分值对应的待检测图片确定为非目标图像。
可选的，所述分割和放大模块具体包括：
分割单元，用于根据所述待检测图像的像素，将所述待检测图像分割为多张分图；相邻两张分图之间的重叠度为50％；
放大单元，用于将所有分图进行放大，得到待检测图片序列。
可选的，还包括：
滤波模块，用于在采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征之前，对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰；
基线去除模块，用于对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线；
主频段信号提取模块，用于对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，对所述脑电数据进行预处理。
可选的，所述相关成分特征提取模块具体包括：
任务相关成分特征矩阵提取单元，用于采用任务相关成分滤波器，利用公式
Figure BDA0002326359460000051
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure BDA0002326359460000052
为任务相关成分滤波器；
降维单元，用于采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK×K'，表示P是一个矩阵维度为KxK'的实数矩阵，K'为降维后的维度。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过对原始图像的分割放大，增强了人脑对其中弱小目标的认知电位响应，提高了弱小目标检测的精度和效率；采用任务相关成分分析方法提取脑电信号的响应特征，提高了脑电信号中与目标认知相关成分的信噪比，提高了对弱小目标的检测精度；通过结合ORD和BSMOTE进行分类器模型的训练，增强了对不均衡数据的分类处理能力，提高了弱小目标检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于RSVP脑电特征的弱小目标检测方法的流程示意图；
图2为本发明通过RSVP技术呈现给观测者的示例图；
图3为本发明脑电数据的示例图；
图4为本发明基于RSVP脑电特征的弱小目标检测系统的结构示意图；
图5为本发明具体实施案例的流程示意图；
图6为本发明具体实施案例中训练-测试模式图；
图7为本发明具体实施案例中脑电信号预处理流程图；
图8为本发明具体实施案例中ROC特性曲线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于RSVP脑电特征的弱小目标检测方法的流程示意图。如图1所示，本发明基于RSVP脑电特征的弱小目标检测方法包括以下步骤：
步骤100：获取待检测图像。待检测图像为可能存在弱小检测目标的图像，如无人机航拍图或卫星侦察图等。
步骤200：将待检测图像进行分割和放大，得到待检测图片序列。所述待检测图片序列包括多个待检测图片。由于弱小检测目标在图像背景中比例太小，所以根据待检测图像的实际像素尺寸，将待检测图像进行分割，为保证分割后的图片中含有完整目标，按相邻图片50％的重叠度进行分割，得到分割后的待检测图片。将分割后的待检测图片进行放大，形成一组待检测图片序列，用以增强人脑对其中弱小目标的认知电位响应。
步骤300：获取观测者观测待检测图片序列的脑电数据。所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号。基于快速序列图像呈现(RSVP)的实验范式，将待检测图片序列通过RSVP技术呈现给观测者，同时将待检测的目标信息告知观测者以产生先验背景知识，诱发观测者大脑产生相应的脑电信号响应，同时用脑电采集设备采集观测者的多个通道脑电信号，得到观测者的脑电数据。如图2和图3的示例，图2为本发明通过RSVP技术呈现给观测者的示例图，图3为本发明脑电数据的示例图。在训练阶段将图片呈现时采集到的诱发脑电信号打上与此图片相对应的标签，使图片与采集到的脑电信号通过标签一一对应，测试阶段只采集刺激时段的诱发脑电信号。
在获得脑电数据之后，对脑电数据进行特征提取处理之前，还可以进一步对脑电数据进行预处理，具体过程如下：
由于阻带带宽小，过渡带陡峭，对50Hz周围频段的信号影响很小，因此对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰。
对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线。
对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，提取的主频段为0.1-30Hz，最大限度的减少噪声干扰。
通过上述三个方面完成对脑电数据的预处理过程。
步骤400：采用任务相关成分分析方法，提取脑电数据中每个待检测图片对应的相关成分特征。具体过程如下：
采用任务相关成分滤波器，利用公式
Figure BDA0002326359460000071
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure BDA0002326359460000081
为任务相关成分滤波器。
采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK×K'表示P是一个矩阵维度为KxK'的实数矩阵，K'为降维后的维度。
步骤500：根据相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值。具体的，所述支持向量机模型model由训练集的各试次分类特征和各试次标签放入SVM分类器训练得到。基于所述支持向量机模型，利用公式yn＝preSVM(An′,model)计算每个待检测图片的预测分值，预测分值即为支持向量机模型输出的数值，不同的数值表示不同的标签。其中，yn为第n个待检测图片的预测分值，An'为第n个待检测图片对应的相关成分特征，preSVM表示预测分类器，model表示训练集训练得到的支持向量机模型。
步骤600：判断预测分值是否大于预测阈值。如果是，执行步骤700；如果否，执行步骤800。由于目标标签和非目标标签对应不同的取值，通常目标标签的取值大于非目标标签的取值，预测分值为目标标签取值或非目标标签取值。因此，预测阈值取介于目标标签取值和非目标标签取值之间的数值，即可确定预测分值对应的标签是目标标签还是非目标标签。例如，目标标签的取值为1，非目标标签的取值为-1，此时预测阈值的取值范围为(-1,1)，例如，预测阈值可以取值为0，此时根据预测分值与0判断，当小于0时表示预测阈值输出为-1，即对应目标标签；当大于0时表示预测阈值输出为1，即对应非目标标签。
步骤700：将预测分值对应的待检测图片确定为目标图像。
步骤800：将预测分值对应的待检测图片确定为非目标图像。
对应图1所示的基于RSVP脑电特征的弱小目标检测方法的流程示意图，本发明还提供一种基于RSVP脑电特征的弱小目标检测系统，图4为本发明基于RSVP脑电特征的弱小目标检测系统的结构示意图。如图4所示，本发明基于RSVP脑电特征的弱小目标检测系统包括以下结构：
待检测图像获取模块401，用于获取待检测图像。
分割和放大模块402，用于将所述待检测图像进行分割和放大，得到待检测图片序列；所述待检测图片序列包括多个待检测图片。
脑电数据获取模块403，用于获取观测者观测所述待检测图片序列的脑电数据；所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号。
相关成分特征提取模块404，用于采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征。
预测分值获取模块405，用于根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值。
判断模块406，用于判断所述预测分值是否大于预测阈值。
目标图像确定模块407，用于当所述预测分值大于所述预测阈值时，将所述预测分值对应的待检测图片确定为目标图像。
非目标图像确定模块408，用于当所述预测分值不大于所述预测阈值时，将所述预测分值对应的待检测图片确定为非目标图像。
作为另一实施例，本发明的基于RSVP脑电特征的弱小目标检测系统中，所述分割和放大模块402具体包括：
分割单元，用于根据所述待检测图像的像素，将所述待检测图像分割为多张分图；相邻两张分图之间的重叠度为50％。
放大单元，用于将所有分图进行放大，得到待检测图片序列。
作为另一实施例，本发明的基于RSVP脑电特征的弱小目标检测系统还包括：
滤波模块，用于在采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征之前，对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰。
基线去除模块，用于对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线。
主频段信号提取模块，用于对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，对所述脑电数据进行预处理。
作为另一实施例，本发明的基于RSVP脑电特征的弱小目标检测系统中，所述相关成分特征提取模块404具体包括：
任务相关成分特征矩阵提取单元，用于采用任务相关成分滤波器，利用公式
Figure BDA0002326359460000101
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure BDA0002326359460000102
为任务相关成分滤波器。
降维单元，用于采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK×K'，表示P是一个矩阵维度为KxK'的实数矩阵，K'为降维后的维度。
下面提供一个具体实施案例进一步说明图1和图4所示的方案。
图5为本发明具体实施案例的流程示意图。如图5所示，首先将待检测的图片利用图像分割技术分成一组图片序列，同时将待检测目标信息告诉观测者以产生先验背景知识，然后利用快速序列图像呈现范式(RSVP)将图片展示给观测者，利用脑电采集设备采集观测者受图片刺激时段的多通道脑电信号，对原始脑电信号进行预处理、提取脑电通道间的任务相关成分特征，利用不均衡支持向量机实现目标脑电信号与非目标脑电信号之间的分类，最终确定是否含有目标图像。
基于快速序列图像呈现范式(RSVP)将图片展示给观测者时，例如，图像序列训练集共有7200张图片，其中有6960张无目标图片，240张有目标图片，图像序列按10Hz的频率(100ms一张图片)将含有目标与非目标的图像序列随机顺序播放给观测者，观测者看到有目标的图片会诱发产生脑电事件相关电位(ERP)中的特异脑电成分，看到无目标图片则不会诱发。本实施案例采用博睿康的Neuracle脑电采集设备，根据国际10-20安放标准在整个头皮上放置64导联电极，采集64通道的脑电数据，采样频率为200Hz，本发明取每张图片出现时刻为刺激零点，取刺激零点后1000ms时间段内的脑电数据作为该图像刺激的数据段，通过MATLAB在数据集中截取这7200个试次的数据段，最后产生一个200*64*7200的三维矩阵。
图6为本发明具体实施案例中训练-测试模式图，如图6所示，首先，将采集到的脑电信号进行预处理，图7为本发明具体实施案例中脑电信号预处理流程图，如图7所示，图7示出了预处理步骤，主要包括去除采集到的各通道脑电信号中的工频干扰、基线漂移等，具体的，使用自适应滤波器去除50Hz工频干扰，用图片呈现前200ms各通道脑电平均强度去除基线，采用IIR零相移二阶巴特沃斯带通滤波器提取0.1-30Hz主要频段的信号。
然后，对经过预处理的数据进行特征提取，特征提取通过任务相关成分分析的方法计算各通道脑电信号的任务相关成分特征，随后通过主成分分析(PCA)提取特征向量中影响较大的特征值，降低特征维度。具体计算方法为：
将训练集中各通道脑电信号等分成K个时间窗口，窗口的重叠为50％，N个通道的脑电信号表示为xi,(i＝1,...,N)，xi∈RN×K，xi(t)表示第i通道的第t个时间窗内脑电数据的均值，每个实验包含M个试次，即M张待检测图片，对应得到M组脑电数据，第n个试次的数据表示为Xn＝[xn1,xn2,...,xnN]T，n＝1,...,M，每个实验包含两类任务，相关任务(即包含目标图片的试次)和不相关任务(即不含目标的图片试次)，每个任务都可以由对应试次N通道的脑电信号组成，表示为
Figure BDA0002326359460000121
wi表示第i通道的权重，w＝[w1w2...wN]，为了获得精确的w解，先令任务y(t)的方差约束为1，即
Figure BDA0002326359460000122
Var(*)表示对*求解方差，Cov(a,b)表示求解a,b的协方差，i,j是通道号，可以得出通道间的最大相关Q，Qij＝Cov(xi(t),xj(t))。
然后求解任务的最大协方差，求解表达式为：
Figure BDA0002326359460000123
k,l表示任务编号，i,j是通道号，可以得到最大协方差S，
Figure BDA0002326359460000124
于是问题转化为一个瑞利里兹求解问题：
Figure BDA0002326359460000125
其中最优解
Figure BDA0002326359460000126
是矩阵Q-1S的特征向量，即任务相关成分滤波器。
将经过预处理后的所有训练集数据，进行任务相关成分滤波，得到任务相关成分特征矩阵
Figure BDA0002326359460000127
An∈R1×K，所述方法为了提高系统的时效性，采用主成分分析(PCA)算法实现特征降维，得到贡献率超过95％的最终分类特征An'＝AnP,P∈RK×K'，P是PCA中由贡献率超过95％的向量构成的降维矩阵，K'是降维后的特征维度。
最后，针对RSVP范式中目标与非目标数据占比不均衡问题，采取一种基于逐级优化递减欠采样(ORD)和边界人工少数类过采样(BSMOTE)结合的支持向量机(SVM)算法训练模型，进而在测试中实现目标和非目标准确分类。由于样本的稀疏度(即含有目标图片刺激的脑电试次与不含目标图片刺激的脑电试次数量之比)直接影响着分类结果，对于不平衡数据的分类问题，分类器的预测结果往往偏向于多数类，对少数类样本的分类效果较差，即相对于多数类样本，少数类样本预测准确率往往较低，因此用一种基于逐级优化递减欠采样(ORD)和边界人工少数类过采样(BSMOTE)结合的支持向量机(SVM)算法进行分类，具体方法：
将训练集各试次分类特征A'＝[A1',A2',...An']T和各试次标签label＝[1,-1,1,...,-1]T,label∈RN(1是目标标签，-1是非目标标签)放入SVM分类器得到分类模型即[model]＝SVM(A',label)，然后把测试集分类特征用分类预测模型得到一个预测分值即y＝preSVM(A'test,model),y∈[-1,1]，y是预测分值，A'test是测试集数据经过任务相关成分滤波和特征降维后得到的分类特征，即A1',A2',...An'，统计并标准化每个试次的脑电信号预测分值，若预测分值不超过0，则判断该试次对应图像为目标图像，预测分值大于0则该试次对应图像为非目标图像。
对于处理不均衡样本的算法，通常选择用ROC特性曲线来评价其优劣，曲线下面积越大说明算法性能越好，图8为本发明具体实施案例中ROC特性曲线图。如图8所示，图8示出的ROC曲线表明本发明所述方法能实现目标和非目标的有效分类，可以用于弱小目标检测。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于RSVP脑电特征的弱小目标检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像进行分割和放大，得到待检测图片序列；所述待检测图片序列包括多个待检测图片；
获取观测者观测所述待检测图片序列的脑电数据；所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号；
采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征；
根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值；
判断所述预测分值是否大于预测阈值；
当所述预测分值大于所述预测阈值时，将所述预测分值对应的待检测图片确定为目标图像；
当所述预测分值不大于所述预测阈值时，将所述预测分值对应的待检测图片确定为非目标图像。
2.根据权利要求1所述的基于RSVP脑电特征的弱小目标检测方法，其特征在于，所述将所述待检测图像进行分割和放大，得到待检测图片序列，具体包括：
根据所述待检测图像的像素，将所述待检测图像分割为多张分图；相邻两张分图之间的重叠度为50％；
将所有分图进行放大，得到待检测图片序列。
3.根据权利要求1所述的基于RSVP脑电特征的弱小目标检测方法，其特征在于，所述采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征，之前还包括
对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰；
对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线；
对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，对所述脑电数据进行预处理。
4.根据权利要求1所述的基于RSVP脑电特征的弱小目标检测方法，其特征在于，所述采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征，具体包括：
采用任务相关成分滤波器，利用公式
Figure FDA0002326359450000021
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；R1×K为矩阵维度为1xK的实数矩阵；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure FDA0002326359450000022
为任务相关成分滤波器；
采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK×K'，表示P是一个矩阵维度为KxK'的实数矩阵；K'为降维后的维度。
5.根据权利要求1所述的基于RSVP脑电特征的弱小目标检测方法，其特征在于，所述根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值，具体包括：
基于所述支持向量机模型，利用公式yn＝preSVM(An′,model)计算每个待检测图片的预测分值；其中，yn为第n个待检测图片的预测分值，An'为第n个待检测图片对应的相关成分特征，preSVM表示预测分类器，model表示训练集训练得到的支持向量机模型。
6.根据权利要求5所述的基于RSVP脑电特征的弱小目标检测方法，其特征在于，所述支持向量机模型包括目标标签和非目标标签，所述目标标签的取值为1，所述非目标标签的取值为-1；所述预测阈值的取值范围为(-1,1)。
7.一种基于RSVP脑电特征的弱小目标检测系统，其特征在于，包括：
待检测图像获取模块，用于获取待检测图像；
分割和放大模块，用于将所述待检测图像进行分割和放大，得到待检测图片序列；所述待检测图片序列包括多个待检测图片；
脑电数据获取模块，用于获取观测者观测所述待检测图片序列的脑电数据；所述待检测图片序列通过RSVP技术呈现给所述观测者，所述脑电数据包括每个待检测图片对应的多个通道的脑电信号；
相关成分特征提取模块，用于采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征；
预测分值获取模块，用于根据所述相关成分特征，基于逐级优化递减欠采样和边界人工少数类过采样结合的支持向量机模型，得到每个待检测图片的预测分值；
判断模块，用于判断所述预测分值是否大于预测阈值；
目标图像确定模块，用于当所述预测分值大于所述预测阈值时，将所述预测分值对应的待检测图片确定为目标图像；
非目标图像确定模块，用于当所述预测分值不大于所述预测阈值时，将所述预测分值对应的待检测图片确定为非目标图像。
8.根据权利要求7所述的基于RSVP脑电特征的弱小目标检测系统，其特征在于，所述分割和放大模块具体包括：
分割单元，用于根据所述待检测图像的像素，将所述待检测图像分割为多张分图；相邻两张分图之间的重叠度为50％；
放大单元，用于将所有分图进行放大，得到待检测图片序列。
9.根据权利要求7所述的基于RSVP脑电特征的弱小目标检测系统，其特征在于，还包括：
滤波模块，用于在采用任务相关成分分析方法，提取所述脑电数据中每个待检测图片对应的相关成分特征之前，对每个待检测图片对应的每个通道的脑电信号，采用自适应带通滤波器去除50Hz工频干扰；
基线去除模块，用于对每个待检测图片对应的每个通道的脑电信号，利用待检测图片呈现之前200ms的通道脑电平均强度去除基线；
主频段信号提取模块，用于对每个待检测图片对应的每个通道的脑电信号，采用IIR零相移二阶巴特沃斯带通滤波器提取主频段的信号，对所述脑电数据进行预处理。
10.根据权利要求7所述的基于RSVP脑电特征的弱小目标检测系统，其特征在于，所述相关成分特征提取模块具体包括：
任务相关成分特征矩阵提取单元，用于采用任务相关成分滤波器，利用公式
Figure FDA0002326359450000041
提取所述待检测图片对应的任务相关成分特征矩阵；其中，An为第n个待检测图片对应的任务相关成分特征矩阵，An∈R1×K，表示An是一个矩阵维度为1xK的实数矩阵，K是时间窗的个数；Xn为第n个待检测图片对应的所有通道的脑电信号，Xn＝[xn1,xn2,...,xnN]T，xn1为第n个待检测图片对应的第1个通道的脑电信号，xn2为第n个待检测图片对应的第2个通道的脑电信号，xnN为第n个待检测图片对应的第N个通道的脑电信号；
Figure FDA0002326359450000042
为任务相关成分滤波器；
降维单元，用于采用主成分分析算法，利用An'＝AnP对所述待检测图片对应的任务相关成分特征矩阵进行特征降维，得到降维后的所述待检测图片对应的的相关成分特征；其中，An'为第n个待检测图片对应的相关成分特征，P为所述主成分分析算法中的降维矩阵，P∈RK ×K'，表示P是一个矩阵维度为KxK'的实数矩阵；K'为降维后的维度。
CN201911317967.1A 2019-12-19 2019-12-19 一种基于rsvp脑电特征的弱小目标检测方法及系统 Active CN110991406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317967.1A CN110991406B (zh) 2019-12-19 2019-12-19 一种基于rsvp脑电特征的弱小目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317967.1A CN110991406B (zh) 2019-12-19 2019-12-19 一种基于rsvp脑电特征的弱小目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN110991406A CN110991406A (zh) 2020-04-10
CN110991406B true CN110991406B (zh) 2023-04-18

Family

ID=70062992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317967.1A Active CN110991406B (zh) 2019-12-19 2019-12-19 一种基于rsvp脑电特征的弱小目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN110991406B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111466909A (zh) * 2020-04-14 2020-07-31 清华大学 基于脑电特征的目标检测方法和系统
CN111597990B (zh) * 2020-05-15 2023-04-28 北京邮电大学 一种基于rsvp范式的脑-机结合目标检测方法及系统
CN112612364A (zh) * 2020-12-21 2021-04-06 西北工业大学 基于快速序列视觉呈现脑机接口的时空混合csp-pca目标检测方法
CN113009931B (zh) * 2021-03-08 2022-11-08 北京邮电大学 一种有人机与无人机混合编队协同控制装置及方法
CN113143291B (zh) * 2021-05-11 2023-02-03 燕山大学 一种快速序列视觉呈现下的脑电特征提取方法
CN113298006B (zh) * 2021-06-04 2024-01-19 西北工业大学 基于脑机融合认知与决策的异常目标检测新方法
CN113378761B (zh) * 2021-06-25 2022-08-05 燕山大学 基于rsvp与电刺激手套的射击运动员反应训练系统及方法
CN113180701A (zh) * 2021-07-01 2021-07-30 中国人民解放军军事科学院军事医学研究院 一种用于图像标签标注的脑电信号深度学习方法
CN114403903A (zh) * 2022-01-14 2022-04-29 杭州电子科技大学 面向跨被试rsvp的多特征低维子空间erp检测方法
CN116010783A (zh) * 2023-01-06 2023-04-25 上海大学 一种rsvp弱隐目标诱发脑电识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
US8699767B1 (en) * 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
US9489732B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Visual attention distractor insertion for improved EEG RSVP target stimuli detection
CN110221681A (zh) * 2018-03-02 2019-09-10 华为技术有限公司 图像识别方法、图像呈现时间的调整方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699767B1 (en) * 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
US9489732B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Visual attention distractor insertion for improved EEG RSVP target stimuli detection
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN110221681A (zh) * 2018-03-02 2019-09-10 华为技术有限公司 图像识别方法、图像呈现时间的调整方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Meng-Song Qi等.Driver fatigue Assessment Based on the Feature Fusion and Transfer Learning of EEG and EMG.2018 Chinese Automation Congress (CAC).2019,1314-1317. *
谢平等.基于多生理信息及迁移学习的驾驶疲劳评估.仪器仪表学报.2018,第39卷(第10期),223-231. *

Also Published As

Publication number Publication date
CN110991406A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991406B (zh) 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN111340142B (zh) 一种癫痫脑磁图棘波自动检测方法与溯源定位系统
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
Radüntz et al. Automated EEG artifact elimination by applying machine learning algorithms to ICA-based features
CN107924472B (zh) 基于脑部计算机界面的图像分类的方法及系统
CN110139597B (zh) 利用神经生理信号进行迭代分类的系统和方法
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110619301A (zh) 一种基于双模态信号的情绪自动识别方法
CN109255309B (zh) 面向遥感图像目标检测的脑电与眼动融合方法及装置
CN112022153B (zh) 基于卷积神经网络的脑电信号检测方法
CN111209806B (zh) 基于单试次脑电信号的视频目标异步检测方法
CN111832431A (zh) 一种基于cnn的情绪脑电分类方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN114093501A (zh) 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法
CN110584597A (zh) 基于时空卷积神经网络的多通道脑电信号监测方法及应用
CN106940904B (zh) 基于人脸识别和语音识别的考勤系统
CN114578967A (zh) 一种基于脑电信号的情感识别方法及系统
CN111428601B (zh) 一种基于ms-cnn的p300信号识别方法、装置及存储介质
CN117520891A (zh) 一种运动想象脑电信号分类方法及系统
US20140316746A1 (en) Real-time signal processing system and method based on multi-channel independent component analysis
CN112438741A (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant