CN107898458B - 基于图像先验的单试次脑电p300成分检测方法及装置 - Google Patents

基于图像先验的单试次脑电p300成分检测方法及装置 Download PDF

Info

Publication number
CN107898458B
CN107898458B CN201710946732.3A CN201710946732A CN107898458B CN 107898458 B CN107898458 B CN 107898458B CN 201710946732 A CN201710946732 A CN 201710946732A CN 107898458 B CN107898458 B CN 107898458B
Authority
CN
China
Prior art keywords
complexity
image
data set
images
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710946732.3A
Other languages
English (en)
Other versions
CN107898458A (zh
Inventor
闫镔
王晓娟
林志敏
曾颖
童莉
张驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201710946732.3A priority Critical patent/CN107898458B/zh
Publication of CN107898458A publication Critical patent/CN107898458A/zh
Application granted granted Critical
Publication of CN107898458B publication Critical patent/CN107898458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明属于人脑与机器视觉融合技术领域，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。基于图像先验的单试次脑电P300成分检测方法，包括：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；对不同复杂度的图像诱发的脑电信号训练分类器；对图像诱发的脑电信号进行评分。基于图像先验的单试次脑电P300成分检测装置，包括：复杂度计算排序模块；训练模块；评分模块。本发明可以根据图像复杂度主动预判P300潜伏期的范围。

Description

基于图像先验的单试次脑电P300成分检测方法及装置
技术领域
本发明属于人脑与机器视觉融合技术领域，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。
背景技术
由于在基于脑电的目标图像检测的实时系统中，P300成分的检测依然不能达到较高的精度。因此部分学者考虑充分利用人脑的高效理解能力与计算机的处理速度，搭建融合人脑与机器视觉的图像检索系统。这些系统利用较多试次的脑电兴趣得分，引导机器视觉搜索高兴趣得分的图像，这是一种“决策级”的融合方式。
人类视觉系统是自然界长期演化的结果，对自然图像的识别具有高速、鲁棒的特点。而机器视觉是利用现代计算机处理图像的技术，相对于人类视觉，具有批量处理的优点，但对于非结构化的、具有深层语义信息的图像，机器视觉始终无法达到较高的识别精度。哥伦比亚大学的Sajda等人，在利用人脑P300成分检测感兴趣目标图片的基础上，结合计算机视觉技术，搭建了皮层耦合计算机视觉系统(C3Vision)。该系统如下工作：先在一个图片库中随机选择少量图片组成图片序列，将图片序列快速呈现给被试观看，同时采集被试的脑电信号，利用脑电检索模块对这些图片所对应的脑电信号进行兴趣评分，并根据兴趣评分重新排序。随后，计算机视觉模块利用脑电检索模块的结果，再从图片数据库中选取类似的图片。由于脑电信号噪声比较大，EEG检索模块的输出并不是非常准确，这会导致计算机视觉模块的输出也达不到预期的效果，如果可以把这个结果反馈给被试，再让用户去判断计算机给出的结果是否准确，那么检索效果可能就会有显著的提升。于是，Eric等人又在Sadja的研究基础上，搭建了一个闭环系统(Closed-Loop C3Vision)，使得计算机视觉模块能够和EEG检索模块进行交互。此外，浙江大学的Wang等人采用类似方法搭建了闭环人脸识别系统、加州圣迭戈大学则利用人类天生对危险场景的警觉能力结合计算机技术，搭建了“认知技术威胁警报系统”(Cognitive Technology Threat Warning System，CT2WS)等。
然而在这些系统中人类视觉系统与机器视觉系统的融合方式是一种“决策级”融合方法。对图像的识别更多的依托P300成分的检测，并不能将当前机器视觉的成果引入到对单试次P300成分的分析中。
在申请号为201610139359.6的发明专利申请文件中，我们验证了不同复杂度的目标图像引起的脑电P300成分的差异，高复杂度目标图像诱发的脑电P300成分具有更低的峰值与更长的潜伏期。而脑地形图则显示了高复杂度图像将引起大脑右前额叶更长时间的活动。但是在基于脑电信号的目标图像检索中，存在P300检测算法被动适应P300潜伏期的变化问题。
发明内容
基于上述P300检测算法存在的问题，发明一种可以根据图像复杂度主动预判P300潜伏期的范围的方法及装置。
为了实现上述目的，本发明采用以下技术方案：
基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：
步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；
步骤3：对图像诱发的脑电信号进行评分。
优选地，所述步骤1包括：
步骤1.1：计算数据集中图像的复杂度，计算公式为：
Figure BDA0001431861380000021
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
步骤1.2：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。
优选地，所述步骤2包括：
步骤2.1：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
步骤2.2：将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。
优选地，所述步骤3包括：
步骤3.1：统计每一张图像诱发的脑电信号对应的三个分类器的评分；
步骤3.2：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：
Figure BDA0001431861380000031
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。
优选地，在所述步骤3之后还包括：
根据图像的最终兴趣得分判断图像是否为目标图像；
检测目标图像和非目标图像诱发的各分类器脑电P300成分。
优选地，所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像。
基于图像先验的单试次脑电P300成分检测装置，包括：
复杂度计算排序模块，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
训练模块，用于对不同复杂度的图像诱发的脑电信号训练分类器；
评分模块，用于对图像诱发的脑电信号进行评分。
优选地，还包括：
判断模块，用于根据图像的最终兴趣得分判断图像是否为目标图像；
检测模块，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。
优选地，所述复杂度计算排序模块包括：
计算模块，用于计算数据集中图像的复杂度，计算公式为：
Figure BDA0001431861380000032
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
排序模块，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。
优选地，所述训练模块包括：
脑电信号划分模块，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
训练子模块，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。
优选地，所述评分模块包括：
统计模块，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；
评分子模块，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：
Figure BDA0001431861380000041
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。
与现有技术相比，本发明具有的有益效果：
本发明首先利用卷积神经网络图像处理机制与人脑类似的特点，使用图像在卷积神经网络上的特征权重构建图像复杂度，并定义了图像复杂度公式，根据复杂度的不同将图像分成高、中、低三类。然后通过对不同图像复杂度范围的图像所诱发的P300成分进行分析，能够发现不同复杂度范围内目标图像诱发的P300成分是有差异的，而非目标图像则没有显著差异。
本发明通过对刺激图像的图像复杂度的评估，来预判所诱发的P300成分潜伏期的可能范围，以达到更好的检测精度，相对于传统的单纯在算法角度被动适应潜伏期变化的方法，该方法是一种更加主动合理的策略。并且，本发明相对传统的机器视觉融合脑电的目标检测系统来说，是一种全新的人脑与机器视觉融合的方式，且在传统的融合系统中依然可以使用。
附图说明
图1为本发明基于图像先验的单试次脑电P300成分检测方法的基本流程示意图之一。
图2为本发明基于图像先验的单试次脑电P300成分检测方法的基本流程示意图之二。
图3为本发明基于图像先验的单试次脑电P300成分检测方法的刺激图像数据集按图像复杂度由高到低排列示意图。
图4为本发明基于图像先验的单试次脑电P300成分检测方法的高、中、低图像复杂度诱发P300成分脑地形图变化趋势。
图5为本发明基于图像先验的单试次脑电P300成分检测方法的fHDCA与TRICP两种方法下的AUC值比较结果图。
图6为本发明基于图像先验的单试次脑电P300成分检测装置的结构示意图之一。
图7为本发明基于图像先验的单试次脑电P300成分检测方法的结构示意图之二。
具体实施方式
为了便于理解，对本发明的具体实施方式中出现的部分名词作以下解释说明：
fHDCA：folding HDCA，采用固定时间窗口策略，在每个时间窗口的空间滤波器构建中引入之前时间窗口的信息，是一种可以较好的适应P300潜伏期的变化的分类算法，参见申请号为201610139359.6的发明专利申请文件。
ROC：接收者操作特征，Receiver Operating Characteristic，ROC曲线上每个点反映着对同一信号刺激的感受性。
AUC：Area Under Curve，ROC曲线下的面积，介于0.1和1之间，AUC作为数值可以直观的评价分类器的好坏，值越大越好。
SD：Standard Deviation，样本标准差。
下面结合附图和具体的实施例对本发明做进一步的解释说明：
实施例一：
如图1所示，本发明的一种基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：
步骤S101：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
步骤S102：对不同复杂度的图像诱发的脑电信号训练分类器；
步骤S103：对图像诱发的脑电信号进行评分。
实施例二：
如图2-5所示，本发明的另一种基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：
步骤S201：计算数据集中图像的复杂度，根据图像的复杂度对数据集中的图像进行排序；包括：
步骤S2011：计算数据集中图像的复杂度，计算公式为：
Figure BDA0001431861380000061
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
作为一种可实施的方式，k取值为2；
步骤S2012：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，根据图像复杂度由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集；作为一种可实施方式，选取3组共36张图片作为刺激图像，其中每组有12张图片，排序后的数据集中图片如图3所示，其中图像的复杂度依次递减，每一组图片的前4幅为高复杂度数据集，每一组图片的中间4幅为中复杂度数据集，每一组图片的后4幅为低复杂度数据集，高复杂度数据集、中复杂度数据集及低复杂度数据集各有12幅图片。
步骤S202：对不同复杂度的图像诱发的脑电信号训练分类器；包括：
步骤S2021：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
步骤S2022：将每张图像诱发的脑电信号的每个部分采用fHDCA方法单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。
步骤S203：对图像诱发的脑电信号进行评分；包括：
步骤S2031：统计每一张图像诱发的脑电信号对应的三个分类器的评分；
步骤S2032：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：
Figure BDA0001431861380000062
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重；所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像；
作为一种可实施的方式，α＝0.5，β＝0.25。
步骤S204：根据图像的最终兴趣得分判断图像是否为目标图像：
判断图像的最终兴趣得分是否大于或等于目标图像兴趣得分阈值，若是，则该图像为目标图像；若否，则该图像为非目标图像；
作为一种可实施方式，目标图像兴趣得分阈值的选取方式和fHDCA方法中目标图像兴趣得分阈值方法选取方式一致；
步骤S205：检测目标图像和非目标图像诱发的各分类器脑电P300成分。
作为一种可实施的方式，分别对19名被试者进行测试，可以发现高复杂度数据集，简称为HIC的目标图像诱发的P300成分具有更低的峰值及更长的潜伏期，如表1所示，其中，MIC为中复杂度数据集，LIC为低复杂度数据集。
进一步的，统计了所有被试者在不同复杂度范围内，目标类组平均脑电波形中P300峰值与峰潜伏期的差异，如表1所示，HIC的峰值与峰潜伏期显著差异于MIC与LIC；其中，HIC，峰值为4.76±1.09μV，潜伏期为564.98±52.98ms；MIC，峰值为5.44±0.9μV，潜伏期为530.19±58.66ms；LIC，峰值为5.49±1.22μV，潜伏期为525.33±50.27ms。
总体上，HIC的峰值要比MIC低0.68μV，比LIC低0.73μV，而HIC的峰潜伏期要比MIC延迟34.79ms，比LIC延迟39.65ms；并且可以发现，高复杂度范围内的P300成分的峰值与潜伏期均与中低复杂度的峰值与潜伏期具有显著性差异。
高、中、低图像复杂度诱发P300成分脑地形图变化趋势如图4所示。
最后，采用五折交叉验证对算法性能进行验证，将数据分为5部分，其中4部分作为训练集，剩余部分作为测试集，使用fHDCA算法计算不同图像复杂度范围下的单试次P300分类器，采用分类器的ROC曲线下面积，即AUC作为比较指标，19名被试在fHDCA与TRICP两种方法下的AUC值比较结果如图5所示。
对所有的被试的AUC值进行分析，可以发现TRICP算法AUC值在0.75～0.94之间，mean为0.846；而单纯的fHDCA算法AUC值在0.66～0.94之间，mean为0.817；其中，mean为平均值。
表1 19名被试在不同复杂度范围内的P300峰值与潜伏期
Figure BDA0001431861380000081
实施例三：
如图3所示，本发明的一种基于图像先验的单试次脑电P300成分检测装置，包括：
复杂度计算排序模块301，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
训练模块302，用于对不同复杂度的图像诱发的脑电信号训练分类器；
评分模块303，用于对图像诱发的脑电信号进行评分。
实施例四：
如图4所示，本发明的另一种基于图像先验的单试次脑电P300成分检测装置，包括：
复杂度计算排序模块401，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
训练模块402，用于对不同复杂度的图像诱发的脑电信号训练分类器；
评分模块403，用于对图像诱发的脑电信号进行评分；
判断模块404，用于根据图像的最终兴趣得分判断图像是否为目标图像；
检测模块405，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。
所述复杂度计算排序模块401进一步包括：
计算模块4011，用于计算数据集中图像的复杂度，计算公式为：
Figure BDA0001431861380000091
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
排序模块4012，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。
所述训练模块402进一步包括：
脑电信号划分模块4021，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
训练子模块4022，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。
所述评分模块403进一步包括：
统计模块4031，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；
评分子模块4032，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：
Figure BDA0001431861380000092
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.基于图像先验的单试次脑电P300成分检测方法，其特征在于，包括以下步骤：
步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
所述步骤1包括：
步骤1.1：计算数据集中图像的复杂度，计算公式为：
Figure FDA0002490629480000011
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
步骤1.2：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集；
步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；
所述步骤2包括：
步骤2.1：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
步骤2.2：将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器；
步骤3：对图像诱发的脑电信号进行评分；
所述步骤3包括：
步骤3.1：统计每一张图像诱发的脑电信号对应的三个分类器的评分；
步骤3.2：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：
Figure FDA0002490629480000012
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。
2.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，在所述步骤3之后还包括：
根据图像的最终兴趣得分判断图像是否为目标图像；
检测目标图像和非目标图像诱发的各分类器脑电P300成分。
3.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像。
4.基于权利要求1-3任一所述的基于图像先验的单试次脑电P300成分检测方法的基于图像先验的单试次脑电P300成分检测装置，其特征在于，包括：
复杂度计算排序模块，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；
训练模块，用于对不同复杂度的图像诱发的脑电信号训练分类器；
评分模块，用于对图像诱发的脑电信号进行评分；
所述复杂度计算排序模块包括：
计算模块，用于计算数据集中图像的复杂度，计算公式为：
Figure FDA0002490629480000021
其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；
排序模块，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集；
所述训练模块包括：
脑电信号划分模块，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；
训练子模块，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器；
所述评分模块包括：
统计模块，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；
评分子模块，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：
Figure FDA0002490629480000031
其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。
5.根据权利要求4所述的基于图像先验的单试次脑电P300成分检测装置，其特征在于，还包括：
判断模块，用于根据图像的最终兴趣得分判断图像是否为目标图像；
检测模块，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。
CN201710946732.3A 2017-10-12 2017-10-12 基于图像先验的单试次脑电p300成分检测方法及装置 Active CN107898458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710946732.3A CN107898458B (zh) 2017-10-12 2017-10-12 基于图像先验的单试次脑电p300成分检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710946732.3A CN107898458B (zh) 2017-10-12 2017-10-12 基于图像先验的单试次脑电p300成分检测方法及装置

Publications (2)

Publication Number Publication Date
CN107898458A CN107898458A (zh) 2018-04-13
CN107898458B true CN107898458B (zh) 2020-07-17

Family

ID=61840481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710946732.3A Active CN107898458B (zh) 2017-10-12 2017-10-12 基于图像先验的单试次脑电p300成分检测方法及装置

Country Status (1)

Country Link
CN (1) CN107898458B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506760B (zh) * 2020-03-30 2021-04-20 杭州电子科技大学 一种基于困难感知的深度集成度量图像检索方法
CN111528833B (zh) * 2020-05-07 2023-05-02 广州大学 一种心电信号的快速识别与处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN105700687A (zh) * 2016-03-11 2016-06-22 中国人民解放军信息工程大学 基于folding HDCA算法的单试次脑电P300成分检测方法
CN105825225A (zh) * 2016-03-11 2016-08-03 中国人民解放军信息工程大学 一种机器视觉辅助脑电目标判决的方法
CN105868712A (zh) * 2016-03-28 2016-08-17 中国人民解放军信息工程大学 基于后验概率模型的脑电与机器视觉目标图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN105700687A (zh) * 2016-03-11 2016-06-22 中国人民解放军信息工程大学 基于folding HDCA算法的单试次脑电P300成分检测方法
CN105825225A (zh) * 2016-03-11 2016-08-03 中国人民解放军信息工程大学 一种机器视觉辅助脑电目标判决的方法
CN105868712A (zh) * 2016-03-28 2016-08-17 中国人民解放军信息工程大学 基于后验概率模型的脑电与机器视觉目标图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Novel Method for Single-Trial Classification in the Face of Temporal Variability;Amar Marathe et al.;《AC 2013 - 7th International Conference on Augmented Cognition》;20130731;第345-351页 *

Also Published As

Publication number Publication date
CN107898458A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN109199414B (zh) 一种基于脑电信号的视听诱发情绪识别方法及系统
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN109522815A (zh) 一种专注度评估方法、装置及电子设备
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
CN104751185B (zh) 基于均值漂移遗传聚类的sar图像变化检测方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN110348350B (zh) 一种基于面部表情的驾驶员状态检测方法
CN111797674B (zh) 基于特征融合和粒子群优化算法的mi脑电信号识别方法
CN112185191B (zh) 一种智能数字化教学模型
CN112545532A (zh) 用于脑电信号分类识别的数据增强方法及系统
CN110786849B (zh) 基于多视图鉴别分析的心电信号身份识别方法及系统
Chen et al. WiFace: Facial expression recognition using Wi-Fi signals
CN109685071A (zh) 基于共同空间模式特征宽度学习的脑电分类方法
CN107898458B (zh) 基于图像先验的单试次脑电p300成分检测方法及装置
CN102236786B (zh) 一种光照自适应的人体肤色检测方法
Bhamare et al. Deep neural networks for lie detection with attention on bio-signals
CN113010557A (zh) 一种心理测评系统量表随机答题方法及系统
CN114298189A (zh) 疲劳驾驶检测方法、装置、设备及存储介质
Chen et al. Intelligent teaching evaluation system integrating facial expression and behavior recognition in teaching video
CN113076885B (zh) 一种基于人眼动作特征的专注度分级方法及系统
de Souza et al. Exploring the Impact of Synthetic Data on Human Activity Recognition Tasks
CN110141211A (zh) 一种基于经验模态分解的稳态视觉诱发电位的分类方法
CN106529433B (zh) 基于声音信号的队列步伐整齐度评价方法
Fetsch et al. Spatiotemporal properties of vestibular responses in area MSTd
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant