CN113180701A - 一种用于图像标签标注的脑电信号深度学习方法 - Google Patents

一种用于图像标签标注的脑电信号深度学习方法 Download PDF

Info

Publication number
CN113180701A
CN113180701A CN202110740329.1A CN202110740329A CN113180701A CN 113180701 A CN113180701 A CN 113180701A CN 202110740329 A CN202110740329 A CN 202110740329A CN 113180701 A CN113180701 A CN 113180701A
Authority
CN
China
Prior art keywords
electroencephalogram
data
model
layer
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110740329.1A
Other languages
English (en)
Inventor
薛继国
岳敬伟
贺浩宸
李春永
马媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Pharmacology and Toxicology of AMMS
Original Assignee
Institute of Pharmacology and Toxicology of AMMS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Pharmacology and Toxicology of AMMS filed Critical Institute of Pharmacology and Toxicology of AMMS
Priority to CN202110740329.1A priority Critical patent/CN113180701A/zh
Publication of CN113180701A publication Critical patent/CN113180701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及用于图像标签标注的脑电信号深度学习方法，以采样频率
Figure DEST_PATH_IMAGE001
采集被试者的脑电信号；对所采集的脑电数据进行预处理，经过滤波后得到原始时间序列S；设置降采样频率
Figure DEST_PATH_IMAGE002
，对预处理后的脑电数据进行降采样，得到降采样后的序列
Figure DEST_PATH_IMAGE003
，建立训练集、验证集及测试集；建立脑电模型并进行训练；将测试集中的脑电数据输入到脑电模型
Figure DEST_PATH_IMAGE004
中，得到图片的预测标签；将该预测标签与测试集中图片的原始标签进行对比，计算总体分类准确率；通过脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签。

Description

一种用于图像标签标注的脑电信号深度学习方法
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种用于图像标签标注的脑电信号深度学习方法。
背景技术
数据标注是通过用一个或多个标签标记一组数据，数据标注的目的在于使其数据，例如，图像数据，对计算机视觉具有可读性。经过正确的标签标注的数据对人工智能（AI）算法的训练和预测非常有用。最早的数据标注是研究AI算法的工程师在实验室中完成。随着人工智能技术在全场景的落地以及大数据时代的来临，待标注的数据呈“指数级”增长，数据获取也相对变得容易，工程师们根本无力完成海量数据的标注。因而，当前的数据标注需要大量人工操作。标注员在屏幕前观看图片或视频，根据数据集的不同需求，对其所观看数据进行不同种类的标注，例如，图像图形的种类，目标图形的位置信息，以及目标图形的边界分割信息。但是，标注员并非均为所需进行数据标注的领域或行业的专家，并且不同人对同一事物的认知能力和理解角度也会有所差异，最终导致所标注的数据的质量参差不齐，因而，难以评价和判断数据集标签的准确度和有效性。此外，标注员工作时的认知状态以及疲劳程度也会对数据标注带来不利影响。
而机器学习通常是建立在数据建模基础之上，确立一个算法模型需要大量标注好的数据去训练机器，并使得机器去学习其中的特征，而丰富又准确的标签是机器学习成功建模的前提；同时数据标注还可以帮助机器进一步去学习以及认知数据中特征。机器学习分为有监督学习和无监督学习，无监督学习的效果是不可控的，其通常仅仅用于探索性实验。而有监督学习方法依赖所标注数据，通过学习大量已标注的训练样本作为先验经验以构建预测脑电模型。因此在实际产品应用中，目前应用最广泛的机器学习算法为监督学习。
数据标签标注从人工人力转向人机融合，通过脑电与深度学习的结合，从而将人类的智能变成机器学习的一环，甚至是可以提高准确率和生产力的重要一环。人类智能，例如，脑电信号，变成机器学习的一个输入，告别了人类和机器的分开处理、各自判断的沟通鸿沟，而加快了机器学习的迭代和优化。
发明内容
针对现有技术中存在的问题，本发明的目的在于提出一种用于图像标签标注的脑电信号深度学习方法，其建立脑电模型之后，能够对脑电模型进行训练，并将该脑电模型应用于数据标注过程。本发明的具体实施步骤如下：标注员佩戴好电极帽同时采集其脑电信号特征，屏幕呈现待标注的图像或视频，脑电模型同时处理该标注员的脑电信号，并通过计算判断出其观看到的图像所表示的种类，自动辅助标注员进行数据标注。该方法克服了现有技术中人工标注数据的弊端，其解决了现有技术中的人员操作过程繁琐且耗时、容易疲劳而导致准确率降低的问题，采用脑电深度学习建模，进而辅助标注员对数据类别进行判断和标注的方法，与传统的纯人工数据标注方式，本方法具有显著的效率提升效果。
本发明的技术方案如下：
一种用于图像标签标注的脑电信号深度学习方法，其包括如下步骤：
步骤一、以采样频率
Figure 529080DEST_PATH_IMAGE001
采集被试者的脑电信号，原始参考电极和多个采集电极的 通道数为
Figure 852745DEST_PATH_IMAGE002
；通过脑电采集系统进行脑电信号采集，得到脑电数据
Figure 163640DEST_PATH_IMAGE003
,其中T为每张 图片的呈现时间；
步骤二、对步骤一中所采集的脑电数据进行预处理，基于重参考的平均参考，获得 所选定的采集电极重参考后的电压幅值向量
Figure 699795DEST_PATH_IMAGE004
，经过滤波后得到原始时间序列S，i表示第i 个采集电极；
步骤三、设置降采样频率
Figure 45326DEST_PATH_IMAGE005
，满足
Figure 133367DEST_PATH_IMAGE006
，对预处理后的脑电数据进行 降采样，得到降采样后的序列
Figure 806925DEST_PATH_IMAGE007
，建立训练集、验证集及测试集；其中i表示第i个采集电 极，j表示第i个采集电极的第j个数据点；
步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；
步骤五、利用验证集改进和优化所构建的脑电模型的参数；
步骤六、利用测试集进行脑电模型性能的测试；
将测试集中的脑电数据输入到脑电模型
Figure 271405DEST_PATH_IMAGE008
中，得到图片的预测标签；将该预测 标签与测试集中图片的原始标签进行对比，计算总体分类准确率；
步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；
步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签；
步骤九、该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。
优选地，数据采集的具体过程如下：
S1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每 张图片呈现时间均为第一预设时间
Figure 845343DEST_PATH_IMAGE009
；
S2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；
S3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；
S4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。
优选地，脑电数据预处理的具体步骤如下：
a.计算在给定位点的采集电极的有效值
Figure 930718DEST_PATH_IMAGE010
，该有效值为该位点的采集电极
Figure 386844DEST_PATH_IMAGE011
和原 始参考电极
Figure 795960DEST_PATH_IMAGE012
之间的电位差
Figure 991449DEST_PATH_IMAGE013
。
Figure 952452DEST_PATH_IMAGE014
是所选定的采集电极的电压幅值，
Figure 600602DEST_PATH_IMAGE015
是原始参 考电极的电压幅值；
Figure 141305DEST_PATH_IMAGE016
；
Figure 689836DEST_PATH_IMAGE017
；
b.得到所选定的采集电极重参考后的电压幅值向量
Figure 556161DEST_PATH_IMAGE004
；i为第i个采集电极；
优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即 所选定的采集电极重参考后的电压幅值向量
Figure 550661DEST_PATH_IMAGE004
Figure 36000DEST_PATH_IMAGE018
其中
Figure 799557DEST_PATH_IMAGE004
为所选定的采集电极重参考后的电压幅值向量，
Figure 977729DEST_PATH_IMAGE019
，其中n为采集电 极的个数，n=c-1；i为第i个采集电极；
c.步骤b得到的所选定的采集电极的信号向量,即电压幅值向量
Figure 459526DEST_PATH_IMAGE004
的关于时间
Figure 607610DEST_PATH_IMAGE020
的函数是
Figure 366619DEST_PATH_IMAGE021
，其中
Figure 574746DEST_PATH_IMAGE022
；通过系统函数
Figure 917741DEST_PATH_IMAGE023
进行数字带通滤 波，获得原始时间序列S为
Figure 603937DEST_PATH_IMAGE024
，其中i表示第i个采集电极。
优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。
优选地，原始时间序列S满足
Figure 342086DEST_PATH_IMAGE025
，其中
Figure 862060DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 318449DEST_PATH_IMAGE026
为所使用 的刺激图片的数量；
设置降采样的频率
Figure 808336DEST_PATH_IMAGE005
，满足
Figure 10779DEST_PATH_IMAGE006
，进行降采样。其中
Figure 826288DEST_PATH_IMAGE027
表示 为除模取余。
优选地，降采样后的序列
Figure 504394DEST_PATH_IMAGE007
为
Figure 938917DEST_PATH_IMAGE028
其中
Figure 386079DEST_PATH_IMAGE029
表示第i个通道第
Figure 841331DEST_PATH_IMAGE030
个数据点的值；
Figure 646214DEST_PATH_IMAGE031
，
Figure 477904DEST_PATH_IMAGE032
， 其中
Figure 186097DEST_PATH_IMAGE005
为降采样频率，
Figure 812250DEST_PATH_IMAGE033
为
Figure 464948DEST_PATH_IMAGE007
所组成的数据集合；
优选地，所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，脑电模型的输入为训练集中所包含的脑电信号矩阵。
优选地，脑电模型的建立包括如下步骤：
S1：将训练集的脑电信号矩阵传输至神经网络的输入层，
Figure 241275DEST_PATH_IMAGE034
，其中dim表示“维度”，
Figure 397449DEST_PATH_IMAGE002
为脑电通道数量，
Figure 725663DEST_PATH_IMAGE035
为脑电信号采 样点的个数,数字“1”为新增加的维度。
S2：通过输入层将脑电信号矩阵传输至卷积层，卷积核的维度设为
Figure 475444DEST_PATH_IMAGE036
。
S3:当
Figure 180095DEST_PATH_IMAGE037
的维度
Figure 456355DEST_PATH_IMAGE038
大于第一层输入维度
Figure 329371DEST_PATH_IMAGE039
的1/ 3时，每一层卷积层均连接相应的池化层；得到池化层的输出为
Figure 691082DEST_PATH_IMAGE040
，此处的第一层输入维 度为输入层维度；其中
Figure 809211DEST_PATH_IMAGE041
表示输入层数据，
Figure 939978DEST_PATH_IMAGE037
表示卷积神经网络的第l层数据；
当
Figure 609994DEST_PATH_IMAGE037
的维度
Figure 599947DEST_PATH_IMAGE038
小于等于第一层输入维度
Figure 380821DEST_PATH_IMAGE039
的 1/3时，卷积层直接与全连接层相连。
S4：全连接层的输出输入至softmax层，对于softmax层，其中
Figure 772619DEST_PATH_IMAGE042
Figure 253017DEST_PATH_IMAGE043
其中
Figure 854899DEST_PATH_IMAGE044
，i为标签分类结果。令
Figure 314831DEST_PATH_IMAGE045
，那么该分类结果为 第
Figure 685769DEST_PATH_IMAGE046
类图片。
优选地，步骤五中，将训练集随机分成K个子集，分别用
Figure 572954DEST_PATH_IMAGE047
表示，
Figure 130974DEST_PATH_IMAGE048
，其中
Figure 519230DEST_PATH_IMAGE049
为训练集样本数；对于
Figure 354462DEST_PATH_IMAGE050
,在除第
Figure 537181DEST_PATH_IMAGE046
个子集 以外的所有点上计算损失函数
Figure 848077DEST_PATH_IMAGE051
，
Figure 148346DEST_PATH_IMAGE052
Figure 962718DEST_PATH_IMAGE053
表示卷积神经网络输出的标签结果。
优选地，步骤八中设置降采样的频率
Figure 457285DEST_PATH_IMAGE005
，满足
Figure 989897DEST_PATH_IMAGE006
，对预处理后的脑 电数据进行降采样，得到降采样后的序列
Figure 719956DEST_PATH_IMAGE007
，
将所选定的图片中获得的脑电信号矩阵
Figure 264201DEST_PATH_IMAGE054
，输入到由步骤四~步骤五训 练得到的脑电模型
Figure 54302DEST_PATH_IMAGE055
中,得到
Figure 74211DEST_PATH_IMAGE056
，其中
Figure 217747DEST_PATH_IMAGE053
表示的是该图片的类别标签,其中
Figure 6712DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 702135DEST_PATH_IMAGE026
为所使用的刺激图片的数量。
与现有技术相比，本发明的优点在于：
本发明的用于图像标签标注的脑电信号深度学习方法通过所采集的脑电信号对所观看的目标实现自动分类和标注，其省略了标注员长时反应以及后续鼠标键盘操作的步骤，在提高数据标注的速度的同时也提高了标注效率，其通过脑电自动判断过程，减少了标注员的操作过程，减缓了疲劳，有效解决了现有技术中在重复进行以上一系列标注操作后，标注员的认知状态会逐渐降低，疲劳程度也会逐渐升高，出现错误标注的不良操作的问题。并且，本发明还能够辅助标注员进行判断，减少了标注员的深层次加工和反应，也减少了标注员的认知负荷，也就能够长时间进行高效率且高准确率的标注工作。
附图说明
本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明的用于图像标签标注的脑电信号深度学习方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
根据本发明实施例的用于图像标签标注的脑电信号深度学习方法，包含两个阶段，训练阶段和模型应用阶段。在训练阶段，采集被试者的脑电信号，例如，被试者观看给定图片标注任务的过程中，采集其脑电数据，并对所采集的脑电信号进行预处理，例如，脑电数据预处理；建立训练集、验证集和测试集，通过训练集构建脑电模型后，在验证集上通过交叉验证改进和优化脑电模型参数，并在测试集上进行脑电模型性能测试，达到的预测准确率，可认为该脑电模型成立；在脑电模型应用阶段，在图片标注任务中，采集数据标注员的脑电数据，在脑电数据同步预处理后将其输入到已获得的脑电模型中，并将其输出的类别作为数据标签，该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。
具体地，用于图像标签标注的脑电信号深度学习方法，如图1所示，其包括如下步骤：
步骤一、选定原始参考电极和多个采集电极，在
Figure 583242DEST_PATH_IMAGE057
个被试者对
Figure 389524DEST_PATH_IMAGE026
个刺激图片进行 分类判断和标注时，采集被试者的脑电信号，采样频率为
Figure 439519DEST_PATH_IMAGE001
,采集通道数为
Figure 40265DEST_PATH_IMAGE002
。
优选地，刺激图片的数量
Figure 300345DEST_PATH_IMAGE026
为1000个。
优选地，采集
Figure 520105DEST_PATH_IMAGE057
名被试者，在观看给定图片标注任务的过程中，采集其脑电数据， 其中
Figure 283661DEST_PATH_IMAGE058
；
优选地，原始参考电极和多个采集电极共
Figure 320887DEST_PATH_IMAGE059
通道，原始参考电极和采集电极 采用10-20国际标准排列；各电极的采样频率均为
Figure 678051DEST_PATH_IMAGE001
，通过脑电采集系统进行脑电信号采 集，得到脑电数据
Figure 91714DEST_PATH_IMAGE003
,其中T为每张图片的呈现时间。
优选地，各电极的采样频率
Figure 349258DEST_PATH_IMAGE001
均为1000Hz，通过该脑电采集系统进行脑电信号采 集，得到脑电数据
Figure 557386DEST_PATH_IMAGE060
,其中T为每张图片的呈现时间。
优选地，数据采集的具体过程如下：
S1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每 张图片呈现时间均为第一预设时间
Figure 526479DEST_PATH_IMAGE009
；优选地，第一预设时间的范围为
Figure 88041DEST_PATH_IMAGE061
，以便更好 地分析被试者对刺激图片的认知加工过程。
S2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；
S3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；
S4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。
步骤二、对步骤一中所采集的脑电数据进行预处理，经过滤波后得到原始时间序列S；
优选地，脑电数据预处理的具体步骤如下：
a.计算在给定位点的采集电极的有效值
Figure 91769DEST_PATH_IMAGE010
，该有效值为该位点的采集电极
Figure 205219DEST_PATH_IMAGE011
和原 始参考电极
Figure 536974DEST_PATH_IMAGE012
之间的电位差
Figure 292440DEST_PATH_IMAGE013
。其中
Figure 760462DEST_PATH_IMAGE012
为原始参考电极，
Figure 575971DEST_PATH_IMAGE011
为所选定的采集电 极；
Figure 159137DEST_PATH_IMAGE014
是所选定的采集电极的电压幅值，
Figure 593661DEST_PATH_IMAGE015
是原始参考电极的电压幅值；
Figure 40822DEST_PATH_IMAGE016
；
Figure 27233DEST_PATH_IMAGE017
，i表示第i个采集电极；
b.得到所选定的采集电极重参考后的电压幅值向量
Figure 333581DEST_PATH_IMAGE004
；i为第i个采集电极；
优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即 选定的采集电极重参考后的电压幅值向量
Figure 165270DEST_PATH_IMAGE004
Figure 607884DEST_PATH_IMAGE062
Figure 765196DEST_PATH_IMAGE063
Figure 417894DEST_PATH_IMAGE064
Figure 427176DEST_PATH_IMAGE065
Figure 848930DEST_PATH_IMAGE066
其中
Figure 52510DEST_PATH_IMAGE004
为所选定的采集电极重参考后的电压幅值向量，
Figure 926925DEST_PATH_IMAGE019
，其中n为采集 电极的个数，n=c-1；i为第i个采集电极；
所述采集电极均为单通道电极，
Figure 631576DEST_PATH_IMAGE002
为采集通道数。
c.步骤b得到的所选定的采集电极的信号向量,即电压幅值向量
Figure 48782DEST_PATH_IMAGE004
，关于时间
Figure 282317DEST_PATH_IMAGE020
的 函数是
Figure 784973DEST_PATH_IMAGE021
，其中
Figure 496578DEST_PATH_IMAGE022
, i为第i个采集电极。
进行数字带通滤波的系统函数
Figure 158503DEST_PATH_IMAGE067
为：
Figure 38358DEST_PATH_IMAGE068
其中
Figure 887365DEST_PATH_IMAGE069
是带通滤波的中心频率；
经过滤波后得到原始时间序列S为
Figure 543605DEST_PATH_IMAGE024
,其中“*”表示的是卷积运算。
步骤三、设置降采样的频率
Figure 794458DEST_PATH_IMAGE005
，满足
Figure 635375DEST_PATH_IMAGE006
，对预处理后的脑电数据进 行降采样，得到降采样后的序列
Figure 847045DEST_PATH_IMAGE007
，建立训练集及测试集，其中i表示第i个采集电极，j表 示第i个采集电极的第j个数据点；
优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。
优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。
优选地，设原始时间序列S满足
Figure 431610DEST_PATH_IMAGE025
，其中
Figure 536969DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 424154DEST_PATH_IMAGE026
为所使 用的刺激图片的数量；
设置降采样的频率
Figure 982174DEST_PATH_IMAGE005
，满足
Figure 744331DEST_PATH_IMAGE006
，进行降采样，其中
Figure 704197DEST_PATH_IMAGE027
表示 为除模取余。
优选地，降采样后的序列
Figure 621338DEST_PATH_IMAGE007
为
Figure 932233DEST_PATH_IMAGE028
其中
Figure 733967DEST_PATH_IMAGE029
表示第i个通道第
Figure 548339DEST_PATH_IMAGE030
个数据点的值；
Figure 42906DEST_PATH_IMAGE031
，
Figure 575518DEST_PATH_IMAGE032
， 其中
Figure 39998DEST_PATH_IMAGE005
为降采样频率；
从而获得
Figure 849822DEST_PATH_IMAGE070
个脑电信号矩阵
Figure 374344DEST_PATH_IMAGE071
,其中
Figure 394253DEST_PATH_IMAGE002
为脑电通道数量，降采样后 每段脑电数据中所包含的时间点，例如，采样点，的个数
Figure 36324DEST_PATH_IMAGE072
；优选地，降采样频率 为
Figure 825289DEST_PATH_IMAGE073
，
Figure 520712DEST_PATH_IMAGE074
,从而每段脑电数据得到250个时间点，则降采样后的序列中，
Figure 903283DEST_PATH_IMAGE075
；优选地，
Figure 975144DEST_PATH_IMAGE059
。
从
Figure 618615DEST_PATH_IMAGE076
个脑电信号矩阵中，随机选取数据，按照8:2~9:1的比例建立训练集和测 试集，为了提高训练精度并且更好地评估预测效果。优选地，从
Figure 360306DEST_PATH_IMAGE076
个脑电信号矩阵中， 随机选取数据，按照80%、20%的比例建立训练集和测试集，即若采集1000个刺激图片的脑电 信号，被试者的数量为10个，则训练集包含8000个脑电信号矩阵，而测试集包含2000个脑电 信号矩阵。
步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；
所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，其中输入层作为整个神经网络的输入，在根据本发明的图像分类问题中，输入为训练集中所包含的脑电信号矩阵，其具体包括如下步骤：
S1：将训练集的脑电信号矩阵传输至神经网络的输入层，
优选地，将训练集中的每一张图片所采集到的脑电信号矩阵
Figure 354807DEST_PATH_IMAGE071
作为神经 网络的输入层，
Figure 964780DEST_PATH_IMAGE034
，其中dim表示“维度”，
Figure 603703DEST_PATH_IMAGE002
为脑电通道数量，
Figure 640929DEST_PATH_IMAGE035
为脑电 信号采样点的个数,数字“1”为新增加的维度。
S2：将输入层输入到卷积层，卷积核的维度设为
Figure 122726DEST_PATH_IMAGE036
。
对于第
Figure 644712DEST_PATH_IMAGE077
个卷积层来说，其输入为
Figure 528354DEST_PATH_IMAGE078
，
Figure 470903DEST_PATH_IMAGE078
的维度为
Figure 49783DEST_PATH_IMAGE079
；
Figure 267137DEST_PATH_IMAGE041
为第一层输入的脑电信号矩阵，即
Figure 739707DEST_PATH_IMAGE080
,
Figure 259681DEST_PATH_IMAGE081
；通过卷积核的维 度确定卷积核个数为
Figure 450491DEST_PATH_IMAGE082
，其中该层的卷积核
Figure 940378DEST_PATH_IMAGE083
的维度为
Figure 673979DEST_PATH_IMAGE084
，其中
Figure 223909DEST_PATH_IMAGE085
表示卷积核的大小，
Figure 275916DEST_PATH_IMAGE086
为上层网络输入的通道数；
可得，
Figure 569494DEST_PATH_IMAGE087
:
Figure 282236DEST_PATH_IMAGE088
其中
Figure 878433DEST_PATH_IMAGE089
第
Figure 43835DEST_PATH_IMAGE090
个卷积的偏置。
Figure 875525DEST_PATH_IMAGE092
其中
Figure 318139DEST_PATH_IMAGE093
Figure 209871DEST_PATH_IMAGE094
其中
Figure 596990DEST_PATH_IMAGE095
卷积核数量；
Figure 373317DEST_PATH_IMAGE096
为激活函数，即
Figure 795071DEST_PATH_IMAGE097
；
S3:当
Figure 123284DEST_PATH_IMAGE037
的维度
Figure 371600DEST_PATH_IMAGE038
大于第一层输入维度
Figure 545093DEST_PATH_IMAGE039
的 1/3时，每一层卷积层均连接相应的池化层，设池化层的输入为
Figure 86932DEST_PATH_IMAGE098
,其维度为
Figure 195834DEST_PATH_IMAGE099
,池化步长为
Figure 823124DEST_PATH_IMAGE100
，池化层的卷积核大小为
Figure 800308DEST_PATH_IMAGE101
。采用最大池化方法， 即池化函数
Figure 72020DEST_PATH_IMAGE102
得到池化层的输出为
Figure 476457DEST_PATH_IMAGE040
，其维度是
Figure 325464DEST_PATH_IMAGE103
具体地，
Figure 981704DEST_PATH_IMAGE104
其中
Figure 232557DEST_PATH_IMAGE105
Figure 73474DEST_PATH_IMAGE106
Figure 518100DEST_PATH_IMAGE107
当
Figure 102665DEST_PATH_IMAGE037
的维度
Figure 208024DEST_PATH_IMAGE038
小于等于第一层输入维度
Figure 829629DEST_PATH_IMAGE039
的 1/3时，卷积层直接与全连接层（Fully-connected layer）相连。
对于第
Figure 918808DEST_PATH_IMAGE011
层的第
Figure 775906DEST_PATH_IMAGE108
个节点，
Figure 876717DEST_PATH_IMAGE109
其中输入
Figure 59436DEST_PATH_IMAGE110
是上一层卷积层或池化层的输出的第
Figure 104753DEST_PATH_IMAGE111
个节点，其权重为
Figure 906487DEST_PATH_IMAGE112
、偏 置为
Figure 986438DEST_PATH_IMAGE113
，其维度是
Figure 713961DEST_PATH_IMAGE114
；
为了能够将其输入到全连接层中，需要将其拉平（flatten）为1维向量，其维度为
Figure 246573DEST_PATH_IMAGE115
,因此，
Figure 711052DEST_PATH_IMAGE116
S4：全连接层的输出输入至softmax层，对于softmax层，其中
Figure 786456DEST_PATH_IMAGE117
Figure 45399DEST_PATH_IMAGE043
其中
Figure 65307DEST_PATH_IMAGE044
，i为标签分类结果。令
Figure 474423DEST_PATH_IMAGE118
，那么该分类结果为 第
Figure 263388DEST_PATH_IMAGE046
类图片。
步骤五、在验证集上改进和优化所构建的脑电模型的参数；
将训练集随机分成K个子集，分别用
Figure 693232DEST_PATH_IMAGE047
表示，
Figure 341382DEST_PATH_IMAGE048
, 其中
Figure 147664DEST_PATH_IMAGE049
为训练集样本数；对于
Figure 56714DEST_PATH_IMAGE050
,在除第
Figure 296940DEST_PATH_IMAGE046
个子集以外的所有点上计算损失函 数
Figure 25862DEST_PATH_IMAGE051
，
Figure 901414DEST_PATH_IMAGE052
Figure 274758DEST_PATH_IMAGE053
表示卷积神经网络输出的标签结果。
通过计算损失函数
Figure 311984DEST_PATH_IMAGE051
的值，使用反向传播算法对网络中的权重
Figure 793781DEST_PATH_IMAGE112
和偏置为
Figure 817232DEST_PATH_IMAGE113
进行优化和更新；当训练循环次数达到最大训练循环次数L次时，取该循环过程中损失函数
Figure 435295DEST_PATH_IMAGE051
的最小值作为最优解，由以上步骤获得的卷积神经网络分类的最优脑电模型定义为
Figure 909001DEST_PATH_IMAGE008
，其中
Figure 487881DEST_PATH_IMAGE054
，
Figure 705236DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 177806DEST_PATH_IMAGE026
为所使用的刺激图片的数量。
步骤六、在测试集上进行脑电模型性能的测试；
将测试集中的脑电数据输入到脑电模型
Figure 196315DEST_PATH_IMAGE008
中，得到图片的预测标签；将该预 测标签与测试集中图片的原始标签进行对比，计算总体分类准确率。
优选地，脑电模型的预测准确率达到95%以上，即错误率低于5%，则认为该脑电模型可作为数据标注员的辅助工具，该脑电模型可应用于图片标注任务。
步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；
优选地，各电极的采样频率均为
Figure 387125DEST_PATH_IMAGE001
，通过该脑电采集系统进行脑电信号采集，得到 脑电数据
Figure 877012DEST_PATH_IMAGE003
,其中T为每张图片的呈现时间。
优选地，刺激图片的数量
Figure 610613DEST_PATH_IMAGE026
为1000个，采集
Figure 894964DEST_PATH_IMAGE057
名被试者，在观看给定图片标注任务 的过程中，采集其脑电数据，其中
Figure 714015DEST_PATH_IMAGE058
；
优选地，原始参考电极和多个采集电极共
Figure 7593DEST_PATH_IMAGE059
通道、10-20国际标准排列、采样 频率
Figure 454755DEST_PATH_IMAGE001
为1000Hz 的脑电采集系统进行脑电信号采集，得到脑电数据。
步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签；
优选地，脑电数据预处理的具体步骤如下：
a.计算在给定位点的采集电极的有效值
Figure 316532DEST_PATH_IMAGE010
，该有效值为该位点的采集电极
Figure 216355DEST_PATH_IMAGE011
和原 始参考电极
Figure 48045DEST_PATH_IMAGE012
之间的电位差
Figure 615292DEST_PATH_IMAGE013
。其中
Figure 146505DEST_PATH_IMAGE012
为原始参考电极，
Figure 533624DEST_PATH_IMAGE011
为所选定的采集电 极；
Figure 309951DEST_PATH_IMAGE014
是所选定的采集电极的电压幅值，
Figure 731705DEST_PATH_IMAGE015
是原始参考电极的电压幅值；
Figure 794339DEST_PATH_IMAGE016
；
Figure 809699DEST_PATH_IMAGE017
。
b.得到所选定的采集电极重参考后的电压幅值向量
Figure 983191DEST_PATH_IMAGE004
；i为第i个采集电极；
优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即 所选定的采集电极重参考后的电压幅值向量
Figure 259452DEST_PATH_IMAGE004
Figure 633933DEST_PATH_IMAGE062
Figure 995644DEST_PATH_IMAGE063
Figure 972827DEST_PATH_IMAGE064
Figure 743075DEST_PATH_IMAGE065
Figure 147511DEST_PATH_IMAGE119
其中
Figure 996519DEST_PATH_IMAGE004
为所选定的采集电极重参考后的电压幅值向量，
Figure 918338DEST_PATH_IMAGE019
，其中n为采集 电极的个数，n=c-1；i为第i个采集电极；
所述采集电极均为单通道电极，
Figure 903612DEST_PATH_IMAGE002
为采集通道数。
c. 步骤b得到的所选定的采集电极的信号向量,即电压幅值向量
Figure 744529DEST_PATH_IMAGE004
，关于时间
Figure 956199DEST_PATH_IMAGE020
的函数是
Figure 275184DEST_PATH_IMAGE021
，其中
Figure 380544DEST_PATH_IMAGE022
，i为第i个采集电极。
进行数字带通滤波的系统函数
Figure 267728DEST_PATH_IMAGE067
为：
Figure 91328DEST_PATH_IMAGE068
其中
Figure 214005DEST_PATH_IMAGE069
是带通滤波的中心频率；
经过滤波后得到的原始时间序列S为
Figure 813351DEST_PATH_IMAGE024
,其中“*”表示的是卷积运算。
具体地，当
Figure 996071DEST_PATH_IMAGE120
时，脑电数据预处理的具体步骤如下：
a.计算在给定位点的采集电极的有效值
Figure 182332DEST_PATH_IMAGE121
，该有效值为该位点的采集 电极
Figure 843121DEST_PATH_IMAGE011
和原始参考电极
Figure 188652DEST_PATH_IMAGE012
之间的电位差
Figure 372900DEST_PATH_IMAGE013
。其中
Figure 76151DEST_PATH_IMAGE012
为原始参考电极，
Figure 212735DEST_PATH_IMAGE011
为所选 定的采集电极；
Figure 553717DEST_PATH_IMAGE014
是所选定的采集电极的电压幅值，
Figure 78240DEST_PATH_IMAGE015
是原始参考电极的电压幅值；
Figure 239094DEST_PATH_IMAGE122
。
b.从每个通道中减去所有采集电极的平均值来计算重参考的平均参考，即
Figure 241685DEST_PATH_IMAGE062
Figure 296228DEST_PATH_IMAGE123
Figure 506499DEST_PATH_IMAGE124
Figure 951387DEST_PATH_IMAGE125
Figure 131570DEST_PATH_IMAGE066
其中
Figure 306199DEST_PATH_IMAGE002
为采集通道数，所述采集电极为单通道电极。
Figure 47890DEST_PATH_IMAGE126
为所选定的采集 电极重参考后的电压幅值向量。
c.进行数字带通滤波的系统函数
Figure 307970DEST_PATH_IMAGE067
；
Figure 652364DEST_PATH_IMAGE068
其中
Figure 556866DEST_PATH_IMAGE069
是带通滤波的中心频率；
假设步骤b得到的所选定的采集电极的信号向量的关于时间
Figure 859671DEST_PATH_IMAGE020
的函数是
Figure 951255DEST_PATH_IMAGE021
，其中
Figure 99340DEST_PATH_IMAGE127
。
那么经过滤波后得到的原始时间序列S为
Figure 982982DEST_PATH_IMAGE024
,其中“*”表示的是卷积运 算。
（2）脑电数据降采样处理步骤如下：
优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。
优选地，设置降采样的频率
Figure 830590DEST_PATH_IMAGE005
，满足
Figure 534104DEST_PATH_IMAGE006
，对预处理后的脑电数据进 行降采样，得到降采样后的序列
Figure 220300DEST_PATH_IMAGE007
，
优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。
优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。
优选地，设原始时间序列S满足
Figure 99395DEST_PATH_IMAGE025
，其中
Figure 744003DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 810179DEST_PATH_IMAGE026
为所使 用的刺激图片的数量；
设置降采样的频率
Figure 300066DEST_PATH_IMAGE005
，满足
Figure 892721DEST_PATH_IMAGE006
，进行降采样。其中
Figure 583597DEST_PATH_IMAGE027
表示为 除模取余。
优选地，降采样后的序列
Figure 261703DEST_PATH_IMAGE007
为
Figure 194762DEST_PATH_IMAGE028
其中
Figure 641923DEST_PATH_IMAGE029
表示第i个通道第
Figure 362755DEST_PATH_IMAGE030
个数据点的值；
Figure 403523DEST_PATH_IMAGE031
，
Figure 500792DEST_PATH_IMAGE032
， 其中
Figure 208985DEST_PATH_IMAGE005
为降采样频率；
优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。
优选地，设原始时间序列S满足
Figure 835138DEST_PATH_IMAGE025
，其中
Figure 753416DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 529742DEST_PATH_IMAGE026
为所使 用的刺激图片的数量；
设置降采样的频率
Figure 685917DEST_PATH_IMAGE005
，
Figure 388031DEST_PATH_IMAGE006
，其中
Figure 262446DEST_PATH_IMAGE027
表示为除模取余运算， 降采样后的序列为
设
Figure 967097DEST_PATH_IMAGE031
,那么，
Figure 118724DEST_PATH_IMAGE028
其中
Figure 617839DEST_PATH_IMAGE032
，其中
Figure 979550DEST_PATH_IMAGE005
为降采样频率；
从而获得
Figure 97678DEST_PATH_IMAGE070
个脑电信号矩阵
Figure 228445DEST_PATH_IMAGE071
,其中
Figure 773827DEST_PATH_IMAGE002
为脑电通道数量，降采样后每 段脑电数据中所包含的时间点，例如，采样点，的个数
Figure 622835DEST_PATH_IMAGE072
；优选地，降采样频率为
Figure 403709DEST_PATH_IMAGE073
，
Figure 28463DEST_PATH_IMAGE074
,从而每段脑电数据得到250个时间点，则降采样后的序列中，
Figure 869380DEST_PATH_IMAGE075
；优选地，
Figure 205684DEST_PATH_IMAGE059
。
将某一图片中获得的脑电信号矩阵
Figure 665615DEST_PATH_IMAGE054
，其中
Figure 36553DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 658159DEST_PATH_IMAGE026
为 所使用的刺激图片的数量，输入到由步骤四~步骤五训练得到的脑电模型
Figure 481758DEST_PATH_IMAGE055
中,得到
Figure 604435DEST_PATH_IMAGE056
，其中
Figure 705246DEST_PATH_IMAGE053
表示的是该图片的类别标签。
步骤九、该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。
本发明的用于图像标签标注的脑电信号深度学习方法能够进行质量控制，通过人的隐形智能结合人工智能神经网络，可以减少人的认知错误或者疲劳状态而导致的标注错误，提高数据标注质量。本发明的用于图像标签标注的脑电信号深度学习方法能够减少标注时间，加快标注速度；加入脑电信息之后，不仅提高标注的准确率和可信度，更重要的是可以为标注员提供一些合理提示，加快标注速度。本发明的用于图像标签标注的脑电信号深度学习方法还能够减少疲劳。由于机器在标注过程中提供了一定程度的辅助和提示作用，标注员则无须投入或消耗更多的认知资源，更不容易产生疲劳，在保证速度的同时也能提高标注质量。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连通”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连通，也可以通过中间媒介间接连通，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“至少三个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于图像标签标注的脑电信号深度学习方法，其特征在于，其包括如下步骤：
步骤一、以采样频率
Figure 569561DEST_PATH_IMAGE001
采集被试者的脑电信号,原始参考电极和多个采集电极的通道 数为
Figure 17860DEST_PATH_IMAGE002
；通过脑电采集系统进行脑电信号采集，得到脑电数据
Figure 328756DEST_PATH_IMAGE003
,其中T为每张图 片的呈现时间；
步骤二、对步骤一中所采集的脑电数据进行预处理，基于重参考的平均参考，获得所选 定的采集电极重参考后的电压幅值向量
Figure 520703DEST_PATH_IMAGE004
，i表示第i个采集电极；经过滤波后得到原始时 间序列S；
步骤三、设置降采样频率
Figure 69496DEST_PATH_IMAGE005
，对预处理后的脑电数据进行降采样，得到降采样后的序列
Figure 695822DEST_PATH_IMAGE006
，其中i表示第i个采集电极，j表示第i个采集电极的第j个数据点，建立训练集、验证集 及测试集；
步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；
步骤五、利用验证集改进和优化所构建的脑电模型的参数；
步骤六、利用测试集进行脑电模型性能的测试；
将测试集中的脑电数据输入到脑电模型
Figure 759593DEST_PATH_IMAGE007
中，得到图片的预测标签；将该预测标签 与测试集中图片的原始标签进行对比，计算总体分类准确率；
步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；
步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签。
2.如权利要求1所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，数据采集的具体过程如下：
S1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每张图 片呈现时间均为第一预设时间
Figure 489651DEST_PATH_IMAGE008
；
S2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；
S3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；
S4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。
3.如权利要求2所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，脑电数据预处理的具体步骤如下：
a.计算在给定位点的采集电极的有效值
Figure 892951DEST_PATH_IMAGE009
，该有效值为该位点的采集电极
Figure 417473DEST_PATH_IMAGE010
和原始参 考电极
Figure 719272DEST_PATH_IMAGE011
之间的电位差
Figure 987443DEST_PATH_IMAGE012
，
Figure 41986DEST_PATH_IMAGE013
是所选定的采集电极的电压幅值，
Figure 206252DEST_PATH_IMAGE014
是原始参考 电极的电压幅值；
Figure 244615DEST_PATH_IMAGE015
；
Figure 300164DEST_PATH_IMAGE016
；
b.得到所选定的采集电极重参考后的电压幅值向量
Figure 678056DEST_PATH_IMAGE004
；i为第i个采集电极；
Figure 544381DEST_PATH_IMAGE017
；
c.步骤b得到的所选定的采集电极的电压幅值向量
Figure 70040DEST_PATH_IMAGE004
关于时间
Figure 680013DEST_PATH_IMAGE018
的函数是
Figure 459881DEST_PATH_IMAGE019
，其中
Figure 965949DEST_PATH_IMAGE020
；通过系统函数
Figure 713325DEST_PATH_IMAGE021
进行数字带通滤波，获得原始 时间序列S为
Figure 126989DEST_PATH_IMAGE022
，i表示第i个采集电极。
4.如权利要求3所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。
5.如权利要求4所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，原始 时间序列S满足
Figure 213894DEST_PATH_IMAGE023
，其中
Figure 687600DEST_PATH_IMAGE002
为脑电采集通道数量，
Figure 171540DEST_PATH_IMAGE024
为所使用的刺激图片的数量；降采 样的频率
Figure 123316DEST_PATH_IMAGE005
满足
Figure 330306DEST_PATH_IMAGE025
；其中
Figure 240493DEST_PATH_IMAGE026
表示为除模取余。
6.如权利要求5所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，降采 样后的序列
Figure 696882DEST_PATH_IMAGE006
为
Figure 655611DEST_PATH_IMAGE027
其中
Figure 998999DEST_PATH_IMAGE028
表示第i个通道第
Figure 80087DEST_PATH_IMAGE029
个数据点的值；
Figure 23773DEST_PATH_IMAGE030
，
Figure 786192DEST_PATH_IMAGE031
，
Figure 498933DEST_PATH_IMAGE005
为 降采样频率，
Figure 734611DEST_PATH_IMAGE032
为
Figure 165593DEST_PATH_IMAGE006
所组成的数据集合。
7.如权利要求6所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，脑电模型的输入为训练集中所包含的脑电信号矩阵，其中池化方法采用最大池化。
8.如权利要求7所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，脑电模型的建立方法包括如下步骤：
S1：将训练集的脑电信号矩阵传输至神经网络的输入层，
Figure 466124DEST_PATH_IMAGE033
，其中dim表示“维度”，
Figure 298951DEST_PATH_IMAGE002
为脑电通道数量，
Figure 456263DEST_PATH_IMAGE034
为脑电信号采样点 的个数,数字“1”为新增加的维度；
S2：通过输入层将脑电信号矩阵传输至卷积层，卷积核的维度设为
Figure 125273DEST_PATH_IMAGE035
；
S3:当
Figure 229495DEST_PATH_IMAGE036
的维度
Figure 916828DEST_PATH_IMAGE037
大于第一层输入维度
Figure 245041DEST_PATH_IMAGE038
的1/3时， 每一层卷积层均连接相应的池化层；得到池化层的输出为
Figure 588298DEST_PATH_IMAGE039
；
Figure 558528DEST_PATH_IMAGE036
表示卷积神经网络的 第l层数据；
当
Figure 349635DEST_PATH_IMAGE036
的维度
Figure 52012DEST_PATH_IMAGE037
小于等于第一层输入维度
Figure 679303DEST_PATH_IMAGE038
的1/3时， 卷积层直接与全连接层相连；
S4：将全连接层的输出输入至softmax层，对于softmax层，其中
Figure 187644DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
其中
Figure 318411DEST_PATH_IMAGE042
，i为标签分类结果，令
Figure 4739DEST_PATH_IMAGE043
,那么该分类结果为第
Figure 119325DEST_PATH_IMAGE044
类 图片。
9.如权利要求8所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，步骤 五中，将训练集随机分成K个子集，分别用
Figure 900199DEST_PATH_IMAGE045
表示，
Figure 619894DEST_PATH_IMAGE046
,其中
Figure 460811DEST_PATH_IMAGE047
为训练集样本数；对于
Figure 577540DEST_PATH_IMAGE048
,在除第
Figure 365368DEST_PATH_IMAGE044
个子集以外的所有点上计算损失函数
Figure 736306DEST_PATH_IMAGE049
，
Figure 13704DEST_PATH_IMAGE050
Figure 837303DEST_PATH_IMAGE051
表示卷积神经网络输出的标签结果。
10.如权利要求9所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，步 骤八中设置降采样的频率
Figure 976292DEST_PATH_IMAGE052
，满足
Figure 404999DEST_PATH_IMAGE053
，对预处理后的脑电数据进行降采样， 得到降采样后的序列
Figure 853298DEST_PATH_IMAGE054
，输入到由步骤四至步骤五训练得到的脑电模型
Figure 429773DEST_PATH_IMAGE055
中,得到
Figure 356140DEST_PATH_IMAGE056
,其中
Figure 639354DEST_PATH_IMAGE057
表示的是该图片的类别标签。
CN202110740329.1A 2021-07-01 2021-07-01 一种用于图像标签标注的脑电信号深度学习方法 Pending CN113180701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110740329.1A CN113180701A (zh) 2021-07-01 2021-07-01 一种用于图像标签标注的脑电信号深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110740329.1A CN113180701A (zh) 2021-07-01 2021-07-01 一种用于图像标签标注的脑电信号深度学习方法

Publications (1)

Publication Number Publication Date
CN113180701A true CN113180701A (zh) 2021-07-30

Family

ID=76976880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110740329.1A Pending CN113180701A (zh) 2021-07-01 2021-07-01 一种用于图像标签标注的脑电信号深度学习方法

Country Status (1)

Country Link
CN (1) CN113180701A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029961A (ja) * 2002-06-21 2004-01-29 Fuji Xerox Co Ltd 画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法
CN107590445A (zh) * 2017-08-25 2018-01-16 西安电子科技大学 基于脑电信号的美学图像质量评价方法
CN108294748A (zh) * 2018-01-23 2018-07-20 南京航空航天大学 一种基于稳态视觉诱发的脑电信号采集与分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110222643A (zh) * 2019-06-06 2019-09-10 西安交通大学 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
CN110991406A (zh) * 2019-12-19 2020-04-10 燕山大学 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN111597990A (zh) * 2020-05-15 2020-08-28 北京邮电大学 一种基于rsvp范式的脑-机结合目标检测方法及系统
CN111671420A (zh) * 2020-06-17 2020-09-18 河北省科学院应用数学研究所 一种从静息态脑电数据中提取特征的方法及终端设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029961A (ja) * 2002-06-21 2004-01-29 Fuji Xerox Co Ltd 画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法
CN107590445A (zh) * 2017-08-25 2018-01-16 西安电子科技大学 基于脑电信号的美学图像质量评价方法
CN108294748A (zh) * 2018-01-23 2018-07-20 南京航空航天大学 一种基于稳态视觉诱发的脑电信号采集与分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110222643A (zh) * 2019-06-06 2019-09-10 西安交通大学 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
CN110991406A (zh) * 2019-12-19 2020-04-10 燕山大学 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN111597990A (zh) * 2020-05-15 2020-08-28 北京邮电大学 一种基于rsvp范式的脑-机结合目标检测方法及系统
CN111671420A (zh) * 2020-06-17 2020-09-18 河北省科学院应用数学研究所 一种从静息态脑电数据中提取特征的方法及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BLAIR KANESHIRO 等: "A Representational Similarity Analysis of the Dynamics of Object Processing Using Single-Trial EEG Classification", 《PLOS ONE》 *
C. SPAMPINATO等: "Deep Learning Human Mind for Automated Visual Classification", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN113763572B (zh) * 2021-09-17 2023-06-27 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
US11580409B2 (en) System and method for iterative classification using neurophysiological signals
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
Yang et al. Facs3d-net: 3d convolution based spatiotemporal representation for action unit detection
CN114581823B (zh) 基于时序特征的虚拟现实视频情感识别方法及系统
CN117115045B (zh) 基于互联网生成式人工智能提升医学影像数据质量的方法
CN111080624B (zh) 精子运动状态的分类方法、装置、介质及电子设备
CN108764084A (zh) 基于空域分类网络和时域分类网络融合的视频分类方法
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN111597990A (zh) 一种基于rsvp范式的脑-机结合目标检测方法及系统
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
CN113180701A (zh) 一种用于图像标签标注的脑电信号深度学习方法
CN111931748B (zh) 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN117058752A (zh) 一种基于改进YOLOv7的学生课堂行为检测方法
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
CN115719497A (zh) 一种学生专注度识别方法及系统
CN115659221A (zh) 一种教学质量的评估方法、装置及计算机可读存储介质
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
CN111651626B (zh) 图像分类方法、装置及可读存储介质
CN113255789A (zh) 基于对抗网络和多被试脑电信号的视频质量评价方法
CN111582404A (zh) 内容分类方法、装置及可读存储介质
CN112906539B (zh) 一种基于eeg数据的物体识别方法
CN110738638A (zh) 视觉显著性检测算法适用性预测与性能盲评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination