CN111568412A - 一种利用脑电信号重建视觉图像的方法及装置 - Google Patents

一种利用脑电信号重建视觉图像的方法及装置 Download PDF

Info

Publication number
CN111568412A
CN111568412A CN202010261283.0A CN202010261283A CN111568412A CN 111568412 A CN111568412 A CN 111568412A CN 202010261283 A CN202010261283 A CN 202010261283A CN 111568412 A CN111568412 A CN 111568412A
Authority
CN
China
Prior art keywords
image
characteristic
current
feature
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010261283.0A
Other languages
English (en)
Inventor
张贺晔
郝菁煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010261283.0A priority Critical patent/CN111568412A/zh
Publication of CN111568412A publication Critical patent/CN111568412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请提供了一种利用脑电信号重建视觉图像的方法及装置，包括：利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括像素点值，和像素点位置；获取受试者的当前脑电信号的当前特征向量；通过所述对应关系，确定与所述当前特征向量对应的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征，包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像特征，确定为所述当前图像特征。克服了脑电信号中混杂的噪声和伪影的影响，成功利用其重建图像；利用了脑电信号的时空特征，将脑电信号中的有效信息提取用于图像重建。

Description

一种利用脑电信号重建视觉图像的方法及装置
技术领域
本申请涉及医学检测领域，特别是一种利用脑电信号重建视觉图像的方 法及装置。
背景技术
科学界一直尝试突破对大脑工作机制理解和探测技术的极限。例如，用 于残疾人的机器直接驱动控制的脑-机接口研究是一个相对成功的研究领 域，它可以对用户的生活产生直接影响。而认知神经科学的研究一直试图确 定人类视觉皮层和大脑的哪些部分负责视觉认知过程，但还未有定论，但人 们已经确定，大脑活动记录包含有关视觉对象类别的信息。这种考虑使人怀 疑是否可以识别这种大脑的活动模式，以便提取关于观察到的场景内容的有 用信息。然后，将这种信息与条件生成模型结合使用，使其重建意境逼真的 图像。
事实上，人类的视觉皮层占整个皮层面积的30％左右，这使得它远远大 于其他感觉皮层，这意味着视觉信息在大脑中的呈现显然是所有感觉过程中 最复杂的。在2012年的《美国科学公共图书馆生物卷》中，B.N.Pasley等 人描述了一种基于人类听觉皮层数据重建(部分)语音刺激的方法，由皮层 表面电极阵列获得听觉数据。该方法与脑电信号的获取相比，受噪声影响更 小，并且需要的生成模型更简单。然而，这样的做法用于视觉信号提取是禁 止的，因为它需要进行开颅手术。
重建人类视觉的过程不同于其感觉，因为它需要理解通过现有设备记录 的脑信号是否记录视觉的内容和如何传达视觉内容的。有一些研究试图解决 这个问题，例如，通过不同的视觉刺激识别所见类别。2015年，B.Kaneshiro 等人在《美国科学公共图书馆-ONE》中提出训练一个分类器，根据脑电信 号生成的地形图来识别目标类别。然而，由于所采用的线性分类器不能很好 地反映脑电信号的时空动态特性，因此获得的准确率较低(12类以上29％)。 2014年A.X.Stewart等人《神经科学方法杂志》中也有类似的工作，但这次原始脑电数据首先通过独立分量分析进行处理，然后输入一个支持向量机分 类器，该分类器的任务是只区分两个类别。虽然这些工作无疑是有趣的，但 它们仍存在一些局限性(相对简单的分类模型，较少的对象类)，不允许在 更深层次上研究脑电信号的时空动力学。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解 决所述问题的一种利用脑电信号重建视觉图像的方法及装置，包括：
一种利用脑电信号重建视觉图像的方法，包括：
利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电 信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括 像素点值，和像素点位置；
获取受试者的当前脑电信号的当前特征向量；
通过所述对应关系，确定与所述当前特征向量对应的当前图像特征；具 体地，确定与所述当前特征向量对应的当前图像特征，包括：将所述对应关 系中与所述当前特征向量相同的特征向量所对应的图像特征，确定为所述当 前图像特征。
进一步地，
所述特征向量，包括：时间特征，和波形特征，和/或由按设定规律自所 述时间特征，以及所述波形特征中提取的特征组成的一维或以上的综合特 征；其中，
所述时间特征，包括：单位时间步时长；
和，
所述波形特征，包括：采集点数量，以及各采集点在单位时间步内的采 集电压值；
和/或，
所述对应关系，包括：函数关系；所述特征向量为所述函数关系的输入 参数，所述图像特征为所述函数关系的输出参数；
确定与所述当前特征向量对应的当前图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前特征向量输入所述函数关 系中，确定所述函数关系的输出参数为当前图像特征。
进一步地，建立脑电信号的特征向量与根据脑电信号生成的图像的图像 特征之间的对应关系的步骤，包括：
利用循环人工神经网络的学习特性，获取所述时间特征，和所述波形特 征与所述特征向量之间的特征关系；
获取用于建立所述对应关系的时间特征，和波形特征；
通过所述特征关系，确定与所述用于建立所述对应关系的时间特征，和 波形特征对应的特征向量。
进一步地，所述建立脑电信号的特征向量与根据脑电信号生成的图像的 图像特征之间的对应关系的步骤，包括：
获取用于建立所述特征向量与所述图像特征之间的对应关系的样本数 据；
分析所述特征向量的特性及其规律，根据所述特性及其规律，确定所述 人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试， 确定所述特征向量与所述图像特征的所述对应关系。
进一步地，所述获取用于建立所述特征向量与所述图像特征之间的对应 关系的样本数据的步骤，包括：
收集不同受试者的所述特征向量和所述图像特征；
对所述特征向量进行分析、并结合预存的专家经验信息，选取与所述图 像特征相关的数据作为所述特征向量；
将所述图像特征、以及选取的所述特征向量构成的数据对，作为样本数 据。
进一步地，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的 所述特征向量输入到所述网络结构，通过所述网络结构的损失函数，激活函 数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应图像特征之间的实际 训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和 所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中 的所述特征向量输入到所述训练完成的所述网络结构中，以所述损失函数， 激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应图像特征之间的实际 测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和 所述网络参数的所述测试完成。
进一步地，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的 误差损失函数更新所述网络参数；
通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数 进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误 差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所 述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设 定测试误差。
一种利用脑电信号重建视觉图像的装置，包括：
建立模块，用于利用人工神经网络的自学习能力，建立脑电信号的特征 向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特 征图像特征包括像素点值，和像素点位置；
获取模块，用于获取受试者的当前脑电信号的当前特征向量；
确定模块，用于通过所述对应关系，确定与所述当前特征向量对应的当 前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征，包括： 将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像特征， 确定为所述当前图像特征。
一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处 理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所 述的利用脑电信号重建视觉图像的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程 序，所述计算机程序被处理器执行时实现如上所述的利用脑电信号重建视觉 图像的方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立脑电 信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其 中，所述特征图像特征包括像素点值，和像素点位置；获取受试者的当前脑 电信号的当前特征向量；通过所述对应关系，确定与所述当前特征向量对应 的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征， 包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像 特征，确定为所述当前图像特征。克服了脑电信号中混杂的噪声和伪影的影响，成功利用其重建图像；利用了脑电信号的时空特征，将脑电信号中的有 效信息提取用于图像重建，而不只是简单的分类。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提 下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的 步骤流程图；
图2是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的 流程示意图；
图3是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的 循环人工神经网络结构示意图；
图4是本申请一实施例提供的一种利用脑电信号重建视觉图像的方法的 脑电信号的特征向量提取框架结构示意图；
图5-a是本申请一具体实现提供的一种利用脑电信号重建视觉图像的方 法的利用脑电信号的特征向量重建图像的示意图；
图5-b是本申请一具体实现提供的一种利用脑电信号重建视觉图像的方 法的重建图像的初始得分和分类结果示意图；
图6是本申请一实施例提供的一种利用脑电信号重建视觉图像的装置的 结构框图；
图7是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本 申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域 普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属 于本申请保护的范围。
参照图2，需要说明的是，在本发明任一实施例中，由“脑电信号输入” 和“图像输出”两部分组成，其中脑电信号由向受试者在观察显示图像时记 录，图像输出由生成器获取，该生成器学习将处理后的脑电信号特征向量与 记录这些信号时观察到的图像类相关联。本发明默认脑电信号对视觉相关信 息进行内在编码，无论这些信息是对视觉刺激的低级反应，还是与更复杂的 脑部活动(如识别和理解)相关的高级认知过程。
参照图1，示出了本申请一实施例提供的一种利用脑电信号重建视觉图 像的方法，包括：
S110、利用人工神经网络的自学习能力，建立脑电信号的特征向量与根 据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特 征包括像素点值，和像素点位置；
S120、获取受试者的当前脑电信号的当前特征向量；
S130、通过所述对应关系，确定与所述当前特征向量对应的当前图像特 征；具体地，确定与所述当前特征向量对应的当前图像特征，包括：将所述 对应关系中与所述当前特征向量相同的特征向量所对应的图像特征，确定为 所述当前图像特征。
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立脑电 信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其 中，所述特征图像特征包括像素点值，和像素点位置；获取受试者的当前脑 电信号的当前特征向量；通过所述对应关系，确定与所述当前特征向量对应 的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征， 包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像 特征，确定为所述当前图像特征。克服了脑电信号中混杂的噪声和伪影的影响，成功利用其重建图像；利用了脑电信号的时空特征，将脑电信号中的有 效信息提取用于图像重建，而不只是简单的分类。
下面，将对本示例性实施例中利用脑电信号重建视觉图像的方法作进一 步地说明。
如上述步骤S110所述，利用人工神经网络的自学习能力，建立脑电信 号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其 中，所述特征图像特征包括像素点值，和像素点位置。
例如：利用人工神经网络算法来分析图像特征对应的脑电信号的显示状 态规律，通过人工神经网络的自学习、自适应特性找到受试者脑电信号的特 征向量与图像特征间的映射规律。
例如：可以利用人工神经网络算法，通过对大量不同受试者(包括但不 限于如下的一种或多种：年龄，体重，性别，病况等)的脑电信号的特征向 量汇总收集，选取若干受试者的脑电信号的特征向量及图像特征作为样本数 据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值， 使神经网络拟合脑电信号的特征向量及图像特征之间的关系，最终使神经网 络能准确拟合出不同受试者的脑电信号的特征向量及图像特征的对应关系。
在一实施例中，所述特征向量，包括：时间特征，和波形特征，和/或由 按设定规律自所述时间特征，以及所述波形特征中提取的特征组成的一维或 以上的综合特征；其中，
所述时间特征，包括：单位时间步时长；
和，
所述波形特征，包括：采集点数量，以及各采集点在单位时间步内的采 集电压值；
在一实施例中，所述对应关系，包括：函数关系。
优选地，所述特征向量为所述函数关系的输入参数，所述图像特征为所 述函数关系的输出参数；
确定与所述当前特征向量对应的当前图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前特征向量输入所述函数关 系中，确定所述函数关系的输出参数为当前图像特征。
由此，通过多种形式的对应关系，可以提升对当前图像特征确定的灵活 性和便捷性。
在一实施例中，建立脑电信号的特征向量与根据脑电信号生成的图像的 图像特征之间的对应关系的步骤，包括：
利用循环人工神经网络的学习特性，获取所述时间特征，和所述波形特 征与所述特征向量之间的特征关系；
获取用于建立所述对应关系的时间特征，和波形特征；
通过所述特征关系，确定与所述用于建立所述对应关系的时间特征，和 波形特征对应的特征向量。
例如：可以利用循环人工神经网络算法，通过对大量不同受试者(包括 但不限于如下的一种或多种：年龄，性别，职业等)在不同时间特征下的波 形特征汇总收集，选取若干预设的时间特征，和若干受试者的波形特征及脑 电信号的特征向量作为样本数据，对循环人工神经网络进行学习和训练，通 过调整网络结构及网络节点间的权值，使循环人工神经网络拟合时间特征， 和波形特征与脑电信号的特征向量之间的关系，最终使循环人工神经网络能 准确拟合出不同时间特征，和不同受试者的波形特征与脑电信号的特征向量 的对应关系。
参照图3，作为一种示例，利用基于RNN的编码器在时间上分析脑电 信号，并学习将其编码成脑电信号的特征向量，其中包含脑电信号中与视觉 相关的部分，和与类别有关的信息。
由于现有的方法试图直接处理多通道的时间脑电序列，但这种方法只是 将时间序列串联成一个单一的特征向量，忽略了局部时间动力学。为了考虑 时间依赖性，采用了长短期记忆递归神经网络。
本示例的EEG特征编码器如图3所示，由标准长短期记忆人工神经网 络(LSTM，Long Short-Term Memory)层和非线性层组成。在每个时间步，输 入s(·，t)(即时间t时来自所有通道的值的集合(提取的脑电信号有128 个通道))被馈入LSTM层；当所有时间步被处理后，LSTM层的最终输出 状态进入具有ReLU非线性的完全连接层。结果的输出为脑电信号的特征向 量，需要说明的是，在理想情况下是视觉类的一种紧凑表示——辨别性脑活动信息。通过附加一个分类层，并执行梯度下降优化(由记录输入信号时显 示的图像类别监督)来端到端地训练编码器和分类器。
在一实施例中，可以结合下列描述进一步说明步骤S110中“建立脑电 信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系”的 具体过程。
如下列步骤所述：获取用于建立所述特征向量与所述图像特征之间的对 应关系的样本数据；
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述 特征向量与所述图像特征之间的对应关系的样本数据”的具体过程。
如下列步骤所述：收集不同受试者的所述特征向量和所述图像特征；
例如：数据搜集：搜集不同健康状况的受试者的特征向量及对应的图像 特征；以及，搜集不同年龄的受试者的特征向量及对应的图像特征；以及， 搜集不同性别的受试者的特征向量及对应的图像特征。
由此，通过多种途径收集运行数据，有利于增加运行数据的量，提升人 工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
如下列步骤所述：对所述特征向量进行分析、并结合预存的专家经验信 息，选取与所述图像特征相关的数据作为所述特征向量(例如：选取对图像 特征有影响的特征向量作为输入参数，将指定参数作为输出参数)；
例如：通过将已确诊的受试者的相关数据中的特征向量作为输入参数， 将其相关数据中的图像特征作为输出参数。
如下列步骤所述：将所述图像特征、以及选取的所述特征向量构成的数 据对，作为样本数据。
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分 用作测试样本数据。
由此，通过对收集到的特征向量进行分析及处理，进而得到样本数据， 操作过程简单，操作结果可靠性高。
如下列步骤所述：分析所述特征向量的特性及其规律，根据所述特性及 其规律，确定所述人工神经网络的网络结构及其网络参数；
例如：分析脑电信号的特征向量与根据脑电信号生成的图像的图像特 征，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、 隐节点数、网络初始权值等。
所述网络结构，为生成式对抗网络(GAN,Generative Adversarial Networks)；
和/或，
所述网络参数，包括：卷积层数，卷积核大小，卷积核数量，归一化层 数，池化层数，空洞卷积残差块数量，全连接层数，初始权值，以及，偏置 值中的至少之一。
参照图2-4，作为一种示例，本申请公开的方法使用条件GAN框架中的 生成器网络来生成图像。在原始公式中，生成模型G(z|y)将随机输入从Pz(z) 噪声分布和条件y映射到目标数据分布Pdata(x)。在给定条件下，判别模型 D(x|y)预测数据点属于目标分布的概率。生成器和判别器同时被训练，使得 判别器试图最大化将正确的标签分配给“真实”数据的概率(来自Pdata(x)) 和“假”数据(从PG(z|y))，而生成器试图最大化鉴别器错误产生“真实”样本的概率。换句话说，这两个模型玩由值函数V(D，G)定义的以下极大极 小博弈：
Figure BDA0002439383990000101
实际上，从训练的角度来看，这意味着，给定一个正确的样本Sc＝(xc，yc) 包括真实数据和正确条件，和一个由假数据和任意条件组成的假样本 Sw＝(xw，yw)，负对数似然判别器损失计算如下：
Figure BDA0002439383990000111
而生成器的损失，则由同样的假样本Sw构成：
Figure BDA0002439383990000112
在本发明中，与每个图像相关联的条件向量是每个类和所有对象的所有 图像上的平均脑电信号的特征向量向量(由上一节中描述的网络计算)。
在生成器中，将条件y附加到随机噪声向量z，并且一系列转置卷积将 级联的输入放大到输出彩色图像。判别器将相同大小的图像(实际图像或生 成图像)作为输入。在经过几个减小特征映射大小的卷积层之后，将与输入 图像相关联的条件y从第二卷积层到最后一卷积层在空间上复制并附加到特 征映射集中，在此基础上进行最终概率估计。
同时，在实际应用中，本发明修改了先前给出的判别器损失函数：不是 用使用正确条件的真实图像和使用任意条件的假图像来训练判别器，还提供 了一个由真实图像和错误条件组成的错误样本，随机选择不同类别的代表性 脑电信号的特征向量向量，这迫使判别器学习在没有任何明确信息的情况下 如何区分真实图像是否具有正确条件。因此，给定正确的样本Sc＝(xc,yc)和 错误的样本Sw1＝(xc,yw)和Sw2＝(xw,yw)，判别器损失变为：
Figure BDA0002439383990000113
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所 述网络结构和所述网络参数进行训练和测试，确定所述特征向量与所述图像 特征的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过 程。
如下列步骤所述，选取所述样本数据中的一部分数据作为训练样本，将 所述训练样本中的所述特征向量输入到所述网络结构，通过所述网络结构的 损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
具体地，通过梯度下降算法最小化损失函数，更新网络参数，训练当前 神经网络模型，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应图像特征之间的实际 训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误 差时，确定对所述网络结构和所述网络参数的所述训练完成；
具体地，当所述实际训练误差满足所述预设训练误差时，且在当前训练 的模型收敛，确定对所述网络结构和所述网络参数的所述训练完成。
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的 误差损失函数更新所述网络参数；通过所述网络结构的所述损失函数，激活 函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训 练误差满足所述设定训练误差；
例如：若测试误差满足要求，则网络训练测试完成。
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试， 以进一步验证网络结构及网络参数的可靠性。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所 述网络结构和所述网络参数进行训练和测试，确定所述特征向量与所述图像 特征的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过 程。
如下列步骤所述，选取所述样本数据中的另一部分数据作为测试样本， 将所述测试样本中的所述特征向量输入到所述训练完成的所述网络结构中， 以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到 实际测试结果；确定所述实际测试结果与所述测试样本中的相应图像特征之 间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设 定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
如上述步骤S120所述，获取受试者的当前脑电信号的当前特征向量；
如上述步骤S130所述，通过所述对应关系，确定与所述当前特征向量 对应的当前图像特征。
例如：实时识别出受试者的脑电信号的特征向量。
由此，通过基于对应关系，根据当前特征向量有效地识别出脑电信号的 当前图像特征，从而为测试员的诊断提供准确的判断依据，且判断结果精准 性好。
在一个可选例子中，步骤S130中确定与所述特征向量对应的当前图像 特征，可以包括：将所述对应关系中与所述当前特征向量相同的特征向量所 对应的图像特征，确定为所述当前图像特征。
在一个可选例子中，步骤S130中确定与所述特征向量对应的当前图像 特征，还可以包括：当所述对应关系可以包括函数关系时，将所述当前特征 向量输入所述函数关系中，确定所述函数关系的输出参数为当前图像特征。
由此，通过基于对应关系或函数关系，根据当前特征向量确定当前图像 特征，确定方式简便，确定结果可靠性高。
例如，用训练所得到的人工神经网络模型去检测测试集中每一个样例的 图像特征。
在一个可选实施方式中，还可以包括：验证所述当前图像特征与实际图 像特征是否相符的过程。
可选地，可以接收到所述当前图像特征与实际图像特征不符的验证结 果、和/或确定所述对应关系中没有与所述当前特征向量相同的特征向量时， 对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：设备本身无法获知到实际图像特征，需要有测试员的反馈操作才 行，即如果设备智能判断出图像特征，测试员通过操作反馈其与实际的状态 不符，设备才能获知。
验证所述当前图像特征与实际图像特征是否相符(例如：可以通过AR显 示模块对实际图像特征进行显示，以验证确定的所述当前图像特征与实际图 像特征是否相符)。
当所述当前图像特征与实际图像特征不符、和/或所述对应关系中没有与 所述当前特征向量相同的特征向量时，对所述对应关系进行更新、修正、再 学习中的至少一种维护操作。
例如：可以根据维护后的对应关系，根据所述当前特征向量确定当前图 像特征。例如：将维护后的所述对应关系中与所述当前特征向量相同的特征 向量对应的图像特征，确定为当前图像特征。
由此，通过对确定的特征向量与图像特征之间的对应关系的维护，有利 于提升对图像特征确定的精准性和可靠性。
参照图4、5-a和5-b，在一具体实现中，在Linux(Ubuntu16.04)系统 上，使用Python完成了所有代码，在NVIDIA Tesla P40 24GB GPU显卡上 训练并测试本发明方法。使用深度学习Pytorch框架，利用Adam优化器。
生成器以100维随机噪声和128维脑电信号的特征向量的级联向量作为 输入。然后，这样的输入经过5个转置卷积层：第一层在空间上对向量进行 4次上采样，而其他每一层在每一步都将大小加倍，因此输出图像大小为64 ×64。特征映射的数量从第一层的512开始，在输出3通道(彩色)图像的 最后一层之前，每一层的特征映射数量减半。
鉴别器由四个卷积层和两个完全连接层组成。64×64的图像作为输入， 并且在每个卷积步骤中相似地将特征映射大小减半。在最终卷积层之后，其 中特征映射大小为4×4(在空间上附加条件向量)，两个完全连接的层将特 征数目减少到1024个和1个，后者是对输入图像/条件对的sigmoid概率估 计。卷积层中的特征映射的数量从第一层的64个开始，在完全连接层之前 的每一层增加一倍。生成器和鉴别器都包括批处理规范化模块和ReLU非线 性。
在来自6个受试者分别观察2000副图像所产生的12000张128通道的 脑信号图上进行实验，验证本发明的有效性。
使用以下两个角度来评估本方法的性能：
(1)脑电信号的特征向量编码架构如何从视觉刺激诱发的原始脑电信 号中提取有意义的表示
(2)使用初始分数(IS)，估计生成的图像的真实性和多样性，并根据它 在所考虑的一批生成图像上的分类精度来判断生成图像的质量。
需要说明的是，6名受试者参加了实验，在记录脑电图数据的同时，给 他们看了物体的图像。所有受试者均由专业医师进行评估，以排除可能改变 正常大脑活动的健康状况或药物。
受试者被展示了来自40个不同对象类别的50幅图像，每个受试者总共 有2000幅图像。每个图像类以25秒(每个图像0.5秒)的间隔呈现，然后 在显示黑色图像的地方暂停10秒。黑色图像用于“刷新”前一个图像中出 现的任何高级类信息。每个实验的总运行时间为1400秒(23分20秒)。实 验方案详见表1。
类的数量 40
每类图像数量 50
图像总数量 2000
可视化顺序 顺序
每张图显示的时间 0.5s
每类之间停顿的时间 10s
节的数量 4
每节的时间 350s
总时间 1400s
表1
在采集信号时使用了Activap5电容器和128个有源低阻抗、低噪声电极。 使用了4个32通道Brainvision6高精度、低延迟信号放大器(精确型号： BrainAmp DC)，在实验执行期间有一名合格的技术人员在场，通过使用导 电研磨凝胶确保皮肤阻抗始终保持在10千欧以下。采集到的脑电信号在运 行时(即在采集阶段)通过集成硬件陷波滤波器(49-51hz)和频率边界为 14-70hz的二阶巴特沃斯(带通)滤波器进行滤波。这个频率范围包含在视觉识别任务中最有意义的必要波段(α、β和γ)。采样频率设置为1000 赫兹，量化分辨率设置为16位。
将脑电信号数据集分成培训、验证和测试集，分别占80％(1600张图片)， 10％(200)，10％(200)。通过图像分割样本，而不是通过脑电信号(对 于每个图像，脑电信号的数量与受试者的数量一样多)来分割，可以确保所 有单个图像生成的脑电信号不会划分到不同数据集。训练采用Adam梯度下 降法(学习率初始化为0.001)，每小批16个。模型中的所有层大小(堆叠 的LSTMs和下面的非线性层)都设置为128。模型和训练超参数在验证集上进行了调整。
参照图4，通过测试了若干种脑电信号的特征向量提取网络的几种配置。
如图4中a部分所示，公共LSTM：特征提取网络由若干层LSTM层组 成。在每个时间步骤t中，第一层接收输入s(·，t)(在这个意义上，“公 共”意味着所有EEG通道最初被馈送到同一LSTM层)；如果存在其他LSTM 层，则第一层的输出(其大小可能与原始输入不同)被提供为对第二层的输 入，依此类推。最后一步最深层LSTM层的输出作为整个输入序列的EEG 特征表示。
如图4中b部分所示，通道LSTM+公共LSTM：第一编码层由多个LSTM 组成，每个LSTM仅连接到一个输入通道：例如，第一个LSTM处理输入数 据s(1，·)，第二个LSTM处理s(2，·)，等等。这样，每个“通道 LSTM”的输出是单个通道数据的特征。然后，第二编码层通过接收所有信 道LSTMs的连接输出向量作为输入来执行通道间分析。如上所述，最后一 步最深LSTM的输出用作脑电信号特征值向量。
如图4中c部分所示，公共LSTM+输出层：类似于公共LSTM体系结 构，但在LSTM之后增加了一个额外的输出层(输入的线性组合，然后是 ReLU非线性)，以便以很少的计算量增加模型容量(如果与两层公共LSTM 体系结构相比)。在这种情况下，脑电的特征值向量是最后一层的输出。
实验结果如表2所示。最好的框架结构所提取的脑电特征向量在分类实 验中能够达到80％以上的准确度，即，证明本方法的框架可以从原始脑电信 号中提取出具有类别特征的部分。
Figure BDA0002439383990000171
表2
参照图5-a和5-b，显示了数据集中40个类中的一些类的示例。可见生 成器能够捕获脑电信号特征值中的有关类的信息并生成对应类别的图像，这 证实了生成器和鉴别器能够利用条件EEG特征来区分不同的输入/输出类 别，由于所选的40个ImageNet类在对象外观和大小方面表现出较高的类内 方差，因此在不同的类别生成的图像效果存在差异。
其中，还计算了全局(所有类)和每个类的初始分数(IS)。在第一种 情况下，生成50000个图像样本(每个类1250个)；在第二种情况下，为 每个类生成50000个图像样本，并计算每个类的初始分数。结果见表3。可 以看出，本发明重建图像的初始得分近似于在CIFAR-10上的最佳结果8.07 (在ImageNet或其子集上的初始的分尚未发布)。虽然取得的初始分数与 CIFAR-10计算的分数存在差异，但应注意，训练ImageNet比CIFAR-10具 有更大的难度，具体见下：
(1)ImageNet(64*64)比CIFAR-10(32*32)具有更高的分辨率；
(2)ImageNet(40类)比CIFAR-10(10类)具有更多的类别；
(3)ImageNet(每类1200-1300张)比CIFAR-10(每类6000张)在每 类中有更少的训练数据；
(4)ImageNet比CIFAR-10有更高的类内方差
由于初始分数不能根据与条件向量的对应来测量生成图像的正确性，因 此进行了评估，目的是验证给定条件(每类脑电特征值的平均)下生成的图 像与正确类别的图像相似。为此，使用先前生成的50000个图像样本(每个 类1250个图像)通过初始网络计算类概率分布。正确的分类率为63％，远 远高于在40个类上随机猜测的2.5％，但这表明生成的图像足够真实，使自 动分类有意义。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。
参照图6，示出了本申请一实施例提供的一种利用脑电信号重建视觉图 像的装置，其特征在于，包括：
建立模块610，用于利用人工神经网络的自学习能力，建立脑电信号的 特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所 述特征图像特征包括像素点值，和像素点位置；
获取模块620，用于获取受试者的当前脑电信号的当前特征向量；
确定模块630，用于通过所述对应关系，确定与所述当前特征向量对应 的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征， 包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像 特征，确定为所述当前图像特征。
在一实施例中，所述特征向量，包括：时间特征，和波形特征，和/或由 按设定规律自所述时间特征，以及所述波形特征中提取的特征组成的一维或 以上的综合特征；其中，
所述时间特征，包括：单位时间步时长；
和，
所述波形特征，包括：采集点数量，以及各采集点在单位时间步内的采 集电压值；
和/或，
所述对应关系，包括：函数关系；所述特征向量为所述函数关系的输入 参数，所述图像特征为所述函数关系的输出参数；
确定与所述当前特征向量对应的当前图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前特征向量输入所述函数关 系中，确定所述函数关系的输出参数为当前图像特征。
在一实施例中，所述建立模块610，包括：
特征关系建立子模块，用于利用循环人工神经网络的学习特性，获取所 述时间特征，和所述波形特征与所述特征向量之间的特征关系；
时间特征，和波形特征获取子模块，用于获取用于建立所述对应关系的 时间特征，和波形特征；
特征向量确定子模块，用于通过所述特征关系，确定与所述用于建立所 述对应关系的时间特征，和波形特征对应的特征向量。
在一实施例中，所述建立模块610，包括：
获取子模块，用于获取用于建立所述特征向量与所述图像特征之间的对 应关系的样本数据；
分析子模块，用于分析所述特征向量的特性及其规律，根据所述特性及 其规律，确定所述人工神经网络的网络结构及其网络参数；
训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数 进行训练和测试，确定所述特征向量与所述图像特征的所述对应关系。
在一实施例中，所述获取子模块，包括：
收集子模块，用于收集不同受试者的所述特征向量和所述图像特征；
分析子模块，用于对所述特征向量进行分析、并结合预存的专家经验信 息，选取与所述图像特征相关的数据作为所述特征向量；
样本数据生成子模块，用于将所述图像特征、以及选取的所述特征向量 构成的数据对，作为样本数据。
在一实施例中，
所述训练子模块，包括：
训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练 样本，将所述训练样本中的所述特征向量输入到所述网络结构，通过所述网 络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本 中的相应图像特征之间的实际训练误差是否满足预设训练误差；
训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差 时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
测试子模块，用于对所述网络结构和所述网络参数进行测试，所述测试 子模块，包括：
测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测 试样本，将所述测试样本中的所述特征向量输入到所述训练完成的所述网络 结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测 试，得到实际测试结果；
测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本 中的相应图像特征之间的实际测试误差是否满足设定测试误差；
测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差 时，确定对所述网络结构和所述网络参数的所述测试完成。
在一实施例中，
所述训练子模块，还包括：
网络参数更新子模块，用于当所述实际训练误差不满足所述设定训练误 差时，通过所述网络结构的误差损失函数更新所述网络参数；
第一重训练子模块，用于通过所述网络结构的所述损失函数，激活函数 和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误 差满足所述设定训练误差；
和/或，
所述测试子模块，还包括：
第二重训练子模块，用于当所述实际测试误差不满足所述设定测试误差 时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的 实际测试误差满足所述设定测试误差。
参照图7，示出了本发明的一种利用脑电信号重建视觉图像的方法的计 算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件 可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28， 连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或 者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线 18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括 但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线 18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及 外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是 任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质， 可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例 如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可 以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。 仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通 常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易 失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例 如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况 下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储 器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序 模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例 如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或 者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或 某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述 的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、 显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设 备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计 算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信 可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过 网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN) 和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18 与计算机设备12的其他模块通信。应当明白，尽管图7中未示出，可以结 合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设 备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器 以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功 能应用以及数据处理，例如实现本发明实施例所提供的利用脑电信号重建视 觉图像的方法。
也即，上述处理单元16执行上述程序时实现：利用人工神经网络的自 学习能力，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征 之间的对应关系；其中，所述特征图像特征包括像素点值，和像素点位置； 获取受试者的当前脑电信号的当前特征向量；通过所述对应关系，确定与所 述当前特征向量对应的当前图像特征；具体地，确定与所述当前特征向量对 应的当前图像特征，包括：将所述对应关系中与所述当前特征向量相同的特 征向量所对应的图像特征，确定为所述当前图像特征。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储 有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的利用 脑电信号重建视觉图像的方法：
也即，给程序被处理器执行时实现：利用人工神经网络的自学习能力， 建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对 应关系；其中，所述特征图像特征包括像素点值，和像素点位置；获取受试 者的当前脑电信号的当前特征向量；通过所述对应关系，确定与所述当前特 征向量对应的当前图像特征；具体地，确定与所述当前特征向量对应的当前 图像特征，包括：将所述对应关系中与所述当前特征向量相同的特征向量所 对应的图像特征，确定为所述当前图像特征。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可 以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例 如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装 置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非 穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬 盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机 可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执 行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采 用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的 组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算 机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系 统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作 的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸 如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C” 语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部 分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机 上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉 及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到 外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书 中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他 实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦 得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以， 所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所 有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或 者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终 端设备中还存在另外的相同要素。
以上对本申请所提供的利用脑电信号重建视觉图像的方法及装置，进行 了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐 述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时， 对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范 围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种利用脑电信号重建视觉图像的方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括像素点值，和像素点位置；
获取受试者的当前脑电信号的当前特征向量；
通过所述对应关系，确定与所述当前特征向量对应的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征，包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像特征，确定为所述当前图像特征。
2.根据权利要求1所述的方法，其特征在于，
所述特征向量，包括：时间特征，和波形特征，和/或由按设定规律自所述时间特征，以及所述波形特征中提取的特征组成的一维或以上的综合特征；其中，
所述时间特征，包括：单位时间步时长；
和，
所述波形特征，包括：采集点数量，以及各采集点在单位时间步内的采集电压值；
和/或，
所述对应关系，包括：函数关系；所述特征向量为所述函数关系的输入参数，所述图像特征为所述函数关系的输出参数；
确定与所述当前特征向量对应的当前图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前特征向量输入所述函数关系中，确定所述函数关系的输出参数为当前图像特征。
3.根据权利要求1所述的方法，其特征在于，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系的步骤，包括：
利用循环人工神经网络的学习特性，获取所述时间特征，和所述波形特征与所述特征向量之间的特征关系；
获取用于建立所述对应关系的时间特征，和波形特征；
通过所述特征关系，确定与所述用于建立所述对应关系的时间特征，和波形特征对应的特征向量。
4.根据权利要求1所述的方法，其特征在于，所述建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系的步骤，包括：
获取用于建立所述特征向量与所述图像特征之间的对应关系的样本数据；
分析所述特征向量的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述特征向量与所述图像特征的所述对应关系。
5.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述特征向量与所述图像特征之间的对应关系的样本数据的步骤，包括：
收集不同受试者的所述特征向量和所述图像特征；
对所述特征向量进行分析、并结合预存的专家经验信息，选取与所述图像特征相关的数据作为所述特征向量；
将所述图像特征、以及选取的所述特征向量构成的数据对，作为样本数据。
6.根据权利要求3-5任一项所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述特征向量输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应图像特征之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述特征向量输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应图像特征之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
7.根据权利要求6所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；
通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
8.一种利用脑电信号重建视觉图像的装置，其特征在于，包括：
建立模块，用于利用人工神经网络的自学习能力，建立脑电信号的特征向量与根据脑电信号生成的图像的图像特征之间的对应关系；其中，所述特征图像特征包括像素点值，和像素点位置；
获取模块，用于获取受试者的当前脑电信号的当前特征向量；
确定模块，用于通过所述对应关系，确定与所述当前特征向量对应的当前图像特征；具体地，确定与所述当前特征向量对应的当前图像特征，包括：将所述对应关系中与所述当前特征向量相同的特征向量所对应的图像特征，确定为所述当前图像特征。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202010261283.0A 2020-04-03 2020-04-03 一种利用脑电信号重建视觉图像的方法及装置 Pending CN111568412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010261283.0A CN111568412A (zh) 2020-04-03 2020-04-03 一种利用脑电信号重建视觉图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261283.0A CN111568412A (zh) 2020-04-03 2020-04-03 一种利用脑电信号重建视觉图像的方法及装置

Publications (1)

Publication Number Publication Date
CN111568412A true CN111568412A (zh) 2020-08-25

Family

ID=72112960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261283.0A Pending CN111568412A (zh) 2020-04-03 2020-04-03 一种利用脑电信号重建视觉图像的方法及装置

Country Status (1)

Country Link
CN (1) CN111568412A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232129A (zh) * 2020-09-17 2021-01-15 厦门熙重电子科技有限公司 基于生成对抗网络的电磁信息泄漏信号仿真系统及方法
CN113554597A (zh) * 2021-06-23 2021-10-26 清华大学 一种基于脑电特征的图像质量评价方法及装置
CN114238428A (zh) * 2022-02-24 2022-03-25 亿景智联(北京)科技有限公司 一种城市动态地理画像生成方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
CN102727194A (zh) * 2012-05-04 2012-10-17 燕山大学 一种脑电电极空间定位系统和定位方法
CN108024752A (zh) * 2015-09-07 2018-05-11 加利福尼亚大学董事会 基于超密电极的脑成像系统
CN110414607A (zh) * 2019-07-31 2019-11-05 中山大学 胶囊内窥镜图像的分类方法、装置、设备及介质
US20190357797A1 (en) * 2018-05-28 2019-11-28 The Governing Council Of The University Of Toronto System and method for generating visual identity and category reconstruction from electroencephalography (eeg) signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
CN102727194A (zh) * 2012-05-04 2012-10-17 燕山大学 一种脑电电极空间定位系统和定位方法
CN108024752A (zh) * 2015-09-07 2018-05-11 加利福尼亚大学董事会 基于超密电极的脑成像系统
US20180276822A1 (en) * 2015-09-07 2018-09-27 The Regents Of The University Of California Ultra-dense electrode-based brain imaging system
US20190357797A1 (en) * 2018-05-28 2019-11-28 The Governing Council Of The University Of Toronto System and method for generating visual identity and category reconstruction from electroencephalography (eeg) signals
CN110414607A (zh) * 2019-07-31 2019-11-05 中山大学 胶囊内窥镜图像的分类方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232129A (zh) * 2020-09-17 2021-01-15 厦门熙重电子科技有限公司 基于生成对抗网络的电磁信息泄漏信号仿真系统及方法
CN113554597A (zh) * 2021-06-23 2021-10-26 清华大学 一种基于脑电特征的图像质量评价方法及装置
CN113554597B (zh) * 2021-06-23 2024-02-02 清华大学 一种基于脑电特征的图像质量评价方法及装置
CN114238428A (zh) * 2022-02-24 2022-03-25 亿景智联(北京)科技有限公司 一种城市动态地理画像生成方法以及装置
CN114238428B (zh) * 2022-02-24 2022-05-13 亿景智联(北京)科技有限公司 一种城市动态地理画像生成方法以及装置

Similar Documents

Publication Publication Date Title
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
US9020586B2 (en) Brain activity measuring apparatus, brain activity measuring method, brain activity deducing apparatus, brain activity deducing method, and brain-machine interface apparatus
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111568412A (zh) 一种利用脑电信号重建视觉图像的方法及装置
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
US6463321B2 (en) Method and computer program product for assessing neurological conditions and treatments using evoked response potentials
CN114052668B (zh) 一种基于脑磁图数据的脑功能分析方法
Zhao et al. Two-stage spatial temporal deep learning framework for functional brain network modeling
US11630512B2 (en) Determination device, determination method, program, and information storage medium
Campos et al. Principle ERP reduction and analysis: Estimating and using principle ERP waveforms underlying ERPs across tasks, subjects and electrodes
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
CN115337000B (zh) 基于脑结构影像评估疾病引起大脑衰老的机器学习方法
CN111772629A (zh) 一种脑认知技能移植的方法
KR102317713B1 (ko) 기능적 연결성을 사용한 피험자 내 및 피험자 간 변동성 기반 예측 모델 생성 방법 및 그 장치
CN114742116B (zh) 一种模拟采集脑电信号的生成方法和系统
CN110569968A (zh) 基于电生理信号的创业失败恢复力评估方法及评估系统
Lee et al. Generating target/non-target images of an RSVP experiment from brain signals in by conditional generative adversarial network
CN113143275B (zh) 一种样本与特征质量联合量化评估的脑电疲劳检测方法
Gholamipour et al. Estimation of the independent components reliability of EEG signal in a clinical application
CN114565957A (zh) 基于微表情识别的意识评估方法及系统
CN113951886A (zh) 一种脑磁纹生成系统及测谎决策系统
Castaño-Candamil et al. Post-hoc labeling of arbitrary M/EEG recordings for data-efficient evaluation of neural decoding methods
CN111671421A (zh) 一种基于脑电图的儿童需求感知方法
CN112149724B (zh) 一种基于类内紧凑度的脑电数据特征提取方法
Zilber ERF and scale-free analyses of source-reconstructed MEG brain signals during a multisensory learning paradigm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200825

WD01 Invention patent application deemed withdrawn after publication