CN113887559A - 一种脑不在环路应用的脑机信息融合分类方法及系统 - Google Patents

一种脑不在环路应用的脑机信息融合分类方法及系统 Download PDF

Info

Publication number
CN113887559A
CN113887559A CN202111017290.7A CN202111017290A CN113887559A CN 113887559 A CN113887559 A CN 113887559A CN 202111017290 A CN202111017290 A CN 202111017290A CN 113887559 A CN113887559 A CN 113887559A
Authority
CN
China
Prior art keywords
brain
image
brain response
model
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111017290.7A
Other languages
English (en)
Inventor
梁继民
闫健璞
任胜寒
郭开泰
胡海虹
郑洋
王梓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111017290.7A priority Critical patent/CN113887559A/zh
Publication of CN113887559A publication Critical patent/CN113887559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于脑机接口技术应用技术领域，公开了一种脑不在环路应用的脑机信息融合分类方法及系统，所述脑不在环路应用的脑机信息融合分类系统由数据加载装置、图像预处理装置、大脑响应生成装置、图像特征可靠性预测装置和脑机特征融合分类装置组成；与现有技术相比，本发明的大脑响应生成模型利用深度学习技术在特征域构建图像特征到大脑响应特征的预测模型，预测模型整体结构简单，与共享表征空间的方法相比，不需要过多成对的大脑响应和刺激图像数据集就能训练成功，此大脑响应生成模型能够有效的集成到现有的脑机信息融合分类模型中，实现脑不在环路的推理应用，具有较高的实用意义。

Description

一种脑不在环路应用的脑机信息融合分类方法及系统
技术领域
本发明属于脑机接口技术应用技术领域，尤其涉及一种脑不在环路应用的脑机信息融合分类方法、系统、介质。
背景技术
目前，深度学习技术快速发展，为自动目标识别与检测提供了有力的技术支撑，在如图像分类、目标检测等领域已经取得了超过人类的性能。但是现在的深度学习技术并未完全模拟人类的视觉识别过程，严重依赖于数据驱动，在复杂开放环境(如复杂场景变换、复杂地面环境)下的图像识别仍然困难。基于视觉专家的人工判读仍然是主要的图像识别与分析方法，但是专家的判读行为容易受到疲劳、伤病等环境因素的影响，难以像机器一样满足高强度、实时性、长时间的工作需求。基于脑机接口技术的脑机混合智能计算方法通过构建“脑在环路”的信息处理系统，协同处理大脑响应和基于机器智能的图像表征，实现生物智能与机器智能的信息交互，融合各自所长，为复杂开放环境下的目标识别提供了新的计算范式。但是受人类行为的限制，“脑在环路”的信息处理系统很难满足机器智能高强度、实时性、自动化的图像识别工作。通过视觉专家的大脑响应，构建“脑在环路”的脑机信息融合模型，“脑不在环路”应用的脑机信息混合智能计算模式，能够在应用时将视觉专家从系统中移除，实现生物智能与机器智能的优势互补。
“脑在环路”建模是指在模型训练阶段有视觉专家大脑响应的参与，利用视觉专家的大脑响应监督机器学习模型的学习，“脑不在环路”应用是指尽管在模型应用推理的过程中没有视觉专家大脑响应的参与，但是模型训练阶段的大脑响应监督过程在一定程度上存储了视觉专家大脑响应的先验信息，能够模拟专家的视觉加工过程，即使在应用时没有大脑响应的参与也能够实现类似于“脑在环路”的监督推理。目前，业内用于“脑在环路”建模，“脑不在环路”应用的技术主要有两种，现有技术一：迁移学习；现有技术二：共享子空间学习。现有技术一：迁移学习，基于迁移学习的方法建立从图像特征到大脑响应空间的预测模型，希望利用大脑响应空间丰富的高级语义特征指导具有中低级语义的图像特征进行分类，在传统的计算机视觉领域中应用广泛，一般利用PCA-CCA、核对齐、高斯过程回归等传统方法建立图像特征到大脑响应特征的预测模型。但是随着深度学习技术的发展，图像分类的性能已经达到人类的水平，与传统的计算机视觉方法相比现有的深度学习技术已经能够获取高级语义信息，仅建立图像特征到大脑响应的预测模型，利用预测的大脑响应进行“脑不在环路”分类的性能远不能达到现有深度学习方法的性能。因此，现有技术一的“脑不在环路”应用方法逐渐式微。现有技术二：共享子空间学习，近年来，随着深度学习技术的发展，基于共享子空间的多模态学习方法也取得了进步，这种方法需要大量的成对数据，通过损失函数约束，使同一数据的多个模态表示在共享子空间中具备最小的距离，以建立一个受其他模态数据监督的共享表征空间，模型应用时可以在模态缺失的情况下完成推理。利用共享子空间的方法可以实现大脑响应对图像特征的监督学习，在模型推理时，可以实现“脑不在环路，大脑响应监督”，但是鉴于大脑响应数据的获取成本和获取难度，很难获取充足的大脑响应数据，现有的公开数据集很难支持此类模型的训练。因此，需要一种能够在少量数据集上就能够实现“脑不在环路”应用的脑机信息融合分类方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有技术一中的思路受限于深度学习技术的发展，已经很难直接应用于深度学习领域。
(2)现有技术二受限于大脑响应数据的获取，难以利用有限的大脑响应数据建立有效的共享表征空间模型。
解决以上问题及缺陷的难度为：如何在仅有少量的大脑响应与刺激图像配对数据集下提出一种“脑不在环路”应用的脑机信息融合分类方案，能够满足“脑在环路”建立脑机信息融合模型，“脑不在环路”应用的需求。
解决以上问题及缺陷的意义为：本发明的意义在于提出了一种基于深度学习技术的图像到大脑响应的预测模型，能够集成到脑机信息融合分类模型中，在应用时利用图像特征生成缺失的大脑响应特征，实现“脑不在环路”的应用需求。
发明内容
针对现有技术存在的问题，本发明提供了一种脑不在环路应用的脑机信息融合分类方法、系统、介质。
本发明是这样实现的，一种脑不在环路应用的脑机信息融合分类方法，所述脑不在环路应用的脑机信息融合分类方法，包括训练阶段和推理阶段，其中训练阶段利用训练数据学习各个模型参数的优化，推理阶段为系统的应用方法：
训练阶段：
步骤一，在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集；
步骤二，在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型；
步骤三，利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型；
推理阶段：
步骤一，在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征；
步骤二，将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应；
步骤三，将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值；
步骤四，将重建的大脑响应、提取到的图像特征、以及步骤六获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
进一步，所述数据加载装置同时加载成对的大脑响应和刺激图像数据，分别送进大脑响应和刺激图像的预处理装置，分别提取大脑响应预处理特征和图像特征，构建成对的大脑响应和刺激图像特征集；
其中数据加载装置继承自PyTorch深度学习框架中的DataSet类和DataLoader类，在训练阶段依次从成对的大脑响应和刺激图像数据集中读取出成对的训练数据，分别进行后续处理；
预处理装置分为两部分，分别对大脑响应进行预处理以及利用ResNet34预训练模型提取刺激图像特征，构建大脑响应和图像特征集。
进一步，所述大脑响应进行预处理过程为：
从原始的大脑响应数据中，沿刺激呈现维度，获取同一刺激图像多次呈现采集的大脑响应，将属于同一刺激图像的大脑响应求均值；
选择放置在腹侧视觉通路下颞叶区域电极的大脑响应数据，并提取出相应大脑响应；
针对提取到的大脑响应数据，对70-170ms的大脑响应数据沿时间维度求均值，获取每一个电极点的空间响应数据；
对获取到的大脑响应数据做标准化处理，并翻转获取预处理后1*168维的大脑响应数据，构建大脑响应特征集。
进一步，所述刺激图像预处理装置的特征提取和预处理过程为：
利用PyTorch深度学习框架构建ResNet34模型，去除其最后一层全连接层，并加载torchvison模型库中的ImageNet预训练模型参数，将并设置模型参数“pretrained＝True”；
利用数据加载装置加载刺激图像，输入ResNet34模型进行前向推理，获取卷积层的输出特征为512维，构建图像特征集；
为消除维度差异，将获取的图像特征集利用主成分分析降维到128维，构建图像特征集。
进一步，所述在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型，具体过程为：
在成对的大脑响应和刺激图像特征集上，构建从图像特征到大脑响应的特征域预测模型，以大脑响应特征集作为真值，利用成对的图像特征集训练大脑响应生成模型，将训练成功的预测模型参数保存在大脑响应预测装置中；
具体的大脑响应生成模型的构建与训练步骤如下：
构建大脑响应去噪自编码结构，其中采用全连接神经网络结构，其中编码模块由三层隐层组成，神经元的个数分别为168、96和32，解码模块也由三层隐层组成，神经元的个数为32、96和168，隐层采用ELU激活函数，每两层之间都加入了批归一化层BatchNormalization。解码模块的输出与大脑响应的维度一致，用于重建大脑响应；
加载大脑响应特征集，对于每一个输入的大脑响应都加上一个随机高斯噪声，随机高斯噪声通过Python的numpy工具包生成，均值为0，方差为0.2；将加噪处理后的大脑响应输出去噪自编码结构，利用均方误差损失函数监督重建的大脑响应与真实大脑响应的损失：
Figure BDA0003240357240000051
其中y表示解码模块重建的大脑响应，y'表示真是的大脑响应，n表示batch size大小。利用Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次；
构建图像特征到大脑响应的特征域映射模型，采用全连接神经网络结构，仅存在特征编码结构，由三层隐层构成，神经元的个数分别为168、96和32，其中解码结构与大脑响应的去噪自编码模型的解码模块共用参数，用于构建从图像特征域到大脑响应重建的信息流管道；
加载训练成功的自编码模型参数，设置自编码模型的编码器参数固定，解码器参数可学习；加载成对的大脑响应和图像特征分别输入去噪自编码模型的编码器和构建的图像特征编码器，分别获取特征域特征fb和fi，并同时经去噪自编码模型的解码器输出产生两个来源的重建大脑响应rb和ri，而真实的大脑响应记为g；在模型训练时，主要思想是令图像特征与大脑响应经编码器非线性映射后在特征域表现出相似性，并且经解码器解码重建后也要与真实的大脑响应一致，利用绝对误差监督特征域以及重建结果的训练过程：
Ltotal＝Lf+Lb+Li
Lf＝LMAE(fb，fi)
Lb＝LMAE(rb，g)
Li＝LMAE(ri，g)；
利用Adam优化器优化模型，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次。
加载训练成功的图像编码器模型参数以及去噪自编码模型的解码器参数，构建完整的从图像特征到大脑响应重建的信息流管道，保存模型参数。
进一步，所述利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型，具体过程为：
在大脑响应和图像特征集上分别训练线性SVM模型，分别计算大脑响应和图像特征的分类灵敏度值，作为大脑响应和图像特征的可靠性标签；
特征的分类灵敏度值的计算步骤如下，
将图像特征集随机划分为训练集和测试集，两部分数据各占一半，在训练集上以类别为基准进行两两组合挑选对应类别的图像特征训练二分类线性SVM模型，依次训练所有可能的二分类器组合，并保留模型参数；
对于任意测试集图像特征f，依次加载与其类别i相关的二分类器模型参数w(i，j)，输入f，记录f到二分类器w(i，j)决策边界的距离d，以及f在二分类器w(i，j)上对于其他类别j的二分类结果
Figure BDA0003240357240000071
分类正确为1，分类错误为0。对于每一个二分类器w(i，j)，统计测试集中i，j两类大脑响应特征f的决策距离d，取极大值为dmax，极小值为dmin，计算f的分类置信度C，其中C＝(d-dmin)/(dmax-dmin)；
交换训练数据集与测试数据集，重复上述过程，完成一次两折交叉验证，可以获得整个图像特征数据集所有样本的
Figure BDA0003240357240000072
和其分类置信度Cf；
根据获取的所有样本的
Figure BDA0003240357240000073
和其分类置信度Cf，计算整个样本集合中每个样本f在多分类(类别为N)上的真阳率
Figure BDA0003240357240000074
以及每一类的平均假阳率FPRi，其中样本f真阳率的计算公式为：
Figure BDA0003240357240000075
其中第i类的平均假阳率为FPRi：
Figure BDA0003240357240000076
重复以上过程10次，完成10次两折交叉验证，计算样本f在10次重复试验上的平均真阳率
Figure BDA0003240357240000077
以及每类i的平均假阳率
Figure BDA0003240357240000078
根据计算的图像特征f的平均真阳率
Figure BDA0003240357240000079
以及所属类别i的平均假阳率
Figure BDA00032403572400000710
计算图像特征f的分类灵敏度指标
Figure BDA00032403572400000711
Figure BDA00032403572400000712
其中Z(.)表示高斯累积分布的逆；分类灵敏度已经反映了特征f在表征空间中的可分性，作为其特征的可靠性评估指标，这里获取的可靠性指标是整个特征集可靠性的统计特性，作为后续预测模型的标签数据。
进一步，所述特征可靠性预测装置分别构建大脑响应和刺激图像的特征可靠性预测模型具体过程为：
以获取的特征可靠性值作为标签，在大脑响应和图像特征集上分别进行训练，将训练好的两个特征可靠性预测模型参数保存在特征可靠性预测装置中；其中特征可靠性预测模型的构建与训练步骤如下：
构建图像特征可靠性预测模型，模型采用全连接神经网络结构，由三层组成分别为输入层、隐藏层和输出层，神经元的数量分别为168、32和1，激活函数采用ELU，隐层与输出层之间加入了批归一化处理Batch Normalization；网络的输出值即可认为是网络预测的特征可靠性值；
将计算到的可靠性值作为图像特征的可靠性标签，利用均方误差损失函数LMSE监督预测模型的训练过程：
Figure BDA0003240357240000081
其中y表示特征可靠性预测值，y′表示特征可靠性标签值，n表示batch size大小；预测模型训练采用均方误差损失函数和Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练100个epoch，每40个epoch学习率衰减一次；
分别训练图像特征和大脑响应的特征可靠性预测模型，训练成功后保存各自的模型参数；
利用计算的特征可靠性标签加权级联大脑响应和图像特征，构建脑机信息融合特征集，并在融合特征集上训练线性SVM分类模型，将训练成功的模型参数保存在脑机特征融合分类装置中；
具体的特征加权方法步骤如下：
从大脑响应和图像特征集中加载成对的数据Bi和Ii，并将计算到的可靠性值作为大脑响应和图像特征的可靠性标签
Figure BDA0003240357240000094
和
Figure BDA0003240357240000095
根据两者的可靠性值计算各自的加权系数
Figure BDA0003240357240000096
和
Figure BDA0003240357240000097
Figure BDA0003240357240000091
Figure BDA0003240357240000092
根据两者的加权系数获取融合特征Fi，构成融合特征集：
Figure BDA0003240357240000093
在获取到的融合特征集上训练线性SVM分类模型，作为融合特征集的分类输出，保存训练成功的SVM模型参数。
进一步，所述前行推理具体过程为：
利用数据加载装置仅加载刺激图像数据，送进预处理装置中，提取图像特征并降维至168维；
将提取到的图像特征送入大脑响应预测装置，加载大脑响应预测模型参数，前向推理获取重建的大脑响应；
将提取到的图像特征和获取的重建大脑响应成对的送入特征可靠性预测装置，分别加载大脑响应特征可靠性模型参数和图像特征可靠性预测模型参数，分别前向推理获取两者的特征可靠性预测值；
将获取的图像特征、获取的对应的重建大脑响应以及获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
本发明的另一目的在于提供一种实施所述脑不在环路应用的脑机信息融合分类方法的脑不在环路应用的脑机信息融合分类系统，所述脑不在环路应用的脑机信息融合分类系统包括：数据加载装置、图像预处理装置、大脑响应生成装置、图像特征可靠性预测装置和脑机特征融合分类装置组成；
数据加载装置，与输入图像和输入大脑响应数据连接，用于加载需要输入系统的刺激图像和原始大脑响应；
图像预处理装置，与数据加载装置相连，用于提取刺激图像的图像特征以及对大脑响应进行预处理；
大脑响应生成装置，与预处理装置相连，建立从图像特征到大脑响应的特征域重建模型，用于利用图像特征重建大脑响应；
图像特征可靠性预测装置，与预处理装置相连，由大脑响应可靠性预测和图像特征可靠性预测组成，分别对输入的大脑响应和图像特征的可靠性进行预测；
脑机特征融合分类装置，分别与预处理装置、大脑响应生成装置和特征可靠性预测装置相连，利用特征可靠性的预测值加权级联重建的大脑响应和图像特征构成融合特征，并对融合特征进行分类输出结果。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述脑不在环路应用的脑机信息融合分类方法包括下列步骤：
步骤一，在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集；
步骤二，在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型；
步骤三，利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型；
步骤四，在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征；
步骤五，将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应；
步骤六，将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值；
步骤七，将重建的大脑响应、提取到的图像特征、以及步骤六获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出的脑不在环路应用的脑机信息融合分类方法、系统、介质，采用特征域映射的方法建立图像特征到大脑响应的生成模型，能够有效的解决推理应用过程中大脑响应缺失的问题。与现有技术相比，本发明的大脑响应生成模型利用深度学习技术在特征域构建图像特征域大脑响应的非线性关联模型，并通过去噪自编码结构提前优化解码器，预测模型整体结构简单，与共享子空间的方法相比，不需要过多成对的大脑响应和刺激图像数据集就能训练成功，此大脑响应预测模型能够有效的集成到现有的脑机信息融合分类模型中，实现脑不在环路的推理应用，具有较高的实用意义。
附图说明
图1是本发明实施例提供的脑不在环路应用的脑机信息融合分类方法流程图。
图2是本发明实施例提供的脑不在环路应用的脑机信息融合分类系统结构示意图。
图3是本发明实施例提供的训练阶段与推理阶段的数据处理过程示意图。
图4是本发明实施例提供的大脑响应生成装置的示意图。
图5是本发明实施例提供的特征可靠性预测模块的网络结构示意图。
图6是本发明实施例提供的用于分类任务的部分刺激图像示意图。
图7是本发明实施例提供的真实大脑响应与重建大脑响应的示意图。
图中：1、数据加载装置；2、图像预处理装置；3、大脑响应生成装置；4、图像特征可靠性预测装置；5、脑机特征融合分类装置；6、大脑响应预处理装置；7、大脑响应可靠性预测装置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种脑不在环路应用的脑机信息融合分类方法、系统、介质，下面结合附图对本发明作详细的描述。
本发明提供的脑不在环路应用的脑机信息融合分类方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的脑不在环路应用的脑机信息融合分类方法仅仅是一个具体实施例而已。
现有脑机信息融合分类技术大多基于“脑在环路”构建混合信息处理系统，但是“脑在环路”容易受到视觉专家的伤痛、疲劳等人的因素的影响，难以实现真正意义上的脑机优势互补。而现阶段的可用于“脑不在环路”建模的技术受限于大脑响应数据的质量以及海量配对大脑响应与刺激图像数据的获取难度，难以利用深度学习技术训练大规模的共享子空间学习模型，因此很难应用到“脑不在环路”的推理应用上。本发明提出一种从图像特征域到大脑响应特征域的映射模型，能够在应用时根据图像特征重建大脑响应，实现“脑不在环路”应用，因为整体模型参数量较小，不需要大量的配对数据即可完成训练，能够有效的集成到现有的自适应脑机信息融合分类系统中。
如图1所示，本发明实施例提供的脑不在环路应用的脑机信息融合分类方法，包括：
S101：在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集。
S102：在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型。
S103：利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型。
S104：在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征。
S105：将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应。
S106：将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值。
S107：将重建的大脑响应、提取到的图像特征、以及S106获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
如图2所示，本发明实施例提供的“脑不在环路”应用的脑机信息融合分类系统包括数据加载装置1、图像预处理装置2、大脑响应生成装置3、图像特征可靠性预测装置4、脑机特征融合分类装置5、大脑响应预处理装置6和大脑响应可靠性预测装置7组成。
数据加载装置1，与输入图像和输入大脑响应数据连接，用于加载需要输入系统的刺激图像和原始大脑响应。
图像预处理装置2，与数据加载装置相连，用于提取刺激图像的图像特征进行预处理。
大脑响应预处理装置3，与数据加载装置相连，将加载进来的大脑响应进行预处理。
大脑响应生成装置4，与预处理装置相连，建立从图像特征到大脑响应的特征域重建模型，用于利用图像特征重建大脑响应。
图像特征可靠性预测装置5，与预处理装置相连，对输入的图像特征的可靠性进行预测。
大脑响应可靠性预测装置6，与预处理装置相连，对输入的大脑响应特征的可靠性进行预测。
脑机特征融合分类装置7，分别与预处理装置、大脑响应生成装置和特征可靠性预测装置相连，利用特征可靠性的预测值加权级联重建的大脑响应和图像特征构成融合特征，并对融合特征进行分类输出结果。
如图3所示，本发明实施例提供的“脑不在环路”应用的脑机信息融合分类系统分为训练阶段和推理阶段两部分，训练阶段学习最优的模型参数，并保存，将各个模型参数加载到系统中的对应装置中，在推理阶段实现“脑不在环路”应用的脑机信息融合分类。构建系统有两个步骤：
步骤一、训练阶段：
(1)数据加载装置同时加载成对的大脑响应和刺激图像数据，分别送进大脑响应和刺激图像的预处理装置，分别提取大脑响应预处理特征和图像特征，构建成对的大脑响应和刺激图像特征集。
其中数据加载装置继承自PyTorch深度学习框架中的DataSet类和DataLoader类，在训练阶段依次从成对的大脑响应和刺激图像数据集中读取出成对的训练数据，分别进行后续处理。
预处理装置分为两部分，分别对大脑响应进行预处理以及利用ResNet34预训练模型提取刺激图像特征，构建大脑响应和图像特征集，具体步骤如下：
大脑响应预处理装置的预处理步骤：
1)从原始的大脑响应数据中，沿刺激呈现维度，获取同一刺激图像多次呈现采集的大脑响应，将属于同一刺激图像的大脑响应求均值。
2)选择放置在腹侧视觉通路下颞叶区域电极的大脑响应数据，并提取出相应大脑响应。
3)针对2)中提取到的大脑响应数据，对70-170ms的大脑响应数据沿时间维度求均值，获取每一个电极点的空间响应数据。
4)对获取到的大脑响应数据做标准化处理，并翻转获取预处理后1*168维的大脑响应数据，构建大脑响应特征集。
刺激图像预处理装置的特征提取和预处理步骤：
A、利用PyTorch深度学习框架构建ResNet34模型，去除其最后一层全连接层，并加载torchvison模型库中的ImageNet预训练模型参数，将并设置模型参数“pretrained＝True”。
B、利用数据加载装置加载刺激图像，输入ResNet34模型进行前向推理，获取卷积层的输出特征为512维，构建图像特征集。
C、为了消除维度差异，将B中获取的图像特征集利用主成分分析降维到128维，构建图像特征集。
(2)在成对的大脑响应和刺激图像特征集上，构建从图像特征到大脑响应的特征域预测模型，以大脑响应特征集作为真值，利用成对的图像特征集训练大脑响应生成模型，将训练成功的预测模型参数保存在大脑响应预测装置中。
具体的大脑响应生成模型的构建(如图4所示)与训练步骤如下：
第一步，构建大脑响应去噪自编码结构，其中采用全连接神经网络结构,其中编码模块由三层隐层组成，神经元的个数分别为168、96和32，解码模块也由三层隐层组成，神经元的个数为32、96和168，隐层采用ELU激活函数，每两层之间都加入了批归一化层BatchNormalization。解码模块的输出与大脑响应的维度一致，用于重建大脑响应，具体的网络示意图如图4所示。
第二步，加载大脑响应特征集，对于每一个输入的大脑响应都加上一个随机高斯噪声，随机高斯噪声通过Python的numpy工具包生成，均值为0，方差为0.2。将加噪处理后的大脑响应输出去噪自编码结构，利用均方误差损失函数监督重建的大脑响应与真实大脑响应的损失：
Figure BDA0003240357240000151
其中y表示解码模块重建的大脑响应，y′表示真是的大脑响应，n表示batch size大小。利用Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次。
第三步，构建图像特征到大脑响应的特征域映射模型，采用全连接神经网络结构，仅存在特征编码结构，由三层隐层构成，神经元的个数分别为168、96和32，其中解码结构与第一步中大脑响应的去噪自编码模型的解码模块共用参数，用于构建从图像特征域到大脑响应重建的信息流管道。
第四步，加载第二步中训练成功的自编码模型参数，设置自编码模型的编码器参数固定，解码器参数可学习。加载成对的大脑响应和图像特征分别输入去噪自编码模型的编码器和第三步中构建的图像特征编码器，分别获取特征域特征fb和fi，并同时经去噪自编码模型的解码器输出产生两个来源的重建大脑响应rb和ri，而真实的大脑响应记为g。在模型训练时，主要思想是令图像特征与大脑响应经编码器非线性映射后在特征域表现出相似性，并且经解码器解码重建后也要与真实的大脑响应一致。利用绝对误差监督特征域以及重建结果的训练过程：
Ltotal＝Lf+Lb+Li
Lf＝LMAE(fb，fi)
Lb＝LMAE(rb，g)
Li＝LMAE(ri，g)；
利用Adam优化器优化模型，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次。
第五步，加载第四步中训练成功的图像编码器模型参数以及去噪自编码模型的解码器参数，构建完整的从图像特征到大脑响应重建的信息流管道，保存模型参数。
(3)在大脑响应和图像特征集上分别训练线性SVM模型，分别计算大脑响应和图像特征的分类灵敏度值，作为大脑响应和图像特征的可靠性标签。其中特征的分类灵敏度值的计算步骤如下，这里以图像特征的可靠性计算为例进行说明，大脑响应特征可靠性的计算方法一致：
步骤a、将图像特征集随机划分为训练集和测试集，两部分数据各占一半，在训练集上以类别为基准进行两两组合挑选对应类别的图像特征训练二分类线性SVM模型，依次训练所有可能的二分类器组合，并保留模型参数。
步骤b、对于任意测试集图像特征f，依次加载与其类别i相关的二分类器模型参数w(i，j)，输入f，记录f到二分类器w(i，j)决策边界的距离d，以及f在二分类器w(i，j)上对于其他类别j的二分类结果
Figure BDA0003240357240000171
分类正确为1，分类错误为0。对于每一个二分类器w(i，j)，统计测试集中i，j两类大脑响应特征f的决策距离d，取极大值为dmax，极小值为dmin，计算f的分类置信度C，其中C＝(d-dmin)/(dmax-dmin)。
步骤c、交换训练数据集与测试数据集，重复过程步骤b和步骤c，完成一次两折交叉验证，可以获得整个图像特征数据集所有样本的
Figure BDA0003240357240000172
和其分类置信度Cf。
步骤d、根据步骤c获取的所有样本的
Figure BDA0003240357240000173
和其分类置信度Cf，计算整个样本集合中每个样本f在多分类(类别为N)上的真阳率
Figure BDA0003240357240000174
以及每一类的平均假阳率FPRi，其中样本f真阳率的计算公式为：
Figure BDA0003240357240000175
其中第i类的平均假阳率为FPRi：
Figure BDA0003240357240000176
步骤e、重复以上过程步骤a-步骤d 10次，完成10次两折交叉验证，计算样本f在10次重复试验上的平均真阳率
Figure BDA0003240357240000184
以及每类i的平均假阳率
Figure BDA0003240357240000185
步骤f、根据步骤e中计算的图像特征f的平均真阳率
Figure BDA0003240357240000186
以及所属类别i的平均假阳率
Figure BDA0003240357240000187
计算图像特征f的分类灵敏度指标
Figure BDA0003240357240000181
Figure BDA0003240357240000182
其中Z(.)表示高斯累积分布的逆。而分类灵敏度已经反映了特征f在表征空间中的可分性，可以作为其特征的可靠性评估指标，这里获取的可靠性指标是整个特征集可靠性的统计特性，可以作为后续预测模型的标签数据。
(4)分别构建大脑响应和刺激图像的特征可靠性预测模型，以(3)中获取的特征可靠性值作为标签，在大脑响应和图像特征集上分别进行训练，将训练好的两个特征可靠性预测模型参数保存在特征可靠性预测装置中。其中特征可靠性预测模型的构建(如图5所示)与训练步骤如下，这里以图像特征的可靠性预测模型为例加以说明，大脑响应的特征可靠性预测模型训练方法一致：
构建图像特征可靠性预测模型，模型采用全连接神经网络结构，由三层组成分别为输入层、隐藏层和输出层，神经元的数量分别为168、32和1，激活函数采用ELU，隐层与输出层之间加入了批归一化处理Batch Normalization。网络的输出值即可认为是网络预测的特征可靠性值，具体的网络结构示意图如图5所示。
将计算到的可靠性值作为图像特征的可靠性标签，利用均方误差损失函数LMSE监督预测模型的训练过程：
Figure BDA0003240357240000183
其中y表示特征可靠性预测值，y′表示特征可靠性标签值，n表示batch size大小。预测模型训练采用均方误差损失函数和Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练100个epoch，每40个epoch学习率衰减一次。
分别训练图像特征和大脑响应的特征可靠性预测模型，训练成功后保存各自的模型参数。
(5)利用(3)中计算的特征可靠性标签加权级联大脑响应和图像特征，构建脑机信息融合特征集，并在融合特征集上训练线性SVM分类模型，将训练成功的模型参数保存在脑机特征融合分类装置中。
具体的特征加权方法步骤如下：
从大脑响应和图像特征集中加载成对的数据Bi和Ii，并将步骤一3)计算到的可靠性值作为大脑响应和图像特征的可靠性标签
Figure BDA0003240357240000195
和
Figure BDA0003240357240000196
根据两者的可靠性值计算各自的加权系数
Figure BDA0003240357240000197
和
Figure BDA0003240357240000191
Figure BDA0003240357240000192
Figure BDA0003240357240000193
根据两者的加权系数获取融合特征Fi，构成融合特征集：
Figure BDA0003240357240000194
在获取到的融合特征集上训练线性SVM分类模型，作为融合特征集的分类输出，保存训练成功的SVM模型参数。
步骤二、推理阶段：
由于推理应用过程中大脑响应的缺失，需要实现“脑不在环路”的推理应用，与步骤一的训练过程存在较大的差异，如图3推理阶段所示，具体的推理应用步骤如下：
利用数据加载装置仅加载刺激图像数据，送进预处理装置中，提取图像特征并降维至168维。
将提取到的图像特征送入大脑响应预测装置，加载大脑响应预测模型参数，前向推理获取重建的大脑响应。
将提取到的图像特征和获取的重建大脑响应成对的送入特征可靠性预测装置，分别加载大脑响应特征可靠性模型参数和图像特征可靠性预测模型参数，分别前向推理获取两者的特征可靠性预测值。
将获取的图像特征、获取的对应的重建大脑响应以及获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
下面结合实验对本发明的应用效果作详细的描述。
1、实验条件
本发明实验的硬件条件为：一台普通计算机，Intel i5 CPU，8G内存，一块英伟达GeForce GTX 1070显卡；软件平台：Ubuntu 18.04，PyTorch深度学习框架，python 3.6语言；本发明所使用的大脑响应与刺激图像数据集来自麻省理工学院麦戈文脑科学研究所Brain-Score平台的公开数据。
2、数据集
本发明所用数据集包括刺激图像和大脑响应数据两部分。刺激图像为8类目标(动物、船、汽车、椅子、人脸、水果、飞机、桌子)与随机自然场景的合成图像,总数量为3200，每类图像400张；每类目标又包含8个子类，每个子类的图像数量为50张。每张刺激图像仅包含一个目标，目标图像通过改变目标物体三维模型的姿态生成，如图6所示。大脑响应数据采集自两只训练有素的成年恒河猴的腹侧流区域，通过颞下区域(IT)的168通道的电极阵列捕获相应脑区的大脑响应，在脑电采集过程中，每5-10张刺激图像为一组，依次呈现在显示器中央，每张图像显示100ms，紧接着100ms空白，整个过程中保持恒河猴紧盯显示器中央位置。每张刺激图像多次呈现，至少呈现28次，平均呈现50次。其中，可以利用Brain-Score(https://brain-score.readthedocs.io/en/latest/index.html)平台公开的数据处理框架对大脑响应进行预处理，获取预处理后的大脑响应特征。
3、实验内容
按照上述的训练阶段的过程，本发明依次训练了大脑响应生成模型、以及大脑响应和图像特征的可靠性预测模型、以及融合特征的线性SVM分类模型，完整的构成一个可以实现脑不在环路应用的自适应脑机信息融合分类系统。
按照上述推理阶段的过程，本发明首先验证了大脑响应生成模型的重建效果以及特征可靠性预测模型的预测性能；然后在测试集上测试本发明当大脑响应缺失时的自适应脑机信息融合分类的准确率；并在同样的测试数据集上测试了单模态大脑响应与图像特征的分类准确率。同时，本发明还比较了不同深度学习图像特征提取网络(包括AlexNet、VGG、GoogLeNet和ResNet)对脑机信息融合分类性能的影响。
4、实验结果分析
本发明利用相关值来衡量重建的大脑响应与真实值之间的相似性，不同特征提取网络获取的图像特征重建的大脑响应的重建结果如表1，具体重建示例如图7，其中粗实线表示重建的大脑响应，细虚线表示大脑响应真值，发现本发明提出的特征域重建方法能够有效的重建大部分大脑响应的有效信息，其中不同的特征提取网络的重建结果之间存在一定的差异，产生差异的原因在于不同的特征提取网络的特征提取能力不同，与大脑响应表现出不同的相关性。本发明利用绝对误差描述预测性能，在IT脑响应和图像特征上的平均绝对误差为0.4462(特征可靠性值的范围为0-5)，方差为0.002，说明本发明提出的特种证可靠性评估模型能够稳定准确的预测IT脑响应和图像特征的可靠性。本发明比较了“脑不在环路”下的脑机信息融合分类性能与单模态图像特征分类性能的差异，如表2所示，相比单模态特征分类性能平均提升1.31％，表明本发明提出的特征域重建大脑响应的方法，能够有效的解决大脑响应缺失时的脑机信息融合分类的问题。因此，本发明更有实际应用价值，在脑机信息协同工作的新范式下具有广泛的应用前景。
表1图像特征重建的大脑响应的重建结果
Figure BDA0003240357240000211
表2脑机信息融合分类性能与单模态图像特征分类性能的差异
Figure BDA0003240357240000221
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种脑不在环路应用的脑机信息融合分类方法，其特征在于，所述脑不在环路应用的脑机信息融合分类方法，包括：
步骤一，在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集；
步骤二，在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型；
步骤三，利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型；
步骤四，在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征；
步骤五，将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应；
步骤六，将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值；
步骤七，将重建的大脑响应、提取到的图像特征、以及步骤六获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
2.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述数据加载装置同时加载成对的大脑响应和刺激图像数据，分别送进大脑响应和刺激图像的预处理装置，分别提取大脑响应预处理特征和图像特征，构建成对的大脑响应和刺激图像特征集；
其中数据加载装置继承自PyTorch深度学习框架中的DataSet类和DataLoader类，在训练阶段依次从成对的大脑响应和刺激图像数据集中读取出成对的训练数据，分别进行后续处理；
预处理装置分为两部分，分别对大脑响应进行预处理以及利用ResNet34预训练模型提取刺激图像特征，构建大脑响应和图像特征集。
3.如权利要求2所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述大脑响应进行预处理过程为：
从原始的大脑响应数据中，沿刺激呈现维度，获取同一刺激图像多次呈现采集的大脑响应，将属于同一刺激图像的大脑响应求均值；
选择放置在腹侧视觉通路下颞叶区域电极的大脑响应数据，并提取出相应大脑响应；
针对提取到的大脑响应数据，对70-170ms的大脑响应数据沿时间维度求均值，获取每一个电极点的空间响应数据；
对获取到的大脑响应数据做标准化处理，并翻转获取预处理后1*168维的大脑响应数据，构建大脑响应特征集。
4.如权利要求2所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述刺激图像预处理装置的特征提取和预处理过程为：
利用PyTorch深度学习框架构建ResNet34模型，去除其最后一层全连接层，并加载torchvison模型库中的ImageNet预训练模型参数，将并设置模型参数“pretrained＝True”；
利用数据加载装置加载刺激图像，输入ResNet34模型进行前向推理，获取卷积层的输出特征为512维，构建图像特征集；
为消除维度差异，将获取的图像特征集利用主成分分析降维到128维，构建图像特征集。
5.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型，具体过程为：
在成对的大脑响应和刺激图像特征集上，构建从图像特征到大脑响应的特征域预测模型，以大脑响应特征集作为真值，利用成对的图像特征集训练大脑响应生成模型，将训练成功的预测模型参数保存在大脑响应预测装置中；
具体的大脑响应生成模型的构建与训练步骤如下：
构建大脑响应去噪自编码结构，其中采用全连接神经网络结构，其中编码模块由三层隐层组成，神经元的个数分别为168、96和32，解码模块也由三层隐层组成，神经元的个数为32、96和168，隐层采用ELU激活函数，每两层之间都加入了批归一化层BatchNormalization；解码模块的输出与大脑响应的维度一致，用于重建大脑响应；
加载大脑响应特征集，对于每一个输入的大脑响应都加上一个随机高斯噪声，随机高斯噪声通过Python的numpy工具包生成，均值为0，方差为0.2；将加噪处理后的大脑响应输出去噪自编码结构，利用均方误差损失函数监督重建的大脑响应与真实大脑响应的损失：
Figure FDA0003240357230000031
其中y表示解码模块重建的大脑响应，y'表示真是的大脑响应，n表示batch size大小。利用Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次；
构建图像特征到大脑响应的特征域映射模型，采用全连接神经网络结构，仅存在特征编码结构，由三层隐层构成，神经元的个数分别为168、96和32，其中解码结构与大脑响应的去噪自编码模型的解码模块共用参数，用于构建从图像特征域到大脑响应重建的信息流管道；
加载训练成功的自编码模型参数，设置自编码模型的编码器参数固定，解码器参数可学习；加载成对的大脑响应和图像特征分别输入去噪自编码模型的编码器和构建的图像特征编码器，分别获取特征域特征fb和fi，并同时经去噪自编码模型的解码器输出产生两个来源的重建大脑响应rb和ri，而真实的大脑响应记为g；在模型训练时，主要思想是令图像特征与大脑响应经编码器非线性映射后在特征域表现出相似性，并且经解码器解码重建后也要与真实的大脑响应一致，利用绝对误差监督特征域以及重建结果的训练过程：
Ltotal＝Lf+Lb+Li
Lf＝LMAE(fb，fi)
Lb＝LMAE(rb，g)
Li＝LMAE(ri，g)；
利用Adam优化器优化模型，初始学习率为1e-3，学习率衰减为0.1，共训练50个epoch，每20个epoch学习率衰减一次；
加载训练成功的图像编码器模型参数以及去噪自编码模型的解码器参数，构建完整的从图像特征到大脑响应重建的信息流管道，保存模型参数。
6.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型，具体过程为：
在大脑响应和图像特征集上分别训练线性SVM模型，分别计算大脑响应和图像特征的分类灵敏度值，作为大脑响应和图像特征的可靠性标签；
特征的分类灵敏度值的计算步骤如下，
将图像特征集随机划分为训练集和测试集，两部分数据各占一半，在训练集上以类别为基准进行两两组合挑选对应类别的图像特征训练二分类线性SVM模型，依次训练所有可能的二分类器组合，并保留模型参数；
对于任意测试集图像特征f，依次加载与其类别i相关的二分类器模型参数w(i，j)，输入f，记录f到二分类器w(i，j)决策边界的距离d，以及f在二分类器w(i，j)上对于其他类别j的二分类结果
Figure FDA0003240357230000041
分类正确为1，分类错误为0。对于每一个二分类器w(i，j)，统计测试集中i，j两类大脑响应特征f的决策距离d，取极大值为dmax，极小值为dmin，计算f的分类置信度C，其中C＝(d-dminn)/(dmax-dmin)；
交换训练数据集与测试数据集，重复上述过程，完成一次两折交叉验证，可以获得整个图像特征数据集所有样本的
Figure FDA0003240357230000051
和其分类置信度Cf；
根据获取的所有样本的
Figure FDA0003240357230000052
和其分类置信度Cf，计算整个样本集合中每个样本f在多分类上的真阳率
Figure FDA0003240357230000053
以及每一类的平均假阳率FPRi，其中样本f真阳率的计算公式为：
Figure FDA0003240357230000054
其中第i类的平均假阳率为FPRi：
Figure FDA0003240357230000055
重复以上过程10次，完成10次两折交叉验证，计算样本f在10次重复试验上的平均真阳率
Figure FDA0003240357230000056
以及每类i的平均假阳率
Figure FDA0003240357230000057
根据计算的图像特征f的平均真阳率
Figure FDA0003240357230000058
以及所属类别i的平均假阳率
Figure FDA0003240357230000059
计算图像特征f的分类灵敏度指标
Figure FDA00032403572300000510
Figure FDA00032403572300000511
其中Z(.)表示高斯累积分布的逆；分类灵敏度已经反映了特征f在表征空间中的可分性，作为其特征的可靠性评估指标，获取的可靠性指标是整个特征集可靠性的统计特性，作为后续预测模型的标签数据。
7.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述特征可靠性预测装置分别构建大脑响应和刺激图像的特征可靠性预测模型具体过程为：
以获取的特征可靠性值作为标签，在大脑响应和图像特征集上分别进行训练，将训练好的两个特征可靠性预测模型参数保存在特征可靠性预测装置中；其中特征可靠性预测模型的构建与训练步骤如下：
构建图像特征可靠性预测模型，模型采用全连接神经网络结构，由三层组成分别为输入层、隐藏层和输出层，神经元的数量分别为168、32和1，激活函数采用ELU，隐层与输出层之间加入了批归一化处理Batch Normalization；网络的输出值即可认为是网络预测的特征可靠性值；
将计算到的可靠性值作为图像特征的可靠性标签，利用均方误差损失函数LMSE监督预测模型的训练过程：
Figure FDA0003240357230000061
其中y表示特征可靠性预测值，y′表示特征可靠性标签值，n表示batchsize大小；预测模型训练采用均方误差损失函数和Adam优化器，初始学习率为1e-3，学习率衰减为0.1，共训练100个epoch，每40个epoch学习率衰减一次；
分别训练图像特征和大脑响应的特征可靠性预测模型，训练成功后保存各自的模型参数；
利用计算的特征可靠性标签加权级联大脑响应和图像特征，构建脑机信息融合特征集，并在融合特征集上训练线性SVM分类模型，将训练成功的模型参数保存在脑机特征融合分类装置中；
具体的特征加权方法步骤如下：
从大脑响应和图像特征集中加载成对的数据Bi和Ii，并将计算到的可靠性值作为大脑响应和图像特征的可靠性标签
Figure FDA0003240357230000062
和
Figure FDA0003240357230000063
根据两者的可靠性值计算各自的加权系数
Figure FDA0003240357230000064
和
Figure FDA0003240357230000065
Figure FDA0003240357230000066
Figure FDA0003240357230000067
根据两者的加权系数获取融合特征Fi，构成融合特征集：
Figure FDA0003240357230000068
在获取到的融合特征集上训练线性SVM分类模型，作为融合特征集的分类输出，保存训练成功的SVM模型参数。
8.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述前行推理具体过程为：
利用数据加载装置仅加载刺激图像数据，送进预处理装置中，提取图像特征并降维至168维；
将提取到的图像特征送入大脑响应预测装置，加载大脑响应预测模型参数，前向推理获取重建的大脑响应；
将提取到的图像特征和获取的重建大脑响应成对的送入特征可靠性预测装置，分别加载大脑响应特征可靠性模型参数和图像特征可靠性预测模型参数，分别前向推理获取两者的特征可靠性预测值；
将获取的图像特征、获取的对应的重建大脑响应以及获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
9.一种实施权利要求1～8任意一项所述脑不在环路应用的脑机信息融合分类方法的脑不在环路应用的脑机信息融合分类系统，其特征在于，所述脑不在环路应用的脑机信息融合分类系统包括：数据加载装置、图像预处理装置、大脑响应生成装置、图像特征可靠性预测装置和脑机特征融合分类装置组成；
数据加载装置，与输入图像和输入大脑响应数据连接，用于加载需要输入系统的刺激图像和原始大脑响应；
图像预处理装置，与数据加载装置相连，用于提取刺激图像的图像特征以及对大脑响应进行预处理；
大脑响应生成装置，与预处理装置相连，建立从图像特征到大脑响应的特征域重建模型，用于利用图像特征重建大脑响应；
图像特征可靠性预测装置，与预处理装置相连，由大脑响应可靠性预测和图像特征可靠性预测组成，分别对输入的大脑响应和图像特征的可靠性进行预测；
脑机特征融合分类装置，分别与预处理装置、大脑响应生成装置和特征可靠性预测装置相连，利用特征可靠性的预测值加权级联重建的大脑响应和图像特征构成融合特征，并对融合特征进行分类输出结果。
10.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～8任意一项所述脑不在环路应用的脑机信息融合分类方法包括下列步骤：
步骤一，在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集；
步骤二，在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型；
步骤三，利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型；
步骤四，在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征；
步骤五，将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应；
步骤六，将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值；
步骤七，将重建的大脑响应、提取到的图像特征、以及步骤六获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。
CN202111017290.7A 2021-08-31 2021-08-31 一种脑不在环路应用的脑机信息融合分类方法及系统 Pending CN113887559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017290.7A CN113887559A (zh) 2021-08-31 2021-08-31 一种脑不在环路应用的脑机信息融合分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017290.7A CN113887559A (zh) 2021-08-31 2021-08-31 一种脑不在环路应用的脑机信息融合分类方法及系统

Publications (1)

Publication Number Publication Date
CN113887559A true CN113887559A (zh) 2022-01-04

Family

ID=79011450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017290.7A Pending CN113887559A (zh) 2021-08-31 2021-08-31 一种脑不在环路应用的脑机信息融合分类方法及系统

Country Status (1)

Country Link
CN (1) CN113887559A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
WO2023173804A1 (zh) * 2022-03-16 2023-09-21 西安电子科技大学 一种共享子空间学习的脑机信息融合分类方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173804A1 (zh) * 2022-03-16 2023-09-21 西安电子科技大学 一种共享子空间学习的脑机信息融合分类方法及系统
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN116757534B (zh) * 2023-06-15 2024-03-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法

Similar Documents

Publication Publication Date Title
Cai et al. BS-Nets: An end-to-end framework for band selection of hyperspectral image
CN110188836B (zh) 一种基于变分自编码器的脑功能网络分类方法
Springenberg et al. Improving deep neural networks with probabilistic maxout units
US8799202B2 (en) Predicting states of subjects
Zheng et al. Improving the generalization ability of deep neural networks for cross-domain visual recognition
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
Safarani et al. Towards robust vision by multi-task learning on monkey visual cortex
US11093800B2 (en) Method and device for identifying object and computer readable storage medium
Cadieu et al. The neural representation benchmark and its evaluation on brain and machine
CN113887559A (zh) 一种脑不在环路应用的脑机信息融合分类方法及系统
González et al. Multiclass support vector machines with example-dependent costs applied to plankton biomass estimation
Dujmović et al. Some pitfalls of measuring representational similarity using Representational Similarity Analysis
Guney et al. An overview of deep learning algorithms and their applications in neuropsychiatry
WO2022125181A1 (en) Recurrent neural network architectures based on synaptic connectivity graphs
Golan et al. Distinguishing representational geometries with controversial stimuli: Bayesian experimental design and its application to face dissimilarity judgments
CN113869369A (zh) 一种自适应脑机信息融合分类方法及系统
US20220343134A1 (en) Convolutional neural network architectures based on synaptic connectivity
Dujmović et al. Obstacles to inferring mechanistic similarity using Representational Similarity Analysis
Ahmadieh et al. Visual image reconstruction based on EEG signals using a generative adversarial and deep fuzzy neural network
Rashidi et al. An active foveated gaze prediction algorithm based on a Bayesian ideal observer
Kang et al. Object recognition under occlusion revisited: elucidating algorithmic advantages of recurrent computation
Chang et al. A semi-supervised classification RBM with an improved fMRI representation algorithm
Cheng The cross-field DBN for image recognition
Topolski et al. Modification of the Principal Component Analysis Method Based on Feature Rotation by Class Centroids.
Desai et al. Enhancing Plant Leaf Disease Classification Performance Through EfficientNetB3 and Hyperparameter Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination