CN112686098B - 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 - Google Patents
基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 Download PDFInfo
- Publication number
- CN112686098B CN112686098B CN202011472027.2A CN202011472027A CN112686098B CN 112686098 B CN112686098 B CN 112686098B CN 202011472027 A CN202011472027 A CN 202011472027A CN 112686098 B CN112686098 B CN 112686098B
- Authority
- CN
- China
- Prior art keywords
- model
- visual
- brain
- shape
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Shape‑Resnet的大脑中高级视觉区信号处理方法及系统，包含：构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；利用样本数据对视觉编码模型进行训练优化；利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。本发明用学习形状特征的深度网络来构建高级视觉区的视觉编码模型，提升中高级视觉区大脑信号分析预测效果。
Description
技术领域
本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统。
背景技术
计算机视觉编码模型是以大脑的视觉感知机制为基础，通过建立一个大脑视觉信息处理的可计算编码模型来表述大脑对外界刺激的响应，以实现对大脑活动的预测，描述人类在感知和分析外部视觉刺激时自身脑信号的变化过程。而基于功能磁共振(functional MagneticResonance Imaging,fMRI)的视觉编码模型主要用于探索大脑视觉信息处理的过程和机制，模型输入为视觉刺激图像，输出则为大脑对图像特征的响应信号。根据编码模型架构可将其分为“两步走”模型和“端到端”模型。基于CNN的“端到端”视觉编码模型是直接训练从视觉刺激到大脑响应端到端的深度网络。然而由于深度网络中的海量参数及实验数据的限制，这样做往往不能达到最好的编码模型训练效果。基于CNN的“两步走”视觉编码模型是使用预训练好的CNN作为特征提取器，然后再训练一个从特征空间到大脑响应空间的线性映射来实现。“两步走”方法实现简单并能达到一定的编码准确率。
现有的基于CNN的视觉编码模型都是从深度网络与大脑视觉皮层的层级相似性出发来实现对大脑活动的预测，所用的CNN网络都是提取了图像的纹理特征，并没有结合人脑视觉处理机制加入形状特征，所构建的视觉编码模型在低级视觉区具有一定的编码准确率，但不能准确对高级视觉区进行编码。同时人们对深度网络的了解并不透彻，层数越高的网络与大脑视觉皮层的层级相似性逐渐减弱，造成深度网络在越高级的视觉区编码效果越差。
发明内容
为此，本发明提供一种基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统，从人类在进行图像识别时更倾向于形状判别出发，用学习形状特征的深度网络来构建高级视觉区的视觉编码模型，提升中高级视觉区大脑信号分析识别效果。
按照本发明所提供的设计方案，一种基于Shape-Resnet的大脑中高级视觉区信号处理方法，包含如下内容：
构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；
利用样本数据对视觉编码模型进行训练优化；
利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步的，神经网络模型采用Resnet50网络结构，并利用收集的SIN数据集作为已有数据集训练Resnet50，使网络充分学习图像的形状特征。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，通过构建多元线性回归模型，将图片特征映射到大脑视觉皮层fMRI信号上；该多元线性回归模型表示为：y＝Xw+ε,其中，X代表神经网络模型中对应的一维特征，y代表实际观测的fMRI信号，w是待求解的权重系数，ε是噪声项。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，训练优化中，通过预测样本数据中刺激图片的fMRI体素响应；针对每个体素，选择预测准确率最高的特征层作为体素对应的最佳特征层，完成对每个体素的视觉信息编码。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，预测fMRI信号的预测准确度为样本数据中图像对应的预测响应和真实响应之间的皮尔逊相关系数，并通过置换检验来检测体素预测准确度；通过选择相关系数最高的体素响应所在的特征层作为最佳特征层，得到基于体素的fMRI视觉编码深度网络模型。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，针对视觉编码模型，通过利用正则化正交匹配追踪算法进行模型求解，以选取模型全局最优参数。
作为本发明基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，正交匹配追踪算法中，通过选取内积绝对值最大的K列，再依据正则化标准从已选出的K列中再选择一次来确保选出的向量是模型参数全局最优。
进一步地，本发明还提供一种基于Shape-Resnet的大脑中高级视觉区信号处理系统，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
本发明的有益效果：
本发明通过构建针对中高级视觉区的视觉编码模型，有效的提高对中高级视觉区最佳的预测性能，并且具有良好的表达能力和生物学解释性，提升中高级视觉区大脑信号预测效果，具有较好的应用前景。
附图说明：
图1为实施例中大脑中高级视觉区信号处理流程示意；
图2为实施例中模型结构示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，参见图1所示，提供一种基于Shape-Resnet的大脑中高级视觉区信号处理方法，包含如下内容：
S101、构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；
S102、利用样本数据对视觉编码模型进行训练优化；
S103、利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
通过构建针对中高级视觉区的视觉编码模型，有效的提高对中高级视觉区最佳的预测性能，并且具有良好的表达能力和生物学解释性，提升中高级视觉区大脑信号预测效果。
参见图2所示，使用学习了形状特征的Shape-Resnet网络提取刺激图像的中间层CNN特征。构建多元线性回归模型实现从图像特征到预测的fMRI信号的线性映射，得到两者之间的权值矩阵。预测测试集刺激图片的fMRI体素响应。针对每个体素，选择预测准确率最高的特征层作为该体素对应的最佳特征层，从而完成对每个体素的视觉信息编码。
作为本发明实施例中基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步的，神经网络模型采用Resnet50网络结构，并利用收集的SIN数据集作为已有数据集训练Resnet50，使网络充分学习图像的形状特征。
CNN网络依赖一定的视觉特征进行图像识别，目前支持者最多的是“形状假说”和“纹理假说”。早前已经有许多研究者进行不同的网络和实验来表明自己的观点，2019年RobertGeirhos等人通过大量实验说明用ImageNet(以下简称IN)训练的CNN网络拥有很强的纹理偏置，即更依赖于纹理特征来识别物体，同时也进行大量心理物理实验定量的分析说明了人类更倾向于形状判别。为了让CNN网络学习形状特征并对图片进行分类，该团队利用风格迁移技术生成风格化的IN即Stylized-ImageNet(以下简称SIN)数据集。SIN是通过AdaIN风格迁移将IN数据集替换为随机选择的绘画风格，从而构建的新的数据集。用该数据集训练的网络可以学习图像的形状特征同时可以达到很高的分类率。将IN和SIN数据集同时训练的Resnet50网络称作Shape-Resnet网络。本发明实施例中，使用Shape-Resnet网络作为神经网络模型，其与传统Resnet网络架构相同。Resnet50网络首先对输入图片做了卷积操作，然后使用ReLu函数作为激活函数，并在激活函数后加上一层最大池化层，之后是4个残差块(ResidualBlock),最后进行全连接操作以便于进行分类任务。用SIN数据集训练Resnet50，使网络充分学习图像的形状特征。在提取中间层特征时，选择激活函数层、各个残差块的最后一层和最后一层全连接层一共六层的输出作为CNN特征，分别得到64*112*112、256*56*56、512*28*28、1024*14*14、2048*7*7、1*1000六种不同维度的CNN特征。
作为本发明实施例中基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，通过构建多元线性回归模型，将图片特征映射到大脑视觉皮层fMRI信号上；该多元线性回归模型表示为：y＝Xw+ε,其中，X代表CNN的某一维特征，表示为m维的列向量，m表示刺激图像的数目。y代表实际观测的fMRI信号，表示为m×(n+1)的矩阵，n代表体素数目，最后一列是常数列向量。w是待求解的权重系数，n+1表示为维的列向量。ε是噪声项。进一步地，训练优化中，通过预测样本数据中刺激图片的fMRI体素响应；针对每个体素，选择预测准确率最高的特征层作为体素对应的最佳特征层，完成对每个体素的视觉信息编码。进一步地，预测fMRI信号的预测准确度为样本数据中图像对应的预测响应和真实响应之间的皮尔逊相关系数，并通过置换检验来检测体素预测准确度；通过选择相关系数最高的体素响应所在的特征层作为最佳特征层，得到基于体素的fMRI视觉编码深度网络模型。
作为本发明实施例中基于Shape-Resnet的大脑中高级视觉区信号处理方法，进一步地，针对视觉编码模型，通过利用正则化正交匹配追踪算法进行模型求解，以选取模型全局最优参数。进一步地，正交匹配追踪算法中，通过选取内积绝对值最大的K列，再依据正则化标准从已选出的K列中再选择一次来确保选出的向量是模型参数全局最优。
用正则化正交匹配寻踪算法(Regularized Orthogonal Matching Pursuit,ROMP)求解编码模型。ROMP算法是正交匹配追踪算法的改进方法之一，其具体的计算步骤为：首先选出内积绝对值最大的K列，再依据正则化标准，从已选出的K列中再选择一次，从而在更大程度上确保选出的向量是全局最优的。
进一步地，基于上述的方法，本发明实施例还提供一种基于Shape-Resnet的大脑中高级视觉区信号处理系统，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
参见图2所示，将测试集图片输入Shape-Resnet网络得到6层中间层CNN特征，利用计算出的权值矩阵得到基于不同CNN特征层的预测的fMRI体素响应。对于每一个体素，定义其预测准确度为测试集图像对应的预测响应和真实响应之间的皮尔逊相关系数。为了判断体素是否被有效编码，通过置换检验来检测对体素的预测准确度是否显著高于零假设。根据计算的相关系数，选择相关系数最高的体素响应所在的特征层作为最佳特征层，得到基于体素的fMRI视觉编码深度网络模型。
由于现有基于CNN网络的视觉编码模型大多是由IN数据集预训练的网络，网络只学习了数据的纹理特征，而没有学到形状特征，本发明实施例中用充分学习形状特征的深度神经网络构建视觉编码模型，提高中高级视觉区的编码准确率。首先对Resnet50网络训练，使其充分学习形状特征，即得到Shape-Resnet网络。然后利用Shape-Resnet网络提取图片的中间层特征，得到从图像空间到特征空间的映射。最后再构建线性回归模型，将特征空间映射到体素空间，从而预测体素响应。
为验证本案方案的有效性，利用使用学习了形状特征的Shape-Resnet网络提取刺激图像的中间层CNN特征。样本数据采用刺激图像来自加州伯克利大学Gallant实验室公开在其官网上的fMRI数据集中的图像。通过构建多元线性回归模型实现从图像特征到预测的fMRI信号的线性映射，用Gallant数据集中的训练集数据训练网络，得到图像特征和体素响应之间的权值矩阵。预测Gallant数据集中测试集刺激图片的fMRI体素响应。针对每个体素，计算预测体素响应和真实体素响应的皮尔逊相关系数作为模型对该体素的预测准确率，选择预测准确率最高的特征层作为该体素对应的最佳特征层，从而完成对每个体素的视觉信息编码，能够达到较好的编码效果和信号识别。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。
基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种基于Shape-Resnet的大脑中高级视觉区信号处理方法，其特征在于，包含如下内容：
构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的多元线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；神经网络模型采用Shape-Resnet网络，Shape-Resnet网络为由IN数据集和SIN数据集同时训练Resnet50网络得到，利用收集的SIN数据集训练Resnet50时使网络充分学习图像的形状特征；通过构建多元线性回归模型，将图片特征映射到大脑视觉皮层fMRI信号上；该多元线性回归模型表示为：y=Xw+ε，其中，X代表神经网络模型中对应的一维特征，y代表实际观测的fMRI信号，w是待求解的权重系数，ε是噪声项；
利用样本数据对视觉编码模型进行训练优化；训练优化中，通过将样本数据中图片输入Shape-Resnet网络得到6层中间层CNN特征，利用计算出的权值矩阵得到基于不同CNN特征层的预测的fMRI体素响应；针对每个体素响应，选择预测准确度最高的特征层作为体素响应对应的最佳特征层，完成对每个体素响应的视觉信息编码；预测fMRI体素响应的预测准确度为样本数据中图像对应的预测响应和真实响应之间的皮尔逊相关系数，并通过置换检验来检测体素响应预测准确度；通过选择相关系数最高的体素响应所在的特征层作为最佳特征层，得到基于体素响应的视觉编码模型；
利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
2.根据权利要求1所述的基于Shape-Resnet的大脑中高级视觉区信号处理方法，其特征在于，针对视觉编码模型，通过利用正则化正交匹配追踪算法进行模型求解，以选取模型全局最优参数。
3.根据权利要求2所述的基于Shape-Resnet的大脑中高级视觉区信号处理方法，其特征在于，正则化正交匹配追踪算法中，通过选取内积绝对值最大的K列，再依据正则化标准从已选出的K列中再选择一次来确保选出的向量是模型参数全局最优。
4.一种基于Shape-Resnet的大脑中高级视觉区信号处理系统，其特征在于，基于权利要求1所述的方法实现，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于提取刺激图像特征的神经网络和用于将图像特征映射到预测fMRI信号的线性回归模型，其中，神经网络模型为利用已有数据集已完成形状特征训练学习的深度卷积神经网络模型；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑中高级视觉区信号进行预测，以分析外部视觉刺激时目标大脑中高级视觉区信号变化过程。
5.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时执行权利要求1~3任一项所述的方法。
6.一种计算机设备，包含处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以执行权利要求1~3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472027.2A CN112686098B (zh) | 2020-12-15 | 2020-12-15 | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472027.2A CN112686098B (zh) | 2020-12-15 | 2020-12-15 | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686098A CN112686098A (zh) | 2021-04-20 |
| CN112686098B true CN112686098B (zh) | 2023-05-26 |
Family
ID=75447704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011472027.2A Active CN112686098B (zh) | 2020-12-15 | 2020-12-15 | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686098B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297993B (zh) * | 2021-05-28 | 2023-11-28 | 深圳中科华意科技有限公司 | 神经刺激信号确定装置和方法 |
| CN115336983B (zh) * | 2022-10-19 | 2023-03-03 | 之江实验室 | 基于单个脑区功能磁共振神经反馈的工作记忆调控系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691378A (zh) * | 2016-12-16 | 2017-05-24 | 深圳市唯特视科技有限公司 | 一种基于脑电图数据的深度学习视觉分类方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005000528A (ja) * | 2003-06-13 | 2005-01-06 | National Institute Of Information & Communication Technology | 脳機能測定装置及び脳機能測定プログラム |
| WO2006102370A2 (en) * | 2005-03-22 | 2006-09-28 | University Of Massachusetts | Functional brain mri mapping as a marker in cns diseases and disorders |
| JP6643771B2 (ja) * | 2015-10-13 | 2020-02-12 | 株式会社国際電気通信基礎技術研究所 | 脳活動解析装置、脳活動解析方法および脳活動解析プログラム |
| CN106022384B (zh) * | 2016-05-27 | 2019-07-12 | 中国人民解放军信息工程大学 | 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 |
| CN109816630B (zh) * | 2018-12-21 | 2020-09-04 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
| CN110188836B (zh) * | 2019-06-21 | 2021-06-11 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN111080730B (zh) * | 2019-10-31 | 2023-05-23 | 东南大学 | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 |
-
2020
- 2020-12-15 CN CN202011472027.2A patent/CN112686098B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691378A (zh) * | 2016-12-16 | 2017-05-24 | 深圳市唯特视科技有限公司 | 一种基于脑电图数据的深度学习视觉分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686098A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | PiCANet: Pixel-wise contextual attention learning for accurate saliency detection | |
| Zhang et al. | Pathological brain detection in magnetic resonance imaging scanning by wavelet entropy and hybridization of biogeography-based optimization and particle swarm optimization | |
| Norman et al. | Beyond mind-reading: multi-voxel pattern analysis of fMRI data | |
| Xu et al. | Unsupervised color image segmentation with color-alone feature using region growing pulse coupled neural network | |
| CN112686098B (zh) | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 | |
| Stergiou et al. | Learn to cycle: Time-consistent feature discovery for action recognition | |
| Wang et al. | Residual-sparse fuzzy C-means clustering incorporating morphological reconstruction and wavelet frame | |
| He et al. | What catches the eye? Visualizing and understanding deep saliency models | |
| Venkatachalam et al. | An efficient Gabor Walsh-Hadamard transform based approach for retrieving brain tumor images from MRI | |
| EP3588441B1 (en) | Imagification of multivariate data sequences | |
| Fan et al. | Riemannian dynamic generalized space quantization learning | |
| CN113887559A (zh) | 一种脑不在环路应用的脑机信息融合分类方法及系统 | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Wavelet transform and texture recognition based on spiking neural network for visual images | |
| Sampath et al. | 3D brain image‐based Alzheimer's disease detection techniques using fish swarm optimizer's deep convolution Siamese neural network | |
| Bachman et al. | Towards information-seeking agents | |
| Wu et al. | Salient object detection based on global to local visual search guidance | |
| Wang et al. | Neural encoding with unsupervised spiking convolutional neural network | |
| Mandawkar et al. | Alzheimer disease classification using tawny flamingo based deep convolutional neural networks via federated learning | |
| Moayedi et al. | Human action recognition: Learning sparse basis units from trajectory subspace | |
| CN115605924A (zh) | 利用时间自相似矩阵在视频中进行类不可知重复计数 | |
| Priya et al. | PT-CNN: A Non-linear Lightweight Texture Image Classifier | |
| CN117274256B (zh) | 一种基于瞳孔变化的疼痛评估方法、系统及设备 | |
| Dehsorkh et al. | Predicting the neural response of primary visual cortex (v1) using deep learning approach | |
| Douglas et al. | Feature fallacy: Complications with interpreting linear decoding weights in fMRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |