CN112233199B - 基于离散表征和条件自回归的fMRI视觉重构方法 - Google Patents
基于离散表征和条件自回归的fMRI视觉重构方法 Download PDFInfo
- Publication number
- CN112233199B CN112233199B CN202011006599.1A CN202011006599A CN112233199B CN 112233199 B CN112233199 B CN 112233199B CN 202011006599 A CN202011006599 A CN 202011006599A CN 112233199 B CN112233199 B CN 112233199B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- fmri
- reconstruction
- discrete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002599 functional magnetic resonance imaging Methods 0.000 title claims abstract description 56
- 238000012512 characterization method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 210000004556 brain Anatomy 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 4
- 230000000638 stimulation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 230000002441 reversible effect Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于离散表征和条件自回归的fMRI视觉重构方法。该方法包括：步骤1：构建图像离散表征模型和图像重构模型；步骤2：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；步骤3：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；步骤4：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。本发明主要面向复杂自然图像的重构。
Description
技术领域
本发明涉及视觉重构技术领域，尤其涉及一种基于离散表征和条件自回归的fMRI视觉重构方法。
背景技术
基于fMRI的视觉重构是基于fMRI的视觉信息解码的关键技术，旨在根据大脑皮层神经信息来重构出图像刺激，是大脑视觉解码中最困难的问题。引起视觉重构困难的原因主要包括噪声、高维、信息缺失。在fMRI数据采集过程中，机器、被试等各类噪声不可避免被引入；大脑皮层体素数量较大；由于大脑视觉信息处理过程中存在不变性造成体素中包含的视觉信息缺失，导致大脑信号到视觉刺激图像的一对多的问题。这些问题一直影响着视觉重构的质量。
现有的fMRI视觉重构方法可以大致分为基于贝叶斯理论的方式、基于刺激图像像素建模的方式、基于可逆特征表达的方式和基于生成对抗网络的方式这四种。
(1)基于贝叶斯理论的视觉重构
在贝叶斯框架下，可以通过最大化后验概率P(S|R)实现图像重构，其中S代表待重构图像，R代表体素，然而P(S|R)较难得到。在贝叶斯公式P(S|R)＝P(R|S)P(S)/P(R)中，条件概率P(R|S)代表已知图像S下体素响应R的可能性，反映了编码模型概率分布，P(S)表示图像的先验概率分布。因此，最大化后验概率P(S|R)可以转化成最大化编码概率和先验分布概率的乘积，即从贝叶斯理论出发解决重构问题。
2006年，Thirion等人根据贝叶斯理论实现了多米诺骨牌简单图像的重构。2009年，Naselaris等人对自然图像视觉刺激进行重构，考虑到自然图像包含了丰富的统计结构和语义内容，因此，根据基于预先构造的结构性编码模型和语义编码模型，通过贝叶斯准则和自然图像先验信息实现了自然图像视觉刺激的重构。2011年，Nishimoto等人(Nishimoto,S.,et al.,Reconstructing visual experiences from brain activityevoked by natural movies.Current Biology,2011.21(19):p.1641-1646.)采集被试观看视频序列时的fMRI信号，通过联合Gabor小波特征和运动能量特征实现了更好的编码模型。依靠编码模型，分别依据最大后验概率准则(maximum a posteriori，MAP)的方法实现了视觉刺激图像的重构。
(2)基于刺激图像像素建模的视觉重构
基于刺激图像像素建模的视觉重构，一般是直接构建从所有大脑体素到图像像素的映射关系，通过优化求解的方法确定每个大脑体素到像素映射的权重系数。
这方面最经典的研究为2008年日本人Miyawaki等人(Miyawaki,Y.,et al.,Visual image reconstruction from human brain activity using a combination ofmultiscale local image decoders.Neuron,2008.60(5):p.915-929.)发表在《Neuron》上的工作。其基本思路是：将包含字母或简单图形的10×10像素人造图片转换成由小棋盘格方块构成的图像，呈现给被试并获取其fMRI信号；以fMRI信号作为输入，构建一种线性多体素模式解码器，该解码器通过对各体素fMRI信号分别进行线性加权，预测每个像素的强度，从而获得对于整个刺激图像的逐像素解码结果。2018年，Ma等人(Ma,Y.,et al.,Reconstruction of visual image from functional magnetic resonance imagingusing spiking neuron model.IEEE Transactions on Cognitive and DevelopmentalSystems,2018.10(3):p.624-636.)考虑到脉冲卷积神经网络(Spike Neural network，SNN)更贴合生物神经系统，利用SNN结构实现了对图像块明暗的二分类，由于视觉刺激图像由144个图像块组成，在分类结果的基础上实现了视觉刺激图像的重构。
(3)基于深度网络特征可逆表达的方法
近年来，深度学习在计算机视觉领域和语音识别领域取得了重大突破，深度网络开始逐渐被广大视觉编解码技术研究学者关注并逐渐应用到该领域，由于深度网络在图像特征表达上的优势，在编解码问题上取得了较好的效果。很多方法实验验证了深度网络的特征与视觉皮层响应具有较高的相关性，因此通过深度网络特征作为桥梁实现图像重构，首先把皮层响应映射到深度网络特征，然后通过对特征层实施逆向操作，实现特征到图像的映射，从而完成视觉重构任务。
2017年，Han等人使用一种深度网络结构——变分自编码器(Variational Auto-Encoder,VAE)来构造编码模型。首先基于自然图像数据库训练VAE模型，实现图像的特征表达和重构。然后训练体素响应到VAE隐空间特征向量的线性回归映射，最后利用VAE重构部分实现重构。2017年，Wen等人在预训练的AlexNet卷积神经网络(ConvolutionalNeuralNetwork,CNN))模型基础上，通过训练视觉体素分别到CNN网络中第一层特征层的映射，然后通过对第一层特征的预测结果解卷积可以实现视觉刺激图像的重构。2018年，VanRullen等人(VanRullen,R.and L.Reddy,Reconstructing Faces fromfMRI Patterns using Deep Generative Neural Networks.arXiv preprint arXiv:1810.03856,2018.)在VAE模型的基础上，增加一个判别网络，通过生成对抗网络的方式来训练VAE模型，然后通过训练体素到VAE隐特征空间的映射，从而利用VAE的解码网络可以实现对视觉刺激图像的重构。
(4)基于生成对抗网络的方法
近年来，生成对抗网络(Generative Adversarial Network,GAN)在自然图像生成方面取得了较大进展。由于其生成图像较为自然的优势，以及很多视觉重构方法重构图像较为模糊且图像自然属性较低，因此，借助生成对抗网络来改善视觉重构图像质量的方式开始引起人们的思考和尝试，并取得了一定的进展。
2017年，St-Yves等人训练条件生成对抗网络，本质是通过噪声在体素的先验下实现视觉重构。2018年，Seeliger等人(Seeliger,K.,et al.,Generative adversarialnetworks for reconstructing natural images from brain activity.NeuroImage,2018.181:p.775-785.)首先训练基于视觉刺激图像的生成对抗网络实现相似图像的生成，然后使用脑信号映射到生成网络的隐特征空间上，送入生成器通过约束重构图像与原始视觉刺激图像在图像空间和预训练深度模型的特征空间上相似来实现对视觉皮层响应的视觉刺激图像重构。
目前，对于自然图像的重构，主要利用基于可逆特征的方式和基于生成对抗网络的方式。由于后者需要更多的数据且训练不稳定，目前基于可逆特征的方式是一种较为主流的重构方式。然而，基于可逆特征的方式主要采用两阶段的重构策略，通常依赖于预训练的深度网络模型，中间特征维度较高，且中间特征与体素响应的匹配度很难达到较高的水平，使得中间特征在可逆过程中的误差累积效应是影响视觉重构质量的关键问题。因此，如何构造低维网络特征作为中间桥梁，与体素响应实现较好地匹配是亟待解决的关键问题。
发明内容
针对现有方法提取的图像特征与体素响应匹配度仍然不高的问题，本发明提供一种基于离散表征和条件自回归的fMRI视觉重构方法，主要面向复杂自然图像的重构，通过离散表征压缩图像内容，通过条件自回归，实现fMRI脑信号与离散特征的关联，进而实现图像重构。
本发明提供的基于离散表征和条件自回归的fMRI视觉重构方法，包括：
步骤1：构建图像离散表征模型和图像重构模型；
步骤2：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；
步骤3：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；
步骤4：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。
进一步地，步骤1具体为：
确定刺激图像类别，收集与刺激图像类别相同的图像，根据收集到的图像构建VQ-VAE-2模型。
进一步地，步骤1中，采用第一保真度损失函数对图像离散表征模型和图像重构模型进行训练，所述第一保真度损失函数用于约束输入图像和重构图像的保真度。
进一步地，步骤3具体为：
步骤3.1：利用步骤1构建的图像离散表征模型，得到第一套图像的离散特征，并将得到的离散特征与第一套fMRI脑信号逐一构成样本对；
步骤3.2：将第一套fMRI脑信号作为自回归模型的条件向量输入，根据步骤3.1构造的样本对，训练得到离散特征的自回归模型。
进一步地，步骤3.2中，采用第二保真度损失函数对自回归模型进行训练，所述第二保真度损失函数用于约束输入的离散特征和预测的离散特征的保真度。
进一步地，步骤4具体为：
步骤4.1：将第二套fMRI脑信号作为条件自回归模型的输入，条件自回归模型的输出为预测的离散特征；
步骤4.2：将预测的离散特征作为步骤1的图像重构模型的输入，图像重构模型的输出即为重构得到的刺激图像。
本发明的有益效果：
本发明从网络中间特征出发，通过VQ-VAE-2模型对图像信息高度压缩，提取图像关键特征，从而实现体素响应与之较好的匹配映射，从而可以改善自然图像的重构质量。
附图说明
图1为本发明实施例提供的基于离散表征和条件自回归的fMRI视觉重构方法的流程示意图；
图2为本发明实施例提供的构建图像离散表征模型和图像重构模型的示意图；
图3为本发明实施例提供的构建fMRI脑信号到图像离散表征的条件自回归模型的示意图；
图4为本发明实施例提供的fMRI脑信号的视觉重构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
fMRI视觉重构是指根据被试在看到图像刺激时大脑视觉区的fMRI信号，直接重构出被试所看到的图像。
如图1所示，本发明实施例提供一种基于离散表征和条件自回归的fMRI视觉重构方法，包括以下步骤：
S101：构建图像离散表征模型和图像重构模型；
具体地，如图2所示，首先确定刺激图像类别，然后收集与刺激图像类别相同的图像，根据收集到的图像构建VQ-VAE-2模型。VQ-VAE-2模型由图像离散表征模型和图像重构模型组成，训练完成后通过特征采样，可以由图像重构模型生成自然图像。采用第一保真度损失函数对图像离散表征模型和图像重构模型进行训练，所述第一保真度损失函数用于约束输入图像和重构图像的保真度。例如，第一保真度损失函数(即图2中的保真度损失函数)可以采用图像像素均方误差、结构相似性误差、深度网络特征层均方误差。
需要说明的是，本发明主要针对计算机视觉领域自然图像类别(如ImageNet数据库类别)，对一般性类别具有通用性。
本步骤中的“图像离散表征模型”能够实现对输入图像离散表征得到图像的离散特征；“图像重构模型”能够根据图像的离散特征再次重构出图像。该两个模型均由神经网络组成。其中，“图像离散表征模型”通过表征离散化，大幅实现了图像的特征压缩，有利于后续通过fMRI脑信号实施重构。
需要说明的是，构建VQ-VAE-2模型的过程可以参考“Razavi A,van den Oord A,Vinyals O.Generating diverse high-fidelity images with vq-vae-2[C]//Advancesin Neural Information Processing Systems.2019:14866-14876”。
S102：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；
S103：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；
具体地，如图3所示，首先，利用步骤S101构建的图像离散表征模型，得到第一套图像的离散特征，并将得到的离散特征与第一套fMRI脑信号逐一构成样本对；然后，将第一套fMRI脑信号作为自回归模型的条件向量输入，根据构造的样本对，训练得到离散特征的自回归模型。本步骤中，采用第二保真度损失函数对自回归模型进行训练，所述第二保真度损失函数用于约束输入的离散特征和预测的离散特征的保真度。本步骤中的自回归模型可以采用经典的PixelRNN、PixelCNN等自回归神经网络模型。
第二保真度损失函数(即图3中的保真度损失函数)可以采用均方误差、余弦相似性、交叉熵，用来度量离散特征和预测的离散特征。
S104：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。
具体地，如图4所示，首先，将第二套fMRI脑信号作为条件自回归模型的输入，条件自回归模型的输出为预测的离散特征；然后，将预测的离散特征作为步骤S101的图像重构模型的输入，图像重构模型的输出即为重构得到的刺激图像。
本发明实施例提供的基于离散表征和条件自回归的fMRI视觉重构方法，主要面向复杂自然图像的重构。通过离散表征压缩图像内容，通过条件自回归，实现fMRI脑信号与离散特征的关联，进而实现图像重构。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.基于离散表征和条件自回归的fMRI视觉重构方法，其特征在于，包括：
步骤1：构建图像离散表征模型和图像重构模型；
步骤2：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；
步骤3：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；步骤3具体为：
步骤3.1：利用步骤1构建的图像离散表征模型，得到第一套图像的离散特征，并将得到的离散特征与第一套fMRI脑信号逐一构成样本对；
步骤3.2：将第一套fMRI脑信号作为自回归模型的条件向量输入，根据步骤3.1构造的样本对，训练得到离散特征的自回归模型；
步骤4：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果；步骤4具体为：
步骤4.1：将第二套fMRI脑信号作为条件自回归模型的输入，条件自回归模型的输出为预测的离散特征；
步骤4.2：将预测的离散特征作为步骤1的图像重构模型的输入，图像重构模型的输出即为重构得到的刺激图像。
2.根据权利要求1所述的方法，其特征在于，步骤1具体为：
确定刺激图像类别，收集与刺激图像类别相同的图像，根据收集到的图像构建VQ-VAE-2模型。
3.根据权利要求1所述的方法，其特征在于，步骤1中，采用第一保真度损失函数对图像离散表征模型和图像重构模型进行训练，所述第一保真度损失函数用于约束输入图像和重构图像的保真度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006599.1A CN112233199B (zh) | 2020-09-23 | 2020-09-23 | 基于离散表征和条件自回归的fMRI视觉重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006599.1A CN112233199B (zh) | 2020-09-23 | 2020-09-23 | 基于离散表征和条件自回归的fMRI视觉重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233199A CN112233199A (zh) | 2021-01-15 |
| CN112233199B true CN112233199B (zh) | 2024-02-06 |
Family
ID=74107419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011006599.1A Active CN112233199B (zh) | 2020-09-23 | 2020-09-23 | 基于离散表征和条件自回归的fMRI视觉重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233199B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767377B (zh) * | 2021-01-27 | 2022-07-05 | 电子科技大学 | 一种级联医学图像增强方法 |
| CN113034634B (zh) * | 2021-03-04 | 2022-05-06 | 脉冲视觉(北京)科技有限公司 | 基于脉冲信号的自适应成像方法、系统及计算机介质 |
| CN115908962B (zh) * | 2022-06-13 | 2023-11-14 | 北京融合未来技术有限公司 | 神经网络的训练方法、脉冲信号重构图像生成方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573512A (zh) * | 2018-03-21 | 2018-09-25 | 电子科技大学 | 一种基于深度编解码对偶模型的复杂视觉图像重构方法 |
| CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11002814B2 (en) * | 2017-10-25 | 2021-05-11 | Siemens Medical Solutions Usa, Inc. | Decoding from brain imaging data of individual subjects by using additional imaging data from other subjects |
-
2020
- 2020-09-23 CN CN202011006599.1A patent/CN112233199B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573512A (zh) * | 2018-03-21 | 2018-09-25 | 电子科技大学 | 一种基于深度编解码对偶模型的复杂视觉图像重构方法 |
| CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 雷煜 ; 童莉 ; 李建新 ; 闫镔 ; .基于脑功能磁共振影像的视觉信息解读技术.计算机应用研究.2013,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233199A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233199B (zh) | 基于离散表征和条件自回归的fMRI视觉重构方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| Ozcelik et al. | Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans | |
| Lin et al. | Mind reader: Reconstructing complex images from brain activities | |
| CN109784242A (zh) | 基于一维残差卷积神经网络的脑电信号去噪方法 | |
| CN110443768A (zh) | 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| Huang et al. | Deep natural image reconstruction from human brain activity based on conditional progressively growing generative adversarial networks | |
| Jiang et al. | CT image super resolution based on improved SRGAN | |
| Qiang et al. | Learning brain representation using recurrent Wasserstein generative adversarial net | |
| Goebel et al. | Reading imagined letter shapes from the mind’s eye using real-time 7 tesla fMRI | |
| Huang et al. | Temporal information-guided generative adversarial networks for stimuli image reconstruction from human brain activities | |
| CN116977330B (zh) | 基于脉冲神经网络和上下文感知的房颤辅助分析方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| Fang et al. | Alleviating the semantic gap for generalized fmri-to-image reconstruction | |
| CN117113067A (zh) | 一种基于鲸鱼优化算法的混合时频空脑电特征提取方法 | |
| Song et al. | A medical image fusion method based on mdlatlrrv2 | |
| Meng et al. | Semantics-guided hierarchical feature encoding generative adversarial network for natural image reconstruction from brain activities | |
| Li et al. | Latent source mining of fMRI data via deep belief network | |
| Ni et al. | Natural Image Reconstruction from fMRI Based on Self-supervised Representation Learning and Latent Diffusion Model | |
| CN112365551A (zh) | 一种图像质量处理系统、方法、设备和介质 | |
| Hu et al. | A CNN-based computational encoding model for human V1 cortex | |
| Yang et al. | Functional diversity of visual cortex improves constraint-free natural image reconstruction from human brain activity | |
| CN113068035B (zh) | 一种基于深度神经网络的自然场景重建的方法 | |
| Shyi et al. | Predicting performances on processing and memorizing East Asian faces from brain activities in face-selective regions: a neurocomputational approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |