CN111080730B - 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 - Google Patents
基于跨通道和空间加权卷积特征的脑图像解码方法及系统 Download PDFInfo
- Publication number
- CN111080730B CN111080730B CN201911051131.1A CN201911051131A CN111080730B CN 111080730 B CN111080730 B CN 111080730B CN 201911051131 A CN201911051131 A CN 201911051131A CN 111080730 B CN111080730 B CN 111080730B
- Authority
- CN
- China
- Prior art keywords
- fmri
- steps
- ijk
- channel
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 210000004556 brain Anatomy 0.000 title claims abstract description 40
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 69
- 238000012417 linear regression Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 24
- 210000000857 visual cortex Anatomy 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000005481 NMR spectroscopy Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000011551 log transformation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000364483 Lipeurus epsilon Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于跨通道和空间加权卷积特征的脑图像解码方法,该方法以稀疏线性回归模型作为脑解码器的基础,通过输入大脑视觉皮层区域的核磁共振信号来预测受试者所看到图片的高级语义卷积特征。一旦解码器训练完成后,对于任意给定一组测得的fMRI信号,可以通过该解码器判别出受试者当时所看到图片的类别。本发明还提出了一种脑图像解码系统,与传统方法相比,本发明针对卷积网络特征缺乏几何不变性的缺点,对不同通道及空间位置上的卷积特征进行加权,得到了表征能力更强的特征,从而提高了识别的准确性;另一方面,本发明所利用的卷积特征,消除了随机性带来的干扰,更加稳定,且特征维数更低,大幅减少了计算量。
Description
技术领域
本发明涉及一种大脑核磁共振成像(fMRI)信号解码方法及系统,属于认知神经科学、图像处理、计算机视觉、深度学习技术领域。
背景技术
脑图像解码是指针对大脑状态信息进行解码,是根据受试者的大脑fMRI信号,利用解码器还原出其所看到的图片类别。尽管当前已经有许多方法能够实现这一目标,但这些方法大多受限于训练样本,即所要预测的图像类别必须在训练样本中出现过。
为克服这一困难,现已有方法通过学习图像的特征而非图像本身,以此将所能够预测的类别扩展到任何未曾遇到过的图像类别。另一方面,大量研究表明,视觉皮层对图像的处理过程与当今流行的深度卷积神经网络存在极高的相似性,因此,卷积特征成为了此类方法的首选特征。然而,由于卷积特征本身缺乏几何不变性,直接对特征进行采样并不能完全发挥出卷积特征的性能,这极大限制了脑图像解码的准确性;另外,随机采样获得的卷积特征具有随机性,难以保证最终预测结果的稳定性。
发明内容
本发明所要解决的技术问题是:为了克服现有技术的缺点和不足,本发明提供了一种新的基于跨通道和空间加权卷积特征(CroW)的脑图像解码方法,在此基础上针对特征做log变换,从而使得解码准确度更高。
为解决以上技术问题,本发明采用的技术方案为:
本发明提出一种基于跨通道和空间加权卷积特征的脑图像解码方法,该方法包括以下步骤:
1)、数据预处理步骤:分别对fMRI信号做预处理和提取图片的卷积特征;具体包括以下步骤:
101)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
102)、fMRI信号预处理;具体如下:
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量;至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
103)、图片CroW特征提取;具体如下:
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层的输出,大小为6*6*256,记为χijk;其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权,具体步骤如下:
3.3)、CroW特征最终计算方法,具体如下:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,计算公式为χi ′ jk=αijβkχijk;
2)、基于稀疏线性回归模型构建脑解码器,包括如下子步骤:
201)、构建稀疏线性回归模型;
202)、构建训练样本,即将一组fMRI信号与所看到的图片的跨通道和空间加权卷积特征一一对应;
203)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
3)、基于训练好的稀疏线性回归模型,对任意给定的一组受试者观看图片时记录的fMRI数据,解码出所看到图片的类别。
进一步的,本发明所提出的方法,对3.3)中所述的CroW特征做log变换,具体为:
将得到的CroW特征向量取对数,即fk ′=ln(fk+∈1),其中∈1是以防止ln(0)的出现的自定义参数。
进一步的,本发明所提出的方法中,在步骤203)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器,步骤为:
a)、假设对于给定的有d个体素组成的fMRI样本x={x1,…,xd}T,则将该回归模型表示成其中y表示预测的图像特征值,xi表示第i个体素的fMRI幅度值,wi表示第i个体素对应的权重,i的初始值为1;若令w={w0,…,wd}T,x={x0,…,xd}T,x0=1,则将上述模型简写为y(x)=wTx;令tl表示为图像特征向量第l个值则将包含零均值的高斯噪声∈g的回归模型表示为tl=y(x)+∈g;
e)利用变分贝叶斯估计对参数w,α,β进行估计。
进一步的,本发明所提出的方法,在步骤3)中对受试者进行图像类别解码步骤具体如下:
301)、对于给定的一组受试者fMRI信号,将该信号输入训练好的解码器中,输出一组相应的特征向量f;
302)、对于不同类别的图片,分别针对某一特定类别,获取足够多的该类别的图片;然后,通过3.3)的计算步骤得到每张图片的CroW特征向量;最后,对这些特征向量取平均,作为该类别对应的特征向量fc;
303)、将步骤301)中解码得到特征向量f逐一与步骤302)中的预先计算好的类别特征向量fc求相关系数,把其中相关系数最大的类别作为预测的受试者所看到图片的类别。
本发明还提出一种基于跨通道和空间加权卷积特征的脑图像解码系统,包括:
数据预处理单元,用于对实验数据做预处理,即预处理fMRI信号和提取图片CroW特
征,被配置执行以下步骤:
101)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
102)、fMRI信号预处理;具体如下:
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量;至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
103)、图片CroW特征提取;具体如下:
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层的输出,大小为6*6*256,记为χijk;其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权,具体步骤如下:
3.3)、CroW特征最终计算方法,具体如下:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,计算公式为χi ′ jk=αijβkχijk;
稀疏线性回归模型训练单元,用于基于稀疏线性回归模型的脑解码器,训练设计好的稀疏线性回归模型,被配置以执行以下步骤。
1)、构建稀疏线性回归模型;
2)、构建训练样本,即一组fMRI信号与所看到的图片的卷积特征一一对应;
3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
图像识别单元,被配置以执行以下动作:基于训练好的稀疏线性回归模型,将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型,得到一组预测的图片特征向量,将该特征向量与预先准备好的一些图像类别特征向量求相关系数,系数最大者即为所预测的图片类别。
本发明相比现有技术,具有以下有益效果:
本发明提出的基于跨通道和空间加权的脑解码方法可以根据任意给定的一组大脑fMRI信号,预测出测试时受试者所看到图片的类别。与传统方法相比,本发明针对卷积网络特征缺乏几何不变性的缺点,对不同通道及空间位置上的输出进行加权,得到了表征能力更强的特征,从而提高了目标识别的准确性;另一方面,本发明所利用的卷积特征,消除了随机性带来的干扰,鲁棒性更好,且特征维数更低,大幅减少了计算量。
附图说明
图1是本发明所提出的基于跨通道和空间加权卷积特征的脑图像解码方法的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例和说明书附图1对本发明的技术方案进行清楚、完整的描述,显然,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本发明提出一种基于CroW特征的广义脑图像解码方法,参考图1所示。该方法的适用场景为:令受试者逐一观看预先准备好的一组图片,同时记录其大脑fMRI信号。该方法包括以下步骤:
1)、数据预处理步骤:分别对fMRI信号做预处理和提取图片的卷积特征。
2)、基于稀疏线性回归模型构建脑解码器,包括如下子步骤:
2.1)、构建稀疏线性回归模型;
2.2)、构建训练样本,即一组fMRI信号与所看到的图片的卷积特征一一对应;
2.3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
3)、对任意给定的一组受试者观看图片时记录的fMRI数据,解码出所看到图片的类别。
进一步的,作为本发明所提出的脑图像解码方法中的一个优选实施例,数据预处理步骤具体如下:
1)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
2)、fMRI信号预处理;
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量。至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
3)、图片CroW特征提取;
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层(conv5)的输出,大小为6x6x256,记为χijk。其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权。具体步骤如下:
3.2.2)、通道加权。利用信息量的思想对通道进行加权,即出现概率越小的通道,其包含的信息量越大,相对更重要。公式为其中∈是一个极小的量以防止除数为0,Qk表示第k个通道特征量非0的个数,W和H分别表示特征图的大小,此处为6x6(AlexNet第5层卷积层输出);
3.3)、CroW特征最终计算方法:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,公式为χ′ijk=αijβkχijk;
进一步的,作为本发明所提出的脑图像解码方法中的一个优选实施例,对3.3)中提到的CroW特征做log变换,具体为:
由于受卷积神经网络中的激活函数(ReLU函数)影响,3.3)中计算所得到的CroW特征并不服从高斯分布。为此,将得到的CroW特征向量取对数,即f′k=ln(fk+∈1)。其中∈1是一个极小的值,以防止ln(0)的出现。
进一步的,作为本发明所提出的脑图像解码方法中的一个优选实施例,在步骤2.3)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的解码器,步骤为:
1)、对于给定的有d个体素组成的fMRI样本x={x1,…,xd}T,则该回归模型可以表示成其中y表示预测的图像特征值,xi表示第i个体素的fMRI幅度值,wi表示第i个体素对应的权重,i的初始值为1。若令w={w0,…,wd}T,x={x0,…,xd}T,x0=1,则上述模型可简写为y(x)=wTx。进一步的,若令tl(l∈{1,…,L})表示为图像特征向量第l个值,则包含零均值的高斯噪声∈g的回归模型可表示为tl=y(x)+∈g;
2)、为了构造目标函数,可首先将似然函数表示为
5)利用变分贝叶斯估计对参数w,α,β进行估计。
进一步的,作为本发明所提出的脑图像解码方法的一个优选实施例,对受试者进行图像类别解码步骤具体如下:
1)、对于给定的一组受试者fMRI信号,将该信号输入训练好的解码器中,输出一组相应的特征向量f;
2)、对于不同类别的图片,分别针对某一特定类别,获取足够多的该类别的图片。然后,通过3.3.1)所述方法计算得到每张图片的CroW特征向量。最后,对这些特征向量取平均,作为该类别对应的特征向量fc。
3)、将1)中解码得到特征向量f逐一与2)中的预先计算好的类别特征向量fc求相关系数,把其中相关系数最大的类别作为预测的受试者所看到图片的类别。
本发明还提出一种基于跨通道和空间加权卷积特征和稀疏线性回归模型的脑图像解码系统,包括:
数据预处理单元,用于对实验数据做预处理,即预处理fMRI信号和提取图片CroW特
征,被配置执行以下步骤:
101)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
102)、fMRI信号预处理;具体如下:
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量;至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
103)、图片CroW特征提取;具体如下:
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层的输出,大小为6*6*256,记为χijk;其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权,具体步骤如下:
3.3)、CroW特征最终计算方法,具体如下:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,计算公式为χi ′ jk=αijβkχijk;
稀疏线性回归模型训练单元,用于基于稀疏线性回归模型的脑解码器,训练设计好的稀疏线性回归模型,被配置以执行以下步骤。
1)、构建稀疏线性回归模型;
2)、构建训练样本,即一组fMRI信号与所看到的图片的卷积特征一一对应;
3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
图像识别单元,被配置以执行以下动作:基于训练好的稀疏线性回归模型,将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型,得到一组预测的图片特征向量,将该特征向量与预先准备好的一些图像类别特征向量求相关系数,系数最大者即为所预测的图片类别。
本技术领域技术人员可以理解的是,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器,从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
本技术领域技术人员可以理解的是,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
上面结合附图对本发明的实施方式作了详细地说明,但是本发明并不局限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (5)
1.一种基于跨通道和空间加权卷积特征的脑图像解码方法,其特征在于,该方法包括以下步骤:
1)、数据预处理步骤:分别对fMRI信号做预处理和提取图片的卷积特征;具体为:
101)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
102)、fMRI信号预处理;具体如下:
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量;至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
103)、图片CroW特征提取;具体如下:
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层的输出,大小为6*6*256,记为χijk;其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权,具体步骤如下:
3.3)、CroW特征最终计算方法,具体如下:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,计算公式为χi ′ jk=αijβkχijk;
2)、基于稀疏线性回归模型构建脑解码器,包括如下子步骤:
201)、构建稀疏线性回归模型;
202)、构建训练样本,即将一组fMRI信号与所看到的图片的跨通道和空间加权卷积特征一一对应;
203)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
3)、基于训练好的稀疏线性回归模型,对任意给定的一组受试者观看图片时记录的fMRI数据,解码出所看到图片的类别。
2.根据权利要求1所述的方法,其特征在于,对3.3)中所述的CroW特征做log变换,具体为:
将得到的CroW特征向量取对数,即f′k=ln(fk+∈1),其中∈1是以防止ln(0)的出现的自定义参数。
3.根据权利要求2所述的方法,其特征在于,在步骤203)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器,步骤为:
a)、假设对于给定的有d个体素组成的fMRI样本x={x1,...,xd}T,则将该回归模型表示成其中y表示预测的图像特征值,xi表示第i个体素的fMRI幅度值,wi表示第i个体素对应的权重,i的初始值为1;若令w={w0,...,wd}T,x={x0,...,xd}T,x0=1,则将上述模型简写为y(x)=wTx;令tl表示为图像特征向量第l个值则将包含零均值的高斯噪声∈g的回归模型表示为tl=y(x)+∈g;
e)利用变分贝叶斯估计对参数w,α,β进行估计。
4.根据权利要求2所述的方法,其特征在于,步骤3)中对受试者进行图像类别解码步骤具体如下:
301)、对于给定的一组受试者fMRI信号,将该信号输入训练好的解码器中,输出一组相应的特征向量f;
302)、对于不同类别的图片,分别针对某一特定类别,获取足够多的该类别的图片;然后,通过3.3)的计算步骤得到每张图片的CroW特征向量;最后,对这些特征向量取平均,作为该类别对应的特征向量fc;
303)、将步骤301)中解码得到特征向量f逐一与步骤302)中的预先计算好的类别特征向量fc求相关系数,把其中相关系数最大的类别作为预测的受试者所看到图片的类别。
5.一种基于跨通道和空间加权卷积特征的脑图像解码系统,其特征在于,包括:
数据预处理单元,用于对实验数据做预处理,即预处理fMRI信号和提取图片CroW特征,被配置执行以下步骤:
101)、处理不同时刻的fMRI信号与展示的图片,使其一一对应;
102)、fMRI信号预处理;具体如下:
2.1)、对fMRI信号做头动校正,并将信号注册到对应高分辨率的T1加权图像中;
2.2)、利用掩模提取位于视觉皮层部分的fMRI数据,并展成为一维向量;至此,对于每一张观看到的图片,均有一个一维的fMRI信号与之相对应;
103)、图片CroW特征提取;具体如下:
3.1)、对于给定图片,将其通过预训练好的AlexNet,取其第5层卷积层的输出,大小为6*6*256,记为χijk;其中i,j分别表示卷积特征的第i行,第j列,k表示第k个通道;
3.2)、对χijk分别做空间加权和通道加权,具体步骤如下:
3.3)、CroW特征最终计算方法,具体如下:
3.3.1)、将3.2)中计算好的权重应用到原始特征χijk,计算公式为χ′ijk=αijβkχijk;
1)、构建稀疏线性回归模型;
2)、构建训练样本,即一组fMRI信号与所看到的图片的卷积特征一一对应;
3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器;
图像识别单元,被配置以执行以下动作:基于训练好的稀疏线性回归模型,将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型,得到一组预测的图片特征向量,将该特征向量与预先准备好的一些图像类别特征向量求相关系数,系数最大者即为所预测的图片类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051131.1A CN111080730B (zh) | 2019-10-31 | 2019-10-31 | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051131.1A CN111080730B (zh) | 2019-10-31 | 2019-10-31 | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111080730A CN111080730A (zh) | 2020-04-28 |
CN111080730B true CN111080730B (zh) | 2023-05-23 |
Family
ID=70310608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911051131.1A Active CN111080730B (zh) | 2019-10-31 | 2019-10-31 | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111080730B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686098B (zh) * | 2020-12-15 | 2023-05-26 | 中国人民解放军战略支援部队信息工程大学 | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722728A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于通道加权支持向量的运动想象脑电分类方法 |
CN105844111A (zh) * | 2016-04-07 | 2016-08-10 | 杭州电子科技大学 | 一种基于脑效应网络的新型脑电卒中评估方法 |
JP2017076193A (ja) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | 脳活動解析装置、脳活動解析方法および脳活動解析プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013103791A1 (en) * | 2012-01-06 | 2013-07-11 | Cincinnati Children's Hospital Medical Center | Correlation imaging for multi-scan mri with multi-channel data acquisition |
US11002814B2 (en) * | 2017-10-25 | 2021-05-11 | Siemens Medical Solutions Usa, Inc. | Decoding from brain imaging data of individual subjects by using additional imaging data from other subjects |
-
2019
- 2019-10-31 CN CN201911051131.1A patent/CN111080730B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722728A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于通道加权支持向量的运动想象脑电分类方法 |
JP2017076193A (ja) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | 脳活動解析装置、脳活動解析方法および脳活動解析プログラム |
CN105844111A (zh) * | 2016-04-07 | 2016-08-10 | 杭州电子科技大学 | 一种基于脑效应网络的新型脑电卒中评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111080730A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Uncertainty-aware blind image quality assessment in the laboratory and wild | |
CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
Luo et al. | Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models | |
KR20200032651A (ko) | 3차원 영상 재구성 장치 및 그 방법 | |
CN112634211B (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN104200441A (zh) | 基于高阶奇异值分解的磁共振图像去噪方法 | |
CN114022359A (zh) | 图像超分辨率模型训练方法、装置、存储介质及设备 | |
CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
CN114140341A (zh) | 一种基于深度学习的磁共振图像非均匀场校正方法 | |
CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN111080730B (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
CN113837179B (zh) | 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质 | |
CN110956617A (zh) | 基于循环注意力模型的大脑核磁共振异常图像可视化方法 | |
Yu et al. | Universal generative modeling in dual domains for dynamic MRI | |
CN117689754A (zh) | 一种基于人脑功能磁共振成像的潜在模型图像重建方法、系统、设备及介质 | |
CN117689623A (zh) | 基于外梯度的自适应弥散磁共振微结构模型参数估计方法 | |
CN117078618A (zh) | 一种视盘视杯分割方法及装置、电子设备、介质 | |
CN116704036A (zh) | 一种基于深度学习的x线头影测量标志点自动定位方法 | |
US12045958B2 (en) | Motion artifact correction using artificial neural networks | |
CN114820636A (zh) | 一种三维医学图像分割模型及其训练方法和应用 | |
Hu et al. | MAUN: Memory-Augmented Deep Unfolding Network for Hyperspectral Image Reconstruction | |
CN118334512B (zh) | 基于ssim及级联深度神经网络的sar图像目标识别方法及系统 | |
Wang et al. | Explore the hierarchical auditory information processing Via deep convolutional autoencoder | |
Geng et al. | DP-MDM: Detail-Preserving MR Reconstruction via Multiple Diffusion Models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |