CN109615608A - 一种人脑活动中自然图像贝叶斯重建的方法 - Google Patents

一种人脑活动中自然图像贝叶斯重建的方法 Download PDF

Info

Publication number
CN109615608A
CN109615608A CN201811342468.3A CN201811342468A CN109615608A CN 109615608 A CN109615608 A CN 109615608A CN 201811342468 A CN201811342468 A CN 201811342468A CN 109615608 A CN109615608 A CN 109615608A
Authority
CN
China
Prior art keywords
image
voxel
model
priori
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811342468.3A
Other languages
English (en)
Inventor
伏云发
李昭阳
王文乐
周洲州
陈睿
李玉
熊馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201811342468.3A priority Critical patent/CN109615608A/zh
Publication of CN109615608A publication Critical patent/CN109615608A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种人脑活动中自然图像贝叶斯重建的方法，属于功能磁共振技术领域。本发明包括步骤：首先通过应用两个编码模型结构编码模型和语义编码模型；从测量的响应中提取关于目标图像的信息；接着，确定关于自然图像的先验信息，其中使用自然图像先验、稀疏Gabor先验和扁平先验；最后，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构。本发明把结构编码模型、语义编码模型和先验信息相结合这三个相结合重建的图像，能够清晰地看到重建图像的结构和具体内容。

Description

一种人脑活动中自然图像贝叶斯重建的方法
技术领域
本发明涉及一种人脑活动中自然图像贝叶斯重建的方法，属于功能磁共振技术领域。
背景技术
最近的研究已经使用来自早期视觉区域的fMRI信号来重建简单的几何图案。在这里，我们展示了一种人脑活动中自然图像贝叶斯重建的方法，它使用来自早期和前方视觉区域的fMRI信号来重建复杂的自然图像。我们的解码器结合了三个要素：表征早期视觉区域响应的结构编码模型，表征前视觉区域响应的语义编码模型，以及关于自然图像结构和语义内容的先验信息。通过组合所有这些元素，解码器产生重建，准确地反映观察到的自然图像中包含的对象的空间结构和语义类别。我们的研究结果表明，先前的信息对自然图像重建的质量有重大影响。我们还证明，前视觉区域对复杂自然图像的反应的大部分变化仅由图像的语义范畴来解释。
功能磁共振成像提供了一个单一的刺激激活单独的大脑区域活动的测量。fMRI的这一特性使其成为一种优秀的大脑阅读工具，其中多个体素的反应被用于解码诱发它们的刺激。最常见的解码方法是图像分类。最近的两项研究已超越分类并展示了刺激重建。重建的目标是生成一幅呈现的图像文字图片。Thirion等人(2006)和Miyawaki等人(2008)的研究通过分析早期视觉区域中体素的反应来实现重建。为了简化问题，两项研究都使用由闪烁棋盘图案组成的几何刺激。然而，一个通用的大脑阅读设备应该能够重建自然图像。自然图像是重建的重要目标，因为它们与日常感知和主观过程(如图像和做梦)最相关。自然图像也是非常具有挑战性的重建目标，因为它们具有复杂的统计结构和丰富的语义内容(即描绘有意义的对象和场景)。重建自然图像的方法应该能够同时揭示图像的结构和语义内容。
在以前的研究中，采用结构编码模型而不使用贝叶斯框架来解决图像的识别问题。图像识别的目的是确定在某个试验中看到了哪个特定的图像，这些图像是从一组已知图像中提取出来的。
发明内容
本发明提供了一种人脑活动中自然图像贝叶斯重建的方法，使用来自早期和前部视觉区域的fMRI信号来重建复杂的自然图像，本发明可以更准确的重建自然图像的空间结构，同时揭示其语义内容。在这里使用的贝叶斯框架下，重建被定义为具有最高诱发测量响应的后验概率的图像。
本发明的技术方案是：一种人脑活动中自然图像贝叶斯重建的方法，首先通过应用两个编码模型结构编码模型和语义编码模型；从测量的响应中提取关于目标图像的信息；接着，确定关于自然图像的先验信息，其中使用自然图像先验、稀疏Gabor先验和扁平先验；最后，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构。
进一步地，所述人脑活动中自然图像贝叶斯重建的方法的具体步骤如下：
Step1、选择被试，让其观看一组目标图像同时进行磁共振扫描记录大脑的BOLD信号；
Step2、对记录到的BOLD信号进行预处理，包括时间层校正、头动校正、空间标准化去除伪迹；
Step3、应用两个编码模型，结构编码模型和语义编码模型，从测量的响应BOLD信号中提取关于目标图像的体素；
Step4、确定关于目标图像的先验信息；先验信息包括自然图像先验、稀疏Gabor先验和扁平先验；
Step5、通过使用贝叶斯框架来结合体素，结构和语义编码模型以及先验信息来获得重构。
进一步地，所述Step1中，目标图像是从自然图像数据库中随机选择的灰度照片；功能磁共振成像切片覆盖范围包括早期视觉区域V1，V2和V3、中间视觉区域V3A，V3B，V4和外侧枕叶标记为LO、枕外侧枕前皮层，称为AOC。
进一步地，所述Step3中，编码模型用数学方法表示为后验分布p(r|s)；
其中r是测量的响应，s是目标图像；它给出测量的响应r由目标图像s引起的可能性；功能不同的视觉区域以不同的编码模型为特征，因此基于来自多个视觉区域的响应的重建将针对每个区域使用不同的编码模型。
进一步地，所述Step3中，结构编码模型采用基于Gabor小波的结构编码模型，用于从早期视觉区域中的单个体素中提取信息；在结构编码模型下，体素对目标图像s的反应的可能性取决于其沿空间，方向和空间频率维度的调整；该模型包括一组能调整以适应单个体素的特定调整的权重；使用坐标下降优化算法，这个过程为每个体素产生一个单独的结构编码模型p1(r|s)；然后利用T检验选择特征明显的体素以用于重建，然后将每个选定体素的单独的结构模型组合成一个多体素结构编码模型p(r|s)。
进一步地，所述Step3中，语义编码模型用于描述目标图像激活脑区细节内容部分中的体素如何编码关于自然场景的信息；
语义编码模型的具体步骤如下：
(1)、首先对所有目标图像用语义类别名称进行标记，这些类别之间相互排斥，以便观察者能够为每一幅目标图像分配一个最能描述它的类别；
(2)、由于语义编码模型是从语义类别C、体素响应R和潜在变量Z的联合分布中导出的，潜在变量Z将语义范畴与响应联系起来，对于给定值潜在变量Z，假设体素响应R是高斯分布，而语义类别C是遵循多项式分布的；为了估计一个体素的联合分布的参数，先观察模型估计集中的所有试验的语义类别和响应，并应用期望最大化算法EM；为了预测体素响应，只观察语义类别C并对隐藏状态进行积分，以获得可能的响应的分布p(r|c)，该条件分布是语义编码模型，将该分布的均值作为体素的预测响应；
其中，模型将语义类别C、体素响应R和潜在变量Z这些变量上的联合分布指定为：
P(r,c,z)＝p(z)p(c|z)p(r|z) (1)
其中，p(z)表示潜在变量Z的先验，p(c|z)表示C和Z相关的多项分布，p(r|z)表示高斯体素响应分布；
为了获得语义编码模型p(r|c)，整合了潜在变量Z并规范化：
其中，p(c)表示语义类别c的先验，其它参照公式(1)，K表示目标图像的个数采用期望最大化算法EM来估计上述分布的参数。
进一步地，所述Step4中，目标图像的先验信息被表示为分布p(s)，其将高概率分配给最可能观测到自然的图像，并且将低概率分配给随机的或有噪声的图像。
进一步地，所述Step5中，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构；如图1所示，
记录的体素反应用于拟合两种不同的编码模型：反映信息在早期视觉区域中如何编码的结构编码模型(深灰色)和反映AOC中信息编码方式的语义编码模型(浅灰色)
其中，使用三个图像先验偏向重建，以支持那些具有自然图像特征的重建，包括扁平先验、稀疏的Gabor先验以及自然图像的先验；通过不同方式将编码模型和先验结合起来，获得了几种不同类型的重建：结构模型和扁平先验、结构模型和一个稀疏的Gabor先验、结构模型和自然图像先验；重建的关键步骤是计算每个可能的图像引发测量响应的概率，这是通过使用贝叶斯定理将编码模型和图像进行组合来实现的：
其中，左侧是后验分布p(s|r)，后验分布给出了目标图像s引起测量的响应r的概率；重建的目标是在给定响应的情况下找到具有最高后验概率的图像，这通常被称为最大后验解码；右侧的公式显示了如何计算后验概率；第一项p(s)是图像的先验概率，它反映了关于自然图像的已有的一般知识，并且与反应无关；考虑三个独立的先验：扁平先验，稀疏Gabor先验和自然图像先验，图像先验之后是编码模型的乘积，表示在观看目标图像时引起测量响应的可能性，为了产生重建，使用两个结构和语义编码模型；对于混合重建，后验包含两个编码模型：
P(s|r)∝p(s)p1(r1|s)p2(r2|s) (4)
其中p2是语义编码模型，p1是语义体素，P(s)是先验概率；一旦定义了后验分布，通过找到具有高后验概率的图像来产生重建。
本发明的有益效果是：
在本发明中确定了两个决定fMRI数据重建自然图像质量的关键因素：编码模型和图像先验。比较结构编码模型与先验信息相结合以及结构编码模型、语义编码模型和先验信息相结合的自然图像重建，其中，结构编码模型与图像先验相结合的图像重建，虽然重建图像的结构准确，却无法准确揭示目标图像的语义内容，把结构编码模型、语义编码模型和先验信息相结合这三个相结合重建的图像，能够清晰地看到重建图像的结构和具体内容。
附图说明
图1为本发明中的流程图；
图2为本发明中的语义编码模型的语义类别名称；
图3为本发明中的语义编码模型的形式化图形描述。
具体实施方式
实施例1：如图1-3所示，一种人脑活动中自然图像贝叶斯重建的方法，首先通过应用两个编码模型结构编码模型和语义编码模型；从测量的响应中提取关于目标图像的信息；接着，确定关于自然图像的先验信息，其中使用自然图像先验、稀疏Gabor先验和扁平先验；最后，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构。
进一步地，所述人脑活动中自然图像贝叶斯重建的方法的具体步骤如下：
Step1、选择被试，让其观看一组目标图像同时进行磁共振扫描记录大脑的BOLD信号；
Step2、对记录到的BOLD信号进行预处理，包括时间层校正、头动校正、空间标准化去除伪迹；
Step3、应用两个编码模型，结构编码模型和语义编码模型，从测量的响应BOLD信号中提取关于目标图像的体素；
Step4、确定关于目标图像的先验信息；先验信息包括自然图像先验、稀疏Gabor先验和扁平先验；
Step5、通过使用贝叶斯框架来结合体素，结构和语义编码模型以及先验信息来获得重构。
进一步地，所述Step1中，目标图像是从自然图像数据库中随机选择的灰度照片；功能磁共振成像切片覆盖范围包括早期视觉区域V1，V2和V3、中间视觉区域V3A，V3B，V4和外侧枕叶标记为LO、枕外侧枕前皮层，称为AOC。
进一步地，所述Step3中，编码模型用数学方法表示为后验分布p(r|s)；
其中r是测量的响应，s是目标图像；它给出测量的响应r由目标图像s引起的可能性；功能不同的视觉区域以不同的编码模型为特征，因此基于来自多个视觉区域的响应的重建将针对每个区域使用不同的编码模型。
进一步地，所述Step3中，结构编码模型采用基于Gabor小波的结构编码模型，用于从早期视觉区域中的单个体素中提取信息；在结构编码模型下，体素对目标图像s的反应的可能性取决于其沿空间，方向和空间频率维度的调整；该模型包括一组能调整以适应单个体素的特定调整的权重；使用坐标下降优化算法，这个过程为每个体素产生一个单独的结构编码模型p1(r|s)；然后利用T检验选择特征明显的体素以用于重建，然后将每个选定体素的单独的结构模型组合成一个多体素结构编码模型p(r|s)。
进一步地，所述Step3中，语义编码模型用于描述目标图像激活脑区细节内容部分中的体素如何编码关于自然场景的信息；
语义编码模型的具体步骤如下：
(1)、首先对所有目标图像用语义类别名称进行标记，例如，如图2所示，这些类别之间相互排斥，以便观察者能够为每一幅目标图像分配一个最能描述它的类别；
(2)、由于语义编码模型是从语义类别C、体素响应R和潜在变量Z的联合分布中导出的，潜在变量Z将语义范畴与响应联系起来，对于给定值潜在变量Z，假设体素响应R是高斯分布，而语义类别C是遵循多项式分布的；为了估计一个体素(图3左边的图)的联合分布的参数，先观察模型估计集中的所有试验的语义类别和响应(图3灰色部分表示变量是直接观察到的)，并应用期望最大化算法EM；为了预测体素响应(图3右边的图)，只观察语义类别C并对隐藏状态进行积分，以获得可能的响应的分布p(r|c)，该条件分布是语义编码模型，将该分布的均值作为体素的预测响应；
其中，语义类别C、体素响应R和潜在变量Z这些变量之间的关系由图3中的图形模型描述，模型将语义类别C、体素响应R和潜在变量Z这些变量上的联合分布指定为：
P(r,c,z)＝p(z)p(c|z)p(r|z) (1)
其中，p(z)表示潜在变量Z的先验，p(c|z)表示C和Z相关的多项分布，p(r|z)表示高斯体素响应分布；
为了获得语义编码模型p(r|c)，整合了潜在变量Z并规范化：
其中，p(c)表示语义类别c的先验，其它参照公式(1)，K表示目标图像的个数采用期望最大化算法EM来估计上述分布的参数。
进一步地，所述Step4中，目标图像的先验信息被表示为分布p(s)，其将高概率分配给最可能观测到自然的图像，并且将低概率分配给随机的或有噪声的图像。
进一步地，所述Step5中，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构；如图1所示，
记录的体素反应用于拟合两种不同的编码模型：反映信息在早期视觉区域中如何编码的结构编码模型(深灰色)和反映AOC中信息编码方式的语义编码模型(浅灰色)
其中，使用三个图像先验偏向重建，以支持那些具有自然图像特征的重建，包括扁平先验、稀疏的Gabor先验以及自然图像的先验；通过不同方式将编码模型和先验结合起来，获得了几种不同类型的重建：结构模型和扁平先验、结构模型和一个稀疏的Gabor先验、结构模型和自然图像先验；重建的关键步骤是计算每个可能的图像引发测量响应的概率，这是通过使用贝叶斯定理将编码模型和图像进行组合来实现的：
其中，左侧是后验分布p(s|r)，后验分布给出了目标图像s引起测量的响应r的概率；重建的目标是在给定响应的情况下找到具有最高后验概率的图像，这通常被称为最大后验解码；右侧的公式显示了如何计算后验概率；第一项p(s)是图像的先验概率，它反映了关于自然图像的已有的一般知识，并且与反应无关；考虑三个独立的先验：扁平先验，稀疏Gabor先验和自然图像先验，图像先验之后是编码模型的乘积，表示在观看目标图像时引起测量响应的可能性，为了产生重建，使用两个结构和语义编码模型；对于混合重建，后验包含两个编码模型：
P(s|r)∝p(s)p1(r1|s)p2(r2|s) (4)
其中p2是语义编码模型，p1是语义体素，P(s)是先验概率；一旦定义了后验分布，通过找到具有高后验概率的图像来产生重建。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种人脑活动中自然图像贝叶斯重建的方法，其特征在于：首先通过应用两个编码模型结构编码模型和语义编码模型；从测量的响应中提取关于目标图像的信息；接着，确定关于自然图像的先验信息，其中使用自然图像先验、稀疏Gabor先验和扁平先验；最后，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构。
2.根据权利要求1所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述人脑活动中自然图像贝叶斯重建的方法的具体步骤如下：
Step1、选择被试，让其观看一组目标图像同时进行磁共振扫描记录大脑的BOLD信号；
Step2、对记录到的BOLD信号进行预处理，包括时间层校正、头动校正、空间标准化去除伪迹；
Step3、应用两个编码模型，结构编码模型和语义编码模型，从测量的响应BOLD信号中提取关于目标图像的体素；
Step4、确定关于目标图像的先验信息；先验信息包括自然图像先验、稀疏Gabor先验和扁平先验；
Step5、通过使用贝叶斯框架来结合体素，结构和语义编码模型以及先验信息来获得重构。
3.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step1中，目标图像是从自然图像数据库中随机选择的灰度照片；功能磁共振成像切片覆盖范围包括早期视觉区域V1，V2和V3、中间视觉区域V3A，V3B，V4和外侧枕叶标记为LO、枕外侧枕前皮层，称为AOC。
4.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step3中，编码模型用数学方法表示为后验分布p(r|s)；
其中r是测量的响应，s是目标图像；它给出测量的响应r由目标图像s引起的可能性；功能不同的视觉区域以不同的编码模型为特征，因此基于来自多个视觉区域的响应的重建将针对每个区域使用不同的编码模型。
5.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step3中，结构编码模型采用基于Gabor小波的结构编码模型，用于从早期视觉区域中的单个体素中提取信息；在结构编码模型下，体素对目标图像s的反应的可能性取决于其沿空间，方向和空间频率维度的调整；该模型包括一组能调整以适应单个体素的特定调整的权重；使用坐标下降优化算法，这个过程为每个体素产生一个单独的结构编码模型p1(r|s)；然后利用T检验选择特征明显的体素以用于重建，然后将每个选定体素的单独的结构模型组合成一个多体素结构编码模型p(r|s)。
6.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step3中，语义编码模型用于描述目标图像激活脑区细节内容部分中的体素如何编码关于自然场景的信息；
语义编码模型的具体步骤如下：
(1)、首先对所有目标图像用语义类别名称进行标记，这些类别之间相互排斥，以便观察者能够为每一幅目标图像分配一个最能描述它的类别；
(2)、由于语义编码模型是从语义类别C、体素响应R和潜在变量Z的联合分布中导出的，潜在变量Z将语义范畴与响应联系起来，对于给定值潜在变量Z，假设体素响应R是高斯分布，而语义类别C是遵循多项式分布的；为了估计一个体素的联合分布的参数，先观察模型估计集中的所有试验的语义类别和响应，并应用期望最大化算法EM；为了预测体素响应，只观察语义类别C并对隐藏状态进行积分，以获得可能的响应的分布p(r|c)，该条件分布是语义编码模型，将该分布的均值作为体素的预测响应；
其中，模型将语义类别C、体素响应R和潜在变量Z这些变量上的联合分布指定为：
P(r,c,z)＝p(z)p(c|z)p(r|z) (1)
其中，p(z)表示潜在变量Z的先验，p(c|z)表示C和Z相关的多项分布，p(r|z)表示高斯体素响应分布；
为了获得语义编码模型p(r|c)，整合了潜在变量Z并规范化：
其中，p(c)表示语义类别c的先验，其它参照公式(1)，K表示目标图像的个数采用期望最大化算法EM来估计上述分布的参数。
7.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step4中，目标图像的先验信息被表示为分布p(s)，其将高概率分配给最可能观测到自然的图像，并且将低概率分配给随机的或有噪声的图像。
8.根据权利要求2所述的人脑活动中自然图像贝叶斯重建的方法，其特征在于：所述Step5中，通过使用贝叶斯框架来结合体素、结构和语义编码模型以及图像先验信息来获得重构；
其中，使用三个图像先验偏向重建，以支持那些具有自然图像特征的重建，包括扁平先验、稀疏的Gabor先验以及自然图像的先验；通过不同方式将编码模型和先验结合起来，获得了几种不同类型的重建：结构模型和扁平先验、结构模型和一个稀疏的Gabor先验、结构模型和自然图像先验；重建的关键步骤是计算每个可能的图像引发测量响应的概率，这是通过使用贝叶斯定理将编码模型和图像进行组合来实现的：
其中，左侧是后验分布p(s|r)，后验分布给出了目标图像s引起测量的响应r的概率；重建的目标是在给定响应的情况下找到具有最高后验概率的图像，这通常被称为最大后验解码；右侧的公式显示了如何计算后验概率；第一项p(s)是图像的先验概率，它反映了关于自然图像的已有的一般知识，并且与反应无关；考虑三个独立的先验：扁平先验，稀疏Gabor先验和自然图像先验，图像先验之后是编码模型的乘积，表示在观看目标图像时引起测量响应的可能性，为了产生重建，使用两个结构和语义编码模型；对于混合重建，后验包含两个编码模型：
P(s|r)∝p(s)p1(r1|s)p2(r2|s) (4)
其中p2是语义编码模型，p1是语义体素，P(s)是先验概率；一旦定义了后验分布，通过找到具有高后验概率的图像来产生重建。
CN201811342468.3A 2018-11-13 2018-11-13 一种人脑活动中自然图像贝叶斯重建的方法 Pending CN109615608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342468.3A CN109615608A (zh) 2018-11-13 2018-11-13 一种人脑活动中自然图像贝叶斯重建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811342468.3A CN109615608A (zh) 2018-11-13 2018-11-13 一种人脑活动中自然图像贝叶斯重建的方法

Publications (1)

Publication Number Publication Date
CN109615608A true CN109615608A (zh) 2019-04-12

Family

ID=66003090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811342468.3A Pending CN109615608A (zh) 2018-11-13 2018-11-13 一种人脑活动中自然图像贝叶斯重建的方法

Country Status (1)

Country Link
CN (1) CN109615608A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364200A (zh) * 2021-01-15 2021-02-12 清华大学 一种类脑成像的方法、装置、设备及存储介质
CN112633099A (zh) * 2020-12-15 2021-04-09 中国人民解放军战略支援部队信息工程大学 基于Gabornet的大脑低级视觉区信号处理方法及系统
CN113362408A (zh) * 2021-05-11 2021-09-07 山东师范大学 脑活动多尺度局部对比度图像贝叶斯重建的方法及系统
CN113421545A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 多模态的语音合成方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760365A (zh) * 2016-03-14 2016-07-13 云南大学 基于贝叶斯算法对图像语义数据的概率潜在参数估计模型

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760365A (zh) * 2016-03-14 2016-07-13 云南大学 基于贝叶斯算法对图像语义数据的概率潜在参数估计模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
THOMAS NASELARIS等: "Bayesian Reconstruction of Natural Images from Human Brain Activity", 《NEURON》 *
THOMAS NASELARIS等: "Supplemental Data for: Bayesian reconstruction of natural images from human brain activity", 《NEURON》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633099A (zh) * 2020-12-15 2021-04-09 中国人民解放军战略支援部队信息工程大学 基于Gabornet的大脑低级视觉区信号处理方法及系统
CN112364200A (zh) * 2021-01-15 2021-02-12 清华大学 一种类脑成像的方法、装置、设备及存储介质
CN112364200B (zh) * 2021-01-15 2021-04-13 清华大学 一种类脑成像的方法、装置、设备及存储介质
CN113362408A (zh) * 2021-05-11 2021-09-07 山东师范大学 脑活动多尺度局部对比度图像贝叶斯重建的方法及系统
CN113421545A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 多模态的语音合成方法、装置、设备及存储介质
CN113421545B (zh) * 2021-06-30 2023-09-29 平安科技（深圳）有限公司 多模态的语音合成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Küstner et al. Retrospective correction of motion‐affected MR images using deep learning frameworks
Van Bergen et al. Probabilistic representation in human visual cortex reflects uncertainty in serial decisions
CN109615608A (zh) 一种人脑活动中自然图像贝叶斯重建的方法
Naselaris et al. Cortical representation of animate and inanimate objects in complex natural scenes
Natu et al. Development of neural sensitivity to face identity correlates with perceptual discriminability
Popivanov et al. Stimulus representations in body-selective regions of the macaque cortex assessed with event-related fMRI
Jiang et al. Categorization training results in shape-and category-selective human neural plasticity
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
Lemieux et al. Automatic segmentation of the brain and intracranial cerebrospinal fluid in T1‐weighted volume MRI scans of the head, and its application to serial cerebral and intracranial volumetry
Kaul et al. The gender of face stimuli is represented in multiple regions in the human brain
US20090279762A1 (en) Brain function analysis apparatus
CN110223275B (zh) 一种task-fMRI引导的大脑白质纤维深度聚类方法
Seshamani et al. Detecting default mode networks in utero by integrated 4D fMRI reconstruction and analysis
Gu et al. Decoding natural image stimuli from fMRI data with a surface-based convolutional network
Jiahui et al. Predicting individual face-selective topography using naturalistic stimuli
Defazio et al. MRI banding removal via adversarial training
Rathi et al. Detection and characterization of brain tumor using segmentation based on HSOM, wavelet packet feature spaces and ANN
Huang et al. Deep natural image reconstruction from human brain activity based on conditional progressively growing generative adversarial networks
Gao et al. The neural representation of face space dimensions
CN112233086A (zh) 基于脑区功能连接的fMRI数据分类识别方法及装置
Kim et al. Spontaneously emerging patterns in human visual cortex and their functional connectivity are linked to the patterns evoked by visual stimuli
Staib et al. Cortical voice processing is grounded in elementary sound analyses for vocalization relevant sound patterns
Goebel et al. Reading imagined letter shapes from the mind’s eye using real-time 7 tesla fMRI
Meyer-Base et al. Topographic independent component analysis for fMRI signal detection
Stojanoski et al. Representation of semantic information in ventral areas during encoding is associated with improved visual short-term memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication