CN106056602A - 基于CNN的fMRI视觉功能数据目标提取方法 - Google Patents

Abstract

本发明涉及一种基于CNN的fMRI视觉功能数据目标提取方法，首先被试在复杂场景自然图像刺激下采集到的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，同时训练一个由fMRI视觉功能数据到关注目标类别的线性映射模型；在深度卷积神经网络模型中加入反馈层，将训练好的线性映射模型与其复合，对一幅测试图像中的不同目标类别分别得到类别评分映射；利用类别评分映射，分析被试观看全新测试图像的fMRI视觉功能数据，提取被试所关注的目标。本发明能够对被试观看复杂场景自然图像时所引发的fMRI视觉功能数据进行解析，提取出被试在图像中所关注的目标，提高提取关注目标的准确性。

Description

基于CNN的fMRI视觉功能数据目标提取方法

技术领域

本发明涉及人机交互fMRI视觉功能数据处理技术领域，特别涉及一种基于CNN的fMRI视觉功能数据目标提取方法。

背景技术

大脑是人体的知觉中心、思维中心和控制中心，每时每刻都有极其庞大而复杂的信息流入和流出，它以高效的信息传递及处理方式保证人体正常的运转。理解这种现代科学技术无法比拟的信息处理方式是新兴的神经信息学领域一直以来的研究目标。其中，大脑视觉信息是人类获取外界信息最主要的方式，其解读方法更是神经科学的研究重点。近年来，神经影像技术取得了长足的进步，陆续出现了脑电(Electroencephalography,EEG)、脑磁(Magnetoencephalography,MEG)、功能性近红外光谱(functional Near-InfraredSpectroscopy,fNIRS)、功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)等一系列的非侵入式成像方法。为了系统研究人脑视觉功能活动，了解人脑对于视觉信息的处理机制，人脑视觉功能脑区的fMRI信号解析技术取得了显著的进展，这些研究也被称为视觉信息编解码技术研究。视觉信息的编码技术，是一种视觉认知正向计算的技术，通过建立视觉计算模型即视觉编码模型，预测任意视觉刺激所能引发的大脑视觉功能的响应。而视觉解码技术则是由测量到的脑功能活动信号恢复出视觉刺激的类别、场景、细节等信息。

2001年，Haxby等人证明视觉目标的类别信息在腹侧颞叶(ventral temporallobe)分布式地表达，利用该脑区的体素激活模式能够准确地分辨多种目标类别。2003年，Cox等人应用多体素模式分类方法进行十种类别物体的分类。2010年，Chen等人提出基于皮层表面探照灯(Searchlight)的特征选择方法对旋转的乐器、椅子和小船进行了分类。2012年，Connolly等人研究人脑生物种类的表达，对不同的灵长类、鸟类、昆虫进行了分类。尽管现有研究已经能够对于某一类别的图像刺激所引发的fMRI视觉功能数据解析出其所属类别，然而对于复杂场景自然图像，如何确定出被试关注的是哪个类别的目标，却没有相应的研究成果。

发明内容

为克服现有技术中的不足，本发明提供一种基于CNN的fMRI视觉功能数据目标提取方法，能够对被试观看复杂场景自然图像时所引发的fMRI视觉功能数据进行解析，提取出被试在图像中所关注的目标，提高被试关注目标提取的准确性，进一步提升了对于人脑视觉功能的解析能力。

按照本发明所提供的设计方案，一种基于CNN的fMRI视觉功能数据目标提取方法，包含如下步骤：

步骤1、采集被试在复杂场景自然图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，深度卷积神经网络模型包含卷积层、矫正线性单元层、最大池化层及全连接层；

步骤2、在深度卷积神经网络模型中加入反馈层，得到卷积神经反馈模型，卷积神经反馈模型与步骤1中得到的线性映射模型进行复合，得到类别评分映射；

步骤3、分析被试观看全新测试图像的fMRI视觉功能数据，利用类别评分映射提取出被试所关注目标。

上述的，步骤2具体包含如下步骤：

步骤2.1在深度卷积神经网络模型中的每个矫正线性单元层后堆叠一个反馈层，得到卷积神经反馈模型；

步骤2.2通过如下公式：

$\begin{array}{cc}\underset{d}{\min }& s_k(I,d)-\mathrm{\λ}\left|\right|d|{|}_1\end{array}$

$\begin{array}{cc}s.t.& d_{i,j,c}^l\∈\{0,1\},\∀l,i,j,c\end{array}$

，对卷积神经反馈模型进行优化求解，其中，s_k表示卷积神经反馈模型与线性映射模型复合后对刺激图像所属类别的评分，k为语义类别序号，||d||₁衡量反馈层的稀疏性，表示第l反馈层(i,j,c)位置处神经元的状态。

上述的，步骤3具体包含如下内容：

步骤3.1采集被试观看全新测试图像的fMRI视觉功能数据；

步骤3.2与类别评分映射进行匹配，根据数据相似程度获得被试关注目标的类别序号，提取出被试所关注目标。

优选的，所述步骤3.2具体包含：通过类别评分映射的一阶Taylor展开，得到：

s_k(I,d)≈T_k(d)^TI+b

，其中，b为表示偏置参数的常数，T_k(d)表示评分映射s_k关于刺激图像I的一阶偏导数并视为作用于图像I的一个线性模板，通过求得的T_k(d)将被试关注目标在图像中提取出来。

本发明的有益效果：

本发明通过构建卷积神经网络反馈网络模型CNN模拟复杂场景自然图像到fMRI视觉功能数据的映射关系，利用各个类别映射所产生的模拟fMRI视觉功能数据与真实fMRI视觉功能数据匹配程度确定出被试观看测试图像时所关注目标的类别信息，再通过映射函数Taylor展开的方式获得刺激图像线性模板，从而提取出图像中关注目标，能够对被试观看复杂场景自然图像时所引发的fMRI视觉功能数据进行解析，提取出被试在图像中所关注的目标，提高提取关注目标的准确性，为基于视觉功能解析的脑机交互应用研究提供进一步的技术支撑。

附图说明：

图1为本发明的流程示意图。

具体实施方式：

下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。

实施例一，参见图1所示，一种基于CNN的fMRI视觉功能数据目标提取方法，包含如下步骤：

步骤1、采集被试在复杂场景自然图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，深度卷积神经网络模型包含卷积层、矫正线性单元层、最大池化层及全连接层；

步骤2、在深度卷积神经网络模型中加入反馈层，得到卷积神经反馈模型，卷积神经反馈模型与步骤1中得到的线性映射模型进行复合，得到类别评分映射；

步骤3、分析被试观看全新测试图像的fMRI视觉功能数据，利用类别评分映射提取出被试所关注目标。

实施例二，参见图1所示，一种基于CNN的fMRI视觉功能数据目标提取方法，包含如下步骤：

步骤1、采集被试在复杂场景自然图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，深度卷积神经网络模型包含卷积层、矫正线性单元层、最大池化层及全连接层；

步骤2、在深度卷积神经网络模型中加入反馈层，得到卷积神经反馈模型，卷积神经反馈模型与步骤1中得到的线性映射模型进行复合，得到类别评分映射，具体包含如下步骤：

步骤2.1在深度卷积神经网络模型中的每个矫正线性单元层后堆叠一个反馈层，得到卷积神经反馈模型；

步骤2.2通过如下公式：

$\begin{array}{cc}\underset{d}{\min }& s_k(I,d)-\mathrm{\λ}\left|\right|d|{|}_1\end{array}$

$\begin{array}{cc}s.t.& d_{i,j,c}^l\∈\{0,1\},\∀l,i,j,c\end{array}$

，对卷积神经反馈模型进行优化求解，其中，s_k表示卷积神经反馈模型与线性映射模型复合后对刺激图像所属类别的评分，k为语义类别序号，||d||₁衡量反馈层的稀疏性，表示第l反馈层(i,j,c)位置处神经元的状态，考虑网络神经元激活的稀疏性对模型进行优化。

步骤3、分析被试观看全新测试图像的fMRI视觉功能数据，利用类别评分映射提取出被试所关注目标，具体包含如下内容：

步骤3.1采集被试观看全新测试图像的fMRI视觉功能数据；

步骤3.2与类别评分映射进行匹配，根据数据相似程度获得被试关注目标的类别序号，提取出被试所关注目标，具体是指：通过类别评分映射的一阶Taylor展开，得到：

s_k(I,d)≈T_k(d)^TI+b

，其中，b为表示偏置参数的常数，T_k(d)表示评分映射s_k关于刺激图像I的一阶偏导数并视为作用于图像I的一个线性模板，通过求得的T_k(d)将被试关注目标在图像中提取出来。

本发明克服现有技术中仅有能够识别某一类别的图像刺激所引发的fMRI视觉功能数据所属类别，通过构建卷积神经网络反馈网络模型模拟复杂场景自然图像到fMRI视觉功能数据的映射关系，利用各个类别映射所产生的模拟fMRI视觉功能数据与真实fMRI视觉功能数据匹配程度确定出被试观看测试图像时所关注目标的类别信息，再通过映射函数Taylor展开的方式获得刺激图像线性模板，从而提取出图像中关注目标，能够对被试观看复杂场景自然图像时所引发的fMRI视觉功能数据进行解析，提取出被试在图像中所关注的目标，大大提高关注目标提取的精确度。

本发明并不局限于上述具体实施方式，本领域技术人员还可据此做出多种变化，但任何与本发明等同或者类似的变化都应涵盖在本发明权利要求的范围内。

Claims (4)

1.一种基于CNN的fMRI视觉功能数据目标提取方法，其特征在于：包含如下步骤：

步骤1、采集被试在复杂场景自然图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，深度卷积神经网络模型包含卷积层、矫正线性单元层、最大池化层及全连接层；

步骤2、在深度卷积神经网络模型中加入反馈层，得到卷积神经反馈模型，卷积神经反馈模型与步骤1中得到的线性映射模型进行复合，得到类别评分映射；

步骤3、分析被试观看全新测试图像的fMRI视觉功能数据，利用类别评分映射提取出被试所关注目标。

2.根据权利要求1所述的基于CNN的fMRI视觉功能数据目标提取方法，其特征在于：步骤2具体包含如下步骤：

步骤2.1、在深度卷积神经网络模型中的每个矫正线性单元层后堆叠一个反馈层，得到卷积神经反馈模型；

步骤2.2、通过如下公式：

$\begin{array}{cc}\underset{d}{\min }& s_k(I,d)-\mathrm{\λ}\left|\right|d|{|}_1\end{array}$

$\begin{array}{cc}s.t.& d_{i,j,c}^l\∈\{0,1\},\∀l,i,j,c\end{array}$ ，

对卷积神经反馈模型进行优化求解，其中，s_k表示卷积神经反馈模型与线性映射模型复合后对刺激图像所属类别的评分，k为语义类别序号，||d||₁衡量反馈层的稀疏性，表示第l反馈层(i,j,c)位置处神经元的状态。

3.根据权利要求1所述的基于CNN的fMRI视觉功能数据目标提取方法，其特征在于：步骤3具体包含如下内容：

步骤3.1采集被试观看全新测试图像的fMRI视觉功能数据；

步骤3.2与类别评分映射进行匹配，根据数据相似程度获得被试关注目标的类别序号，提取出被试所关注目标。

4.根据权利要求3所述的基于CNN的fMRI视觉功能数据目标提取方法，其特征在于：所述步骤3.2具体包含：通过类别评分映射的一阶Taylor展开，得到：

s_k(I,d)≈T_k(d)^TI+b，

其中，b为表示偏置参数的常数，T_k(d)表示评分映射s_k关于刺激图像I的一阶偏导数并视为作用于图像I的一个线性模板，通过求得的T_k(d)将被试关注目标在图像中提取出来。