CN103778240B - 基于功能磁共振成像和图像字典稀疏分解的图像检索方法 - Google Patents

Abstract

本发明涉及一种基于功能磁共振成像和图像字典稀疏分解的图像检索方法，含有如下步骤：1：待检索图像输入后，通过语义提取操作模块进行图像语义的提取，获得当前输入图像的类别，并构造与当前输入图像具有相似语义的相似语义子图像库；语义提取操作模块一方面利用人脑智能对刺激图像进行表达，获得人脑某些脑区对视觉图像刺激的响应；另一方面，应用机器智能对刺激图像进行表达，获得视觉图像刺激在过完备字典上的分解系数；对以上两方面获得的信息进行融合，得到图像语义特征，输入分类器进行分类；2：通过图像匹配操作模块在相似语义子图像库中进行图像检索，输出与当前输入图像引起的脑响应类似的图像；本发明提高了图像检索系统的准确率。

Description

基于功能磁共振成像和图像字典稀疏分解的图像检索方法

（一）、技术领域：本发明涉及一种图像检索方法，特别是涉及一种基于功能磁共振成像和图像字典稀疏分解的图像检索方法。

（二）、背景技术: 传统的图像检索方法一般为基于图像数据的机器智能计算方法，通常根据图像的灰度、颜色、纹理、形状和位置等底层数据特征或者变换域特征对图像进行分类和检索，这种形式化的表达可以对图像的细节进行很完善的表达，但在处理真实世界的复杂图像时，却往往会遇到无法克服的语义鸿沟。面对这一瓶颈问题，人们针对如何基于图像数据进行语义提取方面开展了深入研究，尤其是信号稀疏分解理论和方法受到图像处理各个领域的广泛关注，已经证明，当使用非正交过完备字典对信号进行稀疏表示时，能够最稀疏表示一个样本的字典系数是惟一的。因此，基于字典分解模型的语义表达方法被认为是解决问题的可能途径之一。

大脑是人类长期进化的结果，具有很强的抽象思维能力和逻辑思考能力，对于视觉信息的感知能力是目前任何机器智能无法达到的。功能磁共振成像的主要方法是血氧水平依赖性方法，该方法利用磁共振成像设备采集大脑的信息，主要反映被激活脑区毛细血管内以体素为单位氧合血红细胞浓度的瞬时变化，简称BOLD-fMRI(Blood oxygenationlevel dependent functional magnetic resonance imaging, BOLD-fMRI)。与其他脑功能成像方式相比，BOLD-fMRI成像在速度和空间分辨率方面与具有很大的优势，利用其开展脑认知研究已经成为脑功能成像的主流。有效融合大脑智能和机器智能并集成机器和大脑各自的优势于一体，是解决目前基于形式化表达体系的模式识别和机器智能方法在处理真实世界中的复杂问题时所面临的语义鸿沟的一个可能途径。

传统图像检索主要基于反映图像内容的图像数据特征，如颜色、形状、纹理等来检索图像。这项技术被称为基于内容的图像检索(Content-based image retrieval, CBIR)，其主要的思想是根据图像所包含的数据特征以及对象的空间关系等信息，建立图像的特征矢量，检索方法主要是基于图像的多维特征进行相似性查询。

然而这种仅仅依靠机器智能的图像检索方法仍然无法满足人们的检索要求，无法真正实用。主要问题在于：系统提取出的图像底层内容特征与用户检索时具有的高层语义之间无法对应起来，也就是说图像的底层特征根本无法表达用户的高层语义。其实，这也一直是计算机视觉、图像理解以及模式识别等领域的一个难点问题。

基于功能磁共振成像技术的视觉信息解读一直是脑认知解码的研究热点之一。James V. Haxby 在2001年首次提出了多体素模式分析（multi-voxel pattern analysis,MVPA）方法，并应用于无场景的图像分类，成功地根据被试大脑的激活状态对被试看到的简单图像刺激进行了二分类。而后，Thomas A. Carlson于2003年使用线性判别分析（lineardiscriminant analysis, LDA）提升了简单图像的语义二分类准确率；同年，David D. Cox和Robert L. Savoy引入了支持向量机（support vector machines, SVM）得到了更高的分类准确率。2011年，宋素涛等将SVM与体素选择方法相结合进行四类简单图像进行语义分类，达到了70%左右的分类准确率。然而目前的研究主要集中于人工制作的简单图像，没有背景的干扰，而且各类图像差异明显，尽管如此，分类准确率仍然不高。针对更为广泛和常见的自然图像进行分类仍然是研究的重要难点问题。

基于功能磁共振成像技术的图像分类以人脑的智能为基础，结合模式分类的方法提取图像的语义，形成新的视觉信息表示方式，以有效地缩小图像底层特征和高层语义之间的鸿沟，进而提高图像检索的正确率。值得注意的是，尽管与其他成像方式相比，fMRI有着较高的空间分辨率，但它的空间分辨率仍然局限于mm量级，测量到的最小体元，也就是一个体素（voxel）中仍然包含数以万计的神经元，体素的BOLD响应仅仅是大尺度上的大脑智能，这就使得体素的BOLD响应往往缺乏足够的细节信息。此外，fMRI测量到的BOLD响应还会受到因素的影响，比如头动、扫描漂移、生理因素等。因此，仅仅依靠大尺度的体素特征进行图像分类，往往难以达到鲁棒的较高的分类准确率，仍然需要图像细节信息予以辅助，但是如何将基于机器智能的图像底层特征和基于人脑智能的fMRI体素特征结合起来仍是一个难点问题。

1997年，Olshausen和Field就人脑如何接受和利用视觉图像信息这一问题进行了深入研究，研究表明人类视觉系统只需少数几个视觉神经元就能捕获到自然场景中的关键信息（包括图像的语义信息），也就是说，人类视觉系统可以对自然场景实现最稀疏的表示。如果能将图像底层特征以类似于人类视觉系统的方式进行表达，就能够与大尺度的人脑智能进行有效的融合。

2008年，Kendrick N. Kay等人的研究发现，自然图像在Gabor空间的分解系数跟大脑的BOLD响应有线性的关系，Kay等利用该线性关系实现了对大脑信号的预测，并利用Gabor感受野模型进行了图像识别。图像过完备冗余字典与Gabor基函数很相像，而且其稀疏表示方法自2009年以来便成为图像处理领域和模式识别领域的研究热点，被广泛应用于解决计算机视觉方面的问题，并被认为有希望真正揭示人类视觉特性和图像语义之间的关系。

（三）、发明内容：

本发明要解决的技术问题是：克服现有技术的缺陷，提供一种基于功能磁共振成像和图像字典稀疏分解的图像检索方法，该方法提高了图像检索系统的准确率。

本发明的技术方案：

一种基于功能磁共振成像和图像字典稀疏分解的图像检索方法，含有如下

步骤：

步骤1：待检索图像输入后，通过语义提取操作模块进行图像语义的提取，获得当前输入图像的类别，并构造与当前输入图像具有相似语义的相似语义子图像库；

步骤2：通过图像匹配操作模块在相似语义子图像库中进行图像检索，输出与当前输入图像引起的脑响应类似的图像。

步骤1中，语义提取操作模块的工作过程为：

步骤1.1：一方面，利用人脑智能对刺激图像进行表达，通过提取人脑对视

觉图像刺激的BOLD（血氧水平依赖性）响应，基于fMRI（功能磁共振成像）

的解码框架获得人脑某些脑区对视觉图像刺激的响应；另一方面，应用机器智

能对刺激图像进行表达，通过语义字典分解模型将视觉刺激图像进行分解，获

得视觉图像刺激在过完备字典上的分解系数；

步骤1.２：在特征空间对步骤1.1中的两方面获得的信息进行融合，得到融合了人脑智能和机器智能的图像语义特征，最后输入分类器进行分类。

步骤1.1中，利用人脑智能对刺激图像进行表达方面：选择在视觉图像刺激时激活显著的特征体素或者大脑视觉区的特征体素；这些特征体素的BOLD响应反映了被试在看到视觉图像刺激后大脑的响应，是人脑智能的一种体现；提取每个视觉图像刺激时刻对应的这些特征体素的响应值并组合，得到与每个视觉图像刺激相对应的特征向量；

应用机器智能对刺激图像进行表达方面：首先根据额外的训练集训练出可供图像分类的字典；然后基于该包含类别信息的字典将刺激图像进行稀疏分解，得到能够表征图像细节信息的特征向量。

步骤1.２中，对步骤1.1中的两种特征向量进行融合。

对步骤1.1中的两种特征向量进行融合的方法为：将两种特征向量进行高维组合，得到维数更高的组合特征向量。

或者，对步骤1.1中的两种特征向量进行融合的方法为：先分别对两种特征向量进行主成分分析（Principal Components Analysis, PCA），再分别选取各特征向量的一些主要的主成分组成两个主成分向量，然后再将该两个主成分向量进行高维组合，得到最终的组合特征向量。该融合方法更有效且可避免过拟合（over-fitting）。

步骤２中，图像匹配操作模块的工作过程为：

首先，通过一个随机图像库及其对应的实际脑响应构成训练集，将随机图像库中的图像投射到由不同相位、不同空间频率和不同位置的Gabor基函数构成的Gabor空间，并计算投影能量，这些投影能量和这些图像对应的脑响应之间的关系通过一个带参数的线性模型表示；在训练集上通过稀疏优化模型求解出图像的投影能量与图像的脑响应之间的线性模型的参数，建立图像与脑响应之间的Gabor感受野模型；

然后，基于该Gabor感受野模型，将相似语义子图像库中的所有图像转换成预测脑响应；

最后，将当前输入图像对应的实际脑信号与该相似语义子图像库的所有预测脑响应信号进行匹配，按照相关系数依次给出检索结果。

本发明的有益效果：

本发明先通过语义提取操作模块进行待检索图像的语义提取，语义提取操作模块首先通过fMRI进行基于大脑信号的语义提取，同时通过基于语义字典分解模型的方法进行基于图像数据的语义提取，然后将大脑信号分析和机器智能分析的结果进行融合准确提取图像的语义，构建相似语义子图像库；图像匹配操作模块在相似语义子图像库中进行图像匹配，以检索出图像库中与待检索图像相似的图像，该模块利用Gabor感受野模型预测出人脑对输入图像的大脑BOLD曲线响应图，将图像库中的图像数据转化为人脑对图像的脑BOLD响应曲线，最后通过当前输入图像的实际脑响应曲线和相似语义子图像库中图像的预测脑响应曲线的相似性进行图像匹配，实现具有准确语义的图像检索。本发明将基于 fMRI的人脑智能和基于语义字典分解模型的机器智能相融合，准确提取图像语义，实现新的脑机协同图像检索方法，解决了传统图像检索的语义鸿沟，提高了图像检索系统的准确率。

（四）、附图说明：

图1为基于功能磁共振成像和图像字典稀疏分解的图像检索方法的流程示意图；

图2为语义提取操作模块的工作流程示意图；

图3为稀疏分解的工作流程示意图；

图4为对两种特征向量进行融合的工作流程示意图之一；

图5为对两种特征向量进行融合的工作流程示意图之二；

图6为Gabor感受野模型的训练示意图；

图7为图像匹配操作模块的工作流程示意图。

（五）、具体实施方式：

实施例一：参见图1～图4、图6、图7，基于功能磁共振成像和图像字典

稀疏分解的图像检索方法含有如下步骤（见图1）：

步骤1：待检索图像输入后，通过语义提取操作模块进行图像语义的提取，获得当前输入图像的类别，并构造与当前输入图像具有相似语义的相似语义子图像库；

步骤2：通过图像匹配操作模块在相似语义子图像库中进行图像检索，输出与当前输入图像引起的脑响应类似的图像。

步骤1中，语义提取操作模块的工作过程为（见图2）：

步骤1.1：一方面，利用人脑智能对刺激图像进行表达，通过提取人脑对视

觉图像刺激的BOLD（血氧水平依赖性）响应，基于fMRI（功能磁共振成像）

的解码框架获得人脑某些脑区对视觉图像刺激的响应；另一方面，应用机器智

能对刺激图像进行表达，通过语义字典分解模型将视觉刺激图像进行分解，获

得视觉图像刺激在过完备字典上的分解系数；

步骤1.２：在特征空间对步骤1.1中的两方面获得的信息进行融合，得到融合了人脑智能和机器智能的图像语义特征，最后输入分类器进行分类。

步骤1.1中，利用人脑智能对刺激图像进行表达方面：选择在视觉图像刺激时激活显著的特征体素或者大脑视觉区的特征体素；这些特征体素的BOLD响应反映了被试在看到视觉图像刺激后大脑的响应，是人脑智能的一种体现；提取每个视觉图像刺激时刻对应的这些特征体素的响应值并组合，得到与每个视觉图像刺激相对应的特征向量；

应用机器智能对刺激图像进行表达方面：首先根据额外的训练集训练出可供图像分类的字典；然后基于该包含类别信息的字典将刺激图像进行稀疏分解，得到能够表征图像细节信息的特征向量（见图3）。

步骤1.２中，对步骤1.1中的两种特征向量进行融合。

对步骤1.1中的两种特征向量进行融合的方法为：将两种特征向量进行高维组合，得到维数更高的组合特征向量（见图4）。

步骤２中，图像匹配操作模块的工作过程为（见图6、图7）：

首先，通过一个随机图像库及其对应的实际脑响应构成训练集，将随机图像库中的图像投射到由不同相位、不同空间频率和不同位置的Gabor基函数构成的Gabor空间，并计算投影能量，这些投影能量和这些图像对应的脑响应之间的关系通过一个带参数的线性模型表示；在训练集上通过稀疏优化模型求解出图像的投影能量与图像的脑响应之间的线性模型的参数，建立图像与脑响应之间的Gabor感受野模型；

然后，基于该Gabor感受野模型，将相似语义子图像库中的所有图像转换成预测脑响应；

最后，将当前输入图像对应的实际脑信号与该相似语义子图像库的所有预测脑响应信号进行匹配，按照相关系数依次给出检索结果。

实施例二：参见图1～图3、图5、图6、图7，基于功能磁共振成像和图像

字典稀疏分解的图像检索方法与实施例一中相同的部分就不再详述，不同部分如下：

对步骤1.1中的两种特征向量进行融合的方法为：先分别对两种特征向量进行主成分分析（Principal Components Analysis, PCA），再分别选取各特征向量的一些主要的主成分组成两个主成分向量，然后再将该两个主成分向量进行高维组合，得到最终的组合特征向量。该融合方法更有效且可避免过拟合（over-fitting）（见图5）。

Claims (5)

1.一种基于功能磁共振成像和图像字典稀疏分解的图像检索方法，其特征是：含有如下步骤：

步骤1：待检索图像输入后，通过语义提取操作模块进行图像语义的提取，获得当前输入图像的类别，并构造与当前输入图像具有相似语义的相似语义子图像库；

所述步骤1中，语义提取操作模块的工作过程为：

步骤1.1：一方面，利用人脑智能对刺激图像进行表达，通过提取人脑对视觉图像刺激的BOLD响应，基于fMRI的解码框架获得人脑某些脑区对视觉图像刺激的响应；另一方面，应用机器智能对刺激图像进行表达，通过语义字典分解模型将视觉刺激图像进行分解，获得视觉图像刺激在过完备字典上的分解系数；

步骤1.2：在特征空间对步骤1.1中的两方面获得的信息进行融合，得到融合了人脑智能和机器智能的图像语义特征，最后输入分类器进行分类；

步骤2：通过图像匹配操作模块在相似语义子图像库中进行图像检索，输出与当前输入图像引起的脑响应类似的图像。

2.根据权利要求1所述的基于功能磁共振成像和图像字典稀疏分解的图像检索方法，其特征是：所述步骤1.1中，利用人脑智能对刺激图像进行表达方面：选择在视觉图像刺激时激活显著的特征体素或者大脑视觉区的特征体素；提取每个视觉图像刺激时刻对应的这些特征体素的响应值并组合，得到与每个视觉图像刺激相对应的特征向量；

应用机器智能对刺激图像进行表达方面：首先根据额外的训练集训练出可供图像分类的字典；然后基于该包含类别信息的字典将刺激图像进行稀疏分解，得到能够表征图像细节信息的特征向量；

所述步骤1.2中，对步骤1.1中的两种特征向量进行融合。

3.根据权利要求2所述的基于功能磁共振成像和图像字典稀疏分解的图像检索方法，其特征是：对步骤1.1中的两种特征向量进行融合的方法为：将两种特征向量进行高维组合，得到维数更高的组合特征向量。

4.根据权利要求3所述的基于功能磁共振成像和图像字典稀疏分解的图像检索方法，其特征是：对步骤1.1中的两种特征向量进行融合的方法为：先分别对两种特征向量进行主成分分析，再分别选取各特征向量的一些主要的主成分组成两个主成分向量，然后再将该两个主成分向量进行高维组合，得到最终的组合特征向量。

5.根据权利要求1所述的基于功能磁共振成像和图像字典稀疏分解的图像检索方法，其特征是：所述步骤2中的图像匹配操作模块的工作过程如下：

首先，通过一个随机图像库及其对应的实际脑响应构成训练集，将随机图像库中的图像投射到由不同相位、不同空间频率和不同位置的Gabor基函数构成的Gabor空间，并计算投影能量，这些投影能量和这些图像对应的脑响应之间的关系通过一个带参数的线性模型表示；在训练集上通过稀疏优化模型求解出图像的投影能量与图像的脑响应之间的线性模型的参数，建立图像与脑响应之间的Gabor感受野模型；

然后，基于该Gabor感受野模型，将相似语义子图像库中的所有图像转换成预测脑响应；

最后，将当前输入图像对应的实际脑信号与该相似语义子图像库的所有预测脑响应信号进行匹配，按照相关系数依次给出检索结果。