CN104765878A - 一种适用于多模态信息的稀疏编码算法及其应用 - Google Patents

Abstract

本发明公开了一种适用于多模态信息的稀疏编码算法及其应用，其特征是按如下步骤进行：1提取社会媒体的图像和文本的特征；2对相同模态特征建立图拉普拉斯矩阵；3建立最大化平均散度矩阵；4构建基于稀疏编码的目标函数；5采用特征符号搜索算法更新稀疏编码，得到多模态信息的特征表示；6利用得到的特征表示进行交叉检索。本发明能够充分利用多模态信息进行编码，降低不同模态间的分布差异，从而提高稀疏编码的鲁棒性，提高交叉检索的准确率。

Description

一种适用于多模态信息的稀疏编码算法及其应用

技术领域

本发明涉及多媒体信息检索，尤其涉及一种对多模态信息的稀疏编码算法及其应用。

背景技术

近年来，随着微博，Facebook等社交网络平台的兴起，多媒体信息呈现爆炸式的增长，这为传统的信息检索技术提出了新的要求。单纯的文本检索已经不能满足用户日益复杂的信息检索需求，用户希望能获得文本，图像，音频，视频等不同模态的数据。多模态信息间的交叉检索，如输入一副图像，检索与之相关的文本，或者输入一段文字，检索与之最匹配的图像，成为学术界关注的热点问题。

从现有的多模态信息处理技术中可以看出，其核心问题是对不同模态数据的建模，使得不同模态的数据可以在某一个相同的特征空间下表示，从根本上来说是特征表示的问题。

稀疏编码是一种有效的特征表示方法，在机器学习，模式识别上得到越来越多的重视，也已经成功的应用到了纹理识别，图像分类和人脸识别上，但是在处理多模态信息问题时，传统稀疏编码存在以下缺陷和不足：

第一、过完备的码本和独立的稀疏编码，会导致编码过程中丢失数据间的相似性信息，使得相似的特征被编码为差异较大的稀疏码，导致了稀疏编码的不稳定性。

第二、传统稀疏编码算法没有考虑到对多模态特征进行编码的情况，而在多模态信息交叉检索的问题研究中，查询项和被检索项由不同模态的特征表示，在分布上会有很大的差异性，这也影响了稀疏编码的稳定性，从而降低交叉检索的准确率。

发明内容

本发明是为了避免现存技术所存在的不足之处，提出一种适用于多模态信息的稀疏编码算法及其应用，以期能充分利用多模态信息进行编码，降低不同模态间的分布差异，从而增强稀疏表示的鲁棒性，提高多模态信息检索的准确率。

本发明为解决技术问题采用如下技术方案：

本发明一种适用于多模态信息的稀疏编码算法，所述多模态信息包括社会媒体图像和文本信息，其特征点是按如下步骤进行：

步骤1、对所述多模态信息D进行特征提取，获得多模态信息D的特征矩阵，记为D＝(X^I,X^T)；并有表示所述社会媒体图像的特征矩阵；表示第i个社会媒体图像的特征；t₁表示所述社会媒体图像特征矩阵的维度；m表示所述社会媒体图像的个数；表示所述文本信息的特征矩阵；表示第i 个文本信息的特征；t₂表示所述文本信息特征矩阵的维度；n表示所述文本信息的个数；

步骤2、建立同一模态特征的图拉普拉斯矩阵L^I和L^T：

步骤2.1、对所述m个社会媒体图像利用KNN算法建立一个k近邻图，所述k近邻图包括m个顶点，每个顶点表示一个社会媒体图像的特征；

若所述社会媒体图像的特征矩阵X^I中，第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内，则将第i个顶点和第j个的相似性记为1；若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内，则第i个顶点和第j个的相似性记为0；从而得到所述第i个社会媒体图像的相似性向量进而得到m个社会媒体图像的相似性矩阵W^I，1≤j≤m,j≠i；

步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度，从而获得m个社会媒体图像特征的度  $D^I=[d_1^I,d_2^I,...,d_i^I,...,d_m^I]:$

$d_i^I={\mathrm{\Σ}}_{\mathrm{\α}=1}^k{\left(w_{i,\mathrm{\α}}^I\right)}^{\′}---\left(1\right)$

步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵X^I的图拉普拉斯矩阵L^I：

L^I＝diag(D^I)-W^I      (2)

式(2)中，diag(D^I)表示以m个社会媒体图像特征的度D^I中的元素作为对角元素求对角矩阵；

步骤2.4、根据所述步骤2.1-步骤2.3，同理获得n个文本信息的图拉普拉斯矩阵L^T；

步骤3、利用式(3)建立最大均值差异矩阵M：

$M_{p,q}=\left\{\begin{array}{c}1/m^2,p,q\≤m\\ 1/n^2,p,q>m\\ -1/m\×n,\mathrm{else}\end{array}\right.---\left(3\right)$

式(3)中，M_p,q表示所述最大均值差异矩阵M中任一元素；

步骤4、建立如式(4)所示的基于稀疏编码的目标函数:

$\begin{array}{c}\underset{B^I,B^T,S^I,S^T}{\min }{\left|\right|X^I-B^I{S}^I\left|\right|}_F^2+{\mathrm{\μ}}_1\mathrm{tr}\left(S^I{L}^I{\left(S^I\right)}^{\′}\right)+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{\mathrm{\σ}=1}^m\left|s_{\mathrm{\σ}}^I\right|+{\left|\right|X^T-B^T{S}^T\left|\right|}_F^2+{\mathrm{\μ}}_2\mathrm{tr}\left(S^T{L}^T{\left(S^T\right)}^{\′}\right)\\ +{\mathrm{\λ}}_2{\mathrm{\Σ}}_{\mathrm{\τ}=1}^n\left|s_{\mathrm{\τ}}^T\right|+\mathrm{\βtr}\left({\mathrm{SMS}}^{\′}\right)\end{array}---\left(4\right)$

式(4)中，表示对应于所述社会媒体图像特征X^I的初始码本，表示所述初始图像码本的第u个基向量，1≤u≤r，t₁表示所述初始图像码本的维度，r表示所示初始图像码本的大小；B^T表示对应于所述文本信息特征X^T的初始文本码本，表示所述初始文本码本的第v个基向量，1≤v≤r， t₂表示所述初始文本码本的维度，r表示所述初始文本码本的大小；

表示所述社会媒体图像的初始稀疏表示，表示所述初始图像稀疏表示中第σ列，1≤σ≤m，S^I∈R^r×m，r表示所述初始图像稀疏表示的维度，m表示所述初始图像稀疏表示的大小；表示所述文本信息的初始稀疏表示，表示所述初始文本稀疏表示中第τ列，1≤τ≤n，S^T∈R^r×n，r表示所述初始文本稀疏表示的维度，n表示所述初始文本稀疏表示的大小；S＝[S^I,S^T]表示初始图像稀疏表示S^I与初始文本稀疏表示S^T的合并矩阵；(S^I)′和(S^T)′分别表示稀疏表示S^I与稀疏表示S^T的转置，tr()表示求矩阵的迹；μ₁、μ₂、β、λ₁和λ₂分别表示权值；

步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示S^I与初始文本稀疏表示S^T，获得多模态信息的稀疏表示：

步骤5.1、定义循环变量ω；并初始化ω＝1；则第ω次图像码本为所述初始图像码本B^I；第ω次图像稀疏表示为所述初始图像稀疏表示S^I；所述第ω次文本码本为所述初始文本码本B^T；所述第ω次文本稀疏表示为所述初始文本稀疏表示S^T；

步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示

$\underset{S_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2+{\mathrm{\μ}}_1\mathrm{tr}\left(S_{\mathrm{\ω}}^I{L}^I{\left(S_{\mathrm{\ω}}^I\right)}^{\′}\right)+\mathrm{\βtr}\left(S_{\mathrm{\ω}}{{\mathrm{MS}}_{\mathrm{\ω}}}^{\′}\right)+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{\mathrm{\σ}=1}^m\left|{\left(s_{\mathrm{\σ}}^I\right)}_{\mathrm{\ω}}\right|---\left(5\right)$

步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的 目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示

$\underset{S_{\mathrm{\ω}}^T}{\min }{\left|\right|X^T-B_{\mathrm{\ω}}^T{S}_{\mathrm{\ω}}^T\left|\right|}_F^2+{\mathrm{\μ}}_2\mathrm{tr}\left(S_{\mathrm{\ω}}^T{L}^T{\left(S_{\mathrm{\ω}}^T\right)}^{\′}\right)+\mathrm{\βtr}\left(S_{\mathrm{\ω}}{{\mathrm{MS}}_{\mathrm{\ω}}}^{\′}\right)+{\mathrm{\λ}}_2{\mathrm{\Σ}}_{\mathrm{\τ}=1}^n\left|{\left(s_{\mathrm{\τ}}^T\right)}_{\mathrm{\ω}}\right|---\left(6\right)$

步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)获得第ω次更新后的图像码本

$\begin{array}{c}\underset{B_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2\\ s.t.{\left|\right|{\left(b_u^I\right)}_{\mathrm{\ω}}\left|\right|}^2\≤c,\∀u=1,...,r\end{array}---\left(7\right)$

步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)获得第ω次更新后的文本码本

$\begin{array}{c}\underset{B_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2\\ s.t.{\left|\right|{\left(b_v^I\right)}_{\mathrm{\ω}}\left|\right|}^2\≤c,\∀v=1,...,r\end{array}---\left(8\right)$

步骤5.5、将ω+1的值赋给ω，重复步骤5.2-步骤5.5直至式(5)和式(6)所示的目标更新函数最小化，从而获得优化后的图像稀疏表示和文本稀疏表示。

本发明一种对适用于多模态信息的稀疏编码算法的应用的特点是应用于多模态信息的交叉检索。

与已有技术相比，本发明有益效果体现在：

1、本发明将图拉普拉斯的策略和最大均值差异的方法二者加入到传统稀疏编码目标函数中，通过最小化目标函数克服了传统稀疏编码过程丢失特征间相似性的问题以及不同模态特征间存在分布差异带来的稀疏编码不稳定的问题，充分利用了多模态信息进行编码，从而提高了稀疏编码的鲁棒性，进而提高了多模态信息交叉检索的准确率。

2、本发明通过对相同模态特征构建图拉普拉斯矩阵，并形成图拉普拉斯约束，添加此项约束到传统稀疏编码目标函数中，解决了传统稀疏编码过程中丢失特征间相似性的问题，从而使得相似特征的稀疏表示也是相似的，提高了稀疏表示的稳定性。

3、本发明通过采用最大均值差异来度量不同模态特征的分布差异，并添加此项约束至传统稀疏编码目标函数中，通过最小化分布差异，使不同模态特征的稀疏表示更近，从而提高交叉检索的准确率。

4、本发明在目标函数优化过程中，通过采用特征符号搜索算法，使目标函数的优化从不可微的问题转化为无约束二次规划问题，从而加速了函数的优化过程。

附图说明

图1a为本发明算法与传统稀疏编码算法进行文本查询检索图像时获得的MAP值对比图；

图1b为本发明算法与传统稀疏编码算法进行图像查询检索文本时获得的MAP值对比图。

具体实施方式

本实施例中，一种适用于多模态信息的稀疏编码算法是按如下步骤进行：

步骤1、对多模态信息D进行特征提取，获得多模态信息D的特征矩阵，记为D＝(X^I,X^T)；并有表示社会媒体图像的特征矩阵；表示第i个社会媒体图像的特征；t₁表示社会媒体图像特征矩阵的维度；m表示社会媒体图像的个数；本实施例中，社会媒体图像特征采用Bag of Word模型表示：首先从图像中提取SIFT特征，通过聚类的方法得到SIFT特征的中心点，并把SIFT特征投影到各个不同的聚类中心点，从而得到Bag of Word特征；表示文本信息的特征矩阵；表示第i个文本信息的特征；t₂表示文本信息特征矩阵的维度；n表示文本信息的个数；本实施例中，文本信息的特征采用LDA模型，首先生成10个主题，每个文档采用在这10个主题上面的分布来表示；

步骤2、建立同一模态特征的图拉普拉斯矩阵L^I和L^T：

步骤2.1、利用KNN(k-NearestNeighbor)算法，对m个社会媒体图像建立一个k近邻图，k近邻图包括m个顶点，每个顶点表示一个社会媒体图像的特征；

若社会媒体图像的特征矩阵X^I中，第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内，则将第i个顶点和第j个的相似性记为1；若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内，则第i个顶点和第j个的相似性 记为0；从而得到第i个社会媒体图像的相似性向量进而得到m个社会媒体图像的相似性矩阵W^I，1≤j≤m,j≠i；

步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度，从而获得m个社会媒体图像特征的度  $D^I=[d_1^I,d_2^I,...,d_i^I,...,d_m^I]:$

$d_i^I={\mathrm{\Σ}}_{\mathrm{\α}=1}^k{\left(w_{i,\mathrm{\α}}^I\right)}^{\′}---\left(1\right)$

步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵X^I的图拉普拉斯矩阵L^I：

L^I＝diag(D^I)-W^I       (2) 

式(2)中，diag(D^I)表示以m个社会媒体图像特征的度D^I中的元素作为对角元素求对角矩阵；

步骤2.4、根据所述步骤2.1-步骤2.3，同理获得n个文本信息的图拉普拉斯矩阵L^T；

步骤3、利用式(3)建立最大均值差异矩阵M：

$M_{p,q}=\left\{\begin{array}{c}1/m^2,p,q\≤m\\ 1/n^2,p,q>m\\ -1/m\×n,\mathrm{else}\end{array}\right.---\left(3\right)$

式(3)中，M_p,q表示最大均值差异矩阵M中任一元素；

步骤4、建立如式(6)所示的基于稀疏编码的目标函数：并通过最小化式(6)来达到保持编码过程相似性的目的；

传统稀疏编码目标函数如下，只有一个L₁范式约束：

$\begin{array}{c}\underset{S,D}{\min }{\left|\right|X-\mathrm{BS}\left|\right|}_F^2+\mathrm{\λ}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|s_i\right|\\ s.t.{\left|\right|d_i\left|\right|}^2\≤c,\∀i=1,...,\mathrm{\θ}\end{array}---\left(4\right)$

步骤4.1、利用得到的拉普拉斯矩阵，给稀疏编码添加图拉普拉斯约束，得到新的目标函数如式(5)所示：

$\underset{B^I,B^T,S^I,S^T}{\min }{\left|\right|X^I-B^I{S}^I\left|\right|}_F^2+{\left|\right|X^T-B^T{S}^T\left|\right|}_F^2+{\mathrm{\μ}}_1\mathrm{tr}\left(S^I{L}^I{\left(S^I\right)}^{\′}\right)+{\mathrm{\μ}}_2\mathrm{tr}\left(S^T{L}^T{\left(S^T\right)}^{\′}\right)---\left(5\right)$

步骤4.2、利用MMD矩阵，求得不同模态特征间分布差异的度量方式，添加至目标函数，得到如式(4)所示的适用于多模态的稀疏编码的目标函数：

$\begin{array}{c}\underset{B^I,B^T,S^I,S^T}{\min }{\left|\right|X^I-B^I{S}^I\left|\right|}_F^2+{\mathrm{\μ}}_1\mathrm{tr}\left(S^I{L}^I{\left(S^I\right)}^{\′}\right)+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{\mathrm{\σ}=1}^m\left|s_{\mathrm{\σ}}^I\right|+{\left|\right|X^T-B^T{S}^T\left|\right|}_F^2+{\mathrm{\μ}}_2\mathrm{tr}\left(S^T{L}^T{\left(S^T\right)}^{\′}\right)\\ +{\mathrm{\λ}}_2{\mathrm{\Σ}}_{\mathrm{\τ}=1}^n\left|s_{\mathrm{\τ}}^T\right|+\mathrm{\βtr}\left({\mathrm{SMS}}^{\′}\right)\end{array}---\left(6\right)$

式(6)中，表示对应于所述社会媒体图像特征X^I的初始码本，表示所述初始图像码本的第u个基向量，1≤u≤r，t₁表示所述初始图像码 本的维度，r表示所示初始图像码本的大小；B^T表示对应于所述文本信息特征X^T的初始文本码本，表示所述初始文本码本的第v个基向量，1≤v≤r， t₂表示所述初始文本码本的维度，r表示所述初始文本码本的大小；B^I,B^T均是由随机函数产生并进行归一化；表示所述社会媒体图像的初始稀疏表示，表示所述初始图像稀疏表示中第σ列，1≤σ≤m，S^I∈R^r×m，r表示所述初始图像稀疏表示的维度，m表示所述初始图像稀疏表示的大小；表示所述文本信息的初始稀疏表示，表示所述初始文本稀疏表示中第τ列，1≤τ≤n，S^T∈R^r×n，r表示所述初始文本稀疏表示的维度，n表示所述初始文本稀疏表示的大小；S^I,S^T均赋值为零矩阵；S＝[S^I,S^T]表示初始图像稀疏表示S^I与初始文本稀疏表示S^T的合并矩阵,(S^I)′和(S^T)′分别表示稀疏表示S^I与稀疏表示S^T的转置，tr( )表示求矩阵的迹；μ₁、μ₂、β、λ₁和λ₂分别表示权值；本实施例中，选取的最优参数μ₁＝1.0、μ₂＝1.0、β＝10⁷、λ₁＝0.1、λ₂＝0.1；

步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示S^I与初始文本稀疏表示S^T，使目标函数的优化从不可微的问题转化为无约束二次规划问题，从而加速函数的优化过程，以便快速获得多模态信息最终的稀疏表示：

步骤5.1、定义循环变量ω；并初始化ω＝1；则第ω次图像码本为所述初始图像码本B^I；第ω次图像稀疏表示为所述初始图像稀疏表示S^I；所述第ω次文本码本为所述初始文本码本B^T；所述第ω次文本稀疏表示为所述初始文本稀疏表示S^T；

步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示

$\underset{S_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2+{\mathrm{\μ}}_1\mathrm{tr}\left(S_{\mathrm{\ω}}^I{L}^I{\left(S_{\mathrm{\ω}}^I\right)}^{\′}\right)+\mathrm{\βtr}\left(S_{\mathrm{\ω}}{{\mathrm{MS}}_{\mathrm{\ω}}}^{\′}\right)+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{\mathrm{\σ}=1}^m\left|{\left(s_{\mathrm{\σ}}^I\right)}_{\mathrm{\ω}}\right|---\left(7\right)$

步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示

$\underset{S_{\mathrm{\ω}}^T}{\min }{\left|\right|X^T-B_{\mathrm{\ω}}^T{S}_{\mathrm{\ω}}^T\left|\right|}_F^2+{\mathrm{\μ}}_2\mathrm{tr}\left(S_{\mathrm{\ω}}^T{L}^T{\left(S_{\mathrm{\ω}}^T\right)}^{\′}\right)+\mathrm{\βtr}\left(S_{\mathrm{\ω}}{{\mathrm{MS}}_{\mathrm{\ω}}}^{\′}\right)+{\mathrm{\λ}}_2{\mathrm{\Σ}}_{\mathrm{\τ}=1}^n\left|{\left(s_{\mathrm{\τ}}^T\right)}_{\mathrm{\ω}}\right|---\left(8\right)$

步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)采用拉格朗日对偶方法获得第ω次更新后的图像码本

$\begin{array}{c}\underset{B_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2\\ s.t.{\left|\right|{\left(b_u^I\right)}_{\mathrm{\ω}}\left|\right|}^2\≤c,\∀u=1,...,r\end{array}---\left(9\right)$

步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)采用拉格朗日对偶方法获得第ω次更新后的文本码本

$\begin{array}{c}\underset{B_{\mathrm{\ω}}^I}{\min }{\left|\right|X^I-B_{\mathrm{\ω}}^I{S}_{\mathrm{\ω}}^I\left|\right|}_F^2\\ s.t.{\left|\right|{\left(b_v^I\right)}_{\mathrm{\ω}}\left|\right|}^2\≤c,\∀v=1,...,r\end{array}---\left(10\right)$

步骤5.5、将ω+1的值赋给ω，重复步骤5.2-步骤5.5直至式(5)和式(6)获得最小值，从而获得优化后的图像稀疏表示和文本稀疏表示。

具体实施中，一种对适用于多模态信息的稀疏编码算法的应用，是应用于多模态信息的交叉检索，如以下实施例：

为了验证本专利中算法的效果，本实施例采用Wikipedia数据集中其测试集的文本图像对进行了文本图像的交叉检索实验。Wikipedia数据集包含10个语义类，分别是艺术，生物，地理，历史，文学，媒体，音乐，皇室，运动，战争，共有2866对数据，分为训练集和测试集。本实施例中分别采用LDA(Latent Dirichlet Allocation),Bag of Word模型表示数据集中的文本和图像信息。根据本实施例的相关描述，对文本图像特征进行稀疏编码得到新的特征表示并进行了两组实验，利用文本检索图像和利用图像检索文本。试验过程中，特征之间的相似性采用归一化相关系数进行度量。

为了客观的评价本专利提出的方案的性能，采用平均准确率，对两组实验的结果进行了评测，同时为了客观说明本专利算法的有效性，在两组试验中分别加入了利用传统稀疏编码算法进行试验的平均准确率用以对比。具体结果如下图1a和图1b所示，以及表1所示：

从图1a和图1b中可以看出，相比传统稀疏编码算法，采用图拉普拉斯和最大均值差异约束后的稀疏编码能够适用于多模态信息的编码，增强稀疏编码的鲁棒性，进而提高多模态信息交叉检索的准确率。

表1交叉模态检索MAP

方法	文本查询	图像查询
			稀疏编码	0.1338	0.1159

本文方法

0.1674

0.1290

从表1可以看出，本专利提出的算法，有效提高了交叉模态检索的准确率。

Claims (2)

1.一种适用于多模态信息的稀疏编码算法，所述多模态信息包括社会媒体图像和文本信息，其特征是按如下步骤进行：

步骤1、对所述多模态信息D进行特征提取，获得多模态信息D的特征矩阵，记为D＝(X^I,X^T)；并有表示所述社会媒体图像的特征矩阵；表示第i个社会媒体图像的特征；t₁表示所述社会媒体图像特征矩阵的维度；m表示所述社会媒体图像的个数；表示所述文本信息的特征矩阵；表示第i个文本信息的特征；t₂表示所述文本信息特征矩阵的维度；n表示所述文本信息的个数；

步骤2、建立同一模态特征的图拉普拉斯矩阵L^I和L^T：

步骤2.1、对所述m个社会媒体图像利用KNN算法建立一个k近邻图，所述k近邻图包括m个顶点，每个顶点表示一个社会媒体图像的特征；

若所述社会媒体图像的特征矩阵X^I中，第j个社会媒体图像特征在第i个社会媒体图像特征的k近邻内，则将第i个顶点和第j个的相似性记为1；若第j个社会媒体图像特征不在第i个社会媒体图像特征的k近邻内，则第i个顶点和第j个的相似性记为0；从而得到所述第i个社会媒体图像的相似性向量W_i ^I，进而得到m个社会媒体图像的相似性矩阵W^I，1≤j≤m,j≠i；

步骤2.2、利用式(1)获得与第i个社会媒体图像特征相关的相似度的总和即为所述第i个社会媒体图像特征的度，从而获得m个社会媒体图像特征的度 

步骤2.3、利用式(2)获得m个社会媒体图像特征矩阵X^I的图拉普拉斯矩阵L^I：

L^I＝diag(D^I)-W^I   (2)

式(2)中，diag(D^I)表示以m个社会媒体图像特征的度D^I中的元素作为对角元素求对角矩阵；

步骤2.4、根据所述步骤2.1-步骤2.3，同理获得n个文本信息的图拉普拉斯矩阵L^T；

步骤3、利用式(3)建立最大均值差异矩阵M：

式(3)中，M_p,q表示所述最大均值差异矩阵M中任一元素；

步骤4、建立如式(4)所示的基于稀疏编码的目标函数:

式(4)中，表示对应于所述社会媒体图像特征X^I的初始码本，表示所述初始图像码本的第u个基向量，1≤u≤r，t₁表示所述初始图像码本的维度，r表示所示初始图像码本的大小；B^T表示对应于所述文本信息特征X^T的初始文本码本， 表示所述初始文本码本的第v个基向量，1≤v≤r， t₂表示所述初始文本码本的维度，r表示所述初始文本码本的大小；

表示所述社会媒体图像的初始稀疏表示，表示所述初始图像稀疏表示中第σ列，1≤σ≤m，S^I∈R^r×m，r表示所述初始图像稀疏表示的维度，m表示所述初始图像稀疏表示的大小；表示所述文本信息的初始稀疏表示，表示所述初始文本稀疏表示中第τ列，1≤τ≤n，S^T∈R^r×n，r表示所述初始文本稀疏表示的维度，n表示所述初始文本稀疏表示的大小；表示初始图像稀疏表示S^I与初始文本稀疏表示S^T的合并矩阵；(S^I)′和(S^T)′分别表示稀疏表示S^I与稀疏表示S^T的转置，tr()表示求矩阵的迹；μ₁、μ₂、β、λ₁和λ₂分别表示权值；

步骤5、采用特征符号搜索算法更新所述初始图像稀疏表示S^I与初始文本稀疏表示S^T，获得多模态信息的稀疏表示：

步骤5.1、定义循环变量ω；并初始化ω＝1；则第ω次图像码本为所述初始图像码本B^I；第ω次图像稀疏表示为所述初始图像稀疏表示S^I；所述第ω次文本码本为所述初始文本 码本B^T；所述第ω次文本稀疏表示为所述初始文本稀疏表示S^T；

步骤5.2、固定所述第ω次图像码本获得如式(5)所示的第ω次图像稀疏表示的目标更新函数并采用特征符号搜索算法求解式(5)获得第ω次更新后的图像稀疏表示

步骤5.3、固定所述第ω次文本码本获得如式(6)所示的所述第ω次文本稀疏表示的目标更新函数并采用特征符号搜索算法求解式(6)获得第ω次更新后的文本稀疏表示

步骤5.4、固定所述第ω次更新后的图像稀疏表示利用式(7)获得第ω次更新后的图像码本

步骤5.5、固定所述第ω次更新后的文本稀疏表示利用式(8)获得第ω次更新后的文本码本

步骤5.5、将ω+1的值赋给ω，重复步骤5.2-步骤5.5直至式(5)和式(6)所示的目标更新函数最小化，从而获得优化后的图像稀疏表示和文本稀疏表示。

2.一种对适用于多模态信息的稀疏编码算法的应用，其特征是应用于多模态信息的交叉检索。