CN104317838A - 一种基于耦合鉴别性字典的跨媒体哈希索引方法 - Google Patents

Abstract

本发明公开了一种基于耦合鉴别性字典的跨媒体哈希索引方法。包括如下步骤：1）基于图结构对多个模态数据之间的关联关系进行建模；通过数据底层特征之间的欧氏距离确定同一模态内部的相似性，利用不同模态数据已知关联关系确定模态间的关联，利用数据所具有类别标签信息增强图结构上数据的鉴别性；2）在步骤1）中得到的图结构上数据的关联关系学习鉴别性的耦合字典；3）利用步骤2）中学习得到的耦合字典对不同模态的数据进行稀疏编码，并映射到统一的字典空间内；4）学习从字典空间到二值海明空间的哈希映射函数。本发明可以实现基于内容的海量数据的高效跨媒体检索，用户可以通过提交一种模态的检索例子去检索另外一种模态的媒体对象。

Description

一种基于耦合鉴别性字典的跨媒体哈希索引方法

技术领域

本发明涉及跨媒体检索，尤其涉及一种基于海量数据的跨媒体高效索引方法。

背景技术

随着互联网技术的高速发展和社交网络的风靡，互联网上的多媒体数据的数量正在以惊人的速度增长。多媒体数据具有如下几个特性1)由于多媒体数据具有复杂的语义，因此难以直接进行度量。为了实现多媒体数据的度量，一般是先对其媒体数据所具有的特征进行提取，然后将特征之间的相似度作为媒体数据之间的相似度。一般的，这些所提取的特征往往是高维的，因此，多媒体数据的检索问题就转变为了高维数据的检索问题。2)多媒体数据量十分庞大，传统的暴力线性搜索策略在处理大规模数据时候会产生极高时间复杂度，无法满足用户在线搜索需求。为了克服这一困难，现在主流海量高维数据检索方法一般采用哈希索引策略，也就是说，其用近似最近邻检索来代替传统精确最近邻检索。在哈希索引中，给定海量高维媒体数据，可通过哈希函数将每个媒体数据映射为简短哈希编码，于是可在哈希编码空间实现高维数据近似搜索。由于哈希编码的相似性计算非常高效，因此哈希索引在实现海量数据近似查询时能取得很高查询性能。3)多媒体数据中广泛存在多种媒体数据共生关系。举例来说，一张网络图像除了有图片本身外，还有一些描述信息(如标题、用户的标注信息、评论信息等)；一则新闻报道除了有文字的描述，通常还有与之相关的新闻图片。如何合理地利用同一模态内数据的相似性以及不同模态间数据的已知关联关系，在不同类型媒体数据之间建立“桥梁”，使得不同模态的数据可以在统一的度量空间进行相似性比较是一个非常重要的问题。

结合以上几个特性，为了达到海量多模态的多媒体数据高效跨媒体检索这一目的，一些跨媒体哈希索引算法被相继提出。已有的跨媒体哈希算法大多基于流形学习框架。这些方法在学习哈希函数中会保留每个模态数据流形结构，同时将不同模态数据映射到同一个子空间内，并将不同模态数据进行流形对齐。近年来，人们发现字典学习的方法可以很好地用学习得到的字典对数据进行有效地表达，并在这种有效表达基础上来实现跨媒体哈希索引。本发明提出的方法在其基础上更进一步，提出了鉴别性耦合字典这一概念，其将不同模态数据映射到一个语义明确的字典空间内，并在耦合字典的基础上学习哈希函数，建立跨媒体数据的哈希索引。

发明内容

本发明的目的是克服现有技术的不足，提供一种跨媒体稀疏哈希索引的方法。

基于耦合鉴别性字典的跨媒体哈希索引方法包括如下步骤：

1)基于图结构对多个模态数据之间的关联关系进行建模；通过数据底层特征之间的欧氏距离确定同一模态内部的相似性，利用不同模态数据已知关联关系确定模态间的关联，利用数据所具有类别标签信息增强图结构上数据的鉴别性；

2)在步骤1)中得到的图结构上数据的关联关系学习鉴别性的耦合字典；

3)利用步骤2)中学习得到的耦合字典对不同模态的数据进行稀疏编码，并映射到统一的字典空间内；

4)学习从字典空间到二值海明空间的哈希映射函数。

步骤2)包括：

将步骤1)得到的图结构形式化表达为G(V，E，w，C)；其中v为图结构中的顶点集合，代表不同模态所对应的数据对象，E是图结构中边的集合，代表了每个顶点之间的关联关系，w为边的权重集合，C为每个顶点对应的标签信息的集合；

得到图结构G(V，E，w，C)后，基于图分割方法，给出了鉴别性耦合字典学习问题的解决方法：从边的集合E中选择合适的子集A，将图G分割成K个子图，将每个子图中所包含数据对象的质心选择出来，形成一组耦合字典，假设总共有M个模态数据，就得到了M个耦合字典D¹，D²，...，D^M，每个字典中所包含的字典项个数都为K；

为了得到合适的子集A，设计了具有亚模性质的三个函数，这三个亚模函数分别具有如下压缩性、鉴别性和平衡性；

压缩函数：基于随机游走模型中的“熵率”，设计了压缩函数，该函数使得每个子图中的媒体对象之间距离尽可能近，从而使得每个子图都具有“紧凑”特性，即

H(A)＝-Σ_iμ_iΣ_jP_i，j(A)logP_i，j(A)    (7)其中μ_i为顶点i稳态分布的概率，P_i，j(A)为顶点i到j的传递概率函数，定义如下：

$P_{i,j}\left(A\right)=\left\{\begin{array}{cc}\frac{w_{i,j}}{w_i},& \mathrm{ifi}\≠j{\mathrm{ande}}_{i,j}\∈A\\ 0,& \mathrm{ifi}\≠\mathrm{jand}{e}_{i,j}\∉A\\ 1-{\mathrm{\Σ}}_{j:e_{i,j}\∈A}{W}_{i,j},& \mathrm{ifi}\≠j\end{array}\right.---\left(8\right)$

鉴别函数：为了使每个字典项具有鉴别性，每个子图中的媒体对象应该尽可能具有相同的标签，鉴别函数定义如下：

$D\left(A\right)={\mathrm{\Σ}}_{i=1}^{N_A}\frac{1}{\left|\mathrm{\γ}\right|}{\max }_y{N}_y^i-N_A---\left(9\right)$

其中N_A为当选出的边的子集A时所对应图G被分割出子图的个数；|V|表示顶点集合中顶点的个数，表示第i个子图中标签为y的媒体对象个数；

平衡函数：为了防止出现子图所包含媒体对象个数不均衡的过拟合现象，即某些子图可能包含很多媒体对象而一些子图仅包含有限媒体对象，从最大信息熵角度来如下定义平衡函数：

B(A)＝-Σ_ip_A(i)log(p_A(i))-N_A    (10)

其中 $p_A\left(i\right)=\frac{\left|G_i\right|}{{\mathrm{\Σ}}_i\left|G_i\right|},i=\{\mathrm{1,2},...,N_A\}$ 可表示每个子图的分布情况。

将如下三个函数结合起来，使用如下目标函数来学习得到合适的子集A，即产生合适的子图：

max_AH(A)+λD(A)+γB(A)    (II)

$s.t.,A\⊆\mathrm{Eand}{N}_{\mathrm{\λ}}\≥K$

λ和γ为调节它们所对应函数权重的超参数，这些参数可通过参数优化调节过程来获得。

所述的步骤4)包括：

为了将K维稀疏编码转化为L维二值海明编码，从而高效进行媒体对象检索，需要学习将媒体对象从字典空间映射到海明空间的哈希函数；假设Z＝[Z¹，Z²，...，Z^M]为具有M种模态类型的训练数据在字典空间中的稀疏编码集合，构建近似近邻矩阵其中Λ＝diag(Z1)为对角矩阵，由于近邻矩阵具有非负、稀疏以及低秩特性，对进行特征值分解后，选取前L个最大特征值以及它们各自所对应特征向量则学习得到的哈希函数定义如下：

h(z)＝sign(P^Tz)            (12)

其中P＝Λ^-1/2VΣ^-1/2∈R^K×L为将媒体对象从K维字典空间映射到到L维海明空间的投影矩阵，V＝[v₁，v₂，...，v_L]∈R^K×L,Σ=diag(σ₁，σ₂，...，σ_L)∈R^L×L,sign(·)为阈值为0的二值化函数。

本发明可以实现基于内容的海量跨媒体数据检索，即用户可以通过提交一种类型的媒体数据去检索另外一种类型的媒体数据。

附图说明

图1是基于耦合鉴别性字典的跨媒体哈希索引方法流程图。

具体实施方式

基于耦合鉴别性字典的跨媒体哈希索引方法包括如下步骤：

1)基于图结构对多个模态数据之间的关联关系进行建模；通过数据底层特征之间的欧氏距离确定同一模态内部的相似性，利用不同模态数据已知关联关系确定模态间的关联，利用数据所具有类别标签信息增强图结构上数据的鉴别性；

2)在步骤1)中得到的图结构上数据的关联关系学习鉴别性的耦合字典；

3)利用步骤2)中学习得到的耦合字典对不同模态的数据进行稀疏编码，并映射到统一的字典空间内；

4)学习从字典空间到二值海明空间的哈希映射函数。

步骤1)中，对于得到的包含多种类型数据的多媒体文档集合，从中分别抽取同一类型数据，构建每个模态数据单独的数据集。假设构成多媒体文档的数据来自M个模态，于是可得到每一类型数据所对应的数据集X¹，X²，...，X^M。每个类型数据所对应数据集 $X^m=[x_1^m,x_2^m,...,x_{N_m}^m]\∈R^{p^m\×N},$ p^m是模态为m的数据所对应维度，N为数据集中样本个数。

为了对M个模态的数据之间的关联关系进行表达，构建带有标签信息的图结构G(V，E，w，C)。其中V代表图G所包含的顶点集合，每一个顶点v_i∈V对应了M个数据集中的一个数据；E代表了图G中边的集合，每一条边e_i∈E连接了若干个相互关联的顶点；w代表了边集合对应的权重；C为每个顶点对应的标签信息的集合。

对同一模态内的数据，为了能更细致地描述模态内数据之间的相似性，采用局部相似度度量方法来计算其相似度。给定模态为m的数据集X^m，数据集X^m中任意两个数据和之间的相似度定义如下：

$W_{i,j}^m=\left\{\begin{array}{cc}{e}^{-\frac{{|x_i^m-x_j^m|}^2}{{2\mathrm{\σ}}^2},}& \mathrm{if}{x}_i^m\∈N_k\left(x_j^m\right){\mathrm{orx}}_j^m\∈N_k\left(x_i^m\right)\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(13\right)$

其中N_k(x)表示x的k近邻，为数据集X^m内两两数据之间距离的期望值。

对不同模态的数据(即具有不同类型的数据)，以模态a中的和模态b中的为例，它们的相似度定义如下：

$w_{i,j}^{a,b}=\left\{\begin{array}{cc}1,& \mathrm{if}{x}_i^a\mathrm{hasknowncorrelationwith}{x}_j^b\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(14\right)$

步骤2)包括：

将步骤1)得到的图结构形式化表达为G(V，E，w，C)；其中V为图结构中的顶点集合，代表不同模态所对应的数据对象，E是图结构中边的集合，代表了每个顶点之间的关联关系，w为边的权重集合，C为每个顶点对应的标签信息的集合；

得到图结构G(V，E，w，C)后，基于图分割方法，给出了鉴别性耦合字典学习问题的解决方法：从边的集合E中选择合适的子集A，将图G分割成K个子图，将每个子图中所包含数据对象的质心选择出来，形成一组耦合字典，假设总共有M个模态数据，就得到了M个耦合字典D¹，D²，...，D^M，每个字典中所包含的字典项个数都为K；

为了得到合适的子集A，设计了具有亚模性质的三个函数，这三个亚模函数分别具有如下压缩性、鉴别性和平衡性；

压缩函数：基于随机游走模型中的“熵率”，设计了压缩函数，该函数使得每个子图中的媒体对象之间距离尽可能近，从而使得每个子图都具有“紧凑”特性，即

H(A)＝-Σ_iμ_iΣ_jP_i，j(A)logP_i，j(A)     (15)

其中μ_i为顶点i稳态分布的概率，P_i，j(A)为顶点i到j的传递概率函数，定义如下：

$P_{i,j}\left(A\right)\left\{\begin{array}{cc}\frac{w_{i,j}}{w_i},& \mathrm{if\; i}\≠j{\mathrm{ande}}_{i,j}\∈A\\ 0,& \mathrm{if\; i}\≠\mathrm{j\; and}{e}_{i,j}\∈A\\ 1-{\mathrm{\Σ}}_{j:e_{i,j}\∈A}{w}_{i,j},& \mathrm{if\; i}\≠j\end{array}\right.---\left(16\right)$

鉴别函数：为了使每个字典项具有鉴别性，每个子图中的媒体对象应该尽可能具有相同的标签，鉴别函数定义如下：

$D\left(A\right)={\mathrm{\Σ}}_{i=1}^{N_A}\frac{1}{\left|\mathrm{\γ}\right|}{\max }_y{N}_y^t-N_A---\left(17\right)$

其中N_A为当选出的边的子集A时所对应图G被分割出子图的个数；|V|表示顶点集合中顶点的个数，表示第i个子图中标签为y的媒体对象个数；

平衡函数：为了防止出现子图所包含媒体对象个数不均衡的过拟合现象，即某些子图可能包含很多媒体对象而一些子图仅包含有限媒体对象，从最大信息熵角度来如下定义平衡函数：

B(A)＝-Σ_ip_A(i)log(p_A(i))-N_A        (18)

其中 $p_A\left(i\right)=\frac{\left|G_i\right|}{{\mathrm{\Σ}}_i\left|G_i\right|},i=\{\mathrm{1,2},...,N_A\}$ 可表示每个子图的分布情况。

将如下三个函数结合起来，使用如下目标函数来学习得到合适的子集A，即产生合适的子图：

max_AH(A)+λD(A)+γB(A)     (19)

$A\⊆\mathrm{E\; and}{N}_1\≥K$

λ和γ为调节它们所对应函数权重的超参数，这些参数可通过参数优化调节过程来获得。

步骤2)中，直接优化公式(19)的目标函数是一个NP难的问题，但是由于目标函数具有亚模的特性，可以使用贪心算法得到公式(19)近似最优解。具体的求解算法如算法1所示:

步骤3)中，对于来自模态m的数据对象集合X^m，采用稀疏编码的方式，用步骤2)中学习的到的耦合字典中模态m的字典D^m,可以得到X^m中每个数据的K维稀疏编码Z^m:

${\min }_{z^m}{\left|\right|X^m-D^m{Z}^m\left|\right|}_F^2+\mathrm{\β}{\left|\right|Z^m\left|\right|}_1,s.t.,Z^m\≥0---\left(20\right)$

公式(20)的目标函数是一个经典的LASSO问题，可以采用高效的LARS方法来求解。

步骤4)包括：

为了将K维稀疏编码转化为L维二值海明编码，从而高效进行媒体对象检索，需要学习将媒体对象从字典空间映射到海明空间的哈希函数；假设Z＝[Z¹，Z²，...，Z^M]为具有M种模态类型的训练数据在字典空间中的稀疏编码集合，构建近似近邻矩阵其中Λ＝diag(Z1)为对角矩阵，由于近邻矩阵具有非负、稀疏以及低秩特性，对进行特征值分解后，选取前L个最大特征值以及它们各自所对应特征向量则学习得到的哈希函数定义如下：

|h(z)＝sign(P^Tz)       (21)

其中P＝Λ^-1/2VΣ^-1/2∈R^K×L为将媒体对象从K维字典空间映射到到L维海明空间的投影矩阵，V＝[v₁，v₂，...，v_L]∈R^K×L,Σ=diag(σ₁，σ₂，...，σ_L)∈R^L×L,sign(·)为阈值为0的二值化函数。

实施例

为了验证本发明的效果，从“维基百科-特征文本”(Wikipedia feature articles)的上抓取约2900个网页，每个网页包含了一张图像以及该图像相关描述文本。以此作为数据集进行本发明中的基于跨媒体哈希索引的检索实验(即图像检索文本或文本检索图像)。对图像模态的数据，本发明提取图像中SIFT特征，再用K-means聚类对SIFT特征进行聚类，得到SIFT特征的1000个质心。最终，每张图像被量化为1000维的“视觉词袋”(Bag of visual words)；对文本模态的数据，根据每个单词TF值大小来选取最具代表性5000个单词，于是每个文本模态数据就被表达为5000维的“文本词袋”(Bag of textual words)。

为了进一步验证本发明在大规模数据下的效果，在公开的标准数据集NUS-WIDE上进行实验。NUS-WIDE包含约26万个图像，每个图像包含图像上传者所标注的标签信息。将图像和标签信息作为两种类型媒体数据，进行基于跨媒体哈希索引的检索实验。图像数据采用NUS-WIDE抽取好的500维视觉词袋特征来表示，标签信息表达为1000维的词袋特征。

为了客观地评价本发明算法的性能，使用检索中的平均准确率(MeanAverage Precision，MAP)评价标准。在不同哈希编码长度L下进行实验，维基百科数据集上的MAP结果如表1所示，NUS-WIDE数据集上的MAP结果如表2所示，

表1.维基百科数据集上MAP的结果

表2.NUS-WIDE数据集上的MAP结果

Claims (3)

1.一种基于耦合鉴别性字典的跨媒体哈希索引方法，其特征在于包括如下步骤：

1)基于图结构对多个模态数据之间的关联关系进行建模；通过数据底层特征之间的欧氏距离确定同一模态内部的相似性，利用不同模态数据已知关联关系确定模态间的关联，利用数据所具有类别标签信息增强图结构上数据的鉴别性；

2)在步骤1)中得到的图结构上数据的关联关系学习鉴别性的耦合字典；

3)利用步骤2)中学习得到的耦合字典对不同模态的数据进行稀疏编码，并映射到统一的字典空间内；

4)学习从字典空间到二值海明空间的哈希映射函数。

2.根据权利要求1所述的一种基于耦合鉴别性字典的跨媒体哈希索引方法，其特征在于所述的步骤2)包括：

将步骤1)得到的图结构形式化表达为G(V，E，w，C)；其中V为图结构中的顶点集合，代表不同模态所对应的数据对象，E是图结构中边的集合，代表了每个顶点之间的关联关系，w为边的权重集合，C为每个顶点对应的标签信息的集合；

得到图结构G(V，E，w，C)后，基于图分割方法，给出了鉴别性耦合字典学习问题的解决方法：从边的集合E中选择合适的子集A，将图G分割成K个子图，将每个子图中所包含数据对象的质心选择出来，形成一组耦合字典，假设总共有M个模态数据，就得到了M个耦合字典D¹，D²，...，D^M，每个字典中所包含的字典项个数都为K；

为了得到合适的子集A，设计了具有亚模性质的三个函数，这三个亚模函数分别具有如下压缩性、鉴别性和平衡性；

压缩函数：基于随机游走模型中的“熵率”，设计了压缩函数，该函数使得每个子图中的媒体对象之间距离尽可能近，从而使得每个子图都具有“紧凑”特性，即

H(A)＝-∑_iμ_i∑_jP_i，j(A)logP_i，j(A)   (1)其中μ_i为顶点i稳态分布的概率，P_i，j(A)为顶点i到j的传递概率函数，定义如下：

$P_{i,j}\left(A\right)=\left\{\begin{array}{cc}\frac{w_{i,j}}{w_i}& \mathrm{ifi}\≠\mathrm{and}{e}_{i,j}\∈A\\ 0,& \mathrm{ifi}\≠\mathrm{jand}{e}_{i,j}\∉A\\ 1-{\mathrm{\Σ}}_{{j:e}_{i,j}\∈A}{W}_{i,j},& \mathrm{ifi}\≠j\end{array}\right.---\left(2\right)$

鉴别函数：为了使每个字典项具有鉴别性，每个子图中的媒体对象应该尽可能具有相同的标签，鉴别函数定义如下：

$D\left(A\right)={\mathrm{\Σ}}_{i=1}^{N_A}\frac{1}{\left|V\right|}{\max }_y{N}_y^i-N_A---\left(3\right)$

其中N_A为当选出的边的子集A时所对应图G被分割出子图的个数；|V|表示顶点集合中顶点的个数，表示第i个子图中标签为y的媒体对象个数；

平衡函数：为了防止出现子图所包含媒体对象个数不均衡的过拟合现象，即某些子图可能包含很多媒体对象而一些子图仅包含有限媒体对象，从最大信息熵角度来如下定义平衡函数：

B(A)＝-∑_ip_A(i)log(p_A(i))-N_A   (4)

其中 $p_A\left(i\right)=\frac{\left|G_i\right|}{{\mathrm{\Σ}}_i\left|G_i\right|},i=\{1,2,...,N_A\}$ 可表示每个子图的分布情况。

将如下三个函数结合起来，使用如下目标函数来学习得到合适的子集A，即产生合适的子图：

max_AH(A)+λD(A)+γB(A)   (5)

$s.t.A\⊆\mathrm{Eand}{N}_A\≥K$

λ和γ为调节它们所对应函数权重的超参数，这些参数可通过参数优化调节过程来获得。

3.根据权利要求1所述的一种基于耦合鉴别性字典的跨媒体哈希索引方法，其特征在于所述的步骤4)包括：

为了将K维稀疏编码转化为L维二值海明编码，从而高效进行媒体对象检索，需要学习将媒体对象从字典空间映射到海明空间的哈希函数；假设Z＝[Z¹，Z²，...，Z^M]为具有M种模态类型的训练数据在字典空间中的稀疏编码集合，构建近似近邻矩阵其中Λ＝diag(Z1)为对角矩阵，由于近邻矩阵具有非负、稀疏以及低秩特性，对进行特征值分解后，选取前L个最大特征值以及它们各自所对应特征向量则学习得到的哈希函数定义如下：

h(z)＝sign(P^Tz)   (6)

其中P＝Λ^-1/2VΣ^-1/2∈R^K×L为将媒体对象从K维字典空间映射到到L维海明空间的投影矩阵，V＝[v₁v₂，...，v_L]∈R^K×L，∑＝diag(σ₁，σ₂，...，σ_L)∈R^L×L，sign(·)为阈值为0的二值化函数。