CN104462196B - 多特征联合哈希信息检索方法 - Google Patents

Abstract

本发明涉及一种多特征联合哈希信息检索方法，其特征在于包括如下基本步骤：一是建立目标函数：保护目标空间的数据分布，同时得到NMF中的紧凑矩阵基并且减少冗余；二是交替优化：通过一个迭代的过程，优化U和V，得到基算子U和低维数据V的更新规则；三是整体收敛：通过原始的目标函数，然后进行交替迭代；四是哈希函数的生成：通过计算训练数据和测试样本之间的汉明距即XOR运算，得出最终的结果；五是复杂度分析：对上述步骤1‑4的方法进行复杂度分析。本发明能够有效地保护数据的概率分布，减少低维数据的冗余，使得学习到一个可融合从多个源中得到的多种表示，同时通过RKNMF来保护高维联合分布和获得正交基的哈希嵌入函数。

Description

多特征联合哈希信息检索方法

技术领域

本发明属于计算机信息数据处理技术领域，特别是涉及一种用于计算机视觉、数据挖掘、机器学习或相似搜索的多特征联合哈希信息检索方法。

背景技术

哈希码的学习在信息处理及分析等领域中起着关键的作用，如物体识别、图像检索和文档理解等。随着计算机技术的进步和万维网的发展，大量的数字数据需要相似信息的可拓展检索。相似性搜索的最基本也即最本质的方法是最近邻搜索：给一个查询图像，在一个巨大的数据库中寻找出和其最相似的一张图片并且对这个查询图像贴上与最近邻域相同的标签。由于实际应用中数据库较大，最近邻域搜索是不可扩展的线性搜索方法(O(N))。为了克服计算的复杂度问题，近来一些基于树的搜索方法被提出去分割数据空间，其中，KD-树和R-树被成功地应用在了快速响应检索数据中。然而，这些方法并不适合于高维数据并且相对于线性而言不能保证快速搜索。实际上，由于视觉算子经常会有成百甚至上千的维度，大部分的基于视觉的任务都会遭受维度灾难。于是，又有一些哈希方法提出了有效地从高维特征空间到保形的低维汉明空间的数据嵌入，其中在低维空间的中，可以找到给出的测试样本的最近邻的估计和次线性的时间复杂度。

最著名的哈希方法之一是基于保形的局部敏感哈希(LSH)。LSH简单的使用随机线性投影(随机门限值)使欧几里德空间中的数据点靠近。谱哈希是典型的非监督哈希方法,用多样本的拉普拉斯-贝尔特拉米特征函数去确定二进制码。此外，PCA哈希(PCAH)这样的原则线形投影比随机投影哈希有着更好的量化。另外一种比较出名的哈希方法，锚图哈希(AGH)可以通过易处理的低阶邻接矩阵学习紧凑的二进制码。AGH可以把图拉普拉斯特征向量推到特征函数上。

然而，以前的哈希方法都是主要集中于单个特征。在它们的构架中，只有一种特征算子被用作学习哈希函数。事实上，为了获得一个更综合的描述，图片或者物体经常通过不同种类的特征表示，同时每一个特征有它自己的特点。只有融合这些不同的特征算子到哈希函数中，才会得到多特征的哈希方法。最近，为了有效的相似性搜索，一些多特征的哈希方法被提出，如多特征的锚图哈希(MVAGH),连续更新的多特征谱哈希(SU-MVSH),多特征哈希(MVHCS),多信息源的复合哈希(CHMIS)和深度多特征哈希(DMVH)。这些方法主要依靠谱，图和深度学习的方法去完成数据结构的保形。然而，单纯的只结合以上方法的哈希对噪声敏感，并且有着很高的计算复杂度。

在数据挖掘中，NMF方法不同于其它的含有正负值的嵌入方法，适合子空间的学习，它提供了包含物体局部部分的基，可用于聚类，协同过滤，孤立点监测等。如NMF可以学习物体的非负部分，给出一个非负数据的矩阵：X的每一列都是一个样本数据，NMF的目标是找到可以近似的表达原始矩阵的两个满秩的非负矩阵和如X≈UV；实际上总是有d＜min(D,N)，于是得到以下最小化的目标函数：

此处||·||是弗洛宾尼斯范数，为了优化上面的目标函数，迭代更新过程：

现有文献已经证明以上的更新过程可以找到的局部最小，从NMF得到的矩阵V为低维表示，矩阵U为基矩阵。尽管NMF方法优于现有其它方法，但是现有的NMF算法因无法解决保护原始高维数据的局部及总体结构的问题，所以存在获得的低维数据无法最大程度的继承高维数据的问题。

综上所述，现有技术所存在的不足可以归纳为：一是由于视觉算子经常会有成百甚至上千的维度，大部分的基于视觉的任务都会遭受维度灾难；二是以前的哈希方法都是主要集中于单个特征，在它们的构架中，只有一种特征算子被用作学习哈希函数；三是为了有效的相似性搜索，虽然一些多特征的哈希方法被提出，但是这些方法的哈希对噪声敏感，并且有着很高的计算复杂度。

发明内容

本发明的目的是为克服现有技术存在的不足而提供一种多特征联合哈希信息检索方法(MAH)，本发明运用正则化核非负矩阵分解(RKNMF)方法，能够有效地保护数据的概率分布，减少低维数据的冗余，使得学习到一个可融合从多个源中得到的多种表示，同时通过RKNMF来保护高维联合分布和获得正交基的哈希嵌入函数。

根据本发明提出的一种多特征联合哈希信息检索方法，其特征在于包括如下基本步骤：

步骤1建立目标函数：保护目标空间的数据分布，用热核公式构建相关的N×N的核矩阵，同时得到NMF中的紧凑矩阵基并且减少冗余；其具体步骤如下：

步骤1.1：给出第i个特征训练数据用热核公式构建相关 的N×N的核矩阵：其中τ是相关的可变参 数，从每一个特征数据{K₁，…，K_n)可以计算出多核矩阵，

步骤1.2：定义融合矩阵为 为得到一个更加有 意义的低维矩阵分解，为二进制码V＝[v₁,…,v_N]设定一个约束作为相似概率正则化，可利 用它保护目标空间的数据分布，其优化可表示如下：

其中，是在第i个特征空间中和之间的对称联合概率；采用高斯函数去衡量它：

其中，σ是高斯平滑参数，可以估量欧几里德距离；

步骤1.3：第i个特征的相似概率正则化可以被降低成：

其中，是对称相似矩阵，D⁽ⁱ⁾是输入为的对角矩阵；为同时得到NMF中的紧凑矩阵基和减少冗余，希望NMF的基矩阵 尽可能的正交，如U^TU-I＝0，同时最小化||U^TU-I||²并且让U近似正交；

步骤1.4：结合以上的两个约束条件进行优化如下：

其中，γ和η是两个可以平衡NMF的近似误差和附加约束的正系数；

步骤2交替优化：通过一个迭代的过程，优化U和V，得到基算子U和低维数据V的更新规则；其具体步骤如下：

步骤2.1：首先把公式(6)中不连续的V∈{0，1}^d×N放到域V∈R^d×N上，为保持NMF去获得一个更优化的解，通过一个迭代的过程，优化(U,V)分为两步，其α在区间(α₁，…，α_n)之间，每一步的U、V和α都被不停的优化，并且下一步再次迭代，直到收敛迭代过程才停止；

步骤2.2：优化U和V首先确定α，替换和运用拉格朗日乘数函数：

公式(7)中的φ和ψ是两个矩阵，为使U和V都大于等于0，其中所有的元素均为拉格朗日乘数，然后让的偏导数相对于U和V为0，如即可得：

步骤2.3：运用KKT条件，有互补松弛性条件φ_ijU_ij＝0和ψ_ijV_ij＝0，在公式(8)和(9)的相关元素乘上U_ij和V_ij，对U_ij和V_ij有以下的公式：

(-KV^T+UVV^T+2ηUU^TU-2ηU)_ijU_ij＝0 (10)，

(-U^TK+U^TUV+γVL)_ijV_ij＝0 (11)，

于是，和标准的NMF过程类似，可得到更新规则如下：

其中和为确保U和V中的所有元素均为正值，U需要进行归一化，U和V都具有收敛性，已经证明了U和V的每一次更新，目标函数都单调不增加；

步骤2.4：为确定U和V，忽略不相干的范数，定义拉格朗日函数如下：

其中，λ和β＝(β₁，…，β_n)是拉格朗日乘数，相对于α，λ和β的的偏导数，如和需要：

同时有互补松弛条件：

β_jα_j＝0，j＝１，…，n (18)，

步骤2.5：对一些j而言，α_j＝0，尤其J＝{j|α_j＝0}，优化的结果会包含一些0；在这种情况下，与最小化||Σ_j∈Jα_jK_j-UV||²的优化过程不同；不失一般性，设α_j＞0，然后，β＝0；从公式(15)，可得：

如果将以上的公式转化到矩阵中并且定义T_j＝tr(UVK_j)-γtr(VL_jV^T)/2，可得：

可用Aα^T＝B表示公式(20)，矩阵A实际上是K_i基于F内积的格拉姆矩阵

步骤2.6：让M＝(vec(k_i),…，vec(K_n))，其中vec(K_i)是K_i的向量化，然后A＝M^TM，从n个不同的特征得出的核矩阵K₁,…，K_n是线性不相关的；结合公式(17)且消除λ，可得到以下线性公式：

可用表示公式(21)；根据不同特征的变化，1＝(1,…，1)和A中所有行都是线性不相关的；然后有于是，的逆存在并且

步骤3整体收敛：通过原始的目标函数，然后进行交替迭代；其具体步骤如下：

步骤3.1：通过L(U,V,α)在公式(6)定义原始的目标函数，然后交替迭代过程可以表示为：

于是，有下面的不等式：

即：m→∞时，L(U^(m)，V^(m），α^(m))是单调不增加的，有L(U,V,α)≥0，然后交替迭代收敛；

步骤4哈希函数的生成：将得出的低维实数根据门限值的划分转换为二进制码，使用多变量的回归方法来准确地找到相关的哈希函数，计算训练数据和测试样本之间的汉明距即XOR运算，得出最终的结果；其具体步骤如下：

步骤4.1：计算出权向量α＝(α₁,…，α_n)，融合核矩阵K和联合概率拉普拉斯矩阵L。于是，从公式(12)和公式(13)得到多特征RKNMF基U∈R^N×d和低维表示V∈R^d×N，其中d＜＜D_i，i＝1,…，n，将以上的低维实数V＝[v₁，…，v_N]表示且根据门限值的划分转换为二进制码，如果v_p中的第个元素比门限值大，那么否则为0，其中p＝1，…，N和l＝1，…，d；

步骤4.2：为确保语义哈希的效率，一个好的语义哈希算法应该是熵最大化的；同时，从信息量的原则可知，通过一个均匀的概率分布，信源可以到达一个最大的熵；如果在数据上的码的熵很小，整个文件会被映射到一小部分的码上；为满足熵最大化原则，v_p中元素的门限值采用v_p的中值；因此，一半数值会被设为1，另外一半设为0，以将实数码计算成二进制码；

步骤4.3：使用多变量的回归方法来准确地找到相关的哈希函数；在分布中Y_i|X_i～ Bernoulli(p_i)，i＝1,…，n，对参数为θ的函数Pr(Y_i＝1|X_i＝x)＝h_θ(x)，似然函数为根据最大对数似然函数准则，定义逻辑回 归函数为：

其中，是v_p中的每一个部分的回归函数； 公式：

log(x)＝(log(x₁)，…，log(x_n))^T对x＝(x₁，…x_n)^T∈Rⁿ；<·，·>表示了内积；θ是大小为d×d的相关的回归矩阵；1表示了N×1矩阵，采用δ|θ||²作为逻辑回归中避免过拟合的正则化项；

步骤4.4：为了最小化J(θ)，提供一个标准的梯度下降算法；学习率为γ的更新公式为：

更新公式会当θ_j+1和θ_j之间的差异，||θ_j+1-θ_j||²，到达收敛，然后可得到回归矩阵θ，再通过公式(24)的嵌入，如最近整数函数；

步骤4.5：上述方法给出一个样本，可通过热核函数，先计算出每一个特征的相关核矩阵其中是N×1矩阵，然后通过优化权重α融合这些核：和通过线性映射矩阵P＝(U^TU)^-1U^T获得低维实数表示，由于h_θ是sigmoid函数，最终新的样本的哈希码被计算得出：

其中，函数是对h_θ每一个值取最近整数。事实上，门限值为0.5，它有属性h_θ∈(0,1)去二进制化如果h_θ(P·K^new)的输出比特比0.5大，标这个比特为1，否则为0，这种情况下，可得到对任意数据点的最终多特征联合哈希码；

步骤4.6：上述是一种嵌入方法，所有的训练样本和测试样本都是经过多特征RKNMF优化和逻辑回归去确保它们在同一个子空间，不需要再训练，相关的MAH在下面的过程中描述：

多特征联合哈希检索方法(MAH),输入：

通过热核计算从n个不同的特征得到的一组训练核矩阵：{K₁,…，K_n}；

哈希码的目标维度d；

逻辑回归的学习率r和正则化参数{γ,η,ξ}；

输出：核权重α＝(α₁，…，α_n)基矩阵U和回归矩阵θ；

一是通过公式(4)对每一个特征计算相似矩阵W⁽ⁱ⁾；

二是初始化α＝(1/n,1/n,…,1/n)；

三是重复；

四是通过公式(12)和公式(13)计算基矩阵U和低维矩阵表示V；

五是通过公式(21)获取核权重

六是直到收敛；

七是通过公式(23)计算回归矩阵θ，最终的对一个样本的MAH编码在公式(24)中定义；

步骤5复杂度分析：对上述步骤1-4的多特征联合哈希信息检索方法进行复杂度分析；其具体步骤如下：

MAH学习的复杂度主要包含两个部分：第一部分是热核的构建和对不同特征的相 似概率的正则化，如K_i和L_i；从3.1可得，该部分的时间复杂度为第二部 分是交替优化，在更新(U,V)的步骤，矩阵分解的时间复杂度为O(N²d)，α的更新在MAH中的 复杂度为O(n²N²)；所以，MAH的时间复杂度为其中T 为交替优化的迭代次数；从经验分析得出，T会比10小，也就是MAH会在10个循环内收敛。

本发明与现有技术相比其显著优点在于：一是本发明建立的目标函数能够高效地解决由非负矩阵分解和逻辑回归的问题，首创了NMF和MAH成功地应用于大比例的相似性信息搜索特征值的嵌入，在标准测试集CALTECH256，cifier10，和cifier20应用中取得了优异的结果；二是本发明的MAH中运用了正则化核非负矩阵分解(RKNMF)，能够有效地保护数据的概率分布，同时减少低维数据的冗余，相对于基于局部的图正则化，通过高斯方程去衡量一对数据的联合概率，已证明可有效地抵制数据噪声，很好的获得高维数据的局部结构，并且揭露其整体结构；三是本发明的MAH能够使得学习到一个可融合从多个信息源中得到的多种表示，同时通过RKNMF来保护高维联合分布和获得正交基的哈希嵌入函数。本发明能够在计算机视觉、数据挖掘、机器学习或相似搜索等领域中取得显著的应用效果。

附图说明

图1为本发明的多特征联合哈希信息检索方法(MAH)的演示流程方框示意图。

图2为本发明的多特征联合哈希信息检索方法(MAH)的实施步骤方框示意图。

图3为测试样本转变为哈希码嵌入过程的示意图。

图4包括图4a、图4b和图4c，为当有GIST、HOG、LBP和ColorHist4个算子结合在一起时，MAH检索表现的示意图；其中：图4a表示在数据库Caltech-256中，MAH检索表现的示意图；图4b表示在数据库CIFAR-10中，MAH检索表现的示意图；图4c表示在数据库CIFAR-20中，MAH检索表现的示意图。

图5包括图5a、图5b和图5c，为在CIFAR-10、CIFAR-20和Caltech-256三个数据库中，所有经过比较的算法的平均准确率曲线的示意图；其中：图5a表示在数据库Caltech-256中，所有经过比较的算法的平均准确率曲线的示意图；图5b表示在数据库CIFAR-10中，所有经过比较的算法的平均准确率曲线的示意图；图5c表示在数据库CIFAR-20中，所有经过比较的算法的平均准确率曲线的示意图。

图6包括图6a、图6b和图6c，为在CIFAR-10、CIFAR-20和Caltech-256三个数据库中，所有算法在码长为96bits情况下的查准和召回曲线的示意图；其中：图6a表示在数据库Caltech-256中，所有算法在码长为96bits情况下的查准和召回曲线的示意图；图6b表示在数据库CIFAR-10中，所有算法在码长为96bits情况下的查准和召回曲线的示意图；图6c表示在数据库CIFAR-20中，所有算法在码长为96bits情况下的查准和召回曲线的示意图。

图7为数据库Caltech-256的检索结果的示意图。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步的详细说明。

本发明提出的一种多特征联合哈希信息检索方法的演示流程详见图1所示，从训练样本中提取多种特征算子，用热核公式构建相关的N×N的核矩阵融合，通过一个迭代的过程，将所得低维数据根据门限值的划分转换为二进制码；在测试样本中，同样提取多种特征算子，通过计算热核，使用多变量的回归方法来准确地找到相关的哈希函数，得到测试样本的哈希码；最后计算训练数据和测试样本之间的汉明距即XOR运算，得出最终的结果。

结合图2，本发明提出的一种多特征联合哈希信息检索方法，其特征在于包括如下基本步骤：

步骤1建立目标函数：保护目标空间的数据分布，用热核公式构建相关的N×N的核矩阵，同时得到NMF中的紧凑矩阵基并且减少冗余；

步骤2交替优化：通过一个迭代的过程，优化U和V，得到基算子U和低维数据V的更新规则；

步骤3整体收敛：通过原始的目标函数，然后进行交替迭代；

步骤4哈希函数的生成：将得出的低维实数根据门限值的划分转换为二进制码，使用多变量的回归方法来准确地找到相关的哈希函数，计算训练数据和测试样本之间的汉明距即XOR运算，得出最终的结果；

步骤5复杂度分析：对上述步骤1-4的多特征联合哈希信息检索方法进行复杂度分析。

下面进一步说明本发明的多特征联合哈希信息检索方法的应用实施例。

实施例1，本发明提出的多特征联合哈希信息检索方法(MAH)和当今六个比较流行的非监督多特征哈希算法MVAGH、SU-MVSH、MVH-CS、CHMIS、DMVH和MVH-CCA做了比较；此外，还用本发明与两个先进的单特征的哈希方法SpH和AGH做了比较；对单特征的哈希方法，从多特征来的数据在哈希学习中连接在一起；以上所有的方法会在16、32、48、64、80和96的六个不同长度的码间做比较。

多特征联合哈希信息检索方法(MAH)，提供热核为去构建原始的核矩阵，其中设定τ为成对数据点距离的中值。对每一个数据库的优化学习率γ的选取从{0.01,0.02,…,0.10}中选择。三个正则化参数{γ,η,ξ}同样在训练集中经过交叉验证后选取，最终定义为γ＝0.15，η＝0.325和ξ＝0.05。

为二进制码V＝[v₁,…,v_N]设定一个约束作为相似概率正则化，可以利用它保护目标空间的数据分布，优化可以表示如下：

结合约束条件进行优化如下：

其中，γ和η是两个可以平衡NMF的近似误差和附加约束的正系数；

通过一个迭代的过程，优化(U,V)分为两步，其α在区间(α₁，…，α_n)之间，每一步的U、V和α都被不停的优化，并且下一步再次迭代，直到收敛迭代过程才停止；

和标准的NMF过程类似，可得到更新规则如下：

计算出权向量α＝(α₁，…，α_n)，融合核矩阵K和联合概率拉普拉斯矩阵L。将以上的低维实数V＝[V₁，…，v_N]根据门限值的划分转换为二进制码，如果v_p中的第个元素比门限值大，那么否则为0，其中p＝1,…，N和l＝1,…，d；

使用多变量的回归方法来准确地找到相关的哈希函数，最终新的样本的哈希码被计算得出：

其中，函数是对h_θ每一个值取最近整数。事实上，门限值为0.5，它有属性h_θ∈(0,1)去二进制化如果h_θ(P·K^new)的输出比特比0.5大，标这个比特为1，否则为0，这种情况下，可得到对任意数据点的最终多特征联合哈希码；

图3所示，为测试样本转变为哈希码嵌入过程的示意图，它表示先计算出每一个特征的相关核矩阵然后通过优化权重融合这些核，计算得出最终新的样本的哈希码，如果h_θ(P·K^new)的输出比特比0.5大，标这个比特为1，否则为0。

图4所示，当有GIST、HOG、LBP和ColorHist4个算子结合在一起时，MAH的检索表现，即在三个数据库上的结果表明联合多个特征比使用单个特征有着更好的表现。图5所示，说明了在CIFAR-10、CIFAR-20和Caltech-256三个数据库中，所有经过比较的算法的平均准确率曲线，可以看出，MAH比其它所有的算法的结果都要好，参见表1。另外，图6所示，提供了在三个数据库上，所有算法在码长为96bits情况下的查准和召回曲线。从图6可以看出，通过比较曲线下的面积，MAH再一次取得了更好的结果。图7所示，为应用本发明的一些数据库Caltech-256的检索结果。最后，将不同算法在三个数据库中的训练时间和测试时间列入表1，这再次表明无论在平均准确率，训练时间还是测试时间上，MAH都是一种有效的，先进的方法。

表1：三个数据库32bits的平均准确率，训练时间和测试时间表

本发明的具体实施方式中未涉及的说明属于本领域公知的技术，可参考公知技术加以实施。

本发明经反复应用验证，取得了满意的应用效果。

Claims (1)

1.一种多特征联合哈希信息检索方法，其特征在于包括如下基本步骤：

步骤1建立目标函数：保护目标空间的数据分布，用热核公式构建相关的N×N的核矩阵，同时得到NMF中的紧凑矩阵基并且减少冗余；其具体步骤如下：

步骤1.1：给出第i个特征训练数据用热核公式构建相关的N×N的核矩阵： 其中τ是相关的可变参数，从每一个特征数据{K₁，...，K_n}以计算出多核矩阵，

步骤1.2：定义融合矩阵为其中为得到一个更加有意义的低维矩阵分解，为二进制码V＝[v₁，…，v_N]设定一个约束作为相似概率正则化，可利用它保护目标空间的数据分布，其优化可表示如下：

其中，是在第i个特征空间中和之间的对称联合概率；采用高斯函数去衡量它：

其中，σ是高斯平滑参数，可以估量欧几里德距离；

步骤1.3：第i个特征的相似概率正则化可以被降低成：

其中，L_i＝D⁽ⁱ⁾-W⁽ⁱ⁾，是对称相似矩阵，D⁽ⁱ⁾是输入为对角矩阵；为同时得到NMF中的紧凑矩阵基和减少冗余，希望NMF的基矩阵尽可能的正交，如U^TU-I＝0，同时最小化||U^TU-I||²并且让U近似正交；

步骤1.4：结合以上步骤1.3所述的tr(VL_iV^T)和||U^TU-I||²两个约束条件进行优化如下：

其中，γ和η是两个可以平衡NMF的近似误差和附加约束的正系数；

步骤2交替优化：通过一个迭代的过程，优化U和V，得到基算子U和低维数据V的更新规则；其具体步骤如下：

步骤2.1：首先把公式(6)中不连续的V∈{0，1}^d×N放到域上，为保持NMF去获得一个更优化的解，通过一个迭代的过程，优化(U,V)分为两步，其α在区间(α₁，…，α_n)之间，每一步的U、V和α都被不停的优化，并且下一步再次迭代，直到收敛迭代过程才停止；

步骤2.2：优化U和V首先确定α，替换和运用拉格朗日乘数函数：

公式(7)中的Φ和Ψ是两个矩阵，为使U和V都大于等于0，其中所有的元素均为拉格朗日乘数，然后让的偏导数相对于U和V为0，如即可得：

步骤2.3：运用KKT条件，有互补松弛性条件Φ_ijU_ij＝0和Ψ_ijV_ij＝0，在公式(8)和(9)的相关元素乘上U_ij和V_ij，对U_ij和V_ij有以下的公式：

(-KV^T+UVV^T+2ηUU^TU-2ηU)_ijU_ij＝0 (10)，

(-U^TK+U^TUV+γVL)_ijV_ij＝0 (11)，

于是，和标准的NMF过程类似，可得到更新规则如下：

其中和为确保U和V中的所有元素均为正值，U需要进行归一化，U和V都具有收敛性，已经证明了U和V的每一次更新，目标函数都单调不增加；

步骤2.4：为确定U和V，忽略不相干的范数，定义拉格朗日函数如下：

其中，λ和β＝(β₁，…，β_n)是拉格朗日乘数，相对于α,λ和β的的偏导数，如和需要：

同时有互补松弛条件：

β_jα_j＝0，j＝1，…，n. (18)，

步骤2.5：对一些j而言，α_j＝0，尤其J＝{j|α_j＝0}，优化的结果会包含一些0；在这种情况下，与最小化的优化过程不同；不失一般性，设α_j＞0，然后，β＝0；从公式(15)，可得：

如果将以上的公式转化到矩阵中并且定义T_j＝tr(UVK_j)-γtr(VL_jV^T)/2，可得：

可用Aα^T＝B表示公式(20)，矩阵A实际上是K_i基于F内积的格拉姆矩阵

步骤2.6：让M＝(vec(K₁),…，vec(K_n))，其中vec(K_i)是K_i的向量化，然后A＝M^TM，从n个不同的特征得出的核矩阵K₁，...，K_n线性不相关的；结合公式(17)且消除λ，可得到以下线性公式：

可用表示公式(21)；根据不同特征的变化，1＝(1,…，1)和A中所有行都是线性不相关的；然后有于是，的逆存在并且

步骤3整体收敛：通过原始的目标函数，然后进行交替迭代；其具体步骤如下：

步骤3.1：通过L(U,V,α)在公式(6)定义原始的目标函数，然后交替迭代过程可以表示为：

于是，有下面的不等式：

L(U^(m-1)，V^(m-1)，α^(m-1))≥L(U^(m)，V^(m)，α^(m-1))≥L(U^(m)，V^(m)，α^(m))≥L(U^(m+1)，V^(m+1)，α^(m))≥L(U^(m+1)，V^(m+1)，α^(m+1))≥....

即：m→∞时，L(U^(m)，V^(m)，α^(m))是单调不增加的，有L(U，V，α)≥0，然后交替迭代收敛；

步骤4哈希函数的生成：将得出的低维实数根据门限值的划分转换为二进制码，使用多变量的回归方法来准确地找到相关的哈希函数，计算训练数据和测试样本之间的汉明距即XOR运算，得出最终的结果；其具体步骤如下：

步骤4.1：计算出权向量α＝(α₁，…，α_n)，融合核矩阵K和联合概率拉普拉斯矩阵L；于是，从公式(12)和公式(13)得到多特征RKNMF基 和低维表示其中d＜＜D_i，i＝1，…，n，将以上的低维实数V＝[v₁，…，v_N]表示且根据门限值的划分转换为二进制码，如果v_p中的第l个元素比门限值大，那么否则为0，其中p＝1，…，N和l＝1，…，d；

步骤4.2：为确保语义哈希的效率，一个好的语义哈希算法应该是熵最大化的；同时，从信息量的原则可知，通过一个均匀的概率分布，信源可以到达一个最大的熵；如果在数据上的码的熵很小，整个文件会被映射到一小部分的码上；为满足熵最大化原则，v_p中元素的门限值采用v_p的中值；因此，一半数值会被设为1，另外一半设为0，以将实数码计算成二进制码；

步骤4.3：使用多变量的回归方法来准确地找到相关的哈希函数；在分布中Y_i|X_i～Bernoulli(p_i)，i＝1，…，n，对参数为θ的函数Pr(Y_i＝1|X_i＝x)＝h_θ(x)，似然函数 根据最大对数似然函数准则，定义逻辑回归函数为：

其中，是v_p中的每一个部分的回归函数；公式log(x)＝(log(x₁)，…，log(x_n))^T对<·，·>表示了内积；Θ是大小为d×d相关的回归矩阵；1表示了N×1矩阵，采用ξ||Θ||²作为逻辑回归中避免过拟合的正则化项；

步骤4.4：为了最小化J(Θ)，提供一个标准的梯度下降算法；学习率为r的更新公式为：

更新公式会在Θ_t+1和Θ_t之间的差异||Θ_t+1-Θ_t||²小于一个经验常数时到达收敛，然后可得到回归矩阵Θ，再通过公式(24)的嵌入，如最近整数函数；

步骤4.5：上述方法给出一个样本，可通过热核函数，先计算出每一个特征的相关核矩阵其中是N×1矩阵，然后通过优化权重α融合这些核：和通过线性映射矩阵P＝(U^TU)^-1U^T获得低维实数表示，由于h_Θ是sigmoid函数，最终新的样本的哈希码被计算得出：

其中，函数是对h_Θ每一个值取最近整数；事实上，门限值为0.5，它有属性h_Θ∈(0,1)去二进制化如果h_Θ(P·K^new)的输出比特比0.5大，标这个比特为1，否则为0，这种情况下，可得到对任意数据点的最终多特征联合哈希码；

步骤4.6：上述是一种嵌入方法，所有的训练样本和测试样本都是经过多特征RKNMF优化和逻辑回归去确保它们在同一个子空间，不需要再训练，相关的MAH在下面的过程中描述：

多特征联合哈希检索方法(MAH),输入：

通过热核计算从n个不同的特征得到的一组训练核矩阵：{K₁，…，K_n}；

哈希码的目标维度d；

逻辑回归的学习率r和正则化参数{γ,η,ξ}；

输出：核权重α＝(α₁，…，α_n)基矩阵U和回归矩阵Θ；

一是通过公式(4)对每一个特征计算相似矩阵W⁽ⁱ⁾；

二是初始化α＝(1/n,1/n,…,1/n)；

三是重复；

四是通过公式(12)和公式(13)计算基矩阵U和低维矩阵表示V；

五是通过公式(21)获取核权重

六是直到收敛；

七是通过公式(23)计算回归矩阵Θ，最终的对一个样本的MAH编码在公式(24)中定义；

步骤5复杂度分析：对上述步骤1-4的多特征联合哈希信息检索方法进行复杂度分析，其具体步骤如下：

MAH学习的复杂度主要包含两个部分：第一部分是热核的构建和对不同特征的相似概率的正则化，如K_i和L_i；从步骤3.1可得，该部分的时间复杂度为第二部分是交替优化，在更新(U,V)的步骤，矩阵分解的时间复杂度为α的更新在MAH中的复杂度为所以，MAH的时间复杂度为其中T为交替优化的迭代次数；从经验分析得出，T会比10小，也就是MAH会在10个循环内收敛。