CN103500345A - 一种基于距离度量学习行人重验证的方法 - Google Patents

Abstract

本发明公开一种基于距离度量学习行人重验证的方法，包括以下步骤：步骤1：构造基本距离度量模型；步骤2：对基本距离度量模型进行光滑正则化。本发明通过采用新设计的光滑正则化距离度量模型进行行人重验证，充分考虑了模型中协方差矩阵估计偏差问题。具有不需要复杂的优化迭代过程，训练时间短，在训练样本少的情况下，能有效改善距离度量模型的匹配性能，提升用户体验等优点。

Description

一种基于距离度量学习行人重验证的方法

技术领域

本发明涉及一种模式识别与人工智能技术，特别涉及一种基于距离度量学习行人重验证的方法。

背景技术

随着智能监控（intelligent video surveillance，IVS）的兴起，行人重验证（person re-identification）作为检索问题重要的应用引起了越来越多的关注。简单说，行人重验证的目的从当前摄像机A中检测到的行人作为检索数据，在其他摄像机A的记录数据中寻找同一个人。由于不同摄像机检测到的行人的姿态以及当时的拍摄环境的复杂性，我们很难直接正确返回正确匹配，因此分类问题并不适用于这里。退而求其次，我们希望正确匹配的结果尽量靠前，因此前n（这个n越小越好）排序匹配率是行人重验证系统的技术指标。

通常来说完整的行人重验证系统的工作过程通常包括以下几步：1）利用行人检测的方法，收集多个行人不同拍摄位置、光照条件下的样本数据；2）从每个样本中提取纹理特征和颜色直方图特征；3）将所有特征描述子连接在一起后降维，从而获得每个样本的低维表达；4）训练能够判断两个样本是否为同一个人的距离度量模型；5）对新收集的行人不同拍摄位置、光照条件下的样本数据，利用学习好的距离度量模型判断哪些样本为同一个人。

然而常用的距离度量学习模型对训练样本数量比较敏感，在手工标注样本较少的情况下，行人重验证系统工作性能下降，为了获得系统性能，不得不大量手工标注样本，这使得行人重验证系统开发成本大量增加。另外许多距离度量模型的求解过程是一个复杂的优化迭代过程，因此训练时间较长。因此，从工程的角度出发，需要寻找一个需要少量训练样本，并且算法实现简单的距离度量模型是非常必要的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于距离度量学习行人重验证的方法，该方法只需要少量人工标注样本的基于距离度量学习的简单算法就可以实现行人重验证方法。

本发明的目的通过下述技术方案实现：一种基于距离度量学习行人重验证的方法，具体实现方式：

1）利用行人检测的方法，收集多个行人不同拍摄位置、光照条件下的样本数据，这里行人类别数目为p；

2）从每个样本中提取纹理特征和颜色直方图特征；

3）将所有特征描述子连接在一起后执行PCA，从而获得每个样本的低维表达；

4）训练能够判断两个样本是否为同一个人的光滑正则化距离度量模型；

具体包括以下步骤：

步骤1：构造基本距离度量模型：

假设给定一特征向量对x_i和x_j，H₀代表特征向量对是不相似的(x_i和x_j是不同的人)，H₁代表特征向量对是相似的(x_i和x_j是同一个人)，两者的概率的比的对数为：

$\mathrm{\δ}(x_i,x_j)=\log \left(\frac{p\left(H_0\right|x_i,x_j)}{p\left(H_1\right|x_i,x_j)}\right),---\left(1\right)$

从分类的角度来说，δ(x_i,x_j)是正值则代表x_i和x_j是不同的人，而负值则代表相同的人，我们用x_ij=x_i-x_j来代表特征向量对的差，因此可得：

δ(x_ij)=log(p(H₀|x_ij)/p(H₁|x_ij))，    (2)

上式可以写为：

δ(x_ij)=log(f(x_ij|H₀)/f(x_ij|H₁))+log(p(H₀)/p(H₁)),    (3)

其中，f(x_ij|H₀)和f(x_ij|H₁)分别是在假设H₀和H₁下x_ij的概率密度函数，即f(x_ij|H₀)是相似的特征向量对的差异的概率密度函数，而f(x_ij|H₁)是不相似的特征向量对的差异的概率密度函数，由于x_ij的均值是0，通常假设x_ij服从高斯分布，所以，可得：

$f\left(x_{\mathrm{ij}}\right|H_k)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}\exp (-\frac{1}{2}{x}_{\mathrm{ij}}^T{\mathrm{\Σ}}_k^{-1}{x}_{\mathrm{ij}}),---\left(4\right)$

其中，k∈{0,1},d是特征向量的维数，Σ_k是x_ij的协方差矩阵。

式（4）和式（3）可以简化为：

$\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=\frac{1}{2}{x}_{\mathrm{ij}}^T({\mathrm{\Σ}}_1^{-1}-{\mathrm{\Σ}}_0^{-1})x_{\mathrm{ij}}+\frac{1}{2}\log \left(\frac{\left|{\mathrm{\Σ}}_1\right|}{\left|{\mathrm{\Σ}}_0\right|}\right)+\log \left(\frac{p\left(H_0\right)}{p\left(H_1\right)}\right),---\left(5\right)$

去掉常数项，可得：

$\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^T({\mathrm{\Σ}}_1^{-1}-{\mathrm{\Σ}}_0^{-1})x_{\mathrm{ij}},---\left(6\right)$

定义y_ij为x_i和x_j的示性变量:如果x_i和x_j是相同的人，则y_ij=1，否则y_ij=0。N₀代表相似特征向量对的数量，N₁代表不相似特征向量的数量，协方差矩阵的估计为：

$\begin{array}{c}{\mathrm{\Σ}}_0=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\Σ}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\Σ}}(x_i-x_j){(x_i-x_j)}^T,\\ {\mathrm{\Σ}}_1=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\Σ}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\Σ}}(x_i-x_j){(x_i-x_j)}^T,\end{array}---\left(7\right)$

令 $M={\mathrm{\Σ}}_1^{-1}-{\mathrm{\Σ}}_0^{-1},$

$\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^{T}M{x}_{\mathrm{ij}},---\left(8\right)$

步骤2：对基本距离度量模型进行光滑正则化：

式（6）中的协方差矩阵的估计对于身份再识别系统的鲁棒性来说是至关重要的。众所周知，协方差矩阵的估计总是有偏差的。由于训练样本的规模有限，真实协方差矩阵的大特征值会被高估，与此同时小的特征值会被低估。

在统计学中，有很多方法可以获得鲁棒性的估计。因此引入平滑技术和正则化技术来改善基本距离度量模型中的协方差矩阵的估计，平滑技术可以增大对协方差矩阵的小特征值的估计，而正则化可以减小被高估的大特征值的影响。通过将他们无缝地结合起来，我们可以改善用于身份再识别距离度量模型的性能。

首先，我们对协方差矩阵Σ_i进行对角化

${\mathrm{\Σ}}_i={\mathrm{\Φ}}_i{\mathrm{\Λ}}_i{\mathrm{\Φ}}_i^T,---\left(9\right)$

这里，Λ_i=diag[λ_i1,λ_i2,…,λ_id]，λ_ij是Σ_i的特征值，Φ_i=[φ_i1,φ_i2,…,φ_id]，φ_ij是Σ_i的特征向量。

将式（9）代入式（6）中可得：

$\begin{array}{c}\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\mathrm{\Σ}}_1^{-1}-{\mathrm{\Σ}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\Φ}}_1{\mathrm{\Λ}}_1^{-1}{\mathrm{\Φ}}_1^T-{\mathrm{\Φ}}_0{\mathrm{\Λ}}_0^{-1}{\mathrm{\Φ}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\Φ}}_1^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\Λ}}_1^{-1}\left[{\mathrm{\Φ}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\Φ}}_0^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\Λ}}_0^{-1}\left[{\mathrm{\Φ}}_0^T{x}_{\mathrm{ij}}\right]\\ =\underset{n=1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{1n}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{0n}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(10\right)$

根据平滑技术，我们首先将协方差矩阵中小的特征值用一个小的常数β_i来代替，然后可得：

这里，β_i是所有小特征值的平均值：

${\mathrm{\β}}_i=\frac{1}{d-k}\stackrel{n=k+1}{\mathrm{\Σ}}{\mathrm{\λ}}_{\mathrm{in}},---\left(12\right)$

因此，式（10）可以写成：

$\begin{array}{c}\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{1n}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{0n}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2\\ =\underset{n=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{1n}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\underset{n=k+1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\β}}_1}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ -\underset{n=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{0n}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=k+1}{\overset{d}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\β}}_0}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(13\right)$

通过在式（13）中引入||x_ij||²，可以避免

和

的计算，然后可得：

$\begin{array}{c}\mathrm{\δ}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{1n}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\frac{1}{{\mathrm{\β}}_1}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\Σ}}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2)\\ -\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{\λ}}_{0n}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\frac{1}{{\mathrm{\β}}_0}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\Σ}}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2)\\ =(\frac{1}{{\mathrm{\λ}}_{1n}}-\frac{1}{{\mathrm{\β}}_1})\underset{n=1}{\overset{k}{\mathrm{\Σ}}}{\left({\mathrm{\φ}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+(\frac{1}{{\mathrm{\β}}_1}-\frac{1}{{\mathrm{\β}}_0}){\left|\right|x_{\mathrm{ij}}\left|\right|}^2\\ -(\frac{1}{{\mathrm{\λ}}_{0n}}-\frac{1}{{\mathrm{\β}}_0})\underset{n=1}{\overset{k}{\mathrm{\Σ}}}{\left({\mathrm{\φ}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(14\right)$

根据正则化技术，协方差矩阵式（9）用一个单位矩阵进行修改，

$\begin{array}{c}{\widetilde{\mathrm{\Σ}}}_i=(1-\mathrm{\γ}){\mathrm{\Σ}}_i+\mathrm{\γ}{\mathrm{\α}}_{i}I\\ =(1-\mathrm{\γ}){\mathrm{\Φ}}_i{\mathrm{\Λ}}_i{\mathrm{\Φ}}_i^T+\mathrm{\γ}{\mathrm{\α}}_i{\mathrm{\Φ}}_i{\mathrm{\Φ}}_i^T\\ ={\mathrm{\Φ}}_i[(1-\mathrm{\γ}){\mathrm{\Λ}}_i+\mathrm{\γ}{\mathrm{\α}}_{i}I]{\mathrm{\Φ}}_i^T,\end{array}---\left(15\right)$

这里，α_i=(1/d)tr(Σ_i)，0<γ<1。参数γ可以令

趋向单位矩阵，从而改善实际应用中的预测性能。

将式（11）代入式（15）可得：

定义：

在式（10）中用代替Σ_i，得到：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\widetilde{\mathrm{\&Sigma;}}}_1^{-1}-{\widetilde{\mathrm{\&Sigma;}}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\&Phi;}}_1{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}{\mathrm{\&Phi;}}_1^T-{\mathrm{\&Phi;}}_0{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}{\mathrm{\&Phi;}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right],\end{array}---\left(18\right)$

将式（17）代入式（18）可得：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{1n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ +\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2)\\ -\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{0n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2\\ -\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2)\\ =(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{1n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ +(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}){\left|\right|x_{\mathrm{ij}}\left|\right|}^2\\ -(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{0n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(19\right)$

式（19）是对于给定的查询目标xi，直接根据δ(x_ij)得出的排名参考图像x_j进行匹配或者检索，δ(x_ij)的值越小的相应参考图像排得越前。

5）对新收集p'个行人的不同拍摄位置、光照条件下的样本数据，利用学习好的光滑正则化距离度量模型判断哪些样本为同一个人。

本发明相对于现有技术具有如下的优点及效果：

1、本发明一种基于距离度量学习行人重验证的方法，通过采用新设计的光滑正则化距离度量模型进行行人重验证，充分考虑了模型中协方差矩阵估计偏差问题。这样设计与传统的方法比较，不需要复杂的优化迭代过程，因此训练时间短。

2、在训练样本少的情况下，能够有效改善以往的距离度量模型的匹配性能，提升用户体验。

3、本发明可以用少量的样本获得不错的识别率，因此有效的减少了训练和测试过程中的存储成本。

附图说明

图1是本发明实施例的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

下面结合附图1对本发明做进一步的说明，如图1所示，一种基于距离度量学习行人重验证的方法，具体实施步骤如下：

步骤1：利用行人检测的方法，收集多个行人不同拍摄位置、光照条件下的数据，这里行人类别数目为p；

步骤2：从每张图中以8×8的间隔，8×16的重叠块中提取以下纹理特征和颜色直方图特征；LBP描述子、HSV直方图和LBP特征。所有的特征描述子都被连接在一起；然后用PCA来获得一个低维的表达，从而加快学习过程同时减低信号噪声。

步骤3：将所有特征描述子连接在一起后执行PCA，保留64维特征，从而获得每个样本的低维表达；

步骤4：训练能够判断两个样本是否为同一个人的光滑正则化距离度量模型；

具体包括以下步骤：

步骤4.1：构造基本距离度量模型：

假设给定一特征向量对x_i和x_j，H₀代表特征向量对是不相似的(x_i和x_j是不同的人)，H₁代表特征向量对是相似的(x_i和x_j是同一个人)。两者的概率的比的对数为：

$\mathrm{\&delta;}(x_i,x_j)=\log \left(\frac{p\left(H_0\right|x_i,x_j)}{p\left(H_1\right|x_i,x_j)}\right),---\left(20\right)$

从分类的角度来说，δ(x_i,x_j)是正值则代表x_i和x_j是不同的人，而负值则代表相同的人。我们用x_ij=x_i-x_j来代表特征向量对的差，因此可得：

δ(x_ij)=log(p(H₀|x_ij)/p(H₁|x_ij))，    (21)

上式可以写为：

δ(x_ij)=log(f(x_ij|H₀)/f(x_ij|H₁))+log(p(H₀)/p(H₁)),    (22)

其中，f(x_ij|H₀)和f(x_ij|H₁)分别是在假设H₀和H₁下x_ij的概率密度函数，即f(x_ij|H₀)是相似的特征向量对的差异的概率密度函数，而f(x_ij|H₁)是不相似的特征向量对的差异的概率密度函数。由于x_ij的均值是0，通常假设x_ij服从高斯分布。所以，可得：

$f\left(x_{\mathrm{ij}}\right|H_k)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{d/2}{\left|{\mathrm{\&Sigma;}}_k\right|}^{1/2}}\exp (-\frac{1}{2}{x}_{\mathrm{ij}}^T{\mathrm{\&Sigma;}}_k^{-1}{x}_{\mathrm{ij}}),---\left(23\right)$

其中，k∈{0,1},d是特征向量的维数，Σ_k是x_ij的协方差矩阵。

式子（4）和（3）可以简化为：

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\frac{1}{2}{x}_{\mathrm{ij}}^T({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}}+\frac{1}{2}\log \left(\frac{\left|{\mathrm{\&Sigma;}}_1\right|}{\left|{\mathrm{\&Sigma;}}_0\right|}\right)+\log \left(\frac{p\left(H_0\right)}{p\left(H_1\right)}\right),---\left(24\right)$

去掉常数项，可得：

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^T({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}},---\left(25\right)$

定义y_ij为x_i和x_j的示性变量:如果x_i和x_j是相同的人，则y_ij=1，否则y_ij=0。N₀代表相似特征向量对的数量，N₁代表不相似特征向量的数量。协方差矩阵的估计为：

$\begin{array}{c}{\mathrm{\&Sigma;}}_0=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\&Sigma;}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\&Sigma;}}(x_i-x_j){(x_i-x_j)}^T,\\ {\mathrm{\&Sigma;}}_1=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\&Sigma;}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\&Sigma;}}(x_i-x_j){(x_i-x_j)}^T,\end{array}---\left(26\right)$

令 $M={\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1},$

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^{T}M{x}_{\mathrm{ij}},---\left(27\right)$

步骤4.2：对基本距离度量模型进行光滑正则化：

式子（6）中的协方差矩阵的估计对于身份再识别系统的鲁棒性来说是至关重要的。众所周知，协方差矩阵的估计总是有偏差的。由于训练样本的规模有限，真实协方差矩阵的大特征值会被高估，与此同时小的特征值会被低估。

在统计学中，有很多方法可以获得鲁棒性的估计。因此引入平滑技术和正则化技术来改善基本距离度量模型中的协方差矩阵的估计，平滑技术可以增大对协方差矩阵的小特征值的估计，而正则化可以减小被高估的大特征值的影响。通过将他们无缝地结合起来，我们可以改善用于身份再识别距离度量模型的性能。

首先，我们对协方差矩阵Σ_i进行对角化

${\mathrm{\&Sigma;}}_i={\mathrm{\&Phi;}}_i{\mathrm{\&Lambda;}}_i{\mathrm{\&Phi;}}_i^T,---\left(28\right)$

这里，Λ_i=diag[λ_i1,λ_i2,…,λ_id]，λ_ij是Σ_i的特征值，Φ_i=[φ_i1,φ_i2,…,φ_id]，φ_ij是Σ_i的特征向量。

将（9）代入（6）中可得：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\&Phi;}}_1{\mathrm{\&Lambda;}}_1^{-1}{\mathrm{\&Phi;}}_1^T-{\mathrm{\&Phi;}}_0{\mathrm{\&Lambda;}}_0^{-1}{\mathrm{\&Phi;}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\&Lambda;}}_1^{-1}\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\&Lambda;}}_0^{-1}\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]\\ =\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(29\right)$

根据平滑技术，我们首先将协方差矩阵中小的特征值用一个小的常数β_i来代替，然后可得：

这里，β_i是所有小特征值的平均值：

${\mathrm{\&beta;}}_i=\frac{1}{d-k}\stackrel{n=k+1}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_{\mathrm{in}},---\left(31\right)$

因此，（10）可以写成：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2\\ =\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\underset{n=k+1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&beta;}}_1}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ -\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=k+1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&beta;}}_0}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(32\right)$

通过在（13）中引入||x_ij||²，可以避免

和的计算，然后可得：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\frac{1}{{\mathrm{\&beta;}}_1}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2)\\ -\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\frac{1}{{\mathrm{\&beta;}}_0}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2)\\ =(\frac{1}{{\mathrm{\&lambda;}}_{1n}}-\frac{1}{{\mathrm{\&beta;}}_1})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+(\frac{1}{{\mathrm{\&beta;}}_1}-\frac{1}{{\mathrm{\&beta;}}_0}){\left|\right|x_{\mathrm{ij}}\left|\right|}^2\\ -(\frac{1}{{\mathrm{\&lambda;}}_{0n}}-\frac{1}{{\mathrm{\&beta;}}_0})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(33\right)$

根据正则化技术，协方差矩阵（9）用一个单位矩阵进行修改，

$\begin{array}{c}{\widetilde{\mathrm{\&Sigma;}}}_i=(1-\mathrm{\&gamma;}){\mathrm{\&Sigma;}}_i+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_{i}I\\ =(1-\mathrm{\&gamma;}){\mathrm{\&Phi;}}_i{\mathrm{\&Lambda;}}_i{\mathrm{\&Phi;}}_i^T+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_i{\mathrm{\&Phi;}}_i{\mathrm{\&Phi;}}_i^T\\ ={\mathrm{\&Phi;}}_i[(1-\mathrm{\&gamma;}){\mathrm{\&Lambda;}}_i+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_{i}I]{\mathrm{\&Phi;}}_i^T,\end{array}---\left(34\right)$

式中，α_i=(1/d)tr(Σ_i)，0<γ<1。参数γ可以令趋向单位矩阵，从而改善实际应用中的预测性能。

将（11）代入（15）可得：

定义

在（10）中用

代替Σ_i，得到：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\widetilde{\mathrm{\&Sigma;}}}_1^{-1}-{\widetilde{\mathrm{\&Sigma;}}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\&Phi;}}_1{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}{\mathrm{\&Phi;}}_1^T-{\mathrm{\&Phi;}}_0{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}{\mathrm{\&Phi;}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right],\end{array}---\left(37\right)$

将（17）代入（18）可得：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{1n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ +\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2)\\ -\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{0n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2\\ -\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2)\\ =(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{1n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ +(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_1+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_1}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}){\left|\right|x_{\mathrm{ij}}\left|\right|}^2\\ -(\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&lambda;}}_{0n}+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0}-\frac{1}{(1-\mathrm{\&gamma;}){\mathrm{\&beta;}}_0+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_0})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(38\right)$

（19）是对于给定的查询目标x_i，直接根据δ(x_ij)得出的排名参考图像x_j进行匹配或者检索。δ(x_ij)的值越小的相应参考图像排得越前。

步骤5：将新收集的行人不同拍摄位置、光照条件下的样本数据，这些数据来自于不同的摄像机，比如编号为A，A₁，...，A₂，然后利用学习好的光滑正则化距离度量模型判断编号A摄像机出现的行人，与A₁，...，A₂中收集的哪个样本是同一个人。

为了进一步说明实施例的效果，我们利用公开的ETHZ数据集进行了行人重验证试验。该数据集中包含了从146个人身上获得的8,555张图像。ETHZ数据集对于每个对象的图像样本数较多。样本中包括有视觉、姿势、拍摄位置、光照条件和图像质量等方面的细小变化。实验中，我们将p=76个对象的所有样本图像都用来组成训练集，剩余的p'=70个对象的样本则作为测试集。并重复10次以上过程。另外与常见的LMNN距离度量学习模型进行试验结果对比。

排序匹配率是行人重验证的重要指标，是指返回的前n个结果，正确结果出现的概率。表1排序匹配率是通过10次实验获得的，以评估行人重验证方法的效果。鉴于该问题的复杂性，前n个排序匹配率（n是一个尽量小的数）也纳入考虑范围。

表1对光滑正则化距离度量学习与LMNN距离度量学习的实验结果进行了比较，可以看出光滑正则化距离度量学习有明显的优势。

表1为光滑正则化距离学习与LMNN距离度量学习的在ETHZ数据集上的实验结果：

表1

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于距离度量学习行人重验证的方法，包括以下步骤：

1）利用行人检测的方法，收集多个行人不同拍摄位置、光照条件下的样本数据，设置行人类别数目为p；

2）从每个样本中提取纹理特征和颜色直方图特征；

3）将所有特征描述子连接在一起后执行PCA，从而获得每个样本的低维表达；

4）训练能够判断两个样本是否为同一个人的光滑正则化距离度量模型；

5）对新收集p'个行人的不同拍摄位置、光照条件下的样本数据，利用学习好的光滑正则化距离度量模型判断哪些样本为同一个人；

其特征在于，所述步骤4）中，训练光滑正则化距离度量模型的实现方式，包括以下步骤：

步骤1：构造基本距离度量模型；

步骤2：对基本距离度量模型进行光滑正则化。

2.根据权利要求1所述的基于距离度量学习行人重验证的方法，其特征在于，所述步骤1包括以下步骤：

步骤Ⅰ、假设给定一特征向量对x_i和x_j代表两个样本，H₁代表特征向量对相似，即：x_i和x_j是同一个人，H₀代表特征向量对不相似，即：x_i和x_j是不同的人，H₁和H₀的概率的比的对数为：

$\mathrm{\&delta;}(x_i,x_j)=\log \left(\frac{p\left(H_0\right|x_i,x_j)}{p\left(H_1\right|x_i,x_j)}\right),---\left(39\right)$

从分类的角度进行分析，δ(x_i,x_j)是正值则代表x_i和x_j是不同的人，而负值则代表相同的人，用x_ij=x_i-x_j来代表特征向量对的差，因此得到：

δ(x_ij)=log(p(H₀|x_ij)/p(H₁|x_ij))，    (40)

上式写为：

δ(x_ij)=log(f(x_ij|H₀)/f(x_ij|H₁))+log(p(H₀)/p(H₁)),    (41)

其中，f(x_ij|H₀)和f(x_ij|H₁)分别是在假设H₀和H₁下x_ij的概率密度函数，即：f(x_ij|H₀)是相似的特征向量对的差异的概率密度函数，而f(x_ij|H₁)是不相似的特征向量对的差异的概率密度函数，由于x_ij的均值是0，假设x_ij服从高斯分布，得到：

$f\left(x_{\mathrm{ij}}\right|H_k)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{d/2}{\left|{\mathrm{\&Sigma;}}_k\right|}^{1/2}}\exp (-\frac{1}{2}{x}_{\mathrm{ij}}^T{\mathrm{\&Sigma;}}_k^{-1}{x}_{\mathrm{ij}}),---\left(42\right)$

其中，k∈{0,1},d是特征向量的维数，Σ_k是x_ij的协方差矩阵；

式（4）和式（3）简化为：

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\frac{1}{2}{x}_{\mathrm{ij}}^T({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}}+\frac{1}{2}\log \left(\frac{\left|{\mathrm{\&Sigma;}}_1\right|}{\left|{\mathrm{\&Sigma;}}_0\right|}\right)+\log \left(\frac{p\left(H_0\right)}{p\left(H_1\right)}\right),---\left(43\right)$

去掉常数项，得到：

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^T({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}},---\left(44\right)$

步骤Ⅱ、定义y_ij为x_i和x_j的示性变量:如果x_i和x_j是相同的人，则：y_ij=1，否则，y_ij=0；N₀代表相似特征向量对的数量，N₁代表不相似特征向量的数量，协方差矩阵的估计为：

$\begin{array}{c}{\mathrm{\&Sigma;}}_0=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\&Sigma;}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_0}\underset{y_{\mathrm{ij}}=0}{\mathrm{\&Sigma;}}(x_i-x_j){(x_i-x_j)}^T,\\ {\mathrm{\&Sigma;}}_1=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\&Sigma;}}{x}_{\mathrm{ij}}{x}_{\mathrm{ij}}^T=\frac{1}{N_1}\underset{y_{\mathrm{ij}}=1}{\mathrm{\&Sigma;}}(x_i-x_j){(x_i-x_j)}^T,\end{array}---\left(45\right)$

令 $M={\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1},$

$\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}^{T}M{x}_{\mathrm{ij}},---\left(46\right)$

其中，M作为距离度量矩阵，x_ij=x_i-x_j来代表特征向量对的差。

3.根据权利要求1所述的基于距离度量学习行人重验证的方法，其特征在于，所述步骤2包括以下步骤：

步骤ⅰ、对协方差矩阵Σ_i进行对角化：

${\mathrm{\&Sigma;}}_i={\mathrm{\&Phi;}}_i{\mathrm{\&Lambda;}}_i{\mathrm{\&Phi;}}_i^T,---\left(47\right)$

式中，Λ_i=diag[λ_i1,λ_i2,…,λ_id]，λ_ij是Σ_i的特征值，Φ_i=[φ_i1,φ_i2,…,φ_id]，φ_ij是Σ_i的特征向量；

将式（9）代入式（6）中得到：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\mathrm{\&Sigma;}}_1^{-1}-{\mathrm{\&Sigma;}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\&Phi;}}_1{\mathrm{\&Lambda;}}_1^{-1}{\mathrm{\&Phi;}}_1^T-{\mathrm{\&Phi;}}_0{\mathrm{\&Lambda;}}_0^{-1}{\mathrm{\&Phi;}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\&Lambda;}}_1^{-1}\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]}^T{\mathrm{\&Lambda;}}_0^{-1}\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]\\ =\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(48\right)$

步骤ⅱ、将协方差矩阵中小的特征值用一个常数β_i代替，得到：

式中，β_i是所有小特征值的平均值：

${\mathrm{\&beta;}}_i=\frac{1}{d-k}\stackrel{n=k+1}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_{\mathrm{in}},---\left(50\right)$

因此，式（10）写成：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2\\ =\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\underset{n=k+1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&beta;}}_1}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2\\ -\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\underset{n=k+1}{\overset{d}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&beta;}}_0}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(51\right)$

通过在式（13）中引入||x_ij||²，以避免

和的计算，然后得到：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{1n}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+\frac{1}{{\mathrm{\&beta;}}_1}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2)\\ -\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{1}{{\mathrm{\&lambda;}}_{0n}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2-\frac{1}{{\mathrm{\&beta;}}_0}({\left|\right|x_{\mathrm{ij}}\left|\right|}^2-\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2)\\ =(\frac{1}{{\mathrm{\&lambda;}}_{1n}}-\frac{1}{{\mathrm{\&beta;}}_1})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{1n}^T{x}_{\mathrm{ij}}\right)}^2+(\frac{1}{{\mathrm{\&beta;}}_1}-\frac{1}{{\mathrm{\&beta;}}_0}){\left|\right|x_{\mathrm{ij}}\left|\right|}^2\\ -(\frac{1}{{\mathrm{\&lambda;}}_{0n}}-\frac{1}{{\mathrm{\&beta;}}_0})\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{\left({\mathrm{\&phi;}}_{0n}^T{x}_{\mathrm{ij}}\right)}^2,\end{array}---\left(52\right)$

根据正则化技术，协方差矩阵式（9）用一个单位矩阵进行修改：

$\begin{array}{c}{\widetilde{\mathrm{\&Sigma;}}}_i=(1-\mathrm{\&gamma;}){\mathrm{\&Sigma;}}_i+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_{i}I\\ =(1-\mathrm{\&gamma;}){\mathrm{\&Phi;}}_i{\mathrm{\&Lambda;}}_i{\mathrm{\&Phi;}}_i^T+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_i{\mathrm{\&Phi;}}_i{\mathrm{\&Phi;}}_i^T\\ ={\mathrm{\&Phi;}}_i[(1-\mathrm{\&gamma;}){\mathrm{\&Lambda;}}_i+\mathrm{\&gamma;}{\mathrm{\&alpha;}}_{i}I]{\mathrm{\&Phi;}}_i^T,\end{array}---\left(53\right)$

式中，α_i=(1/d)tr(Σ_i)，参数γ的取值范围为：0<γ<1；

步骤ⅲ、将式（11）代入式（15）得到：

定义：

在式（10）中用

代替Σ_i，得到：

$\begin{array}{c}\mathrm{\&delta;}\left(x_{\mathrm{ij}}\right)=x_{\mathrm{ij}}({\widetilde{\mathrm{\&Sigma;}}}_1^{-1}-{\widetilde{\mathrm{\&Sigma;}}}_0^{-1})x_{\mathrm{ij}}^T\\ =x_{\mathrm{ij}}({\mathrm{\&Phi;}}_1{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}{\mathrm{\&Phi;}}_1^T-{\mathrm{\&Phi;}}_0{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}{\mathrm{\&Phi;}}_0^T)x_{\mathrm{ij}}^T\\ ={\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_1^{-1}\left[{\mathrm{\&Phi;}}_1^T{x}_{\mathrm{ij}}\right]-{\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right]}^T{\widetilde{\mathrm{\&Lambda;}}}_0^{-1}\left[{\mathrm{\&Phi;}}_0^T{x}_{\mathrm{ij}}\right],\end{array}---\left(56\right)$

将（17）代入（18）得到：

式（19）是对于给定的查询目标x_i，直接根据δ(x_ij)得出的排名参考图像x_j进行匹配或者检索。

Images