CN107563344A - 一种基于语义区域测度学习的行人再识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于语义区域测度学习的行人再识别方法，该方法包括：将两个视角下每幅训练图像划分为K个子区域并提取特征；基于不同子区域的关系定义三种子区域对；确定三类子区域样本及对应标签；学习并求解映射矩阵M；计算不同视角下两幅行人图像子区域对之间的距离；为每个子区域寻找最佳匹配子区域，作为该子区域的最佳相似度得分；将所有子区域最佳相似度得分之和作为两幅行人图像的相似度得分；求得两个视角下任意两幅测试图像的相似度得分，相似度得分最高的两幅测试图像被认为是相似行人图像对。本发明充分挖掘图像的语义信息并且利用语义约束匹配为每个子区域寻找最佳匹配，提高了行人再识别匹配的正确率。

Description

一种基于语义区域测度学习的行人再识别方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于语义区域测度学习的行人再识别方法。

背景技术

行人再识别(Person Re-identification)是近几年智能视频分析领域兴起的一项新技术，主要用于公共安全视频监控中的人像识别，处理海量增长的视频监控。行人再识别能够实现无重叠系统的多摄像头视角下行人的匹配，即一个行人从一个摄像机下消失后，当其再次出现在其它摄像机下时能够将其与之前摄像机下的该行人重新建立关联。行人再识别在人机交互、安保、监控、法庭、取证等领域有着广泛的应用，如单摄像头目标跟踪、机场和购物广场中实现跨摄像头顾客跟踪、对于警方锁定的某个监控摄像头下的犯罪嫌疑人，在该犯罪嫌疑人可能经过的其他摄像头视角下实现对该目标的识别等。鉴于不同视频监控下环境的复杂性，比如，人体姿态、摄像机视角、光照、背景的变化，遮挡、错位以及分辨率低下等因素，研究者们一直致力于开发高效、鲁棒的行人再识别算法用于提高行人再识别的准确率。

近几年行人再识别被广泛研究，度量学习作为行人再识别关键的一步对于提高行人再识别的准确率起着关键的作用。对于度量学习，大量行人再识别的方法被提出，并取得了较大的进步。其中，Zheng等人提出了一种度量方法称为概率相对距离比较算法(Probabilistic Relative Distance Comparison PRDC)，这种方法最大化一对正确匹配的图像之间的距离比一对错误配对图像的距离小的概率。Prosser等人把行人再识别的问题作为一个相对排序问题，并利用集成排序支持向量机(Rank SVMs)学习等级相似度分数。Liao等人提出了一种交叉视角的二次性判别分析度量方法，这种方法同时学习了判别性子空间与距离度量函数。进一步地，Li等人提出了局部自适应决策函数的学习，它可以被看作是距离度量和局部适应阈值规则的联合模型，这种方法考虑了行人图像的语义信息。Zhao等人提出在子区域(图形块)的水平上匹配两幅图，进一步考虑到行人图像的语义信息，提高了行人图像匹配的正确率。虽然以上方法取得了较大的成功，但是一些度量方法将行人图像作为一个整体来测量两幅图像的相似度，忽略了行人的局部表现，还有一些度量方法没有充分挖掘行人图像的语义信息，语义信息被证实能够反映行人图像的空间结构以及身体的不同部位，对视角和姿态变化具有鲁棒性，这会使行人再识别匹配的正确率下降。

发明内容

本发明的目的是提供一种基于语义区域测度学习的行人再识别方法，以解决行人语义信息对行人再识别结果影响较大的技术问题。

为了实现所述目的，本发明提出的一种基于语义区域测度学习的行人再识别方法包括以下步骤：

步骤S1，将行人再识别两个视角下的每幅训练图像划分为K个子区域并为每个子区域提取特征；

步骤S2，基于两个视角下两幅训练图像不同子区域之间的关系得到三种子区域对类型；

步骤S3，基于每个子区域的特征向量和映射矩阵M计算得到三种子区域对特征向量之间的差异，并将其作为三类子区域样本并赋予三类子区域样本对应的标签；

步骤S4，基于三类子区域样本及对应的标签，学习映射矩阵M并利用优化算法求解映射矩阵M；

步骤S5，利用映射矩阵M，计算不同视角下两幅行人图像子区域对之间的距离；

步骤S6，基于子区域间的距离，为每个子区域在与之对应的子区域和与之对应的子区域的邻近子区域中寻找最佳匹配子区域，将每个子区域与其最佳匹配子区域之间的距离作为该子区域的最佳相似度得分；

步骤S7，将两个视角下两幅行人图像所有子区域的最佳相似度得分之和作为两幅行人图像的相似度得分；

步骤S8，在测试阶段，根据步骤S1-S7求得两个视角下任意两幅测试图像的相似度得分，相似度得分最高的两幅测试图像被认为是相似行人图像对，据此得到测试图像的行人再识别结果。

可选地，所述步骤S1中为每个子区域提取的特征为局部最大共生特征。

可选地，所述三种子区域对类型包括类内子区域对、弱类内子区域对和类外子区域对。

可选地，所述步骤S2包括以下步骤：

步骤S21，将不同视角的同一行人的两幅训练图像的对应子区域定义为类内子区域对；

步骤S22，将不同视角的同一行人的两幅训练图像的上下邻近m个非对应子区域定义为弱类内子区域对；

步骤S23，将不同视角的不同行人的两幅训练图像的对应子区域和非对应子区域定义为类外子区域对。

可选地，所述步骤S3包括以下步骤：

步骤S31，计算类内子区域对的特征向量在映射空间上的差异，并将其作为正子区域样本，其中，类内子区域对的特征向量在映射空间上的差异ΔI表示为：

其中，和表示任一类内子区域对的特征向量，M为映射矩阵；

步骤S32，计算弱类内子区域对特征向量在映射空间上的差异，并将其作为弱正子区域样本，其中，弱类内子区域对特征向量在映射空间上的差异ΔW表示为：

其中，和表示任一弱类内子区域对的特征向量；

步骤S33，计算类外子区域对特征向量在映射空间上的差异，并将其作为负子区域样本，其中，类外子区域对特征向量在映射空间上的差异ΔE表示为：

其中，和表示任一类外子区域对的特征向量。

可选地，所述步骤S4包括以下步骤：

步骤S41，确定最大化互信息目标函数Φ(M)；

步骤S42，基于所述最大化互信息目标函数Φ(M)，利用贪婪轴旋转法得到映射矩阵M。

可选地，所述步骤S41包括以下步骤：

步骤S411，确定最大化互信息目标函数Φ(M)，所述最大化互信息目标函数Φ(M)表示为：

其中，I(﹒)是互信息，表示两个随机变量的依赖程度；v_k是一个集合，v_k∈{ΔI,ΔE}，l_v∈{1,-1}；e_k也是一个集合，e_k∈{ΔW,ΔE}，l_e∈{2,-1}；ε为平衡两种互信息的系数；

步骤S412,根据熵的链式法则，将所述最大化互信息目标函数公式Φ(M)的第一项I(v_k；l_v)表示为：

其中，H(v_k)即H(ΔI,ΔE)表示正子区域样本ΔI和负子区域样本ΔE的联合熵，H(v_k|l_v)表示所有正、负子区域样本的条件熵，P(l_v＝1)H(ΔI)表示正子区域样本ΔI的边缘熵，P(l_v＝-1)H(ΔE)表示负子区域样本ΔE的边缘熵；

步骤S413，假设正、负子区域样本服从高斯分布，利用正、负子区域样本估计H(v_k)表示为：

其中，r表示子区域的特征向量投射在映射空间的维数，det表示求取矩阵的行列式，表示所有正、负子区域样本的协方差矩阵；

步骤S414，根据对H(v_k)的估计，互信息I(v_k；l_v)可由正、负子区域样本协方差的行列式表示为：

其中，和分别表示正、负子区域样本的协方差矩阵，μ₁和ρ分别表示正、负子区域样本的先验概率；

步骤S415，类似的，将所述最大化互信息目标函数Φ(M)的第二项I(e_k；l_e)表示为：

其中，Σ_le表示所有弱正子区域样本和负子区域样本的协方差矩阵，表示弱正子区域样本的协方差矩阵，μ₂表示弱正子区域样本的先验概率；

步骤S416，将最大化互信息目标函数Φ(M)表示为：

可选地，所述步骤S42包括以下步骤：

步骤S421，在t-1次迭代时，用M(t-1)估计M(t)，找到一个矩阵Y(t)∈SO(d)，其中，SO(d)是d维特殊正交群，使得在第t次迭代时M(t)表示为：

M(t)＝Y(t)M(t-1)，

其中，矩阵Y(t)用于寻找映射矩阵M优化迭代时的旋转方向；

步骤S422，根据李代数(Lie algebra)，将映射矩阵M的最佳旋转方向表示为：

其中，2≤p≤d,p+1≤q≤d,β是步长，γ是搜索最优旋转方向的步数，B_p,q是一个只有第p行第q列的元素为1，其它元素均为0的矩阵，B_q,p是一个只有第q行第p列的元素为1，其它元素均为0的矩阵，ΔΦ_p,q＝[Φ(Y_p,qM(t-1))-Φ(M(t-1))]/α，α是一个很小的正数，Y_p,q＝exp(α(B_p,q-B_q,p))；

步骤S423，迭代找到满足下式的最优步数γ^*：

将矩阵Y(t)表示为：

得到第t次迭代时的M(t)，即映射矩阵M：

M(t)＝Y(t)M(t-1)。

可选地，所述步骤S5中，利用映射矩阵M计算得到的不同视角下两幅行人图像子区域对之间的距离可表示为：

d_k(x_k,z_k)＝(x_k-z_k)^TA(x_k-z_k)，

其中，x_k和z_k表示行人图像对的第k个子区域的特征向量，A＝MM^T是一个半正定矩阵。

可选地，所述步骤S6中，一幅图像第k个子区域与其最佳匹配子区域之间的距离，即该子区域的最佳相似度得分表示为：

其中，R(k)＝{k-c,...k,...,k+c}，其中，k-c≥0,k+c≤K，c表示寻找最佳匹配子区域时的搜索范围。

本发明的有益效果为：本发明通过局部学习的方式，在互信息的框架下利用三种子区域样本学习映射矩阵，并利用贪婪轴旋转算法优化得到判别性映射矩阵。在子区域融合过程中，利用语义约束匹配处理由于视角和姿态变化引起的行人图像的错位问题。达到充分挖掘图像的语义信息和为每一个子区域寻找最佳匹配的目的，从而提高行人再识别匹配的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61401310、No.61401309，天津市自然科学基金重点项目No.17JCZDJC30600，天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700，模式识别国家重点实验室开放课题基金No.201700001的资助。

附图说明

图1是根据本发明一实施例的一种基于语义区域测度学习的行人再识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于语义区域测度学习的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。如图1所示，本发明一种基于语义区域测度学习的行人再识别方法包括以下步骤：

步骤S1，将行人再识别两个视角下的每幅训练图像划分为K个子区域并为每个子区域提取特征；

其中，所述步骤S1包括以下步骤：

步骤S11，将行人再识别两个视角下的每幅训练图像划分为K个子区域；

步骤S12，为每个子区域提取特征。

在本发明一实施例中，为每个子区域提取的特征为局部最大共生特征(LocalMaximal Occurrence,LOMO)，所述特征的维数为d。

步骤S2，基于两个视角下两幅训练图像不同子区域之间的关系得到三种子区域对类型；

在本发明一实施例中，所述三种子区域对类型包括类内子区域对、弱类内子区域对和类外子区域对三种子区域对类型，下文以上述三种子区域对类型为例对于本发明技术方案进行说明。

其中，所述步骤S2包括以下步骤：

步骤S21，将不同视角的同一行人的两幅训练图像的对应子区域定义为类内子区域对；

步骤S22，将不同视角的同一行人的两幅训练图像的上下邻近m个非对应子区域定义为弱类内子区域对；

步骤S23，将不同视角的不同行人的两幅训练图像的对应子区域和非对应子区域定义为类外子区域对。

步骤S3，基于每个子区域的特征向量和映射矩阵M计算得到三种子区域对特征向量之间的差异，并将其作为三类子区域样本并赋予三类子区域样本对应的标签；

其中，所述步骤S3包括以下步骤：

步骤S31，计算类内子区域对的特征向量在映射空间上的差异，并将其作为正子区域样本，其中，类内子区域对的特征向量在映射空间上的差异ΔI表示为：

其中，和表示任一类内子区域对的特征向量，M为映射矩阵。

在本发明一实施例中，可将正子区域样本的标签设为1，表示为l_I＝1。

步骤S32，计算弱类内子区域对特征向量在映射空间上的差异，并将其作为弱正子区域样本，其中，弱类内子区域对特征向量在映射空间上的差异ΔW表示为：

其中，和表示任一弱类内子区域对的特征向量。

在本发明一实施例中，可将弱正子区域样本的标签设为2，表示为l_W＝2。

步骤S33，计算类外子区域对特征向量在映射空间上的差异，并将其作为负子区域样本，其中，类外子区域对特征向量在映射空间上的差异ΔE表示为：

其中，和表示任一类外子区域对的特征向量。

在本发明一实施例中，可将负子区域样本的标签设为-1，表示为l_E＝-1。

步骤S4，基于三类子区域样本及对应的标签，学习映射矩阵M并利用优化算法求解映射矩阵M；

在本发明一实施例中，通过最大化互信息学习映射矩阵M。

其中，所述步骤S4包括以下步骤：

步骤S41，确定最大化互信息目标函数Φ(M)；

其中，所述步骤S41包括以下步骤：

步骤S411，确定最大化互信息目标函数Φ(M)，所述最大化互信息目标函数Φ(M)表示为：

其中，I(﹒)是互信息，表示两个随机变量的依赖程度；v_k是一个集合，v_k∈{ΔI,ΔE}，l_v∈{l_I,l_E}即l_v∈{1,-1}；e_k也是一个集合，e_k∈{ΔW,ΔE，}l_e∈{l_W,l_E}即l_e∈{2,-1}；ε为平衡两种互信息的系数。

步骤S412,根据熵的链式法则，将所述最大化互信息目标函数公式Φ(M)的第一项I(v_k；l_v)表示为：

其中，H(v_k)即H(ΔI,ΔE)表示正子区域样本ΔI和负子区域样本ΔE的联合熵，H(v_k|l_v)表示所有正、负子区域样本的条件熵，P(l_v＝1)H(ΔI)表示正子区域样本ΔI的边缘熵，P(l_v＝-1)H(ΔE)表示负子区域样本ΔE的边缘熵。

步骤S413，假设正、负子区域样本服从高斯分布，利用正、负子区域样本估计H(v_k)表示为：

其中，r表示子区域的特征向量投射在映射空间的维数，det表示求取矩阵的行列式，表示所有正、负子区域样本的协方差矩阵。

步骤S414，根据对H(v_k)的估计，互信息I(v_k；l_v)可由正、负子区域样本协方差的行列式表示为：

其中，和分别表示正、负子区域样本的协方差矩阵，μ₁和ρ分别表示正、负子区域样本的先验概率。

步骤S415，类似的，将所述最大化互信息目标函数Φ(M)的第二项I(e_k；l_e)表示为：

其中，Σ_le表示所有弱正子区域样本和负子区域样本的协方差矩阵，表示弱正子区域样本的协方差矩阵，μ₂表示弱正子区域样本的先验概率。

步骤S416，根据步骤S411-S415，通过三种子区域样本的协方差矩阵最大化互信息来学习映射矩阵M，其中，所述最大化互信息目标函数Φ(M)可表示为：

在本发明一实施例中，ε的取值范围为0.05～0.20，比如ε＝0.1；为了防止由于负子区域样本远远大于正子区域样本和弱正子区域样本引起的过拟合风险，可设置μ₁＝μ₂＝ρ＝1/2。

步骤S42，基于所述最大化互信息目标函数Φ(M)，利用贪婪轴旋转法(greedyaxis-rotating approach)得到映射矩阵M。

其中，所述步骤S42包括以下步骤：

步骤S421,在t-1次迭代时，用M(t-1)估计M(t)，找到一个矩阵Y(t)∈SO(d)，其中,SO(d)是d维特殊正交群，使得在第t次迭代时M(t)表示为：

M(t)＝Y(t)M(t-1)，

其中，矩阵Y(t)用于寻找映射矩阵M优化迭代时的旋转方向。

步骤S422,根据李代数(Lie algebra),将映射矩阵M的最佳旋转方向表示为：

其中,2≤p≤d,p+1≤q≤d,β是步长，γ是搜索最优旋转方向的步数，B_p,q是一个只有第p行第q列的元素为1，其它元素均为0的矩阵，B_q,p是一个只有第q行第p列的元素为1，其它元素均为0的矩阵；

ΔΦ_p,q＝[Φ(Y_p,qM(t-1))-Φ(M(t-1))]/α，

α是一个很小的正数；

Y_p,q＝exp(α(B_p,q-B_q,p))。

步骤S423，迭代找到满足下式的最优步数γ^*：

将矩阵Y(t)表示为：

得到第t次迭代时的M(t)：

M(t)＝Y(t)M(t-1)。

在本发明一实施例中，由于对SO(d)做了一系列的旋转操作，所以最终求得的M(t)也就是待求取的映射矩阵M，其满足M^TM＝I，为一正交矩阵。

步骤S5，利用映射矩阵M，计算不同视角下两幅行人图像子区域对之间的距离；

其中，利用映射矩阵M计算得到的不同视角下两幅行人图像子区域对之间的距离可表示为：

d_k(x_k,z_k)＝(x_k-z_k)^TA(x_k-z_k)，

其中，x_k和z_k表示行人图像对的第k个子区域的特征向量，A＝MM^T是一个半正定矩阵，M∈R^d×r(r≤d)满足M^TM＝I，r表示表示子区域的特征向量投射在映射空间的维数。

其中，M∈R^d×r(r≤d)满足M^TM＝I是为了防止无意义的解。

步骤S6，基于子区域间的距离，为每个子区域在与之对应的子区域和与之对应的子区域的邻近子区域中寻找最佳匹配子区域，将每个子区域与其最佳匹配子区域之间的距离作为该子区域的最佳相似度得分；

其中，一幅图像第k个子区域与其最佳匹配子区域之间的距离，即该子区域的最佳相似度得分表示为：

其中，R(k)＝{k-c,...k,...,k+c}(k-c≥0,k+c≤K)，c表示寻找最佳匹配子区域时的搜索范围。

在本发明一实施例中，c的取值范围为0～4，比如c＝1。注：不同视角下的两幅图像的距离越小，其相似度得分越大。

步骤S7，将两个视角下两幅行人图像所有子区域的最佳相似度得分之和作为两幅行人图像的相似度得分；

其中，两个视角下的两幅行人图像的相似度度得分可表示为：

步骤S8，在测试阶段，根据步骤S1-S7求得两个视角下任意两幅测试图像的相似度得分，相似度得分最高的两幅测试图像被认为是相似行人图像对，据此得到测试图像的行人再识别结果。

以网上公开的行人再识别数据库作为测试对象，比如在VIPeR数据库上，当ε＝0.1，c＝2时，行人再识别匹配的正确率分别为44.12％(rank 1)，84.79％(rank 10)，和93.23％(rank 20)。由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于语义区域测度学习的行人再识别方法，其特征在于，所述方法包括：

步骤S1，将行人再识别两个视角下的每幅训练图像划分为K个子区域并为每个子区域提取特征；

步骤S2，基于两个视角下两幅训练图像不同子区域之间的关系得到三种子区域对类型；

步骤S3，基于每个子区域的特征向量和映射矩阵M计算得到三种子区域对特征向量之间的差异，并将其作为三类子区域样本并赋予三类子区域样本对应的标签；

步骤S4，基于三类子区域样本及对应的标签，学习映射矩阵M并利用优化算法求解映射矩阵M；

步骤S5，利用映射矩阵M，计算不同视角下两幅行人图像子区域对之间的距离；

步骤S6，基于子区域间的距离，为每个子区域在与之对应的子区域和与之对应的子区域的邻近子区域中寻找最佳匹配子区域，将每个子区域与其最佳匹配子区域之间的距离作为该子区域的最佳相似度得分；

步骤S7，将两个视角下两幅行人图像所有子区域的最佳相似度得分之和作为两幅行人图像的相似度得分；

步骤S8，在测试阶段，根据步骤S1-S7求得两个视角下任意两幅测试图像的相似度得分，相似度得分最高的两幅测试图像被认为是相似行人图像对，据此得到测试图像的行人再识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中为每个子区域提取的特征为局部最大共生特征。

3.根据权利要求1所述的方法，其特征在于，所述三种子区域对类型包括类内子区域对、弱类内子区域对和类外子区域对。

4.根据权利要求3所述的方法，其特征在于，所述步骤S2包括以下步骤：

步骤S21，将不同视角的同一行人的两幅训练图像的对应子区域定义为类内子区域对；

步骤S22，将不同视角的同一行人的两幅训练图像的上下邻近m个非对应子区域定义为弱类内子区域对；

步骤S23，将不同视角的不同行人的两幅训练图像的对应子区域和非对应子区域定义为类外子区域对。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，计算类内子区域对的特征向量在映射空间上的差异，并将其作为正子区域样本，其中，类内子区域对的特征向量在映射空间上的差异ΔI表示为：

<mrow> <mi>&amp;Delta;</mi> <mi>I</mi> <mo>=</mo> <msup> <mi>M</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>k</mi> <mi>I</mi> </msubsup> <mo>-</mo> <msubsup> <mi>z</mi> <mi>k</mi> <mi>I</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，和表示任一类内子区域对的特征向量，M为映射矩阵；

步骤S32，计算弱类内子区域对特征向量在映射空间上的差异，并将其作为弱正子区域样本，其中，弱类内子区域对特征向量在映射空间上的差异ΔW表示为：

<mrow> <mi>&amp;Delta;</mi> <mi>W</mi> <mo>=</mo> <msup> <mi>M</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>k</mi> <mi>W</mi> </msubsup> <mo>-</mo> <msubsup> <mi>z</mi> <mi>k</mi> <mi>W</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，和表示任一弱类内子区域对的特征向量；

步骤S33，计算类外子区域对特征向量在映射空间上的差异，并将其作为负子区域样本，其中，类外子区域对特征向量在映射空间上的差异ΔE表示为：

<mrow> <mi>&amp;Delta;</mi> <mi>E</mi> <mo>=</mo> <msup> <mi>M</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>k</mi> <mi>E</mi> </msubsup> <mo>-</mo> <msubsup> <mi>z</mi> <mi>k</mi> <mi>E</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，和表示任一类外子区域对的特征向量。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，确定最大化互信息目标函数Φ(M)；

步骤S42，基于所述最大化互信息目标函数Φ(M)，利用贪婪轴旋转法得到映射矩阵M。

7.根据权利要求6所述的方法，其特征在于，所述步骤S41包括以下步骤：

步骤S411，确定最大化互信息目标函数Φ(M)，所述最大化互信息目标函数Φ(M)表示为：

<mrow> <mi>&amp;Phi;</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>M</mi> </munder> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;epsiv;</mi> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>l</mi> <mi>e</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，I(﹒)是互信息，表示两个随机变量的依赖程度；v_k是一个集合，v_k∈{ΔI,ΔE}，l_v∈{1,-1}；e_k也是一个集合，e_k∈{ΔW,ΔE}，l_e∈{2,-1}；ε为平衡两种互信息的系数；

步骤S412,根据熵的链式法则，将所述最大化互信息目标函数公式Φ(M)的第一项I(v_k；l_v)表示为：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>=</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mi>H</mi> <mrow> <mo>(</mo> <mrow> <mi>&amp;Delta;</mi> <mi>I</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>=</mo> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mi>H</mi> <mrow> <mo>(</mo> <mrow> <mi>&amp;Delta;</mi> <mi>E</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>,</mo> </mrow>

其中，H(v_k)即H(ΔI,ΔE)表示正子区域样本ΔI和负子区域样本ΔE的联合熵，H(v_k|l_v)表示所有正、负子区域样本的条件熵，P(l_v＝1)H(ΔI)表示正子区域样本ΔI的边缘熵，P(l_v＝-1)H(ΔE)表示负子区域样本ΔE的边缘熵；

步骤S413，假设正、负子区域样本服从高斯分布，利用正、负子区域样本估计H(v_k)表示为：

<mrow> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mi>ln</mi> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mi>e</mi> <mo>)</mo> </mrow> <mi>r</mi> </msup> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>v</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，r表示子区域的特征向量投射在映射空间的维数，det表示求取矩阵的行列式，表示所有正、负子区域样本的协方差矩阵；

步骤S414，根据对H(v_k)的估计，互信息I(v_k；l_v)可由正、负子区域样本协方差的行列式表示为：

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>l</mi> <mi>v</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>v</mi> </msub> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>1</mn> </msub> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>I</mi> </msub> </msub> <mo>-</mo> <mi>&amp;rho;</mi> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>E</mi> </msub> </msub> <mo>,</mo> </mrow>

其中，和分别表示正、负子区域样本的协方差矩阵，μ₁和ρ分别表示正、负子区域样本的先验概率；

步骤S415，类似的，将所述最大化互信息目标函数Φ(M)的第二项I(e_k；l_e)表示为：

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>l</mi> <mi>e</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>e</mi> </msub> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>2</mn> </msub> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>W</mi> </msub> </msub> <mo>-</mo> <mi>&amp;rho;</mi> <mi>ln</mi> <mi> </mi> <msub> <mi>det&amp;Sigma;</mi> <msub> <mi>l</mi> <mi>E</mi> </msub> </msub> <mo>,</mo> </mrow>

其中，Σ_le表示所有弱正子区域样本和负子区域样本的协方差矩阵，表示弱正子区域样本的协方差矩阵，μ₂表示弱正子区域样本的先验概率；

步骤S416，将最大化互信息目标函数Φ(M)表示为：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>&amp;Phi;</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>v</mi> </msub> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>1</mn> </msub> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>I</mi> </msub> </msub> <mo>-</mo> <mi>&amp;rho;</mi> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>E</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>-</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;epsiv;</mi> <mrow> <mo>(</mo> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>e</mi> </msub> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>2</mn> </msub> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>W</mi> </msub> </msub> <mo>-</mo> <mi>&amp;rho;</mi> <mi>ln</mi> <mi> </mi> <mi>det</mi> <msub> <mo>&amp;Sigma;</mo> <msub> <mi>l</mi> <mi>E</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>.</mo> </mrow>

8.根据权利要求6所述的方法，其特征在于，所述步骤S42包括以下步骤：

步骤S421，在t-1次迭代时，用M(t-1)估计M(t)，找到一个矩阵Y(t)∈SO(d)，其中，SO(d)是d维特殊正交群，使得在第t次迭代时M(t)表示为：

M(t)＝Y(t)M(t-1)，

其中，矩阵Y(t)用于寻找映射矩阵M优化迭代时的旋转方向；

步骤S422，根据李代数(Lie algebra)，将映射矩阵M的最佳旋转方向表示为：

<mrow> <msub> <mi>Y</mi> <mi>&amp;gamma;</mi> </msub> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mi>&amp;gamma;</mi> <mi>&amp;beta;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </munder> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <mo>(</mo> <mrow> <msub> <mi>B</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>B</mi> <mrow> <mi>q</mi> <mo>,</mo> <mi>p</mi> </mrow> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，2≤p≤d,p+1≤q≤d,β是步长，γ是搜索最优旋转方向的步数，B_p,q是一个只有第p行第q列的元素为1，其它元素均为0的矩阵，B_q,p是一个只有第q行第p列的元素为1，其它元素均为0的矩阵，ΔΦ_p,q＝[Φ(Y_p,qM(t-1))-Φ(M(t-1))]/α，α是一个很小的正数，Y_p,q＝exp(α(B_p,q-B_q,p))；

步骤S423，迭代找到满足下式的最优步数γ^*：

<mrow> <msup> <mi>&amp;gamma;</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>max</mi> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>&amp;gamma;</mi> <mo>&amp;le;</mo> <mi>&amp;Gamma;</mi> </mrow> </munder> <mi>&amp;Phi;</mi> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mi>&amp;gamma;</mi> </msub> <mi>M</mi> <mo>(</mo> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

将矩阵Y(t)表示为：

<mrow> <mi>Y</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>Y</mi> <msup> <mi>&amp;gamma;</mi> <mo>*</mo> </msup> </msub> <mo>,</mo> </mrow>

得到第t次迭代时的M(t)，即映射矩阵M：

M(t)＝Y(t)M(t-1)。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5中，利用映射矩阵M计算得到的不同视角下两幅行人图像子区域对之间的距离可表示为：

d_k(x_k,z_k)＝(x_k-z_k)^T A(x_k-z_k)，

其中，x_k和z_k表示行人图像对的第k个子区域的特征向量，A＝MM ^T是一个半正定矩阵。

10.根据权利要求1所述的方法，其特征在于，所述步骤S6中，一幅图像第k个子区域与其最佳匹配子区域之间的距离，即该子区域的最佳相似度得分表示为：

<mrow> <msub> <mover> <mi>d</mi> <mo>~</mo> </mover> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>min</mi> <mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>d</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>z</mi> <mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中，R(k)＝{k-c,...k,...,k+c}，其中，k-c≥0,k+c≤K，c表示寻找最佳匹配子区域时的搜索范围。