CN107330416B - 一种基于判别结构测度学习的行人再识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于判别结构测度学习的行人再识别方法，该方法包括：将每幅训练图像划分为K个子区域并提取特征；对相似行人图像对的对应子区域学习得到类内子区域度量；对相似行人图像对的非对应子区域学习得到弱类外子区域度量；对非相似行人图像对的对应和非对应子区域学习得到类外子区域度量；基于三种度量得到映射矩阵H；计算两幅行人图像对应子区域的马氏距离；训练得到子区域的权重；求得测试图像与每幅训练图像对应子区域间的马氏距离，进而得到该测试图像与所有训练图像的相似度得分，据此得到测试图像的行人再识别结果。本发明充分挖掘图像的结构信息和自动寻找判别性子区域，提高了行人再识别匹配的正确率。

Description

一种基于判别结构测度学习的行人再识别方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于判别结构测度学习的行人再识别方法。

背景技术

随着人们对社会公共安全的日益关注以及视频采集技术和大规模数据存储技术的发展，大量的监控摄像头应用在商场、公园、学校、医院、公司、体育场馆、大型广场、地铁站等人群密集易发生公共安全事件的场所。人工已难以应对海量增长的监控视频，因此利用计算机对监控视频中的行人等进行再识别(Re-identification)的需求应运而生。行人再识别技术是监控视频分析和理解过程中的一个十分重要的研究点，在智能视频监控、行人分析、图像检索、体感游戏和多媒体检索等领域都具有非常大的应用价值。经过不同机构和研究者们的努力，行人再识别的性能得到了重大的改善，并使得它能更加适用于真实监控场景。但是，由于人体姿态多样性、摄像机视角变化、光照变化和复杂背景等因素的存在，人体的表观信息往往发生巨大的变化，这导致了较大的类内差异，从而给开发高效、鲁棒和可用的行人再识别算法带来了巨大的挑战。

近几年行人再识别被广泛研究，行人再识别的两个基本问题是特征表示和测度学习。对于特征表示，几种有效的特征表示已经被提出，比如，局部特征集合(Ensemble ofLocal Features，ELF)、费舍尔向量特征(Fisher Vectors，LDFV)、局部最大共生特征(Local Maximal Occurrence，LOMO)等。对于测度学习，大量行人再识别的方法被提出，并取得了较大的进步。其中，Dikmen等人提出了大幅度最近邻与排斥的度量方法(LargeMargin Nearest Neighbor with Rejection，LMNN-R)，它可以通过设置某一阈值更好的处理行人图像的视角变化。Koestinger等人介绍了KISSME方法，它学习了基于统计推断观点的等价约束距离度量。Liao等人提出了一种交叉视角的二次性判别分析度量方法，这种方法同时学习了判别性子空间与距离度量函数。Zheng等人提出了一种度量方法称为概率相对距离比较算法，这种方法最大化一对正确匹配的图像之间的距离比一对错误配对图像的距离小的概率。进一步地，Zhao等人提出在子区域(图形块)的水平上匹配两幅图，这种方法考虑到行人图像的结构信息，提高了行人图像匹配的正确率。Wang等人提出了建立外观模型来计算图像区域之间的相似性。Chen等人利用两幅行人图像相对应的子区域学习距离函数，进一步考虑了图像的结构信息。虽然以上方法取得了较大的成功，但是一些度量方法将行人图片作为一个整体来测量两幅图像的相似度，忽略了行人的局部表现，还有一些度量方法没有充分挖掘行人的结构信息，结构信息被证实对视角和姿态变化具有鲁棒性，这会使行人再识别匹配的正确率下降。

发明内容

本发明的目的是要解决行人结构信息对行人再识别结果影响较大的技术问题，为此，本发明提供一种基于判别结构测度学习的行人再识别方法。

为了实现所述目的，本发明提出的一种基于判别结构测度学习的行人再识别方法包括以下步骤：

步骤S1，将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征；

步骤S2，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的对应子区域进行学习，得到类内子区域度量M_I；

步骤S3，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的非对应子区域进行学习，得到弱类外子区域度量∑_W；

步骤S4，对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习，得到类外子区域度量∑_E；

步骤S5，基于类内子区域度量M_I、弱类外子区域度量∑_W和类外子区域度量∑_E，学习得到映射矩阵H；

步骤S6，利用映射矩阵H，计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离；

步骤S7，训练得到每幅行人再识别训练图像中K个子区域的权重，并据此得到判别性子区域，结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分；

步骤S8，根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离，进而得到该测试图像与所有训练图像的相似度得分，据此得到测试图像的行人再识别结果。

可选地，所述步骤S1包括：

步骤S11，将每幅行人再识别训练图像划分为K个子区域；

步骤S12，为每个子区域提取特征。

可选地，所述步骤S12中，为每个子区域提取局部最大共生特征。

可选地，所述类内子区域度量M_I表示为：

其中，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jk表示第j个行人图像的第k个子区域的特征向量，v_ij＝1表示约束第i幅和第j幅行人图像应属于相似行人图像对。

可选地，所述弱类外子区域度量∑_W表示为：

其中，k和g表示行人图像的第k个和第g个子区域，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jg表示第j个行人图像的第k个子区域的特征向量，k≠g表示两幅图像的非对应子区域。

可选地，所述类外子区域度量∑_E表示为：

其中，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jg表示第j个行人图像的第k个子区域的特征向量，v_ij＝0表示第i幅和第j幅行人图像属于非相似行人图像对。

可选地，所述步骤S5包括以下步骤：

步骤S51，利用类内子区域度量M_I、弱类外子区域度量∑_W及类外子区域度量∑_E对于瑞利熵公式进行变换，变换后的瑞利熵公式表示为：

其中，H为映射矩阵，λ为控制弱类外子区域度量影响程度的系数；

步骤S52，利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H。

可选地，所述步骤S6中两幅行人图像对应子区域的马氏距离d_k表示为：

d_k＝(p′_ik-q′_jk)^TA(p′_ik-q′_jk)，

其中，p′_ik＝H^Tp_ik，q′_jk＝H^Tq_jk，为在低维空间学习得到的半正定矩阵，其中，M′_I＝H^TM_IH，Σ′_E＝H^TΣ_EH，Σ′_W＝H^TΣ_WH。

可选地，所述步骤S7包括以下步骤：

步骤S71，在行人再识别训练图像中，取相似行人图像对的对应子区域提取得到的特征作为正样本，取非相似行人图像对的对应子区域提取得到的特征作为负样本，将正负样本送入分类器中，得到分类器系数ω＝(ω₁,ω₂，...ω_k，...ω_K)；

步骤S72，对分类器系数进行归一化处理，得到

步骤S73，取归一化处理后的系数的前l个最大值，将剩余系数置为0，将l个最大值作为对应子区域的权重，将l个最大值对应的子区域作为判别性子区域；

步骤S74，将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分，对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。

可选地，两幅图像的相似度得分可表示为：

其中，d(p_i,q_j)表示第i幅图像和第j幅图像的相似度得分，为每幅行人图像第k个子区域的权重。

本发明的有益效果为：本发明通过局部学习的方式，利用三种度量方法学习映射矩阵得到度量函数并且提出了一种结合方法，用于结合图像中判别性子区域的局部相似度得分，得到两幅图像整体的相似度得分，达到充分挖掘图像的结构信息和自动寻找判别性子区域的目的，从而提高行人再识别匹配的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61401310、No.61401309，天津市自然科学基金重点项目No.17JCZDJC30600，天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700，模式识别国家重点实验室开放课题基金No.201700001的资助。

附图说明

图1是根据本发明一实施例的一种基于判别结构测度学习的行人再识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于判别结构测度学习的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明一种基于判别结构测度学习的行人再识别方法包括以下步骤：

步骤S1，将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征；

其中，所述步骤S1包括以下步骤：

步骤S11，将每幅行人再识别训练图像划分为K个子区域，在本发明一实施例中，所述K个子区域为K个水平条；

步骤S12，为每个子区域提取特征，在本发明一实施例中，所提取的特征为局部最大共生特征(Local Maximal Occurrence，LOMO)，在实际应用中，也可提取其他特征，具体可根据实际应用的需要进行选择。

步骤S2，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的对应子区域进行学习，得到类内子区域度量M_I；

其中，所述类内子区域度量M_I表示为：

s.t.v_ij＝1

其中，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jk表示第j个行人图像的第k个子区域的特征向量，v_ij＝1表示约束第i幅和第j幅行人图像应属于相似行人图像对。

在本发明一实施例中，所述相似行人图像对表示同一个行人不同角度的两幅图像。

步骤S3，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的非对应子区域进行学习，得到弱类外子区域度量∑_W；

其中，所述弱类外子区域度量∑_W表示为：

s.t.v_ij＝1,k≠g

其中，k和g表示行人图像的第k个和第g个子区域，q_jg表示第j个行人图像的第k个子区域的特征向量，k≠g表示两幅图像的非对应子区域。

步骤S4，对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习，得到类外子区域度量∑_E；

其中，所述类外子区域度量∑_E表示为：

s.t.v_ij＝0

其中，v_ij＝0表示第i幅和第j幅行人图像属于非相似行人图像对。

在本发明一实施例中，所述非相似行人图像对表示不同行人在不同视角下的两幅图像。

步骤S5，基于类内子区域度量M_I、弱类外子区域度量∑_W和类外子区域度量∑_E，学习得到映射矩阵H；

其中，所述步骤S5包括以下步骤：

步骤S51，利用类内子区域度量M_I、弱类外子区域度量∑_W及类外子区域度量∑_E对于瑞利熵公式进行变换；

步骤S52，利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H。

进一步地，所述步骤S51中，变换后的瑞利熵公式表示为：

其中，H为映射矩阵，λ为控制弱类外子区域度量影响程度的系数。

在本发明一实施例中，λ的取值为0.02～0.18，比如λ＝0.12。

进一步地，所述步骤S52中，最优化映射矩阵H需要首先求解的特征值及所对应的特征向量，然后取前r个最大特征值对应的特征向量H＝(H₁,H₂...H_r)作为所求映射矩阵H。

步骤S6，利用映射矩阵H，计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离；

其中，两幅行人图像对应子区域的马氏距离d_k表示为：

d_k＝(p′_ik-q′_jk)^TA(p′_ik-q′_jk)

其中，p′_ik＝H^Tp_ik，q′_jk＝H^Tq_jk，为在低维空间学习得到的半正定矩阵，其中，M′_I＝H^TM_IH，Σ′_E＝H^TΣ_EH以及Σ′_W＝H^TΣ_WH。

步骤S7，训练得到每幅行人再识别训练图像中K个子区域的权重，并据此得到判别性子区域，结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分；

其中，所述步骤S7包括以下步骤：

步骤S71，在行人再识别训练图像中，取相似行人图像对的对应子区域提取得到的特征作为正样本，取非相似行人图像对的对应子区域提取得到的特征作为负样本，将正负样本送入分类器中，比如SVM分类器，得到分类器系数ω＝(ω₁,ω₂，...ω_k，...ω_K)；

步骤S72，对分类器系数进行归一化处理，得到

步骤S73，取归一化处理后的系数的前l个最大值，将剩余系数置为0，将l个最大值作为对应子区域的权重，将l个最大值对应的子区域作为判别性子区域；

在本发明一实施例中，l＝90％K，实验证明，l＝90％K左右时取得的识别效果最好，其中，K为每幅图像划分得到的子区域的个数。

步骤S74，将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分，对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。

进一步地，两幅图像的相似度得分可表示为：

其中，d(p_i,q_j)表示第i幅图像和第j幅图像的相似度得分，为每幅行人图像第k个子区域的权重。

步骤S8，在测试阶段，根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离，进而得到该测试图像与所有训练图像的相似度得分，得分最高的两幅图像被认为是相似行人图像对，据此得到测试图像的行人再识别结果。

该步骤中，每幅图像子区域的权重已在训练阶段得到，在测试阶段，求得测试图像与每幅训练图像对应子区域间的马氏距离后，就可以得到测试图像与所有训练图像的相似度得分。

以网上公开的行人再识别数据库作为测试对象，比如在VIPeR数据库上，当λ＝0.1，l＝90％K时，行人再识别匹配的正确率分别为44.02％(rank 1)，85.40％(rank 10)，和92.83％(rank 20)。由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种基于判别结构测度学习的行人再识别方法，其特征在于，所述方法包括：

步骤S1，将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征；

步骤S2，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的对应子区域进行学习，得到类内子区域度量M_I，其中，所述相似行人图像对表示同一个行人不同角度的两幅图像；

步骤S3，基于每个子区域的特征，对行人再识别训练图像中相似行人图像对的非对应子区域进行学习，得到弱类外子区域度量∑_W；

步骤S4，对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习，得到类外子区域度量∑_E，其中，所述非相似行人图像对表示不同行人在不同视角下的两幅图像；

步骤S5，基于类内子区域度量M_I、弱类外子区域度量∑_W和类外子区域度量∑_E，学习得到映射矩阵H；

步骤S6，利用映射矩阵H，计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离；

步骤S7，训练得到每幅行人再识别训练图像中K个子区域的权重，并据此得到判别性子区域，结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分；

步骤S8，根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离，进而得到该测试图像与所有训练图像的相似度得分，据此得到测试图像的行人再识别结果；

其中，所述步骤S5包括以下步骤：

步骤S51，利用类内子区域度量M_I、弱类外子区域度量∑_W及类外子区域度量∑_E对于瑞利熵公式进行变换，变换后的瑞利熵公式表示为：

其中，H为映射矩阵，λ为控制弱类外子区域度量影响程度的系数；

步骤S52，利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H；

所述步骤S6中两幅行人图像对应子区域的马氏距离d_k表示为：

d_k＝(p′_ik-q′_jk)^TA(p′_ik-q′_jk)，

其中，p′_ik＝H^Tp_ik，q′_jk＝H^Tq_jk，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jk表示第j个行人图像的第k个子区域的特征向量，为在低维空间学习得到的半正定矩阵，其中，M′_I＝H^TM_IH，Σ′_E＝H^TΣ_EH，Σ′_W＝H^TΣ_WH。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，为每个子区域提取局部最大共生特征。

3.根据权利要求1所述的方法，其特征在于，所述类内子区域度量M_I表示为：

其中，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jk表示第j个行人图像的第k个子区域的特征向量，v_ij＝1表示约束第i幅和第j幅行人图像应属于相似行人图像对。

4.根据权利要求1所述的方法，其特征在于，所述弱类外子区域度量∑_W表示为：

其中，k和g表示行人图像的第k个和第g个子区域，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jg表示第j个行人图像的第g个子区域的特征向量，v_ij＝1表示约束第i幅和第j幅行人图像应属于相似行人图像对，k≠g表示两幅图像的非对应子区域。

5.根据权利要求1所述的方法，其特征在于，所述类外子区域度量∑_E表示为：

其中，p_ik表示第i个行人图像的第k个子区域的特征向量，q_jg表示第j个行人图像的第g个子区域的特征向量，v_ij＝0表示第i幅和第j幅行人图像属于非相似行人图像对。

6.根据权利要求1所述的方法，其特征在于，所述步骤S7包括以下步骤：

步骤S71，在行人再识别训练图像中，取相似行人图像对的对应子区域提取得到的特征作为正样本，取非相似行人图像对的对应子区域提取得到的特征作为负样本，将正负样本送入分类器中，得到分类器系数ω＝(ω₁,ω₂，...ω_k，...ω_K)；

步骤S72，对分类器系数进行归一化处理，得到

步骤S73，取归一化处理后的系数的前w个最大值，将剩余系数置为0，将w个最大值作为对应子区域的权重，将w个最大值对应的子区域作为判别性子区域；

步骤S74，将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分，对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。

7.根据权利要求6所述的方法，其特征在于，两幅图像的相似度得分可表示为：

其中，d(p_i,q_j)表示第i幅图像和第j幅图像的相似度得分，为每幅行人图像第k个子区域的权重，d_k(p_ik,q_jk)表示第i个行人图像的第k个子区域的特征向量和第j个行人图像的第k个子区域的特征向量的相似度得分。