CN108960013B - 一种行人再识别方法及装置 - Google Patents

Abstract

本发明提供一种行人再识别方法及装置，行人再识别方法包括：基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。本发明提供的行人再识别方法，通过迭代学习得到一组稳定的联合度量空间，计算多度量空间下测试样本对的联合相似距离，克服了现有度量学习方法在高维度小样本问题中的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

Description

一种行人再识别方法及装置

技术领域

本发明涉及信息处理技术领域，更具体地，涉及一种行人再识别方法及装置。

背景技术

随着社会的进步和科技的腾飞，基于计算机视觉技术的智能监控系统在通信、交通、安防等领域得到了极大的推广应用，为预防和打击犯罪，保护公民人身和财产安全发挥着重要的作用。

近年来，随着计算机视觉应用技术的智能化、多元化、大众化发展，各种贴合生活实际的需求被提出，行人再识别问题就是其中一个重要的热点话题。行人再识别的目标是在非重叠的监控网络中，对跨视野的行人图像进行匹配。如果感兴趣的目标行人在一个摄像头的视野中消失，当其出现在另一摄像头下时，实现对目标的识别。该技术是视频监控领域的重要研究方向，在安防领域和目标行为分析领域具有广阔的应用前景，对于公共安全、社会治安有着重要的意义。

因此，行人再识别技术具有重要的研究意义和市场应用价值。行人再识别是基于目标检测跟踪技术的目标匹配方法，是目标检测跟踪技术的延伸和补充，解决非连续视野下的目标轨迹连续性问题，对于目标轨迹的完整性有非凡的意义，大大提高监控视频中犯罪嫌疑的识别追踪的效率和精度。

现有的基于监控图像的行人再识别，根据方法的不同大体可以分为三类：一类是基于表观特征模型的方法，该方法基于行人外表的色彩信息和纹理身体结构在图像中的纹理信息提出了一种综合特征，利用HSV空间下的色彩直方图以及和SILTP特征对图像进行分块描述，提取特征；另一类是基于度量学习的方法。这类方法的思想是：通过正样本对之间的距离尽可能小，负样本对之间的距离尽可能大的约束，来学习一个特征投影子空间，然后通过学习一个马氏距离在投影子空间中对样本距离进行度量。该方法大大提高了行人再识别问题的识别精度；第三类是基于深度学习方法的行人在识别方法。基于深度学习方法的行人再识别是一种端到端的识别方法。该类算法的思想是，通过两个并行的深度CNN网络结构，同时将一对图像作为输入，通过卷积结构提取特征，在全连接层，通过一个相似度量函数对两个输出特征进行连接，实现样本相似性的度量。深度学习方法在特征表达方面具有明显的优势，能够通过端到端的学习方法提取更加稳定，表达能力更强的深度特征。

然而，上述三类方法都存在一定的问题：基于表观特征模型的方法，在实际环境中，由于阴影、光照、姿态、视角以及背景的剧烈变化，使得基于色彩和纹理的手工特征难以应对行人再识别问题中行人在不同摄像头下的视觉特征变化，造成正样本类间距离变大。此外，由于人们衣着的相似性，行人再识别同时面临着正负样本类间距过小的问题。虽然经过研究工作者的努力，更加有效的新特征模型不断提出，但是依旧无法找到一种鲁棒的且具有有力分辨能力的特征，满足行人再识别的任务需求。基于度量学习的方法，受限于样本特征的不稳定性和表达能力的缺陷，算法识别率依旧有限。此外，行人再识别问题是典型的小样本问题，样本具有高维特征，上述度量学习方法具有极强的约束，导致学习得到的度量空间对训练样本过拟合，而在测试样本上表现一般。基于深度学习方法的行人在识别方法，需要大量样本，且训练时间较长，占用资源大。

发明内容

为了至少部分地克服现有技术中存在的上述问题，本发明提供一种行人再识别方法及装置。

根据本发明的一个方面，提供一种行人再识别方法，包括：

S1，基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；S2，将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

其中，在步骤S1之前还包括：对数据集中的行人编号进行随机排序，选取前k个行人的图像作为训练集，剩余图像则作为测试集；将所述测试集和训练集中的每个行人图像按照摄像头的不同进行分类，并提取两个不同摄像头场景下行人图像的特征，获得两个不同摄像头场景下的样本集。

其中，所述训练集包括正样本对和负样本对。

其中，所述度量空间通过以下步骤建立：S401，基于正样本对总体散度极小化和负样本对总体散度极大化原则，对训练集中的正、负样本对进行约束，获取第一度量空间；S402，基于所述第一度量空间，对测试集中每个测试样本对进行度量，以获取距离度量结果；S403，基于所述距离度量结果，获取伪样本集；S404，基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，获取第二度量空间；S405，将所述第一度量空间和第二度量空间组合为联合度量空间；S406，将所述联合度量空间作为所述第一度量空间迭代执行S402至S405，直至获取一组稳定的联合度量空间。

其中，所述第一度量空间包括度量子空间投影矩阵和马氏距离度量矩阵。

其中，所述度量子空间投影矩阵通过以下方式获得：

W＝(w₁,w₂,...,w_m)

其中，S_w表示训练集中正样本散度，S_b表示训练集中负样本散度，W为度量子空间投影矩阵。

其中，所述马氏距离度量矩阵通过以下方式获得：

H＝(W^T∑_pW)^-1-(W^T∑_nW)^-1

其中，H为马氏距离度量矩阵，∑_p是正样本对总体的协方差，∑_n是负样本对总体的协方差，W为度量子空间投影矩阵。

其中，所述步骤S404包括：基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，建立联合Fisher判别准则，获取第二度量空间；其中，所述联合Fisher判别准则具体为：

其中，S_w，S_b分别表示训练集中正、负样本散度，w₀为根据训练集中正、负样本对获得的度量子空间投影矩阵，w₁,...,w_m为根据伪样本集获得的度量子空间投影矩阵。

其中，在步骤S2之后还包括：根据所述距离度量矩阵计算累积精度。

本发明的另一方面提供一种行人再识别装置，包括：度量模块，用于基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；处理模块，用于将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

综上，本发明提供的一种行人再识别方法及装置，通过迭代学习得到一组稳定的联合度量空间，计算多度量空间下的测试样本对的联合相似距离，能够有效抑制现有度量学习方法的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

附图说明

图1为根据本发明实施例的一种行人再识别方法的流程图；

图2为根据本发明实施例的一种行人再识别方法的识别结果查询图；

图3为根据本发明实施例的一种行人再识别装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为根据本发明实施例的一种行人再识别方法的流程图，如图1所示，包括：

S1，基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；

S2，将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

行人再识别的具体任务是在两个不同摄像头下对行人目标进行匹配。本发明实施例提出的一种行人再识别方法，基于两个不同摄像头场景下图像特征之间的匹配关系进行样本相似距离的度量，从而完成行人再识别任务。具体流程如下：

步骤S1基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量。其中，对测试集中每个样本之间都计算相似距离。

步骤S2将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

具体地，运用一组稳定的联合度量空间：

(W₀,H₀),(W₁,H₁),(W₂,H₂)......(W_m,H_m)......(W_km,H_km)

对测试集中gallery集合的每个图像的特征表达与probe中的所有图像的特征表达计算相似距离：

统计测试集相似度量结果，组成度量距离矩阵:

其中，l＝(0,1,2,......,m)。

将度量结果按照距离从小到大排序，同时记录下每个距离所对应的probe集合中图像的序号。

本实施例提供了一种行人再识别方法，基于度量空间对测试集中每个测试样本对的相似距离进行逐一度量，能够有效抑制现有度量学习方法的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

在本发明的另一个实施例中，在上述实施例的基础上，在步骤S1之前还包括：

对数据集中的行人编号进行随机排序，选取前k个行人的图像作为训练集，剩余图像则作为测试集；

将所述测试集和训练集中的每个行人图像按照摄像头的不同进行分类，并提取两个不同摄像头场景下行人图像的特征，获得两个不同摄像头场景下的样本集。

为了获得两个不同摄像头场景下图像特征之间的匹配关系，首先需要通过随机抽样的方式将数据集划分为训练集和测试集。具体地，将图像集通过随机抽样的方式划分为训练样本集和测试样本集，对行人的编号进行随机排序，选取前k个行人的图像作为训练样本集，剩余图像则作为测试样本集，其中，k的取值可以根据需要进行灵活调整。

将训练样本集和测试样本集中的每个行人的图像按照拍摄摄像头的不同进行分类，摄像头A采集得到的图像为gallery集合，摄像头B中采集得到的行人图像为probe集合。定义训练样本集中分别来自gallery和probe集合中的两幅图像为x_i ^g,x_j ^p，i＝j说明两个图像对应同一个人即为正样本对，否则为负样本对。

在本发明的再一个实施例中，在上述实施例的基础上，所述训练集包括正样本对、负样本对。

具体地，训练集包括摄像头A采集得到的行人图像，摄像头B中采集得到的行人图像。摄像头A采集得到的行人图像、摄像头B中采集得到的行人图像组成正样本对、负样本对。摄像头A采集得到的行人图像、摄像头B中采集得到的行人图像有对应的标签来表明两张图像为同一个人。

在本发明又一个实施例中，在上述实施例的基础上，所述度量空间通过以下步骤建立：

S401，基于正样本对总体散度极小化和负样本对总体散度极大化原则，对训练集中的正、负样本对进行约束，获取第一度量空间；

S402，基于所述第一度量空间，对测试集中每个测试样本对进行度量以获取距离度量结果；

S403，基于所述距离度量结果，获取伪样本集；

S404，基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，获取第二度量空间；

S405，将所述第一度量空间和第二度量空间组合为联合度量空间；

S406，将所述联合度量空间作为所述第一度量空间迭代执行S402至S405，直至获取一组稳定的联合度量空间。

具体地，对正样本对总体散度极小化，负样本对总体散度极大化：

其中，S_w表示训练集中正样本散度，S_b表示训练集中负样本散度。

通过广义的拉格朗日乘数法将上述优化问题转化为求解以下公式的特征值：

按照特征值从大到小排序，选取前m个特征向量组成度量子空间投影矩阵W：

W＝(w₁,w₂,...,w_m)

其中，W为度量子空间投影矩阵。

基于KISSME算法，利用训练集在度量子空间的投影分布获得马氏距离度量矩阵H:

H＝(W^T∑_pW)^-1-(W^T∑_nW)^-1

其中，H为马氏距离度量矩阵，∑_p是正样本对总体的协方差，∑_n是负样本对总体的协方差，W为度量子空间投影矩阵。

将上述学习到的度量空间定义为(W₀,H₀)，将测试集

在(W₀,H₀)中进行度量，得到度量结果：

将上述度量结果D按照距离从大到小的顺序排列，取probe集合中排序为前m的识别结果与gallery集合中对应的图像组成m个伪样正样本对：

其中，Y₁',Y₂',...,Y'_m表示m个伪样本训练集合。

对上述m个伪样本集合，根据正样本对总体散度极小化，负样本对总体散度极大化原则，建立联合Fisher判别准则：

其中，S_w，S_b分别表示训练集中正、负样本散度，w₀为根据训练集中正、负样本对获得的度量子空间投影矩阵，w₁,...,w_m为根据伪样本集获得的度量子空间投影矩阵。

获取与所述伪样本集对应的第二度量空间：

(W₁,H₁),(W₂,H₂)......(W_m,H_m)

将所述第一度量空间和第二度量空间组合为联合度量空间：

(W₀,H₀),(W₁,H₁),(W₂,H₂)......(W_m,H_m)

将上述联合度量空间作为所述第一度量空间迭代执行S402至S405，直至获取一组稳定的联合度量空间。

迭代一定次数，直到获取一组稳定的联合度量空间：

(W₀,H₀),(W₁,H₁),(W₂,H₂)......(W_m,H_m)......(W_km,H_km)。

本实施例提供了一种行人再识别方法，通过迭代学习得到一组稳定的联合度量空间，能够有效抑制现有度量学习方法在行人再识别中的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

在本发明又一个实施例中，在上述实施例的基础上，在步骤S2之后还包括：

根据所述距离度量矩阵计算累积精度。

具体地，运用上述一组稳定的联合度量空间：

(W₀,H₀),(W₁,H₁),(W₂,H₂)......(W_m,H_m)......(W_km,H_km)

对测试集中gallery集合的每个图像的特征表达与probe中的所有图像的特征表达计算相似距离：

统计测试集相似度量结果，组成度量距离矩阵:

其中，l＝(0,1,2,......,m)。

将度量结果按照距离从小到大排序，同时记录下每个距离所对应的probe集合中图像的序号，计算累计精度：

其中，CMC曲线的横坐标为rank数值，即对应的排序，rank＝1表示最相似的匹配结果，如果与图像标签信息一致，则认为识别正确。纵坐标是随着rank增加的累计精度，表示正确的标签图像度量结果出现在rank≤m的所有图像占样本总体的比率。其中l表示CMC累积精度的rank＝l，即测试距离按照从小到大的排名为l，N为测试样本中gallery的样本个数。I(rank(P_i))为符号函数，即函数内变量为真时则对应函数值为1，否则为0。rank(P_i)＜l表示样本距离排名计算，P_i为第i个gallery样本的正样本距离，rank(P_i)表示其正样本的排序。通常，我们希望正确匹配的目标对应的相似距离度量结果最小，即所对应的图像就是正确匹配图像，然而由于行人在识别问题的复杂性，样本受到光线、行人姿态、拍摄视角、背景等多方面因素影响，特征变化剧烈。因此，在的条件下，识别率有限，于是，我们通常考虑rank＝1至rank＝20之间的累积识别率。

为了说明本发明实施例提供的行人再识别方法，以下对上述方法进行仿真。

1.仿真条件

中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存16G、WINDOWS8操作系统上，运用MATLAB软件进行仿真。

仿真所使用的图像测试数据库为加州大学公开的行人再识别权威数据库VIPeR，图像是由两个室外摄像机拍摄得到的，共有632个行人的样本图像，每个行人在每个摄像机下均有且仅有一张图像。

2.仿真内容

将本发明提供的行人再识别方法与现有的且性能优越的4个算法进行比较，上述4个算法分别是RDC、KISSME、XQDA、MLAPG。其中RDC是在“W.Zheng，S.Gong，andT.Xiang.Reidentification by relative distancecomparison.IEEE Transactions onPattern Analysis and MachineIntelligence，35(3):653–668，2013.”中提出的。KISSME是在“M.K¨ostinger，M.Hirzer，P.Wohlhart，P.Roth，and H.Bischof.Largescale metriclearning from equivalence constraints.In CVPR，pages2288–2295，2012.”中提出的。XQDA即为S.Liao等人在“S.Liao，Y.Hu，X.Zhu，and S.Z.Li，“Person re-identificationby localmaximal occurrence representation and metric learning，”vol.8，no.4，pp.2197–2206，2015.”中提出的。MLAPG在“S.Liao and S.Z.Li，“Efficient psdconstrained asymmetric metriclearning for person re-identification”in IEEEInternational Conferenceon Computer Vision，2015.”中有详细的介绍。利用图像测试数据库，通过随机抽样划分测试集合训练集，按照本发明中介绍的计算步骤对选定数据库进行测试。本实验中为了充分验证本发明行人再识别算法的效果，在均衡训练样本以及极小训练样本两种不同训练条件下对算法进行了测试，均衡测试样本即将图像测试数据库整体平均分为训练集和测试集两个部分，测试样本数量与训练样本数量基本一致，例如，训练样本316，测试样本316。极小训练样本条件即大幅度减小训练样本数量，测试样本数量不变，例如，训练样本150，测试样本316，对各种算法的识别效果进行测试。其次，根据本发明中的距离度量公式，计算测试库中gallery集合与probe集的距离，并计算累计精度。

在仿真中，为了保证行人再识别结果的准确性，进行重复并行实验，计算平均精度作为最终识别结果，其结果如表1所示：

表1行人再识别方法的识别率

其中，r表示rank，从表1可见，本发明提供的行人再识别方法的识别率比现有的流行方法的识别率要高，其中当rank＝1，P＝316时本方法比其他方法高出5％的精度；在rank＝1到rank＝20的精度比其他方法的识别率都要高。均衡训练样本条件下，在我们最为关注的rank＝1时，本发明比其他方法精度高18.48％。当训练样本减少为P＝150时，本发明的识别率下降的程度要明显低于其他方法，rank＝1时，本发明比其他方法精度高21.55％。因此本发明提供的行人再识别方法比其他方法更有效，更鲁棒。

图2为根据本发明实施例的一种行人再识别方法的识别结果查询图，如图2所示，其中图像最左侧一列为测试样本集的gallery样本集合中带匹配图像，带匹配图像右侧给出了基于本发明算法的度量结果中，相似距离排名在前10的结果，其中正确结果为红色框出的图像，如右侧不存在红色框出图像，则说明正确图像不在前10张图像当中。

从查询结果可以看出，本发明提供的行人再识别方法能够准确的找出查询目标，能够有效抑制现有度量学习方法在训练集上的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

图3为根据本发明实施例的一种行人再识别装置的结构图，如图3所示，包括：度量模块501和处理模块502，其中：

度量模块501用于基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；

处理模块502用于将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

行人再识别的具体任务是在两个不同摄像头下对行人目标进行匹配。本发明实施例提出的一种行人再识别方法，基于两个不同摄像头场景下图像特征之间的匹配关系进行样本相似距离的度量，从而完成行人再识别任务。具体流程如下：

计算模块501用于度量空间对测试集中每个测试样本对的相似距离进行逐一度量。其中，对测试集中每个样本之间都计算相似距离。

处理模块502用于将所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵。

具体地，运用一组稳定的联合度量空间：

(W₀,H₀),(W₁,H₁),(W₂,H₂)......(W_m,H_m)......(W_km,H_km)

对测试集中gallery集合的每个图像的特征表达与probe中的所有图像的特征表达计算相似距离：

统计测试集相似度量结果，组成度量距离矩阵:

其中，l＝(0,1,2,......,m)。

将度量结果按照距离从小到大排序，同时记录下每个距离所对应的probe集合中图像的序号。

本实施例提供了一种行人再识别方法，基于度量空间对测试集中每个测试样本对的相似距离进行逐一度量，能够有效抑制现有度量学习方法的过拟合问题，对行人再识别问题中复杂的特征变化具有更强的鲁棒性。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种行人再识别方法，其特征在于，包括：

S1，基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；

S2，将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵；

所述度量空间通过以下步骤建立：

S401，基于正样本对总体散度极小化和负样本对总体散度极大化原则，对训练集中的正、负样本对进行约束，获取第一度量空间；

S402，基于所述第一度量空间，对测试集中每个测试样本对进行度量，以获取距离度量结果；

S403，基于所述距离度量结果，获取伪样本集；

S404，基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，获取第二度量空间；

S405，将所述第一度量空间和第二度量空间组合为联合度量空间；

S406，将所述联合度量空间作为所述第一度量空间迭代执行S402至S405，直至获取一组稳定的联合度量空间；

在步骤S1之前还包括：对数据集中的行人编号进行随机排序，选取前k个行人的图像作为训练集，剩余图像则作为测试集；

将所述测试集和训练集中的每个行人图像按照摄像头的不同进行分类，并提取两个不同摄像头场景下行人图像的特征，获得两个不同摄像头场景下的样本集。

2.根据权利要求1所述的行人再识别方法，其特征在于，所述训练集包括正样本对和负样本对。

3.根据权利要求1所述的行人再识别方法，其特征在于，所述第一度量空间包括度量子空间投影矩阵和马氏距离度量矩阵。

4.根据权利要求3所述的行人再识别方法，其特征在于，所述度量子空间投影矩阵通过以下方式获得：

W＝(w₁,w₂,...,w_m)

其中，S_w表示训练集中正样本散度，S_b表示训练集中负样本散度，W为度量子空间投影矩阵。

5.根据权利要求3所述的行人再识别方法，其特征在于，所述马氏距离度量矩阵通过以下方式获得：

H＝(W^T∑_pW)^-1-(W^T∑_nW)^-1

其中，H为马氏距离度量矩阵，Σ_p是正样本对总体的协方差，Σ_n是负样本对总体的协方差，W为度量子空间投影矩阵。

6.根据权利要求1所述的行人再识别方法，其特征在于，所述步骤S404包括：

基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，建立联合Fisher判别准则，获取第二度量空间；

其中，所述联合Fisher判别准则具体为：

其中，S_w，S_b分别表示训练集中正、负样本散度，w₀为根据训练集中正、负样本对获得的度量子空间投影矩阵，w₁,...,w_m为根据伪样本集获得的度量子空间投影矩阵。

7.根据权利要求1所述的行人再识别方法，其特征在于，在步骤S2之后还包括：

根据所述距离度量矩阵计算累积精度。

8.一种行人再识别装置，其特征在于，包括：

度量模块，用于基于度量空间，对测试集中每个测试样本对的相似距离进行逐一度量；

处理模块，用于将测试集中所有测试样本对的相似距离度量结果进行排序，获得距离度量矩阵；

所述度量空间通过以下步骤建立：

S401，基于正样本对总体散度极小化和负样本对总体散度极大化原则，对训练集中的正、负样本对进行约束，获取第一度量空间；

S402，基于所述第一度量空间，对测试集中每个测试样本对进行度量，以获取距离度量结果；

S403，基于所述距离度量结果，获取伪样本集；

S404，基于正样本对总体散度极小化，负样本对总体散度极大化原则，通过伪样本集，获取第二度量空间；

S405，将所述第一度量空间和第二度量空间组合为联合度量空间；

S406，将所述联合度量空间作为所述第一度量空间迭代执行S402至S405，直至获取一组稳定的联合度量空间；

对数据集中的行人编号进行随机排序，选取前k个行人的图像作为训练集，剩余图像则作为测试集；

将所述测试集和训练集中的每个行人图像按照摄像头的不同进行分类，并提取两个不同摄像头场景下行人图像的特征，获得两个不同摄像头场景下的样本集。

Images