CN104376334A - 一种多尺度特征融合的行人比对方法 - Google Patents

Abstract

本发明公开一种计算机视频处理技术领域的多尺度特征融合的行人比对方法，本发明融合多种行人特征，增强比对特征在多摄像头环境下的稳定性和独特性；同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对：先在小尺度上进行比对过滤，而后对筛选后的行人在较大尺度上进行匹配，在保证各特征比对性能的前提下，降低方法复杂度；并针对现有纹理特征进行改进，采用一种新的基于显著特征点的比对方法；本方法引入半监督的距离学习方法进行距离函数学习，以降低传统距离学习算法训练标定过程的复杂度，提高匹配准确率。

Description

一种多尺度特征融合的行人比对方法

技术领域

本发明属于计算机视频处理技术领域，具体为一种融合多种行人特征，先在小尺度上进行比对过滤，然后在较大尺度上匹配出目标行人的比对方法。

背景技术

目前，行人比对技术在视频监控中发挥着越来越重要的作用，尤其在城市公共安全领域有着广泛的应用。由于不同行人在摄像机下表现相似的特征以及多相机网络环境的多样性(视角变化，光照变化和相互遮挡等)，使得多相机下的行人比对面临着严峻的挑战。基于多相机下行人分析已经成为计算机视觉领域的研究热点。研究思路一般包括基于统计特征、基于局部特征点和基于距离学习的比对算法。基于统计特征的行人比对方法(参见：Kviatkovsky,I.；Adam,A.；Rivlin,E.,"Color Invariants for Person Reidentification,"PatternAnalysis and Machine Intelligence,IEEE Transactions on,vol.35,no.7,pp.1622,1634,July 2013)所采用的特征通常较为简单、稳定、方法复杂度较低，在简单场景下能够取得明显效果，但由于采用直方图进行特征统计，因而局部差异性特征较难体现。基于局部特征点的行人比对方法(参见：C.Varytimidis,K.Rapantzikos,Y.Avrithis.WαSH:Weightedα-Shapesfor Local Feature Detection.In Proceedings of European Conference onComputer Vision(ECCV 2012),Florence,Italy,October 2012.)则通过对行人进行局部特征点提取，通过特征点匹配算法进行比对，该方法需要通过对行人所有特征点或特征区域进行匹配计算才能得到行人之间的相似度，因而方法复杂度通常较高，无法满足实时需求。基于距离学习的比对方法(参见：Wei-ShiZheng,Shaogang Gong,Tao Xiang.Reidentification by Relative DistanceComparison,PAMI2013,2013,35(3):653-668)通过对特定场景进行标定训练，会对比对效果有较大提升，但普适性不强，针对新的场景需要进行重新训练，训练标定过程较为复杂，且方法的空间复杂度都较高，目前还很难应用到实际系统中。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种新的行人比对方法---基于多尺度特征融合的行人比对方法(Multi-Scaled Feature Fusion,MSFF)。

本发明中所述尺度即为对图像放大的比例程度，放大的程度用尺度的高低来形容；低尺度体现了图像的整体特征，高尺度更多体现的是图像中的细节特征。本发明融合多种行人特征，增强比对特征在多摄像头环境下的稳定性和独特性；同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对：先在小尺度上进行比对过滤，而后对筛选后的行人在较大尺度上进行匹配，在保证各特征比对性能的前提下，降低方法复杂度；并针对现有纹理特征进行改进，采用一种新的基于显著特征点的比对方法；本方法引入半监督的距离学习方法进行距离函数学习，以降低传统距离学习算法训练标定过程的复杂度。

本发明是通过以下技术方案实现的，所述方法包括以下几个步骤：

第一步：设P＝{p_i|1≤i≤N}为相机A下的行人图像集合，Q＝{q_i|1≤i≤N}为相机B下的行人集合，N为一个相机下的行人总数。

第二步：在低尺度下，应用颜色和轮廓的比对方法，进行第一次行人筛选，得到候选行人集

所述第二步的具体实现步骤为：

1)选取K＝βN组行人进行距离函数模型标定训练(式中K为选取的行人组数，N为整个行人组数，β为行人组的选取率)，提取行人的颜色特征向量和轮廓特征向量，分别进行直方图归一化；

2)将归一化后的两类特征向量进行级联，得到行人在低尺度上的融合特征，利用此融合特征进行半监督SVM训练得到相似度函数；

3)在低尺度上采用颜色和轮廓特征进行行人比对，对于行人p∈P，计算p与集合Q中各行人的相似度后，归一化至[0,1]；

4)将集合Q以相似度降序排列，即可得到集合Q中与p最相似的行人集合，记为选取中排名前r％的行人进行下一尺度上的比对，记为集合

第三步：在高尺度上采用基于显著特征点的比对方法，针对行人p，对行人集合中的各行人进行相似度计算。显著特征点是一种改进的基于纹理特征的比对方法，具体步骤为：

a)首先对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局部特征点的显著性。

b)并在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配准确率，

c)同时采用KNN(K Neatest Neighbor)方法计算每个特征点的权重，突出显著特征点的权重，提高行人比对的准确率。

第四步：对低尺度和高尺度上的行人相似度进行叠加，按降序排列，得到Q中与p最相似的行人集合。

与现有技术相比，本发明的具有以下有益效果：

1)提高了行人特征的独特性和稳定性，进而提高比对性能；2)同时采用基于多尺度的比对方法框架，在保证各特征比对性能的基础上，尽可能降低系统运算复杂度；3)针对传统距离学习算法训练标定过程复杂度较高的缺点，本发明引入半监督的距离学习方法进行距离函数学习，以降低训练标定过程的复杂度，增强基于距离学习比对方法的实用性。4)采用了一种改进的基于显著特征点的比对方法，增加了进行空间约束，提高匹配准确率，同时计算每个特征点的权重，突出显著特征点的权重，提高行人比对的准确率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于多尺度特征融合的比对方法框架。

图2为基于显著特征点的行人比对方法流程图；

图3为本发明一实施例中行人比对场景图。

图4为本发明一实施例中广场行人比对结果图。

图5为本发明一实施例中道路行人比对结果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为一种多尺度融合的对比方法的实施例框架：在低尺度下，提取颜色和轮廓特征级联后得到融合特征；对融合特征进行半监督svm学习，进行第一次行人筛选，得到候选行人集；在高尺度下，采用基于局部特征点的比对算法，针对目标行人，对筛选出的行人集合中的各行人进行相似度计算；对两个尺度上的行人相似度进行叠加，按降序排列，得到与目标行人最相似的行人集合。

本实施采用的行人图片集应用了广场比对数据集和道路比对数据集。广场比对数据集是来自上海一个行人密集的广场上相邻两个相机下的两组行人集，在其中一个相机下的行人都对应另一个相机下唯一一个相同的行人，共101对。

道路比对数据集是来自上海一个步行街，行人流动量较大，也为101对。

本实施例涉及的多尺度特征融合行人比对方法，对两组数据集分别进行行人比对，包括如下具体步骤：

第一步：设P＝{p_i|1≤i≤101}为相机A下的行人图像集合，Q＝{q_i|1≤i≤101}为相机B下的行人集合；

第二步：选取K＝βN组行人进行距离函数模型标定训练，本例中选取β＝0.3。在提取完行人的颜色特征向量和轮廓特征向量后，分别进行直方图归一化，将归一化后的两类特征向量进行级联，得到行人在低尺度上的融合特征。利用此融合特征进行半监督SVM训练得到相似度函数。

第三步：在低尺度上采用颜色和轮廓特征进行行人比对，对于行人p∈P，计算p与集合Q中各行人的相似度后，归一化至[0,1]，将集合Q以相似度降序排列，即可得到集合Q中与p最相似的行人集合，记为选取中排名前r％的行人进行下一尺度上的比对，记为集合r的选择涉及到方法性能和复杂度的取舍，若r太小，则下一尺度比对中行人样本少，会导致比对性能降低；若r太大，则下一尺度比对中比对次数会过多，导致时间复杂度增加。综合性能和复杂度，本例中选择r＝30。

第四步：在高尺度上采用基于显著特征点的比对方法，针对行人p，对行人集合中的各行人进行相似度计算。具体流程如图2，首先对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，之后进行空间约束，进而计算每个特征点的权重，进行距离计算。对两个尺度上的行人相似度进行叠加，按降序排列，得到Q中与p最相似的行人集合。

通过实验证明，本实施例较之前方法能取得更好的比对效果。图3是广场行人比对结果，通过分别与基于颜色、轮廓和局部特征点传统比对方法的比对，我们可以看出多尺度特征融合比对方法的准确率更高；通过图4可以看出该方法也适用在道路行人场景。在两个场景下，采用多特征融合的比对方法要优于基于单一特征的比对方法。单一特征仅能描述行人某一方面的特征，仅靠一种特征来进行比对很难达到理想效果，融合多种特征，增强比对特征的稳定性和独特性，有利于提高比对性能。

本发明综合特征点的纹理和颜色特征，提高局部特征点的显著性，并在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配准确率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种多尺度特征融合的行人比对方法，其特征在于，包括以下步骤：

第一步：设P＝{p_i|1≤i≤N}为相机A下的行人图像集合，Q＝{q_i|1≤i≤N}为相机B下的行人集合；

第二步：在低尺度下，应用颜色和轮廓的比对方法，进行第一次行人筛选，得到候选行人集

第三步：在高尺度上采用基于显著特征点的比对方法，针对行人p，对行人集合中的各行人进行相似度计算；

第四步：对低尺度和高尺度上的行人相似度进行叠加，按降序排列，得到Q中与p最相似的行人集合。

2.根据权利要求1所述的一种多尺度特征融合的行人比对方法，其特征是：所述第二步的具体实现步骤为：

1)选取K＝βN组行人进行距离函数模型标定训练,式中K为选取的行人组数，N为整个行人组数，β为行人组的选取率，提取行人的颜色特征向量和轮廓特征向量，分别进行直方图归一化；

2)将归一化后的两类特征向量进行级联，得到行人在低尺度上的融合特征，利用此融合特征进行半监督SVM训练得到相似度函数；

3)在低尺度上采用颜色和轮廓特征进行行人比对，对于行人p∈P，计算p与集合Q中各行人的相似度后，归一化至[0,1]；

4)将集合Q以相似度降序排列，即可得到集合Q中与p最相似的行人集合，记为选取中排名前r％的行人进行下一尺度上的比对，记为集合r的选择与复杂度有关。

3.根据权利要求1或2所述的一种多尺度特征融合的行人比对方法，其特征是：所述显著特征点是一种改进的基于纹理特征的比对方法，具体步骤为：

a)首先对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局部特征点的显著性；

b)并在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配准确率；

c)同时采用KNN方法计算每个特征点的权重，突出显著特征点的权重，提高行人比对的准确率。