CN105718882B

CN105718882B - 一种分辨率自适应特征提取与融合的行人重识别方法

Info

Publication number: CN105718882B
Application number: CN201610035405.8A
Authority: CN
Inventors: 王新宇; 杨华; 朱继
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2016-01-19
Filing date: 2016-01-19
Publication date: 2018-12-18
Anticipated expiration: 2036-01-19
Also published as: CN105718882A

Abstract

本发明公开一种分辨率自适应特征提取与融合的行人重识别方法，该方法融合生物特征和外貌特征，用人脸特征和外貌特征融合的方法识别行人，增强特征的差异性，同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对；同时采用筛选机制，先用颜色特征和轮廓特征得到的融合特征进行筛选，然后用人脸特征对筛选结果进行补充，最后在筛选的行人上提取纹理特征，极大稳定颜色区域特征和加权颜色特征，并使用自适应加权的方法融合提取的全局特征和局部特征特征得到融合特征。本发明通过生物特征和外貌特征的自适应融合可以提高方法的准确率。通过在低尺度提取外貌特征以及筛选机制可以降低复杂度。

Description

一种分辨率自适应特征提取与融合的行人重识别方法

技术领域

本发明属于计算机视觉领域，具体的，涉及一种分辨率自适应特征提取与融合的行人重识别方法。

背景技术

行人重识别在视频监控中是非常重要的问题。尽管目前已经有很多研究聚焦于这一领域，行人重识别依旧面临很多挑战。一、目前监控场所捕捉到的行人图片分辨率低，提取清晰的生物特征用于行人重识别非常困难。二、不同的行人在两个摄像机场景出现的时间变化非常大，使用时间和空间限制帮助行人重识别非常困难。三，仅仅依靠外貌特征用来识别行人并不稳定，因为行人的外貌特征会受到姿态，光照，背景和遮挡的影响。四、在大型的视频监控网络行人重识别计算效率低也给行人重识别应用带来非常大的挑战。

特征提取和行人比对是行人重识别中的两个研究方向。

特征提取作为行人重识别的基础和关键，提取出具有区别性的可靠特征是非常重要的。目前已经提出了大量的特征用于行人重识别，比如颜色，形状，纹理，边缘，兴趣点等。目前多特征融合是行人重识别中可以提高识别准确率的一个有效方法。因为单一特征不能强大到捕捉所有行人图片间的细微差别。Bazzani等人融合MSCR，WCH以及RHSP等特征取得了非常好的效果。(参见Bazzani,L.,Cristani,M.,Murino,V.:Symmetry-drivenaccumulation of local features for human characterization and re-identification.Comput.Vis.Image Underst.117(2),130-144(2013))

行人比对目前主流的方法是基于度量学习的比对方法。这种方法通过学习找到最能区分正确行人对和错误行人对的最佳距离度量，用于进行行人比对。度量学习的方法通过对特定场景进行标定训练，会对比对效果有较大提升，但普适性不强，针对新的场景需要进行重新训练，训练标定过程较为复杂，且方法的空间复杂度都较高，目前还很难应用到实际系统中。

发明内容

本发明的目的在于充分利用高清图片，提出了一种新的行人比对方法---一种分辨率自适应特征提取与融合的行人重识别方法(Resolution Adaptive FeatureExtracting and Fusing Framework for Person Re-identification,RAF)，该方法通过生物特征和外貌特征的自适应融合可以提高方法的准确率，通过在低尺度提取外貌特征以及筛选机制可以降低方法的复杂度。

为实现上述目的，本发明采用的技术方案：本发明融合生物特征和外貌特征，用人脸特征和外貌特征融合的方法识别行人，增强特征的差异性。同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对：颜色和轮廓特征在低尺度上提取，纹理特征，极大稳定颜色区域特征和加权HSV特征以及人脸特征在高尺度上提取。同时采用筛选机制，先用颜色特征和轮廓特征得到的融合特征进行筛选，然后用人脸特征对筛选结果进行补充，最后在筛选的行人上提取纹理特征，极大稳定颜色区域特征和加权颜色特征，并使用自适应加权的方法融合提取的特征得到融合特征。

具体地，所述方法包括以下几个步骤：

第一步：设P＝{p_i|1≤i≤N}为相机A下的行人图片集合，Q＝{q_i|1≤i≤N}为相机B下的行人图片集合；

第二步：对P和Q中的原始行人图片进行降采样，得到低尺度图片；采用筛选机制，先将行人图片集合Q用HS和HOG筛选，得到筛选后的集合然后在高尺度图片上提取LPQ特征，所述高尺度图片是原始行人图片集合P和Q，在P上能检测出人脸特征的行人图片集合记为P_f，在Q上能检测出人脸特征的行人图片集合记为Q_f，最后用能检测到人脸的行人图片集合Q_f来补充候选行人集将候选行人集扩充为Q_candidate，

第三步：在Q_candidate的原始行人图片上即高尺度图片上提取有空间限制的纹理特征(LSCP)，极大稳定颜色区域特征(MSCR)和加权颜色特征(wHSV)，得到初始分数曲线query_LSCP，query_MSCR和query_wHSV；

第四步：采用自适应加权的方法融合在低尺度和高尺度上提取的特征,针对行人p，p∈P，对行人集合中的各行人进行相似度计算,并对得到的相似度按降序排列，得到Q中与p最相似的行人集合。

进一步的，所述第二步的具体实现步骤为：

a)对行人图片集合中的行人图片进行降采样，然后提取颜色特征和轮廓特征向量，分别进行直方图归一化；

b)在低尺度图片上采用颜色和轮廓特征进行行人比对，对于行人p∈P，计算p与集合Q中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_HS和query_HOG；

c)将集合Q以相似度降序排列，即得到集合Q中与p最相似的行人集合，记为Q_p，选取Q_p中排名前r％的行人进行下一尺度上的比对，记为集合r的选择与复杂度有关；

d)在未采样的高尺度图片上提取人脸特征LPQ，提取到人脸的行人集合分别记为P_f和Q_f；对于行人p∈P_f，计算p与集合Q_f中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_LPQ；

e)Q_f和合并得到新的候选行人集合Q_candidate。

进一步的，第三步中，所述有空间限制的纹理特征是一种改进的基于纹理特征的比对方法，其步骤为：

首先在高尺度图片上对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局部特征点的显著性；

然后在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配准确率；

最后对于行人p∈P_f，计算p与集合Q_candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_LSCF。

进一步的，第三步中，在高尺度图片上提取MSCR特征和wHSV特征，对于行人p∈P_f，计算p与集合Q_candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_MSCR和query_wHSV。

进一步的，所述第四步，具体步骤为：

a)对特征HS，HOG，LPQ，LSCF，MSCR以及wHSV训练多条参考曲线，参考分数曲线分数降序排列；

b)对特征HS、HOG、LPQ、LSCF、MSCR、wHSV的初始分数曲线query_HS、query_HOG、query_LPQ、query_LSCF、query_MSCR、query_wHSV按分数高低降序排列，并用初始分数曲线减去最接近初始分数曲线走势的参考分数曲线，归一化后得到归一化后的分数曲线，计算归一化后的分数曲线下的面积；面积越大的特征其区分性越差，其权重也越小；

c)将query_HS，query_HOG，query_LPQ，query_LSCF，query_MSCR，query_wHSV按照权重加权，得到融合分数曲线；根据分数高低降序排列，得到Q中最接近p的行人集合。

与现有技术相比，本发明的具有以下有益效果：

1)本发明所述的分辨率自适应特征提取与融合的行人重识别方法，提取全局和局部特征在适当的图像尺度上，根据不同特征的特性。在低尺度上提取颜色和纹理特征。选取前r％的行人作为候选行人。在高尺度上提取局部特征LPQ，LSCF，MSCR，wHSV，并用LPQ检测到的行人补充候选行人集。这样不仅提高了行人重识别准确率，并且通过筛选极大的提高了效率；

2)为了充分利用高清摄像机的信息并且为了克服姿势变化大带给行人重识别的困难，本发明提取人脸信息，用生物特征和外貌特征相结合得到更有区别性更稳定的特征；

3)本发明采用局部空间约束的特征，基于特征点，将颜色特征加入纹理特征，并且加入空间约束，提高准确率；

4)在融合不同特征时，本发明采用一种无监督的自适应融合特征的方法。根据特征对不同图片的识别效果得到融合系数，提高行人重识别准确率。

综上，本发明方法根据特征在分辨率上的特点，在不同的图像尺度提取特征，然后用颜色、轮廓和人脸特征筛选行人，然后再自适应融合在高尺度和低尺度提取的特征，选出与目标行人最接近的行人；通过生物特征和外貌特征的自适应融合可以提高方法的准确率，通过在低尺度提取外貌特征以及筛选机制可以降低方法复杂度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中方法原理图。

图2为本发明一实施例中一张行人图片不同特征的初始分数曲线，最接近的参考分数曲线和归一化后的分数曲线图。

图3为本发明一实施例中行人比对场景图和行人图片样本。

图4为本发明一实施例中行人比对结果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为一种分辨率自适应特征提取与融合的行人重识别的一实施例原理图：在低尺度下，提取颜色和轮廓特征，等比加权后得到融合特征，然后选取前r％的行人作为候选集合。在高尺度下提取人脸特征LPQ，对候选集合进行补充。然后在高尺度下提取LSCF特征，MSCR特征，以及wHSV特征。用自适应融合特征的方法，针对目标行人，对筛选出的行人集合中的各行人进行相似度计算，对相似度分数按降序排列，得到与目标行人最相似的行人集合。

在一具体实施例中：采用的行人图片集应用了道路和校园场景的比对数据集。道路和校园场景的比对数据集是来自上海一个行人密集的广场上以及上海一个校园中相邻两个相机下的两组行人集，在其中一个相机下的行人都对应另一个相机下唯一一个相同的行人，共89对。本实施例涉及的分辨率自适应特征提取与融合的行人重识别，对这组数据集进行行人比对，包括如下具体步骤：

第二步：在低尺度下，应用颜色(HS)和轮廓(HOG)的比对方法，进行第一次行人筛选，得到候选行人集在高尺度下提取人脸特征(LPQ)，补充将候选行人集扩充为Q_candidate；

本步骤中，对P和Q中的原始行人图片进行降采样，得到低尺度图片，这是因为在低尺度图片上提取HS和HOG进行行人重识别准确率不会降低，但是提取特征速度会提高。为了进一步提升方法的效率，采用筛选机制，即：先将行人图片集Q用HS(色调和饱和度颜色直方图Hue and Saturability)和HOG(方向梯度直方图特征Histogram of OrientedGradient,HOG)筛选，得到筛选后的集合然后在高尺度图片上提取LPQ特征。这里的高尺度图片是原始行人图片集合P和Q，这是因为用LPQ表示人脸，对细节特征要求较高，所以使用原始行人图片。P和Q分别为相机A和相机B下的行人图片集合。在P上可以检测出人脸特征的行人图片集合记为P_f，在Q上可以检测出人脸特征的行人图片集合记为Q_f。最后用可以检测到人脸的行人图片集合Q_f来补充候选行人集将候选行人集扩充为Q_candidate，

具体实现步骤为：

b)在低尺度图像上采用颜色和轮廓特征进行行人比对，对于行人p∈P，计算p与集合Q中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_color和query_contour；

c)将集合Q以相似度降序排列，即可得到集合Q中与p最相似的行人集合，记为Q_p，选取Q_p中排名前r％的行人进行下一尺度上的比对，记为集合r的选择与复杂度有关；

d)在未采样的高尺度图片上提取人脸特征LPQ，可以提取到人脸的行人集合分别记为P_f和Q_f。对于行人p∈P_f，计算p与集合Q_f中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_LPQ；

e)Q_f和合并得到新的候选行人集合Q_candidate；

第三步：在高尺度上提取有空间限制的纹理特征(LSCP)，极大稳定颜色区域特征(MSCR)和加权颜色特征(wHSV)。具体实现步骤为：

a)所述有空间限制的纹理特征是一种改进的基于纹理特征的比对方法，其步骤为：

最后对于行人p∈P_f，计算p与集合Q_candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_LSCF；

b)在高尺度图片上提取MSCR特征和wHSV特征。对于行人p∈P_f，计算p与集合Q_candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_MSCR和query_wHSV；

第四步：采用自适应加权的方法融合在低尺度和高尺度上提取的特征。针对行人p，对行人集合中的各行人进行相似度计算。并对得到的相似度按降序排列，得到Q中与p最相似的行人集合。具体实现步骤为：

通过实验证明，本发明较之前方法能取得更好的比对效果。图4是行人比对结果，通过分别与其他行人比对方法的比对，可以看出本发明(RAF)优于传统的基于单一特征的行人重识别方法。这是因为本发明(RAF)融合了多种特征，可以提高特征的稳定性。本发明(RAF)也优于SDALF，这是因为采用了生物特征和外貌特征相结合的方法，以及采用了自适应融合的方法，这样可以克服一些行人姿势变化带来的影响，并且针对不同的图片可以调整不同特征的系数，提高好特征的系数，降低坏特征带来的不好的影响。本发明还比较了LSCF和SURF特征的性能，可以看到LSCF优于SURF。这是因为LSCF融合了纹理特征和颜色特征，并且加上了空间限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种分辨率自适应特征提取与融合的行人重识别方法，其特征在于，包括以下步骤：

第一步：设P＝{p_i|1≤i≤N}为相机A下的行人图片集合，Q＝{q_i|1≤i≤N}为相机B下的行人图片集合，N为行人的个数；

第二步：对P和Q中的原始行人图片进行降采样，得到低尺度图片；采用筛选机制，先将行人图片集合Q用HS和HOG筛选，得到筛选后的集合0<r<100，然后在高尺度图片上提取人脸特征LPQ特征，所述高尺度图片是原始行人图片集合P和Q，在P上能检测出人脸特征的行人图片集合记为P_f，在Q上能检测出人脸特征的行人图片集合记为Q_f，最后用能检测到人脸的行人图片集合Q_f来补充候选行人集将候选行人集扩充为Q_candidate，

第三步：在Q_candidate的原始行人图片上即高尺度图片上提取有空间限制的纹理特征LSCF、极大稳定颜色区域特征MSCR和加权颜色特征wHSV，得到初始分数曲线query_LSCF，query_MSCR和query_wHSV；

第四步：采用自适应加权的方法融合在低尺度和高尺度上提取的特征，针对行人p，p∈P，对行人集合中的各行人进行相似度计算，并对得到的相似度按降序排列，得到Q中p最相似的行人集合；

所述第四步，具体步骤为：

2.根据权利要求1所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特征是所述第二步的具体实现步骤为：

e)Q_f和合并得到新的候选行人集合Q_candidate。

3.根据权利要求1所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特征是：第三步中，所述有空间限制的纹理特征是一种改进的基于纹理特征的比对方法，其步骤为：

4.根据权利要求3所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特征是：第三步中，在高尺度图片上提取MSCR特征和wHSV特征，对于行人p∈P_f，计算p与集合Q_candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线query_MSCR和query_wHSV。