CN104200206B - 一种基于双角度排序优化的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于双角度排序优化的行人重识别方法，属于监控视频检索技术领域。本发明首先通过基于全局特征和局部特征的方法得到初始的排序结果；然后通过取两者排序结果的前k个结果的交集作为初始查询更可靠的最近邻；再然后对里的每一个目标作为新的查询进行交叉的反向查询，通过加权融合反向查询的排序列表得到整个优化的排序列表；最后再对里的每个去构建一个双层图，计算图的近邻相似性去对进行进一步的重排，进而得到更好的重识别效果。

Description

一种基于双角度排序优化的行人重识别方法

技术领域

本发明属于监控视频检索技术领域，尤其涉及一种基于双角度的排序优化行人重识别方法。

背景技术

在实际视频侦查中，侦查员需要根据指定行人对象在多摄像头下的活动画面和轨迹来快速排查、追踪和锁定嫌疑目标。传统基于人工浏览的视频侦查模式需要耗费大量的人力和时间、效率低下，极易贻误破案时机。行人重识别是一种针对特定行人对象的跨摄像头监控视频自动检索技术，即在照射区域无重叠的多摄像头下匹配同一行人对象。便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。

现有的行人重识别(又称行人检索)技术根据特征表示的类型主要分为两类：

第一类主要是基于全局描述的特征，即用行人整体外貌信息的描述去表述一个行人。例如文献1提出了一种基于整体效果的特征描述方法，用一个列向量去表示一个行人；然后用计算两个向量的巴氏距离去检索行人。近年来，研究者在全局特征描述的基础上用尺度学习的方法去改进初始的距离度量的重识别效果。文献2通过PCA将每个行人表示成一个较短的向量，然后通过距离学习去改进重识别效果。

第二类主要是基于局部描述的特征，即主要利用行人外貌局部显著性的区域信息去检索行人。例如文献3提出了一种基于显著度匹配的行人重识别技术，通过无监督学习去寻找每个行人的显著性局部区域，通过匹配显著性区域去检索行人。

全局特征和局部特征的都取得了不错的重识别效果，然而我们发现他们的初始排序列表差异很大。由于基于全局特征描述方法检索出来的行人可能只是在整体上看上去差异不大但是局部细节差异很大，而基于局部特征描述的方法在行人局部区域有遮挡的情况下效果一般。

【文献1】Farenzena M,Bazzani L,Perina A,et al.“Person re-identificationby symmetry-driven accumulation of local features”，Computer Vision andPattern Recognition(CVPR),PP.2360-2367,2010。

【文献2】Kostinger M,Hirzer M,Wohlhart P,et al.“Large scale metriclearning from equivalence constraints”,Computer Vision and PatternRecognition(CVPR),PP.2288-2295,2012。

【文献3】Zhao R,Ouyang W,Wang X.“Unsupervised salience learning forperson re-identification”,Computer Vision and Pattern Recognition(CVPR),PP.3586-3593,2013。

发明内容

针对现有技术存在的不足，本发明提供了一种基于双角度排序优化的行人重识别方法，该方法通过对全局和局部特征的初始排序结果进行融合，进而提升多摄像头下同一行人匹配的准确性。

本发明所采用的技术方案是：一种基于双角度排序优化的行人重识别方法，其特征在于，包括以下步骤：

步骤1：针对一个特定的查询p，分别通过基于全局特征描述方法和局部特征描述方法得到p的排序列表RL^g(p)和RL^l(p)，通过对两个排序列表的前k个结果取交集，得到他们双方都认同的最近邻即共同最近邻有k_c个；

步骤2：对里的每一个最近邻作为一个新的查询，保留原先的待查集，进行交叉的反向查询；其具体实现包括以下子步骤：

步骤2.1：对于全局特征描述方法，对进行反向查询时，用基于局部特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于全局特征描述方法而言，可以得到共k_c+1个排序列表，

步骤2.2：对于局部特征描述方法，对进行反向查询时，用基于全局特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于局部特征描述方法而言，可以得到共k_c+1个排序列表，

步骤3：对于全局特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^g(p)的前k个的相似性，计算每个的排序列表赋的权重对于局部特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^l(p)的前k个的相似性，计算每个的排序列表赋的权重

步骤4：对于全局特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对于局部特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合排序列表RL^*(p)，其中，α表示融合的权重，可根据实际情况调整；

步骤5：对中的每一个行人构建一个双层图Graph＝<G,E,w>，根据其进行重排，第一层采用初始的基于全局特征描述方法得到的top-k个结果，第二层采用局部特征描述方法，取top-k结果，计算两层的Jaccard相似度，对中进行重排，并输出排序优化的结果。

作为优选，步骤1中双方都认同的最近邻定义为：

其中，和表示两种方法排序列表的前k个结果。

作为优选，步骤3中的和分别定义为：

其中，是初始基于全局的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果；是初始基于局部的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果。

作为优选，步骤5中所述的两层的Jaccard相似度为：

其中由在中初始的排序顺序决定，即：

其中，是初始排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果。

与现有基于排序优化的行人重识别技术相比，本发明具有以下优点和有益效果：

1)与现有技术相比，本发明在基于双角度即全局和局部视角的方法下，利用全局和局部方法的互补性来优化初始排序结果，使得排名靠前的检索结果更加可靠；

2)本发明引入排序融合的方法来改进重识别性能，在排序层面上的优化使得方法的拓展性和适用性很强。

附图说明

图1：为本发明方法流程图。

图2：为本发明实施例的技术方案示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明是基于双角度排序优化的行人重识别方法。首先通过基于全局特征和局部特征的方法得到初始的排序结果；然后通过取两者排序结果的前个结果的交集作为初始查询更可靠的最近邻；再然后对里的每一个目标作为新的查询进行交叉的反向查询，通过加权融合反向查询的排序列表得到整个优化的排序列表；最后再对里的每个去构建一个双层图，计算图的近邻相似性去对进行进一步的重排，进而得到更好的重识别效果。

请见图1、图2，本实施例采用MATLAB7作为仿真实验平台，在常用的行人重识别数据集VIPeR上进行测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄像头之间存在明显的视角、光照等差异。

本发明的流程为：

步骤1：针对一个特定的查询p，分别通过基于全局特征描述方法和局部特征描述方法得到p的排序列表RL^g(p)和RL^l(p)，通过对两个排序列表的前k个结果取交集，得到他们双方都认同的最近邻即共同最近邻有k_c个，

步骤2：对里的每一个最近邻作为一个新的查询，保留原先的待查集，进行交叉的反向查询；其具体实现包括以下子步骤：

步骤2.1：对于全局特征描述方法，对进行反向查询时，用基于局部特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于全局特征描述方法而言，可以得到共k_c+1个排序列表，

步骤2.2：对于局部特征描述方法，对进行反向查询时，用基于全局特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于局部特征描述方法而言，可以得到共k_c+1个排序列表，

步骤3：对于全局特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^g(p)的前k个的相似性，计算每个的排序列表赋的权重 对于局部特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^l(p)的前k个的相似性，计算每个的排序列表赋的权重 其中，是初始基于全局的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果；是初始基于局部的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果；

步骤4：对于全局特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对于局部特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合排序列表RL^*(p)，其中，α表示融合的权重，可根据实际情况调整；

步骤5：对中的每一个行人构建一个双层图Graph＝<G,E,w>，根据其进行重排，第一层采用初始的基于全局特征描述方法得到的top-k个结果，第二层采用局部特征描述方法，取top-k结果，计算两层的Jaccard相似度 其中由在中初始的排序顺序决定，即：

其中，是初始排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果；对中进行重排。

步骤7：重新计算排序优化后的CMC值，此处CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。

上述过程对每个测试样本进行k次查询，计算k次查询平均CMC值，并输出，此处k取10。对比初始的基于全局和基于局部的行人重识别方法的平均CMC值，见表1。从表1中可以发现，本发明的排序优化行人重识别方法的检索性能有明显的提高。

表1 在VIPeR上分别返回前1、5、10、25个结果时的平均CMC值(％)

方法	1	5	10	25
					文献2方法	22.63	50.13	63.73	82.12
文献3方法	23.32	43.73	54.05	68.45
					本发明方法	34.97	62.94	72.03	85.41

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于双角度排序优化的行人重识别方法，其特征在于，包括以下步骤：

步骤1：针对一个特定的查询p，分别通过基于全局特征描述方法和局部特征描述方法得到p的排序列表RL^g(p)和RL^l(p)，通过对两个排序列表的前k个结果取交集，得到他们双方都认同的最近邻即共同最近邻有k_c个；

步骤2：对里的每一个最近邻作为一个新的查询，保留原先的待查集，进行交叉的反向查询；其具体实现包括以下子步骤：

步骤2.1：对于全局特征描述方法，对进行反向查询时，用基于局部特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于全局特征描述方法而言，可以得到共k_c+1个排序列表，

步骤2.2：对于局部特征描述方法，对进行反向查询时，用基于全局特征描述方法去查询，得到一个新的排序列表因此可以得到k_c个新的反向排序列表，即对于局部特征描述方法而言，可以得到共k_c+1个排序列表，

步骤3：对于全局特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^g(p)的前k个的相似性，计算每个的排序列表赋的权重对于局部特征描述方法，每个新的查询和它的排序列表根据新的排序列表与初始排序列表RL^l(p)的前k个的相似性，计算每个的排序列表赋的权重

步骤4：对于全局特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对于局部特征描述方法，通过对新的k_c+1个排序列表进行加权融合，可以得到优化后的排序列表 对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合排序列表RL^*(p)，其中，α表示融合的权重；

步骤5：对中的每一个行人构建一个双层图Graph＝<G,E,w>，根据其进行重排，第一层采用初始的基于全局特征描述方法得到的top-k个结果，第二层采用局部特征描述方法，取top-k结果，计算两层的Jaccard相似度，对中进行重排，并输出排序优化的结果。

2.根据权利要求1所述的基于双角度排序优化的行人重识别方法，其特征在于：步骤1中双方都认同的最近邻定义为：

$G_{K_c}\left(p\right)=\left\{{\mathrm{RL}}_k^g\left(p\right)\right\}\&cap;\left\{{\mathrm{RL}}_k^l\left(p\right)\right\}$

其中，和表示两种方法排序列表的前k个结果。

3.根据权利要求1所述的基于双角度排序优化的行人重识别方法，其特征在于：步骤3中所述的和分别定义为：

$w^g\left(g_{K_c\left(j\right)}\right)=\frac{|N_k^g\left(p\right)\&cap;N_k^{l^{\&prime;}}\left(g_{K_c\left(j\right)}\right)|}{k};$

$w^l\left(g_{K_c\left(j\right)}\right)=\frac{|N_k^l\left(p\right)\&cap;N_k^{g^{\&prime;}}\left(g_{K_c\left(j\right)}\right)|}{k};$

其中，是初始基于全局的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果；是初始基于局部的方法排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果。

4.根据权利要求1所述的基于双角度排序优化的行人重识别方法，其特征在于：步骤5中所述的两层的Jaccard相似度为：

$Sim(p,g_{K_c\left(j\right)})=w(p,g_{K_c\left(j\right)})\frac{|N_k^g\left(p\right)\&cap;N_k^{l^{\&prime;}}\left(g_{K_c\left(j\right)}\right)|}{|N_k^g\left(p\right)\&cup;N_k^{l^{\&prime;}}\left(g_{K_c\left(j\right)}\right)|}$

其中由在中初始的排序顺序决定，即：

$w(p,g_{K_c\left(j\right)})={w_0}^{rank(g_{K_c\left(j\right)},G_{K_c}(p\left)\right)};$

其中，是初始排序列表的前k个结果，是用交叉反向查询排序列表的前k个结果。