CN104298992A - 一种基于数据驱动的自适应尺度行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于数据驱动的自适应尺度行人重识别方法，首先采用稀疏表示的方法获得查询行人和待测行人间的跨域的支撑一致性，然后采用K近邻的方法获得查询行人和待测行人间的跨域的投影一致性，最后综合跨域的支撑一致性因子和跨域的投影一致性因子来计算行人对之间的距离。本发明通过再次利用训练数据在不同视角下的一致性来自适应地调节尺度，可以提高现有算法的性能，获得更准确的行人重识别结果。

Description

一种基于数据驱动的自适应尺度行人重识别方法

技术领域

本发明属于监控视频检索技术领域，涉及一种监控视频识别方法，尤其涉及一种基于数据驱动的自适应尺度行人重识别方法。

背景技术

监控视频行人检索是在照射区域无重叠的多摄像头下匹配特定行人对象的技术。在实际视频侦查中，侦查员主要根据同一行人对象的活动画面和轨迹来快速锁定、排查和追踪嫌疑目标。传统人工浏览的视频侦查模式需要耗费大量的人力和时间，容易贻误破案时机。行人重识别技术便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。

现有行人检索(又称行人重识别)方法可以分为两类：第一类主要构造鲁棒的视觉特征，然后使用标准的距离函数(如欧式距离等)进行相似性度量。例如文献1提出的基于对称分割的多局部特征匹配的行人重识别方法，首先利用颜色特征线索对身体进行水平和垂直分割；其次提取各区域的多种颜色和纹理特征，并基于水平中轴加权上述视觉特征；最后综合使用上述特征进行对象的表示和匹配。

第二类对于特征构造没有严格的要求，主要通过学习一个合适的尺度进行更准确的距离度量。例如文献2将同类样本的差向量和不同样本的差向量分别表示成不同的高斯分布，然后用概率的比值来度量样本之间的距离，最终将高斯分布的比值转换成马氏距离的形式，从而学习一个合适的马氏距离函数。

上述方法都是使用一个统一的学习得到的距离函数，没有考虑特定的行人重识别任务的特定限制，也没有考虑每个行人的独特特性带来的不一致性。因此在实际行人重识别任务中，采用统一的距离函数是不合适的，会导致外貌特征的匹配误差，使得行人重识别结果不准确。

文献1：M.Farenzena,L.Bazzani,A.Perina,V.Murino,and M.Cristani,“Person re-identification by symmetry-driven accumulation of localfeatures”,IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),PP.2360–2367,2010.

文献2：M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,andH.Bischof,“Large scale metric learning from equivalence constraints”,in ComputerVision and Pattern Recognition(CVPR),PP.2288-2295,2012.

发明内容

本发明的目的提供一种能提升多摄像头下同一行人匹配准确性的基于数据驱动的自适应尺度行人重识别方法。

本发明所采用的技术方案是：一种基于数据驱动的自适应尺度行人重识别方法，其特征在于，包括以下步骤：

步骤1：将查询行人图像和待测行人图像都分割为m行n列的小图像块，每幅图像表示为图像块的集合；

步骤2：提取查询行人和待测行人的每个图像块的特征，将每幅图像用基于块的特征表示；

步骤3：采用稀疏表示的方法，计算查询行人相对于待测行人的跨域的支撑一致性因子；

步骤4：采用K近邻的方法，计算查询行人相对于待测行人的跨域的投影一致性因子；

步骤5：根据跨域的支撑一致性因子和跨域的投影一致性因子，来学习得到尺度适应的矩阵，从而计算得到查询行人和待测行人之间的距离。

作为优选，步骤2中所述的图像块的特征，包括RGB特征、HSV颜色直方图特征和LBP特征。

作为优选，步骤3中所述的采用稀疏表示的方法计算查询行人相对于待测行人的跨域的支撑一致性因子，其查询行人相对于待测行人的跨域的支撑一致性因子定义为：

$f_a(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_s(x_a^p,x_b^q)}\right]}^{\mathrm{\α}}={\left[\frac{1}{1+\mathrm{size}\left(w_a^{p*}{w}_b^{q*}\right)}\right]}^{\mathrm{\α}},\mathrm{\α}>0$

其中 ${\mathrm{Sim}}_s(x_a^p,x_b^q)=\mathrm{size}\left(w_a^{p*}{w}_b^{q*}\right),$ size()表示向量中非零元素的个数，和分别由

$w_a^{p*}=\arg {\min \left|\right|w_a^p\left|\right|}_0,s.t.\left|\right|D_a{w}_a^p-x_a^p\left|\right|<\mathrm{\&epsiv;},w_a^p\&GreaterEqual;0$ 和

$w_b^{q*}=\arg {\min \left|\right|w_b^q\left|\right|}_0,s.t.\left|\right|D_b{w}_b^q-x_b^q\left|\right|<\mathrm{\&epsiv;},w_b^q\&GreaterEqual;0$ 计算得到，表示所选择的集合中的图像和它们的权重，表示集合a中的图像和所有图像的权重，表示集合b中的图像和所有图像的权重。

作为优选，步骤4中所述的采用K近邻的方法计算查询行人相对于待测行人的跨域的投影一致性因子，其查询行人相对于待测行人的跨域的投影一致性因子定义为：

$\begin{array}{c}{f}_p(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_b(x_a^p,x_b^q)+{\mathrm{Sim}}_a(x_a^p,x_b^q)}\right]}^{\mathrm{\&beta;}}\\ ={\left[\frac{1}{1+|\mathrm{knn}\left(x_a^p\right|X_{b,L})\&cap;\mathrm{knn}\left(x_b^{q{}_{}}\right|X_{b,L})|+|\mathrm{knn}\left(x_a^p\right|X_{a,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{a,L})|}\right]}^{\mathrm{\&beta;}},\mathrm{\&beta;}>0\end{array};$

其中表示在X_b,L中最邻近的前K张图像，表示在X_b,L中最邻近的前K张图像，表示和在X_b,L中前K个近邻中相同的个数；表示和在X_a,L中前K个近邻中相同的个数，X_a,L表示集合a中的训练图像集合，X_b,L表示集合b中的训练图像集合。

作为优选，步骤5中所述的得到尺度适应的矩阵为

$M_A^{*}=f_A(x_a^p,x_b^q)M^{*}=f_s(x_a^p,x_b^q)f_p(x_a^p,x_b^q)M^{*};$

其中，表示查询行人，表示待测行人，M^*表示采用最基本的距离学习方式得到的初始投影矩阵。表示采用稀疏表示的方法计算得到的查询行人相对于待测行人的跨域的支撑一致性因子，表示采用K近邻的方法计算得到的查询行人相对于待测行人的跨域的投影一致性因子。

作为优选，步骤5中所述的计算得到查询行人和待测行人之间的距离d_A(X_a,X_b),其计算公式为：

其中 $M_A^{*}=f_A(x_a^p,x_b^q)M^{*}=f_s(x_a^p,x_b^q)f_p(x_a^p,x_b^q)M^{*},$ M^*表示采用最基本的距离学习方式得到的初始投影矩阵；表示采用稀疏表示的方法计算得到的查询行人相对于待测行人的跨域的支撑一致性因子，表示采用K近邻的方法计算得到的查询行人相对于待测行人的跨域的投影一致性因子。最终距离越小，查询行人和待测行人越相似。

本发明具有以下优点和积极效果：

1)与现有技术相比，本发明引入稀疏表示的方法和K近邻的方法，通过跨域的支撑一致性和跨域的投影一致性来计算查询行人和待测行人之间的距离，可以获得更准确行人重识别结果；

2)本发明再次利用训练数据在不同视角下的一致性，来自适应地调节尺度，对于现有算法性能有明显提高。

附图说明

图1：是本发明实施例的方法流程图。

图2：是本发明实施例的技术方案实施例示意图。

图3：是本发明实施例的技术方案原理示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提出一种基于数据驱动的自适应尺度行人重识别方法。核心思想是再次利用训练数据在不同视角下的一致性，来自适应地调节尺度。具体而言，首先采用稀疏表示的方法获得查询行人和待测行人间的跨域的支撑一致性，然后采用K近邻的方法获得查询行人和待测行人间的跨域的投影一致性，最后综合跨域的支撑一致性因子和跨域的投影一致性因子来计算行人对之间的距离。

请见图1、图2和图3，本发明采用MATLAB7作为仿真实验平台，在常用的行人检索数据集VIPeR上进行测试。VIPeR数据集有两个摄像头下632个行人图像对，摄像头之间存在明显的视角、光照等差异。下面结合每个步骤详细描述本实施例：

(1)图像分块：将来自摄像头A下的行人图像集合表示为来自摄像头B下的行人图像集合表示为将查询行人图像和待测行人图像都分割为m行n列的小图像块，每幅图像表示为图像块的集合。

(2)特征提取：对(1)中的每个图像块进行颜色特征和纹理特征的提取，包括RGB特征，HSV颜色直方图特征和LBP特征。

(3)跨域的支撑一致性计算：针对图像利用图像集合中的多张图片来稀疏地表示，即 表示集合a中的图像和所有

图像的权重，由公式

$w_a^{p*}=\arg {\min \left|\right|w_a^p\left|\right|}_0,s.t.\left|\right|D_a{w}_a^p-x_a^p\left|\right|<\mathrm{\&epsiv;},w_a^p\&GreaterEqual;0$ 计算得到；

表示集合b中的图像和所有图像的权重，同理由

$w_b^{q*}=\arg {\min \left|\right|w_b^q\left|\right|}_0,s.t.\left|\right|D_b{w}_b^q-x_b^q\left|\right|<\mathrm{\&epsiv;},w_b^q\&GreaterEqual;0$ 计算得到则跨域的支撑相似性由 ${\mathrm{Sim}}_s(x_a^p,x_b^q)=\mathrm{size}\left(w_a^{p*}{w}_b^{q*}\right)$ 计算得到，其中size()表示向量中非零元素的个数，支撑一致性的因子定义为

$f_a(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_s(x_a^p,x_b^q)}\right]}^{\mathrm{\&alpha;}}={\left[\frac{1}{1+\mathrm{size}\left(w_a^{p*}{w}_b^{q*}\right)}\right]}^{\mathrm{\&alpha;}},\mathrm{\&alpha;}>0.$

(4)跨域的投影一致性计算：采用K近邻的方法计算查询行人相对于待测行人的跨域的投影一致性因子，其查询行人相对于待测行人的跨域的投影一致性因子定义为：

$\begin{array}{c}{f}_p(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_b(x_a^p,x_b^q)+{\mathrm{Sim}}_a(x_a^p,x_b^q)}\right]}^{\mathrm{\&beta;}}\\ ={\left[\frac{1}{1+|\mathrm{knn}\left(x_a^p\right|X_{b,L})\&cap;\mathrm{knn}\left(x_b^{q{}_{}}\right|X_{b,L})|+|\mathrm{knn}\left(x_a^p\right|X_{a,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{a,L})|}\right]}^{\mathrm{\&beta;}},\mathrm{\&beta;}>0\end{array};$

其中表示在X_b,L中最邻近的前K张图像，表示在X_b,L中最邻近的前K张图像，表示和在X_b,L中前K个近邻中相同的个数；表示和在X_a,L中前K个近邻中相同的个数，X_a,L表示集合a中的训练图像集合，X_b,L表示集合b中的训练图像集合。

(5)距离计算：综合(3)和(4)中获得的支撑一致性因子和投影一致性因子来学习得到尺度适应的矩阵为 $M_A^{*}=f_A(x_a^p,x_b^q)M^{*}=f_s(x_a^p,x_b^q)f_p(x_a^p,x_b^q)M^{*},$ 其中M^*表示采用最基本的距离学习方式得到的初始投影矩阵，则查询行人和待测行人之间的距离为最终距离越小，查询行人和待测行人越相似。

行人重识别评价指标使用CMC值，CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率。当返回前r个结果时，CMC值越高，表示行人重识别性能越好。本实例的测试过程重复10次，计算其平均CMC值。并对比了LMNN和KISSME这两种行人重识别方法原本的结果和增加了基于数据驱动的自适应尺度行人重识别方法后的结果，其结果请见表1。

表1  在VIPeR上返回前1、10、25、50个结果时的CMC值

方法	Rank1	10	25	50
					LMNN	18.54	54.59	72.09	85.89
LMNN+本方法	20.51	60.16	80.28	91.99
					KISSME	20.79	63.51	80.51	91.96
KISSME+本方法	22.66	66.71	85.32	95.16

从表1的CMC值比较中可以发现，本发明提出的基于数据驱动的自适应尺度行人重识别方法的对于现有算法性能有明显提高。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于数据驱动的自适应尺度行人重识别方法，其特征在于，包括以下步骤：

步骤1：将查询行人图像和待测行人图像都分割为m行n列的小图像块，每幅图像表示为图像块的集合；

步骤2：提取查询行人图像和待测行人图像的每个图像块的特征，将每幅图像用基于块的特征表示；

步骤3：采用稀疏表示的方法，计算查询行人图像相对于待测行人图像的跨域的支撑一致性因子；

步骤4：采用K近邻的方法，计算查询行人图像相对于待测行人图像的跨域的投影一致性因子；

步骤5：根据跨域的支撑一致性因子和跨域的投影一致性因子，来学习得到尺度适应的矩阵，从而计算得到查询行人和待测行人之间的距离。

2.根据权利要求1所述的基于数据驱动的自适应尺度行人重识别方法，其特征在于：步骤2中所述的图像块的特征，包括RGB特征、HSV颜色直方图特征和LBP特征。

3.根据权利要求1所述的基于数据驱动的自适应尺度行人重识别方法，其特征在于：步骤3中所述的采用稀疏表示的方法计算查询行人图像相对于待测行人图像的跨域的支撑一致性因子，其查询行人图像相对于待测行人图像的跨域的支撑一致性因子定义为：

$f_s(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_s(x_a^p,x_b^q)}\right]}^{\mathrm{\&alpha;}}={\left[\frac{1}{1+\mathrm{size}\left(w_a^{p*}{w}_b^{q*}\right)}\right]}^{\mathrm{\&alpha;}},\mathrm{\&alpha;}>0$

其中size()表示向量中非零元素的个数，和分别由 $\begin{array}{cc}{w}_a^{p*}=\arg \min {\left|\right|w_a^p\left|\right|}_0,& s.t.\left|\right|D_a{w}_a^p-x_a^p\left|\right|<\mathrm{\&epsiv;},w_a^p\&GreaterEqual;0\end{array}$ 和 $\begin{array}{cc}{w}_b^{q*}=\arg \min {\left|\right|w_b^q\left|\right|}_0,& s.t.\left|\right|D_b{w}_b^q-x_b^q\left|\right|<\mathrm{\&epsiv;},w_b^q\&GreaterEqual;0\end{array}$ 计算得到，表示所选择的集合中的图像和它们的权重，表示集合a中的图像和所有图像的权重，表示集合b中的图像和所有图像的权重。

4.根据权利要求1所述的基于数据驱动的自适应尺度行人重识别方法，其特征在于：步骤4中所述的采用K近邻的方法计算查询行人相对于待测行人的跨域的投影一致性因子，其查询行人相对于待测行人的跨域的投影一致性因子定义为：

$\begin{array}{c}{f}_p(x_a^p,x_b^q)={\left[\frac{1}{1+{\mathrm{Sim}}_b(x_a^p,x_b^q)+{\mathrm{Sim}}_a(x_a^p,x_b^q)}\right]}^{\mathrm{\&beta;}}\\ ={\left[\frac{1}{1+|\mathrm{knn}\left(x_a^p\right|X_{b,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{b,L})|+|\mathrm{knn}\left(x_a^p\right|X_{a,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{a,L})|}\right]}^{\mathrm{\&beta;}},\mathrm{\&beta;}>0\end{array};$

其中表示在X_b,L中最邻近的前K张图像，表示在X_b,L中最邻近的前K张图像， $|\mathrm{knn}\left(x_a^p\right|X_{b,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{b,L})|$ 表示和在X_b,L中前K个近邻中相同的个数； $|\mathrm{knn}\left(x_a^p\right|X_{a,L})\&cap;\mathrm{knn}\left(x_b^q\right|X_{a,L})|$ 表示和在X_a,L中前K个近邻中相同的个数，X_a,L表示集合a中的训练图像集合，X_b,L表示集合b中的训练图像集合。

5.根据权利要求1所述的基于数据驱动的自适应尺度行人重识别方法，其特征在于：步骤5中所述的得到尺度适应的矩阵为

$M_A^{*}=f_A(x_a^p,x_b^q)M^{*}=f_s(x_a^p,x_b^q)f_p(x_a^p,x_b^q)M^{*};$

其中，表示查询行人，表示待测行人，M^*表示采用最基本的距离学习方式得到的初始投影矩阵，表示采用稀疏表示的方法计算得到的查询行人相对于待测行人的跨域的支撑一致性因子，表示采用K近邻的方法计算得到的查询行人相对于待测行人的跨域的投影一致性因子。

6.根据权利要求5所述的基于数据驱动的自适应尺度行人重识别方法，其特征在于：步骤5中所述的计算得到查询行人和待测行人之间的距离d_A(X_a,X_b),其计算公式为：

最终距离越小，查询行人和待测行人越相似。