CN105989369B - 基于度量学习的行人再识别方法 - Google Patents

Abstract

本发明涉及一种基于度量学习的行人再识别方法。包括以下步骤：1】利用摄像机A与摄像机B拍摄视频，将同时出现在两个摄像机中的行人图像用方框标记并提取出来，建立原始数据库X；2】将训练样本集中的正样本对映射到正样本空间W_p、负样本对映射到负样本空间W_n；3】计算所有测试集合与原型图像集的距离，得到查询结果。本发明提供了一种有效克服了原始数据的类间相似性类内差异性病提高了精准度的基于度量学习的行人再识别方法。

Description

基于度量学习的行人再识别方法

技术领域

本发明属于信息处理技术领域，涉及一种识别方法，特别涉及一种基于度量学习的行人再识别方法，可用于公共安全智能管理、军事侦察以及刑侦辅助等领域。

背景技术

随着科学技术的发展，视频监控系统已经在通信、安全、交通等行业得到了广泛的应用，其在维护社会治安中起到重要作用，并逐渐向大众化、智能化发展。行人再识别技术是基于计算机视觉的一个研究领域，旨在非重叠的多摄像机网络下，找到相同的感兴趣目标。行人再识别技术广泛的应用在视频监控系统中，其在公共安全，维护社会治安、客户行为分析等领域起到重要作用，因此研究行人再识别技术具有非常重要的意义与应用价值。行人再识别技术是建立在目标跟踪的基础上，对同一目标进行再识别，其结果可以进一步辅助多摄像机中的目标跟踪，也可以用于行为异常分析以及刑侦辅助，从而实现视频监控系统的智能化。

目前，监控视频中的行人再识别方法主要分为两类：

一是基于特征的方法，这种方法致力于提取稳定并具有分辨能力的特征，或者学习选择重要的特征。M.Farenzena等人在文献“M.Farenzena,L.Bazzani,A.Perina,V.Murino,and M.Cristani.Person re-identification by symmetry-drivenaccumulation of local features.IEEE Conference on Computer Vision and PatternRecognition,pages 2360–2367,2010”中提出3种特征提取方法，该方法利用人体对称信息对提出的特征进行加权，离对称轴越近的点权重越大，因此能有效的克服行人在不同镜头下姿势不同的影响。然而由于实际拍摄的行人经常受到光照、遮挡、视角、背景变化的影响，同一个行人在不同的摄像机中的外观会发生巨大变化，在一些严重的情况下，不同的行人甚至看起来比同一个行人更相似，因此在不同的摄像机中提取稳定且具有分辨力的特征是十分困难的，难以取得可靠的结果。二是基于度量学习的方法。这种方法的核心思想是通过学习一种度量方法，使得具有相同属性的个体相近，不同属性的个体相远离。W.Zheng等人在文献“W.Zheng,S.Gong,and T.Xiang.Reidentification by relative distancecomparison.IEEE Transactions on Pattern Analysis and Machine Intelligence,35(3):653–668,2013”中提出一种方法，该方法通过将原始特征映射到新的空间来学习一个马氏度量矩阵使得同类目标距离小于异类目标。然而，由于同一个行人在不同摄像机拍摄下其外观会发生剧烈的变化，同时不同行人由于穿着衣服颜色相似，因此具有很大相似性。因此，训练样本中存在着严重的类间相似性以及类内差异性，学习一个度量矩阵使得所有同类目标距离小于异类目标距离是非常困难的。同时，同类目标以及不同类目标应具有不同的内在属性，把他们映射到同一个子空间并忽略原始空间的先验知识，可能会使得原始信息没有有效利用，进而导致较低的分辨率。

发明内容

为了解决背景技术中所存在的技术问题，本发明提出了一种有效克服类间相似性类内差异性的行人再识别方法。

本发明的技术解决方案为：一种基于度量学习的行人再识别方法，其特殊之处在于：包括以下步骤：

1】利用摄像机A与摄像机B拍摄视频，将同时出现在两个摄像机中的行人图像用方框标记并提取出来，建立原始数据库X；将原始数据X划分为训练样本集Η和测试样本集T，满足Η∪T＝X，

其中

1a]将数据库中的P个行人在摄像机A与摄像机B中的所有图像作为训练样本集，剩余行人的所有图像作为测试样本集；

1b]将测试样本集分为原型图像集和测试集合，上述原型图像集为行人在摄像机A中的所有图像；上述测试集合为行人在摄像机B中的所有图像；

2】将训练样本集中的正样本对映射到正样本空间W_p、负样本对映射到负样本空间W_n；约束正样本对更相似，负样本对更相远，进而得到两个子空间；

2a]将训练样本集中来自摄像机A、B的两幅图像x_i,x_j，若x_i,x_j为同一目标则标记为正样本对，若x_i,x_j为不同目标则标记为负样本对；并定义正样本对集合S负样本对集合D；

记作：S＝{(x_i,x_j)|y(x_i)＝y(x_j)}，D＝{(x_i,x_l)|y(x_i)≠y(x_l)}；

其中y表示样本的标签,即行人ID；

2b]将正样本对映射到正样本空间W_p，负样本对映射到负样本空间W_n，如下：

(x_i,x_j)→(W_px_i,W_px_j)(x_i,x_j)∈S

(x_i,x_l)→(W_nx_i,W_nx_l)(x_i,x_l)∈D

2c]约束正样本对更相似，负样本对更相远：

其中，d(x_i,x_j)是原始空间的欧式距离；

2d]将步骤2c]中的两个公式左右两边相乘，可以得到：

利用逻辑回归函数log(1+exp(-x))计算上述式子的惩罚函数，则子空间可以通过优化下面的目标函数得到：

s.t.W_p ^TW_p＝W_n ^TW_n＝M

其中zi_j＝|x_i-x_j|，f(z_ij,M)＝z_ij ^TMz_ij,α_ij＝exp(-d²(x_i,x_j)/σ)；λ是参量，控制正则项的大小，σ是一个正数用来控制权重的范围；

2e]最小化步骤2d]中的目标函数，求得M；

3】计算所有测试集合与原型图像集的距离，得到查询结果，具体方法如下：选取测试集合中的一个测试样本根据下式计算该测试样本与所有原型图像集的距离：

其中，z_ij＝|x_i-x_j|，上述

是第i个测试样本，

是原型图像集的第j个样本；σ是一个正数用来控制权重的范围。

上述步骤2】2d]中λ取值0.1，σ取值2.2。

本发明的优点是：本发明将原始的正负样本对分别映射到正样本空间以及负样本空间。正样本空间能够连接同一目标在不同相机中的外观变化，负样本空间能够表达不同目标的不同属性。通过约束同类目标更相似，不同目标更相远，该方法在利用了同类目标与不同目标不同属性的同时，有效克服了原始数据的类间相似性类内差异性。同时，原始数据的先验信息被用来指导优化学习过程，进而取得了更好的结果。

附图说明

图1为本发明基于度量学习的行人再识别流程图。

具体实施方式

参照图1，一种基于度量学习的行人再识别方法，包括以下步骤：

1】利用摄像机A与摄像机B拍摄视频，将同时出现在两个摄像机中的行人图像用方框标记并提取出来，建立原始数据库X；将原始数据X划分为训练样本集Η和测试样本集T，满足Η∪T＝X，

其中

1a]将数据库中的P个行人在摄像机A与摄像机B中的所有图像作为训练样本集，剩余行人的所有图像作为测试样本集；

1b]将测试样本集分为原型图像集和测试集合，上述原型图像集为行人在摄像机A中的所有图像；上述测试集合为行人在摄像机B中的所有图像；

2】将训练样本集中的正样本对映射到正样本空间W_p、负样本对映射到负样本空间W_n；约束正样本对更相似，负样本对更相远，进而得到两个子空间；

2a]将训练样本集中来自摄像机A、B的两幅图像x_i,x_j，若x_i,x_j为同一目标则标记为正样本对，若x_i,x_j为不同目标则标记为负样本对；并定义正样本对集合S负样本对集合D；

记作：S＝{(x_i,x_j)|y(x_i)＝y(x_j)}，D＝{(x_i,x_l)|y(x_i)≠y(x_l)}；

其中y表示样本的标签,即行人ID；

2b]将正样本对映射到正样本空间W_p，负样本对映射到负样本空间W_n，如下：

(x_i,x_j)→(W_px_i,W_px_j)(x_i,x_j)∈S

(x_i,x_l)→(W_nx_i,W_nx_l)(x_i,x_l)∈D

2c]约束正样本对更相似，负样本对更相远：

其中，d(x_i,x_j)是原始空间的欧式距离；

2d]将步骤2c]中的两个公式左右两边相乘，可以得到：

利用逻辑回归函数log(1+exp(-x))计算上述式子的惩罚函数，则子空间可以通过优化下面的目标函数得到：

s.t.W_p ^TW_p＝W_n ^TW_n＝M

其中zi_j＝|x_i-x_j|，f(z_ij,M)＝z_ij ^TMz_ij,α_ij＝exp(-d²(x_i,x_j)/σ)；λ是参量，控制正则项的大小，σ是一个正数用来控制权重的范围；

2e]最小化步骤2d]中的目标函数，求得M；

3】计算所有测试集合与原型图像集的距离，得到查询结果，具体方法如下：选取测试集合中的一个测试样本根据下式计算该测试样本与所有原型图像集的距离：

其中，z_ij＝|x_i-x_j|，上述

是第i个测试样本，

是原型图像集的第j个样本；σ是一个正数用来控制权重的范围。

上述步骤2】2d]中λ取值0.1，σ取值2.2。

本发明实际实现的步骤如下：

步骤1，划分训练样本集和测试样本集。

(1a)将数据库中的图像集划分为训练样本集和测试样本集，其中P个行人在两个摄像机中的所有图像作为训练样本集，剩余行人的所有图像作为测试样本集；

(1b)将测试样本集分为原型图像集和测试集合，其中原型图像集为行人在摄像机A中的所有图像，测试集合为行人在摄像机B中的所有图像；

步骤2，将训练样本集中的正负样本对映射到正样本空间W_p、负样本空间W_n，并学习得到两个子空间。

(2a)将训练样本集中来自摄像机A、B的两幅图像x_i,x_j，若为同一目标则标记为正样本对，若为不同目标则标记为负样本对。并定义正样本对集合S负样本对集合D，记作：S＝{(x_i,x_j)|y(x_i)＝y(x_j)}，D＝{(x_i,x_l)|y(x_i)≠y(x_l)}。其中y表示样本的标签,即行人ID；

(2b)将正样本对映射到正样本空间W_p，负样本对映射到负样本空间W_n，如下：

(x_i,x_j)→(W_px_i,W_px_j)(x_i,x_j)∈S

(x_i,x_l)→(W_nx_i,W_nx_l)(x_i,x_l)∈D

(2c)约束正样本对更相似，负样本对更相远：

其中，d(·)是原始空间的欧式距离。通过正样本空间以及负样本空间的映射，正负样本对的不同属性能够得到充分利用。正样本空间能够连接不同镜头下行人外观变化，使得相同目标更相似，负样本空间能够使得不同目标更不相似，因此更具有分辨力。

(2d)将步骤(2c)中的两个公式左右两边相乘，可以得到：

利用逻辑回归函数log(1+exp(-x))计算上述式子的惩罚函数，则子空间可以通过优化下面的目标函数得到：

s.t.W_p ^TW_p＝W_n ^TW_n＝M

其中z_ij＝|x_i-x_j|，f(z_ij,M)＝z_ij ^TMz_ij,α_ij＝exp(-d²(x_i,x_j)/σ)。λ是参量，控制正则项的大小，σ是一个正数用来控制权重的范围。在本发明中λ取值0.1，σ取值2.2；

(2e)最小化步骤(2d)中的目标函数，可以求得M。

步骤3，计算测试集合与原型图像集的距离。

选取测试集合中的一个测试样本根据下式计算该测试样本与所有原型图像集的距离：

其中，z_ij＝|x_i-x_j|，

是第i个测试样本，

是原型图像集的第j个样本；σ是一个正数用来控制权重的范围；

步骤4，计算累计精度(CMC)。

重复步骤3，直至处理完所有的测试样本。给定一个测试样本，将该样本与所有原型图像集的距离进行排序，并记录下正确匹配目标的位置。计算累计精度(CMC曲线)：

CMC曲线的横坐标为rank，纵坐标是随着rank增加的累计精度。上式中下标l表示CMC曲线的横坐标值rank＝l，Q是测试集合样本数目，1是一个标识符，其当括号内的值为真时，值为1，r(·)表示rank，g_pi表示正确匹配的原型图像的排序位置，即rank值。通常，我们希望正确匹配的目标与查询目标最相似，距离最近，即能够将正确匹配的目标排在最前面rank＝1，然而由于不同摄像机下的同一个行人由于光照、视角、姿势、背景变化以及遮挡等因素影响，我们很难在rank＝1时，找到正确匹配目标。因此常用的比较方法是比较rank＝1至rank＝20之间的累计精度。

本发明的效果可以通过以下实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存16G、WINDOWS 8操作系统上，运用MATLAB软件进行的仿真。

实验中使用的图像数据库为加州大学公开权威的VIPeR行人再识别数据库，其图像由两个室外摄像机拍摄的，每个摄像机中有632个行人，每个行人一张图像。

2.仿真内容

首先，在VIPeR数据集上，完成本发明算法(基于度量学习的行人再识别)的实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了4个对比方法SDALF、RDC、KISSME、PCCA进行比较。其中SDALF是在文献“M.Farenzena,L.Bazzani,A.Perina,V.Murino,and M.Cristani.Person re-identification by symmetry-drivenaccumulation of local features.In CVPR,pages 2360–2367,2010.”提出的。RDC在“W.Zheng,S.Gong,and T.Xiang.Reidentification by relative distancecomparison.IEEE Transactions on Pattern Analysis and Machine Intelligence,35(3):653–668,2013.”中有详细介绍。KISSME是在“M.K¨ostinger,M.Hirzer,P.Wohlhart,P.Roth,and H.Bischof.Large scale metric learning from equivalenceconstraints.In CVPR,pages 2288–2295,2012.”提出的。PCCA是在“A.Mignon andF.Jurie.PCCA:A new approach for distance learning from sparse pairwiseconstraints.In CVPR,pages 2666–2672,2012.”中提出的。

利用训练样本学习两个子空间。在VIPeR数据集中选取P个行人在两个镜头下的图像作为训练样本集。剩余的行人的图像作为测试样本集。测试样本集中来自摄像机A中的图像作为原型数据集，来自摄像机B的图像作为测试集合。将训练图像中的正样本对、负样本对分别投影到正样本空间、负样本空间通过优化步骤(2d)中的目标函数，可以求得映射子空间。本实验中训练样本个数P分别选择为P＝316,P＝100。

其次，根据步骤3中的距离度量公式，计算测试集合与原型图像集的距离，并计算累计精度。

重复上述步骤10次，计算求得平均累计精度，其结果如表1所示。

r表示rank，从表1可见，本发明的识别率比现流形方法的识别率要高，其中当rank＝1，P＝316时本方法比其他方法高出5％的精度；在rank＝1到rank＝20的精度比其他方法的识别率都要高。当训练样本较少，P＝100时，本发明的识别率远高于其他方法，在rank＝20时，本发明比其他方法精度高7.51％。因此本方法比其他方法更有效。

表1行人再识别识别率

Claims (2)

1.一种基于度量学习的行人再识别方法，其特征在于：包括以下步骤：

1】利用摄像机A与摄像机B拍摄视频，将同时出现在两个摄像机中的行人图像用方框标记并提取出来，建立原始数据库X；将原始数据X划分为训练样本集Η和测试样本集T，满足Η∪T＝X，

其中

1a]将数据库中的P个行人在摄像机A与摄像机B中的所有图像作为训练样本集，剩余行人的所有图像作为测试样本集；

1b]将测试样本集分为原型图像集和测试集合，所述原型图像集为行人在摄像机A中的所有图像；所述测试集合为行人在摄像机B中的所有图像；

2】将训练样本集中的正样本对映射到正样本空间W_p、负样本对映射到负样本空间W_n；约束正样本对更相似，负样本对更相远，进而得到两个子空间；

2a]将训练样本集中来自摄像机A、B的两幅图像x_i,x_j，若x_i,x_j为同一目标则标记为正样本对，若x_i,x_j为不同目标则标记为负样本对；并定义正样本对集合S负样本对集合D；

记作：S＝{(x_i,x_j)|y(x_i)＝y(x_j)}，D＝{(x_i,x_l)|y(x_i)≠y(x_l)}；

其中y表示样本的标签,即行人ID；

2b]将正样本对映射到正样本空间W_p，负样本对映射到负样本空间W_n，如下：

(x_i,x_j)→(W_px_i,W_px_j)(x_i,x_j)∈S

(x_i,x_l)→(W_nx_i,W_nx_l)(x_i,x_l)∈D

2c]约束正样本对更相似，负样本对更相远：

其中，d(x_i,x_j)是原始空间的欧式距离；

2d]将步骤2c]中的两个公式左右两边相乘，可以得到：

利用逻辑回归函数log(1+exp(-x))计算上述式子的惩罚函数，则子空间可以通过优化下面的目标函数得到：

s.t.W_p ^TW_p＝W_n ^TW_n＝M

其中z_ij＝|x_i-x_j|，f(z_ij,M)＝z_ij ^TMz_ij,α_ij＝exp(-d²(x_i,x_j)/σ)；λ是参量，控制正则项的大小，σ是一个正数用来控制权重的范围；

2e]最小化步骤2d]中的目标函数，求得M；

3】计算所有测试集合与原型图像集的距离，得到查询结果，具体方法如下：选取测试集合中的一个测试样本根据下式计算该测试样本与所有原型图像集的距离：

其中，z_ij＝|x_i-x_j|，所述

是第i个测试样本，

是原型图像集的第j个样本，σ是一个正数用来控制权重的范围。

2.根据权利要求1所述的一种基于度量学习的行人再识别方法，其特征在于：所述步骤2】2d]中λ取值0.1，σ取值2.2。

Images