CN109214430A - 一种基于特征空间拓扑分布的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于特征空间拓扑分布的行人重识别方法，包括：将颜色直方图特征和纹理特征作为图像特征，根据图像特征在特征空间中的理想拓扑分布，构建正样本对距离小于负样本对距离的约束条件、以及构建相同类之间的距离要小于任意两个不同类的距离的约束条件；根据正样本对距离小于负样本对距离的约束条件获取对应的第一目标函数；根据相同类之间的距离要小于任意两个不同类的距离的约束条件获取对应的第二目标函数；根据第一目标函数和第二目标函数获取最终的目标函数，通过迭代优化对最终的目标函数进行求解，得到最优的度量矩阵，进而计算图像之间的相似得分，根据相似得分进行排序，找到相似程度最高的图像，实现行人的重识别。

Description

一种基于特征空间拓扑分布的行人重识别方法

技术领域

本发明涉及图像处理、计算机视觉技术领域，尤其涉及一种基于特征空间拓扑分布的行人重识别方法。

背景技术

随着数据存储与图像传感技术的快速发展，大规模视频监控网络已经被广泛部署在机场、公路、学校和办公大楼等诸多公共场所，有力的保障了城市的公共安全。但是庞大的监控网络会产生海量的视频信息，仅仅依靠人力的话不仅效率低下，而且可能会错失有用的线索，因此就需要利用智能视频监控技术从这些海量的数据中高效提取出有用的信息。该技术不仅可以大幅提升视频的处理速度，降低监控成本，还能够实现犯罪预防、交通管制、意外防范等功能，具有广泛的研究意义和应用前景。

作为该领域新兴的研究方向，行人重识别技术在近几年越来越受到学术界和产业界的关注，并且随着公安部平安城市概念的提出，相应的行业标准也在紧锣密鼓的制定中。行人重识别就是给定一个感兴趣的行人，需要在其他时间、其他地点、其他监控视野内再次发现并锁定该目标。

该技术可以应用于以下两个场景：1)实现跨摄像头的目标跟踪。目前单摄像头的目标跟踪已经取得了较多的成果，并且已经应用到许多商业领域。但是单摄像头的视野有限，当监控目标发生跨区穿越时就无法继续跟踪，并且无法判断在该监控范围内丢失的目标与其他监控范围内新出现的目标是否为同一行人。而行人重识别技术则可以利用不同视野下目标之间的相似性来寻找正确匹配的目标，从而获取行人在整个监控网络下的运动轨迹，实现长期且稳定的跟踪。2)实现行人的检索功能。监控网络为城市安全提供了大量的监控视频，利用行人重识别技术就可以代替人力排查的方式，在这些历史的录像中高效快速的筛选出最有可能包含目标行人的若干视频图像。

在实际应用中，行人重识别需要检索的目标在行人身份上与训练数据是完全没有重叠的，这与目前较为成熟的图像分类任务有一定区别，因为在图像分类任务中所有类在训练阶段都是可以见到并且学习的，因此行人重识别任务具有更大的挑战性。此外由于行人图像较难标注，所获得的训练数据的规模也比较小。环境不可控，视角、光照、姿势等条件的变化都导致了行人在不同监控视野下的外表存在较大的差异。以上诸多因素都会影响行人重识别算法的实际表现。因此就需要设计一个鲁棒的特征，并通过度量学习的方式得到一个有效的映射，使得映射后的样本特征更具备可分性。

欧氏距离可以用于比较特征之间的相似性，但是它对特征中的各个维度都是等价看待的，无法强调有用的信息。因此大多数度量学习的方法都是基于马氏距离，通过转换矩阵将特征映射到有辨析力的空间，从而增加样本之间的可分性。KISSME算法通过最大化似然比来扩大同类和不同类样本的可分性。Chen等人使用三元组损失，要求类内样本之间的距离要小于类间样本之间的距离。Zhang等人设计一个转换矩阵，要求正样本对的距离在转换之后为零，负样本对之间的距离为正。

发明人在使用本发明的过程中，发现现有技术主要存在以下缺点和不足：

现有的方法大多利用传统的三元组损失，要求对于一个检索样本来说，身份相同的样本要比身份不同的样本更接近该目标，没有考虑在特征空间中样本之间更全面的位置关系。

发明内容

本发明提供了一种基于特征空间拓扑分布的行人重识别方法，本发明解决了通过深入挖掘样本特征在特征空间中的拓扑位置分布关系，减少了类内样本的距离，同时增大了类间样本的距离，提高了样本之间的可分性，详见下文描述：

一种基于特征空间拓扑分布的行人重识别方法，所述方法包括以下步骤：

将颜色直方图特征和纹理特征作为图像特征，根据图像特征在特征空间中的理想拓扑分布，构建正样本对距离小于负样本对距离的约束条件、以及构建相同类之间的距离要小于任意两个不同类的距离的约束条件；

根据正样本对距离小于负样本对距离的约束条件获取对应的第一目标函数；根据相同类之间的距离要小于任意两个不同类的距离的约束条件获取对应的第二目标函数；

根据第一目标函数和第二目标函数获取最终的目标函数，通过迭代优化对最终的目标函数进行求解，得到最优的度量矩阵，进而计算图像之间的相似得分，根据相似得分进行排序，找到相似程度最高的图像，实现行人的重识别。

所述构建正样本对距离小于负样本对距离的约束条件具体为：

其中，X_i表示要检索的样本特征，Y_i表示在其他监控视野下与X_i身份相同的样本特征d(·，·)表示的是成对样本之间的距离，N为训练集中行人的类别个数，i和j分别为行人的身份编号。

所述构建相同类之间的距离要小于任意两个不同类的距离的约束条件具体为：

其中，d(·，·)表示的是成对样本之间的距离，N为训练集中行人的类别个数，k和j分别为行人的编号。

所述第一目标函数具体为：

其中，g(X_i，Y_i)为身份相同的样本之间的相似度，g(X_i，Y_j)为身份不同的样本特征之间的相似度，[·]₊是指示函数，α₁为阈值。

所述第二目标函数具体为：

其中，g(X_i，Y_i)为身份相同的样本之间的相似度，g(Y_j，Y_k)为任意两个不同类样本之间的相似性得分，α₂为阈值。

本发明提供的技术方案的有益效果是：

1、本发明根据样本特征在特征空间的拓扑分布关系，设计新的损失函数，要求减少类内样本之间的距离，同时增大了类间样本之间的距离，提高了样本特征在新的特征空间中的可分度，有利于算法性能的提高。

2、本发明在不同区域学习得到不同的度量矩阵，使学习得到的每个度量矩阵都适合于比较特定区域内的外表相似性。

附图说明

图1为本发明提供的一种基于特征空间拓扑分布的行人重识别方法的流程图；

图2为本发明提供的量化检测结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于特征空间分布的行人重识别方法，参见图，该方法包括以下步骤：

101：将颜色直方图特征和纹理特征作为图像特征，根据图像特征在特征空间中的理想拓扑分布，构建正样本对距离小于负样本对距离的约束条件、以及相同类之间的距离要小于任意两个不同类的距离的约束条件；

102：根据正样本对距离小于负样本对距离的约束条件获取对应的第一目标函数；

103：根据相同类之间的距离要小于任意两个不同类的距离的约束条件获取对应的第二目标函数；

104：根据第一目标函数和第二目标函数获取最终的目标函数，通过迭代优化对最终的目标函数进行求解，得到最优的度量矩阵，进而计算图像之间的相似得分，根据相似得分进行排序，找到相似程度最高的图像，实现行人的重识别。

综上所述，本发明实施例通过上述步骤101-步骤104解决了通过深入挖掘样本特征在特征空间中的拓扑位置分布关系，减少了类内样本的距离，同时增大了类间样本的距离，提高了样本之间的可分性。

实施例2

下面结合图1、具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

一、图像内特征的提取

在图像内特征提取的过程中，包含两种区域，一种是全局图像，包含了大尺度的特征信息，另一种沿着水平方向将图像裁切成若干个条形的区域。然后利用滑窗的方式遍历两种区域(即，全局区域及子区域)，滑窗的大小为16×8，滑窗在水平方向上步进的长度为8像素，在竖直方向上步进的长度为4像素。

在每个滑窗中，分别提取颜色直方图特征和纹理特征。对于颜色直方图特征来说，分别从HSV(色相、饱和度、亮度)颜色空间和LAB(颜色-对立)颜色空间中提取两种类型的颜色直方图，一种是将三个通道级联，提取48-bins的直方图，另一种对每个通道均提取8-bins(组距)的直方图。对于纹理特征来说，使用SILTP(尺度不变局部模式)作为纹理特征描述符。将每个子区域内的特征进行级联，并使用PCA(主成分分析)算法对高维特征进行降维处理，得到对该子区域的描述。

全局区域的数目为1，水平条形子区域的数目为C，因此共有(C+1)个子区域，为了方便描述，使用T代表所有子区域的数目。特征表示为其中f表示的是每个子区域的特征，F表示的是所有子区域特征的集合。

二、图像之间相似性关系的计算

为了使身份相同的样本特征距离比身份不同的样本特征距离更小，需要通过训练得到新的转换矩阵，使原始的特征向量通过转换矩阵映射到新的有辨析力的空间中，增加样本之间的可分性，提高行人重识别算法的准确率。样本特征之间的相似性表示为：

其中，F_a，F_b分别表示图像的特征，<·，·>表示的是内积运算。表示的是两个特征的马氏距离，表示的是两个特征的双线性距离。W_M和W_B是通过训练得到的度量矩阵。

三、基于特征空间拓扑分布的损失函数构建

在映射后的特征空间中，样本的特征分布需要满足基本的拓扑分布关系。因此在本发明实施例中，设计了一个全面并且有辨析力的约束，该约束包含两方面，一方面要求对于一个要检索的样本来说，在其他监控视野内身份相同的样本到它的距离要小于所有身份不同的样本到它的平均距离，如公式(2)所示。

另一方面要求对于一个待检索样本来说，在其他监控视野下身份相同的样本到待检索样本的距离要小于所有身份不同的样本之间的平均距离。两者相互结合能够使特征空间中的样本更具可分性，如公式(4)所示。

1)正样本对距离小于负样本对距离

其中，X_i表示要检索的样本特征，Y_i表示在其他监控视野下与X_i行人身份相同的样本特征。Y_j表示在其他监控视野下与X_i身份不同的样本特征。d(·，·)表示的是成对样本之间的距离，N为训练集中行人的类别个数。

公式(2)中的约束通过考虑整个数据集的分布，不仅缩小了正样本对之间的距离，并且还扩大了负样本到要检索目标的距离，因此该约束对应的目标函数为下式：

其中，L₁(W)为公式(2)中约束所对应的目标函数，g(X_i，Y_i)为身份相同的样本之间的相似度，g(X_i，Y_j)为身份不同的样本特征之间的相似度。[·]₊是指示函数，当输入为正值时，输出该数值，当输入为负值或为零时，输出结果为0。

其中，α₁为公式(3)中的阈值，针对待检索样本来说，正样本与待检索样本的相似性得分(例如为A)、要比所有负样本与待检索样本的相似性得分(例如为B)的平均值大α₁(即，A、与B的平均值做差，差值要大于α₁)，否则就会产生损失。

2)相同类之间的距离要小于任意两个不同类的距离

公式(4)利用所有不同类样本的平均距离来约束正样本对之间的距离，因此正样本对之间的距离能进一步缩小，不同类样本之间的分布会更稀疏。因此公式(4)中的约束所对应的目标函数为下式：

其中，L₂(W)为公式(4)中约束所对应的目标函数，g(Y_j，Y_k)为任意两个不同类样本之间的相似性得分。

其中，α₂为公式(5)中的阈值，针对待检索样本来说，正样本与待检索样本的相似性得分(例如C)要比所有不同类之间相似性得分(例如D)的平均值大α₂(即，C、与D的平均值做差，差值要大于α₂)，否则也会产生损失。

3)最优度量矩阵的迭代求解

由于要求样本之间的相似性与得分正相关，所以W_M为负半正定矩阵，此外还利用l_2,1范数做目标函数的正则化项。结合上述约束的两个方面，最后的目标函数为：

其中，R(W)＝||W_M||_2，1+||W_B||_2，1为正则化项，S_为负半正定矩阵集合，λ为权重项。

为了求解该问题，使用交替迭代方向乘子法求最优的W，目标函数可以写为：

其中，W₁，W₂，W₃，W₄分别是不同子问题的变量，当W₄不为负半正定矩阵时，S(W₄)为无穷，反之则为零。对于每个子问题，都是固定其他变量再进行优化求解。其中W₁和W₂是固定其他变量，分别根据对偶形式的梯度进行求解，W₃通过近邻算子进行更新，W₄通过固定其他变量，利用欧式映射求解得到。

由于该问题为凸函数，因此通过迭代优化可以实现快速收敛，得到最优的度量矩阵。

在测试阶段，给定一张需要检索的图像以及所有待查询的数据集，提取图像特征，并利用学习得到的度量矩阵计算图像之间的相似得分，并根据相似得分进行排序，进而找到相似程度最高的图像，实现行人的重识别。

综上所述，本发明实施例解决了通过深入挖掘样本特征在特征空间中的拓扑位置分布关系，减少了类内样本的距离，同时增大了类间样本的距离，提高了样本之间的可分性。

实施例3

下面结合图2对实施例1和2中的方案进行可行性验证，详见下文描述：

图2给出了本方法在常用的行人重识别数据集VIPeR上的量化评价结果。纵坐标是CMC(累计匹配)得分，横坐标是排名。其中Rank1表示的是正确匹配的目标排名处在第一的概率，Rank10表示的是正确匹配的目标处在排名前十的概率。

从柱状图中可以看出，本方法在所有的指标上均优于对比方法。其中对比算法TCP(多通道三元损失模型)使用的是传统的三元损失函数，相比于该方法，本方法在Rank1上有6％的性能提升，说明通过利用特征空间中所有样本特征之间的拓扑分布关系，可以有效缩小类内距离，增大不同类样本之间的距离，提高样本间的可分性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于特征空间拓扑分布的行人重识别方法，其特征在于，所述方法包括以下步骤：

将颜色直方图特征和纹理特征作为图像特征，根据图像特征在特征空间中的理想拓扑分布，构建正样本对距离小于负样本对距离的约束条件、以及构建相同类之间的距离要小于任意两个不同类的距离的约束条件；

根据正样本对距离小于负样本对距离的约束条件获取对应的第一目标函数；根据相同类之间的距离要小于任意两个不同类的距离的约束条件获取对应的第二目标函数；

根据第一目标函数和第二目标函数获取最终的目标函数，通过迭代优化对最终的目标函数进行求解，得到最优的度量矩阵，进而计算图像之间的相似得分，根据相似得分进行排序，找到相似程度最高的图像，实现行人的重识别。

2.根据权利要求1所述的一种基于特征空间拓扑分布的行人重识别方法，其特征在于，所述构建正样本对距离小于负样本对距离的约束条件具体为：

其中，X_i表示要检索的样本特征，Y_i表示在其他监控视野下与X_i身份相同的样本特征d(·，·)表示的是成对样本之间的距离，N为训练集中行人的类别个数，i和j分别为行人的身份编号。

3.根据权利要求1所述的一种基于特征空间拓扑分布的行人重识别方法，其特征在于，所述构建相同类之间的距离要小于任意两个不同类的距离的约束条件具体为：

其中，d(·，·)表示的是成对样本之间的距离，N为训练集中行人的类别个数，k和j分别为行人的身份编号。

4.根据权利要求2所述的一种基于特征空间拓扑分布的行人重识别方法，其特征在于，所述第一目标函数具体为：

其中，g(X_i，Y_i)为身份相同的样本之间的相似度，g(X_i，Y_j)为身份不同的样本特征之间的相似度，[·]₊是指示函数，α₁为阈值。

5.根据权利要求3所述的一种基于特征空间拓扑分布的行人重识别方法，其特征在于，所述第二目标函数具体为：

其中，g(X_i，Y_i)为身份相同的样本之间的相似度，g(Y_j，Y_k)为任意两个不同类样本之间的相似性得分，α₂为阈值。