CN111950372A - 一种基于图卷积网络的无监督行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于图卷积的无监督行人重识别方法，包括以下步骤：选取行人重识别数据集；构建包括特征提取网络、连接预测网络的行人重识别模型，然后通过行人重识别模型对数据集中的数据样本进行特征提取，并且基于近邻算法模型构建各数据样本之间的相关性关系图；对于每张行人图片，构建其近邻节点之间的实例中心节点子图；将数据样本的特征和实例中心节点子图放入已构建好的图卷积网络中进行训练，预测样本节点与近邻节点之间连接的可能性；将待识别的行人图片输入已经构建好的行人重识别模型，并与候选行人库中的行人属性特征进行相似度比较，得到行人重识别的结果。本发明方法使用图卷积网络实现行人重识别，有效提高了识别准确度。

Description

一种基于图卷积网络的无监督行人重识别方法

技术领域

本发明应用深度学习和图卷积网络来实现行人重识别，属于计算机视觉领域。

背景技术

行人的重识别方法是计算机视觉领域的重要研究方向之一。所谓行人重识别，就是在照射区域无重叠的多摄像头下，判断不同相机的图像，或者视频序列中是否存在特定行人的技术，通常被认为是图像检索的子问题。行人重识别技术可以用于在一个较大区域内跟踪一个人的轨迹，另外它在机器人技术、智能视频监控、照片自动标注等领域也有着很高应用价值。

行人重识别是学术界和工业界都非常关注的技术问题，相比于比较成熟的人脸识别技术，它依然是计算机视觉领域的难题。其主要挑战是同一目标在不同摄像头下受视角变化、光照变化、姿态变化、行人遮挡和背景噪声干扰等影响，使得不同视角下的特征表示存在一定程度的偏差。现有行人重识别方法一般都是基于深度学习，本质是计算样本的相似度或者距离，然后根据相似度或者距离对样本进行排序，进而找到与查询样本属于同一个人的图像。由于视频清晰度等限制，在实际监控中很难通过直观的人脸等信息寻找同一目标，而利用行人穿着外貌等表观特征在视频监控中检索行人是比较可行的方法。

近年来，深度卷积神经网络的广泛应用，使得行人重识别领域取得了令人瞩目的进展。大多数的方法都是在有监督的方式下进行的，原理是将行人图片作为网络的输入，将人工标注的行人身份标签作为模型的期望输出，从而训练模型提取行人图片的身份特征，并对行人身份分类。然而，前提是有足够多的跨摄像头的带标签的行人，这需要大量的手工标注成对数据标签，成本昂贵，并不适用于现实世界的大规模数据应用场景。有限的泛化能力推动了对无监督方法的研究。但是单纯的无监督行人重识别方法没有数据标签来为模型提供必要的信息，难以从行人图片中准确的提取与行人身份相关的特征，因此主流的无监督行人重识别方法的准确度一般较低。

总体而言，现有的无监督行人重识别方法存在识别准确度低的技术问题。

参考文献：

[1].LIN,Yutian,et al.A bottom-up clustering approach to unsupervisedperson re-identification[C].Proceedings of the AAAI Conference on ArtificialIntelligence,2019.p.8738-8745.

[2].Wang,Zhongdao,Zheng,Liang,Li,Yali,等.Linkage Based FaceClustering via Graph Convolution Network[J].

发明内容

本发明的目的是提供一种基于图卷积的无监督行人重识别方法，以解决现有的无监督行人重识别方法存在识别准确度低的问题。

为实现上述目的，本发明采用的技术方案为：

一种基于图卷积的无监督行人重识别方法，包括以下步骤：

S1：选取行人重识别数据集；

S2：构建包括特征提取网络、连接预测网络的行人重识别模型，其中，所述特征提取网络用于从数据集中提取具有鉴别性的属性特征，所述连接预测网络用于判断数据集的中心节点与其近邻点之间连接的可能性；然后通过行人重识别模型对数据集中的数据样本进行特征提取，并且基于近邻算法模型构建各数据样本之间的相关性关系图；

S3：对于每张行人图片，构建其近邻节点之间的实例中心节点子图；

S4：将数据样本的特征和实例中心节点子图放入已构建好的图卷积网络中进行训练，预测样本节点与近邻节点之间连接的可能性；

S5：将待识别的行人图片输入已经构建好的行人重识别模型，并与候选行人库中的行人属性特征进行相似度比较，得到行人重识别的结果。

所述步骤S1中，行人重识别数据集选取Market-1501数据集，且仅使用数据集的图片本身，并不使用其他任何人为地手工标注的信息。

所述步骤S2中，特征提取网络为模型ResNet-50；使用预训练的ImageNet模型进行初始化，并且去除模型ResNet-50最后一个分类层；在提取特征之后，样本特征表示为X＝{x₁,x₂,...,x_N}，其中，N是数据集中样本图片的数目，每个x都是一个2048维的特征向量；所述特征提取网络中包含一个用于学习的损失函数，损失函数为排斥损失

其中，x_i是图片的特征向量，

是图片的簇ID，V是包含所有簇的特征的矩阵。

所述步骤S2中，基于近邻算法模型构建各数据样本之间的相关性关系图的步骤为：令矩阵A为数据样本之间的相关性邻接矩阵，采用欧式距离作为样本之间相似性的度量，以第i个数据x_i和第j个数据x_j为例，a_ij＝||x_i-x_j||，a_ij是矩阵A第i行第j列的元素；根据矩阵A，选出与每个数据样本距离最近的前k个数据样本。

所述步骤S3中，每张行人图片经过步骤S2进行特征提取得到特征向量之后，把每个特征向量看成一个节点，所有的图片构成一个图，构建其近邻节点之间的实例中心节点子图的步骤如下：

(1)把每个节点依次作为中心节点，找到其前k1个一阶近邻点和k2个二阶近邻点；

(2)通过减去中心节点的特征来规范化所有近邻节点的特征；

(3)在符合条件的近邻节点之间添加边。

所述步骤S4中，图卷积网络模型为四层网络模型，具体表示为：

其中，W＝{W⁽⁰⁾,W⁽¹⁾,W⁽²⁾,W⁽³⁾}是训练过程中要学习的图卷积参数，W⁽⁰⁾、W⁽¹⁾、W⁽²⁾、W⁽³⁾分别为第一、第二、第三、第四层的网络参数，σ(·)为修正线性单元激活函数，X是步骤S3所构建的实例中心节点子图。

所述步骤S5具体为：将待识别的行人图像输入训练好的行人重识别模型中，得到待识别的行人特征向量，并将它与候选库中的属性特征进行相似度比较并排序，得到行人重识别的结果。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下优点：

(1)本发明提出了一种基于图卷积网络的无监督行人重识别方法，不使用任何手工标注信息，利用行人图片之间的相似性我们的框架就能学习到具有鲁棒性和鉴别性的特征

(2)本发明采用排斥损失来优化没有标签的模型。排斥损失直接优化了每个单独的样本(簇)之间的余弦距离。它可以方便模型表达每个簇内的相似性，并最大限度地扩大每个簇之间的多样性。

(3)本发明将图卷积网络引入到行人重识别的任务中，用来判断图片之间的相似性，将聚类看作是一个连接预测问题，通过合并连接获得聚类的结果

附图说明

图1为本发明提出的一种基于图卷积网络的无监督行人重识别网络的流程图；

图2为本发明构建的行人重识别的模型。

具体实施方式

下面结合附图对本发明做更进一步的解释。

一种基于图卷积网络的无监督行人重识别方法，包括如下步骤：

步骤1：选取行人重识别数据集

将行人重识别研究领域最常用的数据集Market-1501作为本次训练模型的数据集。Market1501数据集是夏季在清华大学校园中采集的。它包括由6个摄像头(其中5个高清摄像头和1个低清摄像头)拍摄到的1501个行人、32668个检测到的行人矩形框。每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像。其中训练集有751人，包含12,936张图像，平均每个人有17.2张训练数据；测试集有750人，包含19,732张图像，平均每个人有26.3张测试数据。3368张查询图像的行人检测矩形框是人工绘制的，而gallery中的行人检测矩形框则是使用DPM检测器检测得到的。对于该数据集，我们不使用任何手工标注信息(例如行人ID标签、摄像头的编号)。

步骤2：构建包括特征提取网络、连接预测网络的行人重识别模型，其中，所述特征提取网络用于从数据集中提取具有鉴别性的属性特征，所述连接预测网络用于判断数据集的中心节点与其近邻点之间连接的可能性；然后通过行人重识别模型对数据集中的数据样本进行特征提取，并且基于近邻算法模型构建各数据样本之间的相关性关系图；

利用在行人领域特征提取效果最好的模型Resnet50网络来提取行人图片的特征。通过预训练的ImageNet模型进行初始化，并且去掉最后一层分类层。这样在输入一张行人图片提取特征之后，样本特征表示为X＝{x₁,x₂,...,x_N}，其中N是样本图片的数目，每个x都是一个2048维的特征向量。将每张图片当作一个单独的类{y_i＝i|1≤i≤N}其中N为行人图片数目。使用图片簇的ID作为训练标签，对网络进行训练以最小化总簇内方差和最大化簇间方差。网络模型一般都都需要一个损失函数来进行更好的学习，为了更好的促使上述Resnet50网络进行学习，使用的损失函数为排斥损失函数

其中x_i是图片的特征向量，

是图片的簇ID，V是包含所有簇的特征的矩阵。

然后利用近邻算法模型对提取到的特征进行关系图的构建：令矩阵A为数据样本之间的相关性邻接矩阵，采用欧式距离作为样本之间相似性的度量，以第i个数据x_i和第j个数据x_j为例，a_ij＝||x_i-x_j||，a_ij是矩阵A第i行第j列的元素。根据矩阵A，选出与每个数据样本距离最近的前100个数据样本。

步骤3：对于每张行人图片(节点)，构建其近邻节点之间的实例中心节点子图(IPS，Instance Pivot Subgraphs)；

每张图片经过步骤2提取特征得到一个2048维的特征向量之后，把每个特征向量看成一个节点，所有的图片(节点)构成一个图，根据两张行人图像(节点)在图中的上下文信息来估计它们之间的连接的可能性。为此首先对每个节点构造一个中心节点子图(IPS，Instance Pivot Subgraphs)作为上下文信息。通过以下步骤构建IPS：第一，把图中的每个节点依次作为中心节点，找到其前k1个一阶近邻点和k2个二阶近邻点。第二，通过减去中心节点的特征来规范化所有近邻节点的特征。第三，我们在符合条件的近邻节点之间添加边。

构建IPS的目的是：这样只需要计算一个中心节点与其k个最近邻居之间的链接可能性，并且它可以产生相当高的聚类精度，而且该系统具有高效的优点

以数据样本x_i作为中心节点为例，找出x_i的100个近邻点(称为一阶近邻点)并且对于这100个点找出它们的前20个近邻点(称为二阶近邻点)，总计120个数据样本的集合记作Vp。以一阶近邻点和二阶近邻点的信息作为辅助来判断一阶近邻点之间是否有连接。具体的：将这个120个数据样本的特征向量减去中心节点x_i的特征来进行规范化；对于Vp中的每个节点v，如果v的前k个近邻点r也出现在Vp中，则连接边(v,r)，最终构建出以数据样本x_i为中心节点的IPS子图。

步骤4：将样本特征和IPS图放入已构建好的图卷积网络中进行训练，预测中心节点与近邻节点之间连接的可能性。

将一个IPS和样本特征向量作为输入数据，应用图卷积网络(GCNs)对其进行推理，网络的输出是该中心节点与相应的一阶近邻点之间的连接可能性。

所述图卷积网络的模型为四层网络模型，具体表示为：

其中，W＝{W⁽⁰⁾,W⁽¹⁾,W⁽²⁾,W⁽³⁾}是训练过程中要学习的图卷积参数，W⁽⁰⁾、W⁽¹⁾、W⁽²⁾、W⁽³⁾分别为第一、第二、第三、第四层的网络参数，σ(·)为修正线性单元(ReLu)激活函数，矩阵A^～为数据样本之间的相关性邻接矩阵，采用欧式距离作为样本之间相似性的度量，X是步骤3所构建的IPS图。四层图卷积网络的输出是中心节点与其一阶近邻点之间连接的概率。如果图卷积网络的输出结果大于阈值就连接中心节点与该近邻点，这样遍历整个数据集之后，就会将特征距离较近的的行人图像分组到同一簇中，就会形成一个初步的聚类结果，也就是网络就学会了识别每张行人图片，而不是行人ID。重复使用梯度下降法减小图卷积网络的损失以及特征提取网络的损失，直到损失函数收敛，得到最终的聚类结果。

步骤5：将待识别的行人图片输入已经构建好的行人重识别模型，并与候选行人库中的行人属性特征进行相似度比较，得到行人重识别的结果。

使用收敛后的图卷积网络和特征提取网络的参数对待识别的图片进行预测，将目标测试集图片输入到最终训练好的Resnet-50模型提取特征，根据特图卷积网络的聚类结果得到行人重识别的结果，进而实现无监督的行人重识别方法。

综上所述，本发明的方法通过在无标签的数据集上使用图卷积网络进行聚类，从而学习到具有鉴别性的行人特征。该方法通过将聚类问题转化成判断节点之间连接的可能性，降低了计算的复杂度，节约了大量的人工标注成本，并且有效地提高了行人匹配检索的准确度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于图卷积的无监督行人重识别方法，其特征在于：包括以下步骤：

S1：选取行人重识别数据集；

S2：构建包括特征提取网络、连接预测网络的行人重识别模型，其中，所述特征提取网络用于从数据集中提取具有鉴别性的属性特征，所述连接预测网络用于判断数据集的中心节点与其近邻点之间连接的可能性；然后通过行人重识别模型对数据集中的数据样本进行特征提取，并且基于近邻算法模型构建各数据样本之间的相关性关系图；

S3：对于每张行人图片，构建其近邻节点之间的实例中心节点子图；

S4：将数据样本的特征和实例中心节点子图放入已构建好的图卷积网络中进行训练，预测样本节点与近邻节点之间连接的可能性；

S5：将待识别的行人图片输入已经构建好的行人重识别模型，并与候选行人库中的行人属性特征进行相似度比较，得到行人重识别的结果。

2.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S1中，行人重识别数据集选取Market-1501数据集，且仅使用数据集的图片本身，并不使用其他任何人为地手工标注的信息。

3.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S2中，特征提取网络为模型ResNet-50；使用预训练的ImageNet模型进行初始化，并且去除模型ResNet-50最后一个分类层；在提取特征之后，样本特征表示为X＝{x₁,x₂,...,x_N}，其中，N是数据集中样本图片的数目，每个x都是一个2048维的特征向量；所述特征提取网络中包含一个用于学习的损失函数，损失函数为排斥损失

其中，x_i是图片的特征向量，

是图片的簇ID，V是包含所有簇的特征的矩阵。

4.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S2中，基于近邻算法模型构建各数据样本之间的相关性关系图的步骤为：令矩阵A为数据样本之间的相关性邻接矩阵，采用欧式距离作为样本之间相似性的度量，以第i个数据x_i和第j个数据x_j为例，a_ij＝||x_i-x_j||，a_ij是矩阵A第i行第j列的元素；根据矩阵A，选出与每个数据样本距离最近的前k个数据样本。

5.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S3中，每张行人图片经过步骤S2进行特征提取得到特征向量之后，把每个特征向量看成一个节点，所有的图片构成一个图，构建其近邻节点之间的实例中心节点子图的步骤如下：

(1)把每个节点依次作为中心节点，找到其前k1个一阶近邻点和k2个二阶近邻点；

(2)通过减去中心节点的特征来规范化所有近邻节点的特征；

(3)在符合条件的近邻节点之间添加边。

6.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S4中，图卷积网络模型为四层网络模型，具体表示为：

其中，W＝{W⁽⁰⁾,W⁽¹⁾,W⁽²⁾,W⁽³⁾}是训练过程中要学习的图卷积参数，W⁽⁰⁾、W⁽¹⁾、W⁽²⁾、W⁽³⁾分别为第一、第二、第三、第四层的网络参数，σ(·)为修正线性单元激活函数，X是步骤S3所构建的实例中心节点子图，矩阵

为表示数据样本之间的相关性的邻接矩阵，采用欧式距离度量样本之间相似性。

7.根据权利要求1所述的基于图卷积网络的无监督行人重识别方法，其特征在于：所述步骤S5具体为：将待识别的行人图像输入训练好的行人重识别模型中，得到待识别的行人特征向量，并将它与候选库中的属性特征进行相似度比较并排序，得到行人重识别的结果。

Images