CN112560604A - 一种基于局部特征关系融合的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于局部特征关系融合的行人重识别方法，行人重识别作为视频监控中的热门领域，可以在仅有单张行人照片的情况下在图像库中检索不同视角，姿态，光照条件下的该行人其余图片，随着天网等智能监控工程的推进，行人重识别将会发挥越来越重要的作用。本发明提出了一种基于局部特征关系融合的行人重识别方法，使用CNN的局部感受野在原始图片中寻找行人的身体部位并进行区域上的聚类，随后对所提取的局部特征和全局特征在注意力机制的帮助下进行最终的关系融合以获得行人特征表示。在Market1501数据集上的实验表明了本发明的有效性和简便性。

Description

一种基于局部特征关系融合的行人重识别方法

技术领域

本发明涉及视频监控领域，首次将局部特征关系应用于视频监控中的人员检测。

背景技术

行人重识别的主要目的是在图像库中自动地寻找符合给定行人身份的行人图片。对于视频监控而言，行人重识别技术能帮助我们在不同的摄像头中自动的寻找对应的行人，而避免监控人员的大量人工操作，可以大大提升效率。采用行人重识别技术，只需要给定特定行人的完整身体部位，即可以在摄像头所拍摄的图像库中寻找该行人的其他照片，因此可以加快寻找速度，减少人工操作。

发明内容

本发明的目的是为了解决在视频监控中寻找给定行人时，人工方法费时费力的问题。

本发明采用以下的技术方案实现的：

一种基于局部特征关系融合的行人重识别方法，其特征在于包含以下步骤：

(1)使用改进版的ResNet-50网络对输入图片提取原始特征图；

(2)使用K-Means聚类算法来对兴趣点进行空间聚类；

(3)对聚类后的区域提取局部特征和全局特征；

(4)使用注意力算法对局部特征进行融合；

(5)使用多阶段训练方法对整体模型进行训练。

前述基于局部特征关系的行人重识别方法，其特征在于通过区域聚类和特征融合方式获得行人的自重特征表示。

S1前述基于局部特征关系的行人重识别方法，其特征在于使用改进版的ResNet-50网络对输入图片提取原始特征图的具体算法是：

1、本方法使用ResNet-50网络结构的变体作为基线网络的特征提取部分。相较于原始网络，在第3个layer处进行了通道维数的修改，将通道变为1024维，此外在第四个layer后的全连接层也被修改为全局平均池化层。

2、将图片送入本方法所改进的ResNet变体网络中，并在第三个layer处进行截断，此时网络的输出即是所提取的原始特征图。

S2前述基于局部特征关系的行人重识别方法，其特征在于使用K-Means聚类算法来对兴趣点进行空间聚类的具体算法是：

1、传统寻找空间兴趣点的方法多为角点检测等，然而此类方法多受困于背景噪声的困扰。本专利为了排除背景噪声的干扰，使用了更为巧妙的深度学习方法。其思想在于：卷积神经网络的局部感受野提取图片的低级特征，对行人重识别而言，其行人区域显然是神经神经网络中最关注的地方，这可以表现为特征图中的激活度也相对较高。提取激活度高的区域大概率将归属于行人区域，对于少量的背景噪声，虽然其可能在某一个通道表现出了较高的激活度，但由于其只占据了图中的少部分内容，因此可以使用连通域来对其进行判断和排除。对于S1所获得的特征图，在每个通道中提取其激活度最高的兴趣点的空间坐标。

2、对所有的特征图进行如上操作后，取得了1024个兴趣点的空间坐标，首先检测其在空间上的连通度，将与主体分离的孤立点予以剔除，进而获得图像的主体部位。处理完毕后的特征点将会使用K-Means聚类算法进行聚类。聚类完毕后将得到p个类，取其坐标的外接矩形，并认为该外接矩形即是我们提取的局部区域。

S3前述基于局部特征关系的行人重识别方法，其特征在于对聚类后的区域提取局部特征和全局特征的具体算法是：

1、随后对每类中的特征图，均做类内保留，类外清0以保留其在空间上的信息，其具体计算如下：

2、将其继续送入ResNet的剩余部分，并在第4个残差块后将原先ResNet后面接的全连接层改为全局平均池化层，此时全局平均池化后的输出即为局部特征。而对于原先产生的全连接层的原始特征图，使用同一网络架构对进行处理，以得到全局特征。经过上述处理，我们即得到了维度为1024的p个局部特征向量与维度为1024的1个全局特征向量。

S4前述基于局部特征关系的行人重识别方法，其特征在于使用注意力算法对局部特征进行融合的具体算法是：

1、设计了一个全连接层进行全局特征与局部特征的融合，进而使得每个组合特征都能动态的更改全局特征和局部特征之间权重占比。在此基础上，使用sigmoid激活函数来进行注意力的计算，其具体如下：

Z_i＝[F_i,F_g]

上式中，Z_i代表之前拼接的第i个组合特征，其由第i个局部特征和全局特征拼接得到(如公式4所示)，f代表sigmoid函数，q代表全连接层的参数，α_i代表第i个组合特征的注意力权重。

2、得到了注意力权重后，采用加权的方式将其整合得到行人图片的最终特征表示，其计算如下所示：

在最终的特征表示中，由于每个组成部分都由局部特征和全局特征组成，因此不必再计算两者的权重占比，注意力算法将会帮我们自适应地调整其权重。

S5前述基于局部特征关系的行人重识别方法，其特征在于使用多阶段训练方法对整体模型进行训练的具体算法是：

1、在方法中，局部特征的精确度直接影响所提出模型的精确度，然而当前并无具体的衡量指标来衡量局部特征的有效性。为了保证所提取的局部特征的正确性，我们设计了基于局部特征的损失函数。对部分损失而言，只通过局部特征来进行行人图片的匹配，进而对每个局部都特征进行分类，并合并到交叉熵损失函数中，具体计算如下：

在上式中，

代表以第k个局部特征基础的第i张图片的行人预测得分。在训练部分损失函数时，我们使用正常的分类算法来进行行人的分类以获得预测得分。部分损失函数利用了所有提取的局部特征来综合预测行人的匹配度，因此能加强局部特征的准确性以夯实上下文关系的基础。

2、与传统的分类任务不同，行人重识别的目标在于使相同行人的图片特征距离较小，不同行人的图片特征距离较大。三元损失函数有助于该目标的实现，其具体介绍如下：对于一张给定的图片I_q，计算其最终表示为

其正样本(即与该行人身份一致的图片)为I_p，最终表示为

其负样本(即与该行人身份不一致的图片)为I_n，最终表示为

希望最大化给定样本和负样本之间的距离，并于此同时最小化给定样本和正样本之间的距离，其具体计算如下：

其中，使用欧几里得距离来计算

和

三元损失函数促使负对之间的距离差距大于正对之间的距离，并且使用了一种软间隔的方式来允许一定的特例存在，即只要差值不超过α，负对之间的距离也可小于正对，在本文中我们设定α为0.3。

3、部分损失函数将行人重识别视作一个分类任务以获取每个特征的预测得分，每次训练的输入只需要一个正常的batch即可，而三元损失函数则每次需要三元组的输入才能进行正确训练。此外，所提出的模型中在骨架网络中间进行了截断和聚类，这使得梯度的反向传播无法通过该层。为了避免上述问题的发生，本文采用了多阶段的训练方法，具体如下所示：

阶段(1)：骨架网络训练阶段，使用骨架网络来对训练集做行人分类的训练。

阶段(2)：特征提取训练阶段，针对已训练完成的骨架网络，固定其在区域聚类之前的模型参数，采用所提出的局部损失来对骨架网络的后半部分进行训练。

阶段(3)：上下文关系训练阶段。在阶段(1)，(2)中，所提出的模型已经能正确提出局部特征，因此在该阶段只需对上下文关系模块使用三元损失函数进行训练即可。

在实际训练过程中，由于阶段(1)(2)之间具有耦合性，因此其训练是交错进行的，即两阶段会重复进行多次，即训练顺序为阶段(1)-阶段(2)-阶段(1)-阶段(2)-阶段(3)。

与现有技术相比，本发明有以下优点：

(1)无需使用额外的语义模型，也能获得较为精确的行人局部特征。

(2)融合了局部特征关系后，所获得的模型识别率高于现有的技术。

附图说明

图1，本发明的模型整体框架图

图2，本发明的局部区域提取算法示意图

具体实施方式

下面结合附图和实例对本发明进一步说明。

如图1所示，一种基于局部特征关系融合的行人重识别方法包括以下步骤：

第一步：使用改进版的ResNet-50网络对输入图片提取原始特征图。

(1)首先对ResNet-50网络进行修改，相较于原始网络，在第3个layer处进行了通道维数的修改，将通道变为1024维，此外在第四个layer后的全连接层也被修改为全局平均池化层。随后将图片送入改进的ResNet变体网络中，并在第三个layer处进行截断，此时网络的输出即是所提取的原始特征图。

第二步：在得到了图片的原始特征图之后，如图2所示，我们首先提取特征图中的兴趣点坐标，随后再使用K-Means聚类算法对兴趣点在空间上进行聚类以获得各局部特征在原始特征图上的空间区域。

(1)对第一步中所取得的原始特征图而言，其大小为32×16×1024维的张量。由于CNN会使得其特征图关注于最具备辨别能力的区域，而对于行人重识别的分类任务而言，显然身体区域相较于背景会得到更大的权重，因此本方法采纳了特征图中激活度最高的点作为空间上的兴趣点，并在每个通道上都提取之。

(2)在每个通道上都获得兴趣点后，其构成了在空间上的散点图。为了进一步保证其在身体区域上并减少噪声的影响，本方法在散点图的基础上对其联通域进行了判断，对于离主体区域超过(即大于等于)2像素的孤立点进行排除，以获得优化后的兴趣点空间散点。

(3)对于未被排除的空间上的点而言，其组成了一个点集。随后我们使用K-Means聚类方法将点集中的兴趣点分为4类，即获得4个点集。对于每个点集，取其空间上的外接矩形，即得到本方法所需的局部区域。每个局部区域均在原始的特征图中做类内保留参数，对于局部区域外的则做清0操作，每个局部区域均得到与原始特征图相同大小的32×16×1024维的张量。

第三步：对上一步得到的局部区域张量提取局部特征，对第一步得到的特征图张量提取全局特征。使用第一步所改变的ResNet-50变体网络中的后半部分，将32×16×1024维的张量输入该网络，并经过一个残差块和一个全局平均池化层以得到4个1024维的局部特征和1个1024维的全局特征。

第四步：本方法使用了注意力机制以获取融合特征，其原因在于现有工作常将局部特征拼接在一起以得到最终特征表示，少数使用局部特征来投票匹配行人。这些方法忽略了局部特征与全局特征，局部特征之间的内在联系。而常见的探究局部特征关系的方法大概有两类方法：一是使用图网络结构将局部特征视为节点，并探索局部特征之间的空间拓补关系；二是使用LSTM网络结构将空间上的局部特征视为时间步上的输入，并以此来预测下一个局部特征。这两类方法均存在缺点，前者需要获得精准的局部特征关系才能保证拓补结构的准确性，而后者则需要较多的时间步才能发挥LSTM长期的记忆能力。因此，本方法采用了一种基于注意力机制的融合关系，来结合局部特征和全局特征，局部特征和局部特征之间的关系。

(1)在我们设计的局部特征和全局特征融合模块中，我们将全局特征和局部特征直接拼合在一起，其理由如下：如第三步所述，我们的局部特征直接在空间上对原始的全局特征进行了处理，因而其能保留局部特征在空间上的信息，我们称这个拼接后的特征为全局-局部特征。

(2)对于拼接后的全局-局部特征，本方法采用了注意力机制以对其进行联合处理。具体步骤如下：对于每一个全局-局部特征(一共4个)，我们都使用一个全连接层和一个sigmoid层来自定义地计算其注意力，随后对计算得到地注意力，采用加权的形式来对其进行计算，其具体公式如下：

Z_i＝[F_i,F_g]

上式中，Z_i代表之前拼接的第i个组合特征，其由第i个局部特征和全局特征拼接得到(如公式4所示)，f代表sigmoid函数，q代表全连接层的参数，α_i代表第i个组合特征的注意力权重。在得到了注意力权重后，我们采用加权的方式将其整合得到行人图片的最终特征表示，其计算如下所示：

在最终的特征表示中，由于每个组成部分都由局部特征和全局特征组成，因此不必再计算两者的权重占比，注意力算法将会帮我们自适应地调整其权重。

第五步：本方法对模型的训练步骤以及损失函数的方法如下，本方法采用了两种损失函数，分别为基于局部特征的损失函数和三元损失函数。

(1)基于局部特征的损失函数主要用于指导局部特征的准确性。对于部分损失而言，只通过局部特征来进行行人图片的匹配，进而对每个局部都特征进行分类，并合并到交叉熵损失函数中，具体计算如下

在上式中，

代表以第k个局部特征基础的第i张图片的行人预测得分。在训练部分损失函数时，我们使用正常的分类算法来进行行人的分类以获得预测得分。部分损失函数利用了所有提取的局部特征来综合预测行人的匹配度，因此能加强局部特征的准确性以夯实上下文关系的基础。

(2)三元损失函数的具体计算如下，对于一张给定的图片I_q，计算其最终表示为

其正样本(即与该行人身份一致的图片)为I_p，最终表示为

其负样本(即与该行人身份不一致的图片)为I_n，最终表示为

我们希望最大化给定样本和负样本之间的距离，并于此同时最小化给定样本和正样本之间的距离，其具体计算如下：

其中，我们使用欧几里得距离来计算

和

三元损失函数促使负对之间的距离差距大于正对之间的距离，并且使用了一种软间隔的方式来允许一定的特例存在，即只要差值不超过α，负对之间的距离也可小于正对，在本方法中我们设定α为0.3。

(3)本方法采用了多阶段的训练方法，其具体如下所述：

阶段(1)：骨架网络训练阶段，使用骨架网络来对训练集做行人分类的训练。

阶段(2)：特征提取训练阶段，针对已训练完成的骨架网络，固定其在区域聚类之前的模型参数，采用所提出的局部损失来对骨架网络的后半部分进行训练。

阶段(3)：上下文关系训练阶段。在阶段(1)，(2)中，所提出的模型已经能正确提出局部特征，因此在该阶段只需对上下文关系模块使用三元损失函数进行训练即可。

在实际训练过程中，由于阶段(1)(2)之间具有耦合性，因此其训练是交错进行的，即两阶段会重复进行多次，即训练顺序为阶段(1)-阶段(2)-阶段(1)-阶段(2)-阶段(3)。

下面结合实验对本发明的效果进行进一步的描述。

(1)本专利实验环境为Ubuntu18.04系统，处理器为Intel Core i7 2.5GHz，内存16G，显卡为NVIDA GTX1060，采用的数据集为Market1501数据集。

(2)利用此数据在本发明方法和其他已有方法进行了多次比较，其结果均显示在表1中。

表1多种方法结果比较

发明相比于其他方法，识别的精确度更高，不管是前k识别率还是平均识别率都优于其他方法。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用同等替换或等效替换的方式所获得的技术方案均落在本发明的保护范围。

Claims (6)

1.一种基于局部特征关系融合的行人重识别方法，其特征在于，该方法包括以下步骤：

步骤一：使用改进版的ResNet-50网络对输入图片提取原始特征图；

步骤二：使用K-Means聚类算法来对兴趣点进行空间聚类；

步骤三：对聚类后的区域提取局部特征和全局特征；

步骤四：使用注意力算法对局部特征进行融合；

步骤五：使用多阶段训练方法对整体模型进行训练。

2.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用改进版的ResNet-50网络对输入图片提取原始特征图包括如下步骤：

步骤一：首先对ResNet-50网络进行修改，相较于原始网络，在第3个layer处进行了通道维数的修改，将通道变为1024维，此外在第四个layer后的全连接层也被修改为全局平均池化层。随后将图片送入改进的ResNet变体网络中，并在第三个layer处进行截断，此时网络的输出即是所提取的原始特征图。

3.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用K-Means聚类算法来对兴趣点进行空间聚类的具体算法是：

步骤一：对所取得的原始特征图而言，其大小为32×16×1024维的张量。由于CNN会使得其特征图关注于最具备辨别能力的区域，而对于行人重识别的分类任务而言，显然身体区域相较于背景会得到更大的权重，因此本方法采纳了特征图中激活度最高的点作为空间上的兴趣点，并在每个通道上都提取之。

步骤二：在每个通道上都获得兴趣点后，其构成了在空间上的散点图。为了进一步保证其在身体区域上并减少噪声的影响，本方法在散点图的基础上对其联通域进行了判断，对于离主体区域超过(即大于等于)2像素的孤立点进行排除，以获得优化后的兴趣点空间散点。

步骤三：对于未被排除的空间上的点而言，其组成了一个点集。随后我们使用K-Means聚类方法将点集中的兴趣点分为4类，即获得4个点集。对于每个点集，取其空间上的外接矩形，即得到本方法所需的局部区域。每个局部区域均在原始的特征图中做类内保留参数，对于局部区域外的则做清0操作，每个局部区域均得到与原始特征图相同大小的32×16×1024维的张量。

4.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的对聚类后的区域提取局部特征和全局特征具体算法是：

步骤一：对上一步得到的局部区域张量提取局部特征，对第一步得到的特征图张量提取全局特征。使用第一步所改变的ResNet-50变体网络中的后半部分，将32×16×1024维的张量输入该网络，并经过一个残差块和一个全局平均池化层以得到4个1024维的局部特征和1个1024维的全局特征。

5.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用注意力算法对局部特征进行融合具体算法是：

步骤一：在我们设计的局部特征和全局特征融合模块中，我们将全局特征和局部特征直接拼合在一起，其理由如下：我们的局部特征直接在空间上对原始的全局特征进行了处理，因而其能保留局部特征在空间上的信息，我们称这个拼接后的特征为全局-局部特征。

步骤二：对于拼接后的全局-局部特征，本方法采用了注意力机制以对其进行联合处理。具体步骤如下：对于每一个全局-局部特征(一共4个)，我们都使用一个全连接层和一个sigmoid层来自定义地计算其注意力，随后对计算得到地注意力，采用加权的形式来对其进行计算，其具体公式如下：

Z_i＝[F_i,F_g]

上式中，Z_i代表之前拼接的第i个组合特征，其由第i个局部特征和全局特征拼接得到(如公式4所示)，f代表sigmoid函数，q代表全连接层的参数，α_i代表第i个组合特征的注意力权重。在得到了注意力权重后，我们采用加权的方式将其整合得到行人图片的最终特征表示，其计算如下所示：

6.根据权利要求1所述的基于局部特征关系融合的行人重识别方法，其特征在于，所述的使用多阶段训练方法对整体模型进行训练具体算法是：

步骤一：我们计算了基于局部特征的损失函数用于指导局部特征的准确性。对于部分损失而言，只通过局部特征来进行行人图片的匹配，进而对每个局部都特征进行分类，并合并到交叉熵损失函数中，具体计算如下

在上式中，

代表以第k个局部特征基础的第i张图片的行人预测得分。在训练部分损失函数时，我们使用正常的分类算法来进行行人的分类以获得预测得分。部分损失函数利用了所有提取的局部特征来综合预测行人的匹配度，因此能加强局部特征的准确性以夯实上下文关系的基础。

步骤二：三元损失函数的具体计算如下，对于一张给定的图片I_q，计算其最终表示为

其正样本(即与该行人身份一致的图片)为I_p，最终表示为

其负样本(即与该行人身份不一致的图片)为I_n，最终表示为

我们希望最大化给定样本和负样本之间的距离，并于此同时最小化给定样本和正样本之间的距离，其具体计算如下：

其中，我们使用欧几里得距离来计算

和

三元损失函数促使负对之间的距离差距大于正对之间的距离，并且使用了一种软间隔的方式来允许一定的特例存在，即只要差值不超过α，负对之间的距离也可小于正对，在本方法中我们设定α为0.3。

步骤三：本方法采用了多阶段的训练方法，其具体如下所述：

阶段(1)：骨架网络训练阶段，使用骨架网络来对训练集做行人分类的训练。

阶段(2)：特征提取训练阶段，针对已训练完成的骨架网络，固定其在区域聚类之前的模型参数，采用所提出的局部损失来对骨架网络的后半部分进行训练。

阶段(3)：上下文关系训练阶段。在阶段(1)，(2)中，所提出的模型已经能正确提出局部特征，因此在该阶段只需对上下文关系模块使用三元损失函数进行训练即可。

在实际训练过程中，由于阶段(1)(2)之间具有耦合性，因此其训练是交错进行的，即两阶段会重复进行多次，即训练顺序为阶段(1)-阶段(2)-阶段(1)-阶段(2)-阶段(3)。

Images