CN111898736A - 基于属性感知的高效行人重识别方法 - Google Patents

Abstract

本发明设计了一种基于属性感知的高效行人重识别方法，该方法采用Pytorch框架构建卷积神经网络。该方法以自适应加权属性注意模块构建属性学习分支，并指导全局识别分支和部分识别分支学习判别性特征，进而构建了一个高效的行人重识别网络。相比于同类别方法，本方法学习鲁棒的行人属性信息，提出了一种新的设计方案，通过自适应加权感知学习获得细粒度的属性局部信息，提高了特征的判别性，进而提高了预测准确率，同时通过属性感知学习获得的属性注意掩膜指引网络学习鲁棒性的特征，提高了网络的性能。

Description

基于属性感知的高效行人重识别方法

技术领域

本发明可以应用于行人重识别领域，以Pytorch作为卷积神经网络的搭建框架，构建多分支结构以实现对行人图像的检索。

背景技术

行人重识别是利用图像处理技术在视角不相交的相机拍摄的图像或视频序列中检索特定行人的技术，一直以来是计算机视觉领域的研究热点，广泛应用于智能视频分析和智能安保等领域。目前，基于监控网络的应用主要以人工分析从视频监控信息流中提取有效性息。面对大型监控网络产生的海量视频序列时，人工分析存在着低准确率和低效率等缺点，因此，基于计算机视觉的自动化技术逐渐成为大型监控网络下数据分析的高效手段。

但传统的行人重识别算法依赖手工设计的特征，这些特征通常是低级的颜色和纹理特征，无法包含高级的语义信息，这给学习判别性特征表示带来了限制。随着深度学习在计算机视觉领域的兴起，卷积神经网络开始在图像处理方向广泛应用并取得了巨大的成功。卷积神经网络学习输入与输出之间的映射关系，具有非常强的特征提取能力，特别适合于分类任务和检索任务，这对于行人重识别这类检索任务的快速发展带来了推动作用。

早期基于深度学习的行人重识别方法主要集中于从行人图像的整体中学习全局特征表示，但是由行人姿态变化，相机视角变化和遮挡等造成的行人未对齐问题使得全局特征表示描述行人遇到了瓶颈。于是出现了部分区域检测，姿势和关键点估计等学习局部特征信息的方法，这种学习局部特征的方法在行人重识别任务上实现了不错的性能，但是这些方法需要预先训练人体解析模型或关键点检测器，还严重依赖人体解析模型或关键点检测器的准确性，这给实际应用带来了困难。此外，这些方法仅仅关注人体部分，而忽略了行人饰品对区分相似行人的至关重要的作用。

综上所述，目前行人重识别面临着诸如姿态变化、相机视角变化、光照变化、背景混乱和遮挡等问题，如何学习对这些因素鲁棒并且能够区分相似行人的判别性特征表示是解决上述问题的关键。

发明内容

鉴于现有方法存在的问题和缺陷，本发明提供了一种基于属性感知的行人重识别方法，可以有效的解决该问题。该方法的关键在于以自适应加权属性注意模块构建属性学习分支，该自适应加权属性注意模块在保证网络可以有效捕获属性语义和精确位置的重要依赖关系的同时，还将用于指引部分识别分支提取判别性的特征，最后将属性信息分别迁移到全局识别分支和部分识别分支，以提升其分类能力。最后从全局识别分支和部分识别分支分别提取的特征进行级联获得最终的行人表示，其不仅是属性语义的，而且是身份判别的。

一种基于属性感知的高效行人重识别方法，基于主网络构建了一个多分支网络模型，包括属性学习分支以及全局识别分支和部分识别分支，其中，

所述属性学习分支，用于属性感知任务学习和执行属性识别任务；

所述全局识别分支，用于执行全局图像级身份分类任务；

所述部分识别分支，用于消除空间未对齐和背景杂乱影响，执行部分级身份分类任务；

首先加载一个在ImageNet上预先训练的主干网络模型参数权重，接着对行人重识别数据集中训练图像进行图像预处理，然后用于训练多分支网络模型；对于查询的图像和图库图像，首先做图像预处理转化为用于计算的张量数据，然后输入到训练过的多分支网络模型中提取有效的特征表示，最后计算查询的图像和图库图像之间的特征距离，按照距离对图库图像进行排序，排序越靠前表示相似率越高。

进一步的，所述主干网络为ResNet或SENet。

进一步的，所述属性识别分支具体包括，

属性学习分支由属性特征提取器和自适应加权属性注意模块组成，感知学习行人属性语义信息并执行属性识别任务；属性特征提取器提取属性特征，它是由三层卷积构成的瓶颈层，第一层和第三层是一个步长为1的1×1卷积层，第二层是一个步长为1的3×3卷积层；自适应加权属性注意模块由两组功能不同的卷积核为1×1卷积和Sigmoid层组成，第一组的功能是通过卷积和Sigmoid操作学习自适应加权矩阵，第二组功能是通过公式(1)来聚集特征进而获得pooling特征；具体的：对于由属性特征提取器提取到的特征F∈R^C×H×W，其中C，H和W分别表示特征图的通道，高度和宽度，首先使用卷积核为1×1，步长为1且输出通道为4的卷积层将其转换到潜在空间，转换后的特征维数为R^4×H×W；然后，通过Sigmoid层对其进行归一化，并将其分解为四个自适应加权属性注意掩模矩阵{M_i∈R^1×H×W}，i＝1，2，3，4，四个自适应加权属性注意掩膜矩阵分别对应性别，头部，上半身和下半身，它专注于不同的属性局部区域，通过它们获得清晰的属性语义，因此，将特征图F分别乘以四个自适应加权属性注意掩模矩阵，以获得四个属性注意表示{E_i∈R^C×H×W}，i＝1，2，3，4；然后，通过自适应加权特征统计取代平均池统计来重新分配通道特征响应，首先，对属性注意表示E_i使用卷积运算获得矩阵{W_i∈R^C×H×W}，i＝1，2，3，4，然后使用Sigmoid层对其进行归一化，通过式1获得池化的属性特征：

通过自适应加权属性注意掩膜模块获得精细化属性特征A_i；接着，输入属性特征A_i到线性层减小特征维度以获得最终属性特征，最后，将降维后得到最终属性特征送到相应的属性分类器以进行属性分类。

进一步的，所述全局识别分支具体包括，

首先，将主干网络ResNet或SENet的最后一个下采样层的步长设置为1，以获得更高的空间分辨率，使用全局平均池(GAP)使网络可以适应不同分辨率的输入图像；为了增强特征判别性，将行人属性信息迁移到全局身份分支进行信息融合和学习，具体地，使用一个全连接层将属性学习分支学习的属性特征向量A_i聚合成一个向量，该向量与从主干提取的全局特征沿着通道串联获得融合过属性信息的特征，然后，添加一个批量归一化层(BN)对融合过属性信息的特征进行归一化并平滑神经网络的损失函数空间并加速模型训练；在BN层之后添加了一个特征嵌入层，其中包含512-dim的全连接层、BN层，ReLU和Dropout，全局识别分支的末尾是身份分类器，其是一个输出维度为K全连接层，其中K是训练集中的身份类数。

进一步的，所述部分识别分支具体包括，

首先，将四个自适应加权属性注意掩膜M_i叠加获得一个整体的人体掩膜，然后将整体掩膜与主干网络提取的特征相乘获得细化的全局特征，接着将其输入到GAP层，划分为P个水平条块，并且将属性学习分支学习到的属性特征A_i聚合成一个向量，然后按通道与每个水平条块相串联，通过累加P个水平条块获得了一个新的全局特征，最后对P+1个条块使用1×1卷积运算将维数降低到256-dim；随后，将每个降维后的特征输入到身份分类器中，以预测输入图像的身份类别。

进一步的，训练多分支网络模型的具体实现方式如下，

给定训练集的K个身份的N张图像，令X＝{x_i，y_i，a_i}表示一个训练样本，其中，x_i是训练图像，y_i是身份标签，

是图像的M个属性标签，训练时，使用Sigmoid交叉熵损失作为属性学习分支的损失函数，如式2所示，

M是属性的数量，n_s是一个batch中训练图像的数量，

和

分别是输入图像x_i的第j个属性类的属性标签和相应的预测概率；

全局识别分支使用softmax交叉熵损失和三元组损失共同优化，如式3和式4所示；

q_i表示每个类别的权重，如果y_i＝i，则q_i＝1，否则q_i＝0，z＝[z₁，z₂，...，z_K]∈R^K是身份分类器的输出，

表示每个ID标签k∈1，...，K的预测概率；

其中X表示训练批次中的图像，x^a是锚点，x^p是与输入图像x^a具有相同身份的困难样本，xⁿ是与图像x^a具有不同身份的困难样本，f(·)示图像的特征，

是两个图像特征之间的欧式距离，[·]₊表示max(0，·),α是余量参数；

部分识别分支采用softmax交叉熵损失优化，如式5所示，

P表示水平划分的条数；

最终多分支网络模型损失函数是三个分支的损失函数的加权和：

L_Total＝λ₁L_Id+λ₂L_Triplet+λ₃L_Part+λ₄L_attr (6)

其中，λ是超参数。

本发明是一种应用于行人重识别的方法，与现有的技术相比具有以下优点：

(1)本发明针对行人重识别面临的行人未对齐问题，设计一种高效地深度学习方法，利用行人属性信息学习细粒度局部特征，提出了一个自适应加权属性注意模块，充分捕获属性语义和精确位置的重要依赖关系，提高了属性特征的判别性。

(2)本发明针对部分识别分支可能缺乏指导而无法学习判别性特征的问题，提出利用属性语义信息指引部分识别分支更加关注行人的局部区域，提高学习精细化特征的能力。

(3)本发明针对全局特征忽略细粒度的局部信息的问题，提出了一种信息融合的方式，通过将属性信息迁移到全局识别分支和部分识别分支，以获得强大的行人特征表示，并提高行人重识别模型的性能。

附图说明

图1为本发明的总体流程图。

图2为本发明的整体网络模型结构图。

图3为本发明的属性特征提取器结构图。

图4为本发明的自适应加权属性注意模块图。

图5为本发明的行人检索结果图，越靠前表示相似度越高。

具体实施方式

下面将结合实例和附图，详述具体的行人重识别流程。

本发明构建的深度行人重识别网络是一个多分支网络，包括属性学习分支、全局识别分支和部分识别分支。

属性学习分支由属性特征提取器和自适应加权属性注意模块组成，感知学习行人属性语义信息并执行属性识别任务。属性特征提取器提取属性特征，用于自适应加权属性注意掩膜的生成。它是由三层卷积构成的瓶颈层，第一层和第三层是一个步长为1的1×1卷积层，第二层是一个步长为1的3×3卷积层。属性特征提取器可以减少参数的属性，从而减少计算量。自适应加权属性注意模块由两组功能不同的卷积核为1×1卷积和Sigmoid层组成。对于由属性特征提取器提取到的特征F∈R^C×H×W,其中C，H和W分别表示特征图的通道，高度和宽度。第一组的功能是通过卷积和Sigmoid操作学习自适应加权矩阵，第二组功能是通过公式(1)来聚集特征进而获得pooling特征。具体的：首先使用卷积核为1×1，步长为1且输出通道为4的卷积层将其转换到潜在空间，转换后的特征维数为R^4×H×W。然后，通过Sigmoid层对其进行归一化，并将其分解为四个自适应加权属性注意掩模矩阵{M_i∈R^{1 ×H×W}}，i＝1，2，3，4。四个自适应加权属性注意掩膜矩阵分别对应性别，头部，上半身和下半身。它专注于不同的属性局部区域，通过它们获得清晰的属性语义。因此，将特征图F分别乘以四个自适应加权属性注意掩模矩阵，以获得四个属性注意表示{E_i∈R^C×H×W}，i＝1，2，3，4。然后，通过自适应加权特征统计取代平均池统计来重新分配通道特征响应。首先，对属性注意表示E_i使用卷积运算获得矩阵{W_i∈R^C×H×W}，i＝1，2，3，4，然后使用Sigmoid层对其进行归一化，通过式1获得池化的属性特征：

通过自适应加权属性注意掩膜模块可以获得精细化属性特征A_i。接着，输入属性特征A_i到线性层减小特征维度以获得最终属性特征。最后，将降维后得到最终属性特征送到相应的属性分类器以进行属性分类。

全局识别分支执行图像级别的身份分类任务。首先，将主干网络ResNet或SENet的最后一个下采样层的步长设置为1，以获得更高的空间分辨率，使用全局平均池(GAP)使网络可以适应不同分辨率的输入图像。为了增强特征判别性，将行人属性信息迁移到全局身份分支进行信息融合和学习。具体地，使用一个全连接层将属性学习分支学习的属性特征向量A_i聚合成一个向量，该向量与从主干提取的全局特征沿着通道串联获得融合过属性信息的特征。然后，添加一个批量归一化(BN)层对融合过属性信息的特征进行归一化并平滑神经网络的损失函数空间并加速模型训练。在BN层之后添加了一个特征嵌入层，其中包含512-dim的全连接层、BN层，ReLU和Dropout。全局识别分支的末尾是身份分类器，其是一个输出维度为K全连接层，其中K是训练集中的身份(类)数。

部分识别分支执行部分级身份识别任务。为了使部分识别分支更加关注行人的局部区域，使用属性学习分支获得的自适应加权属性注意掩模来指导部分识别分支提取判别特征。首先，将四个自适应加权属性注意掩膜M_i叠加获得一个整体的人体掩膜，然后将整体掩膜与主干网络提取的特征相乘获得细化的全局特征。接着将其输入到GAP层，划分为P个水平条块，并且将属性学习分支学习到的属性特征A_i聚合成一个向量，然后按通道与每个水平条块相串联，通过累加P个水平条块获得了一个新的全局特征。最后对P+1个条块使用1×1卷积运算将维数降低到256-dim。随后，将每个降维后的特征输入到身份分类器中，以预测输入图像的身份类别。

该方法的步骤是首先加载一个在ImageNet上预先训练的主干网络模型参数权重，接着对行人重识别数据集中训练图像进行图像预处理，然后用于训练模型。对于查询的图像和图库图像，首先做图像预处理转化为可以用于计算的张量数据，然后输入到训练过的模型中提取有效的特征表示，最后计算查询的图像和图库图像之间的特征距离，按照距离对图库图像进行排序，排序越靠前表示相似率越高。

以128×64×3的图像作为训练和测试图像，主要步骤包括：

1)训练网络模型

在Pytorch框架下实现本发明的行人重识别模型，首先将Market-1501数据集的图像大小调整为384×128×3，然后使用随机擦除、随机翻转、随机裁剪作为数据增强方法，把调整后的图像转化为Pytorch框架可以处理的张量数据，采用Adam优化器，初始学习率设为3.5e-4，以训练的batch size为64训练模型120个周期，经过60个周期后学习率下降十倍，最终得到训练完成的网络模型权重。给定训练集的K个身份的N张图像，令X＝{x_i，y_i，a_i}表示一个训练样本，其中，x_i是训练图像，y_i是身份标签，

是图像的M个属性标签。训练时，使用Sigmoid交叉熵损失作为属性学习分支的损失函数，如式2所示。

M是属性的数量，n_s是一个batch中训练图像的数量，

和

分别是输入图像x_i的第j个属性类的属性标签和相应的预测概率。

全局识别分支使用softmax交叉熵损失和三元组损失共同优化，如式3和式4所示。

q_i表示每个类别的权重，如果y_i＝i，则q_i＝1，否则q_i＝0。z＝[z₁，z₂，...，z_K]∈R^K是身份分类器的输出，

表示每个ID标签k∈1，...，K的预测概率。

其中X表示训练批次中的图像，x^a是锚点，x^p是与输入图像x^a具有相同身份的困难样本，xⁿ是与图像x^a具有不同身份的困难样本，f(·)示图像的特征，

是两个图像特征之间的欧式距离，[·]₊表示max(0，·),α是余量参数。

部分识别分支采用softmax交叉熵损失优化，如式5所示。

P表示水平划分的条数，设置为6。

本发明的最终网络损失函数是三个分支的损失函数的加权和：

L_Total＝λ₁L_Id+λ₂L_Triplet+λ₃L_Part+λ₄L_attr (6)

其中,λ是超参数。在本发明中设置λ₁＝λ₂＝λ₃＝2，λ₄＝1.2。

2)提取查询图像和图库图像的特征。

查询图像和图库图像分别输入到本发明设计的模型中提取行人特征表示。将全局识别分支的BN层输出的2048-dim特征和部分识别分支提取的P个256-dim特征级联起来形成最终的3584-dim行人特征表示。

3)相似性度量获得检索结果

计算查询图像特征与图库图像特征的欧几里得距离，然后按照距离对图库图像进行排序，排序越靠前表示相似率越高。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于属性感知的高效行人重识别方法，其特征在于：基于主干网络构建了一个多分支网络模型，包括属性学习分支以及全局识别分支和部分识别分支，其中，

所述属性学习分支，用于属性感知任务学习和执行属性识别任务；

所述全局识别分支，用于执行全局图像级身份分类任务；

所述部分识别分支，用于消除空间未对齐和背景杂乱影响，执行部分级身份分类任务；

首先加载一个在ImageNet上预先训练的主干网络模型参数权重，接着对行人重识别数据集中训练图像进行图像预处理，然后用于训练多分支网络模型；对于查询的图像和图库图像，首先做图像预处理转化为用于计算的张量数据，然后输入到训练过的多分支网络模型中提取有效的特征表示，最后计算查询的图像和图库图像之间的特征距离，按照距离对图库图像进行排序，排序越靠前表示相似率越高。

2.根据权利要求1所述的基于属性感知的高效行人重识别方法，其特征在于：所述主干网络为ResNet或SENet。

3.根据权利要求1所述的基于属性感知的高效行人重识别方法，其特征在于：所述属性识别分支具体包括，

属性学习分支由属性特征提取器和自适应加权属性注意模块组成，感知学习行人属性语义信息并执行属性识别任务；属性特征提取器提取属性特征，它是由三层卷积构成的瓶颈层，第一层和第三层是一个步长为1的1×1卷积层，第二层是一个步长为1的3×3卷积层；自适应加权属性注意模块由两组功能不同的卷积核为1×1卷积和Sigmoid层组成，第一组的功能是通过卷积和Sigmoid操作学习自适应加权矩阵，第二组的功能是通过公式(1)来聚集特征进而获得pooling特征；具体的：对于由属性特征提取器提取到的特征F∈R^C×H×W，其中C，H和W分别表示特征图的通道，高度和宽度，首先使用卷积核为1×1，步长为1且输出通道为4的卷积层将其转换到潜在空间，转换后的特征维数为R^4×H×W；然后，通过Sigmoid层对其进行归一化，并将其分解为四个自适应加权属性注意掩模矩阵{M_i∈R^1×H×W}，i＝1，2，3，4，四个自适应加权属性注意掩膜矩阵分别对应性别，头部，上半身和下半身，它专注于不同的属性局部区域，通过它们获得清晰的属性语义，因此，将特征图F分别乘以四个自适应加权属性注意掩模矩阵，以获得四个属性注意表示{E_i∈R^C×H×W}，i＝1，2，3，4；然后，通过自适应加权特征统计取代平均池统计来重新分配通道特征响应，首先，对属性注意表示E_i使用卷积运算获得矩阵{W_i∈R^C×H×W}，i＝1，2，3，4，然后使用Sigmoid层对其进行归一化，通过公式(1)获得池化的属性特征：

通过自适应加权属性注意掩膜模块获得精细化属性特征A_i；接着，输入属性特征A_i到线性层减小特征维度以获得最终属性特征，最后，将降维后得到最终属性特征送到相应的属性分类器以进行属性分类。

4.根据权利要求3所述的基于属性感知的高效行人重识别方法，其特征在于：所述全局识别分支具体包括，

首先，将主干网络ResNet或SENet的最后一个下采样层的步长设置为1，以获得更高的空间分辨率，使用全局平均池(GAP)使网络可以适应不同分辨率的输入图像；为了增强特征判别性，将行人属性信息迁移到全局身份分支进行信息融合和学习，具体地，使用一个全连接层将属性学习分支学习的属性特征向量A_i聚合成一个向量，该向量与从主干提取的全局特征沿着通道串联获得融合过属性信息的特征，然后，添加一个批量归一化层(BN)对融合过属性信息的特征进行归一化并平滑神经网络的损失函数空间并加速模型训练；在BN层之后添加了一个特征嵌入层，其中包含512-dim的全连接层、BN层，ReLU和Dropout，全局识别分支的末尾是身份分类器，其是一个输出维度为K全连接层，其中K是训练集中的身份类数。

5.根据权利要求4所述的基于属性感知的高效行人重识别方法，其特征在于：所述部分识别分支具体包括，

首先，将四个自适应加权属性注意掩膜M_i叠加获得一个整体的人体掩膜，然后将整体掩膜与主干网络提取的特征相乘获得细化的全局特征，接着将其输入到GAP层，划分为P个水平条块，并且将属性学习分支学习到的属性特征A_i聚合成一个向量，然后按通道与每个水平条块相串联，通过累加P个水平条块获得了一个新的全局特征，最后对P+1个条块使用1×1卷积运算将维数降低到256-dim；随后，将每个降维后的特征输入到身份分类器中，以预测输入图像的身份类别。

6.根据权利要求1所述的基于属性感知的高效行人重识别方法，其特征在于：训练多分支网络模型的具体实现方式如下，

给定训练集的K个身份的N张图像，令X＝{x_i，y_i，a_i}表示一个训练样本，其中，x_i是训练图像，y_i是身份标签，

是图像的M个属性标签，训练时，使用Sigmoid交叉熵损失作为属性学习分支的损失函数，如式(2)所示，

M是属性的数量，n_s是一个batch中训练图像的数量，

和

分别是输入图像x_i的第j个属性类的属性标签和相应的预测概率；

全局识别分支使用softmax交叉熵损失和三元组损失共同优化，如式(3)和式4所示；

q_i表示每个类别的权重，如果y_i＝i，则q_i＝1，否则q_i＝0，z＝[z₁，z₂，...，z_K]∈R^K是身份分类器的输出，

表示每个ID标签k∈1，...，K的预测概率；

其中X表示训练批次中的图像，x^a是锚点，x^p是与输入图像x^a具有相同身份的困难样本，xⁿ是与图像x^a具有不同身份的困难样本，f(·)示图像的特征，

是两个图像特征之间的欧式距离，[·]₊表示max(0，·),α是余量参数；

部分识别分支采用softmax交叉熵损失优化，如式(5)所示，

P表示水平划分的条数；

最终多分支网络模型损失函数是三个分支的损失函数的加权和：

L_Total＝λ₁L_Id+λ₂L_Triplet+λ₃L_Part+λ₄L_attr (6)

其中，λ是超参数。

Images