CN109583502A - 一种基于对抗擦除注意力机制的行人再识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于对抗擦除注意力机制的行人再识别方法，该方法包括：构建基于对抗擦除注意力机制的深度神经网络；获取训练集，并从中选择B个行人图像作为深度神经网络的输入；利用深度神经网络提取行人的全局深度特征；通过对抗擦除注意力机制，提取行人的局部深度特征；将全局深度特征和局部深度特征送入不同的损失函数中，基于得到的损失值优化深度神经网络；利用深度神经网络提取待查询图像的最终特征，计算最终特征与搜索库中行人图像的特征向量之间的相似度，获得待查询图像的匹配结果。本发明利用对抗擦除注意力机制的方法学习互补的行人特征，不但减小了过拟合的风险还提高了网络的泛化能力，从而提高行人检索匹配的正确率。

Description

一种基于对抗擦除注意力机制的行人再识别方法

技术领域

本发明属于计算机视觉、深度学习、人工智能技术领域，具体涉及一种基于对抗擦除注意力机制的行人再识别方法。

背景技术

行人再识别旨在从不同角度架设的摄像机中检索特定的行人，它在视频检索、多摄像机跟踪、行为识别等领域中扮演着重要的角色。然而行人再识别还面临诸多挑战，例如姿态变化、视角变化、光照变化等。

目前，深度神经网络被广泛的运用到行人再识别方法中，尤其在特征学习方面。一些方法专注于利用全局特征表示行人图像。例如，Xiao等人提出了一种从多个不同域获取全局深度特征的方法。Qian等人提出了一种多尺度深度学习模型(MuDeep)，该模型从多个尺度学习全局深度特征，并通过自动调整其权重将其组合起来。然而，全局深度特征忽略了行人的结构信息，导致不能完整的表示行人。因此，一些方法提出将行人图像或卷积激活图直接分割成若干部分以学习局部深度特征。例如，Yi等人提出将图像分割成三个重叠部分，并训练三个网络来捕获行人图像的不同统计特性。Sun等人利用均匀分割卷积激活图的方法提取局部深度特征。Wang等人设计了一个多分支深度网络，其中每个分支将卷积激活图划分为不同的条目以便学习深度局部特征。此外，一些方法通过其他额外操作，如姿态估计，来学习局部深度特征。例如，Zheng等人提出了姿态不变量嵌入方法(PIE)来表达行人，该方法首先利用姿态估计生成不同姿势的图像，然后利用这些图像学习局部深度特征。Wei等人介绍了全局局部对齐描述符(GLAD)，该描述符首先估计行人的关键点，接着学习局部区域和全局图像的描述符。然而，这些策略增加了累积误差和算法复杂度。

发明内容

本发明的目的是要解决在没有任何额外操作的前提下，通过对抗学习的方式，在学习行人全局深度特征的同时学习行人的局部深度的特征，从而提高网络泛化能力，为此，本发明提供一种基于对抗擦除注意力机制的行人再识别方法。

为了实现所述目的，本发明提出一种基于对抗擦除注意力机制的行人再识别方法，所述方法包括以下步骤：

步骤S1，构建基于对抗擦除注意力机制的深度神经网络；

步骤S2，获取训练集，并从训练集中选择B个行人图像作为所述深度神经网络的输入；

步骤S3，基于输入图像，利用所述深度神经网络提取行人的全局深度特征；

步骤S4，基于输入图像，通过对抗擦除注意力机制，利用所述深度神经网络提取行人的局部深度特征；

步骤S5，将行人的所述全局深度特征和所述局部深度特征送入不同的损失函数中，并基于得到的损失值优化所述深度神经网络；

步骤S6，利用已训练好的深度神经网络提取待查询图像的最终特征，并计算所述最终特征与搜索库中行人图像的特征向量之间的相似度，以获得所述待查询图像的匹配结果。

可选地，所述步骤S1包括以下步骤：

步骤S11，搭建深度神经网络中的初始网络；

步骤S12，搭建深度神经网络中的擦除网络；

步骤S13，利用训练好的残差网络对所述初始网络和擦除网络的参数进行赋值，得到基于对抗擦除注意力机制的深度神经网络。

可选地，所述步骤S11包括以下步骤：

步骤S111，使用残差网络-50作为所述初始网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S112，在修改后的残差网络之后添加两个全连接层、一个非线性激活函数和一个随机失活操作构成所述初始网络。

可选地，所述步骤S12包括以下步骤：

步骤S121，使用残差网络-50作为所述擦除网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S122，在修改后的残差网络之后添加两个全连接层、一个非线性激活函数和一个随机失活操作构成所述擦除网络的主干网络；

步骤S123，添加对抗擦除操作到所述擦除网络的主干网络，得到所述擦除网络。

可选地，所述步骤S3包括以下步骤：

步骤S31，利用输入图像训练所述深度神经网络的初始网络；

步骤S32，从所述深度神经网络中初始网络的平均池化层后提取得到行人的全局深度特征。

可选地，所述步骤S4包括以下步骤：

步骤S41，利用输入图像得到所述深度神经网络的注意力图，并利用所述深度神经网络的注意力图得到擦除行人图像；

步骤S42，使用所述擦除行人图像训练所述擦除网络，并提取得到行人的局部深度特征。

可选地，所述步骤S41包括以下步骤：

步骤S411，把输入图像送入所述深度神经网络的初始网络，从所述初始网络的第一个残差块后得到相应的卷积激活图；

步骤S412，利用所述卷积激活图得到所述深度神经网络的注意力图，并调整所述注意力图的大小为第一预设大小，之后从调整好的注意力图中选取显著性部分，得到显著性区域；

步骤S413，将获得的显著性区域映射到输入图像，并擦除输入图像上对应位置的像素值，得到擦除行人图像。

可选地，所述步骤S42包括以下步骤：

步骤S421，在每次迭代中利用动态擦除策略得到不同的擦除行人图像，并利用所述擦除行人图像训练所述深度神经网络的擦除网络；

步骤S422，从所述深度神经网络中的擦除网络的平均池化层后提取特征作为行人的局部深度特征。

可选地，所述步骤S5包括以下步骤：

步骤S51，使用第一交叉熵损失函数LI₁作为所述深度神经网络中初始网络的损失函数，使用第二交叉熵损失函数LI₂作为所述深度神经网络中擦除网络的损失函数；

步骤S52，使用三元组损失函数L_T作为所述初始网络和擦除网络共同的损失函数，使用所述损失函数得到的总的损失值L优化所述深度神经网络。

可选地，所述步骤S6包括以下步骤：

步骤S61，将所述待查询图像送入训练完成的基于对抗擦除注意力机制的深度神经网络，分别从初始网络和擦除网络的平均池化层后提取特征，将得到的两个特征串联起来作为所述待查询图像的最终特征；

步骤S62，基于所述待查询图像与搜索库中行人图像的特征向量，计算两者的相似度得分；

步骤S63，利用相似度得分对所述待查询图像进行匹配，获得匹配结果。

本发明的有益效果为：本发明利用对抗擦除注意力机制的方法从不同方面学习行人互补的特征，并利用不同损失优化网络提高网络的泛化能力，从而提高行人检索匹配的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61501328，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津高等学校创新团队基金项目的资助。

附图说明

图1是根据本发明一实施例的基于对抗擦除注意力机制的行人再识别方法的流程图。

图2是根据本发明一实施例构建的基于对抗擦除注意力机制的深度神经网络的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例基于对抗擦除注意力机制的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明的方法是一种基于对抗擦除注意力机制的行人再识别方法，其具体步骤包括：

步骤S1，构建基于对抗擦除注意力机制的深度神经网络，图2显示了根据本发明一实施例构建的基于对抗擦除注意力机制的深度神经网络的结构框图；

其中，所述步骤S1包括以下步骤：

步骤S11，搭建深度神经网络中的初始网络，其中所述初始网络就是通常使用的普通深度神经网络；

步骤S12，搭建深度神经网络中的擦除网络；

步骤S13，利用训练好的残差网络对所述初始网络和擦除网络的参数进行赋值，得到基于对抗擦除注意力机制的深度神经网络。

其中，所述步骤S11包括以下步骤：

步骤S111，使用残差网络-50作为所述初始网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S112，在修改后的残差网络之后添加两个全连接层(FC_1，FC_2)、一个非线性激活函数和一个随机失活操作构成所述初始网络。

在本发明一实施例中，所述全连接层FC_1的神经元的个数为512，全连接层FC_2的神经元的个数为行人类别数量N，非线性激活函数选取参数为0.1的Leak ReLu，随机失活操作参数为0.5。

其中，所述步骤S12包括以下步骤：

步骤S121，使用残差网络-50作为所述擦除网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S122，在修改后的残差网络之后添加两个全连接层(FC_3，FC_4)、一个非线性激活函数和一个随机失活操作构成所述擦除网络的主干网络。

在本发明一实施例中，所述全连接层FC_3的神经元的个数为512，全连接层FC_4的神经元的个数为行人类别数量N，非线性激活函数选取参数为0.1的Leak ReLu，随机失活操作参数为0.5。

步骤S123，添加对抗擦除操作到所述擦除网络的主干网络，得到所述擦除网络。

步骤S2，获取训练集，并从训练集中选择B个行人图像作为所述深度神经网络的输入；

其中，所述步骤S2包括以下步骤：

步骤S21，将所述训练集中每一幅行人图像的大小调整到第一预设大小；

步骤S22，在训练集中随机选择B个行人图像作为所述深度神经网络的输入。

在本发明一实施例中，所述第一预设大小为256×128，实验性的可设置B＝32。

步骤S3，基于输入图像，利用所述深度神经网络提取行人的全局深度特征；

其中，所述步骤S3包括以下步骤：

步骤S31，利用输入图像训练所述深度神经网络的初始网络；

步骤S32，从所述深度神经网络中初始网络的平均池化层后提取得到行人的全局深度特征。

在本发明一实施例中，所述全局深度特征的维度为2048。

步骤S4，基于输入图像，通过对抗擦除注意力机制，利用所述深度神经网络提取行人的局部深度特征；

其中，所述步骤S4包括以下步骤：

步骤S41，利用输入图像得到所述深度神经网络的注意力图，并利用所述深度神经网络的注意力图得到擦除行人图像；

步骤S42，使用所述擦除行人图像训练所述擦除网络，并提取得到行人的局部深度特征。

其中，所述步骤S41包括以下步骤：

步骤S411，把输入图像送入所述深度神经网络的初始网络，从所述初始网络的第一个残差块后得到相应的卷积激活图；

在本发明一实施例中，所述卷积激活图的大小为64×32。

步骤S412，利用所述卷积激活图得到所述深度神经网络的注意力图，并调整所述注意力图的大小为第一预设大小，之后从调整好的注意力图中选取显著性部分，得到显著性区域；

在本发明一实施例中，使用如下公式得到所述深度神经网络的注意力图A_l：

其中，M_l,c表示第l层的第c个通道的卷积激活图，在此公式中，所有的操作都是基于元素之间的。

在本发明一实施例中，所述显著性区域表示为注意力图中前R％的值所对应的点，对于Market-1501数据，实验性的设置R＝10。

步骤S413，将获得的显著性区域映射到输入图像，并擦除输入图像上对应位置的像素值，得到擦除行人图像。

其中，所述步骤S42包括以下步骤：

步骤S421，在每次迭代中利用动态擦除策略得到不同的擦除行人图像，并利用所述擦除行人图像训练所述深度神经网络的擦除网络；

在本发明一实施例中，所述动态擦除策略为在每次迭代中使用不同的注意力图得到擦除行人图像。每次迭代时，网络参数发生变化，不同的网络参数会计算得到不同的注意力图。

步骤S422，从所述深度神经网络中的擦除网络的平均池化层后提取特征作为行人的局部深度特征。

在本发明一实施例中，所述局部深度特征的维度为2048。

步骤S5，将行人的所述全局深度特征和所述局部深度特征送入不同的损失函数中，并基于得到的损失值优化所述深度神经网络；

其中，所述步骤S5包括以下步骤：

步骤S51，使用第一交叉熵损失函数LI₁作为所述深度神经网络中初始网络的损失函数，使用第二交叉熵损失函数LI₂作为所述深度神经网络中擦除网络的损失函数；

在本发明一实施例中，所述第一交叉熵损失函数LI₁的输入为全连接层FC_2的输出，所述第二交叉熵损失函数LI₂的输入为全连接层FC_4的输出。

步骤S52，使用三元组损失函数L_T作为所述初始网络和擦除网络共同的损失函数，之后使用所述损失函数得到的总的损失值L优化所述深度神经网络。

在本发明一实施例中，三元组损失函数L_T的输入为所述全局深度特征和所述局部深度特征。使用得到的总的损失值L利用SGD优化器对于所述基于对抗擦除注意力机制的深度神经网络进行优化。

其中，所述第一交叉熵损失函数LI₁表示为：

其中，N表示行人类别数量，q(t)表示标签分布，p(t)表示行人图像被预测为第t类的概率。

在本发明一实施例中，N被设置为751对于Market-1501数据库。

在本发明一实施例中，所述标签分布表示为：

其中，y表示为真实行人图像的标签。

在本发明一实施例中，所述p(t)表示行人图像被预测为第t类的概率，其表示为：

其中，v_i表示全连接层FC_2的第i个神经元的输出。

其中，所述第二交叉熵损失函数LI₂表示为：

其中，所述三元组损失函数L_T表示为：

L_T＝[D_ap+m-D_an]₊

其中，[Z]₊代表max(Z,0)，m表示阈值，D_ap表示锚样本图像特征与正样本图像特征之间的距离，D_an表示表示锚样本图像特征与负样本图像特征之间的距离，f(x_a)、f(x_p)、f(x_n)分别表示锚样本图像x_a、正样本图像x_p、负样本图像x_n的特征向量。

在本发明一实施例中，所述三元组损失函数的输入为原始输入图像和擦除图像，实验性的可设置m＝0.3对于Market-1501数据库。

其中，所述总的损失值L表示为：

其中，α₁和α₂分别用于控制目标损失的相对重要性。

在本发明一实施例中，实验性的可设置α₁＝1，α₂＝1在Market-1501数据库。

步骤S6，在测试阶段，利用已训练好的深度神经网络提取待查询图像的最终特征，并计算所述最终特征与搜索库中行人图像的特征向量之间的相似度，以获得所述待查询图像的匹配结果。

其中，所述步骤S6包括以下步骤：

步骤S61，将所述待查询图像送入训练完成的基于对抗擦除注意力机制的深度神经网络，分别从初始网络和擦除网络的平均池化层后提取特征，将得到的两个特征串联起来作为所述待查询图像的最终特征；

在本发明一实施例中，所述最终特征的维度为4096。

步骤S62，基于所述待查询图像与搜索库中行人图像的特征向量，计算两者的相似度得分；

其中，所述搜索库是用于与待查询图像进行相似度比较的数据库。

步骤S63，利用相似度得分对所述待查询图像进行匹配，获得匹配结果。

在本发明一实施例中，所述相似度得分由欧式距离计算得到。

在本发明一实施例中，所述匹配结果为相似度得分最高的行人图像。

以网上公开的行人再识别数据库作为测试对象，比如在Market-1501数据库上，当R＝0.1，m＝0.3，α₁＝1，α₂＝1时，行人再识别匹配的正确率为rank-1＝93.8％，平均精度mAP＝82.5％。由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于对抗擦除注意力机制的行人再识别方法，其特征在于，该方法包括以下步骤：

步骤S1，构建基于对抗擦除注意力机制的深度神经网络；

步骤S2，获取训练集，并从训练集中选择B个行人图像作为所述深度神经网络的输入；

步骤S3，基于输入图像，利用所述深度神经网络提取行人的全局深度特征；

步骤S4，基于输入图像，通过对抗擦除注意力机制，利用所述深度神经网络提取行人的局部深度特征；

步骤S5，将行人的所述全局深度特征和所述局部深度特征送入不同的损失函数中，并基于得到的损失值优化所述深度神经网络；

步骤S6，利用已训练好的深度神经网络提取待查询图像的最终特征，并计算所述最终特征与搜索库中行人图像的特征向量之间的相似度，以获得所述待查询图像的匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

步骤S11，搭建深度神经网络中的初始网络；

步骤S12，搭建深度神经网络中的擦除网络；

步骤S13，利用训练好的残差网络对所述初始网络和擦除网络的参数进行赋值，得到基于对抗擦除注意力机制的深度神经网络。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111，使用残差网络-50作为所述初始网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S112，在修改后的残差网络之后添加两个全连接层、一个非线性激活函数和一个随机失活操作构成所述初始网络。

4.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：

步骤S121，使用残差网络-50作为所述擦除网络的主干网络并移除残差网络-50中最后的全连接层，得到修改后的残差网络；

步骤S122，在修改后的残差网络之后添加两个全连接层、一个非线性激活函数和一个随机失活操作构成所述擦除网络的主干网络；

步骤S123，添加对抗擦除操作到所述擦除网络的主干网络，得到所述擦除网络。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，利用输入图像训练所述深度神经网络的初始网络；

步骤S32，从所述深度神经网络中初始网络的平均池化层后提取得到行人的全局深度特征。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，利用输入图像得到所述深度神经网络的注意力图，并利用所述深度神经网络的注意力图得到擦除行人图像；

步骤S42，使用所述擦除行人图像训练所述擦除网络，并提取得到行人的局部深度特征。

7.根据权利要求6所述的方法，其特征在于，所述步骤S41包括以下步骤：

步骤S411，把输入图像送入所述深度神经网络的初始网络，从所述初始网络的第一个残差块后得到相应的卷积激活图；

步骤S412，利用所述卷积激活图得到所述深度神经网络的注意力图，并调整所述注意力图的大小为第一预设大小，之后从调整好的注意力图中选取显著性部分，得到显著性区域；

步骤S413，将获得的显著性区域映射到输入图像，并擦除输入图像上对应位置的像素值，得到擦除行人图像。

8.根据权利要求6所述的方法，其特征在于，所述步骤S42包括以下步骤：

步骤S421，在每次迭代中利用动态擦除策略得到不同的擦除行人图像，并利用所述擦除行人图像训练所述深度神经网络的擦除网络；

步骤S422，从所述深度神经网络中的擦除网络的平均池化层后提取特征作为行人的局部深度特征。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：

步骤S51，使用第一交叉熵损失函数LI₁作为所述深度神经网络中初始网络的损失函数，使用第二交叉熵损失函数LI₂作为所述深度神经网络中擦除网络的损失函数；

步骤S52，使用三元组损失函数L_T作为所述初始网络和擦除网络共同的损失函数，使用所述损失函数得到的总的损失值L优化所述深度神经网络。

10.根据权利要求1所述的方法，其特征在于，所述步骤S6包括以下步骤：

步骤S61，将所述待查询图像送入训练完成的基于对抗擦除注意力机制的深度神经网络，分别从初始网络和擦除网络的平均池化层后提取特征，将得到的两个特征串联起来作为所述待查询图像的最终特征；

步骤S62，基于所述待查询图像与搜索库中行人图像的特征向量，计算两者的相似度得分；

步骤S63，利用相似度得分对所述待查询图像进行匹配，获得匹配结果。