CN113177539B - 一种遮挡行人特征提取与行人重识别方法 - Google Patents

Abstract

本发明公开了一种遮挡行人特征提取与重识别方法，其中在利用全局特征提取网络对行人全局特征提取时，创新性嵌入了有效感受野提取模型以及特征激发模型，从而极大地提升了行人特征的代表性与可区分度。通过PartialReID以及PartialiLids数据集测试，本发明证明了上述两模型在处理遮挡行人重识别问题上的有效性以及先进性，对ReID技术的推广与实际场景应用有着积极意义。

Description

一种遮挡行人特征提取与行人重识别方法

技术领域

本发明属于计算机视觉及深度学习技术领域，具体涉及遮挡行人的特征提取以及代表性特征激发等方法。

背景技术

行人重识别（ReID）技术为通过分析行人图片，找到同一目标人物，其对实现智慧安防，城市大脑等有重要意义。现有的行人重识别技术主要是针对无遮挡情况下的行人重识别，通过行人多层次特征提取以及特征对比来实现功能。但是现有的特征提取与对比算法对于遮挡状态下的行人重识别效果不佳，这也极大的制约了该项技术的实际场景应用。

对于遮挡行人的重识别问题，其核心难点在于由于遮挡现象，通过图像获得的行人特征经常是不完整的，甚至是充满背景噪声的，这样的行人特征在与无遮挡全身行人进行特征对比时，常常会导致不尽如人意的结果。

发明内容

本发明的目的是针对遮挡状态下行人特征不完整、背景噪声多而导致的重识别正确率不高的问题，提出一种遮挡行人特征提取与行人重识别方法。

本发明采用的具体技术方案如下：

一种遮挡行人特征提取与重识别方法，包括以下步骤：

利用全局特征提取网络提取N张输入行人图片的全局行人特征；

利用行人局部特征提取网络以关键点为基础提取N张输入行人图片的局部行人特征；

利用特征融合图匹配网络融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，并通过图匹配的方式进行相互对比，获得每张输入行人图片的行人重识别结果；

其中，所述全局特征提取网络包含K层卷积层和有效感受野提取模型，所述有效感受野提取模型用于对第一卷积层提取的浅层特征张量逐通道分析，依次找到每个通道中特征值最大的像素点作为该通道对应的最佳信息像素点，再根据最佳信息像素点的高度值统计浅层特征张量中相互重叠的不同区域各自包含的最佳信息像素点数量，并选取最佳信息像素点数量最多的区域作为浅层特征张量的最佳感受野并作为第二卷积层的输入；所述相互重叠的不同区域由原始输入行人图片水平切割映射获得；

所述全局特征提取网络、行人局部特征提取网络和特征融合图匹配网络通过利用行人数据集以最小化预测值与真值的损失为目标训练获得。

进一步地，所述全局特征提取网络还包括特征激发模型，所述特征激发模型包含K-1个子激发模块，分别用于激发第2~K层卷积层提取的深层特征张量；所述子激发模块包含特征蒸馏模块与特征激活模块，其中，特征蒸馏模块由多个卷积聚集层组成，用于对深层特征张量进行连续的压缩与蒸馏；所述特征激活模块用于将特征蒸馏模块输出的特征与原始输入的深层特征张量融合并激活。

进一步地，所述全局特征提取网络在推理阶段不使用有效感受野提取模型。

进一步地，所述相互重叠的不同区域为：0～(1-α)H，0.5αH～（1-0.5α）H和αH～H的三个区域，H为输入行人图片的高，α为取值0~1的可变参数，优选为0-0.2。

进一步地，所述行人局部特征提取网络包括用于估计输入行人图片中行人姿态的姿态估计模块和用于根据获得的姿态提取局部特征的局部特征提取模块，所述特征融合图匹配网络包括：用于融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息的融合特征模块和对N个行人综合特征信息进行两两图匹配的图匹配模块。

进一步地，所述融合特征模块融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，具体为：

将获得的全局行人特征张量和局部行人特征张量进行特征通道数统一处理，然后串联，对串联后的每张输入行人图片的特征张量逐通道分析，获得每个通道对应的特征最大值作为该通道的代表性特征，所有通道的代表性特征构成每张输入行人图片的行人综合特征信息，最终获得N个行人综合特征信息。

进一步地，所述预测值与真值的损失具体包括：局部特征提取模块输出的特征对称损失、融合特征模块输出的分类损失与三元组损失以及图匹配模块输出的图匹配损失。

本发明的有益效果是：本发明提出了一种新型的特征提取与行人重识别方法，其核心创新点为遮挡状态下行人的最佳感受野提取以及行人代表性特征激发这两个可嵌入式模型。本发明基于遮挡行人数据集进行了模型效果的相关验证，结果证明本发明方法可以较大提升遮挡行人重识别的准确性和稳定性，在主要指标Rank1和mAP上均达到世界领先水平。

附图说明

图1为基于本发明方法的ReID模型训练时的架构图；

图2为最佳感受野模型作用的效果示意图，其中，(a)、(b)、(c)分别为3张输入行人图像，框即为选择的最佳感受野区域；

图3为本发明子激发模块的结构图；

图4为本发明特征激发模型的应用效果示意图，其中，(a)为输入行人图片，(b)为未使用特征激发模型提取的行人特征图，(c)为使用了特征激发模型后提取的行人特征图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明。本发明的一种遮挡行人特征提取与重识别方法，包括以下步骤：

利用全局特征提取网络提取输入行人图片的全局行人特征；

利用全局特征提取网络提取N张输入行人图片的全局行人特征；

利用行人局部特征提取网络以关键点为基础提取N张输入行人图片的局部行人特征；

利用特征融合图匹配网络融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，并通过图匹配的方式进行相互对比，获得每张输入行人图片的行人重识别结果；

其中，所述全局特征提取网络包含K层卷积层和有效感受野提取模型，所述有效感受野提取模型用于对第一卷积层提取的浅层特征张量逐通道分析，依次找到每个通道中特征值最大的像素点作为该通道对应的最佳信息像素点，再根据最佳信息像素点的高度值统计浅层特征张量中相互重叠的不同区域各自包含的最佳信息像素点数量，并选取最佳信息像素点数量最多的区域作为浅层特征张量的最佳感受野并作为第二卷积层的输入；所述相互重叠的不同区域由原始输入行人图片水平切割映射获得；

所述全局特征提取网络、行人局部特征提取网络和特征融合图匹配网络通过利用行人数据集以最小化预测值与真值的损失为目标训练获得。

具体地，全局特征提取网络的思路与结构如图1所示，在深度神经网络进行行人深层特征提取时，在第一卷积层Conv1和第二卷积层Conv2之间加入了一个最佳感受野提取模型，以减少图像噪声区域对于后续特征提取的不利影响，从而获得更为有区分度的行人特征。

其实现方法如下：对于输入行人图片，在其经过Conv1之后，得到浅层特征张量C×H×W（C为输入行人图片特征通道数，H和W分别为输入行人图片的高和宽），然后最佳感受野模型会对该张量逐通道分析，依次找到每个通道c _i 中最佳信息像素点的位置（h _j , w _k ），h _j ϵH, w _k ϵW，其中最佳信息像素点表示了该通道中信息最丰富，最具有区分度的像素特征，如公式(1)所示：

IRR(c _i ) =（h _j , w _k ）

Feature V(c _i , h, w)| h

h _j , w

w _k

Feature V(c _i , h _j , w _k ) (1)

其中，IRR(c _i )表示c _i 通道最佳信息像素点；Feature V(c _i , h, w)表示c _i 通道、像素点(h, w)处对应的特征值，j、k为最佳信息像素点对应的高、宽位置索引。

据此，可进一步获得一个点队列，其中每个点都代表其对应通道的最佳信息像素点的高度值h _j 。然后，再将原输入行人图片水平切割成互有重叠区域的三个部分，本实施例中优选分别为0～(1-α)H，0.5αH～（1-0.5α）H以及αH～H（其中α为可变参数，通过实验发现α=0.04时模型效果最佳）。最后，计算三个区域各自包含的最佳信息像素点数量，并选取最佳信息像素点数量最多的区域作为该张图片的最佳感受野，输入后续的Conv2等进行深层特征提取。

最佳感受野模型作用的效果如图2所示（图中框即为选择的最佳感受野区域），由此可见该模型可以有效去除图像背景噪声区域，并且定位含更多显著性特征的区域，从而提升提取到的深层特征的显著性和可区分度，对遮挡行人的行人重识别问题有积极作用。

此外，优选地，最佳感受野模型可以仅应用于遮挡行人ReID模型训练阶段，协同辅助其他模型，如局部特征提取、特征激发模型的训练和收敛，在推理阶段将不使用该模型，从而可以提升ReID模型在推理阶段的速度。

作为另一优选的实施方案，所述全局特征提取网络还包括特征激发模型，通过自适应的分辨并凸显提取到的有代表性的行人特征，通过分配特征权重的方式来提升输出特征代表性与可区分度，从而应对由遮挡等情况造成的背景噪声问题。所述特征激发模型包含K-1个子激发模块，分别用于激发第2~K层的卷积层提取的深层特征张量；所述子激发模块均包含特征蒸馏模块与特征激活模块，其中，特征蒸馏模块由多个连续的卷积聚集层组成，用于对深层特征张量进行连续的压缩与蒸馏；而所述特征激活模块则将特征蒸馏模块输出的特征与原始输入的深层特征张量融合并激活。

如图1所示，全局特征提取网络具体包括5层卷积层Conv1~ Conv5，特征激发模型包括4个子激发模块，将独立应用于第二卷积层Conv2，第三卷积层Conv3，第四卷积层Conv4以及第五卷积层Conv5。

对于每一个子激发模块，其都包含了特征蒸馏与特征激活两个模块。其中特征蒸馏中有n个卷积聚集层，每个卷积聚集层会对输入特征进行一次压缩，如图3所示，最终获得压缩了n次的蒸馏后行人特征（对于不同子激发模块，n的取值不同，本实施例中经实验发现，Conv2，Conv3，Conv4，Conv5的n取值分别为8，4，2，2时，模型效果最佳）。特征激活模块应用于蒸馏后行人特征，将其与原始行人特征融合并激活，以获得最终激活后行人特征。融合的方法可以为双线性插值法（Bilinear Interpolation），保证输出张量形态（CHW）与原始输入一致，激活采用sigmoid激活函数，将数据映射到0-1范围内，便于后续神经网络学习与反向传播。特征激发模型可以有效过滤原图中背景噪声、遮挡等带来的异常特征值，凸显显著性、代表性行人特征。因此，经激发后的行人特征将具有更好的特征鲁棒性以及显著性，对于后续的遮挡行人特征对比ReID有积极意义。

特征激发模型的应用效果如图4所示，其中，图4中的(a)为输入行人图片，(b)为未使用特征激发模型提取的行人特征图，(c)为使用了特征激发模型后提取的行人特征图。由此可见，本发明的特征激发模型可以对背景噪声起到明显的平滑作用，并凸显行人代表性特征。

基于本发明方法的遮挡行人ReID模型训练阶段架构如图1所示，具体包括全局特征提取网络，行人局部特征提取网络和特征融合图匹配网络三个部分，其中，行人局部特征提取网络包括姿态估计模块和局部特征提取模块，姿态估计模块用于对输入行人图片进行行人姿态估计，骨架提取等，获得行人骨架关键点，本实施例中姿态估计模块采用posehrnet为baseline构建获得；局部特征提取模块进一步通过行人关键点结合全局行人特征获得行人局部特征。特征融合图匹配网络包括融合特征模块和图匹配模块，融合特征模块将融合全局行人特征和局部特征，本实施例中，针对遮挡行人图像特点，先融合行人局部特征与全局特征作为行人的综合特征，具体采用了“max-all”类型的融合方式，即对于获得的全局行人特征张量（N*1*C）和局部行人特征张量（N*m*C），其中N为单批次输入行人图片数量，C为特征通道数（对于获得的全局与局部行人特征，融合前需要将特征通道数统一化），m为姿态估计网络获得的行人局部特征分类数，本实施例中优选m=13，即将行人局部特征用13维的张量表示。在获取全局与局部行人特征后，先将其串联（concatenate）以获得（N*（m+1）*C）行人特征张量，然后对每张输入行人图片的行人特征张量（（m+1）*C）逐通道分析，获得每个通道对应的特征最大值作为该通道的代表性特征，最终获得（N*1*C）的行人特征张量，相较于传统的“sum-all”，“concatenate”以及“multiple”类型的特征融合方式，本方法创新地使用了“max-all”的方式，其更加符合遮挡行人特征的相关特点，并可以有效减少背景噪声对行人综合特征的影响。图匹配模块（graph matching）根据获得的N个行人综合特征信息进行两两图匹配，其具体实现方法为，对于待匹配的两个行人特征向量a1（1*C），a2（1*C），先通过图神经网络高维多通道协同分析来获得待匹配向量相似度矩阵，然后放大其在显著性特征通道上的特征差异，从而更好的应对由背景造成带来的对特征对比效果的不利影响，实现更为鲁棒的特征对比与匹配。ReID模型训练的总损失函数包括：局部特征提取模块输出的特征对称损失、融合特征模块输出的分类损失与三元组损失以及图匹配模块输出的图匹配损失。

本实施例对最佳感受野模型和特征激发模型进行了消融实验测试，验证了其在遮挡行人ReID问题上的有效性。如表1所示，可以发现上述两模型均可以有效提升ReID模型在PartialReID以及ParitaliLids这两个主流遮挡行人数据集上的表现，且有效感受野模型α=0.04，特征激发模型Conv2 n，Conv3 n，Conv4 n，Conv5 n分别为8，4，2，2时模型效果最佳。

表1消融实验测试结果

将本发明中的ReID模型与其他遮挡行人ReID模型进行了对比，如表2所示，可以发现本发明模型在Rank1，Rank3，mAP这三个指标上均实现了对现有最佳算法的突破，验证了本发明方法的先进性。

表2 不同模型效果对比

基于上述理论分析以及数据集检验，证明本发明提出的核心创新点有效感受野提取模型及特征激发模型可以有效提升行人ReID模型在面对背景噪声、遮挡等问题时的鲁棒性和有效性，对行人ReID技术的实际场景应用有较大的积极意义。另一方面，上述两个创新模型均为可嵌入式的，对其他的行人ReID模型具有极高的可兼容性，因此对未来ReID模型的结构与设计有较大的借鉴意义与提升效果。

最后，还需要指出的是，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (7)

1.一种遮挡行人特征提取与重识别方法，其特征在于，包括以下步骤：

利用全局特征提取网络提取N张输入行人图片的全局行人特征；

利用行人局部特征提取网络以关键点为基础提取N张输入行人图片的局部行人特征；

利用特征融合图匹配网络融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，并通过图匹配的方式进行相互对比，获得每张输入行人图片的行人重识别结果；

其中，所述全局特征提取网络包含K层卷积层和有效感受野提取模型，所述有效感受野提取模型用于对第一卷积层提取的浅层特征张量逐通道分析，依次找到每个通道中特征值最大的像素点作为该通道对应的最佳信息像素点，再根据最佳信息像素点的高度值统计浅层特征张量中相互重叠的不同区域各自包含的最佳信息像素点数量，并选取最佳信息像素点数量最多的区域作为浅层特征张量的最佳感受野并作为第二卷积层的输入；所述相互重叠的不同区域由原始输入行人图片水平切割映射获得；

所述全局特征提取网络、行人局部特征提取网络和特征融合图匹配网络通过利用行人数据集以最小化预测值与真值的损失为目标训练获得。

2.根据权利要求1所述的遮挡行人特征提取与重识别方法，其特征在于，所述全局特征提取网络还包括特征激发模型，所述特征激发模型包含K-1个子激发模块，分别用于激发第2~K层卷积层提取的深层特征张量；所述子激发模块包含特征蒸馏模块与特征激活模块，其中，特征蒸馏模块由多个卷积聚集层组成，用于对深层特征张量进行连续的压缩与蒸馏；所述特征激活模块用于将特征蒸馏模块输出的特征与原始输入的深层特征张量融合并激活。

3.根据权利要求1所述的遮挡行人特征提取与重识别方法，其特征在于，所述全局特征提取网络在推理阶段不使用有效感受野提取模型。

4.根据权利要求1所述的遮挡行人特征提取与重识别方法，其特征在于，所述相互重叠的不同区域为：0～(1-α)H，0.5αH～（1-0.5α）H和αH～H的三个区域，α为取值0~1的可变参数，H为输入行人图片的高。

5.根据权利要求1所述的遮挡行人特征提取与重识别方法，其特征在于，所述行人局部特征提取网络包括用于估计输入行人图片中行人姿态的姿态估计模块和用于根据所获得的姿态提取局部特征的局部特征提取模块；所述特征融合图匹配网络包括：用于融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息的融合特征模块和对N个行人综合特征信息进行两两高维匹配的图匹配模块。

6.根据权利要求5所述的遮挡行人特征提取与重识别方法，其特征在于，所述融合特征模块融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，具体为：

将获得的全局行人特征张量和局部行人特征张量进行特征通道数统一处理，然后串联，对串联后的每张输入行人图片的特征张量逐通道分析，获得每个通道对应的特征最大值作为该通道的代表性特征，所有通道的代表性特征构成每张输入行人图片的行人综合特征信息，最终获得N个行人综合特征信息。

7.根据权利要求5所述的遮挡行人特征提取与重识别方法，其特征在于，所述预测值与真值的损失具体包括：局部特征提取模块输出的特征对称损失、融合特征模块输出的分类损失与三元组损失以及图匹配模块输出的图匹配损失。

Images