CN110472591B - 一种基于深度特征重构的遮挡行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于深度特征重构的遮挡行人重识别方法，包括如下步骤，步骤1.1：给定待匹配的带遮挡行人的图像；步骤1.2：设计特征提取网络FPSN；步骤1.3：给待匹配图像P_d和P_c中的行人进行姿态预测，得到行人骨架；步骤2.1：根据骨架将图像P_d和P_c中的行人划分为头部，左右躯干以及上下腿部五个子图部分；步骤3.1：将图像P_db和P_cb行分别放入FPSN网络中进行特征提取；步骤3.3，用Y中的块y_j对X中任意的小块x_i进行稀疏重构；步骤4.1：计算x_i与y_j的余弦相似度t_ij；步骤4.2：计算x_i与Y之间的距离d_i；步骤4.3：根据式(1)计算图像P_d和P_c之间相似度；本发明的优点是：利用行人姿态估计，深度学习以及特征重构的方法，将行人图像进行子区域划分和遮挡部分处理。

Description

一种基于深度特征重构的遮挡行人重识别方法

技术领域

本发明涉及到深度学习，行人姿态估计，计算机视觉等各个领域，具体为一种基于深度特征重构的遮挡行人重识别方法。

背景技术

随着行人重识别技术的日益发展，识别的准确率和识别效率的提升，该技术已经越来越多的应用于智能安防领域，在公安，刑侦，公共安全等领域都发挥出了越来越重要的作用。不仅如此，行人重识别技术在无人超市，相册聚类等新兴领域也开始扮演重要角色。随着大数据时代的到来，行人重识别领域的行人匹配数据集也越来越庞大，数据量和数据类型都急剧上升，从早期1264张图像，632个行人仅包含两个摄像机的VIPeR数据集到如今，126441张图像，4101个行人，包含15个摄像机的MSMT17数据集，在数据变得越来越丰富多样的同时也给行人重识别的效率和准确率带来了极大的挑战。经过多年的发展与深度学习时代的来临，目前行人重识别技术主流以深度学习的方法为主。但就目前看来，行人重识别技术远远没有达到能够商用的成熟技术标准，基于深度学习的行人重识别方法仍然有很大的探索和进步空间。遮挡行人重识别就是一个其中极具探索价值的问题。行人图像在摄像机下很容易被遮挡，但是目前遮挡行人重识别的平均准确率并不高。

因此，利用深度学习以及特征重构的方法进行遮挡行人重识别仍具有较高的研究价值与意义，且有非常大的可行性。

ICCV，Zhang利用MSTR(multi-task sparse representation无需对齐，用稀疏特征表达，即词典的方法表示特征)方法应对遮挡行人重识别，与此同时添加约束减少错误对齐和匹配图像块的数目，并引入图像块相似性评分机制，考虑了全局性的部件匹配，利用上空间布局信息，减少错误匹配；香港中文大学，Kim利用CNN，RoI Pooling和Attention模型结合应对行人重识别，利用RoIpooling层可以提取与输入图像的预定义部分对应的特征矢量，再通过Attention模型有选择地关注CNN特征向量的子集，并在该网络框架下将人体分为13个局部部分以应对行人不同位置的遮挡；清华大学，Su提出了一种姿态驱动的深度卷积(PDC)模型，利用人体各个部分的骨架信息来减轻姿态变化，从全局图像和各个不同的局部部分学习更具有鲁棒的特征表示，并设计了姿态驱动特征加权子网络以学习自适应特征融合来匹配来自人体全身和各个局部身体部位的特征；CVPR，Sun设计了baseline-PCB(Part-based Convolutional Baseline)网络，其能得到由几个局部级别的特征得到的综合描述子用于reid任务的行人匹配，在baseline中一个行人图像的各局部间考虑了信息过渡的连续性，并在训练时采用对抗网络的思想，使用RPP(refinedpartpooling)策略使局部内产生一个连续性，使得最终基于局部的模型得到更强的应用性与鲁棒性；中科大，Zhao利用在其他数据集上训练好的姿势估计模型无监督迁移到Re-ID数据集上，得到局部特征的定位，并提取局部特征信息(part-level features)，再通过人体区域引导多阶段特征提取网络(FEN)与树结构竞争特征融合网络(FFN)结合的方式得到最终行人特征用于匹配；中科大，He提出了一种将稀疏重建学习和深度学习融合的不需要行人图像对齐且对输入图像大小没有尺寸约束的遮挡局部reID方法，通过最小化同一id的行人图像的重构误差、最大化不同id的重建误差来训练端到端深度模型。

上述文献和方法中虽然都提到了利用深度学习等方法对行人图像或遮挡行人图像进行匹配，但仍存在以下不足：

1)方法仅针对某个数据集，且遮挡情况复杂多变，并未将遮挡的各种情况考虑完全。

2)重识别准确率不高，相比较行人重识别，遮挡行人重识别的平均准确率以及效率都极为低下。

因此，如何设计一种新的方法进行遮挡行人重识别，使其具有较高的平均准确率以及匹配效率，同时在各个遮挡数据集以及行人数据集都有较好的表现效果是目前仍需解决的一个问题。

发明内容

为克服上述算法和方法存在的不足，提高遮挡行人重识别的效率以及准确率，本发明提出了一种基于深度特征重构的遮挡行人重识别方法。

一种基于深度特征重构的遮挡行人重识别方法，其特征在于，包括如下步骤：

步骤1.1：给定待匹配的带遮挡行人的图像，归一化到固定大小，分别记为P_d和P_c；

步骤1.2：设计特征提取网络FPSN，该网络以Resnet作为网络主干并去掉最后的平均池化层和softmax层；

步骤1.3：利用姿态估计算法给待匹配图像P_d和P_c中的行人进行姿态预测，得到行人骨架；

步骤2.1：根据骨架将图像P_d中的行人划分为头部，左右躯干以及上下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_db；

步骤2.2：根据骨架将图像P_c中的行人划分为头部，左右躯干以及上下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_cb；

步骤3.1：将图像P_db和P_cb行分别放入FPSN网络中进行特征提取，分别得到一张W×H×D的特征图，记为P_df和P_cf，其中W代表宽度，H代表高度，D代表通道数；

步骤3.2：将特征图P_df和P_cf分别分为W×H个小块，其中每个小块的大小为1×1×D，特征图P_df划分的M个小块集合记为X，X＝{x_i|i＝1,2,…,M}，特征图P_cf划分的N个小块集合记为Y，Y＝{y_j|j＝1,2,…,N}；

步骤3.3：，用Y中的块y_j对X中任意的小块x_i进行稀疏重构，得到x_i相对于Y的稀疏系数为w_i；

步骤4.1：计算x_i与y_j的余弦相似度t_ij；

步骤4.2：计算x_i与Y之间的距离d_i：

d_i＝min{(||x_i-w_iy_k||₂-λt_ikw_i)|k＝1,2,…,N} (1)

其中，参数λ是提前设置的控制参数，min表示求集合中的最小值，||·||₂表示给定向量的2范数，y_k表示Y中的一个小块，t_ik表示x_i与y_k的余弦相似度；

步骤4.3：根据式(1)计算图像P_d和P_c之间相似度：

其中，M表示步骤3.2中特征图P_df划分的小块数量；

步骤4.4：给定阈值T，若D(P_d,P_c)≥T，认定图像P_d和P_c为相似。

本发明的优点是：利用行人姿态估计，深度学习以及特征重构的方法，将行人图像进行子区域划分和遮挡部分处理，通过特征提取得到特征图，利用稀疏重构的方法进行特征图子块匹配，最终得到精准的遮挡行人重识别结果，相比较其他方法而言，提高遮挡行人重识别的准确性，以及遮挡行人重识别方法在各个遮挡行人数据集和行人重识别数据集上的识别准确率和鲁棒性。

附图说明

图1为待匹配图像P_d；

图2为待匹配图像P_c；

图3为待匹配图像P_d行人骨架图；

图4为待匹配图像P_c行人骨架图；

图5为待输入图像P_db；

图6为待输入图像P_cb。

具体实施方式

下面基于实例来阐述本发明基于深度特征重构的遮挡行人重识别方法的具体实施方式。

步骤1.1：给定待匹配的带遮挡行人的图像，归一化到固定大小，分别记为P_d和P_c；在本实施例中，图像P_d和P_c如图1-2所示，归一化到固定大小348×192；

步骤1.2：设计特征提取网络FPSN，该网络以Resnet作为网络主干并去掉最后的平均池化层和softmax层；

步骤1.3：利用姿态估计算法给待匹配图像P_d和P_c中的行人进行姿态预测，得到行人骨架；在本实施例中，行人骨架图如图3-4所示；

步骤2.1：根据骨架将图像P_d中的行人划分为头部，左右躯干以及上下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_db；在本实施例中，涂黑后的图像P_db如图5所示；

步骤2.2：根据骨架将图像P_c中的行人划分为头部，左右躯干以及上下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_cb；在本实施例中，涂黑后的图像P_cb如图6所示；

步骤3.1：将图像P_db和P_cb行分别放入FPSN网络中进行特征提取，分别得到一张W×H×D的特征图，记为P_df和P_cf，其中W代表宽度，H代表高度，D代表通道数；在本实施例中，W取值为8，H取值为16，D取值为1024；

步骤3.2：将特征图P_df和P_cf分别分为W×H个小块，其中每个小块的大小为1×1×D，特征图P_df划分的M个小块集合记为X，X＝{x_i|i＝1,2,…,M}，特征图P_cf划分的N个小块集合记为Y，Y＝{y_j|j＝1,2,…,N}；

步骤3.3：用Y中的块y_j对X中任意的小块x_i进行稀疏重构，得到x_i相对于Y的稀疏系数为w_i；

步骤4.1：计算x_i与y_j的余弦相似度t_ij；

步骤4.2：计算x_i与Y之间的距离d_i：

d_i＝min{(||x_i-w_iy_k||₂-λt_ikw_i)|k＝1,2,…,N} (1)

其中，参数λ是提前设置的控制参数，min表示求集合中的最小值，||·||₂表示给定向量的2范数，y_k表示Y中的一个小块，t_ik表示x_i与y_k的余弦相似度；

步骤4.3：根据式(1)计算图像P_d和P_c之间相似度：

其中，M表示步骤3.2中特征图P_df划分的小块数量；

步骤4.4：给定阈值T，若D(P_d,P_c)≥T，认定图像P_d和P_c为相似；在本实施例中，T取值为0.65。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于深度特征重构的遮挡行人重识别方法，其特征在于，包括如下步骤：

步骤1.1：给定待匹配的带遮挡行人的图像，归一化到固定大小，分别记为P_d和P_c；

步骤1.2：设计特征提取网络FPSN，该网络以Resnet作为网络主干并去掉最后的平均池化层和softmax层；

步骤1.3：利用姿态估计算法给待匹配图像P_d和P_c中的行人进行姿态预测，得到行人骨架；

步骤2.1：根据骨架将图像P_d中的行人划分为头部、左躯干、右躯干、上腿部、以及下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_db；

步骤2.2：根据骨架将图像P_c中的行人划分为头部、左躯干、右躯干、上腿部以及下腿部五个子图部分，并将被遮挡而没有划分出的区域进行涂黑，将这张图像命名为P_cb；

步骤3.1：将图像P_db和P_cb行分别放入FPSN网络中进行特征提取，分别得到一张W×H×D的特征图，记为P_df和P_cf，其中W代表宽度，H代表高度，D代表通道数；

步骤3.2：将特征图P_df和P_cf分别分为W×H个小块，其中每个小块的大小为1×1×D，特征图P_df划分的M个小块集合记为X，X＝{x_i|i＝1,2,…,M}，特征图P_cf划分的N个小块集合记为Y，Y＝{y_j|j＝1,2,…,N}；

步骤3.3：用Y中的块y_j对X中任意的小块x_i进行稀疏重构，得到x_i相对于Y的稀疏系数为w_i；

步骤4.1：计算x_i与y_j的余弦相似度t_ij；

步骤4.2：计算x_i与Y之间的距离d_i：

d_i＝min{(||x_i-w_iy_k||₂-λt_ikw_i)|k＝1,2,…,N} (1)

其中，参数λ是提前设置的控制参数，min表示求集合中的最小值，||·||₂表示给定向量的2范数，y_k表示Y中的一个小块，t_ik表示x_i与y_k的余弦相似度；

步骤4.3：根据式(2)计算图像P_d和P_c之间相似度：

其中，M表示步骤3.2中特征图P_df划分的小块数量；

步骤4.4：给定阈值T，若D(P_d,P_c)≥T，认定图像P_d和P_c为相似。

Images