CN113486751B - 一种基于图卷积和边缘权重注意力的行人特征提取方法 - Google Patents

Abstract

本发明公开了一种基于图卷积和边缘权重注意力的行人特征提取方法，获取待输入的行人图像I；使用卷积神经网络提取行人图像I的全局外观特征F_g，对全局外观特征F_g进行全局平均池化操作得到池化后的全局外观特征f_g；提取行人图像I的关节信息热力图

和骨骼信息热力图

本发明通过提取人体的固有生物学属性来减轻网络对于人体外观的依赖性，并且通过构建边缘权重预测模块将骨骼信息融入到网络中，获取对行人图像更具鉴别力的特征。此外，使用图卷积网络来学习和整合人体潜在的关节骨骼结构关系，从而获取了行人图像的高维的特征表示，解决了现有技术中提取的行人特征过于依赖于行人外观且鲁邦性低的问题。

Description

一种基于图卷积和边缘权重注意力的行人特征提取方法

技术领域

本发明属于行人重识别领域，涉及一种特征提取方法，具体是一种基于图卷积和边缘权重注意力的行人特征提取方法。

背景技术

行人重识别是计算机视觉中的一项基本任务，其在智能监控中具有广泛的应用价值，用于行人的查询和追踪。行人重识别的主要任务是给定一张特定的行人图像，需要从一个大的图像数据库中去检索出同一身份的行人图像。行人重识别问题的关键就在于如何提取行人的有鉴别力且鲁邦的特征，从而准确地匹配出与给定行人相同的图像。然而，由于环境的多变以及跨设备摄像头的影响，从真实场景获得的图像往往会受到光线、分辨率、姿势变化和遮挡的影响，从而使得行人重识别问题仍然具有挑战性。

近些年来，随着深度学习的火热，其在行人重识别的领域中也取得了较大的成功。其中用部分特征进行匹配的思想可以有效地提高行人重识别的检索结果。这些方法大体可以分为两类：基于局部特征的方法和基于姿态的方法。基于局部特征的方法通过将获取到的特征图水平划分为几个局部区域从而得到局部区域的特征，并且局部特征和全局特征一起训练往往可以得到更好的结果。然而，这些方法对于姿势的变化的改变没有较强的鲁棒性。针对这个问题，一些基于姿态的方法通过提取人体的关键点信息来划分各个局部区域，如头部，躯干，手臂和腿部等几个局部区域，从而有效地提升了模型的性能。然而，以上大多数方法都过于独立地考虑行人的部分区域，而忽略了行人各个部位之间的潜在关系。因此，当出现有噪声或者遮挡时，这些方法就表现出较低的鲁棒性。另一方面，大多数基于深度学习的方法都十分依赖于行人的外观特征，例如衣服的颜色或纹理等。因此，当行人的外观的变化时，网络的性能将急剧下降。

近期，图卷积网络在许多领域都取得了成功，体现了在处理图结构的数据中的有效性。图卷积网络通过学习和整合各个节点的相关关系，从而获取到复杂图结构中有用的信息。人体的拓扑结构天然地形成了一个图结构，其中以人体的各个关节点作为顶点，人体的固有的骨骼连接作为边。因此，本领域通常利用图卷积网络来挖掘人体潜在的关节骨骼结构关系，以学习和整合区域之间的有益信息。除此之外，为了减轻行人外观变化的影响，使用人体固有生物学属性的骨骼信息，当有相似行人的外观出现时提供额外的鉴别力特征。其中行人的骨骼特征，包含了人体各个骨骼的长度，宽度和方向信息，从而获取行人的有鉴别力的特征。通过构建一个边缘分数预测模块，将人体的骨骼信息整合到GCN中，以提高模型整体的判别力和鲁棒性。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种基于图卷积和边缘权重注意力的行人特征提取方法，解决现有技术中提取的行人特征过于依赖于行人外观且鲁邦性低的问题

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种基于图卷积和边缘权重注意力的行人特征提取方法，该方法按照以下步骤进行：

步骤1，获取待输入的行人图像I；

步骤2，用卷积神经网络提取行人图像I的全局外观特征F_g，对全局外观特征F_g进行全局平均池化操作得到池化后的全局外观特征f_g；

步骤3，提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图

每一个所述的关节信息热力图

均包括一个关节点的位置；

每一个所述的骨骼信息热力图

均包括一个骨骼；

根据关节信息热力图

对关节点进行编号，根据骨骼信息热力图/>

对骨骼进行编号；

所述的关节信息热力图

的序号与关节点的序号一致；所述的骨骼信息热力图/>

的序号与骨骼的序号一致；

其中:

k表示第k个关节信息热力图，取值为1,....K；

K表示关节信息热力图的总数；

i表示第i个骨骼信息热力图,取值为1,....N；

N表示骨骼信息的热力图的总数；

步骤4，每一个关节信息热力图

分别与全局外观特征F_g进行外积操作和全局平均池化操作，得到每一个关节信息热力图/>

对应的局部关节特征/>

步骤5，构建人体拓扑结构图，并获取邻接矩阵A；

根据步骤3得到的多个关节信息热力图

中的关节点的位置和多个骨骼信息热力图/>

中的骨骼构建行人图像I的人体拓扑结构图G(V,E)，根据人体拓扑结构图G(V,E)中的不同关节点是否连接得到N×N邻接矩阵A中的元素a_mn；

所述的邻接矩阵A中的每个元素a_mn为：

其中：

m的取值范围为1,....K；

n的取值范围为1,....K；

V_m表示第m个关节点；

V_n表示第n个关节点；

V表示行人图像I的关节点；

E表示行人图像I的关节点连接关系；

步骤6，构建边缘权重预测模块；

步骤7，获取更新后的邻接矩阵A′；

步骤7.1，将步骤3得到的多个骨骼信息的热力图

分别与全局外观特征F_g进行外积操作，得到多个骨骼信息特征图F_i ^{lim b}；

步骤7.2，将多个骨骼信息特征图F_i ^{lim b}输入到边缘权重预测模块学习得到含骨骼信息的边缘权重分数集合s_i；

步骤7.3，用边缘权重分数集合s_i中的每一个边缘权重分数分别替换邻接矩阵A中对应位置的值，得到更新后的邻接矩阵A′；

步骤8，将多个局部关节特征f_k ^pose和邻接矩阵A′输入到图卷积网络，得到行人图像I的多个高维特征f_k ^out；

所述的图卷积网络由L层的图卷积层构成，所述的图卷积网络在第l层的传播方式为：

其中：

l的取值范围为1,....L，L至少取2；

H^l表示第l层的输入节点特征；

W^l表示参数矩阵；

σ(·)表示激活函数，σ(·)＝ReLU(·)＝max(0,·)；

表示归一化后的邻接矩阵；

步骤9，将局部关节特征f_k ^pose和行人图像I的高维特征f_k ^out输入到下面公式得到行人图像I的最终特征f_final；

其中：β为平衡权重参数。

本发明还具有以下技术特征:

具体的，所述步骤6中，所述的边缘权重预测模块包括依次连接的降维模块、特征学习模块和FC预测模块；

所述的降维模块用于降低骨骼信息特征图F_i ^{lim b}的维度得到低维骨骼信息特征图F_i ^{lim b}，所述的特征学习模块用于提取低维骨骼信息特征图F_i ^{lim b}中的高维骨骼信息特征图；所述的FC预测模块用于预测高维骨骼信息特征图中的边缘权重分数集合s_i。

具体的，所述的降维模块包括依次相连的一个3×3的卷积层、一个BatchNorm层和一个Sigmoid函数层；

所述的特征学习模块包括依次相连的两个flBlock层；

每一个所述的flBlock层包括依次相连的一个1×1卷积层和多个3×3卷积层；

所述的FC预测模块包括一个1×1的卷积层，一个BatchNorm层和一个ReLU函数层。

具体的，所述步骤2中，所述的卷积神经网络为ResNet50，ResNet50包括依次连接的Stage0、Stage1、Stage2、Stage3和Stage4；

所述的Stage0包括依次连接的一个7×7的卷积层和一个Max Pool层；

所述的Stage1到Stage4均包括不同个数的BottleNeck，所述的BottleNeck依次相连；

所述的BottleNeck为一个残差块；

所述的残差块由一个1×1卷积层、一个3×3的卷积层和一个1×1卷积层依次连接并首尾相连得到。

具体的，所述步骤3中，采用人体姿态估计网络模型OpenPose提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图M_i ^{lim b}；

本发明与现有技术相比，有益的技术效果是：

(Ⅰ)本发明通过提取人体的固有生物学属性来减轻网络对于人体外观的依赖性，并且通过构建边缘权重预测模块将骨骼信息融入到网络中，获取对行人图像更具鉴别力的特征，此外，使用图卷积网络来学习和整合人体潜在的关节骨骼结构关系，从而获取了行人图像的高维的特征表示，解决了现有技术中提取的行人特征过于依赖于行人外观且鲁邦性低的问题。

(Ⅱ)本发明方法通过从整体的特征考虑，使用图卷积自动地从行人的关节骨骼结构关系中提取有用的信息并生成行人的高维特征表示，在有噪声和遮挡时提升模型的鲁棒性。

(Ⅲ)本发明方法通过探索人体固有的生物学属性来减轻网络对于人体外观的依赖性，并利用构建的边缘权重分数预测模块学习骨骼信息的有效表示，获取对行人图像更具鉴别力的特征，改善了现有技术中提取的行人特征过于依赖于行人外观且鲁邦性低的问题。

附图说明

图1为本发明特征提取方法的模型图；

图2为本发明中输入的行人图像I；

图3为本发明中提取行人图像的全局外观特征F_g；

图4为本发明中提取的关节信息热力图

图5为本发明中提取的骨骼信息热力图

图6为本发明中获得的局部关节特征f_k ^pose；

图7为本发明中构建的人体拓扑图结构；

图8为本发明中获得的邻接矩阵A；

图9为本发明中获得的骨骼信息特征图F_i ^{lim b}；

图10为本发明中获得边缘权重预测模块的流程；

图11为本发明中更新后的邻接矩阵A′；

图12为本发明中图卷积输出的高维特征f_k ^out；

图13为本发明中检索结果对比图；

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例：

本实施例给出了一种基于图卷积和边缘权重注意力的行人特征提取方法，如图1所示，该方法按照以下步骤进行：

步骤1，获取待输入的行人图像I；

在本实施例中，获取一个人的待输入的行人图像I如图2所示。

步骤2，用卷积神经网络提取行人图像I的全局外观特征F_g，对全局外观特征F_g进行全局平均池化操作得到池化后的全局外观特征f_g；

在本实施例中，参见图3，通过卷积神经网络ResNet50提取图2所示的行人图像I的全局外观特征F_g，并对全局外观特征F_g进行全局平均池化操作得到池化后的全局外观特征f_g。

其中：F_g∈R^C×H×E，其中C，H，W分别表示特征图的通道数，高度和宽度。

全局外观特征F_g通道数、高度和宽度分别为2048、16和8；

池化后的全局外观特征f_g的通道数、高度和宽度分别为2048、1和1。

步骤3，提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图

每一个关节信息热力图

均包括一个关节点的位置；

每一个骨骼信息热力图

均包括一个骨骼；

根据关节信息热力图

对关节点进行编号，根据骨骼信息热力图/>

对骨骼进行编号；

关节信息热力图

的序号与关节点的序号一致；骨骼信息热力图/>

的序号与骨骼的序号一致；

其中:

k表示第k个关节信息热力图，取值为1,....K；

K表示关节信息热力图的总数；

i表示第i个骨骼信息热力图,取值为1,....N；

N表示骨骼信息的热力图的总数；

在本实施例中，首先在COCO数据集上预训练得到的人体姿态估计模型OpenPose进行预定义，定义需要提取的18个关节点的位置，提取行人图像I中预定义的18个关节点的关节信息热力图，其中包含有脸部的5个点，四肢的12个点和颈部的1个点，之后去除脸部五个关节点中除鼻子对应的关节点之外其余四个关节点的关节信息热力图，最后将剩余的14个关节点的关节信息热力图通过双线性插值操作和下采样操作得到与F_g大小相同的关节点信息热力图，即得到了14个关节点对应的14张的关节信息热力图

参见图4。同理得到骨骼信息热力图/>

参见图5。

在本实施例中，K和N的取值均为14。

步骤4，每一个关节信息热力图

分别与全局外观特征F_g进行外积操作和全局平均池化操作，得到每一个关节信息热力图/>

对应的局部关节特征/>

在本实施例中，参见图6，首先对于每一张关节信息热力图

进行维度扩充至与F_g的维度相同，即为2048，再将关节信息热力图/>

与F_g相乘并进行全局平均池化操作，最终得到通道数，高度和宽度为2048×1×1的每一个关节信息热力图/>

对应的局部关节特征f_k ^pose。

步骤5，构建人体拓扑结构图，并获取邻接矩阵A；

根据步骤3得到的多个关节信息热力图

中的关节点的位置和多个骨骼信息热力图/>

中的骨骼构建行人图像I的人体拓扑结构图G(V,E)，根据人体拓扑结构图G(V,E)中的不同关节点是否连接得到N×N邻接矩阵A中的元素a_mn；

邻接矩阵A中的每个元素a_mn为：

其中：

m的取值范围为1,....K；

n的取值范围为1,....K；

V_m表示第m个关节点；

V_n表示第n个关节点；

V表示行人图像I的关节点；

E表示行人图像I的关节点连接关系；

在本实施例中，根据行人图像I的关节信息热力图

中关节点的位置和行人图像I的骨骼信息热力图/>

的中骨骼构建行人图像I的人体拓扑结构图G(V,E)，如图7所示，根据人体拓扑结构图G(V,E)中关节点有无连接得到邻接矩阵A，如图8所示。。

步骤6，构建边缘权重预测模块；

步骤7，获取更新后的邻接矩阵A′；

步骤7.1，将步骤3得到的多个骨骼信息的热力图

分别与全局外观特征F_g进行外积操作，得到多个骨骼信息特征图F_i ^{lim b}；

步骤7.2，将多个骨骼信息特征图F_i ^{lim b}输入到边缘权重预测模块学习得到含骨骼信息的边缘权重分数集合s_i；

步骤7.3，用边缘权重分数集合s_i中的每一个边缘权重分数分别替换邻接矩阵A中对应位置的值，得到更新后的邻接矩阵A′；

在本实施例中，参见图9，首先对于每一张骨骼信息热力图

进行维度扩充至与F_g的维度相同，即为C维，再将骨骼信息热力图/>

与F_g相乘得到骨骼信息特征图F_i ^{lim b}，参见图10，将骨骼信息特征图F_i ^{lim b}输入到边缘权重预测模块学习，依次通过降维模块、特征学习模块和FC预测模块得到包含骨骼信息的边缘权重分数集合s_i；并用边缘权重分数s_i替换邻接矩阵A中对应位置的值，得到更新后的邻接矩阵A′；得到的更新后的邻接矩阵A′如图11所示。

步骤8，将多个局部关节特征f_k ^pose和邻接矩阵A′输入到图卷积网络，得到行人图像I的多个高维特征f_k ^out；

图卷积网络由L层的图卷积层构成，图卷积网络在第l层的传播方式为：

其中：

l的取值范围为1,....L，L至少取2；

H^l表示第l层的输入节点特征；

W^l表示参数矩阵；

σ(·)表示激活函数，σ(·)＝ReLU(·)＝max(0,·)；

表示归一化后的邻接矩阵；

在本实施例中，参见图12，将局部关节特征f_k ^pose和邻接矩阵A′输入到图卷积网络，得到行人图像I的高维特征f_k ^out；

在本实施例中得到的高维特征f_k ^out的维度为2048×1×1；

本实施例中，图卷积网络有2层的图卷积层,。

步骤9，将局部关节特征f_k ^pose和行人图像I的高维特征f_k ^out输入到下面公式得到行人图像I的最终特征f_final；

其中：β为平衡权重参数。

在本实施例中β取值为0.3。

本发明通过提取人体的固有生物学属性来减轻网络对于人体外观的依赖性，并且通过构建边缘权重预测模块将骨骼信息融入到网络中，获取对行人图像更具鉴别力的特征，此外，使用图卷积网络来学习和整合人体潜在的关节骨骼结构关系，从而获取了行人图像的高维的特征表示，解决了现有技术中提取的行人特征过于依赖于行人外观且鲁邦性低的问题。

作为本实施例的一种优选方案，步骤6中，边缘权重预测模块包括依次相连的降维模块、特征学习模块和FC预测模块；

降维模块用于降低骨骼信息特征图F_i ^{lim b}的维度得到低维骨骼信息特征图F_i ^{lim b}，特征学习模块用于提取低维骨骼信息特征图F_i ^{lim b}中的高维骨骼信息特征图；FC预测模块用于预测高维骨骼信息特征图中的边缘权重分数集合s_i。

作为本实施例的一种优选方案，降维模块包括依次相连的一个3×3的卷积层、一个BatchNorm层和一个Sigmoid函数层；

特征学习模块包括依次相连的两个flBlock层；

每一个flBlock层包括依次相连的一个1×1卷积层和多个3×3卷积层；

FC预测模块包括一个1×1的卷积层，一个BatchNorm层和一个ReLU函数层。

作为本实施例的一种优选方案，步骤2中，卷积神经网络为ResNet50，ResNet50包括依次连接的Stage0、Stage1、Stage2、Stage3和Stage4；

Stage0包括依次连接的一个7×7的卷积层和一个Max Pool层；

Stage1到Stage4均包括不同个数的BottleNeck，BottleNeck依次相连；

BottleNeck为一个残差块；

残差块由一个1×1卷积层、一个3×3的卷积层和一个1×1卷积层依次连接并首尾相连得到。

在本实施例中，Stage1包括3个BottleNeck，Stage2包括4个BottleNeck，Stage3包括6个BottleNeck，Stage4包括3个BottleNeck。

作为本实施例的一种优选方案，步骤3中，采用人体姿态估计网络模型OpenPose提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图/>

实测例：

为了验证本发明中方法的有效性和优越性，在数据集Market1501中进行了实验验证。选用平均精度均值mAP和CMC曲线作为评价标准，并与主流的一些方法进行了比较。比较的方法包括有基于局部特征的方法和基于姿态的方法，基于局部特征的方法有AlignedReID、PCB、PCB+RPP和Deep-Person，基于姿态的方法有Spindle、PDC、PSE、Part-Aligned、PIE、PAR、Pose-transfer。从结果图13可以看到本发明中的方法都明显优于以上各种主流的方法。本发明的方法获得了mAP＝86.7％和Rank-1＝96.4％的准确度，与基于PCB的方法对比，mAP和Rank-1的准确度分别提高了9.3％和4.1％。与基于姿态的方法相比，本发明的方法与基于姿态的方法中最优方法Part-Aligned相比，mAP和Rank-1的准确度分别提高了8.0％和4.7％，表明了利用图卷积网络去学习关节骨骼结构关系的有效性。

Claims (5)

1.一种基于图卷积和边缘权重注意力的行人特征提取方法，该方法按照以下步骤进行：

步骤1，获取行人图像I；

步骤2，用卷积神经网络提取行人图像I的全局外观特征F_g，对全局外观特征F_g进行全局平均池化操作得到池化后的全局外观特征f_g；

步骤3，提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图/>

每一个所述的关节信息热力图

均包括一个关节点的位置；

每一个所述的骨骼信息热力图

均包括一个骨骼；

根据关节信息热力图

对关节点进行编号，根据骨骼信息热力图/>

对骨骼进行编号；

所述的关节信息热力图

的序号与关节点的序号一致；所述的骨骼信息热力图

的序号与骨骼的序号一致；

其中:

k表示第k个关节信息热力图，取值为1,....K；

K表示关节信息热力图的总数；

i表示第i个骨骼信息热力图,取值为1,....N；

N表示骨骼信息的热力图的总数；

步骤4，每一个关节信息热力图

分别与全局外观特征F_g进行外积操作和全局平均池化操作，得到每一个关节信息热力图/>

对应的局部关节特征/>

其特征在于：

步骤5，构建人体拓扑结构图，并获取邻接矩阵A；

根据步骤3得到的多个关节信息热力图

中的关节点的位置和多个骨骼信息热力图

中的骨骼构建行人图像I的人体拓扑结构图G(V,E)，根据人体拓扑结构图G(V,E)中的不同关节点是否连接得到N×N邻接矩阵A中的元素a_mn；

所述的邻接矩阵A中的每个元素a_mn为：

其中：

m的取值范围为1,....K；

n的取值范围为1,....K；

V_m表示第m个关节点；

V_n表示第n个关节点；

V表示行人图像I的关节点；

E表示行人图像I的关节点连接关系；

步骤6，构建边缘权重预测模块；

步骤7，获取更新后的邻接矩阵A′；

步骤7.1，将步骤3得到的多个骨骼信息的热力图M_i ^limb分别与全局外观特征F_g进行外积操作，得到多个骨骼信息特征图F_i ^limb；

步骤7.2，将多个骨骼信息特征图F_i ^limb输入到边缘权重预测模块学习得到含骨骼信息的边缘权重分数集合s_i；

步骤7.3，用边缘权重分数集合s_i中的每一个边缘权重分数分别替换邻接矩阵A中对应位置的值，得到更新后的邻接矩阵A′；

步骤8，将多个局部关节特征f_k ^pose和邻接矩阵A′输入到图卷积网络，得到行人图像I的多个高维特征f_k ^out；

所述的图卷积网络由L层的图卷积层构成，所述的图卷积网络在第l层的传播方式为：

其中：

l的取值范围为1,....L，L至少取2；

H^l表示第l层的输入节点特征；

W^l表示参数矩阵；

σ(·)表示激活函数，σ(·)＝ReLU(·)＝max(0,·)；

表示归一化后的邻接矩阵；

步骤9，将局部关节特征f_k ^pose和行人图像I的高维特征f_k ^out输入到下面公式得到行人图像I的最终特征f_final；

其中：β为平衡权重参数。

2.如权利要求1所述的基于图卷积和边缘权重注意力的行人特征提取方法，其特征在于，所述步骤6中，所述的边缘权重预测模块包括依次连接的降维模块、特征学习模块和FC预测模块；

所述的降维模块用于降低骨骼信息特征图F_i ^limb的维度得到低维骨骼信息特征图F_i ^limb，所述的特征学习模块用于提取低维骨骼信息特征图F_i ^limb中的高维骨骼信息特征图；所述的FC预测模块用于预测高维骨骼信息特征图中的边缘权重分数集合s_i。

3.如权利要求2所述的基于图卷积和边缘权重注意力的行人特征提取方法，其特征在于，所述的降维模块包括依次相连的一个3×3的卷积层、一个BatchNorm层和一个Sigmoid函数层；

所述的特征学习模块包括依次相连的两个flBlock层；

每一个所述的flBlock层包括依次相连的一个1×1卷积层和多个3×3卷积层；

所述的FC预测模块包括一个1×1的卷积层，一个BatchNorm层和一个ReLU函数层。

4.如权利要求1所述的基于图卷积和边缘权重注意力的行人特征提取方法，其特征在于，所述步骤2中，所述的卷积神经网络为ResNet50，ResNet50包括依次连接的Stage 0、Stage 1、Stage 2、Stage 3和Stage4；

所述的Stage 0包括依次连接的一个7×7的卷积层和一个Max Pool层；

所述的Stage 1到Stage 4均包括不同个数的BottleNeck，所述的BottleNeck依次相连；

所述的BottleNeck为一个残差块；

所述的残差块由一个1×1卷积层、一个3×3的卷积层和一个1×1卷积层依次连接并首尾相连得到。

5.如权利要求1所述的基于图卷积和边缘权重注意力的行人特征提取方法，其特征在于，所述步骤3中，采用人体姿态估计网络模型OpenPose提取行人图像I的多个关节信息热力图

和多个骨骼信息热力图M_i ^limb。

Images