CN109993116A - 一种基于人体骨骼相互学习的行人再识别方法 - Google Patents

Abstract

本发明涉及一种基于人体骨骼相互学习的行人再识别方法，包括：(1)采用自下而上的方法估计行人姿势和骨架，并在此过程中标记行人的关节点，使用关节点分割法进行局部分割行人并执行局部块匹配；(2)通过自下而上方法以行人2D骨架为基础估计所述关节点距离来学习全局骨架信息，并执行全局骨架匹配；(3)采用基于生物特征的局部块匹配和整体骨架匹配进行相互学习，并分别训练分类损失和度量损失，将得到的相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误。与现有技术相比，本发明具有影响因素少、局部匹配准确性提升、识别准确率更高等优点。

Description

一种基于人体骨骼相互学习的行人再识别方法

技术领域

本发明涉及一种行人再识别方法，尤其是涉及一种基于人体骨骼相互学习的行人再识别方法。

背景技术

行人再识别是在非重叠摄像机上进行人员匹配时所要面对的问题，近年来由于其在实施自动化监测系统方面的重要性，越来越受到关注。在许多应用程序，例如跨摄像机跟踪和行人搜索中，基于外观信息从一组人中识别一个人是可取的。不过由于低分辨率、运动模糊、视图以及个体外观光照的变化，构建适应不同相机条件的差异化表示是非常具有挑战性的，因此在多摄像机系统中，非重叠摄像机视图的匹配越来越受到人们的关注。比如一个人在被多个互不重叠的摄像头覆盖的公共空间的大范围内的行为，当这个人从一个视图中消失时，他/她可以在另一个视图同样的一群人中被识别出来。虽然计算机视觉研究人员在过去的十年中已经做出了最大的努力，但是人的再识别问题在很大程度上仍然没有得到解决。特别是在一个由远程摄像头监控的繁忙环境中，依靠面部和步态等生物特征对人进行身份验证是不可靠的。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于人体骨骼相互学习的行人再识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于人体骨骼相互学习的行人再识别方法，所述方法包括以下步骤：

(1)采用自下而上的方法标记行人的关节点，得到行人姿势和2D骨架；

(2)使用关节点分割法进行局部分割行人并执行局部块匹配；

(3)估计所述关节点距离来学习全局骨架信息，执行全局骨架匹配；

(4)采用基于生物特征的局部块匹配和整体骨架匹配进行相互学习，并分别训练分类损失和度量损失，将得到的相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误。

所述标记行人关节点的方法是将图像输入到CNN网络框架中，利用深度学习神经网络和卷积运算对单个彩色地图进行检测，输出人体各关节点的热点图，并用峰值来表示关节点的位置。

所述关节点分割法是在对行人进行二维位姿估计时，将行人分成15个固定大小的局部小块，然后逐个计算出15个局部小块之间的距离，最后计算出整体相似度，进行局部块匹配。

使用Mahalanobis距离函数测量两组受试者相对应局部块之间的距离，具体为：

其中，x_i为矩阵x的第i个元素，y_j为矩阵y的第j个元素，d_M(x_i,y_j)为矩阵x与矩阵y之间的距离，为矩阵(x_i-y_j)的2-范数，(x_i-y_j)^T为矩阵(x_i-y_j)的逆矩阵，M(x_i-y_j)为正定矩阵M与矩阵(x_i-y_j)的乘积；

然后计算出15个部分块的平均度量距离，并与相似度评分进行比较，如果平均测量距离和相似度一致，则局部匹配结果正确，输出，否则，再次进行局部匹配，直到平均测量距离和相似度相同。

该平均度量距离是运用结合了马氏距离和闵可夫斯基距离的公式得出的结果，具体为：

其中，d(X,Y)为行人图片X与行人图片Y之间的距离，||·||_M为对应地马氏距离，距离的值越小，行人相似度越高。

所述估计关节点距离是指以人体骨架结构为基础的9个距离测量数据的提取，包括d₁表示地板到头部的距离，d₂指臂长(肩与肘之间、肘与腕之间的距离之和)，d₃指腿长(臀部与膝盖、膝盖与脚踝之间的距离之和)，d₄表示头和脖子之间的距离，d₅表示肩膀的宽度，d₆指躯干中心到肩部的距离，d₇指躯干中心到臀部的距离，d₈＝d₃/d₁指躯干和腿的比例，d₉＝d₂/d₁指躯干和手臂的比例，最后将这些距离归一化为零均值和单位方差，然后利用加权欧几里得距离计算出两组受试者人体测量值的相似性。

所述相互学习是先计算出骨架匹配和全局匹配的分类损失和度量损失，具体为：

所述局部块匹配分类损失

所述骨架匹配分类损失

所述局部块匹配度量损失

所述骨架匹配度量损失

是一个点到另一个点的KL距离，其中，为相互学习后的局部块匹配分类损失，为局部块匹配的分类损失，为相互学习后的骨架匹配分类损失，为骨架匹配的分类损失，为相互学习后的局部块匹配度量损失，为是局部块匹配的度量损失，为相互学习后骨架匹配度量损失，为骨架匹配的度量损失，p₂(x_i)为与θ₁网络对等的θ₂网络训练产生的后验概率，p₁(x_i)为θ₁网络训练后的概率；

然后根据所述分类损失和度量损失计算出相互学习损失，具体为：

其中，L_T为相互学习总体损失；

将相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配结果中的错误。

与现有技术相比，本发明具有以下有益效果：

1.影响因素少，利用关节点分割法，根据人的关节点对人的图像进行分割，解决了背景对人的再识别的影响，又起到了对齐的作用。

2.局部匹配准确性提升，结合马氏距离和闵可夫斯基距离计算局部块之间的平均距离，使用所述距离对局部特征匹配结果进行验证，使局部特征匹配更加准确。

3.识别准确率更高，在学习全局特征的前提下，将局部匹配和人体骨骼测量匹配的相互学习损失作为全局匹配的先验概率，使跨摄像机跟踪和行人搜索能够精准识别目标行人。

附图说明

图1为基于人体骨骼相互学习的行人再识别方法流程图；

图2为相互学习损失框架图；

图3为关节点分割法示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本申请主要适用于跨摄像机跟踪和行人搜索领域，如图1所示，首先自下而上对行人进行2D位姿估计，然后对结果进行关节检测和行人骨架建模。

如图3所示，在进行关节检测的时候，将图像输入到CNN网络框架中，利用深度学习神经网络和卷积运算对单个彩色地图进行检测，输出人体各关节点的热点图，并用峰值来表示关节点的位置，之后将行人分成15个固定大小的局部小块，然后逐个计算出15个局部小块之间的距离，最后计算出整体相似度。局部匹配是假设集合X＝{A_i|i＝1,2,…15}表示行人A的15个局部块，集合Y＝{C_i|i＝1,2,·15}表示行人C的15个局部块，使用Mahalanobis距离函数测量图像对之间的距离，公式如下所示：同时我们利用公式计算出15个部分块的平均度量距离，与前面计算得出的相似度进行比较。如果平均测量距离和相似度一致，则局部匹配结果正确，输出；否则，再次进行局部匹配，直到平均测量距离和相似度相同。

在行人骨架建模的时候，需要对人体骨架进行9个距离测量数据的提取，d₁表示地板到头部的距离，d₂指臂长(肩与肘之间、肘与腕之间的距离之和)，d₃指腿长(臀部与膝盖、膝盖与脚踝之间的距离之和)，d₄表示头和脖子之间的距离，d₅表示肩膀的宽度，d₆指躯干中心到肩部的距离，d₇指躯干中心到臀部的距离，d₈＝d₃/d₁指躯干和腿的比例，d₉＝d₂/d₁指躯干和手臂的比例。将以上度量距离归一化为零均值和单位方差然后利用加权欧几里得距离计算两组受试者人体测量值的相似性输出全局骨架匹配结果。

如图2所示，在得到局部匹配和全局骨架匹配的结果后，训练两组学习模型，将知识相互传递。首先得到是局部块匹配和骨架匹配的分类损失，所述局部块匹配分类损失为所述骨架匹配分类损失为同理计算局部块匹配和骨架匹配的度量损失，所述局部块匹配度量损失为所述骨架匹配度量损失为其中

到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误，在此基础之上得出的最终全局匹配的结果会更加准确。匹配结果即为识别结果。

Claims (7)

1.一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述方法包括以下步骤：

(1)采用自下而上的方法标记行人的关节点，得到行人姿势和2D骨架；

(2)使用关节点分割法进行局部分割行人并执行局部块匹配；

(3)估计所述关节点距离来学习全局骨架信息，执行全局骨架匹配；

(4)采用基于生物特征的局部块匹配和整体骨架匹配进行相互学习，并分别训练分类损失和度量损失，将得到的相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误。

2.根据权利要求1所述的一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述标记行人关节点的方法是将图像输入到CNN网络框架中，利用深度学习神经网络和卷积运算对单个彩色地图进行检测，输出人体各关节点的热点图，并用峰值来表示关节点的位置。

3.根据权利要求1所述的一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述关节点分割法是在对行人进行二维位姿估计时，将行人分成15个固定大小的局部小块，然后逐个计算出15个局部小块之间的距离，最后计算出整体相似度，进行局部块匹配。

4.根据权利要求3所述的基于人体骨骼相互学习的行人再识别方法，其特征在于，使用Mahalanobis距离函数测量两组受试者相对应局部块之间的距离，具体为：

其中，x_i为矩阵x的第i个元素，y_j为矩阵y的第j个元素，d_M(x_i,y_j)为矩阵x与矩阵y之间的距离，为矩阵(x_i-y_j)的2-范数，(x_i-y_j)^T为矩阵(x_i-y_j)的逆矩阵，M(x_i-y_j)为正定矩阵M与矩阵(x_i-y_j)的乘积；

然后计算出15个部分块的平均度量距离，并与相似度评分进行比较，如果平均测量距离和相似度一致，则局部匹配结果正确，输出，否则，再次进行局部匹配，直到平均测量距离和相似度相同。

5.根据权利要求4所述的基于人体骨骼相互学习的行人再识别方法，其特征在于，该平均度量距离是运用结合了马氏距离和闵可夫斯基距离的公式得出的结果，具体为：

其中，d(X,Y)为行人图片X与行人图片Y之间的距离，||·||_M为对应地马氏距离，距离的值越小，行人相似度越高。

6.根据权利要求1所述的一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述估计关节点距离是指以人体骨架结构为基础的9个距离测量数据的提取，包括d₁表示地板到头部的距离，d₂指臂长(肩与肘之间、肘与腕之间的距离之和)，d₃指腿长(臀部与膝盖、膝盖与脚踝之间的距离之和)，d₄表示头和脖子之间的距离，d₅表示肩膀的宽度，d₆指躯干中心到肩部的距离，d₇指躯干中心到臀部的距离，d₈＝d₃/d₁指躯干和腿的比例，d₉＝d₂/d₁指躯干和手臂的比例，最后将这些距离归一化为零均值和单位方差，然后利用加权欧几里得距离计算出两组受试者人体测量值的相似性。

7.根据权利要求1所述的一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述相互学习是先计算出骨架匹配和全局匹配的分类损失和度量损失，具体为：

所述局部块匹配分类损失

所述骨架匹配分类损失

所述局部块匹配度量损失

所述骨架匹配度量损失

是一个点到另一个点的KL距离，其中，为相互学习后的局部块匹配分类损失，为局部块匹配的分类损失，为相互学习后的骨架匹配分类损失，为骨架匹配的分类损失，为相互学习后的局部块匹配度量损失，为是局部块匹配的度量损失，为相互学习后骨架匹配度量损失，为骨架匹配的度量损失，p₂(x_i)为与θ₁网络对等的θ₂网络训练产生的后验概率，p₁(x_i)为θ₁网络训练后的概率；

然后根据所述分类损失和度量损失计算出相互学习损失，具体为：

其中，L_T为相互学习总体损失；

将相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配结果中的错误。