CN112668483A - 一种融合行人重识别和人脸检测的单目标人物跟踪方法 - Google Patents

Abstract

本发明涉及一种融合行人重识别和人脸检测的单目标人物跟踪方法，包括步骤S1：输入待处理的视频，得到跟踪模板；S2：根据模板信息，获得对应图像中的人脸图像，将其进行保存；同时训练一个在线分类器辅助后续的跟踪算法；S3：判断当前预测框中的人脸图像与S2中保存的人脸图像是否是同一个人；若是同一个人，则根据预测框信息实现跟踪目标区域的获取，否则进入S5；S5：对当前视频画面视频检测出当前视频画面中所有人物的位置信息获得人物图像列表；使用fast‑ReID行人重识别算法，根据查询图像，从待检索图像中检索出相似度最高的图像，从而实现跟踪错误矫正，并将相似度最高的图像作为新的跟踪模板，返回S2。本发明能够提高单目标人物跟踪效果。

Description

一种融合行人重识别和人脸检测的单目标人物跟踪方法

技术领域

本发明涉及计算机视觉领域领域，特别是一种融合行人重识别和人脸检测的单目标人物跟踪方法。

背景技术

作为计算机视觉领域中非常有前景且充满挑战的研究课题之一，视频单目标跟踪领域的可能性吸引着越来越多的学者投身研究，其中又以跟踪目标为人物的研究最具有商业价值，可应用于安防，体育视频分析，影视剪辑等方向。但是由于在现实场景中存在他人与目标衣着相近，目标身体被遮挡，目标短暂消失等原因，跟踪效果不尽如人意。

发明内容

有鉴于此，本发明的目的是提出一种融合行人重识别和人脸检测的单目标人物跟踪方法，能够有效解决目标被遮挡或消失后跟踪错误的问题和跟踪目标与背景分类效果差的问题，提高单目标人物跟踪效果。

本发明采用以下方案实现：一种融合行人重识别和人脸检测的单目标人物跟踪方法，具体包括以下步骤：

S1：输入待处理的视频，在初始视频画面中框选出需要跟踪的目标作为跟踪模板；

S2：根据跟踪模板信息，获得对应图像中的人脸图像，将其进行保存；同时训练一个在线分类器以辅助后续的跟踪算法；

S3：将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息，对预测框中的人脸进行识别，并判断其与S2中保存的人脸图像是否是同一个人；若是同一个人，则进入S4，否则，进入S5；

S4：根据预测框信息实现跟踪目标区域的获取；

S5：对当前视频画面视频进行人物目标检测，检测出当前视频画面中所有人物的位置信息与对应图像，根据多个位置信息获得人物图像列表；将人物图像列表作为待检索图像输入，S2中保存人物区域图像作为查询图像输入，使用改进fast-ReID行人重识别模型，根据查询图像，从待检索图像中检索出相似度最高的图像，从而实现跟踪错误矫正，并将相似度最高的图像作为新的跟踪模板，返回S2。

进一步地，所述S1具体为：输入待处理的视频，在初始视频画面中用垂直框的形式框选出需要跟踪的目标，获得跟踪模板；其中模板由目标的边界框、边界框内的裁剪图像以及整个初始视频画面组成。

进一步地，所述S2具体为：

S21：根据跟踪模板信息，将对应人物裁剪图像保存在硬盘上；

S22：将跟踪模板作为输入，使用MTCNN算法实现对输入图像的人脸检测，得到对应图像中的人脸图像；

S23：将初始视频画面和模板位置信息作为输入进行数据增强，包括相对位移,旋转/水平翻转/随机模糊在内的数据增强方式，从而获得24个样本，将这些样本作为模型训练的输入，使用牛顿高斯算法进行优化，使最后得到模型的回归系数不断逼近非线性回归模型的最佳回归系数，提升模型稳健性，训练10次迭代后模型收敛，从而获得在线分类器模型。

进一步地，所述S3中所采用的单目标跟踪算法为SiamRPN++单目标跟踪算法。

进一步地，所述S3中，所述将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息具体为：

将当前视频画面作为输入，使用S2中获得的在线分类器，获得置信图，得到第一分类得分，同时使用SiamRPN++单目标跟踪算法获得第二分类得分，将第一分类得分与第二分类的得分进行加权融合，作为SiamRPN++单目标跟踪算法的最终预测框的分类得分，从而辅助SiamRPN++对当前视频画面的分类判断，获得更加准确更具鲁棒性的预测目标框与图像。

进一步地，步骤S3中，采用InsightFace人脸识别算法对预测框中的人脸进行识别，并判断当前预测框中出现的人脸与S2中保存的人脸图像是否为同一个人，即判断预测框是否跟踪了一个错误的目标。

进一步地，S5中，采用YOLOv5目标检测算法进行人物检测，获得每个人物在当前视频画面中的位置信息，根据检测结果，获得当前视频画面的所有人物信息列表，每个元素包含对应的人物区域图像和位置信息。

进一步地，所述改进fast-ReID行人重识别模型包括特征提取层、特征优化模块以及聚合层；

所述特征提取层由ResNet-50，ResNeXt，ResNeSt三种网络组成，用于获得对应特征，并将三种特征进行相加；

所述特征优化模块用于对相加后的特征进行优化，所述特征优化模块包括局部注意力模块以及实例批归一化模块；

所述聚合层用于对优化后的特征进行池化操作，提取更具有代表性的特征；

其中，聚合层采用最大池化、平均池化、GeM池化和注意力池化四种聚合方式，公式分别如下：

式中，f_{Max Pooling}为最大池化，f_{Avg Pooling}为平均池化，f_{Gem Pooling}为GeM池化，f_{Attention Pooling}为注意力池化，X_c为输入权重，α为控制系数，H_c为softmax注意力权重，K_c为输入权重，h属于H_c，k属于K_c。

本发明还提供了一种融合行人重识别和人脸检测的单目标人物跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：

1、本发明针对现实场景中存在他人与目标衣着相近，导致跟踪鲁棒性较差的问题，使用了跟踪器分类得分与在线分类器置信度得分加权融合的方式，相较于只使用跟踪器分类得分的传统技术提高了跟踪的鲁棒性；

2、本发明针对现实场景中因目标身体被遮挡或目标短暂消失导致的跟踪漂移现象，使用了人脸识别进行身份验证，然后使用目标检测和行人重识别相结合找到与跟踪模板相似度最高的人物位置，从而实现跟踪矫正；

3、本发明针对现有模板更新策略的缺陷，即现有方法简单地在完成一帧之后用新预测的结果替换目标模板，而不考虑获得的结果的正确性的问题，使用了目标检测和行人重识别相结合来获得与跟踪模板相似度最高的新预测结果，从而一定程度上保证了更新模板质量。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的改进fast-ReID行人重识别模型结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种融合行人重识别和人脸检测的单目标人物跟踪方法，具体包括以下步骤：

S1：输入待处理的视频，在初始视频画面中框选出需要跟踪的目标作为跟踪模板；

S2：根据模板信息，保存对应人物区域图像，并使用MTCNN算法进行人脸检测获得对应图像中的人脸图像，将其进行保存；同时将模板作为输入，用数据增强方式添加样本供一分类模型训练，模型快速迭代收敛后获得在线分类器，以辅助后续的跟踪算法；

S3：将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息，对预测框中的人脸进行识别，并判断其与S2中保存的人脸图像是否是同一个人；若是同一个人，则进入S4，否则，进入S5；

S4：根据预测框信息实现跟踪目标区域的获取；

S5：对当前视频画面视频进行人物目标检测，检测出当前视频画面中所有人物的位置信息，根据多个位置信息获得人物图像列表；将人物图像列表作为待检索图像输入，S2中保存人物区域图像作为查询图像输入，使用改进fast-ReID行人重识别模型，根据查询图像，从待检索图像中检索出相似度最高的图像，从而实现跟踪错误矫正，并将相似度最高的图像作为新的跟踪模板，返回S2。

在本实施例中，所述S1具体为：输入待处理的视频，在初始视频画面中用垂直框的形式框选出需要跟踪的目标，获得跟踪模板；其中模板由目标的边界框、边界框内的裁剪图像以及整个初始视频画面组成。

在本实施例中，所述S2具体为：

S21：根据跟踪模板信息，将对应人物裁剪图像保存在硬盘上；

S22：将跟踪模板作为输入，使用MTCNN算法实现对输入图像的人脸检测，得到对应图像中的人脸图像；其中，所述MTCNN算法，主要由3个网络结构构成(P-Net,R-Net,O-Net)，利用了检测和对准之间固有的关系来增强人脸检测的性能，MTCNN将输入图像不断进行不同尺度的变换(Resize),得到多分辨率的图像金字塔，并依次通过三个网络从而实现对输入图像的人脸检测；具体的，将输入图像的图像金字塔作为P-Net的输入，进行初步特征提取与标定边框、得到大量候选框，然后将候选框输入至R-Net进行精调，滤除大量效果比较差的候选框，将剩余候选框输入O-Net中，输出人脸目标框和面部关键点，将保存人脸图像在硬盘上。输入过程的每个网络都进行边框回归调整窗口与非极大值抑制(NMS)过滤大部分的窗口，从而实现对输入图像的人脸检测。

S23：为了解决传统跟踪器使用的通用特征不能很好用于跟准当前跟踪目标的问题，使用了训练在线分类器的方法，将初始视频画面和模板位置信息作为输入进行数据增强，包括相对位移,旋转/水平翻转/随机模糊在内的数据增强方式，从而获得24个样本，将这些样本作为模型训练的输入，使用牛顿高斯算法进行优化，使最后得到模型的回归系数不断逼近非线性回归模型的最佳回归系数，提升模型稳健性，训练10次迭代后模型收敛，从而获得在线分类器模型。

在本实施例中，所述S3中所采用的单目标跟踪算法为SiamRPN++单目标跟踪算法。

在本实施例中，所述S3中，所述将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息具体为：

将当前视频画面作为输入，使用S2中获得的在线分类器，获得置信图，得到第一分类得分，同时使用SiamRPN++单目标跟踪算法获得当前视频画面中所预测的目标回归位置和第二分类得分score map，将第一分类得分与第二分类的得分进行加权融合，作为SiamRPN++单目标跟踪算法的最终预测框的分类得分，从而辅助SiamRPN++对当前视频画面的分类判断，获得更加准确更具鲁棒性的预测目标框与图像。

其中，SiamRPN++算法使用深度残差网络提高目标跟踪的性能，并用了多层特征融合获取更准确的语义特征，可以有效应用于现实场景，获得当前视频画面中所预测的目标回归位置和分类得分。

在本实施例中，步骤S3中，采用InsightFace人脸识别算法对预测框中的人脸进行识别，并判断当前预测框中出现的人脸与S2中保存的人脸图像是否为同一个人，即判断预测框是否跟踪了一个错误的目标。具体的，InsightFace算法对输入的人脸图像分别提取特征并编码，使用ArcFace损失函数增强判别能力，通过比较特征之间的距离，返回两个输入图像的相似度，当相似度大于一个阈值(1.5)时则判断两个图像不是同一张人脸，小于等于阈值则判断是同一张人脸。

在本实施例中，S5中，采用YOLOv5目标检测算法进行人物检测，获得每个人物在当前视频画面中的位置信息，根据检测结果，获得当前视频画面的所有人物信息列表，每个元素包含对应的人物区域图像和位置信息。具体的，将COCO数据集中与人物相关的数据选出作为训练集，训练数据传入YOLOv5模型，经过数据加载器对其进行马赛克增强，这能加强模型训练中对小型人物目标的检测能力，再通过跨阶段局部网络进行训练，获得对应人物图像的特征，该网络能够缓解梯度消失问题，并且支持特征传播，减少网络参数数量；训练过程中，YOLOv5会基于训练数据自动学习锚定框，训练之后人像特征数据被传入路径聚合网络(PANET)，该网络的特征提取器能够优化特征传播，通过PANET和空间金字塔池化聚合特征后传入通用检测层，锚定框计算方式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(b_x，b_y)表示预测框中心点的坐标，σ函数为Sigmoid函数，(t_x，t_y)表示目标中心点坐标，(c_x，c_y)表示坐标偏移量，(b_w，b_h)表示预测框的宽和高，(t_w，t_h)表示目标边界的宽和高，(p_w，p_h)表示先验框的宽度和高度；

检测层采用Sigmoid激活函数，并将CIOU作为损失函数，提高人像目标检测精度，同时使用二进制交叉熵和Logits损失函数计算类概率和目标得分的损失，加快模型收敛，CIOU损失函数的计算方式如下：

其中，IOU为预测框与目标框交集和并集的比值，ρ²(b+b^gt)为预测框和目标框中心点的欧式距离，θ是能够同时包含预测框和目标框的最小闭包区域的对角线距离，β是权重函数，υ则是用来度量长宽比的相似性，其计算方式如下：

其中，w^gt，h^gt，w，h分别为目标框的宽高和预测框的宽高。

进一步地，使用改进fast-ReID行人重识别算法具体为：先对图像列表进行预处理，这能实现有效的数据增强并提高特征的鲁棒性，将图像列表分别作为输入，并行经过ResNet-50，ResNeXt，ResNeSt三种网络获得对应特征，并将三种特征进行相加，相加后的特征再经过特征优化模块，其中包含局部注意力模块(NoLocal)、实例批归一化模块(IBN)，最后再将优化后的特征送入聚合层以及后续fast-ReID模块进行处理。其中，聚合层采用最大池化、平均池化、GeM池化和注意力池化四种聚合方式，公式如下所示：

其中，f_{Max Pooling}为最大池化，f_{Avg Pooling}为平均池化，f_{Gem Pooling}为GeM池化，f_{Attention Pooling}为注意力池化，X_c为输入权重，α为控制系数，H_c为softmax注意力权重，K_c为输入权重，h属于H_c，k属于K_c。

本实施例还提供了一种融合行人重识别和人脸检测的单目标人物跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7所述的方法步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，包括以下步骤：

S1：输入待处理的视频，在初始视频画面中框选出需要跟踪的目标作为跟踪模板；

S2：根据跟踪模板信息，获得对应图像中的人脸图像，将其进行保存；同时训练一个在线分类器以辅助后续的跟踪算法；

S3：将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息，对预测框中的人脸进行识别，并判断其与S2中保存的人脸图像是否是同一个人；若是同一个人，则进入S4，否则，进入S5；

S4：根据预测框信息实现跟踪目标区域的获取；

S5：对当前视频画面视频进行人物目标检测，检测出当前视频画面中所有人物的位置信息与对应图像，根据多个位置信息获得人物图像列表；将人物图像列表作为待检索图像输入，S2中保存人物区域图像作为查询图像输入，使用改进fast-ReID行人重识别模型，根据查询图像，从待检索图像中检索出相似度最高的图像，从而实现跟踪错误矫正，并将相似度最高的图像作为新的跟踪模板，返回S2。

2.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，所述S1具体为：输入待处理的视频，在初始视频画面中用垂直框的形式框选出需要跟踪的目标，获得跟踪模板；其中模板由目标的边界框、边界框内的裁剪图像以及整个初始视频画面组成。

3.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，所述S2具体为：

S21：根据跟踪模板信息，将对应人物裁剪图像保存在硬盘上；

S22：将跟踪模板作为输入，使用MTCNN算法实现对输入图像的人脸检测，得到对应图像中的人脸图像；

S23：将初始视频画面和模板位置信息作为输入进行数据增强，包括相对位移,旋转/水平翻转/随机模糊在内的数据增强方式，从而获得24个样本，将这些样本作为模型训练的输入，使用牛顿高斯算法进行优化，使最后得到模型的回归系数不断逼近非线性回归模型的最佳回归系数，提升模型稳健性，训练10次迭代后模型收敛，从而获得在线分类器模型。

4.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，所述S3中所采用的单目标跟踪算法为SiamRPN++单目标跟踪算法。

5.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，所述S3中，所述将模板与当前视频画面作为输入，使用单目标跟踪算法，获得当前视频画面中预测框信息具体为：

将当前视频画面作为输入，使用S2中获得的在线分类器，获得置信图，得到第一分类得分，同时使用SiamRPN++单目标跟踪算法获得第二分类得分，将第一分类得分与第二分类的得分进行加权融合，作为SiamRPN++单目标跟踪算法的最终预测框的分类得分，从而辅助SiamRPN++对当前视频画面的分类判断，获得更加准确更具鲁棒性的预测目标框与图像。

6.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，步骤S3中，采用InsightFace人脸识别算法对预测框中的人脸进行识别，并判断当前预测框中出现的人脸与S2中保存的人脸图像是否为同一个人，即判断预测框是否跟踪了一个错误的目标。

7.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，其特征在于，S5中，采用YOLOv5目标检测算法进行人物检测，获得每个人物在当前视频画面中的位置信息，根据检测结果，获得当前视频画面的所有人物信息列表，每个元素包含对应的人物区域图像和位置信息。

8.根据权利要求1所述的一种融合行人重识别和人脸检测的单目标人物跟踪方法，所述改进fast-ReID行人重识别模型包括特征提取层、特征优化模块以及聚合层；

所述特征提取层由ResNet-50，ResNeXt，ResNeSt三种网络组成，用于获得对应特征，并将三种特征进行相加；

所述特征优化模块用于对相加后的特征进行优化，所述特征优化模块包括局部注意力模块以及实例批归一化模块；

所述聚合层用于对优化后的特征进行池化操作，提取更具有代表性的特征；

其中，聚合层采用最大池化、平均池化、GeM池化和注意力池化四种聚合方式，公式分别如下：

公式中，f_MaxPooling为最大池化，f_AvgPooling为平均池化，f_GemPooling为GeM池化，f_{AttentionPooling}为注意力池化，X_c为输入权重，α为控制系数，H_c为softmax注意力权重，K_c为输入权重，h属于H_c，k属于K_c。

9.一种融合行人重识别和人脸检测的单目标人物跟踪系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8所述的方法步骤。

10.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8所述的方法步骤。

Images