CN114332168A

CN114332168A - 一种行人跟踪方法、行人跟踪系统、电子设备及存储介质

Info

Publication number: CN114332168A
Application number: CN202210244045.8A
Authority: CN
Inventors: 李晓川; 李仁刚; 赵雅倩; 郭振华; 范宝余; 张润泽
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2022-03-14
Filing date: 2022-03-14
Publication date: 2022-04-12

Abstract

本申请公开了一种行人跟踪方法，包括：将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；其中，精检框的置信度高于粗检框的置信度；将精检框对应的行人图像输入行人重识别网络模型，并根据行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；根据行人轨迹库中未更新行人信息的行人构建丢失索引集合；将粗检框对应的行人图像输入行人重识别网络模型，并根据行人重识别网络模型输出的结果与丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；利用所述行人轨迹库执行行人跟踪操作，能够提高行人跟踪的准确率。本申请还公开了一种行人跟踪系统、一种存储介质及一种电子设备，具有以上有益效果。

Description

一种行人跟踪方法、行人跟踪系统、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种行人跟踪方法、行人跟踪系统、电子设备及存储介质。

背景技术

一直以来，行人目标跟踪（又称行人跟踪）都是计算机视觉领域最重要的研究方向之一，由于较高的落地价值和实用性，行人目标跟踪受到各方面研究人员的重视，大量科研人员跻身其科研社区中。在过去几十年，目标跟踪取得了长足的发展。

多目标跟踪（MOT）是目标跟踪领域一个较难的课题，现阶段，该领域从业研究者们通常会结合目标检测和度量学习来实现，通常会采用目标检测算法进行行人定位，并将定位到的行人用度量学习提取特征，进而通过特征的匹配策略来实现同一行人轨迹的计算。但由于跟踪目标数量较多，现有策略会造成较多的漏帧（False Negative）现象及ID漂移（ID-Switch）现象。其中，拥挤人群、障碍物遮挡、摄像头分辨率较低等因素都会导致行人跟踪的错误。因此，如何利用目标检测及度量学习，设计更高精度的目标跟踪算法策略，成为该领域技术落地量产的必要条件。

因此，如何提高行人跟踪的准确率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种行人跟踪方法、行人跟踪系统、电子设备及存储介质，能够提高行人跟踪的准确率。

为解决上述技术问题，本申请提供一种行人跟踪方法，包括：

将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；其中，所述精检框的置信度高于所述粗检框的置信度；

将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；

根据所述行人轨迹库中未更新行人信息的行人构建丢失索引集合；

将所述粗检框对应的行人图像输入所述行人重识别网络模型，并根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；

利用所述行人轨迹库执行行人跟踪操作。

可选的，所述将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框，包括：

将所述当前帧图像输入所述行人检测网络模型进行行人检测，以便所述行人检测网络模型输出多个行人框；

确定第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值；

删除所有所述行人框中置信度小于所述第一阈值的行人框得到所述粗检框的集合；

删除所述粗检框的集合中置信度小于所述第二阈值的行人框得到备选框集合，对所述备选框集合中的重合框进行删减得到所述精检框的集合。

可选的，将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息，包括：

根据所述精检框的坐标位置对所述当前帧图像进行裁剪得到精检行人图像；

将所述精检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述精检行人图像对应的精检行人外观特征；

将所述精检行人外观特征与所述行人轨迹库的行人外观特征进行余弦距离运算，得到精检外观特征矩阵；

根据所述精检框的坐标位置与所述行人轨迹库的行人历史位置进行马氏距离运算，得到精检空间距离矩阵；

根据所述精检外观特征矩阵和所述精检空间距离矩阵计算精检框综合距离矩阵；

根据所述精检框综合距离矩阵将所述行人轨迹库中精检框综合距离最小的行人设置为精检匹配行人；

根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息；其中，行人信息包括行人外观特征和行人历史位置；

可选的，根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息包括：

对所述精检框对应的精检行人外观特征和所述行人轨迹库中所述精检匹配行人的行人外观特征进行加权计算，得到新的行人外观特征，并将所述新的行人外观特征更新至所述行人轨迹库；

对所述精检框的坐标位置和所述行人轨迹库中所述精检匹配行人的行人历史位置进行最小二乘法拟合轨迹计算，得到新的行人历史位置，并将所述新的行人历史位置更新至所述行人轨迹库。

可选的，将所述粗检框对应的行人图像输入所述行人重识别网络模型，包括：

删除与所述精检框坐标位置相同的粗检框，得到修正粗检框；

将丢失索引集合中行人历史位置与所述修正粗检框的坐标位置进行匹配，将匹配成功的修正粗检框设置为候选框；

根据所述候选框的坐标位置对所述当前帧图像进行裁剪得到粗检行人图像，并将所述粗检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述粗检行人图像对应的粗检行人外观特征。

可选的，根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库，包括：

将所述粗检行人外观特征与所述丢失索引集合的行人外观特征进行余弦距离运算，得到粗检外观特征矩阵；

根据所述候选框的坐标位置与所述丢失索引集合的行人历史位置进行马氏距离运算，得到粗检空间距离矩阵；

根据所述粗检外观特征矩阵和所述粗检空间距离矩阵计算粗检框综合距离矩阵；

根据所述粗检框综合距离矩阵将所述丢失索引集合中粗检框综合距离最小的行人设置为粗检匹配行人；

根据所述粗检框对应的行人信息更新所述行人轨迹库中所述粗检匹配行人的行人信息；其中，所述粗检框对应的行人信息包括所述粗检行人外观特征和所述粗检框的坐标位置。

可选的，利用所述行人轨迹库执行行人跟踪操作包括：

接收行人跟踪指令，从所述行人轨迹库中读取所述行人跟踪指令对应的目标行人信息；

根据所述目标行人信息在视频画面中对跟踪对象进行标注。

本申请还提供了一种行人跟踪系统，包括：

行人检测模块，用于将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；其中，所述精检框的置信度高于所述粗检框的置信度；

第一重识别模块，用于将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；

丢失索引集合确定模块，用于根据所述行人轨迹库中未更新行人信息的行人构建丢失索引集合；

第二重识别模块，用于将所述粗检框对应的行人图像输入所述行人重识别网络模型，并根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；

跟踪模块，用于利用所述行人轨迹库执行行人跟踪操作。本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述行人跟踪方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述行人跟踪方法执行的步骤。

本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述行人跟踪方法执行的步骤。

本申请提供了一种行人跟踪方法，包括：将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；其中，所述精检框的置信度高于所述粗检框的置信度；将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；根据所述行人轨迹库中未更新行人信息的行人构建丢失索引集合；将所述粗检框对应的行人图像输入所述行人重识别网络模型，并根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；利用所述行人轨迹库执行行人跟踪操作。

本申请利用行人检测网络模型对当前帧图像进行行人检测得到粗检框和精检框，利用精检框和行人重识别网络模型进行第一次行人匹配，利用粗检框和行人重识别网络模型进行第二次行人匹配。本申请利用两次行人匹配增强了行人跟踪精度，能够避免出现行人跟踪丢失、行人索引置换等情况。本申请同时还提供了一种行人跟踪系统、一种存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种行人跟踪方法的流程图；

图2为本申请实施例所提供的一种行人跟踪系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种行人跟踪方法的流程图。

具体步骤可以包括：

S101：将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；

其中，本实施例可以应用于行人跟踪装置，可以从监控视频中抽取当前帧图像进行行人跟踪。在将当前帧图像输入行人检测网络模型后，行人检测网络模型可以输出当前帧图像对应的粗检框和精检框。粗检框和精检框均为行人框，所述精检框的置信度高于所述粗检框的置信度，上述置信度用于描述该框中存在行人的概率。本实施例不限定粗检框和精检框的数量。

S102：将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；

其中，本实施例可以利用精检框从当前帧图像中裁剪行人图像，进而将精检框对应的行人图像输入行人重识别网络模型，以便行人重识别网络模型检测行人轨迹库和精检框对应的行人图像中均出现的行人，还可以根据本次行人重识别结果更新行人轨迹库中的行人信息。行人轨迹库包括行人外观特征和行人历史位置。

S103：根据所述行人轨迹库中未更新行人信息的行人构建丢失索引集合；

其中，行人轨迹库中未更新行人信息指S102中未被更新的信息。丢失索引集合包括行人轨迹库中存在、精检框对应的行人图像中不存在的行人的索引。为了避免当前帧图像中出现的行人未在S102中被识别，本实施例可以执行S104的第二次行人重识别操作。

S104：将所述粗检框对应的行人图像输入所述行人重识别网络模型，并根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；

其中，本实施例可以利用粗检框从当前帧图像中裁剪行人图像，进而将粗检框对应的行人图像输入行人重识别网络模型，以便行人重识别网络模型检测丢失索引集合和粗检框对应的行人图像中均出现的行人，还可以根据本次行人重识别结果更新行人轨迹库中的行人信息。

S105：利用所述行人轨迹库执行行人跟踪操作。

其中，本实施例可以利用更新后的行人轨迹库执行行人跟踪操作，具体的可以接收行人跟踪指令，从所述行人轨迹库中读取所述行人跟踪指令对应的目标行人信息；根据所述目标行人信息在视频画面中对跟踪对象进行标注。

本实施例利用行人检测网络模型对当前帧图像进行行人检测得到粗检框和精检框，利用精检框和行人重识别网络模型进行第一次行人匹配，利用粗检框和行人重识别网络模型进行第二次行人匹配。本实施例利用两次行人匹配增强了行人跟踪精度，能够避免出现行人跟踪丢失、行人索引置换等情况。

下面通过在实际应用中的实施例说明上述实施例描述的流程。相关技术中广泛使用的多目标跟踪算法策略（如经典Yolov3+deepsort算法）对一段视频中行人跟踪的过程如下：

将目标视频V_d采样成若干帧图像集合{I₁, I₂, …, I_n}，并使用深度学习检测模型对每一帧图像，并输出检测结果{ D₁, D₂, …, D_n }。其中D_i表示第i帧的检测结果集合{ p₁, p₂, …, p_m }，p_j表示每个行人的坐标框位置[x1, y1, x2, y2]，及目标框左上角和右下角的坐标。新建行人轨迹库T，用来保存行人历史位置和行人外观特征。

遍历每一帧检测结果，对当前帧i的检测结果循环以下步骤：

对当前帧检测结果{ p₁, p₂, …, p_m }中的每个行人使用度量学习进行外观特征提取A_i，并使用坐标作为位置特征P_i。

将当前帧每个行人信息（包含外观特征A_im和位置特征P_im）与行人轨迹库T中每个行人信息（包含综合外观特征Ap_k和预测位置特征Pp_k，其中k表示行人索引）进行距离运算，通过使用匈牙利匹配策略进行配对，将T中对应的行人索引赋给当前行人。利用当前帧行人特征更新行人轨迹库T。输出行人轨迹库T的行人索引集合及其位置轨迹。

但是，在实际研发过程中，上述行人跟踪的方法的精度不高，由于度量学习提取的外观特征是用来进行匈牙利匹配的主要依据，算法性能对度量学习模型的精度要求极高，算法不鲁棒。此外，在拥挤人群和被障碍物遮挡部分，极易导致行人漏检、行人索引置换、行人跟丢等错误，非常影响性能。例如某一行人在前三帧中都被正确的跟踪，但由于其第四帧完全被他人遮挡，导致跟踪终端，造成错误。本实施例旨在提出一种新型跟踪策略，用来解决上述问题。

本实施例目的是设计一种基于二次匹配的行人跟踪方法，用来缓解目标跟踪中出现的目标跟丢及行人索引置换问题，本实施例可以包括以下步骤：

步骤1：目标检测网络及度量学习网络训练。

深度学习网络训练部分包括下面两个子步骤：

行人检测网络模型训练：行人检测网络模型的训练采用当前经典的双阶段检测器faster-RCNN或单阶段检测器Yolo等，将训练数据集中行人框标签及图片输入至网络中调优网络参数，获得行人检测网络模型Model-detection。

度量学习网络训练：度量学习采用行人重识别（Person Re-Identification）模式进行模型训练。将训练数据集中行人框裁剪出来，输入到网络中优网络参数，获得行人重识别网络模型Model-reid。

步骤2：基于二次匹配的行人跟踪算法。

基于上一步骤训练的行人检测网络模型与行人重识别网络模型，本实施例设计的基于二次匹配的行人跟踪算法包含以下A~D几个步骤：

A、构建行人轨迹库T，用来保存行人历史位置和行人外观特征。

B、基于高低阈值的行人检测结果预测。包含以下b1~b4的步骤：

b1、将当前帧图像输入到行人检测网络模型中，输出一个n×5的向量V_s（[[x1,y1, x2, y2, s], [x1, y1, x2, y2, s] …]），其中n表示网络输出框的数量，5表示目标框左上角与右下角的坐标和一个置信度得分。x1、y1表示检测框左上角的横纵轴坐标；x2、y2表示右下角横纵轴坐标；s即score，表示目标框的置信度得分。

b2、设定第一阈值thresh-low和第二阈值thresh-high（如thresh-low=0.25；thresh-high=0.65）。

b3、利用第一阈值thresh-low筛除V_s内低置信度的错误框，得到粗检框集合V_m。

b4、利用第二阈值thresh- high筛除V_m内中置信度的待定框，并利用NMS（非极大抑制算法）进行重合框删减，得到精检框集合V_d。

本实施例可以将所述当前帧图像输入所述行人检测网络模型进行行人检测，以便所述行人检测网络模型输出多个行人框；确定第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值；删除所有所述行人框中置信度小于所述第一阈值的行人框得到所述粗检框的集合；删除所述粗检框的集合中置信度小于所述第二阈值的行人框得到备选框集合，对所述备选框集合中的重合框进行删减得到所述精检框的集合。

C、基于精检框和度量学习一次匹配。包含以下c1~c5的步骤：

c1、外观距离矩阵运算。利用 V_d中坐标对图像进行裁剪，将裁剪出的行人图像（即精检行人图像）集合输入到行人重识别网络模型中，获得行人外观特征（精检行人外观特征）F_d。将F_d与T中行人外观特征F_t进行余弦距离运算，得到外观特征矩阵（即精检外观特征矩阵）Dist_f。

c2、空间距离矩阵运算。使用V_d中坐标位置作为当前帧行人的空间特征P_d，将P_d与T中行人空间特征P_t进行马氏距离运算，得到空间距离矩阵（即精检空间距离矩阵）Dist_p。

c3、总距离矩阵运算。结合外观特征矩阵和空间距离矩阵，得到精检框距离矩阵（即精检框综合距离矩阵）Dist_d = Dist_f+α×Dist_p。α为加权系数。

c4、行人匹配。通过匈牙利匹配将当前帧的行人框分别分配给行人轨迹库T距离最近的行人（即精检匹配行人），并使用该行人当前帧的特征更新其行人轨迹库T中的特征行人外观特征F_d和行人历史位置P_t。公式如下：

；

；

其中k表示当前行人的索引。外观特征通过对行人特征的平均求得；空间特征通过对当前行人轨迹进行预测求得， lqx(*)表示用来拟合轨迹曲线的最小二乘法公式。

c5、行人轨迹检查。通过对比V_d与行人轨迹库T中行人的索引可获取以下三个集合：准确匹配到的索引集合ID_match；新增的索引集合ID_new；丢失的索引集合（即丢失索引集合）ID_lost，并记录到行人轨迹库T的轨迹信息中。

本实施例中更新行人轨迹库中的行人信息的过程包括：根据所述精检框的坐标位置对所述当前帧图像进行裁剪得到精检行人图像；将所述精检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述精检行人图像对应的精检行人外观特征；将所述精检行人外观特征与所述行人轨迹库的行人外观特征进行余弦距离运算，得到精检外观特征矩阵；根据所述精检框的坐标位置与所述行人轨迹库的行人历史位置进行马氏距离运算，得到精检空间距离矩阵；根据所述精检外观特征矩阵和所述精检空间距离矩阵计算精检框综合距离矩阵；根据所述精检框综合距离矩阵将所述行人轨迹库中精检框综合距离最小的行人设置为精检匹配行人；根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息；其中，行人信息包括行人外观特征和行人历史位置。行人的索引用于描述行人出现的次数。更新所述行人轨迹库中所述精检匹配行人的行人信息包括：对所述精检框对应的精检行人外观特征和所述行人轨迹库中所述精检匹配行人的行人外观特征进行加权计算，得到新的行人外观特征，并将所述新的行人外观特征更新至所述行人轨迹库；对所述精检框的坐标位置和所述行人轨迹库中所述精检匹配行人的行人历史位置进行最小二乘法拟合轨迹计算，得到新的行人历史位置，并将所述新的行人历史位置更新至所述行人轨迹库。

D、基于粗检框和度量学习二次匹配。包含以下d1~d4的步骤：

d1、粗检框修正。由于一次匹配使用的精检框V_d是粗检框V_m的子集，因此需要首先筛除重复框。将V_m中与V_d坐标相同的框删除，获得修正粗检框V_x。

d2、候选框筛定。将T中ID_lost包含的行人的位置

统计出来，将与该位置重合粗检框筛选出来，生成候选框V_c。

d3、二次匹配。将ID_lost中的行人特征与候选框V_c中的行人做匹配，匹配过程如c1-c4，具体如下：

空间距离矩阵运算：使用V_d中坐标位置作为当前帧行人的空间特征P_d，将P_d与T中行人空间特征P_t进行马氏距离运算，得到空间距离矩阵（即粗检空间距离矩阵）Dist_p。空间距离矩阵运算：使用V_d中坐标位置作为当前帧行人的空间特征P_d，将P_d与T中行人空间特征P_t进行马氏距离运算，得到空间距离矩阵（即粗检空间距离矩阵）Dist_p。总距离矩阵运算：结合外观特征矩阵和空间距离矩阵，得到粗检框距离矩阵（即粗检框综合距离矩阵）Dist_d =Dist_f+α×Dist_p。α为加权系数。行人匹配：通过匈牙利匹配将当前帧的行人框分别分配丢失索引集合ID_lost中距离最近的行人（即粗检匹配行人），并使用该行人当前帧的特征更新其行人轨迹库T中的特征行人外观特征F_d和行人历史位置P_t。公式如下：

；

；

d4、行人轨迹库更新。将新增的行人信息更新到行人轨迹库T中。

本实施例中二次更新所述行人轨迹库的过程包括：删除与所述精检框坐标位置相同的粗检框，得到修正粗检框；将丢失索引集合中行人历史位置与所述修正粗检框的坐标位置进行匹配，将匹配成功的修正粗检框设置为候选框；根据所述候选框的坐标位置对所述当前帧图像进行裁剪得到粗检行人图像，并将所述粗检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述粗检行人图像对应的粗检行人外观特征。将所述粗检行人外观特征与所述丢失索引集合的行人外观特征进行余弦距离运算，得到粗检外观特征矩阵；根据所述候选框的坐标位置与所述丢失索引集合的行人历史位置进行马氏距离运算，得到粗检空间距离矩阵；根据所述粗检外观特征矩阵和所述粗检空间距离矩阵计算粗检框综合距离矩阵；根据所述粗检框综合距离矩阵将所述丢失索引集合中粗检框综合距离最小的行人设置为粗检匹配行人；根据所述粗检框对应的行人信息更新所述行人轨迹库中所述粗检匹配行人的行人信息；其中，所述粗检框对应的行人信息包括所述粗检行人外观特征和所述粗检框的坐标位置。

本实施例提出了基于二次匹配的行人跟踪的算法方案、整套行人跟踪算法流程和跟踪算法中二次匹配相关算法的具体策略。本实施例通过使用目标检测和度量学习技术，实现高精度的多目标跟踪流程，为目标跟踪人工智能算法落地提出一条高精度的解决方案。

请参见图2，图2为本申请实施例所提供的一种行人跟踪系统的结构示意图；

该系统可以包括：

行人检测模块201，用于将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框；其中，所述精检框的置信度高于所述粗检框的置信度；

第一重识别模块202，用于将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息；

丢失索引集合确定模块203，用于根据所述行人轨迹库中未更新行人信息的行人构建丢失索引集合；

第二重识别模块204，用于将所述粗检框对应的行人图像输入所述行人重识别网络模型，并根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库；

跟踪模块205，用于利用所述行人轨迹库执行行人跟踪操作。

进一步的，行人检测模块201用于将所述当前帧图像输入所述行人检测网络模型进行行人检测，以便所述行人检测网络模型输出多个行人框；还用于确定第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值；还用于删除所有所述行人框中置信度小于所述第一阈值的行人框得到所述粗检框的集合；还用于删除所述粗检框的集合中置信度小于所述第二阈值的行人框得到备选框集合，对所述备选框集合中的重合框进行删减得到所述精检框的集合。

进一步的，第一重识别模块202，用于根据所述精检框的坐标位置对所述当前帧图像进行裁剪得到精检行人图像；还用于将所述精检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述精检行人图像对应的精检行人外观特征；还用于将所述精检行人外观特征与所述行人轨迹库的行人外观特征进行余弦距离运算，得到精检外观特征矩阵；还用于根据所述精检框的坐标位置与所述行人轨迹库的行人历史位置进行马氏距离运算，得到精检空间距离矩阵；还用于根据所述精检外观特征矩阵和所述精检空间距离矩阵计算精检框综合距离矩阵；还用于根据所述精检框综合距离矩阵将所述行人轨迹库中精检框综合距离最小的行人设置为精检匹配行人；还用于根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息；其中，行人信息包括行人外观特征和行人历史位置。

进一步的，第一重识别模块202，根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息的过程包括：

进一步的，第二重识别模块204，用于删除与所述精检框坐标位置相同的粗检框，得到修正粗检框；还用于将丢失索引集合中行人历史位置与所述修正粗检框的坐标位置进行匹配，将匹配成功的修正粗检框设置为候选框；还用于根据所述候选框的坐标位置对所述当前帧图像进行裁剪得到粗检行人图像，并将所述粗检行人图像输入所述行人重识别网络模型，以便所述行人重识别网络模型输出所述粗检行人图像对应的粗检行人外观特征。

进一步的，第二重识别模块204用于将所述粗检行人外观特征与所述丢失索引集合的行人外观特征进行余弦距离运算，得到粗检外观特征矩阵；还用于根据所述候选框的坐标位置与所述丢失索引集合的行人历史位置进行马氏距离运算，得到粗检空间距离矩阵；还用于根据所述粗检外观特征矩阵和所述粗检空间距离矩阵计算粗检框综合距离矩阵；还用于根据所述粗检框综合距离矩阵将所述丢失索引集合中粗检框综合距离最小的行人设置为粗检匹配行人；还用于根据所述粗检框对应的行人信息更新所述行人轨迹库中所述粗检匹配行人的行人信息；其中，所述粗检框对应的行人信息包括所述粗检行人外观特征和所述粗检框的坐标位置。

进一步的，跟踪模块205用于接收行人跟踪指令，从所述行人轨迹库中读取所述行人跟踪指令对应的目标行人信息；还用于根据所述目标行人信息在视频画面中对跟踪对象进行标注。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种行人跟踪方法，其特征在于，包括：

利用所述行人轨迹库执行行人跟踪操作。

2.根据权利要求1所述行人跟踪方法，其特征在于，所述将当前帧图像输入行人检测网络模型进行行人检测得到粗检框和精检框，包括：

3.根据权利要求1所述行人跟踪方法，其特征在于，将所述精检框对应的行人图像输入行人重识别网络模型，并根据所述行人重识别网络模型输出的结果更新行人轨迹库中的行人信息，包括：

根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息；其中，行人信息包括行人外观特征和行人历史位置。

4.根据权利要求3所述行人跟踪方法，其特征在于，根据所述精检框对应的行人信息更新所述行人轨迹库中所述精检匹配行人的行人信息包括：

5.根据权利要求1所述行人跟踪方法，其特征在于，将所述粗检框对应的行人图像输入所述行人重识别网络模型，包括：

6.根据权利要求5所述行人跟踪方法，其特征在于，根据所述行人重识别网络模型输出的结果与所述丢失索引集合的行人信息进行匹配，根据所述匹配结果更新所述行人轨迹库，包括：

7.根据权利要求1至6任一项所述行人跟踪方法，其特征在于，利用所述行人轨迹库执行行人跟踪操作包括：

根据所述目标行人信息在视频画面中对跟踪对象进行标注。

8.一种行人跟踪系统，其特征在于，包括：

跟踪模块，用于利用所述行人轨迹库执行行人跟踪操作。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述行人跟踪方法的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述行人跟踪方法的步骤。