CN114581954A - 基于行人特征的跨域检索和跟踪目标的方法 - Google Patents

Abstract

本发明提供了一种基于行人特征的跨域检索和跟踪目标的方法，包括对待检索和跟踪的目标行人采集全身图像提取特征，制作预采样特征库，为每个身份赋予id标签；对每个身份创建轨迹，短帧轨迹窗口保存匹配到的目标行人的特征；统计目标行人在相机间的流动频次，计算目标行人的转移概率，绘制相机拓扑图；对每一帧图像中的目标行人获取检测框，对检测到的目标行人提取特征，与预采样特征库和短帧轨迹窗口中的特征共同度量，获得当前帧目标行人与轨迹的匹配列表；将当前帧的检测框与轨迹关联，显示预采样特征库中对应的id标签，更新轨迹信息，并将当前特征加入短帧轨迹窗口，结合预采样特征库参与后续度量。提高跟踪精度，降低错误匹配的概率。

Description

基于行人特征的跨域检索和跟踪目标的方法

技术领域

本发明涉及计算机视觉及视频理解技术领域，尤其涉及一种基于行人特征的跨域检索和跟踪目标的方法。

背景技术

多目标跟踪在计算机视觉中起着重要的作用，因此其学术和商业潜力越来越受到人们的关注。它有诸多实际应用，如视觉监控、人机交互、虚拟现实，从视频监控到自动驾驶汽车，从动作识别到人群行为分析，许多这些实际应用都将受益于高质量的跟踪算法，因此有必要研究出针对多目标跟踪的模型来解决它在实际中的应用问题，在现实场景中分析行人轨迹，在不同相机视域中检索并进行跟踪。

多摄像机多目标跟踪系统或方法已成为数字图像处理、计算机视觉分析领域的新兴应用方向，多摄像机轨迹可用于包括视觉监视、可疑活动和异常检测、运动员跟踪和人群行为分析在内的应用，是未来智能信息化普及的一项关键技术，具有一定的前沿性和导向作用，有着巨大的市场应用价值和社会意义。

现阶段国内外跨摄像机多目标跟踪的研究比较少，多数研究着力于单摄像机多目标跟踪上，而对跨视域多目标跟踪的案例几乎没有。专利“一种基于背景建模和IoU匹配的多目标跟踪方法”(CN202011354657.X，2020年)，通过相机预置位设置以及相机标定获取实时视频流，使用卷积神经网络模型对兴趣区域进行目标检测，通过IoU匹配进行数据关联，结合背景建模方法引入了跳帧机制,进行实时的目标跟踪，这种方法在人群聚集时容易造成身份切换和轨迹框漂移；专利“一种基于自适应扩展卡尔曼概率假设密度滤波器的多目标跟踪方法”(CN202011097165.7，2020年)，公开了一种基于自适应扩展卡尔曼概率假设密度滤波器的多目标跟踪方法，利用两点差分算法初始化新生目标强度，同时利用目标最大速度约束算法剔除错误的新生目标强度，解决了EK-PHD滤波器在新生目标强度未知的情况下无法跟踪目标的问题，上述方案通过卡尔曼滤波等运动模型估计方案对检测进行IoU匹配关联完成跟踪，单独使用运动模型无法应对遮挡，而且降采样会导致跟踪精度下降；专利“一种基于身份再识别的多目标跟踪方法及系统”(CN201910498068.X，2019年)，通过提取当前时刻检测视频序列中跟踪目标的再识别特征，遍历轨迹树的每条短轨迹中所有子节点,统计每条短轨迹的表观得分、身份再识别得分以及运动得分并将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合,得到每条短轨迹多线索的总得分,通过得分来进行关联匹配，完成跟踪，深度特征包含有大量的特征信息，可有效用识别行人身份，但这种方法没有考虑时空信息，也没有从多相机角度考虑轨迹关联问题；专利“一种基于长短期预测模型的多目标遮挡跟踪方法”(CN202010693529.1，2020年)，通过计算当前视频帧与预设时间内的历史视频帧之间的外观特征相似度，将外观特征相似度和运动特征相似度的乘积作为目标与轨迹之间的相似度,确定各个目标与轨迹之间的最佳匹配关系,得到多目标的跟踪结果，通过时间长短的两种轨迹融合来进行跟踪，弥补了短轨迹遮挡丢失的问题，同时满足了跨域查询的难题，但该专利没有考虑相机间的关联，仅依靠特征作为跨域检索和跟踪的依据，容易造成身份切换。

因此，有必要开发一种基于行人特征的跨域检索和跟踪目标的方法，通过提取行人外观特征，来形成待检索与跟踪的特征集合，引入运动信息和面部信息弥补外观特征因遮挡导致的精度降低；同时融合时空信息，根据相机拓扑减小查询范围，降低错误匹配的概率；通过余弦度量和级联匹配策略完成检测与特征轨迹的关联，实现跨视域跟踪。

发明内容

本发明旨在解决现有技术或相关技术中存在的技术问题之一。

为此本发明提出了一种基于行人特征的跨域检索和跟踪目标的方法。

有鉴于此，本发明提出了一种基于行人特征的跨域检索和跟踪目标的方法，所述包括：

预采样特征，对多个待检索和跟踪的目标行人采集全身图像，输入训练模型并提取外观特征，制作预采样特征库，并为每个所述目标行人赋予id标签；

初始化轨迹，对所述预采样特征库中的每一个目标行人创建轨迹，同时所述轨迹还存在一个短帧轨迹窗口，所述短帧轨迹窗口用于保存匹配到的所述目标行人的特征；

相机拓扑计算，根据实际相机位置信息，统计任意行人在相机间的流动频次，获得频次-时间直方图，通过所述频次-时间直方图计算所述任意行人在相机间的转移概率，并绘制权重为概率的有向相机拓扑图；

特征提取与度量，在读取视频时，对每一帧图像中的行人进行检测获取检测框，并对检测到的所述行人提取特征，与所述预采样特征库和所述和短帧轨迹窗口中的特征共同度量，获得相似度矩阵，通过匈牙利算法获得当前帧所述行人与所述轨迹的匹配列表；

关联轨迹，通过所述匹配列表将当前帧的所述检测框与所述轨迹关联，显示所述预采样特征库中对应的id标签，更新所述轨迹信息，并将当前特征加入所述短帧轨迹窗口，结合所述预采样特征库参与后续度量。

进一步地，所述预采样特征包括：

目标特征提取，对所述待检索和跟踪的所述目标行人预先准备1至n张全身图像输入行人重识别网络中，提取所述外观特征；

预采样特征库，为每个所述目标行人赋予id标签，并存储对应的预采样特征，形成所述预采样特征库。

进一步地，所述相机拓扑计算包括：

拓扑判别，根据当前相机数目，判断是否需要设计拓扑结构，若相机数目小于3，则无需所述拓扑结构，否则设计所述相机拓扑；

相机场点设置，为每个相机设置场点，表示任意行人进入或退出所述相机视野的位置区域，记录所述任意行人的坐标；

频次-时间直方图统计，根据现实场景中所有所述相机的位置，统计从某个相机至另一个相机的所述任意行人流动频次，使用parzen窗平滑频次-时间直方图；

获取拓扑关系，排除不可能的相机间联系，得到最终的有向相机拓扑图。

进一步地，所述特征提取与度量包括：

检测所述行人的特征提取，所述相机进行行人的检测，去除冗余检测和远视距目标，提取当前帧所有所述行人的检测特征集合；

查询特征集选择，根据所述有向相机拓扑图确认当前所述相机的关联相机，并获取其在所述预采样特征库中处于“未跟踪”状态轨迹的特征集合；

级联匹配，对所述当前相机的“确认态”轨迹和“暂定态”轨迹优先与所述检测特征集合做余弦度量，剩余的未匹配检测则与关联相机的轨迹做余弦度量，得到多个所述相似度矩阵；

数据关联，将所述相似度矩阵与设定的阈值比较，超过所述阈值则设置为0，并通过所述匈牙利算法进行数据关联，获取所述匹配列表。

进一步地，使用YOLOv5作为检测器，对每一帧图像进行所述行人的检测，使用NMS过滤所述冗余检测和远视距目标。

进一步地，所述关联轨迹包括：

短轨迹窗口，对成功关联的所述轨迹，更新所述轨迹的状态，并将它的特征加入所述短帧轨迹窗口；

状态更新，对与所述“确认态”持续跟踪失败的所述轨迹，将它的状态变更为“未跟踪”，并记录当前的相机编号。

本发明提供的技术方案可以包括以下有益效果：

通过提取行人的外观特征，来形成待检索与跟踪的特征集合，引入运动信息和面部信息弥补外观特征因遮挡导致的精度降低；同时融合时空信息，根据相机拓扑减小查询范围，降低错误匹配的概率；通过余弦度量和级联匹配策略完成检测与特征轨迹的关联，实现跨域检索和跟踪。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明的基于行人特征的跨域检索和跟踪目标的方法的步骤流程图；

图2示出了根据本发明一个具体实施例的跨域检索和跟踪目标的方法的步骤流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1示出了根据本发明的基于行人特征的跨域检索和跟踪目标的方法的步骤流程图。

如图1所示，本申请提出了一种基于行人特征的跨域检索和跟踪目标的方法，该跨域检索和跟踪目标的方法包括：

预采样特征，对多个待检索和跟踪的目标行人采集全身图像，输入训练模型并提取外观特征，制作预采样特征库，并为每个目标行人赋予id标签；

初始化轨迹，对所述预采样特征库中的每一个目标行人创建轨迹，同时所述轨迹还存在一个短帧轨迹窗口，所述短帧轨迹窗口用于保存匹配到的所述目标行人的特征；

相机拓扑计算，根据实际相机位置信息，统计任意行人在相机间的流动频次，获得频次-时间直方图，通过频次-时间直方图计算任意行人在相机间的转移概率，并绘制有向相机拓扑图；

特征提取与度量，在读取视频时，对每一帧图像中的行人进行检测获取检测框，并对检测到的行人提取特征，与预采样特征库和短帧轨迹窗口中的特征共同度量，获得相似度矩阵，通过匈牙利算法获得当前帧行人与轨迹的匹配列表；

关联轨迹，通过匹配列表将当前帧的检测框与轨迹关联，显示预采样特征库中对应的id标签，更新轨迹信息，并将当前特征加入短帧轨迹窗口，结合预采样特征库参与后续度量。

其中，对多个待检索和跟踪的目标行人通过手工方式采集全身图像，即通过人工方式将目标行人从图片中扣出，形成固定大小的目标行人图像送入训练模型中，得到目标行人的外观特征；相机拓扑计算时，通过任意行人的通过数量在相机间的转移概率，获得有向相机拓扑图；其中，初始化轨迹为输入id标签为每个目标行人创建初始化轨迹(一种数据结构)，并负责保存一些参数记录目标行人的状态，同时在短帧轨迹窗口保存近期匹配后的目标行人的特征。

需要说明的是，对预采样特征库中的每一个目标行人创建轨迹，该轨迹属于一种自定义数据结构，其中的数据包括id标签、预采样的特征(每个身份的特征放到这个数据结构里)、中心坐标列表、行人轨迹框坐标列表、轨迹状态(跟踪中还是未跟踪)、轨迹的所处相机编号、前一个相机所处编号(默认-1)、就离上次更新时间(匹配时归零，未匹配时持续增长)、最长丢失时间(阈值，一定时间未更新认定离开相机群视野)等参数，同时轨迹还存在一个短帧轨迹窗口，该窗口用来保存最近匹配到的目标行人的特征(类似队列，只保存一定容量的特征，超过容量即距离匹配时间最远的特征将被抛弃)，解决预采样与实际环境中特征表达匹配度不高的问题，通过轨迹来持续记录目标行人的运动信息；直方图频次指camera 1到camera i的行人数，横坐标是时间，即随着时间的推进行人从相机1到相机i的人数统计，概率就是bin_i/观察到的总人数,其中，bin_i是指：相机1->相机2为一组，相机1->相机3为一组……，除以的是相机1到其他所有相机移动的总人数(观察到的总人数)，这个概率预先统计是为了实际应用时预测目标行人离开视野可能再次出现在哪个相机中。其中，检测框就是把行人从全景帧扣出来，特征是行人的表达，即用一个数字序列表示行人的外观，类似人脸识别，背景越少越好，预采样特征尽量用裁剪好的图像提取特征，保证特征的良好表达，检测获取的图像块可能有杂波不适合预采样特征的获取；通过频次-时间直方图计算目标行人在相机间的转移概率，第一个就是排除不相关的相机关联，第二个是保证匹配结果的一致性，如，相机2中新进入的某个目标行人(可能从1来也可能从3、4来)，他的检测特征和未跟踪状态轨迹匹配，得到了匹配列表，被匹配的轨迹上个相机标号是4，若camera 4到camera 2的概率在camera i到camera 2的概率排序靠前，则认为一致，但camera 4到camera 2的概率极低，则认为这次匹配的可能出现误匹配，将其从匹配列表移除，本系统遵循的原则是优先确保id标签的正确性，所以宁可放弃部分错误的匹配结果。

其中，本申请中说的特征基本为外观特征，因为通过深度学习网络模型提取特征，从结果上看依然偏重外观颜色；度量至余弦度量，余弦度量若归一化后就是矩阵乘法，如：(12{一帧检测到的人数}×512{向量维度})与预采样特征库(128{采样数}×512)^T乘法得到代价矩阵(12,128)，指每个人与预采样特征库的所有人相似度列表，判定用到了公开算法-匈牙利算法，使每个行人都获得匹配防止匹配冲突，当然存在一个阈值，用于排除不存在的匹配，需要说明的是，T是转置，即(12×512)点乘(128×512)^T＝(12×512)点乘(512×128)＝(12×128)，为代价矩阵，但因为余弦度量得到的是相似度，所以代价矩阵就是相似度矩阵，它的含义就是12个检测行人特征与预采样128人特征的相似度，如：第一行就是第1个检测到的行人与预采样库中每个人的相似度得分，越接近1表示相似度越高。

通过提取行人的外观特征，来形成待检索与跟踪的特征集合，引入运动信息和面部信息弥补外观特征因遮挡导致的精度降低；同时融合时空信息，根据相机拓扑减小查询范围，降低错误匹配的概率；通过余弦度量和级联匹配策略完成检测与特征轨迹的关联，实现跨域检索和跟踪。

其中，在自定义数据结构中，有两个参数，即当前相机和前一个相机(默认-1)，当状态从确认态转为未跟踪，将前一个相机号设为当前相机号，并将当前相机号置为-1，此时与该相机相关联的相机在级联的最后匹配时会选择这些轨迹，而其他未关联的相机查询未跟踪状态轨迹不会将这些轨迹纳入考量，缩小了匹配的范围，即降低错误匹配的概率；跨域检索指在不同相机中，找到目标行人，即找到在预采样中赋予身份标签的行人，而跟踪则是持续检索并记录目标行人的信息，维持id标签不变，即保证id＝4的人不会错误匹配到id＝10的人。

进一步地，预采样特征包括：

目标特征提取，对待检索和跟踪的目标预先准备1至n张全身图像输入行人重识别网络中，提取外观特征，形成预采样特征库；

预采样特征库，为每个目标行人赋予id标签，并存储对应的预采样特征。

其中，通过提取行人外观特征，来形成待检索与跟踪的特征集合，引入运动信息弥补外观特征因遮挡导致的精度降低。

需要说明的是，也可以通过引入面部信息弥补外观特征因遮挡导致的精度降低，引入面部信息时，对全身图像选择1/6划分区域，若为正面清晰人像，则送入FaceNet提取面部特征，追加进预采样特征库作为补充信息，其中，面部信息补充只作为补充，在实际中，若相机位置较远，则无法获得准确的面部信息。

进一步地，相机拓扑计算包括：

拓扑判别，根据当前相机数目，判断是否需要设计拓扑结构，若相机数目小于3，则无需拓扑结构，否则设计相机拓扑；

相机场点设置，为每个相机设置场点，表示任意行人进入或退出相机视野的位置区域，记录任意行人的坐标；

频次-时间直方图统计，根据现实场景中所有相机的位置，统计从某个相机至另一个相机的任意行人流动频次，使用parzen窗平滑绘制频次-时间直方图；

获取拓扑关系，排除不可能的相机间联系，得到最终的有向相机拓扑图。

需要说明的是，相机场点设置为了方便统计频次-时间直方图，需要采用人工统计；通过频次-时间直方图计算目标行人在相机间的转移概率，如：随着时间推移，camera 1到camera 2的概率为0.58，camera 1到camera 3的概率为0.31，camera 1到camera 3的概率为0.08，...，那么从相机1至相机2的可能性最高；相机间无关联，如camera 1到camera 5无路径，或者camera 1到camera 5的概率接近0，则证明相机1和相机5没有直接联系，也即有向相机拓扑图中两个相机节点之间无连线。

融合时空信息，根据相机拓扑减小查询范围，即排除了不可能的相机间联系，又保证了匹配未跟踪状态轨迹的准确性。

进一步地，特征提取与度量包括：

检测行人的特征提取，相机进行目标行人的检测，去除冗余检测和远视距目标，提取当前帧所有目标行人的检测特征集合；

查询特征集选择，根据有向相机拓扑图确认当前相机的关联相机，并获取其在预采样特征库中处于“未跟踪”状态轨迹的特征集合；

级联匹配，对当前相机的“确认态”轨迹和“暂定态”轨迹优先与检测特征集合做余弦度量，剩余的未匹配检测则与关联相机的轨迹做余弦度量，得到多个相似度矩阵；

数据关联，将相似度矩阵与设定的阈值比较，超过所述阈值则设置为0，并通过所述匈牙利算法进行数据关联，获取所述匹配列表。

需要说明的是，特征集合是指一帧中检测到的所有目标行人的特征的集合，同于送入网络再与预采样特征库进行度量，而待检索和跟踪指的是预采样的目标行人，对他们进行特征提取的特征集合就是预采样特征库。

其中，“未跟踪”状态、“确认态”和“暂定态”均为轨迹状态，不是所有的目标行人都在被跟踪中，未被跟踪的行人的轨迹状态就是“未跟踪”状态，具体地，状态包括未跟踪(初始状态)、暂定(需要连续匹配才会转确认态)、确认态(当一定时间未匹配则转变为未跟踪状态)，如：预采样特征库中有128个目标行人的预采样特征，本发明的方法质检所跟跟踪这128个人，当有4个相机监控网存在时，某个目标出现在相机2，那么他的状态一定是确认的，也即“确认态”，同时他不可能出现在相机1、3和4中，那么4个相机视野中均未出现的目标行人状态就是“未跟踪”状态，对于新进入的某个相机视野的目标来说他一定通过与“未跟踪”状态的轨迹匹配后转为“暂定态”，这个“未跟踪”状态就是从128个预采样特征库对应的轨迹集合过滤出状态为未跟踪的轨迹，这些轨迹的特征集合(预采样n×512)作为级联的最后一步匹配。

需要说明的是，在这里需要区分匹配和关联，匹配是检测框和轨迹进行余弦度量的这个过程，而关联指通过匈牙利算法已经获取到了匹配列表，现在要将对应的检测与轨迹关联到一起，表现为更新坐标、框信息，将检测特征加入轨迹的短帧轨迹窗口，如：相机1检测到8个人，检测的特征集合(8×512)，此时他们还没有和预采样特征库对应的128个轨迹进行关联，首先筛选轨迹(当前相机1同时状态为缺人太的轨迹)，因为这些轨迹在上几帧刚成功关联过，应该让他们优先匹配，假设有5个轨迹复合标准，那么让8个检测集和5个轨迹进行匹配，如果全部能匹配，那么剩下的3个检测集将要和相机1且状态为暂定太的轨迹进行匹配，假如只有1个且也匹配成功了，则只剩下2个检测集，他可能是从其他相机漫游过来的，也可能不是我们待检测和跟踪的目标，所以这个2个检测集将和有向相机拓扑图中有关联且为未跟踪的轨迹进行匹配，若成功，则它的状态更改为暂定态，继续参与后续的关联，若失败，则认定不是我们待检索和跟踪的目标，抛弃该检测集，最后统一关联，更新轨迹信息，这是一种优先级策略，对最近刚关联的轨迹优先匹配，其次与暂定态轨迹匹配，最后与未跟踪状态轨迹匹配。

其中，设定的阈值在预采样特征和初始化轨迹后，整个方法计算前设置的，即为系统参数，数据关联就是根据匈牙利算法获取得到了匹配列表，将本帧检测与轨迹集合关联，更新轨迹中相应参数，其中要区分预采样特征库和轨迹，预采样特征库只是不同特征的集合，轨迹是根据id标签设置的数据结构，包括总舵参数及信息，有一个参数叫sample，对应的就是该id标签的预采样特征。

通过深度学习网络提取出表达能力强的特征，有益于提高检索准确率，在特征归一化后，通过余弦度量方式降低了计算量，只通过矩阵乘法就可以获取相似度矩阵，取代了循环遍历计算相似度的方式，提高了整个跨域检索和跟踪目标的速度。

进一步地，使用YOLOv5作为检测器，对每一帧图像进行行人的检测，使用NMS过滤冗余检测。

NMS过滤冗余检测框，保证检测框数目尽可能与真实人数一致，采用先进的检测器YOLOv5能提高跟踪效果，因为轨迹需要与检测关联，若检测精度差，检测框定位误差大，则直接影响匹配和关联的结果。

进一步地，关联轨迹包括：

短轨迹窗口，对成功关联的轨迹，更新轨迹的状态，并将它的特征加入短帧轨迹窗口；状态更新，对与“确认态”持续跟踪失败的轨迹，将它的状态变更为“未跟踪”，并记录当前的相机编号。

确认态拥有最高的匹配优先级，因为最近关联的轨迹大概率会持续处于跟踪状态，确保这些轨迹不会丢失，而未跟踪状态表明首次出现或曾经丢失，这些轨迹优先级低，它们不应该去抢占当前帧的检测结果，若统一进行匹配会加大错误关联的概率。通过状态转移方式控制轨迹是否参与匹配，比完全依赖外观特征检索有着更高的稳定性和跟踪精准度。

实施例

图2示出了根据本发明一个具体实施例的跨域检索和跟踪目标的方法的步骤流程图。

如图2所示，本实施例提供了一种跨域检索和跟踪目标的方法，该方法具体包括如下步骤：

步骤1，对多个待检索和跟踪的目标行人采集全身图像，提取外观特征，制作预采样特征库；

步骤2，根据预采样特征库，为每个目标行人赋予id标签；

步骤3，对每个目标行人创建轨迹，存储id标签、预采样特征、中心坐标列表、行人轨迹框坐标列表和轨迹状态等参数，并初始化参数；

其中，初始化参数是指参数需要预设值，如：坐标列表＝[](空),当前相机号＝-1(未跟踪时),跟踪状态＝“未跟踪”(初始化)等。

步骤4，根据实际场景，统计相机间任意行人流动次数，获得频次-时间直方图，通过直方图计算任意行人相机间转移概率，并绘制权重为概率的有向相机拓扑图；

步骤5，采用YOLOv5作为检测器，对每个相机都进行行人检测；

步骤6，对视频的每帧进行检测，若当前帧不存在行人，即检测结果为空，则更新当前“确认态”和“暂定态”状态的轨迹，包括轨迹历史、轨迹年龄等信息；

需要说明的是，实际应用中在此处插入一个视频检测，是因为一般轨迹状态更新会放在关联步骤，前提是有检测和轨迹关联，若没有检测，则直接跳过关联，更新确认态轨迹的“距离上次未匹配时间”的这个参数，对于暂定态，需要连续n次的关联才会转换为确认态，一旦中断没有关联，则认为是错误关联或离开了相机视域，将其转换为未跟踪状态，所以此处一个分支处理。

步骤7，若存在检测结果，使用NMS过滤冗余检测框，同时用阈值过滤掉面积过小的检测，往往离镜头过远的行人会干扰跟踪结果；

步骤8，提取行人特征，封装到检测集合中，为后续度量做准备；

需要说明的是，此处为单帧检测特征集合。

步骤9，根据相机拓扑，确认当前相机确认关联的相机，得到对应状态为“未跟踪”状态的轨迹集合用作后续匹配；

需要说明的是，排除无联系的相机的轨迹，即camera 1无法直接达到camera 4，那对于camera 4来说，就可以过滤掉”上个相机号”为1的未跟踪状态轨迹，就是去掉了不可能成功匹配的轨迹，变相提高了跟踪精度。

步骤10，是否引用运动模型，估计行人轨迹，作为外观特征跟踪的补充；

需要说明的是，此步骤对应步骤14的卡尔曼滤波，这个是公开算法，用作预测行人运动速度和下一帧可能出现的位置，此处根据需要选择是否使用。

步骤11，优先让检测集合与本相机“确认态”轨迹进行匹配，即余弦度量和匈牙利算法，作为第一层级联匹配；

步骤12，使用卡尔曼滤波作为运动估计模型，根据上次匹配的位置信息推测下一帧位置信息，并和检测集合做IOU生成距离矩阵，作为度量的输入；

需要说明的是，距离矩阵类似相似度矩阵，输送到匈牙利算法会得到匹配列表，步骤10中选择是否加入运动信息(提高跟踪准确率的一种方法)，它并非使用余弦度量，而是采用一种叫做IOU的方式，得到一个距离矩阵(类比相似度矩阵)，同样会送入匈牙利算法，进而得到匹配列表，当选择使用步骤10时，则运行步骤12，如果选择不使用步骤10，怎不运行步骤12。

步骤13，剩余未匹配的检测与本相机“暂定态”轨迹进行匹配作为第二层级联匹配；

步骤14，剩余未匹配的检测与“未跟踪”的特征集进行匹配作为最后一层级联匹配，检查获得的匹配列表与行人相机间转移概率是否一致，如果出入大则将其从匹配列表移除；

步骤15，统一数次匹配的结果列表，对关联的结果校验是否正确，去除重复项；

步骤16，更新轨迹的状态，对于成功匹配的“暂定态”轨迹，若满足要求将其转为“确认态”轨迹，对于成功匹配的“未跟踪”状态轨迹，将其状态转为“暂定态”轨迹，对于不满足要求的轨迹，如长时间未关联的轨迹，“暂定态”中断的轨迹，则转为“未跟踪”状态轨迹；

步骤17，更新非“未跟踪”状态轨迹的参数，中心坐标列表、行人轨迹框坐标列表、轨迹的所处相机编号、前一个相机所处编号、就离上次更新时间、最长丢失时间和阈值等参数；

其中，阈值负责将长时间未关联的轨迹(即轨迹中参数：距离上次未匹配帧数大于该阈值了)的状态由“确认态”转为“未跟踪”状态，认定其离开视野。

步骤18，关联结果显示对应轨迹的id标签，显示为跟踪。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于行人特征的跨域检索和跟踪目标的方法，其特征在于，所述跨域检索和跟踪目标的方法包括：

预采样特征，对多个待检索和跟踪的目标行人采集全身图像，输入训练模型并提取外观特征，制作预采样特征库，并为每个所述目标行人赋予id标签；

初始化轨迹，对所述预采样特征库中的每一个所述目标行人创建轨迹，同时所述轨迹还存在一个短帧轨迹窗口，所述短帧轨迹窗口用于保存匹配到的所述目标行人的特征；

相机拓扑计算，根据实际相机位置信息，统计任意行人在相机间的流动频次，获得频次-时间直方图，通过所述频次-时间直方图计算所述任意行人在相机间的转移概率，并绘制权重为概率的有向相机拓扑图；

特征提取与度量，在读取视频时，对每一帧图像中的行人进行检测获取检测框，并对检测到的行人提取特征，与所述预采样特征库和所述和短帧轨迹窗口中的特征共同度量，获得相似度矩阵，通过匈牙利算法获得当前帧所述行人与所述轨迹的匹配列表；

关联轨迹，通过所述匹配列表将当前帧的所述检测框与所述轨迹关联，显示所述预采样特征库中对应的id标签，更新所述轨迹信息，并将当前特征加入所述短帧轨迹窗口，结合所述预采样特征库参与后续度量。

2.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法，其特征在于，所述预采样特征包括：

目标特征提取，对所述待检索和跟踪的所述目标行人预先准备1至n张全身图像输入行人重识别网络中，提取所述外观特征；

预采样特征库，为每个所述目标行人赋予id标签，并存储对应的预采样特征，形成所述预采样特征库。

3.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法，其特征在于，所述相机拓扑计算包括：

拓扑判别，根据当前相机数目，判断是否需要设计拓扑结构，若相机数目小于3，则无需所述拓扑结构，否则设计所述相机拓扑；

相机场点设置，为每个相机设置场点，表示任意行人进入或退出所述相机视野的位置区域，记录所述任意行人的坐标；

频次-时间直方图统计，根据现实场景中所有所述相机的位置，统计从某个相机至另一个相机的所述任意行人流动频次，使用parzen窗平滑频次-时间直方图；

获取拓扑关系，排除不可能的相机间联系，得到最终的有向相机拓扑图。

4.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法，其特征在于，所述特征提取与度量包括：

检测所述行人的特征提取，所述相机进行行人的检测，去除冗余检测和远视距目标，提取当前帧所有所述行人的检测特征集合；

查询特征集选择，根据所述有向相机拓扑图确认当前所述相机的关联相机，并获取其在所述预采样特征库中处于“未跟踪”状态轨迹的特征集合；

级联匹配，对所述当前相机的“确认态”轨迹和“暂定态”轨迹优先与所述检测特征集合做余弦度量，剩余的未匹配检测则与关联相机的轨迹做余弦度量，得到多个所述相似度矩阵；

数据关联，将所述相似度矩阵与设定的阈值比较，超过所述阈值则设置为0，并通过所述匈牙利算法进行数据关联，获取所述匹配列表。

5.根据权利要求4所述的基于行人特征的跨域检索和跟踪目标的方法，其特征在于，使用YOLOv5作为检测器，对每一帧图像进行所述行人的检测，使用NMS过滤所述冗余检测和远视距目标。

6.根据权利要求4所述的基于行人特征的跨域检索和跟踪目标的方法，其特征在于，所述关联轨迹包括：

短轨迹窗口，对成功关联的所述轨迹，更新所述轨迹的状态，并将它的特征加入所述短帧轨迹窗口；

状态更新，对与所述“确认态”持续跟踪失败的所述轨迹，将它的状态变更为“未跟踪”，并记录当前的相机编号。

Images