CN114639117A - 一种跨境特定行人追踪的方法和装置 - Google Patents

Abstract

本发明公开了一种跨境特定行人追踪方法和装置，该方法获取多张特定行人的图像，通过提取图像中行人的骨架信息来判断该行人的姿态供行人重识别模型定位特定行人；当在视频中确定所追踪对象时，启用跟踪模型进行追踪，根据跟踪模型中所设阈值判断对象是否离开相机或被遮挡，从而有效进行精确追踪。在对象离开所有监控区域后，根据在所有视频中所获得的目标像素坐标，绘制目标在整个区域的轨迹图。实现了跨境特定行人追踪，通过行人姿态判别网络提升了行人重识别准确度，利用行人行走方向和位置解决了行人被遮挡问题，从而提升了追踪准确性和效率，设计轨迹融合策略，从而实现多摄像头下同一行人目标空间精定位。

Description

一种跨境特定行人追踪的方法和装置

技术领域

本发明属于基于人工智能的智慧社区技术领域，具体涉及一种跨境特定行人追踪的方法和装置。

背景技术

跨境特定行人追踪技术是计算机视觉领域研究的热点，主要解决跨摄像头跨场景下行人目标的持续识别与追踪。该技术根据行人的穿着、体态、发型等外表信息识别行人。行人重识别广泛应用于智能安防、智能寻人系统、大型商场以及无人超市，目前该技术在各大数据集，包括Market1501以及DukeMTMC都达到了惊人的准确率，但是在实际应用时，由于实际情况复杂，以及人与人之间的干扰，现有的算法并有取得良好的效果。

由于开放情况下跨境追踪问题的研究具有重要的应用价值以及商业价值，国内外学者对此进行了大量研究。现有技术主要由行人检测、行人重识别、跟踪技术组成，主要包括以下部分：

(1)行人检测

行人检测这项技术重点在于对复杂情况的处理，通过减少光照、阴影、运动物体的影响，提高检测的效率。基于运动检测的方法通过视频前面的帧学习得到一个背景模型，用当前帧与背景帧进行比较，得到运动的目标，该方法只能检测运动的目标，对静止的目标无法处理，如果多个目标粘连，则无法进行处理。基于深度学习的方法在这项技术取得了巨大进步，主流框架检测框架如SSD、FPN、YOLO等，尤其YOLO5已其卓越的检测能力和效率目前已经广泛应用于追踪。

(2)行人重识别

在检测到行人后之后，如何从图像中提取和匹配特征是一个重要研究内容。行人重识别已经在学术界研究多年，直到最近几年随着深度学习的发展，才取得了巨大突破。针对行人特征提取和匹配，有人提出了将行人分割为上中下三部分进行特征提取，在网络的最后将这三部分特征和行人全局特征进行融合；有人提出了提取行人的骨架信息，提取每个关键点的特征进行融合；有人提出了将行人按生物学分为头，胳膊，躯干，腿各个部分分别进行特征提取并进行融合。以上研究中充分考虑了行人的各种视觉特征和匹配策略，但复杂的结构会降低识别效率，并且在实际应用中，由于复杂的环境变化，以及行人能动性，严重影响了重识别效果。

(3)行人跟踪

通过行人检测和行人重识别可以确定所跟踪目标，如何稳定，有效的跟踪行人是一个重要研究内容。目标跟踪一般由特征提取、运动模型、外观模型和在线更新机制组成。基于滤波器方法和基于深度学习方法是目前最有效的跟踪方法，滤波器得益于频域的快速计算，MOOSE跟踪器的速度更是达到了615FPS，其超高的运行速度为嵌入式设备进行目标跟踪提供了可能。基于深度学习的跟踪算法虽然没有较高的处理速度，其卓越的特征提取能力提高了跟踪的准确率。但是关于行人遮挡问题的研究很少，这一问题一直没有进行解决。

公共区域下跨相机特定行人追踪技术研究已经有很大进展，但是随着环境的改变和研究的不断深入，涌现出了一些新的挑战，具体如下：

1、考虑到程序运行效率，如增加网络深度，提取复杂的特征都会影响识别效率。第一个挑战便是设计一个更加轻便的行人重识别模型，兼顾准确度和效率。

2、考虑到跨境行人追踪，如行人刚进入监控区域时的姿态不同，当出现与行人穿着相近的行人时，容易识别错误。第二个挑战便是利用行人姿态信息，进行特征精准匹配。

3、考虑到实际应用的复杂情况，如被追踪目标被遮挡或离开监控区域。第三个挑战便是实现设计一种策略判别行人遮挡，并进行继续跟踪。

4、考虑到在多相机追踪场景下，会存在多个摄像头跟踪到同一目标的情况，不同相机之间转换得到的空间定位坐标会存在误差。第四个挑战便是设计一种新的轨迹融合策略来确保世界坐标的准确性。

发明内容

为了解决上述现有技术问题存在的缺陷或不足，本发明的目的在于，提供一种跨境特定行人追踪方法和装置，以提高识别准确率及速率。

为了实现上述任务，本发明采取如下的技术解决方案：

一种跨境特定行人追踪方法，其特征在于，具体包括如下步骤：

步骤1，从视频监控中选取多张需要跟踪的行人图像，选取行人不同姿态图像作为模板供人重识别模型使用，并利用行人检测模型提取监控视频中每一帧中的行人，执行骨架提取操作，并使用预设网络来判断每个行人所属姿态，以供行人重识别模型使用；

步骤2，根据行人姿态与其相对应所属同一姿态的模板图像输入行人重识别模型获取特征向量，当所述行人图像特征向量与模板特征向量的特征距离满足预设条件时，定位所追踪行人；

步骤3，根据所定位到的行人，启用跟踪模型对其进行持续跟踪，当目标得分发生剧烈变化时，使用预设算法判断目标被遮挡或是离开监控区域，并根据两种不同情况，采用不同解决方案，在跟踪过程中，记录每一帧中追踪目标的中心像素坐标；

步骤4，根据所获得的目标在每一帧的中心像素坐标，事先标定好的相机内参及外参数，将追踪目标的中心像素坐标转换为目标所在的世界坐标，从而绘制目标轨迹。

根据本发明，步骤1中，根据特定行人不同姿态的图像作为模板并判断其所属姿态，检测视频流中的行人，使用同样的方法判断他们的姿态，将与模板属于同一姿态的图像输入到行人重识别模型中判断是否属于要追踪对象；通过提取图像中行人的骨架信息来判断该行人姿态，所述姿态包括行人的四个不同方位，具体为行人的前面、左面、右面和背面；通过Yolov5检测视频流中的行人并判断每个行人的姿态，将和模板属于同一姿态的行人输入至行人重识别模型中，具体包括：

将提取到的行人图像输入到Alopose骨架提取模型中；

将行人图像经过骨架提取模型所得到的骨架信息图输入到判别人体姿态的网络中得到该行人的姿态；

当得到视频流中所有的行人姿态后，根据视频流中的不同行人的姿态与其对应姿态的模板图像输入至行人重识别模型中进行比较。

具体的，在使用行人重识别进行行人匹配前，提取行人骨架信息，使用所设计的姿态判断网络，充分利用姿态信息，判断行人方位，将检测到的行人与其同等方位的模板输入到重识别网络中，通过行人重识别，得到模板图像特征向量和待查询图像特征向量，并计算模板图像特征向量和待查询图像特征向量的余弦相似度为：

其中，θ为模板图像特征向量与待查询图像特征向量的余弦相似度，X为模板图像特征向量，Y为待查询图像特征向量，T表示转置操作；

当余弦相似度小于预设阈值时，待查询行人确定为所追踪目标。

具体地，当对目标进行跟踪过程中，由于遮挡导致目标丢失，使用预设算法，判断目标被遮挡或离开相机，具体包括：

根据每一帧中所追踪对象得分是否小于得分平均值的二分之一判断目标是否发生剧烈变化；

根据每一帧追踪对象的中心像素点坐标确定目标移动方向；

根据目标发生剧烈变化的像素坐标结合目标移动方向，判断目标被遮挡或离开监控区域；

进一步地，当目标发生遮挡时，停止更新跟踪模型，并再次使用行人重识别模型，具体包括：

定位目标被遮挡位置，将其设为目标当前所在位置；

执行行人检测并判断所检测到行人的姿态供行人重识别模型使用；

当模板图像特征向量与待查询图像特征向量的余弦相似度小于预设阈值时，所追踪目标重新出现；

初始化跟踪目标，在视频中给定所追踪对象包围盒，继续进行跟踪。

当目标离开监控区域时，停止跟踪模型，具体包括：

根据追踪对象的中心像素点坐标确定目标移动方向，若目标发生剧烈变化的像素坐标在图像边缘，且发生剧烈变化之前目标由另一侧边缘至此边缘移动，则判定目标移动至监控外；

停止模型跟踪，结束算法；

在对象离开所有监控区域后，根据在各视频中获得的目标像素坐标，绘制目标在所有监控区域的轨迹图，具体包括：

通过张正友标定法确定相机内参，PnP法确定相机外参；

通过相机内外参，将目标的像素坐标转化为空间定位坐标；

通过轨迹融合算法，连接各坐标点并绘制其运动轨迹。

实现上述跨境特定行人追踪方法的装置，其特征在于，包括：

模板截取模块，用与获取若干个监控视角下的行人图像，作为模板图像；

行人检测模块，用于从视频中获取行人；

骨架提取模块，用与提取行人检测模块中获取行人的骨架；

行人姿态判断模块，用于根据行人骨架信息，判断行人的四个方位，具体包括行人前方，左方，右方，后方；

行人重识别模块，用于根据行人姿态，将其与属于同一姿态模板图像特征向量进行比对，得到行人重识别结果；

跟踪模块，用于根据行人重识别结果，对目标进行持续跟踪，使用预设算法判别目标发生遮挡或离开相机；

轨迹绘制模块，用于根据上述流程所得到目标在各个监控视频中的像素坐标，绘制目标在监控区域内轨迹。

还包括监控设备、处理器、GPU、存储器以及在存储器中且被配置为由所述处理器执行的计算机程序。

本发明的跨境特定行人追踪的方法和装置，实现了跨境特定行人追踪，通过行人姿态判别网络提升了行人重识别准确度，利用行人行走方向和位置解决了行人被遮挡问题，从而提升了追踪准确性和效率，设计轨迹融合策略，从而实现多摄像头下同一行人目标空间精定位。

附图说明

图1是本发明的跨境行人追踪步骤示意图；；

图2是行人关键点提取示意图；

图3是姿态判别网络图；

图4是行人跟踪流程图；

图5是轨迹融合示意图；

图6是跨境特定行人追踪的装置中存储器的结构示意图。

以下结合附图和实施例对本发明进行进一步地详细描述。

具体实施方式

为了使公众对本发明有全面的了解，在以下本发明所选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

本发明的跨境特定行人追踪方法，具体的设计思路如下：

首先给定不同姿态的行人目标图像，将其作为模板图像供行人重识别模型使用。使用行人检测模型提取监控视频中的行人目标，执行骨架提取操作，并使用姿态判别网络来判断每个行人姿态，以供行人重识别使用。

然后根据重识别网络识别出的行人，对其进行持续跟踪，当目标发生剧烈变化时，使用预设算法判断目标被遮挡或是离开监控区域，并根据两种不同情况，采用不同解决方案。在跟踪过程中，记录每一帧中追踪目标的中心像素坐标，依据相机内外参数及获得的像素坐标，建立像素至空间定位坐标变换模型，实现对追踪目标的实时空间定位，从而绘制目标轨迹。

如图1所示，本实施例给出一种跨境特定行人追踪方法，具体包括如下步骤：

步骤1，从视频监控中选取多张需要跟踪的行人图像，选取行人不同姿态图像作为模板供人重识别模型使用，并利用行人检测模型提取监控视频中每一帧中的行人，执行骨架提取操作，并使用预设网络来判断每个行人所属姿态，以供行人重识别模型使用；

步骤2，根据行人姿态与其相对应所属同一姿态的模板图像输入行人重识别模型获取特征向量，当所述行人图像特征向量与模板特征向量的特征距离满足预设条件时，定位所追踪行人；

步骤3，根据所定位到的行人，启用跟踪模型对其进行持续跟踪，当目标得分发生剧烈变化时，使用预设算法判断目标被遮挡或是离开监控区域，并根据两种不同情况，采用不同解决方案，在跟踪过程中，记录每一帧中追踪目标的中心像素坐标；

步骤4，根据所获得的目标在每一帧的中心像素坐标，事先标定好的相机内参及外参数，将追踪目标的中心像素坐标转换为目标所在的世界坐标，从而绘制目标轨迹。

本实施例中，步骤1中，根据特定行人不同姿态的图像作为模板并判断其所属姿态，检测视频流中的行人，使用同样的方法判断他们的姿态，将与模板属于同一姿态的图像输入到行人重识别模型中判断是否属于要追踪对象；通过提取图像中行人的骨架信息来判断该行人姿态，所述姿态包括行人的四个不同方位，具体为行人的前面、左面、右面和背面；通过Yolov5检测视频流中的行人并判断每个行人的姿态，将和模板属于同一姿态的行人输入至行人重识别模型中，具体包括：

将提取到的行人图像输入到Alopose骨架提取模型中；

将行人图像经过骨架提取模型所得到的骨架信息图输入到判别人体姿态的网络中得到该行人的姿态；

当得到视频流中所有的行人姿态后，根据视频流中的不同行人的姿态与其对应姿态的模板图像输入至行人重识别模型中进行比较。

本实施例中，使用YOLOv5行人检测模型从监控视频中选取行人，因YOLOv5具有大小仅为27MB的轻量级模型，并且在TelsaP100上实现了140FPS的快速检测，同时在准确度方面又与YOLOv4基准相当，出于对程序运行效率及行人跟踪的实时性考虑，故使用YOLOv5进行行人检测。

在使用行人重识别进行行人匹配前，提取行人骨架信息，使用所设计的姿态判断网络，充分利用姿态信息，判断行人方位，将检测到的行人与其同等方位的模板输入到重识别网络中，通过行人重识别，得到模板图像特征向量和待查询图像特征向量，并计算二者余弦相似度：

其中，θ为模板图像特征向量与待查询图像特征向量的余弦相似度，X为模板图像特征向量，Y为待查询图像特征向量，T表示转置操作。

当余弦相似度小于预设阈值时，待查询行人确定为所追踪目标。

本实施例中，在训练行人重识别网络过程中加入了很多训练手段，没有造成网络过拟合或网络复杂化，从而影响推理速度。在仅提取图像全局特征的前提下在Market1501和DukeMTMC两大数据集下分别获得了95.4％和91％的Rank1，既保证了重识别速度也保证了精度，具体包括：

在网络训练初期，用一个逐渐递增的学习率去初始化网络，渐渐初始化到一个更优的搜索空间；

图像中随机选取一个区域，打上噪声，进行数据增广，降低模型的过拟合程度；

使用标签平滑，抑制网络的过拟合程度；

根据重识别网络更大的特征图可以提取到更加细粒度的特征，将网络最后一层的卷积步长由2降为1，提升模型性能；

将通过全局池化层的特征连接三元组损失，将此特征经过批标准化层得到的特征连接身份验证损失；

根据三元组损失只考虑了相对距离，其损失大小与正样本对的绝对距离无关，故在网络中添加中心损失，提高网络聚类性能。

在跟踪目标的过程中，对目标遮挡或离开监控区域进行预测，在目标被遮挡时采用预设算法进行处理，确保准确跟踪目标，具体包括：

根据每一帧所记录的目标中心像素坐标，判断目标的移动方向；

根据目标的移动方向和目标发生剧烈变化的位置，判断目标被遮挡或离开监控区域；

若目标被遮挡，停止跟踪模型更新，定位目标跟丢位置，重新启用行人重识别模型，待识别到目标后继续跟踪；

若目标离开监控区域，结束跟踪。

在多相机追踪场景下，进行轨迹绘制过程中将多个相机跟踪到同一目标时的轨迹进行融合，具体包括：

根据求取的目标深度来预测目标与摄像头的距离，距离越远，转换得到的目标空间定位坐标误差越大，需要根据距离的远近程度给予不同相机生成的空间定位坐标相应的权重；

当目标追踪丢失情况时，若只有单个摄像机跟踪到目标，则只保留该相机跟踪的坐标，若没有摄像机跟踪到目标，则进行跳帧，直到目标再次出现重新进行坐标转换；

进行坐标融合，需要确定两目标对应的空间定位坐标在一定范围内，若坐标范围相距过远，则不进行融合，选取距离最近相机生成的坐标作为最终的空间定位坐标。

上述跨境特定行人追踪方法的装置，包括：

模板截取模块，用与获取若干个监控视角下的行人图像，作为模板图像；

行人检测模块，用于检测监控视频中的行人；

骨架提取模块，用于提取检测到的行人骨架信息，供姿态判断模块使用；

姿态判断模块，用于根据所提取的骨架信息，判断行人姿态，包括行人正方，左方，右方以及后方；

行人重识别模块，用于根据所述行人姿态，对属于相同姿态的待识别行人进行重识别，得到行人重识别结果；

跟踪模块，根据行人重识别的结果初始化模型，对特定行人进行跟踪；

轨迹绘制模块，根据行人在各监控视频中的像素坐标，融合各轨迹，绘制目标在监控区域活动轨迹。

还包括有监控设备、处理器、GPU、存储器以及在存储器中存储且由处理器执行的计算机程序，由处理器执行所述计算机程序，以实现跨境特定行人的追踪。其中，存储器的结构参见图6所示。

以下是发明人给出的具体的实施步骤：

1)行人检测：

通过加载行人检测模型，从监控视频中框定行人图像以供行人重识别模型使用。

2)行人重识别：

a、由于同一行人在不同视角的相机下具有不同的姿态，当出现衣着相近的行人时，会严重影响重识别的精度。故通过所提取的行人关键点设计行人姿态估计模型。首先标注本地数据集，将行人分为四个不同姿态，分别为行人的正面，左面，右面以及后面；其次，设计卷积神经网络与损失函数进行模型训练；最后，在测试集上完成模型测试。

b、采用较高的baseline设计行人重识别网络，加入一系列训练技巧并使用三元组损失与身份验证损失训练网络，在仅使用全局特征的前提下达到95％以上的测试集准确率。

3)行人跟踪：

a、使用行人重识别模型所定位到的行人进行模型初始化，从而对目标进行持续跟踪。

b、当目标发生剧烈变化时，结合目标的时空信息对目标状态进行判断，若目标被遮挡，停止模型更新，并重新找回所跟踪目标。若目标离开监控区域，则停止算法。

4)空间定位：

在行人跟踪过程中，记录每一帧中追踪目标的中心像素坐标，并将像素坐标转化为空间定位坐标，转化过程中可能会存在多个摄像头跟踪到同一目标的情况，不同摄像头之间转换得到的目标空间定位坐标会存在误差，使用一种新的轨迹融合策略来确保目标空间定位坐标的准确性。

对本实施例中，更具体的步骤说明如下：

行人重识别：

跨境行人跟踪过程中，重识别的准确性直接影响跟踪结果的有效性，因此在行人重识别前，需要对行人进行预处理(行人姿态判别)。行人姿态判别的主要目的是减少行人在不同角度相机下出现的视角差异，增强有关信息的可检测行、最大限度的减少同一行人之间的差异，增加重识别的可靠性。传统的重识别方法主要包括行人水平分割和语义分割，未充分挖掘行人姿态信息。并且，传统的重识别模型由于追求在公开数据集下的识别准确度，模型设计复杂、参数庞大，在实际场景中难以应用。

本实施例中，申请人的课题组采用如下方法进行行人重识别。

(1)姿态判别模型

使用开源关键点估计模型，如图2所示，下载行人重识别数据集并提取行人的18个关键点，并搭建姿态判别深度学习网络，初始化网络参数。

所述的姿态判别网络整体为三层卷积层与两层全连接层，第一个卷积层的特征映射图为64个，每一个特征映射图的卷积核大小均为3×3个像素，步长和填充均为1个像素；第二个卷积层的特征映射图为128个，每一个特征映射图的卷积核大小均为3×3个像素，步长和填充均为1个像素；第三个卷积层的特征映射图为256个，每一个特征映射图的卷积核大小均为3×3个像素，步长和填充均为1个像素；并且每个卷积层中都有一层BN层和最大池化层。卷积层和全连接层中使用的激活函数均为ReLU函数。

所述网络采用随机梯度下降方法，对该网络进行多次训练，得到训练好的行人姿态判别网络。

所述梯度下降方法的步骤如下：

第1步，进行参数初始化，将卷积层设置为均值为0，方差为1的正态分布数；BN层权重均设置为1，偏差均为0；全连接层设置均值为0，方差为0.01的正态分布数；学习速率设置为0.001；优化器选择Adam，权重衰减为0.00005，学习率下降间隔数为50，学习率调整倍数为0.1。

第2步，将基于图片的行人重识别数据集的训练集中挑选1519张训练图片进行关键点提取，并标注行人姿态输入到姿态判别网络。

第3步，利用下述损失函数计算公式，计算所有选取样本损失值得平均值：

其中，p(x)表示样本的真实分布，q(x)表示模型所预测的分布。

第3步，将训练图片输入网络中，经过100次迭代后得到参数，并保存模型。

(2)重识别模型

a、标准的baseline使用的是阶梯下降型学习率，初始学习率为3.5e-4，总共训练120个epoch，在第40和第70个epoch进行学习率下降。用一个很大的学习率初始网络可能由于网络初期梯度过大使网络震荡至一个次优空间。Warmup学习率是用一个逐渐递增的学习率初始化网络，使网络逐渐初始化一个更优的搜索空间，具体公式如下：

b、传统的分类任务使用的是交叉熵损失，而监督标签用的是one-hot向量，为了缓和标签对于网络的约束，利用如下公式标签做一个平滑：

经过标签平滑，可以有效抑制网络的过拟合程度。

c、ResNet50主干网络的每个模块最后一层卷积都会有一个下采样过程，即最后一层的卷积步长为2。正常输入一张256×128的图像，网络会输出一个8×4的特征图。增加特征图的尺寸一般能够提升网络性能，一个简单的操作是将最后一层卷积的下采样步长设为1，在不改变任何参数的条件下使得输出的特征图尺寸扩大为16×8。更大的特征图可以提取到更加细粒度的特征，因此能够提升模型的性能。

d、下载Market1501公开重识别数据集，利用三元组损失与ID损失联合进行训练，具体损失函数公式如下：

其中，n表示每个batch训练的样本数，输入图像x_i和其类别标签y_i，经过softmax分类，x_i被识别为y_i类的预测概率，用p表示。

L_tri(i,j,k)＝max(ρ+d_ij-d_ik,0)

其中，d_ij表示所选取样本分别与正样本和负样本之间的欧式距离，ρ为超参数。

行人跟踪：

行人跟踪过程如图4所示，当跟踪目标发生遮挡时，使得模型进行错误更新，从而导致错误的跟踪结果。本实施例利用行人的时空信息并结合行人重识别，在目标发生遮挡时，停止模型更新，并重新找回所跟踪目标。

(1)遮挡判断

本实施例中，采用孪生网络对目标进行跟踪，记录所跟踪目标在每一帧中的得分(相似度)，将平均得分的30％设为阈值，当目标得分低于此阈值时，则认为目标发生剧烈变化，并根据目标的时空信息判断目标发生遮挡或离开监控区域。

目标跟踪过程中，记录目标丢失之前五十帧中行人的中心像素坐标与目标丢失时的中心像素坐标。

根据行人像素坐标判断行人的行走方向，若目标在视频边缘50个像素点外发生剧烈变化，则认定目标被遮挡；若目标在视频边缘50个像素点内发生剧烈变化，且目标行走方向为此边缘至另一侧边缘，则认定目标被遮挡；若目标在视频边缘50个像素点内发生剧烈变化，且目标行走方向另一边缘至此边缘，则目标丢失，即离开监控区域。

(2)行人重定位

当判定目标被遮挡后，停止模型更新，并且重新启用重识别模块对目标进行搜索，此时包围盒放置在目标丢失位置。当判定目标丢失，则停止算法，结束跟踪，待目标再次出现。

行人目标空间精定位：

通过张正友标定法确定相机内参，PnP法确定相机外参，将目标的像素坐标转化为空间定位坐标，转换公式如下所示：

设计轨迹融合策略，实现行人目标空间精定位，具体步骤如下：

第1步，根据求取的Zc(深度信息)来预判目标与摄像头的远近程度，给予相应的权重(坐标融合时对应权重，等价于置信度)。

第2步，视频数据在没有跟踪上的情况下不进行跳帧，保留所有帧，每次读取各目标对应的像素坐标→世界坐标，若存在则根据权重进行坐标融合。若只有当前摄像机跟踪到，则只保留该相机跟踪的坐标。

第3步，融合过程中需要确定两目标对应的世界坐标在一定范围内，若范围相距过远，则不进行融合。

本领域的普通技术人员可以理解并实现上述实施例方法中的全部或部分流程，可以通过计算机程序指令相关硬件来完成，所述程序可以存储于计算机可读取存储介质中。

应当指出的是，以上列举的实施例是较优的例子，本发明并不限于这些实施例，本领域普通技术人员在不脱离上述技术方案的前提下，可以在上述技术方案中进行技术特征的增加或替换，均应属于本发明的保护范围之内。

Claims (10)

1.一种跨境特定行人追踪方法，其特征在于，具体包括如下步骤：

步骤1，从视频监控中选取多张需要跟踪的行人图像，选取行人不同姿态图像作为模板供行人重识别模型使用，并利用行人检测模型提取监控视频中每一帧中的行人，执行骨架提取操作，并使用预设网络来判断每个行人所属姿态，以供行人重识别模型使用；

步骤2，根据行人姿态与其相对应所属同一姿态的模板图像输入行人重识别模型获取特征向量，当所述行人图像特征向量与模板特征向量的特征距离满足预设条件时，定位所追踪行人；

步骤3，根据所定位到的行人，启用跟踪模型对其进行持续跟踪，当目标得分发生剧烈变化时，使用预设算法判断目标被遮挡或是离开监控区域，并根据两种不同情况，采用不同解决方案，在跟踪过程中，记录每一帧中追踪目标的中心像素坐标；

步骤4，根据所获得的目标在每一帧的中心像素坐标，事先标定好的相机内参及外参数，将追踪目标的中心像素坐标转换为目标所在的世界坐标，从而绘制目标轨迹。

2.如权利要求1所述的方法，其特征在于，步骤1中，根据特定行人不同姿态的图像作为模板并判断其所属姿态，检测视频流中的行人，使用同样的方法判断他们的姿态，将与模板属于同一姿态的图像输入到行人重识别模型中判断是否属于要追踪对象；通过提取图像中行人的骨架信息来判断该行人姿态，所述姿态包括行人的四个不同方位，具体为行人的前面、左面、右面和背面；通过Yolov5检测视频流中的行人并判断每个行人的姿态，将和模板属于同一姿态的行人输入至行人重识别模型中，具体包括：

将提取到的行人图像输入到Alopose骨架提取模型中；

将行人图像经过骨架提取模型所得到的骨架信息图输入到判别人体姿态的网络中得到该行人的姿态；

当得到视频流中所有的行人姿态后，根据视频流中的不同行人的姿态与其对应姿态的模板图像输入至行人重识别模型中进行比较。

3.如权利要求1所述的方法，其特征在于：在使用行人重识别进行行人匹配前，提取行人骨架信息，使用所设计的姿态判断网络，充分利用姿态信息，判断行人方位，将检测到的行人与其同等方位的模板输入到重识别网络中，通过行人重识别，得到模板图像特征向量和待查询图像特征向量，并计算模板图像特征向量和待查询图像特征向量的余弦相似度为：

其中，θ为模板图像特征向量与待查询图像特征向量的余弦相似度，X为模板图像特征向量，Y为待查询图像特征向量，T表示转置操作；

当余弦相似度小于预设阈值时，待查询行人确定为所追踪目标。

4.如权利要求1所述的方法，其特征在于，当在视频中定位所追踪目标后，使用追踪网络对其进行追踪，具体包括：

初始化跟踪目标，在视频中给定所追踪对象包围盒坐标；

利用预设的跟踪算法，计算所述监控视频中每一行人为追踪对象的相似度得分，将得分最高的行人判定为追踪对象；

根据视频前一帧所预测到的追踪对象区域进行当前帧的追踪对象预测，将得分最高的行人判定为追踪对象。

5.如权利要求4所述的方法，其特征在于，当对目标进行跟踪过程中，由于遮挡导致目标丢失，使用预设算法，判断目标被遮挡或离开相机，具体包括：

根据每一帧中所追踪对象得分是否小于得分平均值的二分之一判断目标是否发生剧烈变化；

根据每一帧追踪对象的中心像素点坐标确定目标移动方向；

根据目标发生剧烈变化的像素坐标结合目标移动方向，判断目标被遮挡或离开监控区域。

6.如权利要求5所述的方法，其特征在于，当目标发生遮挡时，停止更新跟踪模型，并再次使用行人重识别模型，具体包括：

定位目标被遮挡位置，将其设为目标当前所在位置；

执行行人检测并判断所检测到行人的姿态供行人重识别模型使用；

当模板图像特征向量与待查询图像特征向量的余弦相似度小于预设阈值时，所追踪目标重新出现；

初始化跟踪目标，在视频中给定所追踪对象包围盒，继续进行跟踪。

7.如权利要求5所述的方法，其特征在于：当目标离开监控区域时，停止跟踪模型，具体包括：

根据追踪对象的中心像素点坐标确定目标移动方向，若目标发生剧烈变化的像素坐标在图像边缘，且发生剧烈变化之前目标由另一侧边缘至此边缘移动，则判定目标移动至监控外；

停止模型跟踪，结束算法。

8.如权利要求1所述的方法，其特征在于，在对象离开所有监控区域后，根据在各视频中获得的目标像素坐标，绘制目标在所有监控区域的轨迹图，具体包括：

通过张正友标定法确定相机内参，PnP法确定相机外参；

通过相机内外参，将目标的像素坐标转化为空间定位坐标；

通过轨迹融合算法，连接各坐标点并绘制其运动轨迹。

9.一种实现权利要求1至7其中之一所述的跨境特定行人追踪方法的装置，其特征在于，包括：

模板截取模块，用于获取若干个监控视角下的行人图像，作为模板图像；

行人检测模块，用于从视频中获取行人；

骨架提取模块，用于提取行人检测模块中获取行人的骨架；

行人姿态判断模块，用于根据行人骨架信息，判断行人的四个方位，具体包括行人前方，左方，右方，后方；

行人重识别模块，用于根据行人姿态，将其与属于同一姿态模板图像特征向量进行比对，得到行人重识别结果；

跟踪模块，用于根据行人重识别结果，对目标进行持续跟踪，使用预设算法判别目标发生遮挡或离开相机；

轨迹绘制模块，用于根据上述流程所得到目标在各个监控视频中的像素坐标，绘制目标在监控区域内轨迹。

10.如权利要求9所述的装置，其特征在于：还包括监控设备、处理器、GPU、存储器以及在存储器中且被配置为由所述处理器执行的计算机程序。

Images