CN116823884A - 多目标跟踪方法、系统、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种多目标跟踪方法、系统、计算机设备及存储介质，属于人工智能技术领域。该方法包括：对第一采集图像进行目标检测，得到跟踪目标、第一矩形框和第一角度数据；对第一矩形框对应的区域进行特征提取得到第一目标特征；获取历史目标的历史跟踪轨道数据，对历史目标进行目标跟踪预测得到预测跟踪轨道数据；根据第一目标特征、第一矩形框、第一角度数据和预测跟踪轨道数据确定目标跟踪轨道数据；根据目标跟踪轨道数据从历史目标中匹配候选目标；根据候选目标和目标跟踪轨道数据更新历史跟踪轨道数据，并根据目标跟踪轨道数据输出跟踪目标对应的目标跟踪结果。本申请实施例能够提高对多目标跟踪的识别度和精确度。

Description

多目标跟踪方法、系统、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种多目标跟踪方法、系统、计算机设备及存储介质。

背景技术

视觉目标跟踪是指在给定视频初始帧中确定感兴趣区域(如人、车辆等目标对应的区域)下，对视频中的运动目标进行特征提取，从而根据提取到的目标特征来预测未来时间帧中运动目标的位置和大小，从而完成对目标的追踪任务。

目前，由于空中视野广阔，干扰物体数量较多，且目标与其他物体之间、目标与背景之间相互干扰，相关技术的目标跟踪方法计算资源不足，从而导致训练的目标跟踪模型的可辨识性和识别精度较低。并且，由于无人机在跟踪过程中易受到风力等外界因素的影响，导致相机抖动、视角变化、运动模糊等现象频繁，则对于高速移动的目标，如高速公路上运行的汽车等，易产生跟踪漂移和丢失的情况，从而降低了对多目标跟踪的精确度。因此，如何提高对多目标跟踪的识别度和精确度，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种多目标跟踪方法、系统、计算机设备及存储介质，能够提高对多目标跟踪的识别度和精确度。

为实现上述目的，本申请实施例的第一方面提出了一种多目标跟踪方法，所述方法包括：

获取待跟踪的第一采集图像；

对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据；

对所述第一矩形框对应的区域进行特征提取，得到第一目标特征；

获取历史目标的历史跟踪轨道数据，根据所述历史跟踪轨道数据对所述历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，并根据所述目标跟踪轨道数据从所述历史目标中匹配得到候选目标；

根据所述候选目标和所述目标跟踪轨道数据更新所述历史跟踪轨道数据，并根据所述目标跟踪轨道数据输出所述跟踪目标对应的目标跟踪结果。

在一些实施例中，所述对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据，包括：

将所述第一采集图像输入预先训练的目标检测模型进行目标检测，得到第一候选目标和所述第一候选目标对应的第一候选检测数据，所述第一候选检测数据包括第一置信度、所述第一候选目标对应的矩形框和所述矩形框的角度数据；

根据预设置信度阈值和所述第一置信度从所述第一候选目标中筛选出所述跟踪目标，将所述跟踪目标对应的矩形框作为所述第一矩形框，将所述第一矩形框对应的角度数据作为第一角度数据。

在一些实施例中，在所述将所述第一采集图像输入预先训练的目标检测模型进行目标检测，得到第一候选目标和所述第一候选目标对应的第一候选检测数据之前，所述方法还包括：

构建所述目标检测模型，具体包括：

获取训练样本，所述训练样本包括样本图像、所述样本图像中的样本目标和所述样本目标对应的样本数据，所述样本数据包括样本目标类别、样本目标置信度、样本目标矩形框、样本目标角度；

将所述样本图像输入初始检测模型进行目标检测，得到样本检测目标和所述样本检测目标的样本检测数据，所述样本检测数据包括样本检测目标类别、样本检测目标置信度、样本检测目标矩形框、样本检测目标角度；

根据所述样本检测目标类别和所述样本目标类别进行损失计算，得到类别损失数据；

根据所述样本目标置信度和所述样本检测目标置信度进行损失计算，得到置信度损失数据；

根据所述样本目标矩形框和所述样本检测目标矩形框进行损失计算，得到边框损失数据；

根据所述样本目标角度和所述样本检测目标角度进行损失计算，得到角度损失数据；

根据所述类别损失数据、所述置信度损失数据、所述边框损失数据和所述角度损失数据确定样本目标损失数据；

根据所述样本目标损失数据对所述初始检测模型进行参数调整，得到所述目标检测模型。

在一些实施例中，所述获取历史目标的历史跟踪轨道数据，包括：

获取第二采集图像，所述第一采集图像和所述第二采集图像来自同一视频段，且所述第二采集图像在所述第一采集图像之前；

将所述第二采集图像输入所述目标检测模型进行目标检测，得到第二候选目标和所述第二候选目标对应的第二候选检测数据，所述第二候选检测数据包括第二置信度、所述第二候选目标的矩形框和所述矩形框的角度数据；

根据所述预设置信度阈值和所述第二置信度从所述第二候选目标中筛选出所述历史目标，并将所述历史目标对应的矩形框作为第二矩形框，将所述第二矩形框对应的角度数据作为第二角度数据；

对所述第二矩形框对应的区域进行特征提取，得到第二目标特征；

根据所述第二矩形框、所述第二角度数据和所述第二目标特征构建所述历史目标的所述历史跟踪轨道数据。

在一些实施例中，所述预测跟踪轨道数据包括目标预测特征、预测矩形框，所述根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，包括：

根据所述目标预测特征和所述第一目标特征进行特征距离计算，得到特征差异数据；

根据预设重叠损失函数对所述预测矩形框和所述第一矩形框进行损失计算，得到第一坐标损失数据；

根据预设旋转重叠损失函数对所述预测矩形框和所述第一矩形框进行损失计算，得到第二坐标损失数据；

根据所述预测矩形框和所述第一矩形框进行损失计算，得到边框损失数据；

根据所述特征差异数据、所述第一坐标损失数据、所述第二坐标损失数据和所述边框损失数据确定目标跟踪损失数据；

根据匈牙利算法、所述第一角度数据和所述目标跟踪损失数据对所述预测跟踪轨道数据进行数据更新，得到所述目标跟踪轨道数据。

在一些实施例中，所述根据所述特征差异数据、所述第一坐标损失数据、所述第二坐标损失数据和所述边框损失数据确定目标跟踪损失数据，包括：

根据所述特征差异数据、所述第一坐标损失数据和所述边框损失数据进行损失计算，确定第一目标损失数据；

根据所述特征差异数据、所述第二坐标损失数据和所述边框损失数据进行损失计算，确定第二目标损失数据；

根据所述第一目标损失数据和所述第二目标损失数据进行数值比较，确定目标跟踪损失数据。

在一些实施例中，所述对所述第一矩形框对应的区域进行特征提取，得到第一目标特征，包括：

根据所述第一采集图像和所述第一矩形框进行区域提取，得到矩形框区域图像；

根据预设图像尺寸对所述矩形框区域图像进行图像变换，得到目标区域图像；

将所述目标区域图像输入预先训练的重识别模型进行特征提取，得到所述第一目标特征。

为实现上述目的，本申请实施例的第二方面提出了一种多目标跟踪系统，所述系统包括：

图像获取模块，用于获取待跟踪的第一采集图像；

目标检测模块，用于对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据；

特征提取模块，用于对所述第一矩形框对应的区域进行特征提取，得到第一目标特征；

跟踪预测模块，用于获取历史目标的历史跟踪轨道数据，根据所述历史跟踪轨道数据对所述历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

目标匹配模块，用于根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，并根据所述目标跟踪轨道数据从所述历史目标中匹配得到候选目标；

结果输出模块，用于根据所述候选目标和所述目标跟踪轨道数据更新所述历史跟踪轨道数据，并根据所述目标跟踪轨道数据输出所述跟踪目标对应的目标跟踪结果。

为实现上述目的，本申请实施例的第三方面提出了一种计算机设备，包括：

至少一个存储器；

至少一个处理器；

至少一个计算机程序；

所述至少一个计算机程序被存储在所述至少一个存储器中，所述至少一个处理器执行所述至少一个计算机程序以实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述第一方面所述的方法。

本申请实施例提出的一种多目标跟踪方法、系统、计算机设备及存储介质，获取待跟踪的第一采集图像，对第一采集图像进行目标检测，得到跟踪目标、跟踪目标在第一采集图像中的第一矩形框和第一矩形框的第一角度数据。对第一矩形框对应的区域进行特征提取，得到第一目标特征。获取历史目标的历史跟踪轨道数据，根据历史跟踪轨道数据对历史目标进行目标跟踪预测，得到预测跟踪轨道数据。根据第一目标特征、第一矩形框、第一角度数据和预测跟踪轨道数据确定目标跟踪轨道数据，根据目标跟踪轨道数据从历史目标中匹配得到候选目标。根据候选目标和目标跟踪轨道数据更新历史跟踪轨道数据，并根据目标跟踪轨道数据输出第一采集图像中跟踪目标对应的目标跟踪结果。本申请实施例能够提高对多目标跟踪的识别度和精确度。

附图说明

图1是本申请实施例提供的多目标跟踪方法的第一流程图；

图2是图1中的步骤S120的流程图；

图3是本申请实施例提供的多目标跟踪方法的第二流程图；

图4是图1中的步骤S130的流程图；

图5是图1中的步骤S140的流程图；

图6是图1中的步骤S150的流程图；

图7是图6中的步骤S650的流程图；

图8是本申请实施例提供的多目标跟踪方法的流程示意图；

图9是本申请实施例提供的多目标跟踪系统的结构示意图；

图10是本申请实施例提供的计算机设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(Artificial Intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

交并比(Intersection over Union，IOU)：用于计算预测的边框和真实的边框的交叠率，即两个边框的交集和并集的比值，最理想是完全重叠，即比值为1。

卡尔曼滤波交并比(Kalman filtering IOU，KFIOU)：在卡尔曼滤波中应用高斯分布相乘,即通过相乘后的高斯分布来计算相交区域的面积。

视觉目标跟踪是指在给定视频初始帧中确定感兴趣区域(如人、车辆等目标对应的区域)下，对视频中的运动目标进行特征提取，从而根据提取到的目标特征来预测未来时间帧中运动目标的位置和大小，从而完成对目标的追踪任务。

目前，由于空中视野广阔，干扰物体数量较多，且目标与其他物体之间、目标与背景之间相互干扰，相关技术的目标跟踪方法计算资源不足，从而导致训练的目标跟踪模型的可辨识性和识别精度较低。并且，由于无人机在跟踪过程中易受到风力等外界因素的影响，导致相机抖动、视角变化、运动模糊等现象频繁，则对于高速移动的目标，如高速公路上运行的汽车等，易产生跟踪漂移和丢失的情况，从而降低了对多目标跟踪的精确度。因此，如何提高对多目标跟踪的识别度和精确度，成为了亟待解决的技术问题。

基于此，本申请实施例提供了一种多目标跟踪方法、系统、计算机设备及存储介质，能够提高对多目标跟踪的识别度和精确度。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的多目标跟踪方法，涉及人工智能技术领域。本申请实施例提供的多目标跟踪方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现多目标跟踪方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据对象信息、对象行为数据、对象历史数据、以及对象位置信息等与对象身份或特性相关的数据进行相关处理时，都会先获得对象的许可或者同意。而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本申请实施例需要获取对象的敏感个人信息，如对象医疗数据、对象手术数据时，会通过弹窗或者跳转到确认页面等方式获得对象的单独许可或者单独同意，在明确获得对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的对象相关数据。

请参阅图1，图1是本申请实施例提供的多目标跟踪方法的一个可选的流程图。图1中的方法可以具体包括但不限于步骤S110至步骤S160，下面结合图1对这六个步骤进行详细介绍。

步骤S110，获取待跟踪的第一采集图像；

步骤S120，对第一采集图像进行目标检测，得到跟踪目标、跟踪目标在第一采集图像中的第一矩形框和第一矩形框的第一角度数据；

步骤S130，对第一矩形框对应的区域进行特征提取，得到第一目标特征；

步骤S140，获取历史目标的历史跟踪轨道数据，根据历史跟踪轨道数据对历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

步骤S150，根据第一目标特征、第一矩形框、第一角度数据和预测跟踪轨道数据确定目标跟踪轨道数据，并根据目标跟踪轨道数据从历史目标中匹配得到候选目标；

步骤S160，根据候选目标和目标跟踪轨道数据更新历史跟踪轨道数据，并根据目标跟踪轨道数据输出跟踪目标对应的目标跟踪结果。

在一些实施例的步骤S110中，本申请实施例的第一采集图像用于表示包含需要跟踪的目标的检测图像。第一采集图像可以为获取输入的待检测的视频段，将该视频段中任一帧未进行目标跟踪处理的图像作为第一采集图像。第一采集图像还可以为获取视频采集的连续的图像文件，将该图像文件中的任一个图像作为第一采集图像，在此不作具体限定。

需要说明的是，在无人机应用场景下，本申请实施例的第一采集图像可以为通过目标无人机上设置的航拍相机采集的图像。其中，该航拍相机可以通过相机标定对相机进行光学变焦，即对相机设置不同变焦倍数下的焦距、相机内参矩阵、畸变系数等参数，以采集不同清晰度和像素下的图像，从而自动调整对图像的识别精度。

在一些实施例的步骤S120中，在获取到第一采集图像后，先对第一采集图像进行目标检测，得到至少一个跟踪目标、每个跟踪目标在第一采集图像中的第一矩形框和第一矩形框的第一角度数据。根据该第一矩形框可以得到该跟踪对象在第一采集对象中的矩形框信息，则可以得到第一矩形框的锚框(指刚好和跟踪目标对应的边界框重合)的中心点坐标(x1，y1)、第一矩形框的宽高(第一边框宽h1和第一边框高w1)和第一矩形框的第一角度数据θ1。其中，第一角度数据用于表示以跟踪目标对应的第一矩形框的长边与水平方向轴x的夹逆时针的夹角，范围可以为[0,180)。本申请实施例在进行目标检测时，能够同时输出矩形框对应的角度数据，可以更好地优化目标跟踪效果。

请参阅图2，图2是本申请实施例提供的步骤S120的一个可选的流程图。在本申请的一些实施例中，步骤S120具体可以包括但不限于步骤S210至步骤S220，下面结合图2对这两个步骤进行详细介绍。

步骤S210，将第一采集图像输入预先训练的目标检测模型进行目标检测，得到第一候选目标和第一候选目标对应的第一候选检测数据，第一候选检测数据包括第一置信度、第一候选目标对应的矩形框和矩形框的角度数据；

步骤S220，根据预设置信度阈值和第一置信度从第一候选目标中筛选出跟踪目标，将跟踪目标对应的矩形框作为第一矩形框，将第一矩形框对应的角度数据作为第一角度数据。

在一些实施例的步骤S210中，将第一采集图像输入预先训练的目标检测模型进行目标检测，得到多个第一候选目标和每个第一候选目标对应的第一候选检测数据。

在一些实施例的步骤S220中，由于空中视野广阔，干扰物体数量较多，且目标与其他物体之间、目标与背景之间相互干扰，为了减少无关物体目标对跟踪目标的影响，对图像进行目标检测后得到的候选目标，采用置信度阈值筛选，以留下高置信度的检测目标。本申请实施例将根据预设置信度阈值和第一置信度从第一候选目标中筛选出跟踪目标。其中，本申请实施例可以将第一置信度大于或等于预设置信度阈值的第一候选目标作为跟踪目标，而将第一置信度小于预设置信度阈值的第一候选目标进行剔除。此外，为了提高对更有效的目标的识别效率，本申请在选择出第一置信度大于或等于预设置信度阈值的第一候选目标后，根据选出的第一候选目标的第一置信度进行降序排列，从而从高到低筛选出预设数量的第一候选目标作为更有效的跟踪目标。因此，根据确定的至少一个跟踪目标确定对应的第一矩形框和第一角度数据。

需要说明的是，预设置信度阈值可以根据实际置信度需要进行灵活设定，也可以根据所要筛选出的跟踪目标的数目进行灵活设定，例如，0.6、0.8等，在此不作具体限定。

请参阅图3，图3是本申请实施例提供的多目标跟踪方法的另一个可选的流程图。在本申请的一些实施例中，在步骤S120之前，本申请的多目标跟踪方法具体还包括步骤：构建目标检测模型。该步骤具体可以包括但不限于步骤S310至步骤S380。下面结合图3对这八个步骤进行详细介绍。

步骤S310，获取训练样本，训练样本包括样本图像、样本图像中的样本目标和样本目标对应的样本数据，样本数据包括样本目标类别、样本目标置信度、样本目标矩形框、样本目标角度；

步骤S320，将样本图像输入初始检测模型进行目标检测，得到样本检测目标和样本检测目标的样本检测数据，样本检测数据包括样本检测目标类别、样本检测目标置信度、样本检测目标矩形框、样本检测目标角度；

步骤S330，根据样本检测目标类别和样本目标类别进行损失计算，得到类别损失数据；

步骤S340，根据样本目标置信度和样本检测目标置信度进行损失计算，得到置信度损失数据；

步骤S350，根据样本目标矩形框和样本检测目标矩形框进行损失计算，得到边框损失数据；

步骤S360，根据样本目标角度和样本检测目标角度进行损失计算，得到角度损失数据；

步骤S370，根据类别损失数据、置信度损失数据、边框损失数据和角度损失数据确定样本目标损失数据；

步骤S380，根据样本目标损失数据对初始检测模型进行参数调整，得到目标检测模型。

在一些实施例的步骤S310中，首先，在对模型训练时，先获取训练样本，训练样本包括样本图像、样本图像中的样本目标和样本目标对应的样本数据，样本数据包括样本目标类别、样本目标置信度、样本目标矩形框、样本目标角度。其中，样本目标用于表示在样本图像中已经标记的高置信度的目标。样本目标类别用于表示需要跟踪的目标的类别。

需要说明的是，样本目标类别可以根据实际跟踪任务进行设定，从而可以基于不同类别的跟踪任务构建训练样本集，并根据不同类别的训练样本训练不同类别的目标检测模型。例如，对于车辆跟踪任务，即需要对车辆目标进行跟踪。因此，需要区分不同的车辆类别，如可以设定类别包括小车、货车、巴士、摩托车、自行车5类，并为每个车辆类别设定对应的类别标签。又如，对于人车跟踪任务，即需要对人和车同时进行跟踪，此时无需细分车辆类别，则类别指的是人、车两类，并为人、车两个类别设定对应的类别标签。

需要说明的是，为了提高对所需要进行跟踪的类别目标的识别准确度，本申请实施例在构建训练样本集时，可以对采集到的样本图像进行多尺度变换处理、图像随机裁剪拼接处理、图像融合处理等至少一种方式，以得到新的样本图像，从而扩充训练样本的数量。

在一些实施例的步骤S320中，为了提高目标检测的精确度，本申请实施例是基于YOLOV5模型进行改进，以得到对多目标跟踪时识别度和精确度更好的目标检测模型。具体地，本申请实施例的目标检测模型在其中的每个检测层中增加了角度通道，以实现对角度数据的输出。因此，将样本图像输入初始检测模型进行目标检测，可以得到样本检测目标和样本检测目标的样本检测数据，样本检测数据包括样本检测目标类别、样本检测目标置信度、样本检测目标矩形框、样本检测目标角度。

其中，由于初始检测模型包括3个不同尺寸的检测层，则初始检测模型的通道设置如下公式(1)所示。

channel＝(nc+c+xywh+θ)*3 (1)。

其中，channel表示初始检测模型的通道数，nc表示要跟踪的类别数量，c表示置信度通道数，xywh表示锚框的中心点与宽高通道数，θ为角度数据的通道数，3表示初始检测模型包含3个检测层。例如，当角度数据的取值范围为[0,180)，要跟踪的类别数量只有车辆，则可以得到初始检测模型的通道共有(1+1+4+180)*3＝558个。

需要说明的是，将样本图像输入初始检测模型进行目标检测后，也会根据预设置信度阈值和样本检测的目标的置信度进行比较，以从样本检测的目标中筛选得到样本检测目标。其中，对于置信度比较的具体过程与上述步骤S220相同，在此不再赘述。

在一些实施例的步骤S330至步骤S360中，为了提高生成的目标检测模型的识别度和精确度，本申请实施例将根据类别、置信度、矩形框的位置、角度对损失函数进行构建。具体地，根据样本检测目标类别和样本目标类别进行损失计算，得到类别损失数据；根据样本目标置信度和样本检测目标置信度进行损失计算，得到置信度损失数据；根据样本目标矩形框和样本检测目标矩形框进行损失计算，得到边框损失数据；根据样本目标角度和样本检测目标角度进行损失计算，得到角度损失数据。

需要说明的是，类别、置信度的损失计算函数可以为0-1损失函数、绝对值损失函数、对数损失函数、指数损失函数、Hinge损失函数等任一种，可以根据实际需求进行选择和调整，在此不再赘述。

需要说明的是，目标矩形框的损失函数计算为根据矩形框的锚框中心点位置坐标和矩形框的宽高分别进行损失数据的计算，将得到的位置坐标损失数据和宽高损失数据进行加权计算，得到边框损失数据。其中，该位置坐标和宽高的损失计算函数可以为欧式距离函数、均方误差函数等，在此不作具体限定。

需要说明的是，本申请实施例的样本目标矩形框和样本检测目标矩形框，可以为根据锚框中心点位置坐标和矩形框的宽高构建的高斯分布矩形。然后，由于对于高速移动的目标，其上下两帧间的IOU容易为0，导致后续利用匈牙利算法进行目标关联时产生关联失败，从而无法对高速移动目标进行跟踪。为了优化对高速移动目标跟踪的效果，本申请实施例在确定边框损失数据时，先分别对样本目标矩形框和样本检测目标矩形框进行高斯拟合，得到样本目标椭圆框和样本检测目标椭圆框。并根据KFIOU算法对样本目标椭圆框和样本检测目标椭圆框进行损失计算，得到边框损失数据。

需要说明的是，本申请实施例的角度损失函数可以采用BCEWithLogitsLoss损失函数，即S型函数Sigmoid和二分类交叉熵损失BCELoss的组合方式。

在一些实施例的步骤S370中，本申请实施例可以根据对不同参数的关键程度对不同的损失数据设置对应的权重，例如，为了提高对类别识别的准确定，则将类别损失数据的权重设置的高一点；为了更精度对目标进行识别，则将置信度损失数据的权重设置的高一点；为了更准确地识别目标所在的区域，则将边框损失数据的权重设置的高一点；为了更准确地识别不同角度对应的目标，则可以将角度损失数据的权重设置的高一点。之后，根据所设置的权重对类别损失数据、置信度损失数据、边框损失数据和角度损失数据进行加权计算，得到模型总的样本目标损失数据。

在一些实施例的步骤S380，根据样本目标损失数据对初始检测模型进行参数调整，直至模型的模型参数达到预设结束条件，则此时初始检测模型的模型参数为目标检测模型对应的模型参数，且目标检测模型的模型结构和初始检测模型的模型结构相同。该预设结束条件可以为目标检测准确率达到预设准确率阈值，或者模型迭代次数达到预设训练次数等，在此不再赘述。

在一些实施例的步骤S130中，在确定跟踪目标对应的第一矩形框之后，为了进一步确定不同图像中相同对象的轨迹信息，则对第一矩形框进行特征提取，得到第一目标特征。例如，当跟踪类别为行人识别，则第一目标特征可以包括跟踪目标的体态特征、穿着特征、姿态特征等，从而可以将同一目标在各个不同摄像头出现的视频段关联起来，然后形成轨迹。

请参阅图4，图4是本申请一些实施例的步骤S130的一个可选的流程图。在本申请的一些实施例中，步骤S130具体可以包括但不限于步骤S410至步骤S430，下面结合图4对这三个步骤进行详细介绍。

步骤S410，根据第一采集图像和第一矩形框进行区域提取，得到矩形框区域图像；

步骤S420，根据预设图像尺寸对矩形框区域图像进行图像变换，得到目标区域图像；

步骤S430，将目标区域图像输入预先训练的重识别模型进行特征提取，得到第一目标特征。

在一些实施例的步骤S410至步骤S430中，根据第一采集图像和第一矩形框进行区域提取，得到矩形框区域图像。由于当无人机飞行在一定高度时，图像影幅变大，分辨率和清晰度变低，地面上的待跟踪目标尺度变得很小，目标特征和纹理变得稀少，使得目标特征提取困难，特征表示不显著，导致目标检测和跟踪难度变大。因此，本申请实施例将根据预设图像尺寸对矩形框区域图像进行图像变换，即将矩形框区域图像调整成合适的比例得到目标区域图像。之后，将目标区域图像输入预先训练的重识别模型进行特征提取，得到第一目标特征。其中，该重识别模型可以根据跟踪任务的不同进行不同类别重识别模型训练，且本申请的重识别模型可以基于行人重识别(Fast Person re-identification，fast-ReID)模型、TransReID模型(即使用基于Transformer编码器和解码器来实现行人重识别)等任一模型进行改进构建。

在一些实施例的步骤S140中，由于本申请实施例在实际应用中可以对航拍采集的视频帧进行目标跟踪，如车辆跟踪等，并根据跟踪目标在图像中的位置转换成实际物理位置。由于当前图像中的跟踪目标可能出现在之前的图像，则为了更准确地模型跟踪目标的运行轨迹，获取之前检测的历史目标的历史跟踪轨道数据。然后，当历史跟踪轨道数据对应的轨道状态为激活状态，则根据历史跟踪轨道数据对历史目标进行目标跟踪预测，得到预测跟踪轨道数据。

需要说明的是，轨道状态包括激活状态和未激活状态。未激活状态是指仅保存了一帧的跟踪目标的跟踪轨道数据，因为其只记录了一帧跟踪目标的位置信息，则无法利用卡尔曼滤波预测该跟踪目标在下一帧的位置。因此，激活状态是指记录了超过一帧跟踪目标位置信息的跟踪轨道，其可以利用卡尔曼滤波预测跟踪目标在下一帧的位置。

本申请实施例根据预设图像尺寸对矩形框区域图像进行图像变换，并基于重识别模型对变换后的图像进行特征提取，能够提取到特征纹理更多的特征信息。

请参阅图5，图5是本申请实施例提供的步骤S140的一个可选的流程图。在本申请的一些实施例中，步骤S140具体可以包括但不限于步骤S510至步骤S550，下面结合图5对这五个步骤进行详细介绍。

步骤S510，获取第二采集图像，第一采集图像和第二采集图像来自同一视频段，且第二采集图像在第一采集图像之前；

步骤S520，将第二采集图像输入目标检测模型进行目标检测，得到第二候选目标和第二候选目标对应的第二候选检测数据，第二候选检测数据包括第二置信度、第二候选目标的矩形框和矩形框的角度数据；

步骤S530，根据预设置信度阈值和第二置信度从第二候选目标中筛选出历史目标，并将历史目标对应的矩形框作为第二矩形框，将第二矩形框对应的角度数据作为第二角度数据；

步骤S540，对第二矩形框对应的区域进行特征提取，得到第二目标特征；

步骤S550，根据第二矩形框、第二角度数据和第二目标特征构建历史目标的历史跟踪轨道数据。

在一些实施例的步骤S510至步骤S520中，第二采集图像的采集方式和上述第一采集图像的采集方式相同，在此不再赘述。第二采集图像可以为同一视频段中第一采集图像的前一帧图像，也可以为输入的图像文件中与第一采集图像相邻的前一采集图像。将第二采集图像输入预先训练的目标检测模型进行目标检测，得到第二候选目标和第二候选目标对应的第二候选检测数据，第二候选检测数据包括第二置信度、第二候选目标的矩形框和矩形框的角度数据。第二候选检测数据中的具体内容和第一候选检测数据的内容相同，在此不再赘述。

在一些实施例的步骤S530至步骤S540中，为了减少无关物体目标对跟踪目标的影响，对图像进行目标检测后得到的候选目标，采用置信度阈值筛选，即将第二置信度大于或等于预设置信度阈值的第二候选目标作为历史目标。并将该历史目标对应的矩形框作为第二矩形框，将第二矩形框对应的角度数据作为第二角度数据。然后，对第二矩形框对应的区域进行特征提取，得到第二目标特征。其中，对第二目标特征的提取方式与第一目标特征的提取方式相同，在此不再赘述。

在一些实施例的步骤S550中，根据第二矩形框获取历史目标对应的区域位置信息和第二矩形框的宽高比信息，然后，根据历史目标对应的区域位置信息、第二矩形框的宽高比信息、第二角度数据和第二目标特征构建历史目标的历史跟踪轨道数据。并且，若历史目标对应的跟踪轨道数据为只基于当前帧图像创建的轨道数据，则该历史跟踪轨道数据的轨道状态为未激活状态；若历史目标对应的跟踪轨道数据为包含基于之前的帧图像当前帧图像创建的轨道数据，则该历史跟踪轨道数据的轨道状态为激活状态。

需要说明的是，跟踪轨道数据是指跟踪目标的模拟运行轨迹数据，该跟踪轨道数据会在每一帧中进行卡尔曼滤波更新，并持续预测该跟踪目标在当前帧的位置。

需要说明的是，每个跟踪轨道数据为一个跟踪列表，且该跟踪列表中包括多个跟踪单元，每个跟踪单元包含对应的跟踪目标的序号(跟踪I D)、跟踪目标对应的矩形框的中心点x、y坐标(即锚框的中心点坐标)、矩形框的宽、高、宽高比、角度数据和目标特征的值。一个跟踪轨道数据对应一个目标。其中，宽高比是目标对应的矩形框的尺寸信息，即目标检测算法推理矩形框的宽除以高。

在一些实施例的步骤S150中，根据第一目标特征、第一矩形框、第一角度数据和预测跟踪轨道数据确定目标跟踪轨道数据，并根据目标跟踪轨道数据从历史目标中匹配得到候选目标。

需要说明的是，本申请实施例还包括读取无人机两帧之间的定位数据(如全球定位系统(Global Positioning System，GPS)的定位数据)、采集高度数据、航拍角度数据，以根据定位数据、采集高度数据、航拍角度数据计算两帧图像静态物体像素差，从而优化矫正第一采集图像中的跟踪目标的位置。

请参阅图6，图6是本申请一些实施例的步骤S150的一个可选的流程图。在本申请的一些实施例中，预测跟踪轨道数据包括目标预测特征、预测矩形框，则步骤S150具体可以包括但不限于步骤S610至步骤S660，下面结合图6对这六个步骤进行详细介绍。

步骤S610，根据目标预测特征和第一目标特征进行特征距离计算，得到特征差异数据；

步骤S620，根据预设重叠损失函数对预测矩形框和第一矩形框进行损失计算，得到第一坐标损失数据；

步骤S630，根据预设旋转重叠损失函数对预测矩形框和第一矩形框进行损失计算，得到第二坐标损失数据；

步骤S640，根据预测矩形框和第一矩形框进行损失计算，得到边框损失数据；

步骤S650，根据特征差异数据、第一坐标损失数据、第二坐标损失数据和边框损失数据确定目标跟踪损失数据；

步骤S660，根据匈牙利算法、第一角度数据和目标跟踪损失数据对预测跟踪轨道数据进行数据更新，得到目标跟踪轨道数据。

在一些实施例的步骤S610至步骤S660中，预测跟踪轨道数据用于表示基于历史目标对应的跟踪轨道数据预测的轨道数据。具体地，根据目标预测特征和第一目标特征进行特征距离计算，得到特征差异数据，记为D1。根据预设重叠损失函数对预测矩形框和第一矩形框进行损失计算，得到第一坐标损失数据。其中，该预设重叠损失函数可以为IOU函数，则第一坐标损失数据记为D2。然后，根据预设旋转重叠损失函数对预测矩形框和第一矩形框进行损失计算，得到第二坐标损失数据。其中，该预设旋转重叠损失函数可以为IOU函数，则第二坐标损失数据记为D3。根据预测矩形框的宽高比和第一矩形框的宽高比进行损失计算，得到边框损失数据，记为D4。因此，根据特征差异数据D1、第一坐标损失数据D2、第二坐标损失数据D3和边框损失数据D4确定目标跟踪损失数据。之后，根据匈牙利算法、第一角度数据和目标跟踪损失数据对预测跟踪轨道数据进行数据更新，得到目标跟踪轨道数据。因此，该目标跟踪轨道数据包括跟踪目标的矩形框的中心坐标、矩形框宽高比数据、角度数据、目标特征。

本申请实施例使用匈牙利算法对跟踪目标和历史目标进行匹配，当前视频帧中匹配到的候选目标的目标检测框去更新卡尔曼滤波器，以对跟踪轨道数据进行状态更新，并将状态更新值输出，作为当前第一采集图像中跟踪对象的跟踪框。对于当前视频采集图像中没有匹配到候选目标的跟踪目标，则基于跟踪目标的第一角度数据、第一目标特征、第一矩形框的中心坐标数据、矩形框宽高比等构建新的跟踪轨道数据。

请参阅图7，图7是本申请一些实施例的步骤S650的一个可选的流程图。在本申请的一些实施例中，步骤S650具体可以包括但不限于步骤S710至步骤S730，下面结合图7对这三个步骤进行详细介绍。

步骤S710，根据特征差异数据、第一坐标损失数据和边框损失数据进行损失计算，确定第一目标损失数据；

步骤S720，根据特征差异数据、第二坐标损失数据和边框损失数据进行损失计算，确定第二目标损失数据；

步骤S730，根据第一目标损失数据和第二目标损失数据进行数值比较，确定目标跟踪损失数据。

在一些实施例的步骤S710至步骤S720中，参见如下公式(2)所示，根据特征差异数据D1、第一坐标损失数据D2和边框损失数据D4进行损失计算，确定第一目标损失数据A1。参见如下公式(3)所示，根据特征差异数据D1、第二坐标损失数据D3和边框损失数据D4进行损失计算，确定第二目标损失数据A2。

A1＝1-(1-D4*D2*D1)0.(2)

A2＝1-(1-D4*D3*D1)0.(3)。

其中，(1-D4*D2*D1)0.为第一目标损失数据A1为基于IOU函数的匹配度，则第一目标损失数据A1为基于IOU函数的差异度。(1-D4*D3*D100.为第一目标损失数据A1为基于IOU函数的匹配度，则第二目标损失数据A2为基于IOU函数的差异度。

在一些实施例的步骤S730中，对第一目标损失数据和第二目标损失数据进行数值比较，将数值较小的数据作为目标跟踪损失数据。之后，根据匈牙利算法处理目标跟踪损失数据,以根据目标跟踪损失数据实现跟踪目标的I D匹配，并根据第一角度数据更新预测跟踪轨道数据的特征值，得到目标跟踪轨道数据。并且，对于无法匹配上的目标则创建新跟踪轨道。

由于对于高速移动的跟踪目标，其两帧之前的位置移动较大，容易出现IOU为0的情况，导致后续无法实现目标I D匹配，本申请实施例通过引入IOU函数和KFIOU函数进行目标匹配,通过引入多的I D匹配机制。并且，本申请实施例的目标损失数据包含了跟踪目标与与预测跟踪轨道数据的特征值差异(外观特征)、坐标位置差异、宽高比差异、KI oU、I OU差异等信息，即使用多种差异信息来作为判断跟踪目标与轨道数据匹配的综合判断标准，能够有效提高对多目标跟踪的识别度和精确度。

需要说明的是,本申请实施例通过匈牙利算法对上述匹配度进行数据关联匹配，构建出数据关联矩阵寻找前后两帧的若干目标的匹配最优解，在最优解下匹配度大于设定阈值的目标与轨道进行匹配，得出最终的目标跟踪结果。

在一些实施例的步骤S160中，根据候选目标和目标跟踪轨道数据更新历史跟踪轨道数据，以重复执行上述的步骤，从而实现在视频段或图像文件中每一采集图像中的多目标跟踪，最终输出每帧图像中各个跟踪目标的目标跟踪结果。其中,本申请实施例输出是目标跟踪结果为每帧图像中所跟踪到的目标的ID以及其在图像中的矩形框信息。

示例性的，请参阅图8，图8是本申请实施例提供的多目标跟踪方法的流程示意图。当对无人机采集的图像进行多目标跟踪时，首先，将采集的航拍图像(即本申请的第一采集图像)输入目标检测模型，将目标检测模型输出的矩形框信息通过重识别模型进行特征提取,得到目标特征。然后，将目标检测模型检测的矩形框信息和目标特征输入目标匹配模块,并根据目标匹配模块输出目标跟踪结果。该目标匹配模块中包括匹配度计算、差异度计算、匈牙利算法，通过跟踪匹配得到候选目标和对应的目标跟踪轨道数据。当跟踪目标未匹配到跟踪轨道，创建跟踪轨道，并根据后续匹配的目标更新轨道数据。

本申请实施例提供的多目标跟踪方法，通过采用新构建的目标检测模型对采集图像进行目标检测，轻量化的同时也能保持较高的准确率。在进行目标跟踪时，本申请实施例可以根据无人机GPS、高度、航拍角度数据，修正了图像目标的相对位置，减少了因无人机速度和角度变化导致的图像目标移动过大的问题，从而实现在进行跟踪目标ID匹配时可以提高对多目标跟踪的识别度和精确度。本申请实施例通过引入KFIOU、目标图像特征距离匹配、宽高比和旋转角度差融合计算，优化了跟踪ID匹配效果，且本申请结合KFIOU的多目标跟踪方法可在目标高速移动(如高速路上的汽车)，且两帧目标IOU为0时也能根据距离系数进行匹配。因此，本申请的多目标跟踪方法能够有效避免产生跟踪漂移和丢失的情况，提高了对多目标跟踪的精确度。

请参阅图9，图9是本申请实施例提供的多目标跟踪系统的一个结构示意图。在本申请的一些实施例中，该系统包括图像获取模块910、目标检测模块920、特征提取模块930、跟踪预测模块940、目标匹配模块950和结果输出模块960。

图像获取模块910，用于获取待跟踪的第一采集图像；

目标检测模块920，用于对第一采集图像进行目标检测，得到跟踪目标、跟踪目标在第一采集图像中的第一矩形框和第一矩形框的第一角度数据；

特征提取模块930，用于对第一矩形框对应的区域进行特征提取，得到第一目标特征；

跟踪预测模块940，用于获取历史目标的历史跟踪轨道数据，根据历史跟踪轨道数据对历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

目标匹配模块950，用于根据第一目标特征、第一矩形框、第一角度数据和预测跟踪轨道数据确定目标跟踪轨道数据，并根据目标跟踪轨道数据从历史目标中匹配得到候选目标；

结果输出模块960，用于根据候选目标和目标跟踪轨道数据更新历史跟踪轨道数据，并根据目标跟踪轨道数据输出第一采集图像中跟踪目标对应的目标跟踪结果。

需要说明的是，本申请实施例的多目标跟踪系统用于实现上述多目标跟踪方法，本申请实施例的多目标跟踪系统与前述的多目标跟踪方法相对应，具体的处理过程请参照前述的多目标跟踪方法，在此不再赘述。

本申请实施例还提供了一种计算机设备，该计算机设备包括：至少一个存储器，至少一个处理器，至少一个计算机程序，至少一个计算机程序被存储在至少一个存储器中，至少一个处理器执行至少一个计算机程序以实现上述实施例中任一种的多目标跟踪方法。该计算机设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图10，图10示意了另一实施例的一种计算机设备的硬件结构，该计算机设备包括：

处理器1010，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器1020，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行本申请实施例的多目标跟踪方法；

输入/输出接口1030，用于实现信息输入及输出；

通信接口1040，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线1050，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息；

其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，该存储介质为计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序用于使计算机执行上述实施例中任一种的多目标跟踪方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参阅附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法包括：

获取待跟踪的第一采集图像；

对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据；

对所述第一矩形框对应的区域进行特征提取，得到第一目标特征；

获取历史目标的历史跟踪轨道数据，根据所述历史跟踪轨道数据对所述历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，并根据所述目标跟踪轨道数据从所述历史目标中匹配得到候选目标；

根据所述候选目标和所述目标跟踪轨道数据更新所述历史跟踪轨道数据，并根据所述目标跟踪轨道数据输出所述跟踪目标对应的目标跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据，包括：

将所述第一采集图像输入预先训练的目标检测模型进行目标检测，得到第一候选目标和所述第一候选目标对应的第一候选检测数据，所述第一候选检测数据包括第一置信度、所述第一候选目标对应的矩形框和所述矩形框的角度数据；

根据预设置信度阈值和所述第一置信度从所述第一候选目标中筛选出所述跟踪目标，将所述跟踪目标对应的矩形框作为所述第一矩形框，将所述第一矩形框对应的角度数据作为第一角度数据。

3.根据权利要求2所述的方法，其特征在于，在所述将所述第一采集图像输入预先训练的目标检测模型进行目标检测，得到第一候选目标和所述第一候选目标对应的第一候选检测数据之前，所述方法还包括：

构建所述目标检测模型，具体包括：

获取训练样本，所述训练样本包括样本图像、所述样本图像中的样本目标和所述样本目标对应的样本数据，所述样本数据包括样本目标类别、样本目标置信度、样本目标矩形框、样本目标角度；

将所述样本图像输入初始检测模型进行目标检测，得到样本检测目标和所述样本检测目标的样本检测数据，所述样本检测数据包括样本检测目标类别、样本检测目标置信度、样本检测目标矩形框、样本检测目标角度；

根据所述样本检测目标类别和所述样本目标类别进行损失计算，得到类别损失数据；

根据所述样本目标置信度和所述样本检测目标置信度进行损失计算，得到置信度损失数据；

根据所述样本目标矩形框和所述样本检测目标矩形框进行损失计算，得到边框损失数据；

根据所述样本目标角度和所述样本检测目标角度进行损失计算，得到角度损失数据；

根据所述类别损失数据、所述置信度损失数据、所述边框损失数据和所述角度损失数据确定样本目标损失数据；

根据所述样本目标损失数据对所述初始检测模型进行参数调整，得到所述目标检测模型。

4.根据权利要求3所述的方法，其特征在于，所述获取历史目标的历史跟踪轨道数据，包括：

获取第二采集图像，所述第一采集图像和所述第二采集图像来自同一视频段，且所述第二采集图像在所述第一采集图像之前；

将所述第二采集图像输入所述目标检测模型进行目标检测，得到第二候选目标和所述第二候选目标对应的第二候选检测数据，所述第二候选检测数据包括第二置信度、所述第二候选目标的矩形框和所述矩形框的角度数据；

根据所述预设置信度阈值和所述第二置信度从所述第二候选目标中筛选出所述历史目标，并将所述历史目标对应的矩形框作为第二矩形框，将所述第二矩形框对应的角度数据作为第二角度数据；

对所述第二矩形框对应的区域进行特征提取，得到第二目标特征；

根据所述第二矩形框、所述第二角度数据和所述第二目标特征构建所述历史目标的所述历史跟踪轨道数据。

5.根据权利要求1所述的方法，其特征在于，所述预测跟踪轨道数据包括目标预测特征、预测矩形框，所述根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，包括：

根据所述目标预测特征和所述第一目标特征进行特征距离计算，得到特征差异数据；

根据预设重叠损失函数对所述预测矩形框和所述第一矩形框进行损失计算，得到第一坐标损失数据；

根据预设旋转重叠损失函数对所述预测矩形框和所述第一矩形框进行损失计算，得到第二坐标损失数据；

根据所述预测矩形框和所述第一矩形框进行损失计算，得到边框损失数据；

根据所述特征差异数据、所述第一坐标损失数据、所述第二坐标损失数据和所述边框损失数据确定目标跟踪损失数据；

根据匈牙利算法、所述第一角度数据和所述目标跟踪损失数据对所述预测跟踪轨道数据进行数据更新，得到所述目标跟踪轨道数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述特征差异数据、所述第一坐标损失数据、所述第二坐标损失数据和所述边框损失数据确定目标跟踪损失数据，包括：

根据所述特征差异数据、所述第一坐标损失数据和所述边框损失数据进行损失计算，确定第一目标损失数据；

根据所述特征差异数据、所述第二坐标损失数据和所述边框损失数据进行损失计算，确定第二目标损失数据；

根据所述第一目标损失数据和所述第二目标损失数据进行数值比较，确定目标跟踪损失数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述第一矩形框对应的区域进行特征提取，得到第一目标特征，包括：

根据所述第一采集图像和所述第一矩形框进行区域提取，得到矩形框区域图像；

根据预设图像尺寸对所述矩形框区域图像进行图像变换，得到目标区域图像；

将所述目标区域图像输入预先训练的重识别模型进行特征提取，得到所述第一目标特征。

8.一种多目标跟踪系统，其特征在于，所述系统包括：

图像获取模块，用于获取待跟踪的第一采集图像；

目标检测模块，用于对所述第一采集图像进行目标检测，得到跟踪目标、所述跟踪目标在所述第一采集图像中的第一矩形框和所述第一矩形框的第一角度数据；

特征提取模块，用于对所述第一矩形框对应的区域进行特征提取，得到第一目标特征；

跟踪预测模块，用于获取历史目标的历史跟踪轨道数据，根据所述历史跟踪轨道数据对所述历史目标进行目标跟踪预测，得到预测跟踪轨道数据；

目标匹配模块，用于根据所述第一目标特征、所述第一矩形框、所述第一角度数据和所述预测跟踪轨道数据确定目标跟踪轨道数据，并根据所述目标跟踪轨道数据从所述历史目标中匹配得到候选目标；

结果输出模块，用于根据所述候选目标和所述目标跟踪轨道数据更新所述历史跟踪轨道数据，并根据所述目标跟踪轨道数据输出所述跟踪目标对应的目标跟踪结果。

9.一种计算机设备，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个计算机程序；

所述至少一个计算机程序被存储在所述至少一个存储器中，所述至少一个处理器执行所述至少一个计算机程序以实现：

如权利要求1至7中任一项所述的方法。

10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行：

如权利要求1至7中任一项所述的方法。