CN112767443A - 目标跟踪方法、电子设备及相关产品 - Google Patents

目标跟踪方法、电子设备及相关产品 Download PDF

Info

Publication number
CN112767443A
CN112767443A CN202110065206.2A CN202110065206A CN112767443A CN 112767443 A CN112767443 A CN 112767443A CN 202110065206 A CN202110065206 A CN 202110065206A CN 112767443 A CN112767443 A CN 112767443A
Authority
CN
China
Prior art keywords
target
tracking
image
feature
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110065206.2A
Other languages
English (en)
Inventor
禹世杰
吴伟华
程小磊
曾儿孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY CO LTD
Original Assignee
SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY CO LTD filed Critical SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority to CN202110065206.2A priority Critical patent/CN112767443A/zh
Publication of CN112767443A publication Critical patent/CN112767443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种目标跟踪方法、电子设备及相关产品，应用于电子设备，电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，方法包括：获取视频序列中的第i帧图像和第i‑1帧图像的热力图，将第i帧图像和第i‑1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数；依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标。采用本申请实施例可以提升目标跟踪精度。

Description

目标跟踪方法、电子设备及相关产品
技术领域
本申请涉及图像处理技术领域，具体涉及一种目标跟踪方法、电子设备及相关产品。
背景技术
现有技术中，视觉目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的检测任务。根据跟踪目标的数量可以将跟踪算法分为单目标跟踪与多目标跟踪。相比单目标跟踪而言，多目标跟踪问题更加复杂和困难。多目标跟踪问题需要考虑视频序列中多个独立目标的位置、大小等数据，多个目标各自外观的变化、不同的运动方式、动态光照的影响以及多个目标之间相互遮挡、合并与分离等情况均是多目标跟踪问题中的难点。因此，如何提升多目标跟踪的跟踪精度的问题亟待解决。
发明内容
本申请实施例提供了一种目标跟踪方法及相关产品，能够提升目标跟踪效率。
第一方面，本申请实施例提供一种目标跟踪方法，应用于电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，所述方法包括：
获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
第二方面，本申请实施例提供一种目标跟踪装置，应用于电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，所述装置包括：检测单元、确定单元和跟踪单元，其中，
所述检测单元，用于获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
所述确定单元，用于依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
所述跟踪单元，用于将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的目标跟踪方法、电子设备及相关产品，应用于电子设备，电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，获取视频序列中的第i帧图像和第i-1帧图像的热力图，将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数，依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例提供的一种目标跟踪方法的流程示意图；
图1C是本申请实施例提供的检测网络的演示示意图；
图1D是本申请实施例提供的跟踪网络的演示示意图；
图2是本申请实施例提供的另一种目标跟踪方法的流程示意图；
图3是本申请实施例提供的另一种电子设备的结构示意图；
图4是本申请实施例提供的一种目标跟踪装置的功能单元组成框图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是在一个可能地示例中还包括没有列出的步骤或单元，或在一个可能地示例中还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例所涉及到的电子设备可以是包括各种图像处理信功能的手持设备、智能机器人、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminal device)等等，电子设备还可以为服务器或者智能家居设备。
本申请实施例中，智能家居设备可以为以下至少一种：冰箱、洗衣机、电饭煲、智能窗帘、智能灯、智能床、智能垃圾桶、微波炉、烤箱、蒸箱、空调、油烟机、服务器、智能门、智能窗户、窗门衣柜、智能音箱、智能家居、智能椅、智能晾衣架、智能淋浴、饮水机、净水器、空气净化器、门铃、监控系统、智能车库、电视机、投影仪、智能餐桌、智能沙发、按摩椅、跑步机等等，当然，还可以包括其他设备。
如图1A所示，图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像头、传感器和网络模块等等。其中，存储器、信号处理器DSP、扬声器、麦克风、RAM、摄像头、传感器、网络模块与处理器连接，收发器与信号处理器连接。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控，处理器可以为中央处理器(Central Processing Unit/Processor，CPU)、图形处理器(GraphicsProcessing Unit，GPU)或者网络处理器(Neural-network Processing Unit，NPU)。
进一步地，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及目标跟踪。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、振动检测传感器，压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，该摄像头可以是可见光摄像头(一般视角摄像头、广角摄像头)、也可以是红外摄像头，还可以为双摄像头(具备测距功能)，在此不作限定。
网络模块可以为以下至少一种：蓝牙模块、无线保真(wireless fidelity，Wi-Fi)等等，在此不做限定。
基于上述图1A所描述的电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，能够执行如下目标跟踪方法，具体步骤如下：
获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
可以看出，本申请实施例中所描述的电子设备，该电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，获取视频序列中的第i帧图像和第i-1帧图像的热力图，将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数，依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
请参阅图1B，图1B是本申请实施例提供的一种目标跟踪方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，本目标跟踪方法包括：
101、获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数。
其中，本申请实施例中，视频序列可以为由一个或者多个摄像头拍摄的视频图像。视频序列可以为一段时间内的连续图像。电子设备可以包括目标跟踪系统，该目标跟踪系统包括检测网络和跟踪网络，检测网络用于目标检测和轨迹检测，跟踪网络用于基于目标检测的结果和轨迹跟踪的结果进行目标识标记以及目标分类。检测网络的输出层由于增加了对应目标reid特征向量层、前后帧目标位置增量层，合并了检测网络、目标重识别网络、跟踪网络，成为一个网络，提升了检测网络的检测能力。本申请实施例中，目标可以为以下至少一种：人脸、人体、车牌、车牌或者其他移动物体等等，在此不作限定。reid特征向量也可以称为reid特征向量图。
具体实现中，电子设备可以获取视频序列中的第i帧图像和第i-1帧图像的热力图，并将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数。
可选地，上述步骤101，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，可以包括如下步骤：
11、将所述第i帧图像先后经过卷积层、BN层和激活层进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，所述第i帧图像的置信度特征图还用于优化所述位置特征图，以及所述位置特征图还用于优化所述reid特征向量，所述reid特征向量由CosFace损失函数得到，该reid特征向量的map均为0～1之间的随机值；
12、将所述第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与所述提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定所述位置增量特征图，所述位置特征图在反向传播过程中反过来优化所述位置增量特征图，所述位置增量特征图由Softmax损失函数得到，且训练时初始化位置增量的map全为0。
具体实现中，如图1C所示，电子设备可以将第i帧图像先后经过卷积层、归一化(Batchnorm，BN)层和激活层(Sigmoid)进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定第i帧图像的置信度特征图、位置特征图和reid特征向量，再将第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定位置增量特征图。行人重识别(Person Re-identification也称行人再识别，简称为ReID。训练位置增量特征图输出时，可以对训练数据进行数据增强，模拟各种运动现象，还可以初始化目标增量map全为1。在主干的网络层添加一个分支，连接一个卷积层，输出特征值，采用Softmax损失函数优化增量特征图。训练re-id特征向量时，初始化目标re-id全为1，在主干网络层之后添加一个分支，连接一个卷积层，输出特征值，采用CosFace损失函数优化re-id特征向量。第i帧图像的置信度特征图还用于优化位置特征图，以及位置特征图还用于优化reid特征向量，相当于能够使用第i帧图像的置信度特征图来指导位置特征图的生成，有助于提升位置特征图的精度，再通过位置特征图优化reid特征向量能够提升reid生成精度，有助于提升后续目标跟踪精度。位置特征图在反向传播过程中反过来优化位置增量特征图，从而，使位置特征图和位置增量特征图表示相互增强，能够提升两者的精度，有助于提升目标捕捉精度。
具体实现中，当输入视频序列的第一帧图像时，可以将其对应的热力图初始化为0，输入到检测网络中，可以输出目标信息和置信度特征图，目标信息可以为以下至少一种：目标位置、目标像素值、目标类型等等，在此不作限定。根据目标信息，渲染出热力图。进一步地，当输入第二帧图像及其以后图像时，输入当前帧图像和上帧目标热力图，当前帧图像进行卷积、BN、激活层运算，再经过主干网络提取特征，其提取的特征经过卷积层、BN层以及激活层运算，分别输出置信图特征图、位置特征图、reid特征向量图；上帧目标热力图经过卷积、BN层和主干网络输出的信息卷积，再经过卷积、BN层以及激活层运算，得到位置增量特征图。上述主干网络可以是残差网络，或者DLA网络。
可选地，上述步骤11中，在将第一中间结果输入到主干网络进行特征提取之后，以及利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，还可以包括如下步骤：
S1、将特征提取后的特征图进行全局特征提取，得到全局特征；
S2、对所述特征图进行局部区域检测，得到感兴趣区域；
S3、将所述全局特征划分为S×S个网格，S为大于1的整数；
S4、将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
S5、将所述全局特征和所述局部特征进行聚合操作，得到提取到的特征。
其中，具体实现中，电子设备可以特征提取后的特征图进行全局特征提取，得到全局特征，以及对特征图进行局部特征提取，得到局部特征，再将全局特征和局部特征进行聚合操作，得到查询图像特征。
具体地，整个特征提取网络可以由两个模块组成，一个是全局特征提取模块，用于提取最显著的全局表示，另一个是局部特征提取模块，用于提取特定区域的细节特征。其中，局部特征由全局特征引出，在反向传播过程中局部特征反过来会优化全局特征表示，从而，使全局特征和局部区域特征表示相互增强。最后，将提取的全局特征和和局部特征进行特征聚合，得到最终包含全局特征和局部区域特征。
进一步地，特征图可以经过局部区域检测，得到目标的特定感兴趣区域ROI(以人为例，可以为眉毛、嘴唇、鼻梁等等)，再将生成的ROI投影到全局特征，设全局特征的的空间大小为S×S，S为大于1的整数，将特征图划分为S×S网格，与ROI重叠的每个网格单元都将被标记为与ROI对应的部分，然后使用局部平均池化提取每个ROI投影区域的局部特征向量，得到局部特征。
可选地，电子设备可以通过第二特征提取网络将特征提取后的特征图进行全局特征提取，得到全局特征，在步骤101之前，还可以包括如下步骤：
X1、通过所述可变自动编码器模块对训练数据进重建处理，得到重建图像；
X2、通过所述训练数据和所述重建图像确定残差图像；
X3、根据所述重建图像和所述残差图像确定组合图像；
X4、通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
X5、通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
其中，预设损失函数可以预先设置或者系统默认，例如，预设损失函数可以为三元组损失函数。具体实现中，电子设备可以通过可变自动编码器模块VAE对训练数据进重建处理，得到重建图像，还可以进一步确定通过训练数据和重建图像确定残差图像，以及根据重建图像和残差图像确定组合图像，深度特征提取模块的主干网络可以为ResNet-50主干。再通过深度特征提取模块对组合图像进行特征提取，得到训练特征，最后通过训练特征和预设损失函数调整第一特征提取网络的模型参数，得到第二特征提取网络。
本申请实施例中，特征提取网络可以由两个模块组成：自监督残差生成模块和深度特征提取。具体实现中，输入图像可以通过基于VAE的重建模块传递，以移除特定的细节，接下来，从输入图像中减去重建图像，以形成包含特定细节的残差图像。随后，计算输入和残差的凸组合(具有可训练的参数α)，并将其通过re-id主干进行深度特征提取。整个网络通过三元组和交叉熵损失进行训练，并通过批归一化层(BN Neck)进行分隔。
进一步地，可选地，上述步骤X3，根据所述重建图像和所述残差图像确定组合图像，可以包括如下步骤：
X31、确定所述重建图像的第一特征点分布密度；
X32、确定所述训练数据i的第二特征点分布密度；
X33、确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
X34、将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
X35、依据所述多个特征点分布密度确定目标均方差；
X36、按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
X37、依据所述目标微调系数对所述比值进行微调，得到凸参数；
X38、根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
具体实现中，电子设备可以确定重建图像的第一特征点分布密度，具体地，可以确定重建图像的特征点总数，以及图像面积，将特征点总数与图像面积之间的比值作为特征点分布密度。同理，电子设备还可以确定训练数据i的第二特征点分布密度，进而确定第一特征点分布密度和第二特征点分布密度之间的比值，比值＝第一特征点分布密度/第二特征点分布密度。
进一步地，还可以将重建图像划分为多个区域，确定多个区域中每一特征点分布密度，得到多个特征点分布密度，以及依据多个特征点分布密度确定目标均方差，均方差反映了区域之间的关联性，即反映了图像邻域与邻域之间的变化差异，电子设备中还可以预先存储预设的均方差与微调系数之间的映射关系，进而，可以按照预设的均方差与微调系数之间的映射关系，确定目标均方差对应的目标微调系数，再依据目标微调系数对比值进行微调，得到凸参数α，具体计算公式如下：
凸参数＝(1+目标微调系数)*比值
最后，电子设备可以根据凸参数、重建图像和残差图像确定组合图像，即组合图像＝凸参数*重建图像+残差图像。
102、依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹。
其中，上述步骤102可以在检测网络中实现，也可以单独实现，通过检测网络中不仅可以得到第i帧图像的置信度特征图、位置特征图，还可以得到位置增量特征图和reid特征向量，有助于提升运算速度，提升实时处理能力。
可选地，上述步骤102，依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，可以包括如下步骤：
21、根据所述置信度特征图中的每个点的得分值，选取处于预设范围的目标得分值，依据所述得分值确定所述第i帧图像的目标信息，所述目标信息包括所述第i帧图像中所述目标得分值对应的目标位置和reid特征；
22、根据所述目标位置和所述位置增量特征图预估所述第i帧的下一帧的跟踪位置；
23、获取第i-1帧的参考跟踪轨迹，并依据所述跟踪位置更新所述参考跟踪轨迹，得到所述目标跟踪轨迹。
具体实现中，上述预设范围可以由用户自行设置或者系统默认。电子设备可以根据置信度特征图中每一个点的得分值大小，输出处于预设范围的目标得分值，进而依据得分值确定第i帧图像的目标信息，由于得分值对应像素点的位置，还可以基于该位置确定其对应的reid特征，目标信息可以包括第i帧图像中目标得分值对应的目标位置和reid特征。进一步地，电子设备可以根据当前目标位置和位置增量特征图，预估下一帧跟踪位置。以前一帧得到的目标信息、预估下一帧跟踪位置来初始化目标跟踪轨迹。目标跟踪轨迹可以包括目标在所有帧中的位置序列、reid特征和预估计的跟踪位置。即电子设备可以获取第i-1帧的参考跟踪轨迹，并依据跟踪位置更新参考跟踪轨迹，得到目标跟踪轨迹，如此，可以实现轨迹更新。
103、将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
其中，本申请实施例中，电子设备可以采用端到端的目标跟踪网络，将相似度计算、数据关联合成一个网络。
具体实现中，基于上述本申请实施例，可以将当前帧图像和上帧目标热力图输入到检测网络，并输出当前帧置信度特征图、位置特征图、位置增量特征图、reid特征向量图。多目标检测信息和多目标跟踪轨迹输入到跟踪网络，输出最佳匹配矩阵，进而，得到跟踪结果，并且可以展示该跟踪结果。
可选地，上述步骤103，将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标，可以包括如下步骤：
31、根据所述目标信息和所述目标跟踪轨迹通过所述跟踪网络以实现当前帧所有目标与所有跟踪通道目标进行行数据关联，以确定距离矩阵；
32、依据所述距离矩阵进行系列操作，得到所述最佳分配矩阵，所述系列操作包括：行展开、卷积运算、列展开、卷积运算、FC层、Sigmoid层。
具体实现中，电子设备可以根据目标信息和目标跟踪轨迹通过跟踪网络以实现当前帧所有目标与所有跟踪通道目标进行行数据关联，能够实现多对多，即多个目标对应多个跟踪通道目标，以确定距离矩阵，进而，依据距离矩阵进行系列操作，得到最佳分配矩阵，所述系列操作包括：行展开、卷积运算、列展开、卷积运算、全连接(FC)层、Sigmoid层，最佳分配矩阵里面的数值代表着检测目标属于哪一个跟踪目标
具体地，如图1D所示，电子设备从第二帧图像开始，将目标信息(例如，目标位置、reid特征)和目标跟踪轨迹输入到跟踪网络，计算当前帧多目标检测和多目标跟踪通道轨迹的距离矩阵，然后按行展平，进行卷积，再按列展平，进行卷积，经过FC层、Sigmoid层输出最佳分配矩阵。
进一步地，可选地，在步骤101，获取视频序列中的第i帧图像和第i-1帧图像的热力图之前，还可以包括如下步骤：
A1、获取样本图像，所述样本图像包括目标区域和背景区域；
A2、对所述目标区域进行增强，得到多个目标图像，基于所述多个目标图像训练所述检测网络，所述增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。
具体实现中，训练检测网络时，目标在连续帧中运动，可以看成同一个目标进行了多次不同的数据增强，所以，可以用静态图像进行训练。对静态目标数据增强，数据增强包括缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换等，模拟目标运动现象。再选一个背景图像，对目标进行旋转、光学扰动、高斯噪声，然后贴在背景图像的不同位置，来模拟行人、车辆等目标运动现象。即电子设备可以获取样本图像，该样本图像包括目标区域和背景区域，还可以对目标区域进行增强，得到多个目标图像，增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。静态的检测训练数据集可以通过数据增强生成运动的跟踪训练集，进而，能够更为精准地得到各种姿态下的样本。
具体地，训练检测网络时，可以输入一帧图像，对目标进行数据增强，进行卷积、BN以及激活操作等等，再经过主干网络提取特征，经过卷积层、BN层以及激活操作，进而，可以输出置信图特征图、位置特征图、位置增量特征图、reid特征向量图。还可以分别计算置信度特征图的二值交叉熵损失，目标位置与预测位置特征图之间的距离损失、位置增量特征图回归损失、目标reid特征的距离损失，进而，利用这些损失来优化检测网络的模型参数，以提升检测网络的检测精度。
进一步地，在训练跟踪网络时，还可以采用公开跟踪数据集，先对数据集，进行检测，得到标记目标的增量位置和reid特征向量，再经过跟踪网络，输出最佳匹配矩阵，还可以计算跟踪准确度(是否误报、错过目标、身份切换)的损失和跟踪精度(标记框和预测框是否匹配)的损失。统计误报、错过目标、身份切换的次数，作为跟踪准确度的损失函数值。跟踪精度损失函数可以选择均方差损失函数等，进而，通过损失函数来优化跟踪网络的模型参数，以提升跟踪网络的跟踪精度。
其中，本申请实施例中，人脸图像集中可以包括多个人脸图像。人脸图像集中可以包括大量人脸图像。电子设备可以从云服务器或者本地获取待处理的人脸图像集。
在一个可能地示例中，在目标为人脸时，上述步骤A1，获取样本图像，可以包括如下步骤：
A1、获取初始人脸图像集；
A2、对所述人脸图像集中的每一人脸图像进行图像质量评价，得到多个人脸图像质量评价值；
A3、从所述多个人脸图像质量评价值中选取大于预设图像质量评价值的人脸图像质量评价值，将其对应的人脸图像作为所述样本图像。
其中，本申请实施例中，预设图像质量评价值可以预先保存在电子设备，其可以由用户自行设置或者系统默认。
具体实现中，电子设备可以获取初始人脸图像集，并且可以采用至少一个图像质量评价指标对人脸图像集中的每一人脸图像进行图像质量评价，得到多个人脸图像质量评价值，图像质量评价指标可以为以下至少一种：人脸偏差度、人脸完整度、清晰度、特征点分布密度、平均梯度、信息熵、信噪比等等，在此不作限定。再者，电子设备可以从多个人脸图像质量评价值中选取大于预设图像质量评价值的人脸图像质量评价值，将其对应的人脸图像作为样本图像。其中，人脸偏差度为图像中人脸角度与正脸的人脸角度之间的偏差度，人脸完整度为图像中人脸的面积与完整人脸面积之间的比值。
在一个可能地示例中，上述步骤A2，对所述人脸图像集中的每一人脸图像进行图像质量评价，得到多个人脸图像质量评价值，可以包括如下步骤：
A21、获取人脸图像j的目标人脸偏差度、所述人脸图像j的目标人脸完整度、所述人脸图像j的目标特征点分布密度和目标信息熵，所述人脸图像j为所述人脸图像集中的任一人脸图像；
A22、在所述目标人脸偏差度大于预设偏差度且所述目标人脸完整度大于预设完整度时，按照预设的人脸偏差度与第一参考评价值之间的映射关系，确定所述目标人脸偏差度对应的目标第一参考评价值；
A23、按照预设的人脸完整度与第二参考评价值之间的映射关系，确定所述目标人脸完整度对应的目标第二参考评价值；
A24、按照预设的特征点分布密度与权值对之间的映射关系，确定所述目标特征点分布密度对应的目标权值对，所述目标权值对包括目标第一权值和目标第二权值，所述目标第一权值为所述第一参考评价值对应的权值，所述目标第二权值为所述第二参考评价值对应的权值；
A25、依据所述目标第一权值、所述目标第二权值、所述目标第一参考评价值和所述目标第二参考评价值进行加权运算，得到第一参考评价值；
A26、按照预设的特征点分布密度与图像质量评价值之间的映射关系，确定所述目标特征点分布密度对应的第一图像质量评价值；
A27、按照预设的信息熵与图像质量偏差值之间的映射关系，确定所述目标信息熵对应的目标图像质量偏差值；
A28、获取所述人脸图像j的第一拍摄参数；
A29、按照预设的拍摄参数与优化系数之间的映射关系，确定所述第一拍摄参数对应的目标优化系数；
A30、依据所述目标优化系数、所述目标图像质量偏差值对所述第一图像质量评价值进行调整，得到第二参考评价值；
A31、获取所述人脸图像j对应的目标环境参数；
A32、按照预设的环境参数与权重系数对之间的映射关系，确定所述目标环境参数对应的目标权重系数对，所述目标权重系数对包括目标第一权重系数和目标第二权重系数，所述目标第一权重系数为所述第一参考评价值对应的权重系数，所述目标第二权重系数为所述第二参考评价值对应的权重系数；
A33、依据所述目标第一权重系数、所述目标第二权重系数、所述第一参考评价值和所述第二参考评价值进行加权运算，得到所述人脸图像j的人脸图像质量评价值。
其中，本申请实施例中，预设偏差度、预设完整度均可以由用户自行设置或者系统默认，两者只有均处于一定范围才可能被人脸识别成功。电子设备中可以预先存储预设的人脸偏差度与第一参考评价值之间的映射关系、预设的人脸完整度与第二参考评价值之间的映射关系、预设的特征点分布密度与权值对之间的映射关系，该权值对可以包括第一权值和第二权值，第一权值与第二权值之和为1，第一权值为第一参考评价值对应的权值，第二权值为第二参考评价值对应的权值。电子设备中还可以预先存储预设的特征点分布密度与图像质量评价值之间的映射关系、预设的信息熵与图像质量偏差值之间的映射关系、预设的拍摄参数与优化系数之间的映射关系以及预设的环境参数与权重系数对之间的映射关系。其中，权重系数对可以包括第一权重系数和第二权重系数，第一权重系数为第一参考评价值对应的权重系数，第二权重系数为第二参考评价值对应的权重系数，第一权重系数与第二权重系数之和为1。
其中，图像质量评价值的取值范围可以为0～1，或者，也可以为0～100。图像质量偏差值可以为正实数，例如，0～1，或者，也可以大于1。优化系数的取值范围可以为-1～1之间，例如，优化系数可以为-0.1～0.1。本申请实施例中，拍摄参数可以为以下至少一种：曝光时长、拍摄模式、感光度ISO、白平衡参数、焦距、焦点、感兴趣区域等等，在此不做限定。环境参数可以为以下至少一种：环境亮度、环境温度、环境湿度、天气、大气压、磁场干扰强度等等，在此不作限定。
具体实现中，以人脸图像j为例，人脸图像j为人脸图像集中的任一人脸图像，电子设备可以获取人脸图像j的目标人脸偏差度、人脸图像j的目标人脸完整度、人脸图像j的目标特征点分布密度和目标信息熵，其中，目标特征点分布密度可以为人脸图像j的特征点总数与该人脸图像j的面积之间的比值。
进而，在目标人脸偏差度大于预设偏差度且目标人脸完整度大于预设完整度时，电子设备可以按照预设的人脸偏差度与第一参考评价值之间的映射关系，确定目标人脸偏差度对应的目标第一参考评价值，还可以按照预设的人脸完整度与第二参考评价值之间的映射关系，确定目标人脸完整度对应的目标第二参考评价值，以及按照预设的特征点分布密度与权值对之间的映射关系，确定目标特征点分布密度对应的目标权值对，目标权值对包括目标第一权值和目标第二权值，目标第一权值为第一参考评价值对应的权值，目标第二权值为第二参考评价值对应的权值，接着，可以依据目标第一权值、目标第二权值、目标第一参考评价值和目标第二参考评价值进行加权运算，得到第一参考评价值，具体计算公式如下：
第一参考评价值＝目标第一参考评价值*目标第一权值+目标第二参考评价值*目标第二权值
进而，可以从人脸角度以及人脸完整度方面，整体评价图像的质量。
进一步地，电子设备可以按照预设的特征点分布密度与图像质量评价值之间的映射关系，确定目标特征点分布密度对应的第一图像质量评价值，以及按照预设的信息熵与图像质量偏差值之间的映射关系，确定目标信息熵对应的目标图像质量偏差值。电子设备可以按照预设的信息熵与图像质量偏差值之间的映射关系，确定目标信息熵对应的目标图像质量偏差值，由于在生成图像的时候，由于外部(天气、光线、角度、抖动等)或者内部(系统、GPU)原因，产生一些噪声，这些噪声对图像质量会带来一些影响，因此，可以对图像质量进行一定程度调节，以保证对图像质量进行客观评价。
进一步地，电子设备还可以获取目标人脸图像的第一拍摄参数，按照预设的拍摄参数与优化系数之间的映射关系，确定第一拍摄参数对应的目标优化系数，拍摄的参数设置也可能对图像质量评价带来一定的影响，因此，需要确定拍摄参数对图像质量的影响成分，最后，依据目标优化系数、目标图像质量偏差值对第一图像质量评价值进行调整，得到第二参考评价值，其中，第二参考评价值可以按照如下公式得到：
在图像质量评价值为百分制的情况下，具体计算公式如下：
第二参考评价值＝(第一图像质量评价值+目标图像质量偏差值)*(1+目标优化系数)
在图像质量评价值为百分比的情况下，具体计算公式如下：
第二参考评价值＝第一图像质量评价值*(1+目标图像质量偏差值)*(1+目标优化系数)
进一步地，电子设备可以获取人脸图像j对应的目标环境参数，且按照预设的环境参数与权重系数对之间的映射关系，确定目标环境参数对应的目标权重系数对，目标权重系数对包括目标第一权重系数和目标第二权重系数，目标第一权重系数为第一参考评价值对应的权重系数，目标第二权重系数为第二参考评价值对应的权重系数，进而，可以依据目标第一权重系数、目标第二权重系数、第一参考评价值和第二参考评价值进行加权运算，得到人脸图像j的人脸图像质量评价值，具体计算公式如下：
人脸图像j的人脸图像质量评价值＝第一参考评价值*目标第一权重系数+第二参考评价值＊目标第二权重系数
如此，可以结合内部、外部环境因素、拍摄设置因素以及人脸角度以及完整度等影响，对图像质量进行客观评价，有助于提升人脸图像质量评价精准度。
可以看出，本申请实施例中所描述的目标跟踪方法，该电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，获取视频序列中的第i帧图像和第i-1帧图像的热力图，将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数，依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
与上述图1B所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种目标跟踪方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，本目标跟踪方法包括：
201、获取样本图像，所述样本图像包括目标区域和背景区域。
202、对所述目标区域进行增强，得到多个目标图像，基于所述多个目标图像训练所述检测网络，所述增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。
203、获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数。
204、依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹。
205、将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
其中，上述步骤201-步骤205的具体描述可以参照上述图1B所描述的目标跟踪方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的目标跟踪方法，该电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，一方面，能够基于静态的检测训练数据集通过数据增强生成运动的跟踪训练集，另一方面，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，上述程序包括用于执行以下步骤的指令：
获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
可以看出，本申请实施例中所描述的电子设备，该电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，获取视频序列中的第i帧图像和第i-1帧图像的热力图，将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数，依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
可选地，在所述将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量方面，上述程序包括用于执行以下步骤的指令：
将所述第i帧图像先后经过卷积层、BN层和激活层进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，所述第i帧图像的置信度特征图还用于优化所述位置特征图，以及所述位置特征图还用于优化所述reid特征向量，所述reid特征向量由CosFace损失函数得到，该reid特征向量的map均为0～1之间的随机值；
将所述第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与所述提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定所述位置增量特征图，所述位置特征图在反向传播过程中反过来优化所述位置增量特征图，所述位置增量特征图由Softmax损失函数得到，且训练时初始化位置增量的map全为0。
可选地，在所述将第一中间结果输入到主干网络进行特征提取之后，上述程序包括用于执行以下步骤的指令：
将特征提取后得到的特征图进行全局特征提取，得到全局特征；
对所述特征图进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到提取到的特征。
可选地，在所述依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹方面，上述程序包括用于执行以下步骤的指令：
根据所述置信度特征图中的每个点的得分值，选取处于预设范围的目标得分值，依据所述得分值确定所述第i帧图像的目标信息，所述目标信息包括所述第i帧图像中所述目标得分值对应的目标位置和reid特征；
根据所述目标位置和所述位置增量特征图预估所述第i帧的下一帧的跟踪位置；
获取第i-1帧的参考跟踪轨迹，并依据所述跟踪位置更新所述参考跟踪轨迹，得到所述目标跟踪轨迹。
可选地，在所述将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标方面，上述程序包括用于执行以下步骤的指令：
根据所述目标信息和所述目标跟踪轨迹通过所述跟踪网络以实现当前帧所有目标与所有跟踪通道目标进行行数据关联，以确定距离矩阵；
依据所述距离矩阵进行系列操作，得到所述最佳分配矩阵，所述系列操作包括：行展开、卷积运算、列展开、卷积运算、FC层、Sigmoid层。
可选地，在所述获取视频序列中的第i帧图像和第i-1帧图像的热力图之前，上述程序还包括用于执行以下步骤的指令：
获取样本图像，所述样本图像包括目标区域和背景区域；
对所述目标区域进行增强，得到多个目标图像，基于所述多个目标图像训练所述检测网络，所述增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的目标跟踪装置400的功能单元组成框图，该装置400，应用于电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，所述装置400包括：检测单元401、确定单元402和跟踪单元403，其中，
所述检测单元401，用于获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
所述确定单元402，用于依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
所述跟踪单元403，用于将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
可以看出，本申请实施例中所描述的目标跟踪装置，应用于电子设备，电子设备包括目标跟踪系统，目标跟踪系统包括检测网络和跟踪网络，获取视频序列中的第i帧图像和第i-1帧图像的热力图，将第i帧图像和第i-1帧图像的热力图输入到检测网络，得到第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，i为大于或等于2的整数，依据第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，将目标信息和目标跟踪轨迹输入到跟踪网络，得到最佳分配矩阵，最佳分配矩阵中的数值表示目标所属的跟踪目标，检测网络能够基于上一帧的热力图以及当前帧图像实现置信度特征图、位置特征图、位置增量特征图和reid特征图，检测网络能够精准检测目标且具备重识别功能，能够精准把握目标轨迹以及目标信息，进而，实现目标精准分类，有助于提升跟踪精度。
可选地，在所述将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量方面，所述检测单元401具体用于：
将所述第i帧图像先后经过卷积层、BN层和激活层进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，所述第i帧图像的置信度特征图还用于优化所述位置特征图，以及所述位置特征图还用于优化所述reid特征向量，所述reid特征向量由CosFace损失函数得到，该reid特征向量的map均为0～1之间的随机值；
将所述第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与所述提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定所述位置增量特征图，所述位置特征图在反向传播过程中反过来优化所述位置增量特征图，所述位置增量特征图由Softmax损失函数得到，且训练时初始化位置增量的map全为0。
可选地，在所述将第一中间结果输入到主干网络进行特征提取之后，所述检测单元401还具体用于：
将特征提取后得到的特征图进行全局特征提取，得到全局特征；
对所述特征图进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到提取到的特征。
可选地，在所述依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹方面，所述确定单元402具体用于：
根据所述置信度特征图中的每个点的得分值，选取处于预设范围的目标得分值，依据所述得分值确定所述第i帧图像的目标信息，所述目标信息包括所述第i帧图像中所述目标得分值对应的目标位置和reid特征；
根据所述目标位置和所述位置增量特征图预估所述第i帧的下一帧的跟踪位置；
获取第i-1帧的参考跟踪轨迹，并依据所述跟踪位置更新所述参考跟踪轨迹，得到所述目标跟踪轨迹。
可选地，在所述将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标方面，所述跟踪单元403具体用于：
根据所述目标信息和所述目标跟踪轨迹通过所述跟踪网络以实现当前帧所有目标与所有跟踪通道目标进行行数据关联，以确定距离矩阵；
依据所述距离矩阵进行系列操作，得到所述最佳分配矩阵，所述系列操作包括：行展开、卷积运算、列展开、卷积运算、FC层、Sigmoid层。
可选地，在所述获取视频序列中的第i帧图像和第i-1帧图像的热力图之前，所述装置400还具体用于：
获取样本图像，所述样本图像包括目标区域和背景区域；
对所述目标区域进行增强，得到多个目标图像，基于所述多个目标图像训练所述检测网络，所述增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。
可以理解的是，本实施例的目标跟踪装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种目标跟踪方法，其特征在于，应用于电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，所述方法包括：
获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
2.根据权利要求1所述的方法，其特征在于，所述将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，包括：
将所述第i帧图像先后经过卷积层、BN层和激活层进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，所述第i帧图像的置信度特征图还用于优化所述位置特征图，以及所述位置特征图还用于优化所述reid特征向量，所述reid特征向量由CosFace损失函数得到，该reid特征向量的map均为0～1之间的随机值；
将所述第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与所述提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定所述位置增量特征图，所述位置特征图在反向传播过程中反过来优化所述位置增量特征图，所述位置增量特征图由Softmax损失函数得到，且训练时初始化位置增量的map全为0。
3.根据权利要求2所述的方法，其特征在于，在所述将第一中间结果输入到主干网络进行特征提取之后，所述方法还包括：
将特征提取后得到的特征图进行全局特征提取，得到全局特征；
对所述特征图进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到提取到的特征。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹，包括：
根据所述置信度特征图中的每个点的得分值，选取处于预设范围的目标得分值，依据所述得分值确定所述第i帧图像的目标信息，所述目标信息包括所述第i帧图像中所述目标得分值对应的目标位置和reid特征；
根据所述目标位置和所述位置增量特征图预估所述第i帧的下一帧的跟踪位置；
获取第i-1帧的参考跟踪轨迹，并依据所述跟踪位置更新所述参考跟踪轨迹，得到所述目标跟踪轨迹。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标，包括：
根据所述目标信息和所述目标跟踪轨迹通过所述跟踪网络以实现当前帧所有目标与所有跟踪通道目标进行行数据关联，以确定距离矩阵；
依据所述距离矩阵进行系列操作，得到所述最佳分配矩阵，所述系列操作包括：行展开、卷积运算、列展开、卷积运算、FC层、Sigmoid层。
6.根据权利要求1-3任一项所述的方法，其特征在于，在所述获取视频序列中的第i帧图像和第i-1帧图像的热力图之前，所述方法还包括：
获取样本图像，所述样本图像包括目标区域和背景区域；
对所述目标区域进行增强，得到多个目标图像，基于所述多个目标图像训练所述检测网络，所述增强包括以下至少一种：缩放、平移、旋转、透视变换、颜色变换、扭曲变换、裁剪、光学变换。
7.一种目标跟踪装置，其特征在于，应用于电子设备，所述电子设备包括目标跟踪系统，所述目标跟踪系统包括检测网络和跟踪网络，所述装置包括：检测单元、确定单元和跟踪单元，其中，
所述检测单元，用于获取视频序列中的第i帧图像和第i-1帧图像的热力图，将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量，所述i为大于或等于2的整数；
所述确定单元，用于依据所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量确定目标信息和目标跟踪轨迹；
所述跟踪单元，用于将所述目标信息和所述目标跟踪轨迹输入到所述跟踪网络，得到最佳分配矩阵，所述最佳分配矩阵中的数值表示目标所属的跟踪目标。
8.根据权利要求7所述的装置，其特征在于，在所述将所述第i帧图像和所述第i-1帧图像的热力图输入到所述检测网络，得到所述第i帧图像的置信度特征图、位置特征图、位置增量特征图和reid特征向量方面，所述检测单元具体用于：
将所述第i帧图像先后经过卷积层、BN层和激活层进行处理，将第一中间结果输入到主干网络进行特征提取，利用提取到的特征分别确定所述第i帧图像的置信度特征图、所述位置特征图和所述reid特征向量，所述第i帧图像的置信度特征图还用于优化所述位置特征图，以及所述位置特征图还用于优化所述reid特征向量，所述reid特征向量由CosFace损失函数得到，该reid特征向量的map均为0～1之间的随机值；
将所述第i-1帧图像的热力图先后经过卷积层、BN层和激活层进行处理，得到第二中间结果，将该第二中间结果与所述提取到的特征进行卷积运算，并基于该卷积运算的运算结果确定所述位置增量特征图，所述位置特征图在反向传播过程中反过来优化所述位置增量特征图，所述位置增量特征图由Softmax损失函数得到，且训练时初始化位置增量的map全为0。
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN202110065206.2A 2021-01-18 2021-01-18 目标跟踪方法、电子设备及相关产品 Pending CN112767443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110065206.2A CN112767443A (zh) 2021-01-18 2021-01-18 目标跟踪方法、电子设备及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110065206.2A CN112767443A (zh) 2021-01-18 2021-01-18 目标跟踪方法、电子设备及相关产品

Publications (1)

Publication Number Publication Date
CN112767443A true CN112767443A (zh) 2021-05-07

Family

ID=75702847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110065206.2A Pending CN112767443A (zh) 2021-01-18 2021-01-18 目标跟踪方法、电子设备及相关产品

Country Status (1)

Country Link
CN (1) CN112767443A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313736A (zh) * 2021-06-10 2021-08-27 厦门大学 统一目标运动感知和重识别网络的在线多目标跟踪方法
CN114463378A (zh) * 2021-12-27 2022-05-10 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN114789440A (zh) * 2022-04-22 2022-07-26 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质
CN114820699A (zh) * 2022-03-29 2022-07-29 小米汽车科技有限公司 多目标跟踪方法、装置、设备及介质
CN116502117A (zh) * 2023-04-13 2023-07-28 厦门市帕兰提尔科技有限公司 一种基于ResNet的危险化学品识别方法、装置以及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313736A (zh) * 2021-06-10 2021-08-27 厦门大学 统一目标运动感知和重识别网络的在线多目标跟踪方法
CN113313736B (zh) * 2021-06-10 2022-05-17 厦门大学 统一目标运动感知和重识别网络的在线多目标跟踪方法
CN114463378A (zh) * 2021-12-27 2022-05-10 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN114463378B (zh) * 2021-12-27 2023-02-24 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN114820699A (zh) * 2022-03-29 2022-07-29 小米汽车科技有限公司 多目标跟踪方法、装置、设备及介质
CN114789440A (zh) * 2022-04-22 2022-07-26 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质
CN114789440B (zh) * 2022-04-22 2024-02-20 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质
CN116502117A (zh) * 2023-04-13 2023-07-28 厦门市帕兰提尔科技有限公司 一种基于ResNet的危险化学品识别方法、装置以及设备
CN116502117B (zh) * 2023-04-13 2023-12-15 厦门市帕兰提尔科技有限公司 一种基于ResNet的危险化学品识别方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN112767443A (zh) 目标跟踪方法、电子设备及相关产品
CN108038452B (zh) 一种基于局部图像增强的家电手势快速检测识别方法
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
CN112699808A (zh) 密集目标检测方法、电子设备及相关产品
Chen et al. A fall detection system based on infrared array sensors with tracking capability for the elderly at home
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
WO2008009656A1 (en) Image processing for change detection
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP2017054337A (ja) 画像処理装置および方法
KR20060018061A (ko) 로봇을 이용하여 사람을 추적하는 방법 및 장치
CN108985263B (zh) 一种数据采集方法、装置、电子设备和计算机可读介质
CN107194948B (zh) 基于集成式预测与时空域传播的视频显著性检测方法
CN112766281A (zh) 车辆重识别方法、电子设备及相关产品
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
Kogler et al. Enhancement of sparse silicon retina-based stereo matching using belief propagation and two-stage postfiltering
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
Teixeira et al. Object segmentation using background modelling and cascaded change detection
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
CN111240217A (zh) 状态检测方法、装置、电子设备及存储介质
CN115937662A (zh) 智能家居系统控制方法、装置、服务器及存储介质
CN115601834A (zh) 基于WiFi信道状态信息的跌倒检测方法
CN112597942A (zh) 人脸聚类方法、电子设备及相关产品
Jianzhao et al. A fast background subtraction method using kernel density estimation for people counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination