CN113393492A

CN113393492A - 目标跟踪方法、装置、电子装置和存储介质

Info

Publication number: CN113393492A
Application number: CN202110584455.2A
Authority: CN
Inventors: 姚定勇; 隋小波; 蒋茹
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2021-09-14

Abstract

本申请涉及一种目标跟踪，其中，该目标跟踪方法包括：获取第一图像，所述第一图像包括枪机相机获取的监控图像；基于所述第一图像获取待跟踪目标的第一图像特征以及第一位置信息；基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪。通过本申请，解决了球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪的技术问题，提高了目标跟踪的准确性。

Description

目标跟踪方法、装置、电子装置和存储介质

技术领域

本申请涉及计算机视觉领域，特别是涉及目标跟踪方法、装置、电子装置和存储介质。

背景技术

随着对监控技术要求的不断提高，传统的单目摄像机跟踪技术由于结构简单且缺乏深度信息，已不能满足监控领域的准确性、持续性等需求。因此，双目摄像机跟踪技术、多目摄像机跟踪技术、全景摄像机跟踪技术以及混合摄像机跟踪技术等应用越来越广泛。其中，混合摄像机跟踪技术例如枪球一体摄像机跟踪技术由于采用了两种或者两种以上的摄像机系统组成复合视觉系统，往往可以兼具各类摄像机系统的优点，被广泛应用于区域布控、安全监控等技术领域。

为了通过枪球一体摄像机实现对目标的持续跟踪，传统方式都是通过枪机相机获取待跟踪目标的特征信息和位置信息，并通过传输通道将待跟踪目标的特征信息和位置信息传输给球机相机，球机相机基于特征信息和位置信息对待跟踪目标进行跟踪。但是，由于枪机相机获取待跟踪目标的位置信息时需要依赖标定算法，而通过跨相机关联关系的标定算法获取位置信息时由于存在跨相机畸变等问题，导致球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪。

针对相关技术中存在的球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种目标跟踪方法、装置、电子装置和存储介质，以解决相关技术中球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪的问题。

第一个方面，在本实施例中提供了一种目标跟踪方法，应用于枪球联动监控系统，包括：

获取第一图像，所述第一图像包括枪机相机获取的监控图像；

基于所述第一图像获取待跟踪目标的第一图像特征以及第一位置信息；

基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪。

在其中的一些实施例中，所述基于所述第一图像获取待跟踪目标的第一图像特征包括：

将所述第一图像输入经训练的神经网络，输出所述第一图像特征。

在其中一些实施例中，基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪包括：

基于所述第一位置信息获取所述待跟踪目标的球机监控位置；

基于所述球机监控位置获取第二图像，并基于所述球机监控图像提取第二图像特征，所述第二图像包括球机相机获取的监控图像；

基于所述第一图像特征以及第二图像特征控制球机相机对所述待跟踪目标进行跟踪。

在其中一些实施例中，所述第二图像特征包括所述球机监控图像的多个图像特征，所述基于所述第一图像特征以及第二图像特征控制球机相机对所述待跟踪目标进行跟踪包括：

将多个所述第二图像特征分别与所述第一图像特征进行比对，并获取与所述第一图像特征相似度最高的所述第二图像特征作为目标图像特征；

基于所述目标图像特征对所述待跟踪目标进行跟踪。

在其中一些实施例中，所述基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪之后还包括：

若所述球机相机对所述待跟踪目标跟踪失败，则检测所述第一图像中是否存在所述待跟踪目标；

若所述第一图像中存在所述待跟踪目标，则重新获取所述第一图像特征以及第一位置信息，并控制所述球机相机对所述待跟踪目标进行跟踪。

若所述球机相机对所述待跟踪目标跟踪失败，则获取第二图像，所述第二图像包括球机相机获取的监控图像，并检测所述第二图像中是否存在所述待跟踪目标；

若所述第二图像中存在所述待跟踪目标，则基于所述第二图像获取所述待跟踪目标的第二图像特征，并基于所述第一图像特征以及第二图像特征对所述待跟踪目标进行跟踪。

若所述球机相机对所述待跟踪目标跟踪失败，则获取第二图像，所述第二图像包括球机相机获取的监控图像，并检测所述第一图像以及第二图像中是否存在所述待跟踪目标；

若预设时间内所述第一图像以及第二图像中均不存在所述待跟踪目标，则停止跟踪。

第二个方面，在本实施例中提供了一种目标跟踪装置，应用于枪球联动监控系统，包括：

图像获取模块，用于获取第一图像，所述第一图像包括枪机相机获取的监控图像；

信息提取模块，用于基于所述第一图像获取待跟踪目标的第一图像特征以及第一位置信息；

目标跟踪模块，用于基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的目标跟踪方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的目标跟踪方法。

与相关技术相比，在本实施例中提供的目标跟踪方法、装置、电子装置和存储介质，获取第一图像，所述第一图像包括枪机相机获取的监控图像；基于所述第一图像获取待跟踪目标的第一图像特征以及第一位置信息；基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪。通过获取待跟踪目标的特征信息和位置信息进行跟踪，解决了球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪的技术问题，提高了目标跟踪的准确性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明一实施例的目标跟踪方法的终端的硬件结构图；

图2是本发明一实施例的目标跟踪方法的流程示意图；

图3是本发明另一实施例的目标跟踪方法的流程示意图；

图4是本发明另一实施例的目标跟踪方法的流程示意图；

图5是本发明一实施例的目标跟踪装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的目标跟踪方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的目标跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中，枪机相机是指外形为枪式的相机，具有镜头更换方便、易于安装等特点，适用于光照条件不足的场景，但是监控范围有限；球机相机是指外形为球式的相机，往往集摄像机系统、变焦镜头、电子云台于一体，相比于枪机相机球机相机具有更大的跟踪变倍系数，可以持续跟踪到更远的距离，因此球机相机具有更高的操作性和稳定性以及较大的监控范围。具体的，枪机相机和球机相机为一体化设备，枪机相机可用于获取监控图像中的跟踪目标，并将跟踪目标的信息发送给球机相机，球机相机获取该跟踪目标的信息并基于该信息对监控图像进行分析，提取目标区域，进一步实现对跟踪目标的持续跟踪。

请参阅图2，图2是本发明一实施例的目标跟踪方法的流程示意图。在本实施例中，目标跟踪方法包括：

S202：获取第一图像，第一图像包括枪机相机获取的监控图像。

示例性地，枪机相机获取监控区域的监控图像，作为第一图像。其中，第一图像用于确定监控图像中是否存在感兴趣的目标，作为待跟踪目标。具体的，监控区域可以是基于监控数据进行划分的，也可以是人为进行设定的；枪机相机可以是某一个特定的枪机相机，也可以是多个枪机相机，本发明对此不作限制。

S204：基于第一图像获取待跟踪目标的第一图像特征以及第一位置信息。

示例性地，对第一图像进行检测，确定第一图像中是否存在感兴趣的目标。若第一图像中存在感兴趣的目标，则将该感兴趣的目标作为待跟踪目标，并提取该待跟踪目标的第一图像特征和第一位置信息。具体的，感兴趣的目标是指用户预先设置的跟踪对象，可以是行人或者车辆等，本发明对此不作限制。第一图像特征是该待跟踪目标的图像特征，可以通过神经网络或者相关滤波等方法进行提取，也可以基于手工设计的图像特征进行提取。第一位置信息是该待跟踪目标在枪机相机获取的监控图像中的位置信息，可以用来对待跟踪目标在球机相机获得的监控图像中的具体位置进行标定，球机相机可以基于第一图像特征和第一位置信息对待跟踪目标进行跟踪。

S206：基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪。

示例性地，获取待跟踪目标的第一图像特征和第一位置信息，并基于第一图像特征和第一位置信息获取待跟踪目标的区域和位置，进而对待跟踪目标进行跟踪。在其中一个具体实施例中，枪球联动跟踪系统可以是单个或者多个芯片控制的枪球一体机。若枪球联动跟踪系统为单个芯片控制的枪球一体机，则直接通过该芯片获取或者发送待跟踪目标的第一图像特征和第一位置信息；若枪球联动系统为多个芯片控制的枪球一体机，则枪机相机可以通过网络将第一图像特征和第一位置信息发送给内部IP地址对应的球机相机，或者通过其他硬件连接方式进行传输。在其中一个具体实施例中，球机相机获取第一图像的第一图像特征和第一位置信息，并基于第一图像特征和第一位置信息在球机相机的第一帧监控图像中获取待跟踪目标的图像特征；基于该待跟踪目标的在球机相机第一帧监控图像中的图像特征，在球机相机获取的监控视频的每一帧监控图像中搜寻该待跟踪目标，并标出每一帧监控图像中该待跟踪目标的位置，实现对该待跟踪目标的持续跟踪。

上述目标跟踪方法，获取第一图像，第一图像包括枪机相机获取的监控图像；基于第一图像获取待跟踪目标的第一图像特征以及第一位置信息；基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪。通过获取待跟踪目标的特征信息和位置信息进行跟踪，解决了球机相机无法获取到准确的位置信息，进而无法准确的对目标进行跟踪的技术问题，提高了目标跟踪的准确性。

在另一个实施例中，基于第一图像获取待跟踪目标的第一图像特征包括：

将第一图像输入经训练的神经网络，输出第一图像特征。

示例性地，枪机相机获取监控区域的监控图像，作为第一图像，将该第一图像输入经过预训练的卷积神经网络，提取第一图像的图像特征，并对提取到的图像特征进行分类，得到待跟踪目标的第一图像特征。

在其中一个具体实施例中，通过Faster R-CNN网络提取待跟踪目标的第一图像特征。具体的，首先对Faster R-CNN网络进行预训练，将枪机相机获取到的第一图像输入到经过预训练的Faster R-CNN网络；Faster R-CNN网络提取整张图像的图像特征，得到卷积特征图；通过RPN网络提取卷积特征图上的建议区域，生成目标候选区域；对目标候选区域进行分类，得到待跟踪目标的候选区域，将该候选区域的图像特征作为待跟踪目标的第一图像特征。可以理解的，通过神经网络可以准确的提取待跟踪目标的深层图像特征，无需人工对图像特征进行设计。具体的，对Faster R-CNN网络进行预训练包括将预训练的图像数据集输入Faster R-CNN网络，对Faster R-CNN网络进行训练。其中，预训练的图像数据集包括输入图像以及检测结果，Faster R-CNN网络基于该输入图像以及检测结果调整Faster R-CNN网络中的参数。在其中一个具体实施例中，对Faster R-CNN网络进行预训练主要包括：首先训练RPN网络，产生目标候选区域，并且使用这些候选区域来训练Fast R-CNN网络，以实现对Fast R-CNN网络的微调。其次，将RPN网络和Fast R-CNN网络合并为Faster R-CNN网络，在每次训练迭代中前向传播生成候选区域，训练Fast R-CNN网络将该候选区域视为预计算的区域。将RPN网络和Fast R-CNN网络的损失函数合并，进行反向传播。最后，对RPN网络和Fast R-CNN网络交替训练，以使得RPN网络和Fast R-CNN网络能共享特征。可以理解的，本实施例除了通过Faster R-CNN网络提取待跟踪目标的卷积特征以外，还可以通过如GA-BP神经网络提取步态特征、相关滤波方法提取动态特征等方法实现，本发明对此不作限制。经过预训练的神经网络提取第一图像特征可以在服务器中进行，也可以在枪机相机的计算模块中进行，或者其他具备神经网络运算功能的模块中进行。

上述实施例通过预训练的神经网络提取第一图像特征，保证了第一图像特征信息的准确性和特征深度，而且可以根据需求选取诸如VGG16等不同深度的神经网络，具有较高的灵活性，进一步提高的目标跟踪的准确性。

在另一个实施例中，基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪包括：

步骤1：基于第一位置信息获取待跟踪目标的球机监控位置；

步骤2：基于球机监控位置获取第二图像，并基于球机监控图像提取第二图像特征，第二图像包括球机相机获取的监控图像；

步骤3：基于第一图像特征以及第二图像特征控制球机相机对待跟踪目标进行跟踪。

示例性地，枪机相机获取第一图像，并基于第一图像获取待跟踪目标的第一图像特征和第一位置信息。在枪机获取到待跟踪目标的第一位置信息后，通过联动定位组件转换成球机相机下的球机监控位置，球机相机获取待跟踪目标的第一图像特征和球机监控位置；球机相机基于该球机监控位置，获取对应的监控区域的监控图像，作为第二图像，并提取该第二图像的图像特征，得到待跟踪目标的第二图像特征；球机相机获取上述待跟踪目标的第一图像特征和第二图像特征后，将第二图像特征与第一图像特征进行匹配，以确定第二图像特征中与第一图像特征近似度最高的第二图像特征，并获取第二图像特征的区域边界框和中心坐标，作为待跟踪目标的区域和位置，并对待跟踪目标进行跟踪。

在其中一个具体实施例中，基于第一位置信息获取待跟踪目标的球机监控位置的实现方式为：获取待跟踪目标的位置坐标，其中位置坐标包括目标坐标点以及目标区域大小；基于该位置坐标以及相机参数计算待跟踪目标的球机位置坐标，作为球机监控位置。具体的，可以通过枪机相机将待跟踪目标的位置坐标发送给球机相机，球机相机获取待跟踪目标的位置坐标，根据球机相机位置参数、枪机相机的设备参数以及位置坐标计算出定位目标点的球机坐标，作为球机位置坐标。

在其中一个具体实施例中，基于球机监控位置获取第二图像，并基于球机监控图像提取第二图像特征包括以下步骤：

步骤1：球机相机将球机监控位置作为监控中心，并获取监控图像。

具体的，球机相机获取球机监控位置后，通过驱动球机云台的水平电机和垂直电机使得球机相机的监控中心到达球机监控中心，球机相机获取监控图像，作为第二图像。

步骤2：提取第二图像的图像特征，作为第二图像特征。

具体的，球机相机获取第二图像后，可以先对第二图像进行特征提取，得到整体的特征图，在特征图的中心点向外辐射提取感兴趣的区域，并将感兴趣的区域的特征作为第二图像特征；或者先在第二图像的中心点向外辐射提取感兴趣的区域，并提取感兴趣区域的图像特征，将该图像特征作为第二图像特征。在其中一个具体实施例中，基于中心点向外辐射的方式为：以一定纵横比的矩形框向外扩张，中心点不需要位于矩形框中心，只需要保证该中心点位于矩形框内任意位置即可，从而得到大小、位置各不同的感兴趣区域。

上述实施例通过获取待跟踪目标的球机监控位置并基于球机监控位置获取第二图像特征，基于第一图像特征和第二图像特征对待跟踪目标进行跟踪。由于根据球机监控位置选取第二图像特征具有较高的针对性，所选取的第二图像特征与待跟踪目标的关联程度较高，数据冗余程度较低，在提高目标跟踪准确性的同时也提高了跟踪速度。

在另一个实施例中，基于第一图像特征以及第二图像特征控制球机相机对待跟踪目标进行跟踪包括：

步骤1：将多个第二图像特征分别与第一图像特征进行比对，并获取与第一图像特征相似度最高的第二图像特征作为目标图像特征；

步骤2：基于目标图像特征对待跟踪目标进行跟踪。

请参阅图3，图3是本发明另一实施例的目标跟踪方法的流程示意图。示例性地，球机相机获取球机监控位置后，将球机监控位置作为监控中心，并获取监控图像，作为第二图像；基于监控中心向外辐射提取第二图像的候选区域，该监控区域包含监控中心的位置；提取候选区域的图像特征，作为第二图像特征；将第二图像特征与第一图像特征进行对比，获取第二图像特征中与第一图像特征相似度最高的图像特征，作为第二图像的目标图像特征；基于第二图像的目标图像特征，获取待跟踪目标，并对待跟踪目标进行跟踪。

在其中一个具体实施例中，将多个第二图像特征分别与第一图像特征进行比对，并获取与第一图像特征相似度最高的第二图像特征作为目标图像特征包括以下步骤：

步骤1：提取候选区域。

具体的，选取M*N纵横比的像素矩形框，将二次图像的中心点依次作为该矩形框内的各个像素点，并截取该矩形框所覆盖的图像区域，作为候选区域；选取(M+k)*(N+b)纵横比的像素矩形框，重复上述步骤；其中，k、b分别为该矩形框纵横方向向外辐射的扩散系数。

步骤2：提取候选区域的图像特征。

将步骤1中所有的候选区域作为输入，输入至经过预训练的卷积神经网络，以提取候选区域的卷积特征。保存每个输入的候选区域在卷积神经网络第R1层、第R2层以及第R3层的输出，作为该候选区域的第二图像特征。

步骤3：对第二图像特征进行匹配。

将上述第一图像特征以及所有第二图像特征转化为向量数据，并基于向量数据将所有第二图像特征逐个与第一图像特征进行对比，选取与第一图像特征相似度最高的第二图像特征作为目标图像特征。

在其中一个具体实施例中，基于目标图像特征对待跟踪目标进行跟踪还包括将目标图像特征发送给目标跟踪模块，目标跟踪模块基于该目标图像特征自动对待跟踪目标进行跟踪。具体的，目标跟踪模块获取该目标图像特征后，逐帧对监控图像进行检测，判断各帧监控图像中是否存在待跟踪目标，若存在待跟踪目标则获取该待跟踪目标的边界，进而获取待跟踪目标的运动轨迹，以实现对待跟踪目标的自主跟踪。目标跟踪模块可以设置在枪球联动跟踪系统中，也可以设置在服务器中或者在通信网络中单独设置，本发明对此不作限制。

示例性地，本申请一实施例的目标跟踪方法可以通过控制器来执行，控制器可以设置在枪机相机中，也可以设置在球机相机中，或者在枪球联动系统之外单独设置均可；可以理解的，目标跟踪模块可以作为控制器执行目标跟踪方法，也可以仅为控制器中的一个部件。

上述实施例通过获取第二图像特征并将第二图像特征与第一图像特征进行对比，以获取与第一图像特征相似度最高的目标图像特征，基于图像特征匹配的方法提高了第二图像中待跟踪目标的图像特征选取的准确性，进一步提高了目标跟踪的准确度。

在另一个实施例中，基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪之后还包括：

步骤1：若球机相机对待跟踪目标跟踪失败，则检测第一图像中是否存在待跟踪目标；

步骤2：若第一图像中存在待跟踪目标，则重新获取第一图像特征以及第一位置信息，并控制球机相机对待跟踪目标进行跟踪。

示例性地，若球机相机丢失对第二图像中对待跟踪目标的跟踪，则向枪机相机发送控制指令，用于控制枪机相机重新获取第一图像；枪机相机重新获取第一图像后，对第一图像进行检测，从而判断待跟踪目标是否还在第一图像中。若检测到待跟踪目标依然在第一图像中，则再次提取第一图像中待跟踪目标的第一图像特征以及第一位置信息，用于控制球机相机对待跟踪目标进行跟踪。可以理解的，通过检测第一图相中是否存在待跟踪目标并再次提取第一图像特征以及第一位置信息，可以实现对待跟踪目标的持续跟踪。

上述实施例通过对第一图像中是否存在待跟踪目标进行检测，若第一图像中存在待跟踪目标则重新获取第一图像特征以及第一位置信息从而继续对待跟踪目标进行跟踪，在待跟踪目标丢失的时候可以通过枪机相机重新进行跟踪，避免了在获取待跟踪目标后仅通过球机相机进行跟踪，通过枪机相机辅助以扩大对待跟踪目标的跟踪视野，降低了待跟踪目标跟踪失败的可能性，提高了跟踪的准确性。

步骤1：若球机相机对待跟踪目标跟踪失败，则获取第二图像，第二图像包括球机相机获取的监控图像，并检测第二图像中是否存在待跟踪目标；

步骤2：若第二图像中存在待跟踪目标，则基于第二图像获取待跟踪目标的第二图像特征，并基于第一图像特征以及第二图像特征对待跟踪目标进行跟踪。

示例性地，若球机相机丢失对第二图像中对待跟踪目标的跟踪，则通过球机相机重新获取第二图像，并对第二图像中是否存在待跟踪目标进行检测。若检测到第二图像中存在待跟踪目标，则获取待跟踪目标的图像特征，作为第二图像特征，球机相机基于该第二图像特征获取待跟踪目标，对该待跟踪目标进行跟踪。

上述实施例通过获取第二图像并对第二图像中是否存在待跟踪目标进行检测，若第二图像中存在待跟踪目标，则基于第一图像特征以及第二图像特征进行跟踪，在球机相机因为待跟踪目标存在暂时性的遮挡、形变等原因而丢失待跟踪目标的情形下，重新获取待跟踪目标的第二图像特征，并对待跟踪目标重新进行跟踪，降低了待跟踪目标跟踪失败的可能性，提高了跟踪的准确性。

步骤1：若球机相机对待跟踪目标跟踪失败，则获取第二图像，第二图像包括球机相机获取的监控图像，并检测第一图像以及第二图像中是否存在待跟踪目标；

步骤2：若预设时间内第一图像以及第二图像中均不存在待跟踪目标，则停止跟踪。

示例性地，若球机相机丢失对第二图像中待跟踪目标的跟踪，则通过球机相机重新获取第二图像，并向枪机相机发送控制指令，用于控制枪机相机重新获取第一图像。对第一图像以及第二图像中是否存在待跟踪目标进行检测，若检测到第一图像和第二图像中均不存在待跟踪目标，则终止本次跟踪。

请参阅图4，图4是本发明另一实施例的目标跟踪方法的流程示意图。具体的，枪机相机获取监控图像，并对监控图像进行目标检测。若发现监控图像中存在待跟踪目标，则触发报警功能，开始对该待跟踪目标进行跟踪。提取监控图像中待跟踪目标的第一图像特征和第一位置信息，并将第一位置信息转换为球机相机下的球机监控位置。球机相机获取第一图像特征和球机监控位置，基于球机监控位置调整球机相机，使得该球机监控位置位于监控图像的中心。从该监控图像的中心向外辐射提取图像特征，作为第二图像特征，并将第二图像特征与第一图像特征进行对比，选取与第一图像特征相似度最高的第二图像特征，发送给自主跟踪模块。自主跟踪模块基于该第二图像特征对待跟踪目标进行跟踪，在跟踪过程中，判断是否丢失对待跟踪目标的跟踪。若检测目标是否丢失的时间超时，则结束对待跟踪目标的跟踪。若在规定时间内检测到存在待跟踪目标丢失的情形，则分别对第一图像以及第二图像是否存在待跟踪目标进行检测。若第一图像中存在待跟踪目标，则重新获取第一位置信息，并基于第一位置信息和第一图像特征对待跟踪目标重新进行跟踪。若第二图像中存在待跟踪目标，则重新获取第二图像特征，并将第二图像特征发送给自主跟踪模块，对待跟踪目标重新进行跟踪。若第一图像以及第二图像中均不存在待跟踪目标，则终止本次跟踪。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本实施例的目标跟踪装置的结构框图，如图5所示，该装置包括：

图像获取模块，用于获取第一图像，第一图像包括枪机相机获取的监控图像；

信息提取模块，用于基于第一图像获取待跟踪目标的第一图像特征以及第一位置信息；

信息提取模块，还用于将第一图像输入经训练的神经网络，输出第一图像特征；

目标跟踪模块，用于基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪；

目标跟踪模块，还用于基于第一位置信息获取待跟踪目标的球机监控位置；

基于球机监控位置获取第二图像，并基于球机监控图像提取第二图像特征，第二图像包括球机相机获取的监控图像；

基于第一图像特征以及第二图像特征控制球机相机对待跟踪目标进行跟踪；

目标跟踪模块，还用于将多个第二图像特征分别与第一图像特征进行比对，并获取与第一图像特征相似度最高的第二图像特征作为目标图像特征；

基于目标图像特征对待跟踪目标进行跟踪；

目标跟踪装置，还包括第一图像检测模块；

第一图像检测模块，用于若球机相机对待跟踪目标跟踪失败，则检测第一图像中是否存在待跟踪目标；

若第一图像中存在待跟踪目标，则重新获取第一图像特征以及第一位置信息，并控制球机相机对待跟踪目标进行跟踪；

目标跟踪装置，还包括第二图像检测模块；

第二图像检测模块，用于若球机相机对待跟踪目标跟踪失败，则获取第二图像，第二图像包括球机相机获取的监控图像，并检测第二图像中是否存在待跟踪目标；

若第二图像中存在待跟踪目标，则基于第二图像获取待跟踪目标的第二图像特征，并基于第一图像特征以及第二图像特征对待跟踪目标进行跟踪。

目标跟踪装置，还包括终止模块；

终止模块，用于若球机相机对待跟踪目标跟踪失败，则获取第二图像，第二图像包括球机相机获取的监控图像，并检测第一图像以及第二图像中是否存在待跟踪目标；

若预设时间内第一图像以及第二图像中均不存在待跟踪目标，则停止跟踪。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取第一图像，第一图像包括枪机相机获取的监控图像；

S2，基于第一图像获取待跟踪目标的第一图像特征以及第一位置信息；

S3，基于第一图像特征以及第一位置信息控制球机相机对待跟踪目标进行跟踪。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的目标跟踪方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种目标跟踪方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种目标跟踪方法，应用于枪球联动监控系统，其特征在于，包括：

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一图像获取待跟踪目标的第一图像特征包括：

3.根据权利要求1所述的目标跟踪方法，其特征在于，基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪包括：

4.根据权利要求3所述的目标跟踪方法，其特征在于，所述第二图像特征包括所述球机监控图像的多个图像特征，所述基于所述第一图像特征以及第二图像特征控制球机相机对所述待跟踪目标进行跟踪包括：

基于所述目标图像特征对所述待跟踪目标进行跟踪。

5.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪之后还包括：

6.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪之后还包括：

7.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一图像特征以及第一位置信息控制球机相机对所述待跟踪目标进行跟踪之后还包括：

8.一种目标跟踪装置，应用于枪球联动监控系统，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的目标跟踪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的目标跟踪方法的步骤。