CN110930428B - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提出一种目标跟踪方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法通过实时获取视频流，并在已经完成跟踪初始化时，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，当前位置坐标为跟踪目标在当前视频帧内的位置坐标，然后根据跟踪目标的类型及当前位置坐标确定跟踪目标的当前跟踪模板，从而基于历史跟踪模板及当前跟踪模板确定预测跟踪模版，使得预测跟踪模板既包含跟踪目标的历史信息又包含跟踪目标最新的特征信息，以便更加准确地提取跟踪目标在当前视频帧的下一视频帧内的位置。

Description

目标跟踪方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理领域，具体而言，涉及一种目标跟踪方法、装置、电子设备及存储介质。

背景技术

近年来随着无人机技术的快速发展，因其高效率、低成本等优势，无人机已应用到生活的方方面面，如航拍、气象、交通监控、灾难救援等。在交通监控、灾难救灾等应用中，机载光电吊舱是重要的实时视频数据采集装置，为空对地实时观察提供了便利。通常地，在观察过程中经常需要对某一目标进行长时间且稳定的观察。

现有技术中，通常采用相同的方法对不同类型的跟踪目标进行追踪处理，并未考虑到不同类型的跟踪目标存在的差异，导致追踪效果不佳。

发明内容

本发明的目的包括，例如，提供了一种目标跟踪方法、装置、电子设备及存储介质，其能够实现对被跟踪目标的长时间、稳定跟踪。

本发明的实施例可以这样实现：

第一方面，实施例提供一种目标跟踪方法，所述方法包括：

实时获取视频流，所述视频流包括当前视频帧；

若已经完成跟踪初始化，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，所述当前位置坐标为所述跟踪目标在所述当前视频帧内的位置坐标，所述历史跟踪模版用于预测所述跟踪目标在所述当前视频帧内的位置信息；

根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板；

基于所述历史跟踪模板及所述当前跟踪模板确定预测跟踪模版，所述预测跟踪模板用于反映所述跟踪目标在所述当前视频帧的下一视频帧内的位置。

进一步地，所述根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板的步骤包括：

根据所述当前位置坐标确定待跟踪区域；

根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板。

进一步地，所述根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板的步骤包括：

若所述跟踪目标为第一类型，则提取所述待跟踪区域的特征向量；

根据所述待跟踪区域的特征向量确定所述跟踪目标的当前跟踪模板。

进一步地，所述根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板的步骤包括：

若所述跟踪目标为第二类型，提取所述待跟踪区域的像素信息；

若所述像素信息小于预设定的像素阈值，则基于所述像素信息确定所述跟踪目标的当前跟踪模板；

若所述像素信息大于或等于预设定的像素阈值，则提取所述待跟踪区域的特征向量，并根据所述待跟踪区域的特征向量确定所述跟踪目标的当前跟踪模板。

进一步地，所述根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标的步骤包括：

计算预先设定的候选区域与所述历史跟踪模板的匹配度；

当所述匹配度大于预设定的第一阈值时，根据所述历史跟踪模板及所述当前视频帧确定所述跟踪目标的当前位置坐标。

进一步地，所述根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标的步骤还包括：

当所述匹配度小于预设定的第一阈值时，根据所述跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测所述跟踪目标的当前位置坐标。

进一步地，所述方法还包括：

当所述匹配度大于或等于所述预设定的第一阈值且小于预设定的第二阈值时，将所述当前跟踪模板确定为所述预测跟踪模版。

进一步地，所述方法还包括：

若未完成跟踪初始化，基于预设定的目标检测算法确定所述当前视频帧内是否存在第一类型的跟踪目标；

若当前视频帧内存在第一类型的跟踪目标，则获取所述跟踪目标所在的待跟踪区域；

若当前视频帧内不存在第一类型的跟踪目标，则将预设定的位置区域确定为所述跟踪目标所在的待跟踪区域；

根据所述跟踪目标的类型、所述待跟踪区域确定所述跟踪目标的当前跟踪模板；

将所述当前跟踪模板确定为所述预测跟踪模版。

进一步地，应用于电子设备，所述电子设备与所述光电吊舱电连接，所述方法还包括：

获取所述光电吊舱的参数信息，其中，所述参数信息包括光电吊舱的水平方向视场角、垂直方向视场角以及图像分辨率；

根据所述当前位置坐标、所述参数信息计算水平偏角及垂直偏角，所述水平偏角为所述跟踪目标在水平方向上偏离所述光电吊舱视场中心的角度，所述垂直偏角为所述跟踪目标偏离在垂直方向上偏离所述光电吊舱视场中心的角度；

基于所述当前位置坐标确定PID调节参数；

基于所述PID调节参数、所述水平偏角及所述垂直偏角计算偏航方向角速率以及俯仰方向角速率；

向所述光电吊舱发送所述方向角速率以及所述俯仰方向角速率，以使所述光电吊舱基于所述偏航方向角速率以及所述俯仰方向角速率调整所述水平方向视场角及所述垂直方向视场角。

第二方面，本发明还提供一种目标跟踪装置，所述装置包括：

视频获取模块，用于实时获取视频流，所述视频流包括当前视频帧；

坐标获取模块，用于若已经完成跟踪初始化，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，所述当前位置坐标为所述跟踪目标在所述当前视频帧内的位置坐标，所述历史跟踪模版用于预测所述跟踪目标在所述当前视频帧内的位置信息；

跟踪模板确定模块，用于根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板；

所述跟踪模板确定模块还用于基于所述历史跟踪模板及所述当前跟踪模板确定预测跟踪模版，所述预测跟踪模板用于反映所述跟踪目标在所述当前视频帧的下一视频帧内的位置。

第三方面，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的目标跟踪方法。

第四方面，本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的目标跟踪方法。

本发明提供的目标跟踪方法、装置、电子设备及存储介质，通过实时获取视频流，并在已经完成跟踪初始化时，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，当前位置坐标为跟踪目标在当前视频帧内的位置坐标，然后根据跟踪目标的类型及当前位置坐标确定跟踪目标的当前跟踪模板，从而基于历史跟踪模板及当前跟踪模板确定预测跟踪模版，使得预测跟踪模板既包含跟踪目标的历史信息又包含跟踪目标最新的特征信息，以便更加准确地提取跟踪目标在当前视频帧的下一视频帧内的位置。本发明通过区分跟踪目标的类型，从而根据跟踪目标自身特点选择更适宜跟踪目标特性的跟踪方法、策略，以此获得更好的追踪效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的一种电子设备的方框示意图；

图2为本发明提供的目标跟踪方法的流程图；

图3为图2中S203的具体流程图；

图4为图2中S204的具体流程图；

图5为图4中S2042的具体流程图；

图6为本发明提供的目标跟踪方法的进一步的流程图；

图7为本发明提供的目标跟踪装置的功能模块图；

图8为本发明提供的目标跟踪装置进一步的功能模块图。

图标：100-电子设备；110-处理器；120-存储器；130-通信模块；140-光电吊舱；200-目标跟踪装置；210-视频获取模块；220-判断模块；230-坐标获取模块；240-跟踪模板确定模块；250-待跟踪区域确定模块；260-参数信息获取模块；270-计算模块；280-调节参数确定模块；290-发送模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供了一种电子设备，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该电子设备可以为平板电脑、PDA(PersonalDigitalAssistant，个人数字助理)、个人电脑或是无人机等任意终端设备。

请参照图1，是电子设备100的方框示意图。所述电子设备100包括存储器120、处理器110、通信模块130、光电吊舱140。所述存储器120、处理器110、通信模块130及光电吊舱140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器120用于存储程序或者数据。在一种可选的实施方式中，存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备100的使用所创建的数据等。所述存储器120可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（ReadOnly Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器110是电子设备100的控制中心，利用各个接口和线路连接电子设备100的各个部分，通过运行或执行存储于在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，从而执行相应地功能。

通信模块130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

光电吊舱140用于采集视频流，并将视频流传输至处理器110。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

本发明提供了一种目标跟踪方法，应用于上述电子设备100，用于实现对被跟踪目标的长时间、稳定跟踪。请参阅图2，为本发明提供的目标跟踪方法的流程图。该目标跟踪方法包括：

S201，实时获取视频流。

可以理解地，该视频流可以为光电吊舱140采集的高清视频流或标清视频流。该视频流可以为传输流（Transport Stream，TS）、H.264或H.265编码的裸流；也可以为YPbPr或复合同步视频广播信号（Composite Video Broadcast Signal，CVBS）。

此外，该视频流包括当前视频帧。需要说明的是，当前视频帧既可以为视频流的首帧，也可以不为视频流的首帧。

S202，判断是否完成跟踪初始化，如果是，则执行S203；如果否，则执行S206。

其中，在跟踪初始化的过程中，处理器110可确定跟踪目标的类型，并根据该类型完成初始跟踪模板的提取。从而，在处理器110完成跟踪初始化以后，处理器便可将该初始跟踪模板作为历史跟踪模板对当前帧内的跟踪目标进行追踪。

S203，根据历史跟踪模板及当前视频帧获取跟踪目标的当前位置坐标。

其中，当前位置坐标为跟踪目标在当前视频帧内的位置坐标，历史跟踪模版可用于预测跟踪目标在当前视频帧内的位置信息。

请参阅图3，为S203的具体流程图。该S203包括：

S2031，计算预先设定的候选区域与历史跟踪模板的匹配度。

在一种可选的实施方式中，预先设定的候选区域可以为以当前视频帧的中心点向四周扩展一定像素后的区域。例如，该预设定的候选区域可以为以当前视频帧的中心为中心，且大小为400×300像素所围成的区域。

可以理解地，历史跟踪模板实际上是用于反应在理想情况下，跟踪目标在当前视频帧内的位置信息。而当前视频帧包括跟踪目标实际的位置信息。因而，若候选区域与历史跟踪模板的匹配度越高，则表明跟踪目标在候选区域内的可能性越高。也即，该匹配度可反映电子设备100对于跟踪目标的跟踪情况。具体地，若匹配度越高，则表明电子设备100对跟踪目标的跟踪情况越好；反之，若匹配度越低，则表明电子设备100对跟踪目标的跟踪情况越差。

S2032，判断匹配度是否小于预设定的第一阈值，如果否，则执行S2033；如果是，则执行S2034。

S2033，根据历史跟踪模板及当前视频帧确定跟踪目标的当前位置坐标。

可以理解地，匹配度大于或等于预设定的第一阈值，其表明候选区域中是存在跟踪目标的，从而，此时可直接利用历史跟踪模板在当前视频帧中确定跟踪目标的当前位置坐标。在一种可选的实施方式中，可利用相关滤波匹配算法找到历史跟踪模板与候选区域匹配值最高的像素点，并将该像素点在当前视频帧中的位置坐标确定为跟踪目标的当前位置坐标。

S2034，根据跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测跟踪目标的当前位置坐标。

其中，历史位置坐标可以为跟踪目标在视频流中位于当前视频帧以前的任意一帧或几帧的位置坐标。时间间隔即为光电吊舱140采集相邻两帧图像之间所间隔的时间。

当匹配度小于预设定的第一阈值时，表明可能存在跟踪目标被周围建筑、树木等遮挡的情况，从而导致电子设备100失去对跟踪目标的跟踪或者对于跟踪目标的跟踪效果不佳。因此，此时根据历史跟踪模板得到的跟踪目标的当前位置坐标非常不准确，因此需要根据跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测跟踪目标的当前位置坐标。

可以理解地，该当前位置坐标实际上为跟踪目标在未被遮挡的情况下，其应当所在的位置。

S204，根据跟踪目标的类型及当前位置坐标确定跟踪目标的当前跟踪模板。

需要说明的是跟踪目标可存在两种类型，分别为第一类型及第二类型。在一种可选的实施方式中，第一类型的跟踪目标为具有特定形状、特定特征的物体，例如车辆、动物、人类等可采用特定的目标检测算法检测得到的物体；第二类型的跟踪目标则为与第一类型的跟踪目标相反的物体，例如第一类型的跟踪目标为车辆，则第二类型的跟踪目标为非车辆。

请参阅图4，为S204的具体流程图。该S204包括：

S2041，根据当前位置坐标确定待跟踪区域。

在一种可选的实施方式中，可以跟踪目标的当前位置坐标为中心向四周扩展出一个区域作为待跟踪区域。

S2042，根据待跟踪区域、跟踪目标的类型确定跟踪目标的当前跟踪模板。

请参阅图5，为S2042的具体流程图。若跟踪目标为第一类型，该S2042包括：

S20421，提取待跟踪区域的特征向量。

当跟踪目标为第一类型时，其相对于周围环境存在较为明显的特征，因此可以直接利用特征提取算法提取待跟踪区域的特征向量。

S20422，根据待跟踪区域的特征向量确定跟踪目标的当前跟踪模板。

请继续参阅图5，若跟踪目标为第二类型，该S2042包括：

S20423，提取待跟踪区域的像素信息。

当跟踪目标为第二类型时，电子设备100需要进一步提取待跟踪区域的像素信息来确定用哪种方式确定跟踪目标的当前跟踪模板。

S20424，判断像素信息是否小于预设定的像素阈值，如果是，则执行S20425；如果否，则执行S20426。

S20425，基于像素信息确定跟踪目标的当前跟踪模板。

当像素信息小于预设定的像素阈值时，表明待跟踪区域与背景的差异并不明显，从而不容易提取到待跟踪区域的特征向量，因此直接基于像素信息确定跟踪目标的当前跟踪模板。

S20426，提取待跟踪区域的特征向量，并根据待跟踪区域的特征向量确定跟踪目标的当前跟踪模板。

而当像素信息大于或等于预设定的像素阈值时，表明待跟踪区域与背景之间存在一定差异，可以直接利用特征提取算法提取待跟踪区域的特征向量，并基于特征向量确定跟踪目标的当前跟踪模板。

可以理解地，该特征向量可以为HOG特征等。

可以理解地，本实施例通过区分跟踪目标的类型，并根据跟踪目标自身特点选择更适宜跟踪目标特性的跟踪方法、策略，从而获得更好的追踪效果。

S205，基于历史跟踪模板及当前跟踪模板确定预测跟踪模版。

其中，历史跟踪模板、当前跟踪模板以及预测跟踪模版满足算式：

其中，

为预测跟踪模版，

为历史跟踪模板，

为当前跟踪模板，

为预先设定的更新权值。

S206，基于预设定的目标检测算法确定当前视频帧内是否存在第一类型的跟踪目标，若存在，则执行S207；若不存在，则执行S208。

可以理解地，若处理器110尚未完成跟踪初始化，便需要确定跟踪目标的类型，并基于跟踪目标的类型生成可用于追踪该目标的追踪模板。因此，首先需要从当前视频帧中选定跟踪目标。而在基于预设定的目标检测算法确定当前视频帧内是否存在第一类型的跟踪目标的过程，也可以确定跟踪目标。具体地，若确定当前视频帧内中存在第一类型的跟踪目标，则可从当前视频中确定第一类型的跟踪目标；否则，则可从当前视频中确定第二类型的跟踪目标。

需要说明的是，该预设定的目标检测算法可以是深度学习算法，如yolo、tensorflow等神经网络算法；也可以是传统的计算机视觉算法，如直方图结合支持向量机的机器学习算法构建的目标检测器（例如是车辆检测器）。

S207，获取跟踪目标所在的待跟踪区域。

可以理解地，若当前视频帧为视频流的首帧，且当前视频帧内存在第一类型的跟踪目标，在利用目标检测算法检测到第一类型的跟踪目标时，便可确定跟踪目标的当前位置坐标，此时可以跟踪目标的当前位置坐标为中心向四周扩展出一个区域作为待跟踪区域。

S208，将预设定的位置区域确定为跟踪目标所在的待跟踪区域。

在一种可选的实施方式中，若确定当前视频帧内不存在第一类型的跟踪目标，便可直接将当前视频帧的中心向四周扩展出的一个区域确定为待跟踪区域。可以理解地，该待跟踪区域应当为包括跟踪目标的区域。

S209，根据跟踪目标的类型、待跟踪区域确定跟踪目标的当前跟踪模板。

需要说明的是，本步骤确定当前跟踪模板的过程与S2042提供的方法类似，此部分内容可参考S2042部分的内容，在此不再赘述。

S210，将当前跟踪模板确定为预测跟踪模版。

由于当前视频帧即为跟踪过程中的第一帧，因此不存在历史跟踪模板，直接将当前跟踪模板确定为预测跟踪模版，并以此预测跟踪目标在第二帧中的位置。

为了进一步提高目标追踪过程中的可靠性，本发明提供的目标跟踪方法还包括：

若跟踪目标的类型为第二类型，当匹配度大于或等于预设定的第一阈值且小于预设定的第二阈值时，将当前跟踪模板确定为预测跟踪模版。

可以理解地，当匹配度大于或等于预设定的第一阈值且小于预设定的第二阈值时，表明跟踪目标虽然没有被遮挡，但其跟踪效果也并非最好，因此，此时将当前跟踪模板确定为预测跟踪模版，而无需再考虑历史跟踪模板，重新实现对跟踪模板的初始化，避免了历史跟踪模板继续影响跟踪效果。

此外，若跟踪目标的类型为第一类型，本发明提供的目标跟踪方法还包括：

当匹配度小于预设定的第一阈值时，便按照预设定的时间间隔对跟踪目标进行重新初始化，直至匹配度大于或等于第一阈值为止。可以理解地，该重新初始化的过程可以为先确定当前跟踪模板，再将当前跟踪模板确定为预测跟踪模板的过程。

为了获得更好的追踪效果，需要使得跟踪目标最好一直处于每一帧图像的中间，因此，请参阅图6，本发明提供的目标跟踪方法还包括：

S601，获取光电吊舱140的参数信息，其中，参数信息包括光电吊舱140的水平方向视场角、垂直方向视场角以及图像分辨率。

S602，根据当前位置坐标、参数信息计算水平偏角及垂直偏角，水平偏角为跟踪目标在水平方向上偏离光电吊舱140视场中心的角度，垂直偏角为跟踪目标偏离在垂直方向上偏离光电吊舱140视场中心的角度。

S603，基于当前位置坐标确定PID调节参数。

其中，PID调节参数包括水平方向的PID调节参数以及垂直方向的PID调节参数。

假设当前位置坐标为

。在一种可选的实施方式中，水平方向 的PID调节参数包括水平比例参数

、水平积分参数

及水平微分参数

， 其确定过程可以为：

当目标位置

大于阈值

时，

，

，

；当目标位置

小于阈值

时，

，

，

；当目标位置

介于时

之间时，

，

，

可通过一次线性函数获得；其中，

预设定的第一比例参数，

为预设定的第二 比例参数，

为预设定的第一积分参数，

为预设定的第二积分参数，

为 预设定的第一微分参数，

为预设定的第二微分参数。

需要说明的是，垂直方向的PID调节参数包括垂直比例参数

、垂直积分参数

及垂直微分参数

，确定

、

及

的过程与确定水平方向的PID 调节参数的过程类似，在此不再赘述。

S604，基于PID调节参数、水平偏角及垂直偏角计算偏航方向角速率以及俯仰方向角速率。

可以理解地，可基于水平方向的PID调节参数及水平偏角计算偏航方向角速率；还可以基于垂直方向的PID调节参数及垂直偏角计算俯仰方向角速率。

S605，向光电吊舱140发送方向角速率以及俯仰方向角速率，以使光电吊舱140基于偏航方向角速率以及俯仰方向角速率调整水平方向视场角及垂直方向视场角。

可以理解地，基于偏航方向角速率以及俯仰方向角速率调整水平方向视场角及垂直方向视场角，可使得跟踪目标处于光电吊舱140的视场中心，有利于对跟踪目标进行追踪。

第二实施例

请参阅图7，图7为本发明实施例提供的一种目标跟踪装置200的功能模块图。需要说明的是，本实施例所提供的目标跟踪装置200，应用于电子设备100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。本发明实施例提供的目标跟踪装置200包括：视频获取模块210、判断模块220、坐标获取模块230、跟踪模板确定模块240、待跟踪区域确定模块250。

其中，视频获取模块210用于实时获取视频流。

可以理解地，在一种可选的实施方式中，视频获取模块210可用于执行S201。

判断模块220用于判断是否完成跟踪初始化。

可以理解地，在一种可选的实施方式中，判断模块220可用于执行S202。

坐标获取模块230用于当完成跟踪初始化时，根据历史跟踪模板及当前视频帧获取跟踪目标的当前位置坐标。

具体地，坐标获取模块230用于计算预先设定的候选区域与历史跟踪模板的匹配度，并在匹配度大于或等于预设定的第一阈值时，根据历史跟踪模板及当前视频帧确定跟踪目标的当前位置坐标，以及在匹配度小于预设定的第一阈值时，根据跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测跟踪目标的当前位置坐标。

可以理解地，在一种可选的实施方式中，坐标获取模块230可用于执行S203、S2031、S2032、S2033及S2034。

跟踪模板确定模块240用于根据跟踪目标的类型及当前位置坐标确定跟踪目标的当前跟踪模板。

具体地，跟踪模板确定模块240用于根据当前位置坐标确定待跟踪区域，并根据待跟踪区域、跟踪目标的类型确定跟踪目标的当前跟踪模板。

进一步地，跟踪模板确定模块240用于若跟踪目标为第一类型，则提取待跟踪区域的特征向量，根据待跟踪区域的特征向量确定跟踪目标的当前跟踪模板。跟踪模板确定模块240还用于若跟踪目标为第二类型，提取待跟踪区域的像素信息，并判断像素信息是否小于预设定的像素阈值，如果是则基于像素信息确定跟踪目标的当前跟踪模板；如果否则提取待跟踪区域的特征向量，并根据待跟踪区域的特征向量确定跟踪目标的当前跟踪模板。

可以理解地，在一种可选的实施方式中，跟踪模板确定模块240可用于执行S204、S2041、S2042、S20421、S20422、S20423、S20424、S20425及S20426。

跟踪模板确定模块240还用于基于历史跟踪模板及当前跟踪模板确定预测跟踪模版。

可以理解地，在一种可选的实施方式中，跟踪模板确定模块240可用于执行S205。

判断模块220还用于当未完成跟踪初始化时，基于预设定的目标检测算法确定当前视频帧内是否存在第一类型的跟踪目标。

可以理解地，在一种可选的实施方式中，判断模块220可用于执行S206。

待跟踪区域确定模块250用于若当前视频帧内存在第一类型的跟踪目标，则获取跟踪目标所在的待跟踪区域；待跟踪区域还用于若当前视频帧内不存在第一类型的跟踪目标，则将预设定的位置区域确定为跟踪目标所在的待跟踪区域。

可以理解地，在一种可选的实施方式中，待跟踪区域确定模块250可用于执行S207及S208。

跟踪模板确定模块240还用于根据跟踪目标的类型、待跟踪区域确定跟踪目标的当前跟踪模板，并将当前跟踪模板确定为预测跟踪模版。

可以理解地，在一种可选的实施方式中，跟踪模板确定模块240可用于执行S209及S210。

在一种可选的实施例中，请参阅图8，本发明提供的目标跟踪装置200还包括：参数信息获取模块260、计算模块270、调节参数确定模块280以及发送模块290。

参数信息获取模块260用于获取光电吊舱140的参数信息，其中，参数信息包括光电吊舱140的水平方向视场角、垂直方向视场角以及图像分辨率。

可以理解地，在一种可选的实施方式中，参数信息获取模块260可用于执行S601。

计算模块270用于根据当前位置坐标、参数信息计算水平偏角及垂直偏角，水平偏角为跟踪目标在水平方向上偏离光电吊舱140视场中心的角度，垂直偏角为跟踪目标偏离在垂直方向上偏离光电吊舱140视场中心的角度。

可以理解地，在一种可选的实施方式中，计算模块270可用于执行S602。

调节参数确定模块280用于基于当前位置坐标确定PID调节参数。

可以理解地，在一种可选的实施方式中，调节参数确定模块280可用于执行S603。

计算模块270还用于基于PID调节参数、水平偏角及垂直偏角计算偏航方向角速率以及俯仰方向角速率。

可以理解地，在一种可选的实施方式中，计算模块270可用于执行S604。

发送模块290用于向光电吊舱140发送方向角速率以及俯仰方向角速率，以使光电吊舱140基于偏航方向角速率以及俯仰方向角速率调整水平方向视场角及垂直方向视场角。

可以理解地，在一种可选的实施方式中，发送模块290可用于执行S605。

可选地，上述模块可以软件或固件（Firmware）的形式存储于图1所示的存储器120中或固化于该电子设备100的操作系统（Operating System，OS）中，并可由图1中的处理器110执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器120中。

本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器110执行时实现如前述实施方式中任一项所述的目标跟踪方法。

综上所述，本发明实施例提供了一种目标跟踪方法、装置、电子设备及存储介质，通过实时获取视频流，并在视频流中存在历史视频帧时，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，当前位置坐标为跟踪目标在当前视频帧内的位置坐标，然后根据跟踪目标的类型及当前位置坐标确定跟踪目标的当前跟踪模板，从而基于历史跟踪模板及当前跟踪模板确定预测跟踪模版，使得预测跟踪模板既包含跟踪目标的历史信息又包含跟踪目标最新的特征信息，以便更加准确地提取跟踪目标在当前视频帧的下一视频帧内的位置。本发明通过区分跟踪目标的类型，从而根据跟踪目标自身特点选择更适宜跟踪目标特性的跟踪方法、策略，以此获得更好的追踪效果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种目标跟踪方法，其特征在于，所述方法包括：

实时获取视频流，所述视频流包括当前视频帧；

若已经完成跟踪初始化，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，所述当前位置坐标为所述跟踪目标在所述当前视频帧内的位置坐标，所述历史跟踪模板用于预测所述跟踪目标在所述当前视频帧内的位置信息；

根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板；

基于所述历史跟踪模板及所述当前跟踪模板确定预测跟踪模板，所述预测跟踪模板用于反映所述跟踪目标在所述当前视频帧的下一视频帧内的位置；

其中，历史跟踪模板、当前跟踪模板以及预测跟踪模板满足算式：

其中，

为预测跟踪模板，

为历史跟踪模板，

为当前跟踪模板，

为预先设定的更新权值；

所述根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标的步骤包括：

计算预先设定的候选区域与所述历史跟踪模板的匹配度；

当所述匹配度大于或等于预设定的第一阈值时，根据所述历史跟踪模板及所述当前视频帧确定所述跟踪目标的当前位置坐标；

当所述匹配度小于预设定的第一阈值时，根据所述跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测所述跟踪目标的当前位置坐标；

所述方法还包括：

当所述匹配度大于或等于所述预设定的第一阈值且小于预设定的第二阈值时，将所述当前跟踪模板确定为所述预测跟踪模板，并重新执行初始化。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板的步骤包括：

根据所述当前位置坐标确定待跟踪区域；

根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板。

3.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板的步骤包括：

若所述跟踪目标为第一类型，则提取所述待跟踪区域的特征向量；

根据所述待跟踪区域的特征向量确定所述跟踪目标的当前跟踪模板。

4.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述待跟踪区域、所述跟踪目标的类型确定所述跟踪目标的当前跟踪模板的步骤包括：

若所述跟踪目标为第二类型，提取所述待跟踪区域的像素信息；

若所述像素信息小于预设定的像素阈值，则基于所述像素信息确定所述跟踪目标的当前跟踪模板；

若所述像素信息大于或等于预设定的像素阈值，则提取所述待跟踪区域的特征向量，并根据所述待跟踪区域的特征向量确定所述跟踪目标的当前跟踪模板。

5.根据权利要求1-4中任意一项所述的目标跟踪方法，其特征在于，所述方法还包括：

若未完成跟踪初始化，基于预设定的目标检测算法确定所述当前视频帧内是否存在第一类型的跟踪目标；

若当前视频帧内存在第一类型的跟踪目标，则获取所述跟踪目标所在的待跟踪区域；

若当前视频帧内不存在第一类型的跟踪目标，则将预设定的位置区域确定为所述跟踪目标所在的待跟踪区域；

根据所述跟踪目标的类型、所述待跟踪区域确定所述跟踪目标的当前跟踪模板；

将所述当前跟踪模板确定为所述预测跟踪模板。

6.根据权利要求1-4中任意一项所述的目标跟踪方法，其特征在于，应用于电子设备，所述电子设备与光电吊舱电连接，所述方法还包括：

获取所述光电吊舱的参数信息，其中，所述参数信息包括光电吊舱的水平方向视场角、垂直方向视场角以及图像分辨率；

根据所述当前位置坐标、所述参数信息计算水平偏角及垂直偏角，所述水平偏角为所述跟踪目标在水平方向上偏离所述光电吊舱视场中心的角度，所述垂直偏角为所述跟踪目标偏离在垂直方向上偏离所述光电吊舱视场中心的角度；

基于所述当前位置坐标确定PID调节参数；

基于所述PID调节参数、所述水平偏角及所述垂直偏角计算偏航方向角速率以及俯仰方向角速率；

向所述光电吊舱发送所述方向角速率以及所述俯仰方向角速率，以使所述光电吊舱基于所述偏航方向角速率以及所述俯仰方向角速率调整所述水平方向视场角及所述垂直方向视场角。

7.一种目标跟踪装置，其特征在于，所述装置包括：

视频获取模块，用于实时获取视频流，所述视频流包括当前视频帧；

坐标获取模块，用于若已经完成跟踪初始化，根据历史跟踪模板及所述当前视频帧获取跟踪目标的当前位置坐标，所述当前位置坐标为所述跟踪目标在所述当前视频帧内的位置坐标，所述历史跟踪模板用于预测所述跟踪目标在所述当前视频帧内的位置信息；

跟踪模板确定模块，用于根据所述跟踪目标的类型及所述当前位置坐标确定所述跟踪目标的当前跟踪模板；

所述跟踪模板确定模块还用于基于所述历史跟踪模板及所述当前跟踪模板确定预测跟踪模板，所述预测跟踪模板用于反映所述跟踪目标在所述当前视频帧的下一视频帧内的位置；

其中，历史跟踪模板、当前跟踪模板以及预测跟踪模板满足算式：

其中，

为预测跟踪模板，

为历史跟踪模板，

为当前跟踪模板，

为预先设定的更新权值；

所述坐标获取模块具体用于：

计算预先设定的候选区域与所述历史跟踪模板的匹配度；

当所述匹配度大于或等于预设定的第一阈值时，根据所述历史跟踪模板及所述当前视频帧确定所述跟踪目标的当前位置坐标；

当所述匹配度小于预设定的第一阈值时，根据所述跟踪目标的历史位置坐标、时间间隔及预先确定的运动速率预测所述跟踪目标的当前位置坐标；

所述跟踪模板确定模块还用于：

当所述匹配度大于或等于所述预设定的第一阈值且小于预设定的第二阈值时，将所述当前跟踪模板确定为所述预测跟踪模板，并重新执行初始化。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6任一项所述的目标跟踪方法。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的目标跟踪方法。

Images