CN107992790A - 目标长时跟踪方法及系统、存储介质及电子终端 - Google Patents

目标长时跟踪方法及系统、存储介质及电子终端 Download PDF

Info

Publication number
CN107992790A
CN107992790A CN201710952414.8A CN201710952414A CN107992790A CN 107992790 A CN107992790 A CN 107992790A CN 201710952414 A CN201710952414 A CN 201710952414A CN 107992790 A CN107992790 A CN 107992790A
Authority
CN
China
Prior art keywords
tracking
image
target
frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710952414.8A
Other languages
English (en)
Other versions
CN107992790B (zh
Inventor
胡锦龙
韩雪云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Original Assignee
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd filed Critical XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority to CN201710952414.8A priority Critical patent/CN107992790B/zh
Publication of CN107992790A publication Critical patent/CN107992790A/zh
Application granted granted Critical
Publication of CN107992790B publication Critical patent/CN107992790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，具体涉及一种目标长时跟踪方法、一种目标长时跟踪系统、一种存储介质以及一种电子终端。所述目标长时跟踪方法包括：接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；根据所述第三跟踪信息对所述跟踪目标进行跟踪。本公开能够将跟踪信息进行对比和判断，从而实现对低空弱小慢目标的长时跟踪。

Description

目标长时跟踪方法及系统、存储介质及电子终端
技术领域
本公开涉及图像处理技术领域，具体涉及一种目标长时跟踪方法、一种目标长时跟踪系统、一种存储介质以及一种电子终端。
背景技术
在红外搜索和跟踪系统中，对于在低信噪比条件下的弱小目标跟踪是一个重要的研究课题。由于目标受背景噪声和背景杂波的影响极大，同时低空目标容易受到地面物体的影响，给目标跟踪带来了极大的挑战。
现有的目标跟踪方法大多数只针对在较短的时间内对目标进行跟踪，相对于长时间稳定跟踪则鲜有研究。然而，在实际工程应用中，对目标的长久稳定跟踪则更受关注。并且，在复杂场景下，由于存在目标成像面积小、对比度低、场景复杂多变等因素，对目标的跟踪状态也并不稳定。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种目标长时跟踪方法、一种目标长时跟踪系统、一种存储介质以及一种电子终端，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种目标长时跟踪方法，包括：
接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；
获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；
根据所述第三跟踪信息对所述跟踪目标进行跟踪。
在本公开的一种示例性实施例中，所述融合模块输出第三跟踪信息包括：
判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否大于一预设值；
在判断所述重合率大于预设值时，将所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标区域合并生成第三跟踪信息。
在本公开的一种示例性实施例中，所述融合模块输出第三跟踪信息包括：
判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否大于一预设值；
在判断所述重合率小于预设值时，将所述第一跟踪信息作为第三跟踪信息。
在本公开的一种示例性实施例中，所述在判断所述重合率小于预设值时，将所述第一跟踪信息作为第三跟踪信息后，所述目标长时跟踪方法还包括：
判断所述当前帧图像之后连续n帧图像中所述跟踪目标的偏移量是否小于一预设值；
在判断该偏移量小于预设值后，将所述连续n帧图像中的第二跟踪信息作为第三跟踪信息。
在本公开的一种示例性实施例中，所述融合模块输出第三跟踪信息包括：
当所述融合模块未接收到所述第一跟踪信息或所述第二跟踪信息时，以另一跟踪信息作为所述第三跟踪信息。
在本公开的一种示例性实施例中，所述获取所述跟踪目标在当前帧图像的第一跟踪信息包括：
截取跟踪视频的当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标并生成所述第一跟踪信息。
在本公开的一种示例性实施例中，所述计算各候选样本的最近邻相似度值包括：
根据一最近邻分类器依次计算各候选样本的最近邻相似度值；其中，所述最近邻分类器的建立包括：
以所述初始图像中所述跟踪目标中心点为中心，在预设范围内选取正样本和负样本；
根据所述正样本和负样本建立所述最近邻分类器。
在本公开的一种示例性实施例中，所述在预设范围内选取正样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
在本公开的一种示例性实施例中，所述在预设范围内选取负样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
在本公开的一种示例性实施例中，所述重叠率的计算方式为：
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
在本公开的一种示例性实施例中，所述根据所述正样本和负样本建立所述最近邻分类器包括：
对所述正样本及负样本归一化处理；
分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
在本公开的一种示例性实施例中，所述获取当前帧图像还包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
在本公开的一种示例性实施例中，上述跟踪方法还包括：
在预设范围内选取候选样本后，对所述候选样本进行归一化处理。
在本公开的一种示例性实施例中，所述检测模块获取对当前帧图像的第二跟踪信息包括：
获取连续的多帧图像；
分别在每帧图像中获取第一候选样本；
分别计算每帧图像的各所述第一候选样本的局部对比度，并分别从所述每帧图像中去除所述局部对比度小于对应的第一局部对比度阈值的所述第一候选样本，以得到所述每帧图像的第二候选样本；
根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标并生成所述第二跟踪信息。
在本公开的一种示例性实施例中，所述分别在每帧图像中获取第一候选样本包括：
分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像，并分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本。
在本公开的一种示例性实施例中，所述分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像包括：
根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元；
根据所述第一结构元分别对所述每帧图像进行形态学膨胀运算，以获取膨胀后的所述每帧图像；
根据所述第二结构元分别对膨胀后的所述每帧图像进行腐蚀运算，以获取所述每帧图像的背景图像；
分别将所述每帧图像的背景图像与所述每帧图像进行差分，以获取所述每帧图像的灰度图像；
根据所述每帧图像的灰度阈值分别将对应的所述每帧图像的灰度图像转化为二值图像。
在本公开的一种示例性实施例中，所述分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本包括：
分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本。
在本公开的一种示例性实施例中，在所述分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本之后还包括：
分别从所述每帧图像中去除面积小于一预设面积的所述第一候选样本。
在本公开的一种示例性实施例中，所述根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标包括：
在所述每帧图像均包括一个所述第二候选样本时，判断相邻的两帧图像中的所述第二候选样本之间距离是否小于预设距离；
在判断相邻的两帧图像中的所述第二候选样本之间距离小于预设距离时，将所述第二候选样本确定为所述跟踪目标。
在本公开的一种示例性实施例中，所述根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标包括：
在至少一帧图像包括多个所述第二候选样本时，将相邻的两帧图像中具有最小欧式距离且所述局部对比度最接近的所述第二候选样本确定为所述跟踪目标。
根据本公开的第二方面，提供一种目标长时跟踪系统，包括：
跟踪模块，用于接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪，并对当前帧图像生成第一跟踪信息；
检测模块，用于根据一跟踪视频获取跟踪目标，并对当前帧图像生成第二跟踪信息；
融合模块，用于结合所述第一跟踪信息及所述第二跟踪信息输出第三跟踪信息，并根据所述第三跟踪信息对所述跟踪目标进行跟踪。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的目标长时跟踪方法。
根据本公开的第四方面，提供一种电子终端，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行以下操作：
接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；
获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；
根据所述第三跟踪信息对所述跟踪目标进行跟踪。
本公开的一种实施例所提供的目标长时跟踪方法中，通过利用一融合模块将第一跟踪信息及第二跟踪信息中跟踪目标的数据进行结合及比对，最终输出更为准确的第三跟踪信息，从而实现对目标的长时间稳定跟踪。并且，通过将第一跟踪信息及第二跟踪信息结合判断，使得第三跟踪信息中跟踪目标的位置信息更加精准。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种目标长时跟踪方法示意图；
图2示意性示出本公开示例性实施例中一种跟踪模块跟踪方法示意图；
图3示意性示出本公开示例性实施例中一种检测模块检测方法示意图；
图4示意性示出本公开示例性实施例中一帧图像的第一跟踪信息；
图5示意性示出本公开示例性实施例中一帧图像的第二跟踪信息；
图6示意性示出本公开示例性实施例另一帧图像的第一跟踪信息；
图7示意性示出本公开示例性实施例另一帧图像的第二跟踪信息；
图8示意性示出本公开示例性实施例再一帧图像的第一跟踪信息；
图9示意性示出本公开示例性实施例再一帧图像的第二跟踪信息；
图10示意性示出本公开示例性实施例中另外一帧图像的第一跟踪信息；
图11示意性示出本公开示例性实施例中另外一帧图像的第二跟踪信息；
图12示意性示出本公开示例性实施例中一种目标长时跟踪系统组成示意图；
图13示意性示出本公开示例性实施例中一种目标长时跟踪装置的一种示意图；
图14示意性示出本公开示例性实施例中一种目标长时跟踪装置的再一种示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种目标长时跟踪方法，可以应用于军用或民用领域中对于目标的长时间跟踪或预警。能够实现对侦测距离较远，跟踪目标成像对比度低、跟踪目标成像尺寸小的目标进行长时间的稳定跟踪，即实现对“低小慢”目标的长时间稳定跟踪。例如对无人机、直升机或侦察机等飞行器的长时间跟踪。参考图1中所示，上述的目标长时跟踪方法可以包括以下步骤：
S1，接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；
S2，获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧图像的第二跟踪信息输出第三跟踪信息；
S3，根据所述第三跟踪信息对所述跟踪目标进行跟踪。
本示例实施方式所提供的通过利用一融合模块将第一跟踪信息及第二跟踪信息中跟踪目标的数据进行结合及比对，最终输出更为准确的第三跟踪信息，从而实现对目标的长时间稳定跟踪。并且，通过将第一跟踪信息及第二跟踪信息结合判断，使得第三跟踪信息中跟踪目标的位置信息更加精准。
下面，将结合附图及实施例对本示例实施方式中的目标长时跟踪方法的各个步骤进行更详细的说明。
步骤S1，接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪。
本示例实施方式中，可以提供一跟踪模块，该跟踪模块可以用于接收检测模块的跟踪目标初始信息，并根据该初始信息开始对所述跟踪目标进行跟踪。
步骤S2，获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息。
本示例实施方式中，上述的获取所述跟踪目标在当前帧图像的第一跟踪信息可以由所述跟踪模块来实现，参考图2所示，可以包括：
步骤a1，截取跟踪视频的当前帧图像；
步骤a2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
步骤a3，计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标并生成所述第一跟踪信息。
步骤Sa1，获取当前帧图像。
本示例实施方式中，在初次跟踪时，可以接收包含所述初始图像的跟踪视频，以及检测模块发送的一包含跟踪目标信息的初始图像。该初始图像中可以包含所述跟踪目标的坐标信息及跟踪目标的信息，例如所述跟踪目标中心点坐标以及跟踪目标的宽度、高度等信息。
根据接收的该初始图像中所包含的跟踪目标的信息可以对所述跟踪目标开始进行跟踪，并作为后续各帧图像中跟踪目位置信息判断的初始化图像。跟踪目标可以由方框标识。同时，依次截取所述跟踪视频中的每一帧画面，并依次对每一帧图像进行跟踪目标位置的判断。
步骤Sa2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本。
本示例实施方式中，在开始跟踪后，在对第n帧图像中进行跟踪时(n>1)，首先获取跟踪目标在第n-1帧图像中跟踪目标的中心点位置，在当前帧图像中以该中心点位置为中心，在一预设大小的邻域范围内按照步长为1、窗口大小与第n-1帧图像中所述跟踪目标大小相等的方式滑窗选取窗口作为候选样本。
举例而言，在初次跟踪时，在第二帧图像时，在第二帧图像上以跟踪目标在初始图像上中心点的坐标为中心，在21*21大小的邻域范围内选取候选样本，便可以获取共441个候选样本。在本公开的其他示例性实施方式中，也可以根据具体情况选择不同大小的邻域范围，以及其他选取方式对窗口进行选取，本公开对此不作特殊限定。
基于上述内容，上述在预设范围内选取候选样本之后，可以对候选样本进行归一化处理，将各候选样本中的像素值范围全部转化到0-1之间。通过对候选样本进行归一化处理，使候选样本的选择可以不受光照变化的影响，进而使本实施例所提供的跟踪方法对光照变化具有鲁棒性。
步骤Sa3，计算各候选样本的最近邻相似度。
本示例实施方式中，上述的计算最近邻相似度具体可以包括：
步骤Sa31，根据所述初始图像中所述跟踪目标为中心，在预设范围内选取正样本和负样本；
步骤Sa32，根据所述正样本和负样本建立所述最近邻分类器；
步骤Sa33，根据所述最近邻分类器依次计算各候选样本的最近邻相似度值。
举例来说，上述的步骤Sa31中在预设范围内选取正样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
上述的在预设范围内选取负样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
对于上述重叠率IoU可以具有如下定义：
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
举例来说，在初始帧图像上以目标中心点为中心、11*11大小的邻域内按照步长为1、窗口大小与目标大小相等的方式滑窗选取121个第一窗口。随后，计算每个第一窗口与目标区域的重叠率，将重叠率大于0.8的第一窗口作为最终的正样本。
在初始帧图像上以目标中心点为中心，半径在5到30之间的区域内随机挑选出300个与目标大小相等的第二窗口。随后，计算每个第二窗口与目标的重叠率，将重叠率小于0.2的第二窗口作为最终的负样本。
上述的步骤Sa32具体可以包括：
Sa321，对所述正样本及负样本归一化处理。
Sa322，分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
在本示例性实施方式中，考虑到跟踪目标在飞行的过程中可能会受到光照变化的影响，因此在建立最近邻分类器之前，对得到的所有正、负样本进行归一化，将其像素值范围变换到0-1之间。从而使正、负样本与候选样本的像素值均在0-1之间，进而在求解候选样本的最近邻相似度的时与正、负样本对应。进而保证跟踪方法的稳定性。
具体来说，对于上述归一化后正样本和负样本的均值向量的求解具体可以包括以下内容：
设归一化后的正样本集为Pex＝{px1,px2,...,pxm}，归一化后的负样本集为Nex＝{nx1,nx2,...,nxk}，则归一化后的正样本和负样本的均值向量为：
其中，分别表示归一化后正样本和负样本的均值向量；m、k分别表示归一化后正、负样本的个数，pxi、nxj分别表示归一化后第i个正样本和第j个负样本。
基于上述内容，则最近邻分类器的建立如下：
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
其求解方式如下：
其中，和分别表示候选样本xi与的归一化互相关系数值(NCC)。
选取正、负样本时，首先采用滑窗的方式逐个选取，随后利用每个窗口与目标的重叠率来来进一步剔除不合适的正、负样本，降低了计算复杂度，提高了正、负样本的质量，保证了最近邻分类器的质量和有效性。
步骤Sa4，选取最近邻相似度值最大的所述候选样本作为所述跟踪目标在所述当前帧图像的位置。
在本示例性实施方式中，通过最近邻分类器分别计算每个候选样本的最近邻相似度值(NNS)，挑选出NNS值最大的候选样本，该候选样本所在位置即为当前帧图像中目标最可能出现的位置。
举例来说，将上述的441个候选样本分别输入到上述步骤中建立的最近邻分类器中，计算每个候选样本的最近邻相似度值。NNS值越大表示该候选样本属于目标的可能越大。因此，在所有候选样本中挑选出NNS值最大的候选样本，此时该候选样本最有可能是跟踪目标，即其所在位置为当前帧目标最可能出现的位置。
进一步的，为了保证最近邻分类器能够适应复杂背景的变化，从而保证各帧图像上所述跟踪目标判断的准确性，上述的跟踪方法还可包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
具体来说，由于实际场景中目标距离探测器较远，目标成像模糊，并且目标尺寸、形状较小，对比度较低，因此为了避免跟踪过程中漂移现象的发生，可以采取不更新正样本、只更新负样本的方式来更新最近邻分类器。例如，采用每5、8、10或15帧更新一次负样本，正样本不更新的方式更新最近邻分类器，从而在保证跟踪精度的同时避免了漂移。在更新最近邻分类器后，重复步骤S1-S4，直至跟踪停止。
举例来说，令m＝5、8、10或15，当n＝1时，即跟踪到第5、8、10或15帧图像，当前帧图像为当前循环的最后一帧，当前帧图像仍然使用当前的最近邻分类器。但此时可以在当前帧图像上重新选取负样本，并根据上述的正样本和新生成的负样本重新建立最近邻分类器，并将更新后的最近邻分类器应用于下一循环中，即第6、9、11或16帧中。
基于上述内容，为了适应跟踪目标的运动变化及跟踪目标所在背景区域的变化，在判断跟踪图像到达一循环时，还可以对候选样本的采样范围进行适应性修正。例如，可以根据跟踪目标的运动变化对候选目标的采样范围进行扩大或缩小。或者根据背景的变化，将候选目标的采样范围边界修正为圆形、矩形、椭圆形或不规则边界。具体修正方式可以根据实时情况具体调整，本公开对此不作特殊限定。
上述的检测模块对当前帧图像的第二跟踪信息可以通过以下方法获取，参考图3所示，检测方法包括：
步骤Sb1，获取连续的多帧图像；
步骤Sb2，分别在每帧图像中获取第一候选样本；
步骤Sb3，分别计算每帧图像的各所述第一候选样本的局部对比度，并分别从所述每帧图像中去除所述局部对比度小于对应的第一局部对比度阈值的所述第一候选样本，以得到所述每帧图像的第二候选样本；
步骤Sb4，根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标。
步骤Sb1中，获取连续的多帧图像。
在本示例性实施例中，在对跟踪目标进行检测的过程中，可以截取一跟踪视频的连续多帧图像。所述连续的多帧图像可以为连续的3帧图像，还可以为连续的4帧图像，本示例性实施例对此不作特殊限定。
在步骤Sb2中，分别在每帧图像中获取第一候选样本。
在本示例性实施例中，所述分别在每帧图像中获取第一候选样本可以包括：分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像，并分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本。
具体的，所述分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像可以包括以下步骤：
步骤Sb21，根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元。
在本示例性实施例中，所述先验尺寸指跟踪目标的大小，即跟踪目标的长、宽、高。根据跟踪目标的大小的上限生成第一结构元Ed和第二结构元Ee。所述第一结构元Ed和第二结构元Ee的结构均为M*N的矩阵，其中矩阵中的元素可以为0和/或1。举例说明，第一结构元Ed可以为7*15的矩阵，即：
第二结构元Ee可以为7*15的矩阵，即：
需要说明的是，所述第一结构元Ed与第二机构元Ee的结构相同，但第一结构元Ed中的元素和第二结构元Ee中的元素可以相同也可以不同。
步骤Sb22，根据所述第一结构元分别对所述每帧图像进行形态学膨胀运算，以获取膨胀后的所述每帧图像。
在本示例性实施例中，根据第一结构元对每帧图像进行形态学膨胀运算之后，每帧图像中的第一候选样本变暗，而第一候样本周围变亮。
步骤Sb23，根据所述第二结构元分别对膨胀后的所述每帧图像进行腐蚀运算，以获取所述每帧图像的背景图像。
在本示例性实施例中，为了获取每帧图像的背景图像，需要将每帧图像中的第一候选样本周围变暗，因此，根据第二结构元对膨胀后的每帧图像进行腐蚀，以降低第一候选样本周围的亮度，进而得到每帧图像的背景图像。
步骤Sb24，分别将所述每帧图像的背景图像与所述每帧图像进行差分，以获取所述每帧图像的灰度图像。
在本示例性实施例中，分别将每帧图像的背景图像与与其对应的每帧图像进行差分，以得到每帧图像的灰度图像。
步骤Sb25，根据所述每帧图像的灰度阈值分别将对应的所述每帧图像的灰度图像转化为二值图像。
在本示例性实施例中，分别将每帧图像的灰度图像中的各像素的灰度值与对应的灰度阈值进行比较，将灰度值大于灰度阈值的像素标记为1，将灰度值小于灰度阈值的像素标记为0，以将每帧图像的灰度图像转化为二值图像。所述每帧图像的灰度阈值计算公式为：
Threshold(x，y)i＝1/3*max(IDE(x,y))i
其中，Threshold(x，y)i为第i帧图像的灰度阈值，max(IDE(x,y))i为第i帧图像的最大灰度值。
由于实际场景复杂多变，对比度有高有低，因此，通过上式计算每帧图像的灰度阈值，以根据每帧图像的灰度阈值获取到准确的二值图像。
综上所述，根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元以及根据第一结构元和第二结构元分别对所述每帧图像进行膨胀运算和腐蚀运算，以滤除绝大部分背景的干扰，提高第一候选样本的准确性，从而提高了检测的准确率。
基于此，所述分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本可以包括：分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本。
在本示例性实施例中，依次分别根据各标记为1的像素在每帧图像的二值图像中的位置，将每帧图像的二值图像中距离最近的标记为1的像素进行合并，该合并后的区域即为每帧图像对应的第一候选样本，以及根据每帧图像的二值图像中的合并后的区域的个数确定每帧图像对应的第一候选样本的数量。需要说明的是，每帧图像对应的第一候选样本的数量可以相同，也可以不同，此外，在一帧图像中的第一候选样本的数量可以为0个，也可以为1个或者更多，本示例性实施例对此不作特殊限定。
目前，常用的获取第一候选样本的方法是通过对二值图像进行连通域分析，即在整幅二值图像中进行遍历，在遍历到某个像素的标记为1时，判断与该标记为1的像素相邻的像素的标记是否为1，若为1，合并与其相邻的像素，基于此，需要对整幅二值图像进行遍历，计算量大，效率低，且不利于嵌入式平台的实现。而本公开通过对二值图像进行聚类分析获取第一候选样本，即根据各标记为1的像素在二值图像中的位置，直接将距离最近的标记为1的像素进行合并，不需要对整幅二值图像进行遍历，因此，计算量小，效率高，且利于硬件实现。
为了去除不符合要求的第一候选样本，减少系统的计算量，并提高检测效率和检测的准确率。在所述分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本之后还可以包括：分别从所述每帧图像中去除面积小于一预设面积的所述第一候选样本。
在本示例性实施例中，所述预设面积可以根据跟踪目标的大小进行确定，由于从不同角度拍摄到的跟踪目标的大小可能不一样，因此，此处的预设面积可以根据跟踪目标的大小的下线进行设置，以确保将不符合要求的第一候选样本去除出去，同时也避免误将符合要求的第一候选样本去除出去。例如，在跟踪目标的最小大小为两个像素时，预设面积设置为两个像素，即将小于两个像素的第一候选目标去除掉。
在步骤Sb3中，分别计算每帧图像的各所述第一候选样本的局部对比度，并分别从所述每帧图像中去除所述局部对比度小于对应的第一局部对比度阈值的所述第一候选样本，以得到所述每帧图像的第二候选样本。
在本示例性实施例中，所述第一候选样本的局部对比度的计算公式为：
其中：C为所述局部对比度，max(st)为所述第一候选样本中像素的最大灰度值，max(sn)为所述第一候选样本邻域中像素的最大灰度值，min(sn)为所述第一候选样本邻域中像素的最小灰度值，ε为调整函数。
以3帧图像为例对分别计算每帧图像的各所述第一候选样本的局部对比度进行说明。首先，计算第一帧图像中的各第一候选样本的局部对比度，具体的计算过程如下：获取第一帧图像中的各第一候选样本中像素的最大灰度值；获取第一帧图像中的各第一候选样本邻域中像素的最大灰度值；根据分别计算第一帧图像中的各第一候选样本的局部对比度。然后，依次根据上述过程分别计算第二帧图像中的各第一候选样本的局部对比度以及第三帧图像中的各第一候选样本的局部对比度。
所述第一局部对比度阈值的计算公式为：其中，Tc(i)为与第i帧图像对应的第一局部对比度阈值，(i)为第i帧图像中的第一候选样本的局部对比度的均值，(i)为第i帧图像中的第一候选样本的局部对比度的标准差，k为常数。
由上可知，分别从所述每帧图像中去除所述局部对比度小于对应的第一局部对比度阈值的所述第一候选样本，大大的减少了每帧图像对象的第一候选样本的数量，减少了系统的计算量，从而提高了检效率和检测准确率，且更容易硬件实现。
在步骤Sb4中，根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标。
在本示例性实施例中，所述相邻帧间跟踪目标的运动连续性指相邻帧间跟踪目标之间的距离不会太大，且相邻帧间跟踪目标的局部对比度的变化也不大。基于此，可以根据每帧图像中的第二候选目标之间的距离和局部对比度确定跟踪目标。
例如，在所述每帧图像均包括一个所述第二候选样本时，判断相邻的两帧图像中的所述第二候选样本之间距离是否小于预设距离；在判断相邻的两帧图像中的所述第二候选样本之间距离小于预设距离时，将所述第二候选样本确定为所述跟踪目标。所述预设距离可以根据跟踪目标的运动速度进行确定。
再例如，在至少一帧图像包括多个所述第二候选样本时，将相邻的两帧图像中具有最小欧式距离且所述局部对比度最接近的所述第二候选样本确定为所述跟踪目标。需要说明是，由于最小欧氏距离的计算过程为公知技术，因此，此处不再赘述。
由上可知，根据相邻帧间跟踪目标的运动连续性确定所述跟踪目标的方法更加简单，且易于实现。
当然，在本公开的其他示例性实施方式中，上述的检测模块也可以应用其他检测方法对跟踪视频进行检测，并获取当前帧图像的第二跟踪信息。本公开对此不作特殊限定。
在步骤S2中，在所述融合模块接收跟踪模块对当前帧图像的第一跟踪信息，以及检测模块对当前帧图像的第二跟踪信息后，将所述第一跟踪信息及第二跟踪信息中跟踪目标的信息进行对比和判断，具体可以包括：
判断是否满足第一判断条件：判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否大于一预设值；
在判断所述重合率大于预设值时，将所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标区域合并生成第三跟踪信息。
在本示例方式中，在检测模块存在有效的检测结果，跟踪模正常跟踪时，且检测模块的第二跟踪信息与跟踪模块的第一跟踪信息中对跟踪目标的检测结果有部分重合，经判断重合率大于或等于预设值，此时判断为第一跟踪信息和第二跟踪信息均正确。则将第一跟踪信息和第二跟踪信息合并的区域作为最终的第三跟踪信息，并输出至跟踪模块，以便于跟踪模块根据当前帧图像的第三跟踪信息对下一帧图像进行跟踪。
上述的重合率可以通过下式计算：
其中，Rt为第一跟踪信息中跟踪目标区域，Rc为第二跟踪信息中跟踪目标区域。
在本公开的其他示例中，上述的步骤S2也可以包括：
判断是否满足第二判断条件：判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否小于一预设值；
在判断所述重合率小于预设值时，将所述第一跟踪信息作为第三跟踪信息。
在检测模块可以输出当前帧图像中跟踪目标的第二跟踪信息，且跟踪模块跟踪状态正常，可以输出当前帧图像中跟踪目标的第一跟踪信息，第一跟踪信息与第二跟踪信息中对跟踪目标的检测结果有部分重合，但是经判断重合率小于预设值，此时可能出现两种情况：
(1)检测模块出现误检；
(2)跟踪模块出现误判。
综合两种情况，无法确定最终的输出结果。此时可以先以跟踪模块的结果为主，以第一跟踪信息作为最终的第三跟踪信息。
基于上述内容，在出现判断结果满足上述的第二判断条件时，上述跟踪方法还可以包括：
判断所述当前帧图像之后连续n帧图像中所述跟踪目标的偏移量是否小于一预设值；
在判断该偏移量小于预设值后，将所述连续n帧图像中的第二跟踪信息作为第三跟踪信息；其中，n＞1。
设(x1,y1),(x2,y2),(x3,y3)分别表示跟踪模块对当前帧图像后续连续三帧图像中跟踪目标的中心位置，连续两帧目标中心位置的偏移量其定义如下：
其中，d1表示后续第一帧与第二帧跟踪目标中心位置的偏移量，d2表示后续第三帧与第二帧跟踪目标中心位置的偏移量。
若d1＜2,d2＜2，则表明连续3帧图像中跟踪结果基本没有发生变化，此时可以确定为跟踪模块跟踪丢失。此时可以将检测模块输出的第二跟踪信息作为最终的第三跟踪信息输出。同时，可以使跟踪模块重新接收检测模块的第二跟踪信息并作为新的初始跟踪信息重新开始跟踪。
在本公开的其他示例中，上述的步骤S2还可以包括：
当所述融合模块未接收到所述第一跟踪信息或所述第二跟踪信息时，以另一跟踪信息作为所述第三跟踪信息。
举例来说，可以判断是否满足第三判断条件：若跟踪模块状态正常并输出第一跟踪信息；检测模块检测失败未输出第二跟踪信息，此时以跟踪模块的第一跟踪信息作为最终的第三跟踪信息。
此时考虑是否出现以下两种情况：
(1)目标正常跟踪，但检测模块出现漏检；
(2)跟踪错误，而检测模块认为没有目标出现。
基于跟踪模块的准确率较高(准确率＞95％)，第二种情况出现的概率较低。因此，可以认为以第一种情况为主，认为跟踪模块的跟踪信息正确。
另外，还可以判断是否满足第四判断条件：若跟踪模块判断为跟踪丢失，判断检测模块是否输出第二跟踪信息。若检测模块未检测到跟踪目标，未输出第二跟踪信息，则不输出最终的第三跟踪信息；若检测模块输出有第二跟踪信息，则将第二跟踪信息作为最终的第三跟踪信息。同时，可以将该第三跟踪信息发送至跟踪模块，以便于跟踪模块根据该第三跟踪信息对后续图像进行跟踪。
通过设置融合模块，对检测模块和跟踪模块输出的跟踪信息进行对比和判断，最终生成对跟踪目标的准确跟踪信息，并根据不同情形设置跟踪策略，从而能够实现对低空弱小慢目标的长时间稳定跟踪。
为了验证本公开所归功的目标长时跟踪方法在不同实际场景中对弱小慢目标跟踪的准确性，采用实际场景数据进行测试，场景中跟踪目标为无人机。参考图4-11为四组跟踪模块的跟踪信息和检测模块的跟踪信息。
参考图4、5所示，分别对应跟踪视频中某帧的跟踪模块对跟踪目标的跟踪结果和检测模块对跟踪目标的跟踪结果。此时，跟踪模块的第一跟踪信息和检测模块的第二跟踪信息均正确，则将这两个跟踪信息合并起来，作为最终的目标输出。
参考图6、7所示，分别对应跟踪视频中另一帧图像的跟踪模块对跟踪目标的跟踪结果和检测模块对跟踪目标的跟踪结果，此时跟踪模块存在跟踪信息，但是检测模块却没有检测到目标，则将跟踪模块输出的跟踪信息作为最终的目标输出。
参考图8、9所示，分别对应跟踪视频中再一帧图像的跟踪模块对跟踪目标的跟踪结果和检测模块对跟踪目标的跟踪结果。此时，无人机被遮挡，跟踪模块错跟到树梢上，跟踪模块发生跟踪错误。而此时检测模块无输出。对于这种情况，先以跟踪模块的跟踪信息为主，同时判断接下来几帧跟踪结果是否发生变化，若跟踪到的目标在位置上基本无变化，则认为跟踪错误。此时，若检测模块也无输出跟踪信息，则无第三跟踪信息输出。否则，将检测模块在当前帧的的第二跟踪信息作为最终的目标输出。
参考图10、11所示，分别对应跟踪视频中另一帧图像中的跟踪模块对跟踪目标的跟踪结果和检测模块对跟踪目标的跟踪结果。此时，跟踪目标已经被完全遮挡，此时跟踪模块和检测模块都没有输出跟踪信息，则不输出第三跟踪信息。
根据上述的具体实例可以说明，本公开所提供的跟踪方法能够对当前帧图像中的跟踪目标作为准确判断，可以实现低空背景下弱小慢目标的长时间跟踪。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图12所示，本示例的实施方式中还提供目标长时跟踪系统2，包括：跟踪模块21、检测模块22以及融合模块23。其中：
所述跟踪模块21可以用于接收一检测模块22的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪，并对当前帧图像生成第一跟踪信息。
所述检测模块22可以用于根据一跟踪视频获取跟踪目标，并对当前帧图像生成第二跟踪信息。
所述融合模块23可以用于结合所述第一跟踪信息及所述第二跟踪信息输出第三跟踪信息，并根据所述第三跟踪信息对所述跟踪目标进行跟踪。
上述的目标长时跟踪系统中各模块的具体细节已经在对应的目标长时跟踪方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图13来描述根据本发明的这种实施方式的电子设备600。图13显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S1：接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；步骤S2：获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；步骤S3：根据所述第三跟踪信息对所述跟踪目标进行跟踪。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图14所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (23)

1.一种目标长时跟踪方法，其特征在于，包括：
接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；
获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；
根据所述第三跟踪信息对所述跟踪目标进行跟踪。
2.根据权利要求1所述的目标长时跟踪方法，其特征在于，所述融合模块输出第三跟踪信息包括：
判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否大于一预设值；
在判断所述重合率大于预设值时，将所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标区域合并生成第三跟踪信息。
3.根据权利要求1所述的目标长时跟踪方法，其特征在于，所述融合模块输出第三跟踪信息包括：
判断所述第一跟踪信息与所述第二跟踪信息中所述跟踪目标的重合率是否小于一预设值；
在判断所述重合率小于预设值时，将所述第一跟踪信息作为第三跟踪信息。
4.根据权利要求3所述的目标长时跟踪方法，其特征在于，所述在判断所述重合率小于预设值时，将所述第一跟踪信息作为第三跟踪信息后，所述目标长时跟踪方法还包括：
判断所述当前帧图像之后连续n帧图像中所述跟踪目标的偏移量是否小于一预设值；
在判断该偏移量小于预设值后，将所述连续n帧图像中的第二跟踪信息作为第三跟踪信息；其中，n＞1。
5.根据权利要求1所述的目标长时跟踪方法，其特征在于，所述融合模块输出第三跟踪信息包括：
当所述融合模块未接收到所述第一跟踪信息或所述第二跟踪信息时，以另一跟踪信息作为所述第三跟踪信息。
6.根据权利要求1所述的目标长时跟踪方法，其特征在于，所述获取所述跟踪目标在当前帧图像的第一跟踪信息包括：
截取跟踪视频的当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标并生成所述第一跟踪信息。
7.根据权利要求6所述的目标长时跟踪方法，其特征在于，所述计算各候选样本的最近邻相似度值包括：
根据一最近邻分类器依次计算各候选样本的最近邻相似度值；其中，所述最近邻分类器的建立包括：
以所述初始图像中所述跟踪目标中心点为中心，在预设范围内选取正样本和负样本；
根据所述正样本和负样本建立所述最近邻分类器。
8.根据权利要求7所述的目标长时跟踪方法，其特征在于，所述在预设范围内选取正样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
9.根据权利要求7所述的目标长时跟踪方法，其特征在于，所述在预设范围内选取负样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
10.根据权利要求8或9所述的目标长时跟踪方法，其特征在于，所述重叠率的计算方式为：
<mrow> <mi>I</mi> <mi>o</mi> <mi>U</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cap;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cup;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> </mfrac> </mrow>
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
11.根据权利要求7所述的目标长时跟踪方法，其特征在于，所述根据所述正样本和负样本建立所述最近邻分类器包括：
对所述正样本及负样本归一化处理；
分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
<mrow> <mi>N</mi> <mi>N</mi> <mi>S</mi> <mo>=</mo> <mfrac> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>N</mi> <mo>-</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>n</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
12.根据权利要求7所述的目标长时跟踪方法，其特征在于，所述获取当前帧图像还包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
13.根据权利要求7所述的目标长时跟踪方法，其特征在于，上述跟踪方法还包括：
在预设范围内选取候选样本后，对所述候选样本进行归一化处理。
14.根据权利要求1所述的目标长时跟踪方法，其特征在于，所述检测模块获取对当前帧图像的第二跟踪信息包括：
获取连续的多帧图像；
分别在每帧图像中获取第一候选样本；
分别计算每帧图像的各所述第一候选样本的局部对比度，并分别从所述每帧图像中去除所述局部对比度小于对应的第一局部对比度阈值的所述第一候选样本，以得到所述每帧图像的第二候选样本；
根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标并生成所述第二跟踪信息。
15.根据权利要求14所述的目标长时跟踪方法，其特征在于，所述分别在每帧图像中获取第一候选样本包括：
分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像，并分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本。
16.根据权利要求15所述的目标长时跟踪方法，其特征在于，所述分别对所述每帧图像进行形态学变换以获取所述每帧图像的二值图像包括：
根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元；
根据所述第一结构元分别对所述每帧图像进行形态学膨胀运算，以获取膨胀后的所述每帧图像；
根据所述第二结构元分别对膨胀后的所述每帧图像进行腐蚀运算，以获取所述每帧图像的背景图像；
分别将所述每帧图像的背景图像与所述每帧图像进行差分，以获取所述每帧图像的灰度图像；
根据所述每帧图像的灰度阈值分别将对应的所述每帧图像的灰度图像转化为二值图像。
17.根据权利要求15所述的目标长时跟踪方法，其特征在于，所述分别在所述每帧图像的二值图像中获取所述每帧图像的第一候选样本包括：
分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本。
18.根据权利要求17所述的目标长时跟踪方法，其特征在于，在所述分别对所述每帧图像的二值图像进行聚类分析以获取所述每帧图像的第一候选样本之后还包括：
分别从所述每帧图像中去除面积小于一预设面积的所述第一候选样本。
19.根据权利要求14所述的目标长时跟踪方法，其特征在于，所述根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标包括：
在所述每帧图像均包括一个所述第二候选样本时，判断相邻的两帧图像中的所述第二候选样本之间距离是否小于预设距离；
在判断相邻的两帧图像中的所述第二候选样本之间距离小于预设距离时，将所述第二候选样本确定为所述跟踪目标。
20.根据权利要求14所述的目标长时跟踪方法，其特征在于，所述根据相邻帧间跟踪目标的运动连续性并结合所述每帧图像的第二候选样本确定所述跟踪目标包括：
在至少一帧图像包括多个所述第二候选样本时，将相邻的两帧图像中具有最小欧式距离且所述局部对比度最接近的所述第二候选样本确定为所述跟踪目标。
21.一种目标长时跟踪系统，其特征在于，包括：
跟踪模块，用于接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪，并对当前帧图像生成第一跟踪信息；
检测模块，用于根据一跟踪视频获取跟踪目标，并对当前帧图像生成第二跟踪信息；
融合模块，用于结合所述第一跟踪信息及所述第二跟踪信息输出第三跟踪信息，并根据所述第三跟踪信息对所述跟踪目标进行跟踪。
22.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至20中任一项所述的目标长时跟踪方法。
23.一种电子终端，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行以下操作：
接收一检测模块的跟踪目标初始信息，并根据该初始信息对所述跟踪目标开始跟踪；
获取所述跟踪目标在当前帧图像的第一跟踪信息，将当前帧图像的所述第一跟踪信息发送至一融合模块以便于该融合模块结合所述检测模块对当前帧的第二跟踪信息输出第三跟踪信息；
根据所述第三跟踪信息对所述跟踪目标进行跟踪。
CN201710952414.8A 2017-10-13 2017-10-13 目标长时跟踪方法及系统、存储介质及电子终端 Active CN107992790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710952414.8A CN107992790B (zh) 2017-10-13 2017-10-13 目标长时跟踪方法及系统、存储介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710952414.8A CN107992790B (zh) 2017-10-13 2017-10-13 目标长时跟踪方法及系统、存储介质及电子终端

Publications (2)

Publication Number Publication Date
CN107992790A true CN107992790A (zh) 2018-05-04
CN107992790B CN107992790B (zh) 2020-11-10

Family

ID=62028819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710952414.8A Active CN107992790B (zh) 2017-10-13 2017-10-13 目标长时跟踪方法及系统、存储介质及电子终端

Country Status (1)

Country Link
CN (1) CN107992790B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694724A (zh) * 2018-05-11 2018-10-23 西安天和防务技术股份有限公司 一种长时间目标跟踪方法
CN108898057A (zh) * 2018-05-25 2018-11-27 广州杰赛科技股份有限公司 跟踪目标检测的方法、装置、计算机设备和存储介质
CN109785358A (zh) * 2018-11-23 2019-05-21 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法
CN110428442A (zh) * 2019-08-07 2019-11-08 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统
CN110490902A (zh) * 2019-08-02 2019-11-22 西安天和防务技术股份有限公司 应用于智慧城市的目标跟踪方法、装置、计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104992453A (zh) * 2015-07-14 2015-10-21 国家电网公司 基于极限学习机的复杂背景下目标跟踪方法
CN105718841A (zh) * 2014-08-18 2016-06-29 无锡慧眼电子科技有限公司 一种对行人分类器实现动态更新的人数统计方法
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718841A (zh) * 2014-08-18 2016-06-29 无锡慧眼电子科技有限公司 一种对行人分类器实现动态更新的人数统计方法
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104992453A (zh) * 2015-07-14 2015-10-21 国家电网公司 基于极限学习机的复杂背景下目标跟踪方法
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李远征: "人体目标跟踪和表情识别中的若干问题研究", 《中国博士学位论文全文数据库信息科技辑》 *
许军毅: "光学卫星遥感图像舰船目标检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694724A (zh) * 2018-05-11 2018-10-23 西安天和防务技术股份有限公司 一种长时间目标跟踪方法
CN108898057A (zh) * 2018-05-25 2018-11-27 广州杰赛科技股份有限公司 跟踪目标检测的方法、装置、计算机设备和存储介质
CN109785358A (zh) * 2018-11-23 2019-05-21 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法
CN109785358B (zh) * 2018-11-23 2023-06-16 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法
CN110490902A (zh) * 2019-08-02 2019-11-22 西安天和防务技术股份有限公司 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN110490902B (zh) * 2019-08-02 2022-06-14 西安天和防务技术股份有限公司 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN110428442A (zh) * 2019-08-07 2019-11-08 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统
CN110428442B (zh) * 2019-08-07 2022-04-12 北京百度网讯科技有限公司 目标确定方法、目标确定系统和监控安防系统

Also Published As

Publication number Publication date
CN107992790B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN107886048B (zh) 目标跟踪方法及系统、存储介质及电子终端
CN107992790B (zh) 目标长时跟踪方法及系统、存储介质及电子终端
US11367313B2 (en) Method and apparatus for recognizing body movement
US11538232B2 (en) Tracker assisted image capture
CN109584276B (zh) 关键点检测方法、装置、设备及可读介质
US20190156144A1 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
US10796438B2 (en) Method and apparatus for tracking target profile in video
EP2660753B1 (en) Image processing method and apparatus
CN110874853B (zh) 目标运动的确定方法、装置、设备及存储介质
EP3985610A1 (en) Audio collection device positioning method and apparatus, and speaker recognition method and system
CN110706262B (zh) 图像处理方法、装置、设备及存储介质
CN107992791A (zh) 目标跟踪失效重检方法及装置、存储介质、电子设备
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN108010052A (zh) 复杂场景中的目标跟踪方法及系统、存储介质及电子终端
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN112907628A (zh) 视频目标追踪方法、装置、存储介质及电子设备
CN115359308B (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN111640134A (zh) 人脸跟踪方法、装置、计算机设备及其存储装置
CN109993767B (zh) 图像处理方法和系统
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN112507957B (zh) 一种车辆关联方法、装置、路侧设备及云控平台
CN115482248A (zh) 图像分割方法、装置、电子设备及存储介质
CN113989334A (zh) 一种视频移动对象的跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant