CN111127518B - 基于无人机的目标跟踪方法及装置 - Google Patents

基于无人机的目标跟踪方法及装置 Download PDF

Info

Publication number
CN111127518B
CN111127518B CN201911348703.2A CN201911348703A CN111127518B CN 111127518 B CN111127518 B CN 111127518B CN 201911348703 A CN201911348703 A CN 201911348703A CN 111127518 B CN111127518 B CN 111127518B
Authority
CN
China
Prior art keywords
target
tracking
image
area
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911348703.2A
Other languages
English (en)
Other versions
CN111127518A (zh
Inventor
张燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sprocomm Technologies Co ltd
Original Assignee
Shenzhen Sprocomm Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sprocomm Technologies Co ltd filed Critical Shenzhen Sprocomm Technologies Co ltd
Priority to CN201911348703.2A priority Critical patent/CN111127518B/zh
Publication of CN111127518A publication Critical patent/CN111127518A/zh
Application granted granted Critical
Publication of CN111127518B publication Critical patent/CN111127518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种应用于无人机的目标跟踪方法及装置，所述方法包括，利用无人机携带的摄像头采集跟踪目标的图像；初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内。本发明的有益效果在于：能够实现对跟踪目标的精准定位追踪。

Description

基于无人机的目标跟踪方法及装置
技术领域
本发明涉及目标跟踪方法及装置，尤其是指一种基于无人机的目标跟踪方法及装置。
背景技术
跟踪和检测在无人机技术应用的许多方面起着重要作用。许多导航和跟踪问题需要精确的位置估计作为控制姿态调整信号。作为目标定位使用最广泛的工具，基于GPS的方法需要目标配备GPS的设备接收定位信号。尽管有要求配备额外的设备，基于GPS方法的性能在GPS受限制的环境中往往会衰减或无法工作(例如，室内和城市地区)。
近年来，提出了许多新颖的视觉跟踪方法并取得重大进展。然而由于在实际应用场景中存在许多复杂的因素，例如目标变形，瞬时运动，光照变化，严重遮挡等，使得长时间目标跟踪仍然是一个具有挑战性的问题。运动目标的检测跟踪技术方法很多，但一般的运动目标跟踪算法不适用于无人机视频中的运动目标检测跟踪，主要有以下几方面的原因：
1)计算量大，比较耗时，不适合实时的应用。
2)算法的通用性。无人机携带的摄像机拍摄的视频中目标的分辨率比较低，背景比较复杂，给视频处理带来一定困难。当前目标跟踪算法通常基于模板匹配或帧间差分法进行一般目标跟踪，但是一个简单的短期跟踪器不能有效地处理复杂的环境，且在目标跟踪失败的情况下没有任何处理机制，容易发生跟踪漂移。
发明内容
本发明所要解决的技术问题是：提供一种基于无人机的目标跟踪方法及装置，以实现对跟踪目标的精准追踪。
为了解决上述技术问题，本发明采用的技术方案为：一种应用于无人机的目标跟踪方法，包括以下步骤，
利用无人机携带的摄像头采集跟踪目标的图像；
初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内。
进一步的，所述初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度包括，
从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应。
进一步的，所述从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取包括，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
进一步的，所述的应用于无人机的目标跟踪方法，还包括，
在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测。
进一步的，所述在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测包括，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
一种应用于无人机的目标跟踪装置，所述目标跟踪装置包括，
图像采集模块，用于利用无人机携带的摄像头采集跟踪目标的图像；
目标位置预测模块，用于初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
云台调整模块，用于根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
目标距离测量模块，用于建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
目标追踪模块，用于通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内。
进一步的，所述目标位置预测模块包括，
特征提取单元，用于从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
特征训练单元，用于将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
目标位置预测单元，用于对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
相关滤波器更新单元，用于通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
目标尺度计算单元，当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应。
进一步的，所述特征提取单元具体用于，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
进一步的，所述目标跟踪装置还包括，
目标再检测单元，用于在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测。
进一步的，所述目标再检测单元具体用于，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
本发明的有益效果在于：通过预测出跟踪目标在图像位置和尺度，以此调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央，并测量摄像头与跟踪目标之间的距离，通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内，实现对跟踪目标的精准定位追踪，以此作为反馈信号，形成闭环控制，引导无人机的跟踪飞行。
附图说明
下面结合附图详述本发明的具体结构。
图1为本发明实施例的应用于无人机的目标跟踪方法流程图；
图2为本发明实施例的无人机多尺度长时间目标跟踪方法的实现框图；
图3为本发明实施例的核相关滤波跟踪器的处理流程图；
图4为本发明实施例的应用于无人机的目标跟踪装置框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，本发明第一实施例为：一种应用于无人机的目标跟踪方法，包括以下步骤，
S10、利用无人机携带的摄像头采集跟踪目标的图像；
S20、初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
S30、根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
S40、建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
S50、通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内。
如图2的无人机多尺度长时间目标跟踪方法的实现框图所示；
进一步的，所述初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度包括，
从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应。
进一步的，所述从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取包括，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
进一步的，所述的应用于无人机的目标跟踪方法，还包括，
在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测。
进一步的，所述在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测包括，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
本实施例中，技术实施细节如下：
(1)核相关滤波跟踪器
将核相关滤波器作为判别模型，它不需要正负样本就能训练跟踪器，并通过简单的增量学习更新模型。图3显示了核相关滤波器定位目标位置的流程。
通过先前帧训练脊回归作为判别模型(表示为w)，如下所示：
Figure BDA0002334106140000071
其中k表示帧索引，p表示帧数，αk表示第k帧的权重。
Figure BDA0002334106140000072
表示第k帧大小为W×H的特征图中(i,j)处的循环移位，(i,j)∈{0,...,W}×{0,...,H}，yij是服从高斯型回归目标。<·>表示点积运算，λ＞0是正则化参数。以上公式可以在频域内求解并加速，如下：
Figure BDA0002334106140000081
其中，W＝F(w)，F表示快速傅里叶变换(FFT)，判别模型W可以优化更新如下：
Figure BDA0002334106140000082
Figure BDA0002334106140000083
判别模型则表示为
Figure BDA0002334106140000084
其中η∈[0,1]为学习率，αk＝η(1-η)p-k。
用R表示在频域中特征块Z与跟踪模型W之间的相关图，如下：
R＝W⊙Z
对R进行逆快速傅里叶变换(IFFT)，得到r＝F-1(R)为空间域的相关响应图，其峰值为要追踪目标的新位置。
(2)跟踪置信度判断
由于目标在跟踪过程中会发生外观上的变化，而当前的模型只能含有之前时刻目标样本信息，不能很好的反映当前时刻目标的变化。当目标外观变化较大时，将会无法识别出目标，导致目标丢失；若快速更新目标模型，就会形成误差的积累，产生模型的漂移现象。因此，本发明提出了高置信度的模型更新策略，合理地更新目标模型，使得能够准确地适应目标的变化，同时避免模型漂移导致的跟踪失败。
本方法通过响应图的振荡程度来判断跟踪置信度，以此来避免错误的模型更新。
第一个置信度指标是响应图的最大值Fmax；
第二个置信度指标是平均峰值相关能量(APCE)，反应响应图的波动程度和检测目标的置信水平，计算公式如下：
Figure BDA0002334106140000091
其中Fmax，Fmin，Fw,h分别表示响应最高值、最低值和(w,h)位置上的响应值。
第三个置信度指标是峰值旁瓣比(PSR)，PSR通过相关滤波峰值，与11*11峰值窗口以外旁瓣的均值与标准差计算得到，计算公式如下：
Figure BDA0002334106140000092
其中，表示Fmax最大响应值，μs和σs分别表示在11*11峰值窗口以外旁瓣的均值与标准差。
这些判据可以反映响应图的振荡程度，当置信度指标值突然减小时，就是目标被遮挡，或者目标丢失的情况。只有当Fmax，APCE和PSR均高于设定阈值的时候，模型才进行更新，这样一来大大减少了模型漂移的情况，二来减少了模型更新的次数，达到了加速的效果。
(3)尺度估计
假设模板大小为sT＝(sx,sy)，定义尺度池为S＝{t1,t2,...,tk}。若前一帧图像中目标区域大小为st，当前帧图像中在跟踪器预测的目标位置基础上调整跟踪框的比例，共采样k个尺度的图像块{tist|ti∈S}，利用双线性插值法调整到固定模板大小sT，寻找使响应值最大的尺度，最后的响应的计算公式如下：
Figure BDA0002334106140000093
其中
Figure BDA0002334106140000094
表示原本大小为tist调整到大小为sT的样本图像块。响应值最大的尺度为当前帧图像中目标区域的尺度。
(4)目标再检测
目标再检测模块利用颜色直方图的贝叶斯算法作为分类器。在线训练目标检测模型，即统计前景目标和背景区域的颜色直方图并归一化，这就是前景和背景的颜色概率模型。目标再检测阶段，贝叶斯方法得到在搜索区域内属于目标区域的概率，得到像素级颜色概率图，再加上边缘相似颜色物体抑制就能得到目标的区域了。
贝叶斯方法判别每个像素属于前景或背景概率的计算公式如下：
Figure BDA0002334106140000101
其中
Figure BDA0002334106140000102
表示输入图像I中目标区域O的颜色直方图，
Figure BDA0002334106140000103
表示搜索区域S的颜色直方图，由以上公式得到的分离目标与背景的概率图。采用迭代非最大值抑制策略，丢弃其他重叠区域和干扰区域。当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
本实施例中，为使目标跟踪器能够长期正确跟踪，在相关滤波跟踪器的基础上，加入目标检测器，在发现跟踪出错的时候调用检测器重新检测目标并矫正跟踪器。
(1)本方法采用核相关滤波跟踪器，将样本变成循环矩阵，然后利用对角化和离散傅里叶变换的性质，大大缩减计算复杂度。同时该跟踪器提取目标的形状和颜色特征，降低了目标跟踪过程中受遮挡、形变、光照等因素的影响。相比其他跟踪算法速度快，效果好，具有很强的鲁棒性。
(2)现有跟踪算法大多具有尺度不变的缺点，而本方法引入快速尺度估计策略，使目标定位更精确。
(3)现有技术基本上是针对短期跟踪问题，但在无人机视频的目标跟踪应用中，希望正确跟踪时间长一点，即长时间跟踪。为此本方法提出自适应模型更新策略以及故障恢复机制。实时判断跟踪置信度，在跟踪失败的情况下，停止更新跟踪器模型并启动目标再检测模型，保证以跟踪为主，提高帧率。
如图4所示，本发明的第二实施例为：一种应用于无人机的目标跟踪装置，所述目标跟踪装置包括，
图像采集模块10，用于利用无人机携带的摄像头采集跟踪目标的图像；
目标位置预测模块20，用于初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
云台调整模块30，用于根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
目标距离测量模块40，用于建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
目标追踪模块50，用于通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内。
进一步的，所述目标位置预测模块20包括，
特征提取单元，用于从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
特征训练单元，用于将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
目标位置预测单元，用于对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
相关滤波器更新单元，用于通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
目标尺度计算单元，当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应。
进一步的，所述特征提取单元具体用于，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
进一步的，所述目标跟踪装置还包括，
目标再检测单元，用于在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测。
进一步的，所述目标再检测单元具体用于，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述应用于无人机的目标跟踪装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种应用于无人机的目标跟踪方法，其特征在于：包括以下步骤，
利用无人机携带的摄像头采集跟踪目标的图像；
初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内；
所述初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度包括，
从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应；
在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测；
所述在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测包括，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
2.如权利要求1所述的应用于无人机的目标跟踪方法，其特征在于：所述从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取包括，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
3.一种应用于无人机的目标跟踪装置，其特征在于：所述目标跟踪装置包括，
图像采集模块，用于利用无人机携带的摄像头采集跟踪目标的图像；
目标位置预测模块，用于初始化目标跟踪模型，实时预测跟踪目标在图像中的位置和尺度；
云台调整模块，用于根据跟踪目标在图像中的位置和尺度，调整摄像头云台的旋转和俯仰偏转角度，使跟踪目标保持在图像的中央；
目标距离测量模块，用于建立图像中的跟踪目标与现实环境中的跟踪目标的对应关系，以测量摄像头与跟踪目标之间的距离；
目标追踪模块，用于通过飞控系统控制无人机自主跟踪地面的跟踪目标，以使摄像头与跟踪目标保持在预设的距离范围内；
所述目标位置预测模块包括，
特征提取单元，用于从第一帧图像中，确定跟踪目标的所在的目标区域，对目标区域进行特征提取，提取的特征为形状和颜色特征；
特征训练单元，用于将提取的目标区域的特征进行训练，得到目标区域的相关滤波器；
目标位置预测单元，用于对第一帧图像后的每帧图像，裁剪每帧图像中由前一帧图像预测的候选目标区域，然后进行特征提取，将特征经cosine窗函数处理后，做快速傅里叶变换，然后与目标区域的相关滤波器相乘，将结果做逆快速傅里叶变换之后，最大响应点所在的区域即为跟踪目标所在目标区域的新位置；
相关滤波器更新单元，用于通过响应图的振荡程度判断跟踪结果的置信度，若置信度高于阈值，则用新位置的目标区域训练更新得到新的相关滤波器，用于之后的位置预测；
目标尺度计算单元，当前帧的跟踪置信度高于阈值时，在跟踪器预测的目标位置基础上通过调整跟踪框的比例来找到响应值最大的尺度，以实现尺度自适应；
目标再检测单元，用于在跟踪置信度高于阈值的情况下，在线训练目标检测模型；在跟踪置信度低于阈值的情况下，利用目标检测模型对目标进行再次检测；
所述目标再检测单元具体用于，
在跟踪置信度高于阈值的情况下，统计前景目标和背景区域的颜色直方图并归一化，得到前景和背景的颜色概率模型；
在跟踪置信度低于阈值的情况下，利用前景和背景的颜色概率模型对目标进行再次检测，即通过贝叶斯方法判别每个像素属于前景的概率，得到像素级颜色概率图；
对边缘相似颜色的跟踪目标抑制，得到候选的目标区域；
当检测得到的候选目标区域的最大响应值高于置信度阈值时，才采用检测的结果。
4.如权利要求3所述的应用于无人机的目标跟踪装置，其特征在于：所述特征提取单元具体用于，
在第一帧图像中，若待跟踪目标为用户点选，则用显著性检测算法获取目标区域；若待跟踪目标为用户框选，则对目标进行图像分割，取分割后最大连通区域的最小外接矩形与初始目标框的重叠区域为实际跟踪目标区域；
从给定的要跟踪的目标区域中提取出HOG和CN特征。
CN201911348703.2A 2019-12-24 2019-12-24 基于无人机的目标跟踪方法及装置 Active CN111127518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348703.2A CN111127518B (zh) 2019-12-24 2019-12-24 基于无人机的目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348703.2A CN111127518B (zh) 2019-12-24 2019-12-24 基于无人机的目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111127518A CN111127518A (zh) 2020-05-08
CN111127518B true CN111127518B (zh) 2023-04-14

Family

ID=70500375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348703.2A Active CN111127518B (zh) 2019-12-24 2019-12-24 基于无人机的目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN111127518B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111833378A (zh) * 2020-06-09 2020-10-27 天津大学 一种基于代理共享网络的多无人机单目标跟踪方法及装置
CN111798482B (zh) * 2020-06-16 2024-10-15 浙江大华技术股份有限公司 一种目标跟踪方法及设备
CN112001946A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种目标对象跟踪方法、计算机设备以及装置
CN111880575B (zh) * 2020-08-10 2023-03-24 重庆依塔大数据研究院有限公司 基于颜色追踪的控制方法、装置、存储介质及机器人
CN113139984B (zh) * 2020-09-18 2023-04-07 北京理工大学 检测与跟踪融合的长时间无人机目标跟踪方法及系统
CN113273174A (zh) * 2020-09-23 2021-08-17 深圳市大疆创新科技有限公司 待跟随目标的确定方法、装置、系统、设备及存储介质
WO2022088072A1 (zh) * 2020-10-30 2022-05-05 深圳市大疆创新科技有限公司 视觉跟踪方法、装置、可移动平台及计算机可读存储介质
CN112711274A (zh) * 2021-01-19 2021-04-27 四川一电航空技术有限公司 无人机控制方法、装置、无人机及计算机可读存储介质
CN114396940A (zh) * 2021-12-09 2022-04-26 浙江大华技术股份有限公司 监控设备的目标定位方法及装置
CN114708300B (zh) * 2022-03-02 2024-07-23 北京理工大学 一种可抗遮挡的自适应目标跟踪方法及系统
WO2023184086A1 (zh) * 2022-03-28 2023-10-05 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置、无人飞行器和存储介质
CN117237615B (zh) * 2023-11-14 2024-02-06 中国电子科技集团公司第十五研究所 一种监督目标定位方法和装置
CN118096822A (zh) * 2024-02-26 2024-05-28 兰州富美电子科技有限责任公司 一种空天地一体化轨迹识别与追踪系统
CN118134970B (zh) * 2024-05-06 2024-07-09 山西太重数智科技股份有限公司 基于图像识别的起重工和吊钩检测跟踪方法及系统
CN118466518A (zh) * 2024-07-09 2024-08-09 天津云圣智能科技有限责任公司 拍摄对象的无人机航拍方法、装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105549614A (zh) * 2015-12-17 2016-05-04 北京猎鹰无人机科技有限公司 无人机目标跟踪方法
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
JP2016220173A (ja) * 2015-05-26 2016-12-22 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
CN108734723A (zh) * 2018-05-11 2018-11-02 江南大学 一种基于自适应权重联合学习的相关滤波目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
JP2016220173A (ja) * 2015-05-26 2016-12-22 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN105549614A (zh) * 2015-12-17 2016-05-04 北京猎鹰无人机科技有限公司 无人机目标跟踪方法
CN108734723A (zh) * 2018-05-11 2018-11-02 江南大学 一种基于自适应权重联合学习的相关滤波目标跟踪方法

Also Published As

Publication number Publication date
CN111127518A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127518B (zh) 基于无人机的目标跟踪方法及装置
CN108921873B (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN108830879A (zh) 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
CN103927764B (zh) 一种结合目标信息和运动估计的车辆跟踪方法
CN108765458A (zh) 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法
CN110796676A (zh) 高置信度更新策略结合svm再检测技术的目标跟踪方法
CN108846854A (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
CN110033472B (zh) 一种复杂红外地面环境下的稳定目标跟踪方法
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN108364305B (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
CN114972735A (zh) 基于roi预测和多模块学习的抗遮挡移动目标跟踪装置及方法
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN111639570B (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN114241008B (zh) 一种适应场景和目标变化的长时区域跟踪方法
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
CN110472607A (zh) 一种船舶跟踪方法及系统
CN113311430B (zh) 蜂群无人机数量估计和航迹生成方法
CN113971684A (zh) 一种基于kcf和surf特征的实时鲁棒目标跟踪方法
CN113902773A (zh) 一种使用双检测器的长期目标跟踪方法
CN117576530A (zh) 基于运动与外观特征自适应融合的多目标关联与跟踪方法
CN106485283B (zh) 一种基于Online Boosting的粒子滤波行人目标跟踪方法
CN117036740A (zh) 一种用于运动目标的抗遮挡性跟踪方法
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230307

Address after: 518000 F1.6, 5D-506, Tianfa mansion, Tianan Che Kung Temple Industrial Zone, Shenzhen, Guangdong, 5D-506

Applicant after: SHENZHEN SPROCOMM TECHNOLOGIES Co.,Ltd.

Address before: 518000 4C401, 402, Tianfa Building, Tian'an Digital City, Tairan Fifth Road, Tian'an Community, Shatou Street, Futian District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN AREOX TECHNOLOGIES CO.,LTD.

GR01 Patent grant
GR01 Patent grant