CN111862155A - 一种针对目标遮挡的无人机单视觉目标跟踪方法 - Google Patents

一种针对目标遮挡的无人机单视觉目标跟踪方法 Download PDF

Info

Publication number
CN111862155A
CN111862155A CN202010674160.XA CN202010674160A CN111862155A CN 111862155 A CN111862155 A CN 111862155A CN 202010674160 A CN202010674160 A CN 202010674160A CN 111862155 A CN111862155 A CN 111862155A
Authority
CN
China
Prior art keywords
target
tracking
frame image
current frame
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010674160.XA
Other languages
English (en)
Other versions
CN111862155B (zh
Inventor
王雅涵
张泽勇
陈彦桥
柴兴华
彭会湘
张小龙
高峰
陈韬亦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202010674160.XA priority Critical patent/CN111862155B/zh
Publication of CN111862155A publication Critical patent/CN111862155A/zh
Application granted granted Critical
Publication of CN111862155B publication Critical patent/CN111862155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种针对目标遮挡的无人机单视觉目标跟踪方法，属于无人机目标跟踪技术领域。本发明针对无人机拍摄的图像序列，以传统KCF算法为基础，增加了目标遮挡判别机制，在发现目标被严重遮挡时进行目标的移动轨迹预测，并给出目标可能出现的区域，可实现目标快速重定位，保证持续跟踪。同时，本发明采用检测器更新策略，并仅在目标特征具有较高质量时才更新检测器，这样既保证了检测器的准确性又减少了更新次数，提高了运算效率。总之，本发明提高了现有算法针对跟踪目标遮挡时的准确性，是对现有技术的一种重要改进。

Description

一种针对目标遮挡的无人机单视觉目标跟踪方法
技术领域
本发明属于无人机目标跟踪技术领域，具体涉及一种针对目标遮挡的无人机单视觉目标跟踪方法。
技术背景
目标跟踪是机器视觉领域的一个重要研究方向，目标跟踪技术已经被广泛的应用在军事、工业等领域。单目标的目标跟踪任务主要是在某视频初始帧中给定跟踪目标位置与大小的情况下，预测后续帧中该目标的位置与大小，并在一段视频或图像序列中跟随该目标。
近年来，随着社会的进步与科技的发展，无人机在航拍、监控、安防、救灾等领域得到了广泛应用，使人类的社会生产生活更为方便、快捷。早期无人机的自动化程度不高，在各种场景的实际应用中多数都需要人为干预。然而，无人机的自动化程度是决定其能否在未来起到更大作用的决定性因素之一。随着无人机自动化工作需求的不断扩大，基于计算机视觉的无人机目标跟踪成为当下研究的热点之一，其主要包括图像处理中的目标检测跟踪技术和无人机飞行控制技术两个方面。
目前，目标跟踪领域的主流方法包括深度学习和相关滤波两类。基于深度学习的目标跟踪方法在跟踪精度上有一定的优势，但深度学习模型庞大，计算过程复杂导致实时性较差，难以在终端平台上部署。基于相关滤波的目标跟踪方法同时具备跟踪精度高和速度快的优势，在视觉跟踪领域应用广泛。但针对跟踪过程出现目标遮挡时，传统的相关滤波跟踪算法会出现跟踪丢失的问题，最终导致跟踪失败。因此，兼顾鲁棒性和实时性的目标跟踪方法是无人机平台的重点需求。
发明内容
有鉴于此，本发明提出一种针对目标遮挡的无人机单视觉目标跟踪方法，该方法以传统KCF算法为基础，增加了目标遮挡判别、目标位置预测、目标检测器更新策略等功能，提升了原算法在跟踪目标遮挡时的准确性，并适用于无人机平台计算资源有限的情况。
为实现上述目的，本发明采用的技术方案为：
一种针对目标遮挡的无人机单视觉目标跟踪方法，包括以下步骤：
步骤1：读取视频信息，指定跟踪目标并获取其位置坐标和目标框尺寸信息，结合当前帧图像，采用循环矩阵法获取目标在当前帧图像中的多个正负样本图像，对目标检测器进行初始化训练，其中目标检测器使用图像相关滤波方法，在目标跟踪过程中对跟踪目标进行检测定位；
步骤2：将当前帧图像的下一帧图像作为新的当前帧图像，并使用目标检测器进行处理，根据目标检测器得到的响应图的峰值判断跟踪目标是否被严重遮挡，若是，则转到步骤3，否则转到步骤5；
步骤3：判断是否存在连续b1帧图像，其中的跟踪目标均被严重遮挡，若是，则目标跟踪失败，转到步骤6，否则转到步骤4；b1的取值范围为30～100；
步骤4：根据跟踪目标的历史位置预测其移动轨迹，给出跟踪目标在当前帧图像中的预测位置，并以该预测位置作为跟踪目标在当前帧图像中的跟踪结果，然后转到步骤2；
步骤5：判断目标检测器得到的响应图的指标是否满足要求以及当前帧是否为偶数帧，响应图的指标包括峰值、平均峰相关能力测量值，如果满足要求则更新目标检测器，否则不更新，转到步骤2；
步骤6：在当前帧图像中对跟踪目标进行搜索，若搜索不到则将当前帧图像的下一帧图像作为新的当前帧图像并继续进行搜索，直至搜索到为止；此时，对搜索到的跟踪目标进行重新定位，然后转到步骤2。
进一步的，所述目标检测器的更新条件为，当前帧图像为连续帧目标跟踪过程中的偶数帧图像，且该帧图像的响应峰值大于阈值c1，平均峰相关能力测量值大于d1倍的历史平均峰相关能力测量值均值。
进一步的，所述步骤3中判断跟踪目标是否被严重遮挡的具体方式为：设定阈值a1，若目标检测器得到的响应峰值不小于a1倍的历史响应峰值均值，则跟踪目标未被严重遮挡，否则发生严重遮挡。
本发明与现有技术相比具有如下有益效果：
1、本发明采用目标检测器的响应峰值来对目标是否被遮挡进行判定，如果检测到目标被严重遮挡，则停止对检测器的训练，并使用历史目标位置进行当前跟踪目标位置预测，从而提高了跟踪目标重新锁定的概率。
2、本发明采用了一种检测器训练更新策略，该策略增加APCE判别指标，设定阈值c1和d1，只有在当前帧数为偶帧、检测器响应峰值大于阈值c1和APCE值大于历史APCE均值×d1时才对检测器进行更新训练，这种更新策略效果显著。
总之，本发明通过对KCF算法的改进，提升了原算法在跟踪目标发生遮挡及短暂消失时的可靠性，提高了算法的跟踪精度与成功率，为无人机平台计算资源受限的场景提供了一种较佳的单视觉目标跟踪方案。
附图说明
图1是本发明实施例中无人机单视觉目标跟踪方法的流程图。
图2是本发明实施例的实验结果图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行详细说明。
参照图1，一种针对目标遮挡的无人机单视觉目标跟踪方法，它包括以下步骤：
步骤1：获取跟踪目标，初始化目标检测器；
1.1读取视频信息，在视频的第一帧图像中获取跟踪目标的位置坐标(x,y)及目标框宽度width和高度height信息；
1.2以视频当前帧图像、跟踪目标位置及目标框信息，采用循环矩阵法获取目标在当前帧图像中的多个正负样本图像，初始化目标检测器；
步骤2：判断跟踪目标是否被遮挡；
2.1读取下一帧图像，在检测区域提取Hog特征，目标检测器获取响应图及响应峰值Fmax；
2.2根据响应峰值Fmax判断跟踪目标是否被遮挡，设定阈值a1＝0.6，具体判定方法如下；
1)当响应峰值Fmax大于历史响应峰值均值×a1时，表示跟踪目标未发生严重遮挡，则转到步骤5；
2)当响应峰值Fmax小于等于历史响应峰值均值×a1时，表示跟踪目标发生严重遮挡，转到步骤3。
步骤3：判断是否跟踪失败
3.1记录目标被遮挡的帧数count1，设定阈值b1＝60；
1)当count1<＝b1时，表示位置预测方法寻找被遮挡目标进行中，转到步骤4；
2)当count1>b1时，表示位置预测方法寻找被遮挡目标失败，转到步骤6；
步骤4：预测跟踪目标位置；
4.1计算跟踪目标的历史位置坐标差(Δx,Δy)的均值
Figure BDA0002583453710000041
4.2根据跟踪目标上一帧图像的位置坐标(xn-1,yn-1)，预测目标当前位置(xn,yn)的计算公式为：
Figure BDA0002583453710000042
4.3默认跟踪目标框的宽度和高度不变，对预测位置进行标记，转到步骤2；
步骤5：判断是否训练检测器
5.1根据目标检测器的最高响应值Fmax和平均峰相关能力测量值APCE(AveragePeak-to-Correlation Energy measure)两个参数判断是否训练检测器，其中参数APCE的计算公式为：
Figure BDA0002583453710000043
其中，Fmax、Fmin、Fw,h分别为响应最高、最低和(w,h)位置上的响应值；
5.2设定阈值c1＝0.45、d1＝0.4，在当前帧是偶数帧、响应峰值Fmax＞c1以及APCE值大于历史APCE均值×d1时，使用当前目标特征更新检测器。
步骤6：跟踪目标重定位
6.1依据目标第一帧的特征信息和丢失前一帧的位置及特征信息，采用基于视觉特征的时空关联目标重识别技术，对当前图像进行跟踪目标搜索，如果重新发现跟踪目标，则转到步骤1，否则重复步骤6，在下一帧图像中继续搜索。
图2给出了上述方法在跟踪目标发生严重遮挡时的实验结果，图2中(a)-(b)为目标未发生遮挡时的跟踪情况，(c)-(g)为目标发生严重遮挡时的位置预测效果图，(h)-(i)为目标重新出现时保证持续跟踪的效果图。
本发明针对无人机拍摄的图像序列，以传统KCF算法为基础，增加了目标遮挡判别机制，在发现目标被严重遮挡时进行目标的移动轨迹预测，并给出目标可能出现的区域，可实现目标快速重定位，保证持续跟踪。同时，本发明采用检测器更新策略，并仅在目标特征具有较高质量时才更新检测器，这样既保证了检测器的准确性又减少了更新次数，提高了运算效率。总之，本发明提高了现有算法针对跟踪目标遮挡时的准确性，是对现有技术的一种重要改进。
需要说明的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不能局限本发明的保护范围。凡运用本发明说明书及其附图内容所作的等效变化，均包含在本发明的保护范围之内。

Claims (3)

1.一种针对目标遮挡的无人机单视觉目标跟踪方法，其特征在于，包括以下步骤：
步骤1：读取视频信息，指定跟踪目标并获取其位置坐标和目标框尺寸信息，结合当前帧图像，采用循环矩阵法获取目标在当前帧图像中的多个正负样本图像，对目标检测器进行初始化训练，其中目标检测器使用图像相关滤波方法，在目标跟踪过程中对跟踪目标进行检测定位；
步骤2：将当前帧图像的下一帧图像作为新的当前帧图像，并使用目标检测器进行处理，根据目标检测器得到的响应图的峰值判断跟踪目标是否被严重遮挡，若是，则转到步骤3，否则转到步骤5；
步骤3：判断是否存在连续b1帧图像，其中的跟踪目标均被严重遮挡，若是，则目标跟踪失败，转到步骤6，否则转到步骤4；b1的取值范围为30～100；
步骤4：根据跟踪目标的历史位置预测其移动轨迹，给出跟踪目标在当前帧图像中的预测位置，并以该预测位置作为跟踪目标在当前帧图像中的跟踪结果，然后转到步骤2；
步骤5：判断目标检测器得到的响应图的指标是否满足要求以及当前帧是否为偶数帧，响应图的指标包括峰值、平均峰相关能力测量值，如果满足要求则更新目标检测器，否则不更新，转到步骤2；
步骤6：在当前帧图像中对跟踪目标进行搜索，若搜索不到则将当前帧图像的下一帧图像作为新的当前帧图像并继续进行搜索，直至搜索到为止；此时，对搜索到的跟踪目标进行重新定位，然后转到步骤2。
2.根据权利要求1所述的一种针对目标遮挡的无人机单视觉目标跟踪方法，其特征在于，所述目标检测器的更新条件为，当前帧图像为连续帧目标跟踪过程中的偶数帧图像，且该帧图像的响应峰值大于阈值c1，平均峰相关能力测量值大于d1倍的历史平均峰相关能力测量值均值；c1和d1的取值范围均为0～1。
3.根据权利要求1所述的一种针对目标遮挡的无人机单视觉目标跟踪方法，其特征在于，所述步骤3中判断跟踪目标是否被严重遮挡的具体方式为：设定阈值a1，a1取值范围为0.5～1，若目标检测器得到的响应峰值不小于a1倍的历史响应峰值均值，则跟踪目标未被严重遮挡，否则发生严重遮挡。
CN202010674160.XA 2020-07-14 2020-07-14 一种针对目标遮挡的无人机单视觉目标跟踪方法 Active CN111862155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010674160.XA CN111862155B (zh) 2020-07-14 2020-07-14 一种针对目标遮挡的无人机单视觉目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010674160.XA CN111862155B (zh) 2020-07-14 2020-07-14 一种针对目标遮挡的无人机单视觉目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111862155A true CN111862155A (zh) 2020-10-30
CN111862155B CN111862155B (zh) 2022-11-22

Family

ID=72984674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010674160.XA Active CN111862155B (zh) 2020-07-14 2020-07-14 一种针对目标遮挡的无人机单视觉目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111862155B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734806A (zh) * 2021-01-14 2021-04-30 河海大学 基于峰值尖锐指导置信度的视觉目标跟踪方法与装置
CN112927264A (zh) * 2021-02-25 2021-06-08 华南理工大学 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN113096160A (zh) * 2021-06-09 2021-07-09 深圳市优必选科技股份有限公司 多目标追踪方法、装置、设备及存储介质
CN113313738A (zh) * 2021-07-15 2021-08-27 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置
CN113807224A (zh) * 2021-09-07 2021-12-17 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN114494914A (zh) * 2021-12-30 2022-05-13 北京理工大学重庆创新中心 一种无人机对地面目标的视觉定位方法
CN116228817A (zh) * 2023-03-10 2023-06-06 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363789A (zh) * 2019-06-25 2019-10-22 电子科技大学 一种面向实际工程应用的长期视觉跟踪方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363789A (zh) * 2019-06-25 2019-10-22 电子科技大学 一种面向实际工程应用的长期视觉跟踪方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENYANG MA ET AL.: "An Improved Kernel Correlation Filter for Occlusion Target Tracking", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING》 *
YINGPING HUANG ET AL.: "An Anti-occlusion and Scale Adaptive Kernel Correlation Filter for Visual Object Tracking", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734806A (zh) * 2021-01-14 2021-04-30 河海大学 基于峰值尖锐指导置信度的视觉目标跟踪方法与装置
CN112927264A (zh) * 2021-02-25 2021-06-08 华南理工大学 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN112927264B (zh) * 2021-02-25 2022-12-16 华南理工大学 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN113096160A (zh) * 2021-06-09 2021-07-09 深圳市优必选科技股份有限公司 多目标追踪方法、装置、设备及存储介质
CN113313738A (zh) * 2021-07-15 2021-08-27 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置
CN113313738B (zh) * 2021-07-15 2021-10-01 武汉卓目科技有限公司 基于eco与伺服联动的无人机目标跟踪方法及装置
CN113807224A (zh) * 2021-09-07 2021-12-17 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN113807224B (zh) * 2021-09-07 2023-11-21 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN114494914A (zh) * 2021-12-30 2022-05-13 北京理工大学重庆创新中心 一种无人机对地面目标的视觉定位方法
CN114494914B (zh) * 2021-12-30 2024-03-29 北京理工大学重庆创新中心 一种无人机对地面目标的视觉定位方法
CN116228817A (zh) * 2023-03-10 2023-06-06 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法

Also Published As

Publication number Publication date
CN111862155B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111862155B (zh) 一种针对目标遮挡的无人机单视觉目标跟踪方法
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
CN109919981B (zh) 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN108447080B (zh) 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN111292355B (zh) 一种融合运动信息的核相关滤波多目标跟踪方法
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN112651406B (zh) 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法
CN114708300B (zh) 一种可抗遮挡的自适应目标跟踪方法及系统
CN110400347B (zh) 一种判断遮挡及目标重定位的目标跟踪方法
CN111862145A (zh) 一种基于多尺度行人检测的目标跟踪方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN109492537B (zh) 一种物体识别方法及装置
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
CN110378421A (zh) 一种基于卷积神经网络的煤矿火灾识别方法
CN116381672A (zh) 基于孪生网络雷达x波段多扩展目标自适应跟踪方法
CN111639570A (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
CN114820712A (zh) 一种自适应目标框优化的无人机跟踪方法
CN110660084A (zh) 一种多目标跟踪的方法及装置
CN117576530A (zh) 基于运动与外观特征自适应融合的多目标关联与跟踪方法
CN110956649A (zh) 多目标三维物体跟踪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant