CN110084837B - 基于无人机视频的目标检测与跟踪方法 - Google Patents

基于无人机视频的目标检测与跟踪方法 Download PDF

Info

Publication number
CN110084837B
CN110084837B CN201910400952.5A CN201910400952A CN110084837B CN 110084837 B CN110084837 B CN 110084837B CN 201910400952 A CN201910400952 A CN 201910400952A CN 110084837 B CN110084837 B CN 110084837B
Authority
CN
China
Prior art keywords
optical flow
tracking
image
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910400952.5A
Other languages
English (en)
Other versions
CN110084837A (zh
Inventor
闵锐
任霞
王珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tujia Uav Technology Co ltd
Original Assignee
Sichuan Tujia Uav Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tujia Uav Technology Co ltd filed Critical Sichuan Tujia Uav Technology Co ltd
Priority to CN201910400952.5A priority Critical patent/CN110084837B/zh
Publication of CN110084837A publication Critical patent/CN110084837A/zh
Application granted granted Critical
Publication of CN110084837B publication Critical patent/CN110084837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于无人机视频的目标检测与跟踪方法。本发明的方法包括，对给定的一个视频图像序列，开始读入视频的三帧图像分别标记为F1、F2、F3；对F1和F2运行光流法得到光流特征点集P1，复制图像F2，并在复制的图像中保留P1中特征点对应位置的像素值，并将其它位置的像素值置0，对处理后的图像记为G1；同理，对F2和F3运行光流法，并同样处理得到图像G2；再对图像G1和G2进行光流检测，对提取的光流特征进行筛选，包括矢量大小筛选和矩形窗筛选；将最终检测模块的输出结果，作为KCF跟踪器初始化模板；使用KCF跟踪算法进行后续视频帧的跟踪。本发明提高了检测精度，实现了无人机视频目标自动检测和跟踪的效果。

Description

基于无人机视频的目标检测与跟踪方法
技术领域
本发明涉及基于无人机视频的目标检测与跟踪方法。
背景技术
随着计算机视觉技术的发展与进步，利用无人机搭载摄像设备进行目标检测和跟踪已广泛应用在地形勘测、交通监控、抗灾救援以及军事帧差等军用和民用领域。因而，对无人机拍摄的视频目标进行分析和处理是其中重要一环。
无人机飞行方式多样，可以垂直起降、悬停、横飞、倒飞、慢速巡航以及加速等，其拍摄视频由于镜头移动的影响，背景是不断改变的，并且可能会出现镜头模糊现象，这都为目标检测和跟踪带来了困难。
目标检测算法可以针对图片来检测出目标所在区域，经典检测算法如帧差法、背景差法很难处理镜头移动以及复杂背景变化带来的问题，光流检测算法可以克服镜头移动带来的影响，但是，光流法对光照敏感，当前后帧图像的亮度发生变化时会产生较大的误差，并且从复杂背景下筛选出目标的难度很大，很难用于长时间的持续跟踪。一些基于深度学习的检测算法虽然可能取得很好的检测甚至持续跟踪的效果，但是对于设备要求很高，并且需要事先进行大规模数据的训练得出一个具有泛化性的模型。而有些专用于跟踪的算法，如KCF、TLD、MeanShift、卡尔曼滤波等，可以较好的适应外界环境的变化，但他们在对视频图像进行跟踪时，都需要在一开始手动选择跟踪区域，无法达到自动的效果。
发明内容
考虑到现有的技术问题，各种算法都有其利弊之处，只有针对具体实用场景进行有机组合，才能达到较好的实用性。因为LK光流检测算法对存在镜头移动影响也能够检测出目标，同时KCF算法对于目标跟踪具有很好的实时性以及鲁棒性，所以本发明采取的技术方案是：一种结合LK光流法和KCF的视频目标检测与跟踪方法。
本发明的技术方案是：
步骤1、对给定的一个视频图像序列，开始读入视频的三帧图像分别标记为F1、F2、F3。
步骤2、复制图像F2并标记为G1，对图像F1和F2运行LK光流检测算法，对得到的光流场进行分析，由于前景目标和背景目标由于在图片中的速度大小不同，因而背景和前景目标的光流矢量大小不同，设定一个阈值，通过和阈值比较，将小于阈值的绝大多数背景区域的光流矢量筛掉，将筛选得到的光流特征点集，记为P1，处理图像G1，具体为：找出G1中所有P1中特征点对应的位置，保留其像素值，并将G1中其它位置的像素值置0。
步骤3、同步骤2，赋值图像F3，记为G2，对F2和F3运行LK光流检测，得到特征点集P2，在G2中将所有P2特征点对应位置的像素值保留，其它位置像素值置。
步骤4、对步骤2和步骤3中处理得到的图像G1和G2运行LK光流检测，因为目标区域具有相似的运动特征，因而对步骤2和步骤3得到的图像G1和G2再次进行光流检测，目标区域更有可能被再次匹配到，在保证了几乎不遗失目标区域特征的情况下，对单次光流检测到的特征矢量进行了筛选，提高了检测精度，筛选后的特征点包括前景目标的光流特征点和极少数的背景零散点，将这些点的集合记为P。
步骤5、通过点集P进一步分析，以其中一点为中心，并用宽为2*w和高为2*h的矩形框rect(其中w和h分别为图像中目标的真值矩形区域的宽、高)来统计落入其中的特征点的个数，如果特征点个数不少于3个，则保留这个rect，否则这一点为零散点将之舍弃，因为不太可能为目标区域点。
步骤6、对点集P中剩下的所有点，重复步骤5的操作，可以得到多个包含3个或者已上的特征点的矩形框的集合，对这些矩形框求交集得到一个矩形区域，以这个交集区域的中心点代替目标真值区域的中心，并根据目标真值区域的宽和高，返回一个检测矩形区域。
步骤7、用步骤6返回的矩形区域，作为KCF跟踪算法输入的初始化模板，KCF的核心思想是同过对目标跟踪区域在一定范围内进行循环移位，产生大量的训练样本，并利用脊回归训练目标检测器，另外，通过核函数的技巧将线性空间的脊回归映射到非线性空间，并且运用循环矩阵在傅立叶空间可以对角化的性质，将矩阵的求逆运算转化为元素的点乘，大大降低了运算量提高了计算速度。而步骤6的处理，是将目标所在区域转化成了矩形框，作为KCF算法的初始化模板，使得检测和跟踪算法能有机得衔接到一起。
步骤8、从KCF开始的第一帧视频使用的是步骤6的检测区域，KCF后续跟踪过程，是使用其前一帧跟踪到的区域作为模板，然后将模板在一定区域范围内循环移位，产生一个比模板大的区域，比如模板区域的2.5倍大小区域，然后以这个区域作为当前帧的带检测区域，并在当前帧用上一帧的模板在待检测区域进行滑窗并做相关运算，求得相关运算的响应值最大区域就是目标所在区域，因为相关运算时，和模板越相似的区域，其相应结果越大。周而复始，直到视频结束。
本发明的有益效果为，本发明的方法是在对视频图像中的运动目标没有过多先验了解的情况下，能自动检测到目标并且后续可以达到实时地、可适应较为复杂背景的视频单目标跟踪效果，同时对于镜头移动问题也有较好的鲁棒性。
附图说明
图1是本发明中LK光流法检测并输出检测结果的结构图。
图2是本发明中对LK光流法的检测结果，用矩形框筛选出检测区域示意图。
图3是本发明中用KCF跟踪算法模块跟踪目标结构图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
本发明包括LK光流检测和KCF跟踪两个模块。
如图1结构图所示，在检测模块中，对给定的视频的初始三帧图像连续进行LK光流检测，由于第一次和第二次光流检测已经可以初步检测出图像中运动的特征点，并可以做初步的筛选，再对两次光流检测后的处理图像进行第三次光流检测，能够达到进一步筛选的效果。
如图2示意图所示，矩形框筛选是LK光流检测模块中特征点筛选步骤的另一个关键步骤，因为本发明中KCF的输入结果为待跟踪目标所在区域的矩形框，而LK光流法的检测结果是一个个孤立的特征，通过矩形框筛选，可以筛选掉那些远离目标区域内特征点的离散的背景干扰特征点，同时可以将目标区域内的点进行聚类，并以矩形框的形式输出，从而可以作为KCF跟踪算法的输入，实现两者的有效结合。
图3结构图中，主要是描述了后续跟踪模块的一般流程。使用了LK光流检测模块的输出矩形框作为KCF跟踪器的模板，并用KCF跟踪算法来针对视频的后续帧进行实时有效的跟踪，直至视频流结束。
整个流程有机地结合了能够克服摄像头移动的LK光流检测算法和KCF跟踪算法，并且连续使用LK光流检测算法以及矩形框筛选提高了检测精度，将检测结果作为KCF跟踪模块的输入，避免了KCF跟踪算法单独使用时需要手动选定跟踪区域的操作，同时发挥了两者的优势，实现了无人机视频目标自动检测和跟踪的效果。

Claims (2)

1.基于无人机视频的目标检测与跟踪方法，其特征在于，包括以下步骤：
步骤1、对获取的无人机视频图像序列，读入视频的前三帧图像并分别标记为F1、F2、F3；
步骤2、复制图像F2并标记为G1，采用LK光流检测算法，对图像F1和F2进行检测，得到光流特征点集P1；处理图像G1，具体为：找出G1中所有P1中特征点对应的位置，保留其像素值，并将G1中其它位置的像素值置0；
步骤3、复制图像F3并标记为G2，采用LK光流检测算法，对图像F2和F3进行检测，得到光流特征点集P2；处理图像G2，具体为：找出G2中所有P2中特征点对应的位置，保留其像素值，并将G2中其它位置的像素值置0；
步骤4、采用LK光流检测算法，对步骤2和步骤3中处理得到的图像G1和G2进行光流检测，得到包括前景目标的光流特征点和极少数的运动较大的背景零散点，将这些点的集合记为点集P；
步骤5、在点集P中，选择其中一点为中心，并用宽为2*w和高为2*h的矩形框rect来统计落入其中的特征点的个数，其中w和h分别为图像中目标的真值矩形区域的宽、高；如果特征点个数不少于3个，则保留这个rect，否则将这一点定义为背景零散点，并将之舍弃；
步骤6、对点集P中剩下的所有点，重复步骤5的操作，得到多个至少包含3个特征点的矩形框的集合，对这些矩形框求交集得到一个矩形区域，以这个交集区域的中心点代替目标真值区域的中心，并根据目标真值区域的宽和高，返回一个检测矩形区域；
步骤7、用步骤6返回的矩形区域，作为KCF跟踪算法输入的初始化模板；
步骤8、采用KCF跟踪算法进行跟踪，并在跟踪开始时第一帧使用步骤7的初始化模板，后续跟踪时，使用前一帧的跟踪到的目标区域更新模板并在当前帧跟踪到目标，重复这个过程，直到视频结束。
2.根据权利要求1所述的基于无人机视频的目标检测与跟踪方法，其特征在于：迭代执行步骤S2-步骤S5多次后，再进入步骤S6，迭代次数为预设值。
CN201910400952.5A 2019-05-15 2019-05-15 基于无人机视频的目标检测与跟踪方法 Active CN110084837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910400952.5A CN110084837B (zh) 2019-05-15 2019-05-15 基于无人机视频的目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400952.5A CN110084837B (zh) 2019-05-15 2019-05-15 基于无人机视频的目标检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN110084837A CN110084837A (zh) 2019-08-02
CN110084837B true CN110084837B (zh) 2022-11-04

Family

ID=67420190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400952.5A Active CN110084837B (zh) 2019-05-15 2019-05-15 基于无人机视频的目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN110084837B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899285B (zh) * 2020-07-08 2023-03-14 浙江大华技术股份有限公司 目标对象的跟踪轨迹的确定方法和装置、存储介质
CN112435280A (zh) * 2020-11-13 2021-03-02 桂林电子科技大学 一种无人机视频的运动目标检测与跟踪方法
CN112686921B (zh) * 2021-01-08 2023-12-01 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN114066936B (zh) * 2021-11-06 2023-09-12 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特（北京）视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及系统
CN104239865A (zh) * 2014-09-16 2014-12-24 宁波熵联信息技术有限公司 一种基于多级检测的行人检测与跟踪方法
CN106803265A (zh) * 2017-01-06 2017-06-06 重庆邮电大学 基于光流法和卡尔曼滤波的多目标跟踪方法
CN107146239A (zh) * 2017-04-21 2017-09-08 武汉大学 卫星视频运动目标检测方法及系统
CN109002791A (zh) * 2018-07-12 2018-12-14 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特（北京）视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及系统
CN104239865A (zh) * 2014-09-16 2014-12-24 宁波熵联信息技术有限公司 一种基于多级检测的行人检测与跟踪方法
CN106803265A (zh) * 2017-01-06 2017-06-06 重庆邮电大学 基于光流法和卡尔曼滤波的多目标跟踪方法
CN107146239A (zh) * 2017-04-21 2017-09-08 武汉大学 卫星视频运动目标检测方法及系统
CN109002791A (zh) * 2018-07-12 2018-12-14 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ＬＫ 光流法和三帧差分法的运动目标检测算法";谢红等;《应用科技》;20160630;第43卷(第3期);第24-33页 *
"动态背景下的稀疏光流目标提取与跟踪";兰红等;《中国图像图形学报》;20160630;第21卷(第6期);第771-780页 *
结合三帧差分和LK光流法的带式输送机运行状态检测";宋洁等;《煤矿机械》;20160630;第37卷(第6期);第191-194页 *

Also Published As

Publication number Publication date
CN110084837A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084837B (zh) 基于无人机视频的目标检测与跟踪方法
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
US10719940B2 (en) Target tracking method and device oriented to airborne-based monitoring scenarios
CN108780508B (zh) 用于归一化图像的系统和方法
JP2018533805A (ja) 顔位置追跡方法、装置及び電子デバイス
Le et al. Deeply Supervised 3D Recurrent FCN for Salient Object Detection in Videos.
Yildirim et al. FASA: fast, accurate, and size-aware salient object detection
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN111832568A (zh) 车牌识别方法、车牌识别模型的训练方法和装置
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN111886600A (zh) 一种用于图像的实例级别分割的设备和方法
Giraldo et al. Graph CNN for moving object detection in complex environments from unseen videos
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
Xiong et al. Snap angle prediction for 360 panoramas
Li et al. Weak moving object detection in optical remote sensing video with motion-drive fusion network
US10957049B2 (en) Unsupervised image segmentation based on a background likelihood estimation
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Zhang et al. Augmented visual feature modeling for matching in low-visibility based on cycle-labeling of Superpixel Flow
N Abdullah et al. Automatic Objects Detection and Tracking Using FPCP, Blob Analysis and Kalman Filter
Goyal et al. Moving Object Detection in Video Streaming Using Improved DNN Algorithm
CN108737814A (zh) 一种基于动态模式分解的视频镜头检测方法
Vugrin et al. Real-time NIR camera brightness control using face detection
Zaw et al. Development of Mathematical Methods and Algorithms for Filtering Images Obtained from Unmanned Aerial Vehicle Camera
Madhan et al. Object Detection and Recognition in Dark Using Feature Enhancement Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant