CN112862854A - 一种改进kcf算法的多无人机跟踪方法 - Google Patents

一种改进kcf算法的多无人机跟踪方法 Download PDF

Info

Publication number
CN112862854A
CN112862854A CN202110181449.2A CN202110181449A CN112862854A CN 112862854 A CN112862854 A CN 112862854A CN 202110181449 A CN202110181449 A CN 202110181449A CN 112862854 A CN112862854 A CN 112862854A
Authority
CN
China
Prior art keywords
kcf
algorithm
drone
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110181449.2A
Other languages
English (en)
Inventor
马峻
姚震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110181449.2A priority Critical patent/CN112862854A/zh
Publication of CN112862854A publication Critical patent/CN112862854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进KCF算法的多无人机跟踪方法，结合了帧间差分法和ViBe算法的运动目标检测算法，以PP‑YOLO为主体结构的分类检测网络和改善了更新策略的KCF跟踪算法。利用帧间差分法和ViBe算法结合，不仅避免了帧差法无法适应相机抖动的问题，并且预先对噪点进行去除，从而使运动目标的检测更加准确，而基于PP‑YOLO网络间隔固定的时间更新KCF滤波器的方法，能够有效改善多目标跟踪过程中丢失和偏移的问题，解决了现有技术中的运用传统KCF算法跟踪无人机目标时出现较为明显偏移的技术问题。

Description

一种改进KCF算法的多无人机跟踪方法
技术领域
本发明涉及目标跟踪技术领域，尤其涉及一种改进KCF算法的多无人机跟踪方法。
背景技术
随着视频分析技术在军事和民用方面的广泛应用，目标跟踪已经成为计算机视觉领域的重要分支之一。目标跟踪通常是指通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标位置的过程。目标跟踪常用到的目标特性表达主要依靠视觉特征、统计特征、变换系数特征以及代数特征等，除了单一特征，也可通过融合多个特征来提高跟踪的可靠性。
KCF算法是2014年由Henriques等人提出的一种算法，具有跟踪效果优秀且计算速度快的特点，KCF算法通过循环矩阵对目标周围区域进行密集采样，训练回归响应器。利用循环矩阵的性质，进行傅里叶变换将分类器的训练过程转换到频域中进行计算，将矩阵的求逆转化为向量元素的点乘，极大地提高了运算速度。另外，KCF算法还使用高斯核函数方法将低维空间的非线性可分问题映射到高维空间使其线性可分，从而实现对非线性特征目标的跟踪。但由于更新策略的原因，KCF算法随着跟踪时间推进会出现飘移的问题。
发明内容
本发明的目的在于提供一种改进KCF算法的多无人机跟踪方法，旨在解决现有技术中的运用传统KCF算法跟踪无人机目标时出现较为明显偏移的技术问题。
为实现上述目的，本发明采用的一种改进KCF算法的多无人机跟踪方法，包括下列步骤：
采集视频图像并初始化背景模型；
检测所述视频图像中的运动目标；
加载分类网络的模型，在所述运动目标中获取无人机位置信息；
使用所述无人机位置信息初始化KCF滤波器；
更新所述KCF滤波器，输出跟踪结果。
可选的，在采集视频图像并初始化背景模型的过程中，首先通过摄像机采集视频图像，获取含有无人机目标的视频流，再将视频流的第一帧设定为背景。
可选的，在检测所述视频图像中的运动目标的过程中，包括下列步骤：
利用帧间差分法中的三帧差分法得到运动目标的初始二值图；
对所述初始二值图进行形态学操作，获得过程二值图；
使用ViBe算法获得计算二值图；
对所述过程二值图和所述计算二值图进行与运算，对后续的图像序列进行前景目标分割操作。
可选的，所述分类网络的模型为PP-YOLO检测网络，通过收集的无人机数据集训练并检测无人机。
可选的，所述无人机位置信息作为正样本初始化KCF滤波器，建立回归方程。
可选的，间隔固定的时间更新KCF滤波器，更新信息为PP-YOLO检测网络中置信度超过90％的无人机位置信息。
本发明的一种改进KCF算法的多无人机跟踪方法，结合了帧间差分法和ViBe算法的运动目标检测算法，以PP-YOLO为主体结构的分类检测网络和改善了更新策略的KCF跟踪算法。利用帧间差分法和ViBe算法结合，不仅避免了帧差法无法适应相机抖动的问题，并且预先对噪点进行去除，从而使运动目标的检测更加准确，而基于PP-YOLO网络间隔固定的时间更新KCF滤波器的方法，能够有效改善多目标跟踪过程中丢失和偏移的问题，解决了现有技术中的运用传统KCF算法跟踪无人机目标时出现较为明显偏移的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种改进KCF算法的多无人机跟踪方法的流程示意图。
图2是本发明的PP-YOLO检测网络的检测过程。
图3是本发明的KCF算法改进的更新策略的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供了一种改进KCF算法的多无人机跟踪方法，包括下列步骤：
S1：采集视频图像并初始化背景模型；
S2：检测所述视频图像中的运动目标；
S3：加载分类网络的模型，在所述运动目标中获取无人机位置信息；
S4：使用所述无人机位置信息初始化KCF滤波器；
S5：更新所述KCF滤波器，输出跟踪结果。
在采集视频图像并初始化背景模型的过程中，首先通过摄像机采集视频图像，获取含有无人机目标的视频流，再将视频流的第一帧设定为背景。
具体的，初始化是指ViBe算法建立背景模型的过程，利用单帧视频序列来初始化背景模型，对于一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的邻域点的像素值作为它的模型样本值。基于每一个像素和其邻域像素的像素值在时空上有相似的分布这一假设，每一个像素模型都可以用其邻域中的像素来表示。当输入第一帧图像时，t＝0，像素的背景模型可表示为：
Figure BDA0002941576830000041
其中，
Figure BDA0002941576830000042
为0时刻的像素点背景值，f0(xi,yi)表示当前点的像素值，(xi,yi)表示时空上当前点的像素值，NG(x,y)表示时空上相邻的像素值。
这样不仅减少了背景模型建立的运算过程，还可以处理背景突然变化的情况，当检测到背景突然变化明显时，只需要舍弃原始的模型，重新利用变化后的首帧图像建立背景模型即可。
可选的，当首帧图像中存在运动目标时容易出现“鬼影”区域，导致后续容易出现误检的问题，对此，本发明结合形态学处理方法改善了此问题。初始化背景模型后，利用帧间差分法中的三帧差分法得到运动目标的初始二值图，由于三帧差分会因为相机的抖动造成大量误检，因此必须进一步确定运动目标。将所述初始二值图进行形态学操作，先执行开操作，再膨胀，将膨胀得到的过程二值图和ViBe算法得到的计算二值图进行与运算，然后对后续的图像序列进行前景目标分割操作。
按照式公(2)判断该像素值是否为前景:
Figure BDA0002941576830000043
当t＝k时，像素点(x，y)处的背景模型为
Figure BDA0002941576830000044
像素值为fk(x,y)，上标r是随机产生的；T是预先设置好的阈值，当满足背景模型比阈值大的时候，定义为前景，否则为背景。
通过简单的形态学操作，不仅成功消除“鬼影”区域。而且提高了鲁棒性，能够适应相机抖动情况，改善了运动目标的检测结果。
进一步的，请参阅图2，本发明提出利用PP-YOLO来检测运动目标，判断是否为无人机，达到分类的效果。
将收集的无人机数据集进行训练，训练参数设置为：最大迭代次数5万次，动量(momentum)和权重衰减(decay)分别配置为0.9和0.0005，批量大小(batch size)设置为64。通过PP-YOLO模型从众多运动目标中检测是否存在无人机，并对每个运动目标是否是无人机进行判断。
可选的，KCF算法把跟踪问题抽象为一个线性回归模型的求解，还使用高斯核函数方法通过非线性映射函数将低维空间的样本映射到高维空间从而使样本在高维特征空间中线性可分，然后使用脊回归训练分类器用于目标跟踪。
在KCF的算法中，训练样本的生成都是基于循环矩阵形式来构建的，其中基样本为正样本，其他都是虚构出的负样本，这样的样本集具有很好的特性，可以很方便的利用快速傅里叶变换和傅里叶对角化的性质来进行计算，而不需要得知负样本的具体形式，算法将有关负样本的计算都转换到了频域进行求解。这样，采用了循环矩阵的性质对输入图像的搜索区域进行密集采样之后，使得进行跟踪器训练时缺少样本的问题迎刃而解。因此，整个KCF算法对跟踪器进行训练的目的就是利用生成的这些样本，生成一个滤波器，使得其作用于这些样本时会生成理想的分布形式。
在检测过程中，算法使用已经训练好的跟踪器对padding窗口区域进行滤波计算，得到输出的分布图，将其中最大响应位置作为预测目标的中心位置。因此，在初始化KCF时需要给出正样本的位置信息，就能实现跟踪，所以利用步骤S3中获取到的无人机位置信息初始化KCF滤波器。
进一步的，在经典的更新KCF滤波器的过程中，只需要对权值参数α和训练样本集x进行更新即可。因此，在算法执行完检测部分之后，得到了新的目标预测位置，并得到了新的基样本，以此生成循环矩阵得到新的样本集new_x，然后训练得到新的权值参数new_α，最后利用上一帧的模型参数，使用线性插值的方法设定好更新步长β后对跟踪器进行更新：
Figure BDA0002941576830000051
其中，α为初始权值参数，x为训练样本集，β为更新步长，new_α为更新权值参数，new_x为新样本集。
可选的，经典的更新策略容易出现跟踪丢失和偏移的问题，本发明提出一种改进的更新策略：请参阅图3，利用步骤S3中无人机目标的置信度和位置信息，融入到KCF的更新策略中，间隔固定的时间由PP-YOLO检测的时间决定。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种改进KCF算法的多无人机跟踪方法，其特征在于，包括下列步骤：
采集视频图像并初始化背景模型；
检测所述视频图像中的运动目标；
加载分类网络的模型，在所述运动目标中获取无人机位置信息；
使用所述无人机位置信息初始化KCF滤波器；
更新所述KCF滤波器，输出跟踪结果。
2.如权利要求1所述的改进KCF算法的多无人机跟踪方法，其特征在于，在采集视频图像并初始化背景模型的过程中，首先通过摄像机采集视频图像，获取含有无人机目标的视频流，再将视频流的第一帧设定为背景。
3.如权利要求2所述的改进KCF算法的多无人机跟踪方法，其特征在于，在检测所述视频图像中的运动目标的过程中，包括下列步骤：
利用帧间差分法中的三帧差分法得到运动目标的初始二值图；
对所述初始二值图进行形态学操作，获得过程二值图；
使用ViBe算法获得计算二值图；
对所述过程二值图和所述计算二值图进行与运算，对后续的图像序列进行前景目标分割操作。
4.如权利要求3所述的改进KCF算法的多无人机跟踪方法，其特征在于，所述分类网络的模型为PP-YOLO检测网络，通过收集的无人机数据集训练并检测无人机。
5.如权利要求4所述的改进KCF算法的多无人机跟踪方法，其特征在于，所述无人机位置信息作为正样本初始化KCF滤波器，建立回归方程。
6.如权利要求5所述的改进KCF算法的多无人机跟踪方法，其特征在于，间隔固定的时间更新KCF滤波器，更新信息为PP-YOLO检测网络中置信度超过90％的无人机位置信息。
CN202110181449.2A 2021-02-08 2021-02-08 一种改进kcf算法的多无人机跟踪方法 Pending CN112862854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110181449.2A CN112862854A (zh) 2021-02-08 2021-02-08 一种改进kcf算法的多无人机跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181449.2A CN112862854A (zh) 2021-02-08 2021-02-08 一种改进kcf算法的多无人机跟踪方法

Publications (1)

Publication Number Publication Date
CN112862854A true CN112862854A (zh) 2021-05-28

Family

ID=75989586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110181449.2A Pending CN112862854A (zh) 2021-02-08 2021-02-08 一种改进kcf算法的多无人机跟踪方法

Country Status (1)

Country Link
CN (1) CN112862854A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109446978A (zh) * 2018-10-25 2019-03-08 哈尔滨工程大学 基于凝视卫星复杂场景的飞机动目标跟踪方法
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN110555867A (zh) * 2019-09-05 2019-12-10 杭州立宸科技有限公司 一种融合物体捕获识别技术的多目标物体跟踪方法
CN110781721A (zh) * 2019-09-05 2020-02-11 温州视鑫科技有限公司 一种基于改进vibe算法的户外场景运动目标检测方法
CN111563915A (zh) * 2020-05-06 2020-08-21 南京航空航天大学 一种融合运动信息检测和Radon变换的KCF目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109446978A (zh) * 2018-10-25 2019-03-08 哈尔滨工程大学 基于凝视卫星复杂场景的飞机动目标跟踪方法
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN110555867A (zh) * 2019-09-05 2019-12-10 杭州立宸科技有限公司 一种融合物体捕获识别技术的多目标物体跟踪方法
CN110781721A (zh) * 2019-09-05 2020-02-11 温州视鑫科技有限公司 一种基于改进vibe算法的户外场景运动目标检测方法
CN111563915A (zh) * 2020-05-06 2020-08-21 南京航空航天大学 一种融合运动信息检测和Radon变换的KCF目标跟踪方法

Similar Documents

Publication Publication Date Title
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
Li et al. Single image rain streak decomposition using layer priors
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN111860414B (zh) 一种基于多特征融合检测Deepfake视频方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN103093198B (zh) 一种人群密度监测方法及装置
Ju et al. BDPK: Bayesian dehazing using prior knowledge
CN109448023B (zh) 一种卫星视频小目标实时跟踪方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN102156995A (zh) 一种运动相机下的视频运动前景分割方法
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN105741319B (zh) 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN111931722B (zh) 一种结合颜色比率特征的相关滤波跟踪方法
CN104966095A (zh) 图像目标检测方法及装置
CN111260691B (zh) 一种基于上下文感知回归时空正则相关滤波跟踪方法
CN107705295B (zh) 一种基于稳健主成分分析法的图像差异检测方法
CN110706253A (zh) 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN106846377A (zh) 一种基于颜色属性和主动特征提取的目标跟踪算法
CN106651918B (zh) 抖动背景下的前景提取方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
Sun et al. Efficient compressive sensing tracking via mixed classifier decision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication