CN109558777A - 一种基于核相关滤波和帧差法的目标跟踪算法 - Google Patents

一种基于核相关滤波和帧差法的目标跟踪算法 Download PDF

Info

Publication number
CN109558777A
CN109558777A CN201710932066.8A CN201710932066A CN109558777A CN 109558777 A CN109558777 A CN 109558777A CN 201710932066 A CN201710932066 A CN 201710932066A CN 109558777 A CN109558777 A CN 109558777A
Authority
CN
China
Prior art keywords
frame
candidate
attraction
target
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710932066.8A
Other languages
English (en)
Inventor
杜博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Chang'e Mdt Infotech Ltd
Original Assignee
Wuhan Chang'e Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Chang'e Mdt Infotech Ltd filed Critical Wuhan Chang'e Mdt Infotech Ltd
Priority to CN201710932066.8A priority Critical patent/CN109558777A/zh
Publication of CN109558777A publication Critical patent/CN109558777A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Abstract

本发明属于计算机视觉领域，尤其涉及一种基于核相关滤波和帧差法融合的目标跟踪算法。本发明使用集成学习的理论，针对卫星视频数据目标跟踪像素多、目标小、低像素的特点，选择将核相关滤波(KCF)算法和帧差法进行融合，将两种跟踪算法融合成一个强跟踪器，同时吸收两种跟踪算法的优点，从而实现针对卫星视频数据的特点完成目标跟踪任务。在多算法融合过程中，主要是通过计算候选框的吸引力a来度量候选框与目标的距离，并使用并行技术来提高融合算法的时间性能。本发明可以在卫星视频数据上进行跟踪并获得较好的跟踪结果。

Description

一种基于核相关滤波和帧差法的目标跟踪算法
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于核相关滤波和帧差法融合的目标跟踪算法。
背景技术
目标跟踪是计算机视觉中具有广泛应用的一个分支。随着视频采集设备的普及和成像质量的提高，目标跟踪技术被广泛应用于智能交通系统、目标识别、视频检索和人机交互等领域。针对目标跟踪问题的研究，国内外的学者做出了大量的贡献。在某些特定的领域，此类问题得到了完善的解决。例如针对手势的跟踪算法研究和针对车辆的跟踪算法研究。但是在众多的目标跟踪算法中，仍然没有一种方法能够适用于卫星视频数据跟踪。这是因为在卫星视频数据的目标跟踪过程中，除了传统目标跟踪数据中，经常会发生的目标被障碍物遮挡、光照变化、成像模糊和目标快速移动等影响因素外，卫星视频数据中特有的图像文件大、目标占据像素点少、低分辨率和高背景相似度等影响因素，导致众多目标跟踪算法跟踪失败。
因此，找到一种在卫星视频数据中能够进行稳定目标跟踪的跟踪算法具有非常重要的现实意义。
发明内容
本发明主要是提供了一种基于核相关滤波和帧差法的融合算法，这个算法能够兼具核相关滤波方法和帧差法的优点，并融合他们的跟踪结果作为最终结果，使得融合后的跟踪算法具有更强的鲁棒性。
本发明提供的技术方案是，一种基于核相关滤波和帧差法的目标跟踪算法，包含以下步骤：
步骤1，选取候选样本：选取第t帧目标跟踪的候选样本框。在i-1帧的跟踪结果周围，使用窗口滑动采样获得候选样本框。
步骤2，执行跟踪算法：同时执行帧差法和核相关滤波跟踪算法，将不同的跟踪算法分发给计算机不同的进程，获得两个跟踪算法产生的结果：r1，r2。
步骤3，计算每一候选框e在第i帧的吸引力ai(e)。对于每一个候选矩形框，首先定义一个参数，叫做吸引力a。候选框和目标的真实位置越近，那么此候选框的吸引力越强。在介绍吸引力a的计算方式之前，先介绍两个矩形框的距离计算方式，不失一般性，用b和c代表两个矩形框。
其中下标x，y，w和h分别代表矩形框的左上角横纵坐标、宽度和高度。由于从始至终，代表跟踪结果的矩形框大小保持不变，因此公式(1)可以简化为：
对于候选框e在第i帧的吸引力ai(e)定义为：
σ在这里是一个常量，用来控制距离对吸引力的影响程度，防止出现因为距离过小导致影响力过大的情况，因此σ在本文提出的融合算法中影响很大，需要大量实验才能确定最终取值。bi，j代表第i帧第j个算法的候选框。
步骤4，将拥有最大吸引力ai(e)的候选框作为最终结果
与现有技术相比，本发明的有益效果是：
本发明中集合了核相关滤波算法(KCF)和三帧帧差法二者的优点，针对卫星视频数据目标跟踪像素多、目标小、低像素的特点，将核相关滤波算法(KCF)和三帧帧差法进行融合，没有改变图像的特征，也没有将多种特征融合成一个新特征，在融合过程中，各特征和分类器都是独立的，因此，其在卫星视频数据跟踪任务中能够发挥不同特征和分类器的优势，从而在卫星视频数据跟踪中能够获得令人满意的跟踪结果。
具体实施方式
以下结合附图和具体实施例来对本发明做进一步的说明。
本发明提供了一种宽泛的跟踪算法融合框架，该融合算法使用集成学习[1]的理论，能够将两种跟踪算法融合成一个强跟踪器，同时吸收两种跟踪算法的优点。在多算法融合过程中，主要是通过计算候选框的吸引力a来度量候选框与目标的距离。并使用并行技术来提高融合算法的时间性能。该融合算法在精度上可以超过单个跟踪算法。
[1]Dietterich T G.Ensemble learning[J].The handbook of brain theoryand neural networks，2002，2：110-125.
引入吸引力a来度量候选框与目标的距离。本发明为候选矩形框设置了一个参数，叫做吸引力a，候选框和目标的真实位置越近，那么此候选框的吸引力越强。
引入并行融合策略。集成学习相对于单个学习器，其分类性能更好，但是由于使用多个学习器进行融合，导致使用集成学习的算法在时间性能上表现一般。针对这种现象，本发明提出了多跟踪算法并行融合策略。将两种不同的跟踪算法分发给不同的处理器，实现并行执行不同的跟踪算法，提高融合算法的时间性能。
图1为卫星视频数据目标跟踪的原理图，卫星视频数据目标跟踪分为两个阶段进行，第一阶段分为两个部分，第一个部分是基于核相关滤波算法的KCF算法，首先基于上一帧的跟踪结果，使用循环矩阵产生图片块，通过训练这些图片块建立起KCF跟踪器，然后在上一帧目标所在位置周围区域搜索，根据分类器最大得分找到目标位置。第二部分则是使用三帧帧差法在每一个给定帧中探测目标。第二阶段是将第一阶段中KCF算法和三帧帧差法的跟踪结果使用融合算法融合，最终产生最后的结果。
实施例提供的流程具体包括以下步骤：
步骤1，选取候选样本：选取第t帧目标跟踪的候选样本框，在i-1帧的跟踪结果周围，使用窗口滑动采样获得候选样本框。采样获得候选样本框的个数越多，目标跟踪越可能精确。
步骤2，执行跟踪算法：多进程执行2个跟踪算法，分别是KCF[2]和帧差法，将不同的跟踪算法分发给计算机不同的进程(实施例中所用设备是一台具备64位操作系统系统，intel Core i7-3770 3.40GHz 8核CPU，32GB内存的台式电脑)，获得2个跟踪算法产生的结果：r1，r2。
[2]Henriques J F，Rui C，Martins P，et al.High-Speed Tracking withKernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2014，37(3)：583-596.
步骤3，计算每一候选框e在第i帧的吸引力ai(e)。对于每一个候选矩形框，首先定义一个参数，叫做吸引力a。候选框和目标的真实位置越近，那么此候选框的吸引力越强。在介绍吸引力a的计算方式之前，先介绍两个矩形框的距离计算方式，不失一般性，用b和c代表两个矩形框。
其中下标x，y，w和h分别代表矩形框的左上角横纵坐标、宽度和高度。由于从始至终，代表跟踪结果的矩形框大小保持不变，因此公式(1)可以简化为：
对于候选框e在第i帧的吸引力ai(e)定义为：
σ在这里是一个常量(实施例中设置为0.08)，用来控制距离对吸引力的影响程度，防止出现因为距离过小导致影响力过大的情况，因此σ在此发明提出的融合算法中影响很大，需要大量实验才能确定最终取值。
步骤4，将拥有最大吸引力ai(e)的候选框作为最终结果
以上是本发明实施例涉及的一种基于核相关滤波和帧差法的多方法融合目标跟踪算法的实现步骤。通过使用集成学习理论、并行融合策略的引入，可以提高跟踪的精度。通过使用核相关滤波方法和帧差法，针对性的在卫星视频数据中进行跟踪任务。
在具体实现时还有以下注意事项：
对于参数的确定，如σ，本领域技术人员可自行根据经验或者大量实验来确定。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的。因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (1)

1.一种基于核相关滤波和帧差法的目标跟踪算法，其特征在于，包含以下步骤：
步骤1，选取候选样本：选取第t帧目标跟踪的候选样本框；在i-1帧的跟踪结果周围，使用窗口滑动采样获得候选样本框；
步骤2，执行跟踪算法：同时执行帧差法和核相关滤波跟踪算法，将不同的跟踪算法分发给计算机不同的进程，获得两个跟踪算法产生的结果：r1，r2；
步骤3，计算每一候选框e在第i帧的吸引力ai(e)；对于每一个候选矩形框，首先定义一个参数，叫做吸引力a；候选框和目标的真实位置越近，那么此候选框的吸引力越强；在介绍吸引力a的计算方式之前，先介绍两个矩形框的距离计算方式，不失一般性，用b和c代表两个矩形框；
其中下标x，y，w和h分别代表矩形框的左上角横纵坐标、宽度和高度；由于从始至终，代表跟踪结果的矩形框大小保持不变，因此公式(1)可以简化为：
对于候选框e在第i帧的吸引力ai(e)定义为：
在这里是一个常量，用来控制距离对吸引力的影响程度，防止出现因为距离过小导致影响力过大的情况，因此σ在本文提出的融合算法中影响很大，需要大量实验才能确定最终取值；bi，j代表第i帧第j个算法的候选框；
步骤4，将拥有最大吸引力ai(e)的候选框作为最终结果
CN201710932066.8A 2017-09-27 2017-09-27 一种基于核相关滤波和帧差法的目标跟踪算法 Pending CN109558777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710932066.8A CN109558777A (zh) 2017-09-27 2017-09-27 一种基于核相关滤波和帧差法的目标跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710932066.8A CN109558777A (zh) 2017-09-27 2017-09-27 一种基于核相关滤波和帧差法的目标跟踪算法

Publications (1)

Publication Number Publication Date
CN109558777A true CN109558777A (zh) 2019-04-02

Family

ID=65863549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710932066.8A Pending CN109558777A (zh) 2017-09-27 2017-09-27 一种基于核相关滤波和帧差法的目标跟踪算法

Country Status (1)

Country Link
CN (1) CN109558777A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533693A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 一种目标跟踪方法及目标跟踪装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. BAILER 等: "A superior tracking approach: Building a strong tracker through fusion", 《ECCV 2014》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533693A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 一种目标跟踪方法及目标跟踪装置
CN110533693B (zh) * 2019-08-29 2023-02-07 北京精英路通科技有限公司 一种目标跟踪方法及目标跟踪装置

Similar Documents

Publication Publication Date Title
Chen et al. Norm-aware embedding for efficient person search
CN110443827B (zh) 一种基于改进孪生网络的无人机视频单目标长期跟踪方法
CN109102522B (zh) 一种目标跟踪方法及装置
Wang et al. Visevent: Reliable object tracking via collaboration of frame and event flows
Jiang et al. Video object detection with locally-weighted deformable neighbors
CN102609934B (zh) 一种基于深度图像的多目标分割和跟踪方法
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
CN103226835B (zh) 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN109101932B (zh) 基于目标检测的多任务及临近信息融合的深度学习方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN109961037A (zh) 一种考场视频监控异常行为特征识别方法
CN105260749A (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
Yang et al. MGC-VSLAM: A meshing-based and geometric constraint VSLAM for dynamic indoor environments
CN105513083A (zh) 一种ptam摄像机跟踪方法及装置
CN106600965B (zh) 基于尖锐度的交通流早晚高峰时段自动识别方法
CN103021183A (zh) 一种监控场景中违章机动车检测方法
CN104992403A (zh) 一种基于视觉相似度度量的混合操作算子图像重定向方法
CN109558778A (zh) 一种基于多方法融合的目标跟踪算法
CN109558777A (zh) 一种基于核相关滤波和帧差法的目标跟踪算法
CN110415275B (zh) 一种基于点对点的运动目标检测与跟踪方法
CN105184809A (zh) 运动对象检测方法和运动对象检测装置
Yaosheng et al. Object tracking in satellite videos based on improved correlation filters
CN113538509B (zh) 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置
Huang et al. MC-VEO: A Visual-Event Odometry With Accurate 6-DoF Motion Compensation
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190402