CN109087331A - 一种基于kcf算法的运动预测方法 - Google Patents

一种基于kcf算法的运动预测方法 Download PDF

Info

Publication number
CN109087331A
CN109087331A CN201810868875.1A CN201810868875A CN109087331A CN 109087331 A CN109087331 A CN 109087331A CN 201810868875 A CN201810868875 A CN 201810868875A CN 109087331 A CN109087331 A CN 109087331A
Authority
CN
China
Prior art keywords
frame
algorithm
template image
image
centered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810868875.1A
Other languages
English (en)
Inventor
肖东晋
张立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aeva (beijing) Technology Co Ltd
Original Assignee
Aeva (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aeva (beijing) Technology Co Ltd filed Critical Aeva (beijing) Technology Co Ltd
Priority to CN201810868875.1A priority Critical patent/CN109087331A/zh
Publication of CN109087331A publication Critical patent/CN109087331A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于核相关滤波KCF算法的运动预测方法，包括：在模板图像中选取四个以上非共线的点X1、X2、X3、X4；在模板图像中分别以所选取的点X1、X2、X3、X4为中心选取矩形块；根据模板图像与上一帧的图像位置关系确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’作为当前帧的搜索中心点；在当前帧中分别以位置X1’、X2’、X3’、X4’为中心选取相应矩形块作为KCF算法的搜索区域；使用核相关滤波KCF算法在所述搜索区域中确定X1、X2、X3、X4在当前帧中的粗略位置X1”、X2”、X3”、X4”；使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。

Description

一种基于KCF算法的运动预测方法
技术领域
本发明总体而言涉及图像处理领域，具体而言涉及一种基于KCF算法的运动预测方法。
背景技术
KCF(Kernel Correlation Filter核相关滤波算法)是一种鉴别式追踪方法，这类方法一般在追踪过程中训练一个目标检测器，然后使用目标检测器去检测下一帧预测位置是否是目标，随后再使用新检测结果去更新训练集进而更新目标检测器。在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，因此越靠近目标的区域为正样本的可能性越大。KCF跟踪器对发生光照变化、遮挡、非刚性形变、运动模糊、背景杂乱等的视频均能跟踪良好，且速度较快。
KCF跟踪算法的主要特点有：
(1)使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，大大降低了运算量，提高了运算速度，使算法满足实时性要求。
(2)将线性空间的脊回归通过核函数映射到非线性空间，在非线性空间通过求解一个对偶问题和某些常见的约束，同样的可以使用循环矩阵傅里叶空间对角化简化计算。
(3)引进了多通道特征，减小光线变化影响。
尽管目前在既能满足运动跟踪效果要求，跟踪速度又非常快的方案中，KCF跟踪算法在目标预测跟踪应用中，要比利用传感器、建立多层金字塔等方法在速度、准确性和运动模糊等方面的效果要好。然而，由于KCF跟踪算法主要通过平移产生大量样本来得到每个样本离中心的距离，然后对目标进行学习跟踪，因此该方法对于在平移运动中模糊运动的目标的跟踪效果和速度比较理想，但是对于在运动中旋转的目标的预测效果不好，不能满足使用需求。
发明内容
本发明的任务是提供一种基于核相关滤波KCF算法的运动预测方法，通过该方法，既能够快速、准确地跟踪目标运动，从而快速、准确地预测目标运动趋势，又能解决目标运动模糊、旋转时跟踪不准确或失败的问题。
根据本发明，前述任务通过一种基于核相关滤波KCF算法的运动预测方法来解决，该方法包括下列步骤：
在模板图像中选取四个以上非共线的点X1、X2、X3、X4；
在模板图像中分别以所选取的点X1、X2、X3、X4为中心选取矩形块；
根据模板图像与上一帧的图像位置关系确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’；
在当前帧中分别以位置X1’、X2’、X3’、X4’为中心选取相应矩形块作为KCF算法的搜索区域；
使用核相关滤波KCF算法在所述搜索区域中确定X1、X2、X3、X4在当前帧中的粗略位置X1”、X2”、X3”、X4”；
使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域(或称X1”、X2”、X3”、X4”的匹配算法搜索区域)中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。
在本发明的一个优选方案中规定，根据模板图像与上一帧的图像位置关系确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’包括：
根据表征模板图像与上一帧的图像位置关系的单应矩阵Hn-1确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’作为当前帧的搜索中心点。
通过该优选方案，可以以计算成本快速地确定所选取的点在上一帧中的位置。但是在此应当指出，在本发明的教导下，其它方式也是可设想的，例如位置对照表查找、匹配等。
在本发明的另一优选方案中规定，使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’包括：
确定表征模板图像与当前帧的粗略图像位置关系的单应矩阵Hn’；以及
使用匹配算法根据单应矩阵Hn’在所述矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。
通过该优选方案，可以以计算成本快速地确定所选取的点在当前帧中的粗略位置。但是在此应当指出，在本发明的教导下，其它方式也是可设想的，例如位置对照表查找、匹配等。
在本发明的又一优选方案中规定，使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在所述在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’包括：
根据精细位置X1”’、X2”’、X3”’、X4”’确定表征模板图像与当前帧的精细图像位置关系的单应矩阵Hn。
通过该优选方案，可以以计算成本快速地确定所选取的点在当前帧中的精细位置。但是在此应当指出，在本发明的教导下，其它方式也是可设想的，例如位置对照表查找、匹配等。
在本发明的一个扩展方案中规定，该方法还包括：
用单应矩阵Hn更新通过KCF算法得到的单应矩阵Hn’以供用于下一帧的运动预测。
在本发明的另一扩展方案中规定，所述匹配算法为小范围块匹配算法。在此应当指出，在本发明的教导下，其它精确匹配算法也是可设想的。
本发明还提供了一种机器可读存储介质，其具有存储在其上的计算机程序，所述计算机程序被配置为执行根据本发明的方法。
本发明至少具有下列有益效果：
(1)解决了目标运动模糊、旋转时跟踪不准确或失败的问题；
(2)能够快速准确预测目标运动趋势；
(3)能够快速准确跟踪运动目标。
附图说明
下面结合附图参考具体实施例来进一步阐述本发明。
图1示出了根据本发明的基于核相关滤波KCF算法的运动预测方法的示意图；
以及图2-4示出了根据本发明的基于核相关滤波KCF算法的运动预测方法的流程图。
具体实施方式
应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。
在本发明中，除非特别指出，“布置在…上”、“布置在…上方”以及“布置在…之上”并未排除二者之间存在中间物的情况。
在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。
本发明的特点是改进KCF算法的使用方法并结合其它跟踪算法来实现目标跟踪：先联合使用多个KCF算法粗略预测运动轨迹，然后采用其它跟踪算法在预测的范围内进行精确计算，实现目标的快速精确跟踪定位。
改进KCF算法的使用方法能够使得整个方法在运动预测中运算速度更快，并且在运动模糊跟踪效果好的基础上，解决了目标运动带旋转时跟踪失败或不准确的问题。两种(或更多种)算法联合应用满足了系统的跟踪实时性要求和高精度的需求。
本发明主要技术方案是：在目标图像中选取多个非共线的目标块分别作为目标区域，每个目标区域都采用KCF跟踪算法对各自目标区域进行学习跟踪，快速对每个目标区域进行运动预测，并综合各目标区域的运动预测结果，粗略预测出目标区域运动趋势和范围，输出图像对应关系、如单应矩阵，接下来通过其它跟踪算法和输出的图像对应关系、如单应矩阵，计算精确的目标运动轨迹，从而快速精确跟踪到目标。
下面结合具体实施例进一步阐述本发明。
图1示出了根据本发明的基于核相关滤波KCF算法的运动预测方法的示意图。
首先，在模板图像101中选取非共线的多个点(不少于四个点，以下以四个点为例说明)。例如，在模板图像101中选取非共线的四个点X1、X2、X3、X4，并分别以四个点X1、X2、X3、X4为中心选取小矩形块、如正方形块。
然后，根据描述模板图像101与上一帧图像103之间的位置关系的单应矩阵Hn-1，得到所选取的点X1、X2、X3、X4在上一帧103中的位置，即点X1’、X2’、X3’、X4’。
接着，分别以点X1’、X2’、X3’、X4’为中心点，在当前帧106中选取适当大小(大小例如根据精确度要求和应用场景来选择)的矩形块为KCF跟踪算法的搜索区域102，并且分别通过KCF跟踪算法，计算四个点X1、X2、X3、X4在当前帧中的粗略位置(或预测位置)104，即点X1”、X2”、X3”、X4”，并得到描述模板图像101与当前帧106的粗略图像位置关系的单应矩阵Hn’。
然后，使用其它精确匹配算法、例如小范围块匹配算法，根据单应矩阵Hn’，确定当前帧106的图像运动的大致范围，在KCF预测的范围内进行精确计算匹配，得到四个点X1、X2、X3、X4在当前帧106中的精细位置，即点X1”’、X2”’、X3”’、X4”’。在此应当指出，其它精确匹配算法可任意选择。
在经过其它精确匹配算法精确匹配后，根据点X1”’、X2”’、X3”’、X4”’，计算出描述模板图像101与当前帧106的精细图像位置关系的单应矩阵Hn，并更新KCF计算得到的单应矩阵Hn’，并提供给下一帧运动预测使用。
从图1中可以得知，尽管在当前帧中，与以X1、X2、X3、X4为中心的矩形块相对应的块(即以X1”’、X2”’、X3”’、X4”’为中心的块)具有一定的旋转，但是通过本发明的方法仍然较好地被识别。此外，本发明能够并行地进行多个目标的运动预测。
图2-4示出了根据本发明的基于核相关滤波KCF算法的运动预测方法的流程图，其中图2示出了总体流程图，图3示出了KCF预测流程图，并且图4示出了更新位置和数据的流程图。
如图2所示，方法的总流程为：
首先，在步骤201，对所选取的四个非共线点执行多次(如四次)KCF算法。具体流程参见图3：首先，在步骤301，在模板上选取四个或更多个非共线点X1、X2、X3、X4，然后在步骤302，通过单应矩阵Hn确定所选点在上一帧的位置X1’、X2’、X3’、X4’，接着在在步骤303，针对所述点各执行一次KCF算法以得到表示粗略位置关系的单应矩阵Hn’以及粗略位置X1”、X2”、X3”、X4”。
然后，在步骤202，执行匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。
最后，更新相应位置和数据。
在图4中示出了更新位置和数据的流程图。
在步骤401，执行匹配算法。
然后在步骤402，表示确定精细位置关系的单应矩阵Hn。
最后，用新的单应矩阵Hn替换表示粗略位置关系的单应矩阵Hn’。
本发明至少具有下列有益效果：
(1)解决了目标运动模糊、旋转时跟踪不准确或失败的问题；
(2)能够快速准确预测目标运动趋势；
(3)能够快速准确跟踪运动目标。
虽然本发明的一些实施方式已经在本申请文件中予以了描述，但是对本领域技术人员显而易见的是，这些实施方式仅仅是作为示例示出的。本领域技术人员可以想到众多的变型方案、替代方案和改进方案而不超出本发明的范围。所附权利要求书旨在限定本发明的范围，并藉此涵盖这些权利要求本身及其等同变换的范围内的方法和结构。

Claims (7)

1.一种基于核相关滤波KCF算法的运动预测方法，包括下列步骤：
在模板图像中选取四个以上非共线的点X1、X2、X3、X4；
在模板图像中分别以所选取的点X1、X2、X3、X4为中心选取矩形块；
根据模板图像与上一帧的图像位置关系确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’作为当前帧的搜索中心点；
在当前帧中分别以位置X1’、X2’、X3’、X4’为中心选取相应矩形块作为KCF算法的搜索区域；
使用核相关滤波KCF算法在所述搜索区域中确定X1、X2、X3、X4在当前帧中的粗略位置X1”、X2”、X3”、X4”；
使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。
2.根据权利要求1所述的方法，其中根据模板图像与上一帧的图像位置关系确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’包括：
根据表征模板图像与上一帧的图像位置关系的单应矩阵Hn-1确定所选取的点X1、X2、X3、X4在上一帧中的位置X1’、X2’、X3’、X4’作为当前帧的搜索中心点。
3.根据权利要求1所述的方法，其中使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域中确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’包括：
确定表征模板图像与当前帧的粗略图像位置关系的单应矩阵Hn’；以及
使用匹配算法根据单应矩阵Hn’在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’。
4.根据权利要求3所述的方法，其中使用匹配算法根据所述粗略位置X1”、X2”、X3”、X4”在以X1”、X2”、X3”、X4”为中心的矩形区域中进行匹配以确定X1、X2、X3、X4在当前帧中的精细位置X1”’、X2”’、X3”’、X4”’包括：
根据精细位置X1”’、X2”’、X3”’、X4”’确定表征模板图像与当前帧的精细图像位置关系的单应矩阵Hn。
5.根据权利要求4所述的方法，其中该方法还包括：
用单应矩阵Hn更新通过KCF算法得到的单应矩阵Hn’以供用于下一帧的运动预测。
6.根据权利要求1至5之一所述的方法，其中所述匹配算法为块匹配算法或其它匹配算法。
7.一种机器可读存储介质，其具有存储在其上的计算机程序，所述计算机程序被配置为执行根据权利要求1至6之一所述的方法。
CN201810868875.1A 2018-08-02 2018-08-02 一种基于kcf算法的运动预测方法 Pending CN109087331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810868875.1A CN109087331A (zh) 2018-08-02 2018-08-02 一种基于kcf算法的运动预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810868875.1A CN109087331A (zh) 2018-08-02 2018-08-02 一种基于kcf算法的运动预测方法

Publications (1)

Publication Number Publication Date
CN109087331A true CN109087331A (zh) 2018-12-25

Family

ID=64833701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810868875.1A Pending CN109087331A (zh) 2018-08-02 2018-08-02 一种基于kcf算法的运动预测方法

Country Status (1)

Country Link
CN (1) CN109087331A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579848A (zh) * 2018-12-27 2019-04-05 武汉大学 一种保持全局路径下机器人的中间规划方法
CN111857187A (zh) * 2020-08-21 2020-10-30 烟台大学 一种基于无人机的t梁施工追踪系统和方法
CN111882589A (zh) * 2020-06-23 2020-11-03 广州万维创新科技有限公司 基于图像的单目视觉slam的初始化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANG, HUANLONG等: "Extended kernel correlation filter for abrupt motion tracking", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *
熊昌镇 等: "自适应特征融合的核相关滤波跟踪算法", 《计算机辅助设计与图形学学报》 *
郝志成 等: "基于多约束准则匹配算法的序列图像配准", 《光学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579848A (zh) * 2018-12-27 2019-04-05 武汉大学 一种保持全局路径下机器人的中间规划方法
CN109579848B (zh) * 2018-12-27 2020-03-10 武汉大学 一种保持全局路径下机器人的中间规划方法
CN111882589A (zh) * 2020-06-23 2020-11-03 广州万维创新科技有限公司 基于图像的单目视觉slam的初始化方法
CN111857187A (zh) * 2020-08-21 2020-10-30 烟台大学 一种基于无人机的t梁施工追踪系统和方法
CN111857187B (zh) * 2020-08-21 2021-07-06 烟台大学 一种基于无人机的t梁施工追踪系统和方法

Similar Documents

Publication Publication Date Title
CN108805901B (zh) 一种基于多核dsp的视觉目标快速检测跟踪并行计算及融合方法
CN109087331A (zh) 一种基于kcf算法的运动预测方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
Zhang et al. Siamese visual tracking based on criss-cross attention and improved head network
US20200258242A1 (en) Target tracking method and apparatus, and storage medium
Li et al. Small target deep convolution recognition algorithm based on improved YOLOv4
CN111931720A (zh) 跟踪图像特征点的方法、装置、计算机设备和存储介质
Bai et al. Improving detection capabilities of YOLOv8-n for small objects in remote sensing imagery: towards better precision with simplified model complexity
Nie et al. FAML-RT: Feature alignment-based multi-level similarity metric learning network for a two-stage robust tracker
Zhang et al. Research on improved YOLOv8 algorithm for insulator defect detection
Wang et al. Densely connected swin-unet for multiscale information aggregation in medical image segmentation
Cao et al. Face detection for rail transit passengers based on single shot detector and active learning
Wang et al. 3cDe-Net: a cervical cancer cell detection network based on an improved backbone network and multiscale feature fusion
Liu et al. Two‐Stream Boundary‐Aware Neural Network for Concrete Crack Segmentation and Quantification
Cao et al. All you need is a second look: Towards tighter arbitrary shape text detection
Lu et al. Learning discriminated features based on feature pyramid networks and attention for multi-scale object detection
Wu et al. Learning task-specific discriminative representations for multiple object tracking
Shen et al. A real-time siamese tracker deployed on UAVs
CN115424000A (zh) 一种指针式仪表识别方法、系统、设备及存储介质
Wu et al. An improved Yolov5s based on transformer backbone network for detection and classification of bronchoalveolar lavage cells
Zhang et al. Asynchronous in parallel detection and tracking (aipdt): Real-time robust polyp detection
Lin et al. DDBN: Dual detection branch network for semantic diversity predictions
Wei et al. An IoU-aware Siamese network for real-time visual tracking
Wang et al. Dual-branch memory network for visual object tracking
Zhong et al. Steel Surface Defect Detection Based on an Improved YOLOv5 Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225

RJ01 Rejection of invention patent application after publication