CN106780557B - 一种基于光流法和关键点特征的运动目标跟踪方法 - Google Patents

一种基于光流法和关键点特征的运动目标跟踪方法 Download PDF

Info

Publication number
CN106780557B
CN106780557B CN201611206049.8A CN201611206049A CN106780557B CN 106780557 B CN106780557 B CN 106780557B CN 201611206049 A CN201611206049 A CN 201611206049A CN 106780557 B CN106780557 B CN 106780557B
Authority
CN
China
Prior art keywords
target
matching
key point
key points
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611206049.8A
Other languages
English (en)
Other versions
CN106780557A (zh
Inventor
韩光
罗衡
李晓飞
董世文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201611206049.8A priority Critical patent/CN106780557B/zh
Publication of CN106780557A publication Critical patent/CN106780557A/zh
Application granted granted Critical
Publication of CN106780557B publication Critical patent/CN106780557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流法和关键点特征的运动目标跟踪方法，该方法包括：在初始视频帧中，计算目标区域关键点和背景区域关键点所对应的特征向量，并以此建立一个特征库；在相邻两帧之间使用光流法排除不稳定的关键点，得到光流跟踪成功的关键点；检测并描述当前帧中的所有关键点特征，将其与特征库进行匹配，得到若干最佳匹配关键点；将跟踪成功的关键点与匹配成功的关键点进行融合；利用相似三角形关系评估目标的中心位置、尺度和旋转角度；利用历史帧信息在线更新特征库。本发明能够实现对目标较长时间的稳定跟踪，且能较准确地评估目标尺度、旋转角度等实时的几何状态信息，具有运算速度快、抗遮挡和形变能力强的特点。

Description

一种基于光流法和关键点特征的运动目标跟踪方法
技术领域
本发明涉及一种基于光流法和关键点特征的运动目标跟踪方法，属于计算机视觉技术领域。
背景技术
运动目标跟踪是计算机视觉领域的核心技术之一，也是安防监控、人机交互、智能交通、航空航天、医学诊断等多个领域的关键应用技术。目前为止，视觉跟踪已经形成了一套基本理论，并积累了大量的研究成果。常见的运动目标跟踪技术包括基于检测的跟踪、基于匹配的跟踪、基于滤波的跟踪、基于融合的跟踪等。这些方法分别从不同的角度分析视觉跟踪过程的特性，并建立相应模型来处理，但是单一的跟踪方法都存在一定的局限性或者固有的缺陷。比如常规的基于匹配的算法，具有跟踪稳定、精度高的特点，但是由于目标表观模型一般是基于全局特征或者是基于区域块特征的，导致搜索区域较大，计算量大、实时性较差，且当目标的尺寸、外形及姿态发生变化或者目标被遮挡时，目标模型更新不及时或更新过度都会影响算法的稳定性和有效性。
光流法是一种通过评估相邻帧之间的光流变化和利用相邻帧之间内在的对应关系来得到相邻帧之间物体运动信息的方法。经典的光流法分为稠密光流和稀疏光流两种。经典的Lucas-Kanade光流法只需计算图像上部分特征点的稀疏光流，相比于稠密光流具有运算量少、处理速度快等优势。基于亮度恒定、时间连续和空间一致这三个假设条件，Jean-Yves Bouguet等人利用仿射变换改进上述算法，提出了金字塔Lucas-Kanade光流法，通过对原始图像进行采样建立多尺度的图像金字塔，首先在金字塔顶层计算光流，把上一层估计的运动作为下一层的起始点，逐层求解并不断精确。该方法能够克服Lucas-Kanade光流法在假设情况不成立时计算误差较大甚至无法计算的缺陷。但是，仅仅基于稀疏光流的跟踪方法也存在一些不足，比如图像中目标的稳定特征点数量不足时，跟踪容易发生漂移甚至丢失。
ORB(Oriented FAST and Rotated BRIEF)关键点特征描述算子由Ethan Rublee等人于2011年提出，它基于FAST(Features From Accelerated Segment Test)角点快速检测算法和BRIEF(Binary Robust Independent Elementary Features)特征描述子。ORB算子能够快速检测图像中稳定可靠的关键点，提取具有旋转不变性且对噪声不太敏感的局部特征信息。
鉴于目标尺度的变化、旋转和形变、无规律运动、环境中光照变化以及遮挡等诸多因素的影响，在复杂的应用场景下进行目标跟踪，尤其是稳定跟踪外观变化剧烈的目标，现有的采用单一策略的目标跟踪方法仍然难以完全满足实际应用所需要的实时性、鲁棒性和准确性。而本发明是通过提取图像的关键点局部特征，将关键点的光流跟踪和结构化匹配相结合，能够很好地解决上面的问题。
发明内容
本发明目的在于针对上述现有技术的不足，提出了一种基于光流法和关键点特征的运动目标跟踪方法，该方法包括：在初始视频帧中，检测视频图像中目标区域关键点和背景区域关键点，计算对应的特征向量，并以此建立一个特征库；使用光流法向前和向后评估相邻帧之间的光流场，排除不稳定的关键点，得到跟踪成功的关键点；在后续视频帧中，检测并描述当前帧中的所有关键点特征；将检测得到的关键点特征与特征库进行匹配，得到若干最佳匹配关键点，匹配过程遵循结构化一致性约束条件；将跟踪成功的关键点与匹配成功的关键点进行融合；利用相似三角形关系评估目标的中心位置、尺度和平面内旋转角度；结合目标的稳定特征和变化特征这两类历史帧特征信息更新特征库。本发明能够实现对目标较长时间的稳定跟踪，且能较准确地评估目标尺度、旋转角度等实时的几何状态信息，具有运算速度快、抗遮挡和形变能力强的特点。该方法在长期稳定跟踪目标的同时，准确评估目标的尺度、旋转角度等几何状态。该方法采用具有旋转不变性且对噪声不太敏感的ORB关键点特征描述算子提取图像的局部特征，结合关键点的光流跟踪和一致性匹配，提高跟踪过程中对目标形变和遮挡情况的处理能力。
本发明解决其技术问题所采取的技术方案是：一种基于光流法和关键点特征的运动目标跟踪方法，该方法包括如下步骤：
步骤1，初始化。获取视频，在视频图像的第1帧中检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集。根据已知的目标框中心位置和边界框大小，将所有关键点划分为目标关键点集和背景关键点集两类，并以此构建一个初始特征库D1；
步骤2，假设当前帧为第t(t>1)帧，在第t-1帧和第t帧之间使用金字塔Lucas-Kanade光流法进行前向光流和后向光流评估，排除不稳定的关键点后，得到跟踪成功的关键点集
Figure BDA0001189997920000031
步骤3，检测并描述当前帧视频图像的关键点特征，得到关键点集
Figure BDA0001189997920000032
步骤4，将步骤3中的
Figure BDA0001189997920000033
与特征库Dt中的目标关键点和背景关键点同时进行K最近邻匹配，按照结构化一致性约束条件进行筛选，得到初步匹配成功的目标关键点，匹配步骤包括：
401，对于每个关键点
Figure BDA0001189997920000034
在特征库中寻找最佳的匹配关键点，并计算匹配度得分。为了去除不准确的匹配关系，给出如下筛选步骤和条件，包括：
a)每个pi取匹配度得分最大的前3个匹配对；
b)如果pi匹配到了背景区域的关键点，则认为pi不是目标关键点，此匹配失败；
c)如果匹配度得分小于阈值θd，此匹配失败；
d)对于每个pi，如果最大匹配度得分与其余两个匹配度得分的均值之比小于阈值θr，则认为此匹配也是不可靠的，排除之；
402，假设步骤401共初步筛选得到若干个候选关键点匹配关系，为了进一步提高筛选关键点的效率和准确度，提出一种基于相似三角形的结构化一致性约束条件，计算得到每一组相似三角形的相似比和相似度；
403，考虑到相邻两帧之间目标不仅会旋转和缩放还有可能发生形变，所以允许一定程度的匹配误差，设置合适的相似性阈值使匹配过程具有一定的容错能力。当某一组三角形的相似度大于阈值时，判定其满足约束条件，否则不满足约束条件；
404，对于每个关键点，其可能同时是多个三角形的顶点，统计这些三角形中满足约束条件的个数。如果超过半数满足约束条件，则该关键点是匹配成功的，否则匹配失败，从而得到若干最终匹配成功的目标关键点集
Figure BDA0001189997920000035
及其匹配度得分
Figure BDA0001189997920000036
步骤5，将步骤2得到的
Figure BDA0001189997920000037
和步骤4得到的
Figure BDA0001189997920000038
取并集进行融合，得到有效的目标关键点
Figure BDA0001189997920000039
及其对应的匹配度得分
Figure BDA00011899979200000310
步骤6，根据结构化一致性约束中的相似三角形关系，利用步骤5中得到的
Figure BDA00011899979200000311
及其在特征库中对应的匹配关键点之间的几何关系评估目标的旋转角度、尺度因子等几何状态和目标中心的最佳置信位置；
步骤7，将步骤5中得到的
Figure BDA0001189997920000041
与Dt-1中目标关键点集
Figure BDA0001189997920000042
进行匹配，匹配方式参照步骤4通过筛选得到有效的目标关键点集
Figure BDA0001189997920000043
作为下一帧(即第t+1帧)光流跟踪的关键点集。
步骤8，利用步骤5中得到的
Figure BDA0001189997920000044
和
Figure BDA0001189997920000045
更新特征库Dt-1中对应目标关键点的特征向量Vt-1，
得到同时包含目标稳定特征和变化表观的新特征库Dt。
有益效果：
1、本发明使用了关键点局部特征描述子构建目标表观模型，在目标被局部遮挡时也能具有较好的跟踪性能，且能够较精确地评估目标的尺度和目标在平面内的旋转角度等几何状态。
2、本发明通过引入目标结构信息对关键点匹配过程进行约束，避免了常规的平面单应性检验算法的复杂计算过程，处理速度大大提高。
3、本发明的特征库在更新过程中保持目标的稳定特征不变，只学习目标的动态变化特征，不会造成不可逆的误差累积，保证跟踪具有良好的鲁棒性和可持续性。
4、本发明实现了对非特定目标较长时间的稳定跟踪，具有速度快、抗遮挡和形变能力强的特点。
附图说明
图1为本发明的方法流程图。
图2为本发明所述方法中的结构化一致性约束示意图。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
本发明提供了一种基于光流法和关键点特征的运动目标跟踪方法，该方法整体框架如图1所示，包括以下步骤：
步骤1，初始化。获取视频，在视频图像的第1帧中使用ORB算法快速检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集
Figure BDA0001189997920000046
其中pi＝pi(xi,yi)为第i个关键点的坐标，vi为对应的特征向量，N为关键点的个数。根据已知的目标框中心位置l1和边界框大小，所有关键点被划分为目标关键点集
Figure BDA0001189997920000051
和背景关键点集
Figure BDA0001189997920000052
两类，并以此构建一个初始特征库D1＝{P1,V1}；
步骤2，假设当前帧为第t(t>1)帧，在第t-1帧和第t帧之间使用金字塔Lucas-Kanade算法进行光流场评估。计算第t-1帧中筛选得到的有效目标关键点集
Figure BDA0001189997920000053
向前跟踪到第t帧的关键点，再将得到的关键点从第t帧向后跟踪回第t-1帧，如果所得到的关键点不能映射到
Figure BDA0001189997920000054
中，则剔除这些不可靠的关键点，得到稳定跟踪的关键点集
Figure BDA0001189997920000055
步骤3，使用ORB算法检测并描述当前帧视频图像，得到关键点集
Figure BDA0001189997920000056
步骤4，将步骤3中的
Figure BDA0001189997920000057
与特征库Dt-1中的目标关键点和背景关键点同时进行K近邻匹配，按照结构化一致性约束条件进行筛选，得到初步匹配成功的目标关键点，匹配步骤如下：
401，对于每个关键点
Figure BDA0001189997920000058
在特征库
Figure BDA0001189997920000059
中通过计算并比较特征向量之间的汉明距离来寻找最佳的匹配关键点，其中归一化匹配汉明距离的倒数记为匹配度得分
Figure BDA00011899979200000510
其中⊙为按位同或操作，d为特征向量v的维度。为了去除不准确的匹配关系，给出如下筛选步骤和条件：
a)每个pi取匹配度得分最大的前3个匹配对；
b)如果pi匹配到了背景区域的关键点，则认为pi不是目标关键点，此匹配失败；
c)如果ci小于阈值θd，此匹配失败；
d)对于每个pi，如果最大匹配度得分与其余两个匹配度得分的均值之比小于阈值θr，则认为此匹配也是不可靠的，排除之；
402，假设步骤401共初筛得到n个候选关键点匹配关系，为了进一步提高筛选关键点的效率和准确度，提出一种基于相似三角形的一致性约束条件。如图2所示，假设点p1(x1,y1)、p2(x2,y2)和p3(x3,y3)是图像在第t-1帧中目标区域的任意三个关键点，分别对应于第t帧中的p′1(x′1,y′1)、p′2(x′2,y′2)和p′3(x′3,y′3)，那么在理想情况下，ΔP1P2P3和ΔP′1P′2P′3是一对相似三角形。在
Figure BDA0001189997920000061
中将每3个候选关键点构建一个三角形，得到
Figure BDA0001189997920000062
个三角形，从中随机选取
Figure BDA0001189997920000063
个三角形构成集合
Figure BDA0001189997920000064
类似地，在特征库Dt-1中也使用相匹配的关键点构造出对应的三角形集合
Figure BDA0001189997920000065
然后评估
Figure BDA0001189997920000066
中每一组相对应的三角形之间的相似性，计算公式为
Figure BDA0001189997920000067
其中，记号avg表示求平均值，μ为三角形的平均相似比，s∈(0,1]为相似度。
403，考虑到相邻两帧之间目标不仅会旋转和缩放还有可能发生形变，所以允许一定程度的匹配误差，设置合适的相似性阈值θl使匹配过程具有一定的容错能力。当s≥θl时，判定三角形满足约束条件，否则不满足约束条件；
404，对于每个pi，其可能同时是
Figure BDA0001189997920000068
中多个三角形的顶点，统计这些三角形中满足约束条件的个数。如果超过半数满足约束条件，则该关键点是匹配成功的，否则匹配失败，从而得到若干最终匹配成功的目标关键点集
Figure BDA0001189997920000069
及其匹配度得分
Figure BDA00011899979200000610
步骤5，将步骤2得到的
Figure BDA00011899979200000611
和步骤4得到的
Figure BDA00011899979200000612
取并集进行融合，得到有效的目标关键点
Figure BDA00011899979200000613
及其对应的匹配度得分
Figure BDA00011899979200000614
对于跟踪成功但未参与匹配的关键点，单独计算其匹配度得分；
步骤6，根据结构化一致性约束中的相似三角形关系，利用步骤5中得到的
Figure BDA00011899979200000615
及其对应的匹配关键点构成的多组三角形评估目标的几何状态。如图2所示，以第t-1帧为参考基准，第t帧中所有三角形的旋转角度的中位值作为当前帧中目标在平面内的旋转角度
Figure BDA0001189997920000071
第t帧中所有三角形的相似比的中位值作为当前帧中目标的尺度因子rt，计算方式如下：
Figure BDA0001189997920000072
其中，记号med表示求中位值，α和β分别为一对相似三角形中对应的一条边与所在坐标系中x轴正方向之间的夹角。
为了确定目标中心位置的坐标，取第t-1帧中已知的目标中心点lt-1，与
Figure BDA0001189997920000073
中的每两个关键点构造一个三角形，共得到M个三角形。在理想情况下，将这些三角形按照参数
Figure BDA0001189997920000074
进行仿射变换，在第t帧中得到对应的M个三角形。由于反射变换参数使用中位值进行描述，所以在实际情况下相邻两帧之间对应的三角形并不全部符合上述仿射变换关系，从而可能产生M个候选位置点集
Figure BDA0001189997920000075
计算Lt所有候选位置的均值，作为目标中心的最佳置信位置
lt＝avg(Lt) (4)
步骤7，将步骤5中得到的
Figure BDA0001189997920000076
与Dt-1中目标关键点集
Figure BDA0001189997920000077
进行匹配，匹配方式参照步骤4通过筛选得到有效的目标关键点集
Figure BDA0001189997920000078
作为下一帧(第t+1帧)光流跟踪的关键点集。
步骤8，利用步骤5中得到的
Figure BDA0001189997920000079
和
Figure BDA00011899979200000710
更新特征库Dt-1中对应目标关键点的特征向量Vt-1，更新策略如下：
a)特征库Dt-1中的所有关键点个数始终保持不变，且背景关键点不更新；
b)在目标关键点集Pf中，每个关键点pf,i可能对应有两个特征向量。第一个特征向量
Figure BDA00011899979200000711
来自于第1帧，可能存在的第二个特征向量
Figure BDA00011899979200000712
来自于第1帧之后的某一历史帧；
c)在更新特征库Dt-1的过程中，每个关键点的
Figure BDA00011899979200000713
保持不变。当目标关键点
Figure BDA0001189997920000081
的匹配度得分ci大于阈值θm时，使用vi替换Dt-1中对应关键点的
Figure BDA0001189997920000082
保证新特征库Dt既包含目标长期稳定的表观特征，也学习了目标短期内最新的外观变化。
综上所述仅为本发明中的具体实施方式，但本发明的实际保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的推演或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于光流法和关键点特征的运动目标跟踪方法，其特征在于，包括以下步骤：
步骤1，初始化，获取视频，在视频图像的第1帧中使用ORB算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集，根据已知的目标框中心位置和边界框大小，将所有关键点划分为目标关键点集和背景关键点集两类，并以此构建一个初始特征库D1；
步骤2，假设当前帧为第t帧，其中t>1，在第t-1帧和第t帧之间使用金字塔Lucas-Kanade光流法进行前向光流和后向光流评估，根据匹配度得分
Figure FDA0002445811150000011
排除不稳定的关键点后，得到跟踪成功的关键点集
Figure FDA0002445811150000012
步骤3，使用ORB算法检测并描述当前帧视频图像，得到关键点集
Figure FDA0002445811150000013
步骤4，将上述步骤3中的
Figure FDA0002445811150000014
与特征库Dt-1中的目标关键点和背景关键点同时进行K最近邻匹配，根据步骤1构建第t-1帧的初始特征库Dt-1，按照基于相似三角形的结构化一致性约束条件进行筛选，得到初步匹配成功的目标关键点集
Figure FDA0002445811150000015
及其匹配度得分
Figure FDA0002445811150000016
步骤5，将步骤2得到的
Figure FDA0002445811150000017
和步骤4得到的
Figure FDA0002445811150000018
取并集进行融合，得到目标关键点集
Figure FDA0002445811150000019
及其对应的匹配度得分
Figure FDA00024458111500000110
步骤6，根据结构化一致性约束中的相似三角形关系，利用步骤5中得到的
Figure FDA00024458111500000111
及其在特征库中对应的匹配关键点之间的几何关系评估目标的旋转角度、尺度因子和目标中心的最佳置信位置；
步骤7，将步骤5中得到的
Figure FDA00024458111500000112
与Dt-1中目标关键点集
Figure FDA00024458111500000113
进行匹配，匹配方式参照步骤4通过筛选得到有效的目标关键点集
Figure FDA00024458111500000114
作为第t+1帧光流跟踪的关键点集；
步骤8，利用上述步骤5中得到的
Figure FDA00024458111500000115
和
Figure FDA00024458111500000116
更新特征库Dt-1中对应目标关键点的特征向量Vt-1，得到同时包含目标稳定特征和变化表观的新特征库Dt。
2.根据权利要求1所述的一种基于光流法和关键点特征的运动目标跟踪方法，其特征在于，所述步骤4的匹配步骤包括：
401，对于每个关键点
Figure FDA00024458111500000117
在特征库中寻找最佳的匹配关键点，并计算匹配度得分，为了去除不准确的匹配关系，给出如下筛选步骤和条件，包括：
a)每个pi取匹配度得分最大的前3个匹配对；
b)如果pi匹配到了背景区域的关键点，则认为pi不是目标关键点，此匹配失败；
c)如果匹配度得分小于阈值θd，此匹配失败；
d)对于每个pi，如果最大匹配度得分与其余两个匹配度得分的均值之比小于阈值θr，则认为此匹配也是不可靠的，排除之；
402，假设步骤401共初步筛选得到若干个候选关键点匹配关系，为了进一步提高筛选关键点的效率和准确度，提出一种基于相似三角形的结构化一致性约束条件，计算得到每一组相似三角形的相似比和相似度；
403，考虑到相邻两帧之间目标不仅会旋转和缩放还有可能发生形变，所以允许一定程度的匹配误差，设置合适的相似性阈值使匹配过程具有一定的容错能力，当某一组三角形的相似度大于阈值时，判定其满足约束条件，否则不满足约束条件；
404，对于每个关键点，其可能同时是多个三角形的顶点，统计这些三角形中满足约束条件的个数，如果超过半数满足约束条件，则该关键点是匹配成功的，否则匹配失败，从而得到若干最终匹配成功的目标关键点集
Figure FDA0002445811150000021
及其匹配度得分
Figure FDA0002445811150000022
3.根据权利要求1所述的一种基于光流法和关键点特征的运动目标跟踪方法，其特征在于，所述步骤4中的匹配过程遵循结构化一致性约束条件，且基于统计规则筛选得到合格的匹配关键点。
CN201611206049.8A 2016-12-23 2016-12-23 一种基于光流法和关键点特征的运动目标跟踪方法 Active CN106780557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611206049.8A CN106780557B (zh) 2016-12-23 2016-12-23 一种基于光流法和关键点特征的运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611206049.8A CN106780557B (zh) 2016-12-23 2016-12-23 一种基于光流法和关键点特征的运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106780557A CN106780557A (zh) 2017-05-31
CN106780557B true CN106780557B (zh) 2020-06-09

Family

ID=58920262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611206049.8A Active CN106780557B (zh) 2016-12-23 2016-12-23 一种基于光流法和关键点特征的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106780557B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108106569B (zh) * 2017-11-28 2021-02-05 北京天地玛珂电液控制系统有限公司 一种基于视觉的综采工作面直线度检测方法和系统
CN108986137B (zh) * 2017-11-30 2022-02-01 成都通甲优博科技有限责任公司 人体跟踪方法、装置及设备
CN108776974B (zh) * 2018-05-24 2019-05-10 南京行者易智能交通科技有限公司 一种适用于公共交通场景的实时目标跟踪方法
CN108710868B (zh) * 2018-06-05 2020-09-04 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN109118514B (zh) * 2018-06-11 2022-07-15 西安电子科技大学 一种目标跟踪方法
CN109064485B (zh) * 2018-06-11 2022-02-18 西安电子科技大学 一种基于cmt算法的特征库维护方法
CN109089058B (zh) * 2018-07-06 2021-05-11 广州方硅信息技术有限公司 视频画面处理方法、电子终端及装置
CN109117854B (zh) * 2018-07-25 2021-01-29 北京达佳互联信息技术有限公司 关键点匹配方法、装置、电子设备以及存储介质
CN109583391B (zh) * 2018-12-04 2021-07-16 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN110458017B (zh) * 2019-07-08 2022-02-18 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110428390B (zh) 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN111401135B (zh) * 2020-02-20 2023-09-26 长沙智能驾驶研究院有限公司 开门防撞方法、装置、计算机设备和存储介质
CN111696133B (zh) * 2020-05-28 2022-09-30 武汉中海庭数据技术有限公司 一种实时目标跟踪方法及系统
US20220060628A1 (en) * 2020-08-19 2022-02-24 Honeywell International Inc. Active gimbal stabilized aerial visual-inertial navigation system
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112489083B (zh) * 2020-12-07 2022-10-04 之江实验室 基于orb-slam算法的图像特征点跟踪匹配方法
CN112950672B (zh) * 2021-03-03 2023-09-19 百度在线网络技术（北京）有限公司 确定关键点的位置的方法、装置和电子设备
CN114973353A (zh) * 2022-04-15 2022-08-30 合肥昊川信息科技有限公司 智能洗手评估方法、系统、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN105844663A (zh) * 2016-03-21 2016-08-10 中国地质大学（武汉） 一种自适应orb目标跟踪方法
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN105844663A (zh) * 2016-03-21 2016-08-10 中国地质大学（武汉） 一种自适应orb目标跟踪方法
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AR based on ORB feature and KLT tracking;Jie Ren等;《Applied Mechanics and Materials》;20131231;论文正文 *
基于特征提取的图像稳像算法研究;孙宇超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;论文正文 *

Also Published As

Publication number Publication date
CN106780557A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106780557B (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
Rangesh et al. No blind spots: Full-surround multi-object tracking for autonomous vehicles using cameras and lidars
Hodan et al. Bop: Benchmark for 6d object pose estimation
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
Su et al. Global localization of a mobile robot using lidar and visual features
Lee et al. Place recognition using straight lines for vision-based SLAM
Shao et al. Pfrl: Pose-free reinforcement learning for 6d pose estimation
Liu et al. Dynamic RGB-D SLAM based on static probability and observation number
Bogoslavskyi et al. Analyzing the quality of matched 3D point clouds of objects
Xie et al. A deep feature aggregation network for accurate indoor camera localization
Wu et al. A survey on monocular 3D object detection algorithms based on deep learning
Pire et al. Online object detection and localization on stereo visual SLAM system
Li et al. Adaptive and compressive target tracking based on feature point matching
Lin et al. Hierarchical representation via message propagation for robust model fitting
Wang et al. Improving RGB-D SLAM accuracy in dynamic environments based on semantic and geometric constraints
Huang et al. Toward user-specific tracking by detection of human shapes in multi-cameras
Xin et al. Accurate and complete line segment extraction for large-scale point clouds
Zhou et al. Retrieval and localization with observation constraints
Tang et al. Place recognition using line-junction-lines in urban environments
Liu et al. DeepPCT: Single object tracking in dynamic point cloud sequences
Chang et al. Triplet loss based metric learning for closed loop detection in VSLAM system
Li et al. Recent advances on application of deep learning for recovering object pose
Chen et al. DORF: A dynamic object removal framework for robust static LiDAR mapping in urban environments
Su et al. Real-time multiple object tracking based on optical flow
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170531

Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2021980014141

Denomination of invention: A moving target tracking method based on optical flow method and key point features

Granted publication date: 20200609

License type: Common License

Record date: 20211206

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2021980014141

Date of cancellation: 20231107