CN109118514A - 一种目标跟踪方法 - Google Patents

一种目标跟踪方法 Download PDF

Info

Publication number
CN109118514A
CN109118514A CN201810592340.6A CN201810592340A CN109118514A CN 109118514 A CN109118514 A CN 109118514A CN 201810592340 A CN201810592340 A CN 201810592340A CN 109118514 A CN109118514 A CN 109118514A
Authority
CN
China
Prior art keywords
feature point
frame image
point set
fisrt feature
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810592340.6A
Other languages
English (en)
Other versions
CN109118514B (zh
Inventor
赵小明
袁胜春
俱青
李先通
张策
邵晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810592340.6A priority Critical patent/CN109118514B/zh
Publication of CN109118514A publication Critical patent/CN109118514A/zh
Application granted granted Critical
Publication of CN109118514B publication Critical patent/CN109118514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种目标跟踪方法，该方法包括：获取第t帧图像的第一特征点集，其中，t为大于0的自然数；将所述第一特征点集与第t‑1帧图像对应的第一特征点库进行匹配以获取第二特征点集；利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集；利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框；利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库。本发明的目标跟踪方法提高了目标跟踪的实时性和鲁棒性，对于发生形变或遮挡的目标能够进行准确的跟踪，提高目标跟踪的准确率。

Description

一种目标跟踪方法
技术领域
本发明属于目标跟踪技术领域，具体涉及一种目标跟踪方法。
背景技术
CMT算法(Consensus-based Tracking and Matching of Keypoints for ObjectTracking，基于特征点跟踪和匹配的目标跟踪算法)是一种基于特征的跟踪方法，使用了经典的光流法作为算法的一部分，核心是对特征点进行匹配。CMT算法兼顾了实时性和鲁棒性，跟踪效果令人满意，适用于多种场合，特别是对于静态物体跟踪效果趋于完美。
CMT算法时根据前一帧中目标特征点通过光流法获取第一部分跟踪点，同时直接检测当前帧的特征点，与初始帧所有特征点进行全局匹配获取第二部分跟踪点，然后将上述两部分跟踪点进行数据融合得到当前帧的初步特征点。再计算经全局匹配后融合得到的关键点的夹角以及关键点两两之间的距离，评估出当前帧中目标的旋转因子和尺度因子。最后对融和后的跟踪点进行投票，通过分层聚类得到最大类，将最大类中的关键点的坐标均值作为目标中心点，更新输出目标跟踪框，从而实现对目标的跟踪。
CMT算法虽然较好地解决了目标跟踪过程中发生的旋转和尺度变化，但是CMT原算法中的全局匹配部分和光流法跟踪部分所使用的特征点都是基于初始帧所提取的特征点进行的匹配和跟踪，而在实际目标跟踪过程中，目标外观往往会因为目标形变而发生变化，从而导致目标自身特征点与初始帧有较大不同，导致在很多实际情况下CMT算法的跟踪性能不强，从而导致跟踪混乱甚至导致跟踪失败。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现：
一种目标跟踪方法，包括：
获取第t帧图像的第一特征点集，其中，t为大于0的自然数；
将所述第一特征点集与第t-1帧图像对应的第一特征点库进行匹配以获取第二特征点集；
利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集；
利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框；
利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库。
在本发明的一个实施例中，将所述第一特征点集与第t-1帧图像对应的第一特征点库进行匹配以获取第二特征点集，包括：
利用KNN匹配方法将所述第一特征点集中的所有特征点与所述第一特征点库中的所有特征点逐一进行匹配，以获取所述第二特征点集。
在本发明的一个实施例中，利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集，包括：
利用所述第一特征点库对第t帧图像的第一特征点集进行光流法跟踪，以获取第三特征点集。
在本发明的一个实施例中，在利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集之后，还包括：
对所述第二特征点集和所述第三特征点集进行融合以获取第四特征点集；
根据所述第四特征点集以获取所述第t帧图像的第一目标框。
在本发明的一个实施例中，利用所述第四特征点集获得所述第t帧图像的第一目标框，包括：
利用尺度因子和旋转因子对所述第四特征点集进行变换；
利用投票聚类方法对变换后的第四特征点集进行聚类以获取所述第一目标框。
在本发明的一个实施例中，在利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框之后，还包括：
判断第t帧图像的目标是否被遮挡；
若否，则对所述第一特征点库进行更新；
若是，则停止对所述第一特征点库进行更新，直至遮挡消失再继续对所述第一特征点库进行更新。
在本发明的一个实施例中，判断第t帧图像的目标是否被遮挡，包括：
将第t帧图像的目标按照第一方向依次重叠的平均分成N个跟踪窗口，其中，N为大于0的自然数；
获得第t帧图像的第四特征点集中特征点的第一总数量；
获得第1帧图像的第五特征点集中特征点的第二总数量；
通过所述第一总数量和所述第二总数量的比值确定遮挡判定值；
当所述遮挡判定值大于遮挡判定阈值时，则第t帧图像的目标未被遮挡。
在本发明的一个实施例中，在通过所述第一总数量和所述第二总数量的比值确定遮挡判定值之后，还包括：
当所述遮挡判定值小于遮挡判定阈值时，则分别获取所述第t-1帧图像的每个跟踪窗口至第t帧图像的每个跟踪窗口的判定模块比值，其中，0<m≤N；
当所述第t-1帧图像的第一个跟踪窗口至第m-2个跟踪窗口的判定模块比值均小于判定模块阈值，所述第t-1帧图像的第m-1个跟踪窗口的判定模块比值大于第t帧图像的第m-1个跟踪窗口的判定模块比值，并且所述第t-1帧图像的第m个跟踪窗口的判定模块比值小于第t帧图像的第m个跟踪窗口的判定模块比值时，则第t帧图像的目标被遮挡；
当所述第t-1帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值分别小于所述第t帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值时，则第t帧图像的目标未被遮挡。
在本发明的一个实施例中，利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库，包括：
利用所述第一特征点库与所述第一目标框内的所述第一特征点集进行匹配，以获得第t帧图像新出现的特征点；
调整所述第一目标框以获得第二目标框；
判断所述新出现的特征点是否位于所述第二目标框内；
若否，则将所述新出现的特征点按照采样更新概率进行更新；
若是，则将所述新出现的特征点添加至所述第一特征点库进行以获取第二特征库。
在本发明的一个实施例中，所述采样更新概率为1/rate，其中，rate为采样因子。
与现有技术相比，本发明的有益效果：
本发明的目标跟踪方法提高了目标跟踪的实时性和鲁棒性，对于发生形变或遮挡的目标能够进行准确的跟踪，提高目标跟踪的准确率。
附图说明
图1是本发明提高的一种目标跟踪方法的流程示意图；
图2是本发明提高的一种跟踪框提取方式示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明提高的一种目标跟踪方法的流程示意图。本发明实施例提供了一种目标跟踪方法，该目标跟踪方法包括：
获取第t帧图像的第一特征点集，其中，t为大于0的自然数；
将所述第一特征点集与第t-1帧图像对应的第一特征点库进行匹配以获取第二特征点集；
利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集；
利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框；
利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库。
本发明实施例的目标跟踪方法在目标发生形变时，能够利用目标的相邻帧间的相似性对匹配特征库进行更新，对于目标中新出现的特征点能够及时的添加进入匹配特征库中，从而能够及时准确对目标进行跟踪，提高了目标跟踪的实时性和鲁棒性。
其中，第一特征点集、第二特征点集和第三特征点集是由图像目标的特征点组成，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
第一特征点库和第二特征点库是由特征点组成，是用来与图像目标中新出现的特征点进行匹配。
具体地，本实施例对目标跟踪方法进行详细描述：
步骤1、获取第t帧图像的第一特征点集；
具体地，利用FAST(Features from Accelerated Segment Test，角点检测方法)特征点检测方法获取第t帧图像的第一特征点集，其中，t为大于0的自然数。
其中，第一特征点集中的特征点包括目标特征点和背景特征点，目标特征点是位于目标框内的点，背景特征点是位于目标框外的点。
步骤2、获取第二特征点集；
步骤2.1，利用KNN(K-NearestNeighbor，K最近邻)匹配方法将第t帧图像的第一特征点集的特征点与更新后的第t-1帧图像的第一特征点库中的特征点逐一进行匹配，将匹配成功的特征点的集合作为第二特征点集；
其中，需要说明的是，第t-1帧图像的第一特征点库的获取方法与本实施例的第t帧图像的第二特征点库的获取方法相同，且第t-1帧图像的第一特征点库包括第1帧图像所有的特征点及第2帧图像至第t-1帧图像所有新出现的特征点。其中，第1帧图像的特征点包括第1帧图像的目标特征点和背景特征点，利用CMT算法得到第1帧图像的目标框，在目标框内的特征点则为目标特征点，在目标框外的则为背景特征点，其中，第一特征点库中的每个特征点均配置有索引标记。
具体地，利用KNN匹配方法时将满足如下条件的特征点剔除，未满足如下条件的特征点则为匹配成功的特征点：
a.若第一特征点集中的特征点匹配到了第一特征点库的背景特征点，则将该特征点剔除；
b.若最佳匹配的匹配距离大于第一阈值时，且最佳匹配的匹配距离与次佳匹配的匹配距离大于第二阈值时，则将该第一特征点集中对应的特征点剔除；
具体地，利用第一特征点库中的某个特征点与第t帧图像的第一特征点集中的所有特征点计算匹配距离，其中，第一特征点库中的该特征点与第t帧图像的第一特征点集中的某个特征点的匹配距离最小，则该最小的匹配距离则为最佳匹配的匹配距离，若该最佳匹配的匹配距离大于所设定的第一阈值，则为匹配失败，即将该特征点剔除，其中，匹配距离为汉明距离。
其中，第一阈值为0.25。
其中，次佳匹配的匹配距离是指第一特征点集中某特征点的匹配距离仅大于最佳匹配的匹配距离。
其中，第二距离为0.8。
步骤3、获取第三特征点集；
步骤3.1、根据第t-1帧图像中第一特征库中的特征点，利用光流法对第t帧图像进行前向跟踪，从而确定这些特征点在第t帧图像中的位置，然后利用光流法对第t帧中第一特征点集中的特征点进行后向跟踪，得到这些特征点在第t-1帧图像中的位置，利用前后向误差法和归一化互相关系数法筛选掉第t帧图像中第一特征点集偏差较大的特征点，剩余的则构成第三特征点集。
步骤3.1.1、前后向(Forward-Backword，简称FB)误差，用来表示被跟踪特征点轨迹的前向-后向误差。将第t-1帧图像记为It-1，第t帧图像记为It，得到一个图片序列S＝(It-1，It)，将第t-1帧图像对应的第一特征点库中的某个特征点p在第t-1帧图像中的位置记为Xt-1,对特征点p进行前向跟踪，最终形成的前向轨迹为Xt为利用前向跟踪得到的特征点p在第t帧图像的位置，将第t帧图像对应的第一特征点集中的某个特征点p在第t帧图像中的位置记为再将该特征点p从第t帧图像向后追踪至第t-1帧图像，最终形成的后向轨迹为 为利用后向跟踪得到的特征点p在第t-1帧图像中的位置，则FB误差为前向轨迹和后向轨迹之间的距离，记为其中前向轨迹和后向轨迹之间的距离为欧式距离，则
步骤3.1.2、归一化互相关系数法(Normalized Cross Correlation，简称NCC)是一种基于相似度度量的匹配算法。在CMT算法中，将第t-1帧图像对应的第一特征点库中以特征点p为中心的邻域M*N图像区域作为模板图像，以第t帧图像与特征点p对应的特征点为中心的邻域M*N图像区域作为待匹配图像，计算模板图像和待匹配图像的相似度，即NCC系数(Normalized Cross Correlation归一化相关系数)。NCC计算公式如下：
NCC(x,y)为第t帧图像的位置点(x,y)的归一化互相关系数，M×N为模板图像的大小，其中，1≤i≤M，I(x+i,y+j)为待匹配图像(x+i,y+j)处的灰度值，T(i,j)为模板图像(i,j)处的灰度值，为待匹配图像灰度值的均值，为模板图像灰度值的均值。
步骤3.1.3、取NCC的中值，将第t帧图像的第一特征点集中小于NCC中值的特征点剔除，再取FB误差的中值，将第t帧图像的第一特征点集中大于FB误差中值的特征点剔除，第一特征点集中剩余的特征点的集合第三特征点集。
步骤4、获取第四特征点集；
具体地，将第二特征点集和第三特征点集进行无重复地进行融合，即取第二特征点集和第三特征点集的并集，融合后得到的即为第四特征点集，融合后记录第四特征点集中的特征点在第t帧图像中的绝对坐标值。
步骤5、获取第一目标框；
步骤5.1、利用尺度因子和旋转因子对第t帧图像中第四特征点集对应的特征点进行尺度变换和旋转变换，之后将未经过尺度变换和旋转变换的第四特征点集中每个特征点与其对应的经过尺度变换和旋转变换的特征点之间构成向量；
其中，尺度因子s为：
其中，med为取中值，为第t帧图像中第i个特征点的位置，为第t帧图像中第j个特征点的位置，为第t帧图像中第i个特征点的位置，为第t帧图像中第j个特征点的位置。
旋转因子α为：
其中，atan为反正切。
步骤5.2、计算每两个向量之间的距离，并将距离按照升序的顺序排列，利用层次凝聚聚类方法将按照升序排列后的向量进行聚类，并得到经过聚类后中最大的类，计算这个最大的类中的所有特征点的坐标的均值，并将求得的均值所对应的点作为目标中心点，通过该目标中心点提取第一目标框。
步骤6、判断第t帧图像是否被遮挡；
步骤6.1、将第t帧图像的目标按照第一方向有重叠的平均分成N个跟踪窗口，其中，N为大于0的自然数；
优选的，第一方向可以为从左至右，可以为从右至左，可以为从上至下，可以为从下至上。
请参见图2，图2是本发明提高的一种跟踪框提取方式示意图。为了举例说明，本实施例的第一方向采用从左至右进行说明，且本实施例取4个跟踪窗口，从左至右记为P1、P2、P3、P4，其中，P1、P2、P3、P4将第t帧图像内的目标按照从左至右方向依次重叠的均分成4个跟踪窗口；
步骤6.2、获得第t帧图像的第四特征点集中特征点分别位于N个跟踪窗口的数量和第t帧图像的第四特征点集中特征点的总数量，该总数量记为第一总数量Pt；
步骤6.2、获得第1帧图像(首帧)的第五特征点集中特征点分别位于N个跟踪窗口的数量和第1帧图像的第五特征点集中特征点的总数量，该总数量记为第二总数量P，其中，第五特征点集为利用FAST特征点检测方法获取的第1帧图像的特征点的集合；
步骤6.3、计算第一总数量Pt和第二总数量P的比值，将该比值确定为遮挡判定值，即R＝Pt/P，其中，R代表遮挡判定值；
步骤6.4、设定遮挡判定阈值，当遮挡判定值大于遮挡判定阈值时，则说明第t帧图像的目标未被遮挡；
优选地，遮挡判定阈值取0.68。
步骤6.5、当遮挡判定值大于遮挡判定阈值时，则进入遮挡判定模块；
步骤6.5.1、分别获取第t-1帧图像的每个跟踪窗口至第t帧图像的每个跟踪窗口的判定模块比值，其中，0<m≤N；
具体地，计算第t-1帧图像中每个跟踪窗口中的特征点数量与第1帧图像中每个对应的跟踪窗口中的特征点数量的比值，将该比值记为第t-1帧图像的判定模块比值，即其中0<m≤N，Pmt-1为第t-1帧图像第m个跟踪窗口中特征点的数量，Pm为第1帧图像第m个跟踪窗口中特征点的数量；
具体地，计算第t帧图像中每个跟踪窗口中的特征点数量与第1帧图像中每个对应的跟踪窗口中的特征点数量的比值，将该比值记为第t帧图像的判定模块比值，即其中0<m≤N，Pmt为第t帧图像第m个跟踪窗口中特征点的数量，Pm为第1帧图像第m个跟踪窗口中特征点的数量；
步骤6.5.2、当第t-1帧图像的第一个跟踪窗口至第m-2个跟踪窗口的判定模块比值均小于判定模块阈值，第t-1帧图像的第m-1个跟踪窗口的判定模块比值大于第t帧图像的第m-1个跟踪窗口的判定模块比值，并且第t-1帧图像的第m个跟踪窗口的判定模块比值小于第t帧图像的第m个跟踪窗口的判定模块比值时，则第t帧图像的目标被遮挡；
当第t帧图像的第1个跟踪窗口至第m个跟踪窗口的判定模块比值均小于判定模块阈值时，则判定第t帧图像的第1个跟踪窗口至第m个跟踪窗口均受到遮挡，则说明第t帧图像的目标被遮挡；
优选地，判定模块阈值为0.2。
假设第t帧图像的目标的遮挡是自左向右发生，且N取值为4，则跟踪窗口自左向右为P1、P2、P3、P4；
a.当连续3帧图像及以上发生时，则进入下一步判断：若此时则判定P1受到遮挡，否则待定。其中，上述不等式表明P1中的特征点在持续减少，而同时P2中的特征点数量在上升，故判定P1受到遮挡；
b.在P1判定受到遮挡后，若继续持续下降或小于判定模块阈值时，且也开始下降(即)，与此同时即P3中特征点的数量开始上升，则判定P2也受到遮挡，否则继续判定只有P1受到遮挡。因为这种情况说明P1可能已经被完全遮挡，P1中的特征点不可能再继续下降但会很少，这时在遮挡物边缘聚集的特征点会向P3移动，当遮挡物移动到P3时会造成P2的判定模块比值下降，而P3的判定模块比值上升，故在此时判定P1、P2都已受到遮挡；
c.在上面步骤a和步骤b发生的情况下，同理，若都小于判定模块阈值，且同时则P4中特征点开始上升，则判定此时P1、P2和P3均受到遮挡；
d.在上面步骤a、步骤b和步骤c都发生的情况下，若出现 都小于判定模块阈值时，则判定此时P1、P2、P3和P4均受到遮挡，说明此时目标被完全遮挡。
e.在步骤d发生的情况下，如开始出现或 的情况，则相应的跟踪窗口的遮挡判定取消。
步骤6.5.3、当遮挡发生时，总是会从目标的外围先开始，逐渐深入，假设目标会自左向右、自右向左、自上向下或自下向上式的被逐步遮挡。
当(m＝1，N)，即当第t-1帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值分别小于第t帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值时，无论如何变化，判断此时目标并没有受到遮挡。因为遮挡只会使相应部分的特征点减少，而该不等式表示两边的小块中特征点都有增多，故不可能发生遮挡。
在使用CMT算法进行跟踪的过程中发生遮挡情况时，成功跟踪的目标特征点不会随着遮挡物占目标物面积的不断增大而成比例减少，而会由于光流法的跟踪方式使得被遮挡的目标特征点不会马上消失，总会延缓几帧之后再消失，导致目标特征点会在遮挡边缘呈聚集趋势集中。利用这一特性，本实施例对目标进行了合理分块，通过分析每一块中特征点的变化趋势对遮挡情况做出迅速判断和处理。
步骤7、当第t帧图像的目标受到遮挡时，则停止对第一特征点库进行更新，直至遮挡消失再继续对第一特征点库进行更新；
当第t帧图像的目标未受到遮挡时，则对第一特征点库进行更新；
步骤7.1、利用步骤2中的KNN匹配方法将第一特征点库中的特征点与第一目标框内的第一特征点集中的特征点进行匹配，将未匹配成功的特征点确定为第t帧图像新出现的特征点；
步骤7.2、调整第一目标框以获得第二目标框；
具体地，将第一目标框按照调整数值进行缩放，以获得第二目标框；
优选地，调整数值为0.5倍，即将第一目标框调的大小调整为0.5倍大小，具体地，将第一目标框的长和宽分别调整为0.5倍大小，调整后记为第二目标框。
步骤7.3、判断新出现的特征点是否位于所述第二目标框内；
若是，则将新出现的特征点添加至第一特征点库，以对第一特征点库进行更新，更新后即为第二特征库，并将该第二特征库用于下一帧目标的跟踪，从而实现图像中的目标跟踪；
若否，则使用采样更新策略进行更新，该采样更新策略指的是按照一定的更新率进行更新。其中，每个特征点被更新的概率按照采样更新概率进行更新，其中，采样更新概率为1/rate，rate表示采样因子。该策略使得更新具有空域上的随机性。
优选地，rate取值为5。
本实施例的目标跟踪方法根据遮挡情况的发生判断是否对特征库进行更新，因为当遮挡发生时，还对特征库进行错误的更新，容易总成目标跟踪的漂移甚至造成跟踪失败。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
获取第t帧图像的第一特征点集，其中，t为大于0的自然数；
将所述第一特征点集与第t-1帧图像对应的第一特征点库进行匹配以获取第二特征点集；
利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集；
利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框；
利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库。
2.根据权利要求1所述的目标跟踪方法，其特征在于，将所述第一特征点集与第t-1帧图像对应的第一特征点库进行匹配以获取第二特征点集，包括：
利用KNN匹配方法将所述第一特征点集中的所有特征点与所述第一特征点库中的所有特征点逐一进行匹配，以获取所述第二特征点集。
3.根据权利要求1所述的目标跟踪方法，其特征在于，利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集，包括：
利用所述第一特征点库对第t帧图像的第一特征点集进行光流法跟踪，以获取第三特征点集。
4.根据权利要求1所述的目标跟踪方法，其特征在于，在利用所述第一特征点库对所述第一特征点集进行跟踪以获取第三特征点集之后，还包括：
对所述第二特征点集和所述第三特征点集进行融合以获取第四特征点集；
根据所述第四特征点集获取所述第t帧图像的第一目标框。
5.根据权利要求4所述的目标跟踪方法，其特征在于，利用所述第四特征点集以获取所述第t帧图像的第一目标框，包括：
利用尺度因子和旋转因子对所述第四特征点集进行变换；
利用投票聚类方法对变换后的第四特征点集进行聚类以获取所述第一目标框。
6.根据权利要求4所述的目标跟踪方法，其特征在于，其特征在于，在利用所述第二特征点集和所述第三特征点集以获取所述第t帧图像的第一目标框之后，还包括：
判断第t帧图像的目标是否被遮挡；
若否，则对所述第一特征点库进行更新；
若是，则停止对所述第一特征点库进行更新，直至遮挡消失再继续对所述第一特征点库进行更新。
7.根据权利要求6所述的目标跟踪方法，其特征在于，判断第t帧图像的目标是否被遮挡，包括：
将第t帧图像的目标按照第一方向依次重叠的平均分成N个跟踪窗口，其中，N为大于0的自然数；
获得第t帧图像的第四特征点集中特征点的第一总数量；
获得第1帧图像的第五特征点集中特征点的第二总数量；
通过所述第一总数量和所述第二总数量的比值确定遮挡判定值；
当所述遮挡判定值大于遮挡判定阈值时，则第t帧图像的目标未被遮挡。
8.根据权利要求7所述的目标跟踪方法，其特征在于，在通过所述第一总数量和所述第二总数量的比值确定遮挡判定值之后，还包括：
当所述遮挡判定值小于遮挡判定阈值时，则分别获取所述第t-1帧图像的每个跟踪窗口至第t帧图像的每个跟踪窗口的判定模块比值，其中，0<m≤N；
当所述第t-1帧图像的第一个跟踪窗口至第m-2个跟踪窗口的判定模块比值均小于判定模块阈值，所述第t-1帧图像的第m-1个跟踪窗口的判定模块比值大于第t帧图像的第m-1个跟踪窗口的判定模块比值，并且所述第t-1帧图像的第m个跟踪窗口的判定模块比值小于第t帧图像的第m个跟踪窗口的判定模块比值时，则第t帧图像的目标被遮挡；
当所述第t-1帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值分别小于所述第t帧图像的第一个跟踪窗口和第N个跟踪窗口的判定模块比值时，则第t帧图像的目标未被遮挡。
9.根据权利要求1所述的目标跟踪方法，其特征在于，利用所述第一目标框对所述第一特征点集进行处理，对所述第一特征点库进行更新，以获取更新后的第二特征点库，包括：
利用所述第一特征点库与所述第一目标框内的所述第一特征点集进行匹配，以获得第t帧图像新出现的特征点；
调整所述第一目标框以获得第二目标框；
判断所述新出现的特征点是否位于所述第二目标框内；
若否，则将所述新出现的特征点按照采样更新概率进行更新；
若是，则将所述新出现的特征点添加至所述第一特征点库以获取第二特征库。
10.根据权利要求9所述的目标跟踪方法，其特征在于，所述采样更新概率为1/rate，其中，rate为采样因子。
CN201810592340.6A 2018-06-11 2018-06-11 一种目标跟踪方法 Active CN109118514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810592340.6A CN109118514B (zh) 2018-06-11 2018-06-11 一种目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810592340.6A CN109118514B (zh) 2018-06-11 2018-06-11 一种目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109118514A true CN109118514A (zh) 2019-01-01
CN109118514B CN109118514B (zh) 2022-07-15

Family

ID=64822718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810592340.6A Active CN109118514B (zh) 2018-06-11 2018-06-11 一种目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109118514B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质
CN111882583A (zh) * 2020-07-29 2020-11-03 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112700643A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 输出车辆流向的方法、装置、路侧设备以及云控平台
CN113191368A (zh) * 2020-01-14 2021-07-30 北京地平线机器人技术研发有限公司 一种标志物的匹配方法及装置
WO2022052853A1 (zh) * 2020-09-10 2022-03-17 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050679A (zh) * 2014-07-03 2014-09-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法
US20160063344A1 (en) * 2014-08-27 2016-03-03 International Business Machines Corporation Long-term static object detection
CN105975952A (zh) * 2016-05-26 2016-09-28 天津艾思科尔科技有限公司 一种视频图像中大胡子检测的方法及系统
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107103299A (zh) * 2017-04-21 2017-08-29 天津大学 一种监控视频中的人数统计方法
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN108022254A (zh) * 2017-11-09 2018-05-11 华南理工大学 一种基于征点辅助的时空上下文目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050679A (zh) * 2014-07-03 2014-09-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
US20160063344A1 (en) * 2014-08-27 2016-03-03 International Business Machines Corporation Long-term static object detection
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法
CN105975952A (zh) * 2016-05-26 2016-09-28 天津艾思科尔科技有限公司 一种视频图像中大胡子检测的方法及系统
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN107103299A (zh) * 2017-04-21 2017-08-29 天津大学 一种监控视频中的人数统计方法
CN108022254A (zh) * 2017-11-09 2018-05-11 华南理工大学 一种基于征点辅助的时空上下文目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JAVIER NAVARRO GONZALEZ: "People exact-tracking using a Parrot AR.Drone 2.0", 《HTTPS://UPCOMMONS.UP.EDU/HANDLE/2117/78379》 *
MINGYU SHEN 等: "Robust Object tracking via superpixels and keypoints", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
杨治国: "视频监控中行人检测与跟踪的算法研究", 《万方数据知识服务平台》 *
蒋小莉: "基于压缩粒子滤波的改进目标跟踪算法研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *
袁峻 等: "一种基于CMT框架的目标跟踪算法研究", 《计算机与数字工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质
CN113191368A (zh) * 2020-01-14 2021-07-30 北京地平线机器人技术研发有限公司 一种标志物的匹配方法及装置
CN113191368B (zh) * 2020-01-14 2023-08-01 北京地平线机器人技术研发有限公司 一种标志物的匹配方法及装置
CN111882583A (zh) * 2020-07-29 2020-11-03 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
CN111882583B (zh) * 2020-07-29 2023-11-14 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
WO2022052853A1 (zh) * 2020-09-10 2022-03-17 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112700643A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 输出车辆流向的方法、装置、路侧设备以及云控平台

Also Published As

Publication number Publication date
CN109118514B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN109118514A (zh) 一种目标跟踪方法
CN111460926B (zh) 一种融合多目标跟踪线索的视频行人检测方法
CN102354397B (zh) 基于面部特征器官相似性的人脸图像超分辨率重建方法
CN109190442A (zh) 一种基于深度级联卷积神经网络的快速人脸检测方法
US20210312166A1 (en) System and method for face recognition based on dynamic updating of facial features
CN107392964A (zh) 基于室内特征点和结构线结合的室内slam方法
CN112163622B (zh) 全局与局部融合约束的航空宽基线立体像对线段匹配方法
CN106780557A (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
CN102982340A (zh) 基于半监督学习和随机蕨类分类器的目标跟踪方法
CN105787876B (zh) 一种基于surf特征跟踪匹配的全景视频自动拼接方法
CN102214291A (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN109948690A (zh) 一种基于深度学习和结构信息的高铁场景感知方法
CN103886589A (zh) 面向目标的自动化高精度边缘提取方法
CN103218827A (zh) 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN113743260B (zh) 一种地铁站台密集人流情况下的行人跟踪方法
CN105931267A (zh) 一种基于改进ViBe算法的运动物体检测跟踪方法
CN104599291B (zh) 基于结构相似度和显著性分析的红外运动目标检测方法
CN102609945A (zh) 可见光和热红外图像序列自动配准方法
CN109859222A (zh) 基于级联神经网络的边缘提取方法及系统
CN115685102A (zh) 一种基于目标跟踪的雷视自动标定方法
CN101916381B (zh) 基于稀疏表示的物体轮廓提取方法
CN112288792B (zh) 一种基于视觉的客人排队长度和等待时间的即时测量方法
CN109886091A (zh) 基于带权重局部旋度模式的三维人脸表情识别方法
CN116403007B (zh) 基于目标向量的遥感影像变化检测方法
CN103455981A (zh) 一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant