CN109064485B - 一种基于cmt算法的特征库维护方法 - Google Patents
一种基于cmt算法的特征库维护方法 Download PDFInfo
- Publication number
- CN109064485B CN109064485B CN201810592384.9A CN201810592384A CN109064485B CN 109064485 B CN109064485 B CN 109064485B CN 201810592384 A CN201810592384 A CN 201810592384A CN 109064485 B CN109064485 B CN 109064485B
- Authority
- CN
- China
- Prior art keywords
- feature
- library
- feature library
- updated
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于CMT算法的特征库维护方法，该方法包括：建立特征库，其中，特征库包括暂存特征库、跟踪特征库和捕获特征库；提取第t帧图像的n个特征点，其中，t和n均为大于0的自然数；将所述特征点与跟踪特征库进行匹配以更新暂存特征库；根据更新后的所述暂存特征库的特征点的第一类置信值更新跟踪特征库；根据更新后的所述暂存特征库的特征点的第二类置信值更新捕获特征库。本发明提出了一种特征库的维护方法，使得特征库中保留的特征点都是稳定，当跟踪的目标发生形变或者遮挡后，使用该特征库中的特征点与当前帧检测到的特征点进行匹配，之后再与CMT算法中的光流法跟踪到的特征点进行融合，能够增加目标跟踪过程的稳定性。
Description
技术领域
本发明属于目标跟踪技术领域，具体涉及一种基于CMT算法的特征库维护方法。
背景技术
CMT算法(Consensus-based Tracking and Matching of Keypoints for ObjectTracking，基于特征点跟踪和匹配的目标跟踪算法)是一种基于特征的跟踪方法，使用了经典的光流法作为算法的一部分，核心是对特征点进行匹配。CMT算法兼顾了实时性和鲁棒性，跟踪效果令人满意，适用于多种场合，特别是对于静态物体跟踪效果趋于完美。
CMT跟踪算法中，首先通过提取当前帧特征点，并与初始帧提取的所有特征点进行全局匹配，然后使用上一帧输出的特征点进行LK金字塔光流法跟踪预测其在当前帧中的位置，最后将全局匹配得到的特征点和光流法跟踪到的特征点按索引进行无重复的融合，对于索引相同的点，保留光流法跟踪得到的特征点。
在CMT的原算法中，全局特征匹配所使用的特征点仅使用首帧提取的特征点作为匹配模板，在后续跟踪过程中并没有进行任何更新，故当跟踪的目标本身发生变化而出现新特征点时，很可能匹配不上，容易造成跟踪失败的情况；同时，如果存在遮挡情况，那么上一帧输出的特征点很可能是不准确的，因此预测到下一帧目标的特征点显然也是不准确的，这样便会造成后续的跟踪失败。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于CMT算法的特征库维护方法。本发明要解决的技术问题通过以下技术方案实现：
建立特征库，其中，所述特征库包括暂存特征库、跟踪特征库和捕获特征库；
提取第t帧图像的n个特征点，其中，t和n均为大于0的自然数；
将所述第t帧图像的n个特征点与所述跟踪特征库进行匹配以更新所述暂存特征库；
根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库；
根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库。
在本发明的一个实施例中，提取第t帧图像的n个特征点，包括：
调整第t-1帧图像的目标框以获取所述第t帧图像的目标框；
利用第t帧图像的目标框提取第t帧图像的n个特征点。
在本发明的一个实施例中，将所述第t帧图像的特征点与所述跟踪特征库进行匹配以更新所述暂存特征库，包括：
利用KNN匹配方法将所述第t帧图像的n个特征点与所述跟踪特征库的特征点进行匹配；
判断所述第t帧图像的第m个特征点与所述跟踪特征库的特征点是否匹配成功，其中，m取值为1～n且m为自然数；
若匹配成功，则判断所述第m个特征点是否作为待更新特征点，若否，则剔除所述第m个特征点，若是，则将所述第m个特征点作为待更新特征点；
若未匹配成功，则将所述第m个特征点作为待更新特征点；
利用所述待更新特征点与所述暂存特征库的特征点进行匹配以更新所述暂存特征库。
在本发明的一个实施例中，判断所述第m个特征点是否作为待更新特征点，包括：
判断所述第m个特征点的索引是否小于第1帧图像的前景特征点的最大索引；
若是，则所述第m个特征点不作为所述待更新特征点；
若否，则所述第m个特征点作为所述待更新特征点。
在本发明的一个实施例中，利用所述待更新特征点与所述暂存特征库的特征点进行匹配以更新所述暂存特征库，包括：
利用KNN匹配方法将所述待更新特征点与所述暂存特征库的特征点进行匹配；
若匹配成功，则利用所述待更新特征点的第一类置信值和所述待更新特征点的第二类置信值处理所述待更新特征点；
若未匹配成功，则将所述暂存特征库中未匹配成功的特征点减去固定置信值，同时将所述待更新特征点添加至所述暂存特征库以更新所述暂存特征库。
在本发明的一个实施例中，在将所述待更新特征点添加至所述暂存特征库以更新所述暂存特征库之后，还包括：
将添加至所述暂存特征库的所述待更新特征点添加索引，并利用所述待更新特征点的第一类置信值和所述待更新特征点的第二类置信值处理所述待更新特征点。
在本发明的一个实施例中，根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库，包括：
判断更新后的所述暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新所述跟踪特征库；
若是，则将所述暂存特征库的特征点添加至所述跟踪特征库以更新所述跟踪特征库。
在本发明的一个实施例中，在根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库之后，还包括：
判断所述跟踪特征库的特征点的第一类置信值是否大于所述第一置信阈值；
若是，则保留所述跟踪特征库的特征点；
若否，则剔除所述跟踪特征库的特征点。
在本发明的一个实施例中，根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库，包括：
判断所述暂存特征库的特征点的第二类置信值是否大于第二置信阈值；
若否，则不更新所述捕获特征库；
若是，则将所述暂存特征库的特征点添加至所述捕获特征库以更新所述捕获特征库。
在本发明的一个实施例中，在根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库之后，还包括：
判断所述捕获特征库的特征点的数量是否大于数量阈值；
若否，则不更新所述捕获特征库；
若是，则剔除所述捕获特征库中所述第二类置信值最小的特征点。
与现有技术相比，本发明的有益效果：
本发明提出了一种特征库，并提出了对该特征库的维护方法，使得该特征库中保留的特征点都是稳定的特征点，当跟踪的目标发生形变或遮挡后，使用该特征库中的特征点与当前帧检测到的特征点进行匹配，之后再与CMT算法中的光流法跟踪到的特征点进行融合，能够增加目标跟踪过程的稳定性，提高目标跟踪的成功率。
附图说明
图1是本发明提高的一种基于CMT算法的特征库维护方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明提高的一种基于CMT算法的特征库维护方法的流程示意图，该特征库维护方法包括：
建立特征库，其中，所述特征库包括暂存特征库、跟踪特征库和捕获特征库；
提取第t帧图像的n个特征点，其中，t和n均为大于0的自然数；
将所述第t帧图像的n个特征点与所述跟踪特征库进行匹配以更新所述暂存特征库；
根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库；
根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库。
本发明实施例通过建立特征库来实现特征点的筛选与维护，将满足条件的特征点进行添加，并使用特征库中的特征点进行后续的匹配，可以稳定地实现目标的跟踪，保留了跟踪过程中稳定出现的特征点，解决了遮挡后目标出现的再捕获问题和目标形变造成的匹配失败问题，提高了CMT跟踪算法的鲁棒性。
特征库包括暂存特征库、跟踪特征库和捕获特征库，其中，跟踪特征库的特征点用于与当前帧的特征点进行匹配，以解决目标形变情况下的目标跟踪问题；捕获特征库用于与当前帧的特征点进行匹配，当遮挡后目标再次出现时，通过捕获特征库可以实现目标的再次捕获。
实施例二
本发明实施例在上述实施例的基础上对特征库维护方法进行详细描述：
步骤1、建立特征库；
步骤1.1、建立暂存特征库，通过判断暂存特征库中的特征点是否可信，从而确定暂存特征库中的特征点是否添加至跟踪特征库和捕获特征库；
步骤1.2、利用FAST(Features from Accelerated Segment Test，角点检测方法)特征点检测方法提取第1帧图像的所有特征点，第1帧图像为初始帧图像；其中，第1帧图像的所有特征点包括前景特征点和背景特征点，前景特征点是位于目标框内的特征点，背景特征点是位于目标框外的特征点，将第一帧图像的所有前景特征点加入跟踪特征库中，从而建立跟踪特征库，并对所有前景特征点添加索引，索引为数字1,2,3…；
FAST特征点检测方法的基本原理是使用圆周长为16个像素点来判定其圆心像素P是否为角点。在圆周上按顺时针方向从1到16的顺序对圆周像素点进行编号。如果在圆周上有N个连续的像素的亮度都比圆心像素的亮度加上阈值t还要亮，或者比圆心像素的亮度减去阈值还要暗，则圆心像素被称为角点，角点即为特征点。
步骤1.3、利用FAST特征点检测方法提取第1帧图像的所有特征点，第1帧图像为初始帧图像；其中，第1帧图像的所有特征点包括前景特征点和背景特征点，前景特征点是位于目标框内的特征点，背景特征点是位于目标框外的特征点，将第一帧图像的所有前景特征点加入捕获特征库中，从而建立跟踪特征库，并对所有前景特征点添加索引。
步骤2、提取第2帧图像的特征点；
步骤2.1、调整第1帧图像的目标框以获取第2帧图像的目标框；
优选地，将第1帧图像的目标框按照调整数值进行缩放，以获得第2帧图像的目标框；
优选地，调整数值为1.5倍，即将第1帧图像的目标框的大小调整为1.5倍大小，调整后即为第2帧图像的目标框。因为目标是运动的，一般目标的运动不会太剧烈，因此当前帧的目标一般会包含在上一帧目标的1.5区域中，因此调整数值设置为1.5倍。
步骤2.2、利用第2帧图像的目标框提取位于第2帧图像目标框内第2帧图像的所有特征点，并对目标框内的所有特征点添加索引，索引为对应的数字1,2,3…。
步骤3、利用第2帧图像目标框内的特征点更新暂存特征库；
步骤3.1、利用KNN(K-NearestNeighbor，K最近邻)匹配方法将第2帧图像目标框内的所有特征点与跟踪特征库的所有特征点进行匹配，将第2帧图像中满足KNN匹配条件且索引小于第1帧图像中前景特征点的最大索引的特征点剔除，保留第2帧图像中其他的特征点，这些特征点可能是第2帧图像中新出现的特征点，将第2帧图像中这些保留的特征点添加至暂存特征库中，并对这些特征点添加索引和添加这些特征点对应的第一类置信值和第二类置信值，索引为对应的数字1,2,3…；
其中，暂存特征库中的每个特征点和跟踪特征库的每个特征点均对应一个第一类置信值，第一类置信值用于判断暂存特征库中特征点的可信程度，若通过第一类置信值判断暂存特征库中的特征点可信，则可将该暂存特征库中的特征点添加至跟踪特征库中以更新跟踪特征库；第一类置信值还用于判断跟踪特征库的特征点是否需要剔除；特征点对应的第一类置信值增加到置信上限值时，则暂存特征库中的特征点对应的第一类置信值不再增加，其中，置信上限值为6-8；
优选地，第一类置信值为(1-P)，其中，P为对应特征点的汉明距离匹配值；
其中，暂存特征库中的每个特征点均对应一个第二类置信值，第二类置信值用于判断暂存特征库中的特征点的可信程度，若通过第二类置信值判断暂存特征库中的特征点为可信，则可将该暂存特征库中的特征点添加至捕获特征库中以更新捕获特征库；
优选地，第二类置信值为(1-P)，其中，P为对应特征点的汉明距离匹配值，特征点对应的第二类置信值始终变化。
KNN匹配方法是通过测量不同特征点之间的距离进行匹配的，若满足KNN匹配条件，则未匹配成功，若满足条件，则匹配成功；
具体地，匹配方法的匹配条件如下：
若最佳匹配的匹配距离小于第一阈值时，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则将该第一特征点集中对应的特征点剔除；
具体地，利用第2帧图像目标框内的特征点与跟踪特征库的特征点进行匹配，并计算最佳匹配的匹配距离和次佳匹配的匹配距离，若最佳匹配的匹配距离小于第一阈值，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则该第2帧图像的特征点则为满足匹配条件；
具体地，利用跟踪特征库的特征点与第2帧图像目标框内的所有特征点计算匹配距离，其中，计算第2帧图像目标框内每个特征点与跟踪特征库中的所有特征点的匹配距离，其中第2帧图像目标框内每个特征点对应的最小匹配距离即是该特征点的最佳匹配的匹配距离，其中，匹配距离为汉明距离；
优选地，第一阈值为0.25；
其中，次佳匹配的匹配距离是指第2帧图像中某特征点的匹配距离仅大于最佳匹配的匹配距离。
优选地，第二阈值为0.8。
步骤4、根据第2帧图像对应的更新后的暂存特征库更新跟踪特征库；
具体地，判断第2帧图像对应的更新后的暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新跟踪特征库；
若是，则该暂存特征库的特征点为可信，则将该暂存特征库的特征点添加至跟踪特征库以更新跟踪特征库。
优选地，第一置信阈值为2-4。
步骤5、判断第2帧图像对应的更新后的跟踪特征库中的特征点的第一类置信值是否大于第一置信阈值；
若是，则保留该跟踪特征库的特征点；
若否，则剔除该跟踪特征库的特征点，以防跟踪特征库中的特征点过多。
步骤6、根据第2帧图像对应的更新后的暂存特征库更新捕获特征库；
步骤6.1、判断第2帧图像对应的更新后的暂存特征库的特征点的第二类置信值是否大于第二置信阈值；
若否，则不更新捕获特征库；
若是，则该暂存特征库的特征点为可信，将该暂存特征库的特征点添加至捕获特征库以更新捕获特征库。
优选地，第二置信阈值为10-15。
步骤7、判断更新后的捕获特征库的特征点的数量是否大于数量阈值；
若否，则不更新捕获特征库；
若是，则剔除捕获特征库中所述第二类置信值最小的特征点。
优选地，数量阈值为500-800个。
步骤8、利用第3帧图像的特征点更新暂存特征库；
步骤8.1、调整第2帧图像的目标框以获取第3帧图像的目标框；
优选地，将第2帧图像的目标框按照调整数值进行缩放，以获得第3帧图像的目标框；
优选地，调整数值为1.5倍，即将第2帧图像的目标框的大小调整为1.5倍大小，调整后即为第3帧图像的目标框。
步骤8.2、利用第3帧图像的目标框提取位于第3帧图像目标框内第3帧图像的所有特征点，并对目标框内的所有特征点添加索引，索引为对应的数字1,2,3…。
步骤8.3、利用KNN匹配方法将第3帧图像目标框内的所有特征点与经第2帧图像对应的更新后的跟踪特征库的所有特征点进行匹配，判断是否匹配成功；
具体地，利用第3帧图像目标框内的特征点与经第2帧对应更新后的跟踪特征库的特征点进行匹配，即计算第3帧图像目标框内的每个特征点的最佳匹配的匹配距离和次佳匹配的匹配距离，若最佳匹配的匹配距离小于第一阈值，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则该第m个特征点则为满足匹配条件，则匹配成功，否则，则为未匹配成功；
若第3帧图像目标框内的特征点与经第2帧对应更新后的跟踪特征库的特征点匹配成功，则继续判断该第3帧图像目标框内的特征点是否作为待更新特征点，若否，说明该特征点已经存在于跟踪特征库中，则剔除该特征点，若是，则将该特征点作为待更新特征点；
具体地，若该特征点与经第2帧对应更新后的跟踪特征库的特征点匹配成功，则判断该特征点的索引是否小于第1帧图像的前景特征点的最大索引，若否，则剔除该特征点，若是，则将该特征点作为待更新特征点；
若第3帧图像目标框内的特征点与经第2帧对应更新后的跟踪特征库的特征点未匹配成功，则将该特征点作为待更新特征点；
步骤8.4、利用KNN匹配方法将该待更新特征点与经第2帧对应更新后的暂存特征库中的特征点进行匹配，若匹配成功，则将该待更新特征点对应的增加第一类置信值和第二类置信值，若未匹配成功，则首先将暂存特征库中未匹配成功的特征点减去固定置信值，同时将该待更新特征点添加至经第2帧对应更新后的暂存特征库以更新暂存特征库；
具体地，利用该待更新特征点与经第2帧对应更新后的暂存特征库的特征点进行匹配，即计算待更新特征点的最佳匹配的匹配距离和次佳匹配的匹配距离，若最佳匹配的匹配距离小于第一阈值，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则该待更新特征点满足匹配条件，则匹配成功；
优选地，固定置信值小于0.5且大于0，且固定置信值小于(1-P)。
步骤8.5、将添加至第3帧图像对应的更新后的暂存特征库的待更新特征点继续添加索引，并将待更新特征点对应的增加第一类置信值和第二类置信值。
步骤9、根据第3帧图像对应的更新后的暂存特征库更新跟踪特征库；
具体地，判断第3帧图像对应的暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新跟踪特征库；
若是，则将该暂存特征库中第一类置信值大于第一置信阈值对应的特征点添加至跟踪特征库以更新跟踪特征库。
优选地，第一置信阈值为2-4。
步骤9、根据第3帧图像对应的更新后的暂存特征库更新跟踪特征库；
具体地，判断第3帧图像对应的更新后的暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新跟踪特征库；
若是，则该暂存特征库的特征点为可信，则将该暂存特征库中第一类置信值大于第一置信阈值对应的特征点添加至跟踪特征库，以更新跟踪特征库。
优选地，第一置信阈值为2-4。
步骤10、判断第3帧图像对应的更新后的跟踪特征库中的特征点的第一类置信值是否大于第一置信阈值；
若是，则保留该跟踪特征库中第一类置信值大于第一置信阈值对应的特征点；
若否，则剔除该跟踪特征库对应的特征点，以防跟踪特征库中的特征点过多。
步骤11、根据第3帧图像对应的更新后的暂存特征库更新捕获特征库；
步骤11.1、判断第3帧图像对应的更新后的暂存特征库的特征点的第二类置信值是否大于第二置信阈值；
若否，则不更新捕获特征库；
若是，则该暂存特征库对应的特征点为可信，将该暂存特征库对应的特征点添加至捕获特征库以更新捕获特征库。
优选地，第二置信阈值为10-15。
步骤12、判断更新后的捕获特征库的特征点的数量是否大于数量阈值；
若否，则不更新捕获特征库；
若是，则剔除捕获特征库中第二类置信值最小的特征点。
优选地，数量阈值为500-800个。
步骤13、利用第t帧图像的特征点更新暂存特征库；
步骤13.1、循环上述步骤至第t帧图像，调整第t-1帧图像的目标框以获取第t帧图像的目标框，t为大于0的自然数；
优选地，将第t-1帧图像的目标框按照调整数值进行缩放，以获得第t帧图像的目标框；
优选地，调整数值为1.5倍，即将第t-1帧图像的目标框的大小调整为1.5倍大小，调整后即为第t帧图像的目标框。
步骤13.2、利用第t帧图像的目标框提取位于第t帧图像目标框内第t帧图像的所有特征点，假设第t帧图像目标框内有n个特征点，并对n个特征点添加索引，索引为对应的数字1,2,3…n，其中，n为大于0的自然数。
步骤13.3、利用KNN匹配方法将第t帧图像目标框内的n个特征点与跟踪特征库的所有特征点进行匹配；
步骤13.3.1、判断第t帧图像中n个特征点中的第m个特征点与跟踪特征库的特征点是否匹配成功，其中，m取值为1～n且m为自然数；
具体地，利用第t帧图像的第m个特征点与经第t-1帧对应更新后的跟踪特征库的特征点进行匹配，即计算第m个特征点的最佳匹配的匹配距离和次佳匹配的匹配距离，若最佳匹配的匹配距离小于第一阈值，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则该第m个特征点则为满足匹配条件，则匹配成功，否则，则为未匹配成功；
若第m个特征点与经第t-1帧对应更新后的跟踪特征库的特征点匹配成功，则继续判断第m个特征点是否作为待更新特征点，若否，则剔除该第m个特征点，若是，则将第m个特征点作为待更新特征点；
具体地，若第m个特征点与经第t-1帧对应更新后的跟踪特征库的特征点匹配成功，则判断第m个特征点的索引是否小于第1帧图像的前景特征点的最大索引，若否，则剔除该第m个特征点，若是，则将第m个特征点作为待更新特征点；
若第m个特征点与经第t-1帧对应更新后的跟踪特征库的特征点未匹配成功，则将第m个特征点作为待更新特征点；
步骤13.4、利用KNN匹配方法将待更新特征点与经第t-1帧对应更新后的暂存特征库中的特征点进行匹配，若匹配成功，则将该待更新特征点对应的增加第一类置信值和第二类置信值，若未匹配成功，则将暂存特征库中未匹配成功的特征点减去固定置信值，同时将该待更新特征点添加至经第t-1帧对应更新后的暂存特征库以更新暂存特征库；
具体地，利用待更新特征点与经第t-1帧对应更新后的暂存特征库的特征点进行匹配，即计算待更新特征点的最佳匹配的匹配距离和次佳匹配的匹配距离，若最佳匹配的匹配距离小于第一阈值，且最佳匹配的匹配距离与次佳匹配的匹配距离的比值小于第二阈值时，则该待更新特征点满足匹配条件，则匹配成功；
优选地，固定置信值小于0.5，且固定置信值小于(1-P)。
步骤13.5、将添加至第t帧图像对应的更新后的暂存特征库的待更新特征点添加索引，并将待更新特征点对应的增加第一类置信值和第二类置信值。
步骤14、根据第t帧图像对应的更新后的暂存特征库更新跟踪特征库；
具体地，判断第t帧图像对应的暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新跟踪特征库；
若是，则将该暂存特征库中第一类置信值大于第一置信阈值对应的特征点添加至跟踪特征库以更新跟踪特征库。
优选地，第一置信阈值为2-4。
步骤15、判断第t帧图像对应的更新后的跟踪特征库中的特征点的第一类置信值是否大于第一置信阈值；
若是，则保留该跟踪特征库中第一类置信值大于第一置信阈值对应的的特征点；
若否，则剔除该跟踪特征库中第一类置信值小于第一置信阈值对应的的特征点，以防跟踪特征库中的特征点过多。
本实施例的跟踪特征库中包含了目标在近几帧内变化时新出现的特征点，所以利用跟踪特征库中的特征点与当前帧检测到的所有特征点进行匹配，可使得即使目标发生形变也能实现目标的稳定跟踪。通过建立跟踪特征库，动态保留了因目标形变而出现的特征点及初始帧前景特征点，提高了CMT算法的稳定性。
步骤16、根据第t帧图像对应的更新后的暂存特征库更新捕获特征库；
步骤16.1、判断该暂存特征库的特征点的第二类置信值是否大于第二置信阈值；
若否，则不更新该捕获特征库；
若是，则将该暂存特征库中第二类置信值大于第二置信阈值对应的特征点添加至捕获特征库以更新捕获特征库。
优选地，第二置信阈值为10-15。
步骤17、判断更新后的捕获特征库的特征点的数量是否大于数量阈值；
若否，则不更新该捕获特征库；
若是，则剔除该捕获特征库中所述第二类置信值最小的特征点。
优选地，数量阈值为500-800个。
本实施例的捕获特征库中包含了目标在各种姿态下新出现的稳定的特征点，因此当目标发生遮挡情况，且在遮挡后目标再出现时，使用捕获特征库的特征点与当前帧检测到的特征点进行匹配，可实现目标的再次捕获，提高了目标匹配成功的概率。通过建立捕获特征库，从而保留了稳定出现的特征点及初始帧前景特征点，解决了遮挡后目标再出现的再捕获问题。
本实施例的特征库应用于CMT算法中的光流法跟踪时，首先使用初始帧的前景特征点进行跟踪，且之后的每一帧图像都是利用上一帧输出的特征点进行跟踪，并保留满足前后向误差的特征点作为下一帧的候选特征点，剔除偏差较大的特点。由于特征库在匹配过程中的应用，输出的特征点会包含新出现的特征点，从而增加了后续光流法跟踪的鲁棒性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于CMT算法的特征库维护方法，其特征在于，包括：
建立特征库，其中，所述特征库包括暂存特征库、跟踪特征库和捕获特征库；
提取第t帧图像的n个特征点，其中，t和n均为大于0的自然数；
将所述特征点与所述跟踪特征库进行匹配以更新所述暂存特征库；
根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库；
根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库；
将所述特征点与所述跟踪特征库进行匹配以更新所述暂存特征库，包括：
利用KNN匹配方法将所述第t帧图像的n个特征点与所述跟踪特征库的特征点进行匹配；
判断所述第t帧图像的第m个特征点与所述跟踪特征库的特征点是否匹配成功，其中，m取值为1～n且m为自然数；
若匹配成功，则判断所述第m个特征点是否作为待更新特征点，若否，则剔除所述第m个特征点，若是，则将所述第m个特征点作为待更新特征点；
若未匹配成功，则将所述第m个特征点作为待更新特征点；
利用所述待更新特征点与所述暂存特征库的特征点进行匹配以更新所述暂存特征库；
判断所述第m个特征点是否作为待更新特征点，包括：
判断所述第m个特征点的索引是否小于第1帧图像的前景特征点的最大索引；
若是，则所述第m个特征点不作为所述待更新特征点；
若否，则所述第m个特征点作为所述待更新特征点；
利用所述待更新特征点与所述暂存特征库的特征点进行匹配以更新所述暂存特征库，包括：
利用KNN匹配方法将所述待更新特征点与所述暂存特征库的特征点进行匹配；
若匹配成功，则利用所述待更新特征点的第一类置信值和所述待更新特征点的第二类置信值处理所述待更新特征点；
若未匹配成功，则将所述暂存特征库中未匹配成功的特征点减去固定置信值，同时将所述待更新特征点添加至所述暂存特征库以更新所述暂存特征库。
2.根据权利要求1所述的维护方法，其特征在于，提取第t帧图像的n个特征点，包括：
调整第t-1帧图像的目标框以获取所述第t帧图像的目标框；
利用第t帧图像的目标框提取第t帧图像的n个特征点。
3.根据权利要求1所述的维护方法，其特征在于，在将所述待更新特征点添加至所述暂存特征库以更新所述暂存特征库之后，还包括：
将添加至所述暂存特征库的所述待更新特征点添加索引，并利用所述待更新特征点的第一类置信值和所述待更新特征点的第二类置信值处理所述待更新特征点。
4.根据权利要求1所述的维护方法，其特征在于，根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库，包括：
判断更新后的所述暂存特征库的特征点的第一类置信值是否大于第一置信阈值；
若否，则不更新所述跟踪特征库；
若是，则将所述暂存特征库的特征点添加至所述跟踪特征库以更新所述跟踪特征库。
5.根据权利要求4所述的维护方法，其特征在于，在根据更新后的所述暂存特征库的特征点的第一类置信值更新所述跟踪特征库之后，还包括：
判断所述跟踪特征库的特征点的第一类置信值是否大于所述第一置信阈值；
若是，则保留所述跟踪特征库的特征点；
若否，则剔除所述跟踪特征库的特征点。
6.根据权利要求1所述的维护方法，其特征在于，根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库，包括：
判断所述暂存特征库的特征点的第二类置信值是否大于第二置信阈值；
若否，则不更新所述捕获特征库；
若是，则将所述暂存特征库的特征点添加至所述捕获特征库以更新所述捕获特征库。
7.根据权利要求6所述的维护方法，其特征在于，在根据更新后的所述暂存特征库的特征点的第二类置信值更新所述捕获特征库之后，还包括：
判断所述捕获特征库的特征点的数量是否大于数量阈值；
若否，则不更新所述捕获特征库；
若是，则剔除所述捕获特征库中所述第二类置信值最小的特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810592384.9A CN109064485B (zh) | 2018-06-11 | 2018-06-11 | 一种基于cmt算法的特征库维护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810592384.9A CN109064485B (zh) | 2018-06-11 | 2018-06-11 | 一种基于cmt算法的特征库维护方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109064485A CN109064485A (zh) | 2018-12-21 |
| CN109064485B true CN109064485B (zh) | 2022-02-18 |
Family
ID=64820014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810592384.9A Active CN109064485B (zh) | 2018-06-11 | 2018-06-11 | 一种基于cmt算法的特征库维护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109064485B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109686110A (zh) * | 2019-01-17 | 2019-04-26 | 蜂寻（上海）信息科技有限公司 | 车位空满状态判别方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
| CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107507223A (zh) * | 2017-07-28 | 2017-12-22 | 武汉工程大学 | 动态环境下基于多特征聚类匹配的目标跟踪方法 |
| CN108022254A (zh) * | 2017-11-09 | 2018-05-11 | 华南理工大学 | 一种基于征点辅助的时空上下文目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9613273B2 (en) * | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
-
2018
- 2018-06-11 CN CN201810592384.9A patent/CN109064485B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
| CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
| CN106815859A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 |
| CN107507223A (zh) * | 2017-07-28 | 2017-12-22 | 武汉工程大学 | 动态环境下基于多特征聚类匹配的目标跟踪方法 |
| CN108022254A (zh) * | 2017-11-09 | 2018-05-11 | 华南理工大学 | 一种基于征点辅助的时空上下文目标跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| Clustering of Static-Adaptive Correspondences for Deformable Object Tracking;Georg Nebehay 等;《Computer Vision and Pattern Recognition》;20150630;1-9 * |
| 一种基于CMT框架的目标跟踪算法研究;袁峻;《计算机与数字工程》;20171130(第11期);2143-2147+2168 * |
| 无人机图像目标跟踪与定位;袁峻;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20170715(第07期);C031-72 * |
| 视频监控中行人检测与跟踪的算法研究;杨治国;《万方数据》;20151229;正文第36-40页第4章第4.3，4.3.1，4.3.2节，第42-44页第4.3.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109064485A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10552705B2 (en) | Character segmentation method, apparatus and electronic device | |
| CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
| CN108885699B (zh) | 字符识别方法、装置、存储介质及电子设备 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| US11170224B2 (en) | Keyframe-based object scanning and tracking | |
| US8705793B2 (en) | Object tracking by hierarchical association of detection responses | |
| CN108229290B (zh) | 视频物体分割方法和装置、电子设备、存储介质 | |
| CN107886048A (zh) | 目标跟踪方法及系统、存储介质及电子终端 | |
| CN108022258B (zh) | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 | |
| CN111512317A (zh) | 一种多目标实时跟踪方法、装置及电子设备 | |
| CN110853078A (zh) | 一种基于遮挡对的在线多目标跟踪方法 | |
| US20120106784A1 (en) | Apparatus and method for tracking object in image processing system | |
| CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
| CN111340845B (zh) | 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质 | |
| CN110738688B (zh) | 一种红外超弱运动目标检测方法 | |
| CN105279771A (zh) | 一种视频中基于在线动态背景建模的运动目标检测方法 | |
| CN111191535A (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN112052702A (zh) | 一种识别二维码的方法和装置 | |
| CN105787906A (zh) | 一种剔除红外图像亮噪点的方法及系统 | |
| CN109064485B (zh) | 一种基于cmt算法的特征库维护方法 | |
| CN107358621B (zh) | 对象跟踪方法及装置 | |
| CN116363565B (zh) | 目标轨迹确定方法、装置、电子设备及存储介质 | |
| CN116330658B (zh) | 基于深度图像的目标跟踪方法、装置、系统及摄像设备 | |
| US9646386B2 (en) | Method and apparatus for generating temporally consistent superpixels | |
| CN114998347B (zh) | 一种半导体面板角点定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |