CN112613526B - 一种基于光流跟踪的特征匹配方法及系统 - Google Patents
一种基于光流跟踪的特征匹配方法及系统 Download PDFInfo
- Publication number
- CN112613526B CN112613526B CN202011497099.2A CN202011497099A CN112613526B CN 112613526 B CN112613526 B CN 112613526B CN 202011497099 A CN202011497099 A CN 202011497099A CN 112613526 B CN112613526 B CN 112613526B
- Authority
- CN
- China
- Prior art keywords
- points
- optical flow
- feature
- module
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005316 response function Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于光流跟踪的特征匹配方法及系统,涉及视觉里程计领域。一种基于光流跟踪的特征匹配方法包括:S1、输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;S2、判断通过光流追踪后的特征点数目是否大于0,若通过光流追踪后的特征点数目等于0,则返回S1重新输入图像。方法能够在保持实时性的前提下提升了选取的特征点质量,同时保持对特征贫乏环境的鲁棒性,提升了特征匹配的准确性。此外本发明还对本发明的方法进行实现,提出了一种基于光流跟踪的特征匹配计算系统,包括:输入模块、第一判断模块、计算模块、第二判断模块、清理模块、非均匀区域设置模块、检测模块以及更新模块。
Description
技术领域
本发明涉及视觉里程计领域,具体而言,涉及一种基于光流跟踪的特征匹配方法及系统。
背景技术
特征提取方法和光流跟踪方法的选择策略尚未进行详细的讨论与选择。相应的视觉里程计前端方法中,存在以下问题:
1.特征点精度不够高。由于在单目VIO中,整个定位与地图构建都依赖于特征点,特征点不仅要用于定位运动位置,而且初始化中也要通过对极约束和三角化计算特征点的深度,进而恢复整个地图,实现地图构建。因此特征点的精度与整个系统息息相关,而目前可以对只达到了像素级别精度的特征点进行细粒化,达到亚像素级别。
2.补充提取出的特征点不够具有代表性。原方法中非首帧图像的特征点补充去除区域和跟踪成功的特征点原提取区域相同。即只在无匹配特征点范围内进行特征点补充提取。这会导致很多特征分布稠密的区域被去除,使得补充提取出的特征点则不够具有代表性。
3.光流跟踪范围固定导致跟踪质量不稳定等问题。原方法中,光流跟踪的范围是固定值,如果运动过快,就有可能造成跟踪丢失,因此跟踪的质量不够稳定。
发明内容
本发明的目的在于提供一种基于光流跟踪的特征匹配方法,其能够通过调整光流法在补充提取特征点和光流追踪上的选取策略,增强了前端视觉跟踪的稳定性和灵活性,在保持实时性的前提下提升了补充选取的特征点质量,同时保持其对特征贫乏环境的鲁棒性。提升了整个光流法的精度。
本发明的另一目的在于提供一种基于光流跟踪的特征匹配计算系统,其能够运行一种基于光流跟踪的特征匹配方法。
本发明的实施例是这样实现的:
第一方面,本申请实施例提供一种基于光流跟踪的特征匹配方法,其包括S1、输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;S2、若当前图像为首帧图像,则进入S7;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回S1重新输入图像;S3、通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;S4、进入第一子步骤;S5、清除跟踪失败的特征点,通过基本矩阵剔除外点;S6、根据跟踪成功的特征点,设置非均匀特征点补充区域;S7、若图像为首帧,均匀提取角点为特征点;否则在S6设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入S8;S8、对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
在本发明的一些实施例中,上述第一子步骤包括:当特征点的平均移动距离小于最小距离阈值时,进行固定范围LK光流跟踪随后进入S5;当特征点的平均移动距离大于等于最小距离阈值时,根据平均移动距离设定可变范围LK光流跟踪然后进入S5。
在本发明的一些实施例中,上述根据平均移动距离设定可变范围LK光流跟踪包括:在使用光流追踪特征点之前,通过对上一帧角点的像素坐标进行去畸变矫正,然后转换到归一化坐标系上,计算出每个角点的速度。
在本发明的一些实施例中,上述还包括:在归一化坐标系下,计算所有角点中速度不为0的特征点平均速度,即只对有效跟踪的角点进行速度计算,进而通过间隔时间算出角点平均移动距离;在规定边界情况后,对光流追踪范围进行动态设置。
在本发明的一些实施例中,上述设置非均匀特征点补充区域包括:以成功跟踪的特征点为圆心,使去除特征点区域的半径,即去除后的区域不再提取特征点的区域,和提取时不一致,在保证一定均匀性的情况下,优先补充特征明显的特征点。
在本发明的一些实施例中,上述第二子步骤包括:将角点细化为亚像素角点。
在本发明的一些实施例中,上述还包括:在提取角点过程中,通过两次角点筛选,剔除非角点和伪角点,利用角点响应函数执行非极大值抑制,以局部角点响应函数最大值的像素点作为初始角点,并以该初始角点为中心,以一定半径搜索角点簇。
在本发明的一些实施例中,上述还包括:采用最小二乘法加权角点簇与待求角点的欧几里得距离,细化初始角点坐标,从而实现亚像素角点准确快速定位。
第二方面,本申请实施例提供一种基于光流跟踪的特征匹配计算系统,其包括输入模块,用于输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;第一判断模块,若当前图像为首帧图像,则进入检测模块;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回输入模块重新输入图像;计算模块,用于通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;第二判断模块,用于进入第一子步骤并判断特征点的平均移动距离是否大于最小距离阈值;清理模块,用于清除跟踪失败的特征点,通过基本矩阵剔除外点;非均匀区域设置模块,用于根据跟踪成功的特征点,设置非均匀特征点补充区域;检测模块,若图像为首帧,均匀提取角点为特征点;否则在非均匀区域设置模块设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入更新模块;更新模块,用于对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
在本发明的一些实施例中,上述包括:用于存储计算机指令的至少一个存储器;与上述存储器通讯的至少一个处理器,其中当上述至少一个处理器执行上述计算机指令时,上述至少一个处理器使上述系统执行:输入模块、第一判断模块、计算模块、第二判断模块、清理模块、非均匀区域设置模块、检测模块以及更新模块。
相对于现有技术,本发明的实施例至少具有如下优点或有益效果:
通过调整光流法在补充提取特征点和光流追踪上的选取策略,增强了前端视觉跟踪的稳定性和灵活性,方法在保持实时性的前提下提升了选取的特征点质量,同时保持对特征贫乏环境的鲁棒性,提升了整个光流法的精度。综合三种方法后的新方法所产生的误差显著小于原始方法,在整段时间中误差波动较小,并且在平均绝对姿态误差上也处于最小的位置,极大的提升了整个系统的精度。可以看出我们的方法在精度和稳定性上均具有良好的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于光流跟踪的特征匹配方法步骤示意图;
图2为本发明实施例提供的一种基于光流跟踪的特征匹配方法流程示意图;
图3为本发明实施例提供的一种基于光流跟踪的特征匹配计算系统模块示意图;
图4为本发明实施例提供的亚像素角点求解原理示意图;
图5为本发明实施例提供的非均匀区域设置原理示意图。
图标:10-输入模块;20-第一判断模块;30-计算模块;40-第二判断模块;50-清理模块;60-非均匀区域设置模块;70-检测模块;80-更新模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
实施例1
请参阅图1,图1为本发明实施例提供的一种基于光流跟踪的特征匹配方法步骤示意图,其如下所示:
S1、输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;
S2、若当前图像为首帧图像,则进入S7;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回S1重新输入图像;
S3、通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;
S4、进入第一子步骤;
在一些实施方式中,无论判断结果是否大于阈值,都会进入第一子步骤。在第一子步骤内,才会根据判断结果,进行选择。
S5、清除跟踪失败的特征点,通过基本矩阵剔除外点;
S6、根据跟踪成功的特征点,设置非均匀特征点补充区域;
S7、若图像为首帧,均匀提取角点为特征点;否则在S6设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入S8;
S8、对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
在一些实施方式中,LK光流法计算公式为:
下式中M矩阵是多个特征点在像素坐标下的速度矩阵的简要形式;u,v是特征点在像素坐标下的速度,而矩阵A,和向量b如下:
VINS-Mono中对特征点进行跟踪的光流法,若图像太亮或者太暗,则直方图均衡化处理图像。
对前一帧特征点进行LK金字塔光流跟踪。在一些实施方式中,对前一帧特征点进行LK金字塔光流跟踪,光流跟踪时根据特征点亮度变化情况判断特征点相似程度,如果采用固定区域的光流法跟踪,速度一旦产生变化,就会对跟踪质量有较大影响。并且对较大固定区域采用光流跟踪匹配,既增加匹配时间,又容易产生误匹配。我们提出通过对特征点计算平均速度以决定光流跟踪范围,可以在匹配时间较短的情况下有效减少误匹配。
剔除跟踪失败的点,通过基本矩阵剔除外点。
保证相邻点之间间隔30个像素:将跟踪到的特征点按照被跟踪次数从大到小排序,每个特征点周围半径为MIN_DIST(设置的最小阈值)的区域设为0,后面不再选取该区域的点。
在一些实施方式中,根据跟踪成功的特征点,设置了非均匀特征点补充区域,其中非均匀区域设置原理,请参照图5,如图5所示:
通过以成功跟踪的特征点为圆心,使去除特征点区域的半径,即去除后的区域不再提取特征点的区域,和提取时不一致,在保证一定均匀性的情况下,优先补充特征明显的特征点。这一做法在相同的实时性下补充提取出了更高质量的特征点。这使得很多特征分布稠密的区域的高质量特征点被保留,高质量的特征点也提升了系统的精度。
寻找新的特征点补齐,使每帧的特征点至少达到最小阈值。
在一些实施方式中,部分角点精确到亚像素级别,其中,亚像素角点求解原理及过程请参照图4,如图4所示:
q即待求的亚像素点;pi,即q周围的点,属于群众,坐标是已知的可自行选取;(pi-q),即是第一向量。
当Gi*(pi-q)=0时,考虑以下两种情况:
1.p0这种情况,位于一块白色区域,此时,梯度为0;
2.P1这种情况,位于边缘,即黑白交接处,此时梯度不为0,但是p1-q相垂直。
所以无论上述哪种情况,都会导致:
Gi*(pi-q)=0;
将上面的方程展开移项,得:
Gi*q=Gi*pi;
最小二乘法求解:
即:
q点只有一个,pi点却有多个,所以对于各点处的梯度,要求和,所以公式2少了求和符号,加上求和符号后:
采用多点进行计算,为了更精确,但是各点离中心距离不一样,所以可以引入权重,例如,引入高斯权重。假设pi处权重为wi,上式进一步修正为:
通过对上述方法进行迭代即可得到亚像素角点。
对特征点去畸变矫正和深度归一化,计算每个角点速度,更新帧和特征点。
光流法中,角点是图像中亮度变化最剧烈的地方,反映了图像的本质特征,提取图像中的角点可以有效提高图像的处理速度与精准度。基于光流法的SLAM中,通常采用Harris或Shi-Thomasi提取角点,但是提取的角点是像素级的,精度不高。我们在单目视觉惯性SLAM中,需要通过角点进行纯视觉初始化,这通常需要更高的精度。亚像素角点的细化,是在提取角点过程中,通过两次角点筛选,剔除非角点和伪角点,利用角点响应函数执行非极大值抑制,以局部角点响应函数最大值的像素点作为初始角点,并以该初始角点为中心,以一定半径搜索角点簇,采用最小二乘法加权角点簇与待求角点的欧几里得距离,细化初始角点坐标,从而实现亚像素角点准确快速定位。
本发明方法采用KLT稀疏光流方法跟踪现有特征并检测新的角点特征,以保持每个图像的特征点最小数量。若KLT稀疏光流法追踪到的特征点达到阈值,则认为连续两帧图像的质量较高,匹配到的特征点更值得信赖,因此将匹配到的特征点精度精确到亚像素级别,以此提升整个光流跟踪的质量。
请参照图5,图5为本发明实施例提供的非均匀区域设置原理示意图,其如下所示:
非均匀区域设置:左边两幅图像为两幅连续读取的图像,灰色区域为两幅图像匹配的区域,阴影部分为图像不匹配的区域。
右边图像中,灰色区域表示去除区域,补充提取特征点时(请参照图1,中的S7,若图像为首帧,均匀提取角点为特征点;否则在S6设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入S8),此区域不再提取特征点,在白色区域补充所需提取特征点,右上图像为原方法,右下图像为非均匀区域设置后的方法,显然此时可以补充提取的特征点区域变大,因此可以在保证一定均匀性的情况下,补充提取出更高质量的特征点。这使得很多特征分布稠密的区域的高质量特征点被保留,高质量的特征点也提升了系统的精度。
实施例2
请参阅图2,图2为本发明实施例提供的一种基于光流跟踪的特征匹配方法流程示意图,其如下所示:
基于实施例1,将以上策略集成到方法中,方法流程如下:
S10、输入当前图像;
S20、直方图均衡化处理当前图像;
S30、若当前图像为首帧图像,则进入S90;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若不满足条件返回S10重新输入图像;
S40、计算特征点的平均移动距离;
S50、若特征点的平均移动距离<最小距离阈值,进入S51,否则进入Step52;
S51、进行固定范围LK光流跟踪,进入S60;
S52、根据平均移动距离设定可变范围LK光流跟踪,进入S60;
S60、清除跟踪失败的点;
S70、使用基本矩阵剔除外点;
S80、根据跟踪成功的特征点,设置非均匀特征点补充区域;
S90、若图像为首帧,均匀提取角点为特征点;否则在S80设置的非均匀区域检测新的角点以补足所需特征点的最小数量点;
S100、若光流追踪的特征点数量>1/3*所需特征点的最小数量,进入S101,否则进入S110;
S101、将角点细化为亚像素角点;
S110、对特征点去畸变矫正和深度归一化,计算每个角点的速度;
S120、更新特征点坐标;
S130、结束。
在一些实施方式中,通过调整光流法在提取特征点和光流追踪上的选取策略,增强了前端视觉跟踪的稳定性和灵活性,在保持实时性的前提下提升了补充选取的特征点质量,同时保持其对特征贫乏环境的鲁棒性。提升了整个光流法的精度。
在一些实施方式中,在VINS-Mono上集成了本发明提供的方法,并且分别在EuRoCMav数据集上实验了单独添加“非均匀提取特征点”,“细化亚像素角点”以及“动态光流跟踪范围”三种策略,并且将三种策略综合后与VINS-Mono进行对比。结果如下表:
以上数字单位均为米制单位,数字越小表示误差越小,系统精度越好。
从表中可以看出,在VINS-Mono中分别加入三种策略在大部分数据集中都对VINS-Mono的精度有所提升,并且将三种策略结合在一起后的光流法在所有数据集中都具备良好的性能。
实施例3
请参阅图3,图3为本发明实施例提供的一种基于光流跟踪的特征匹配计算系统模块示意图,其如下所示:
输入模块10,用于输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;
第一判断模块20,若当前图像为首帧图像,则进入S7;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回输入模块10重新输入图像;
计算模块30,用于通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;
第二判断模块40,用于进入第一子步骤并判断特征点的平均移动距离是否大于最小距离阈值;
清理模块50,用于清除跟踪失败的特征点,通过基本矩阵剔除外点;
非均匀区域设置模块60,用于根据跟踪成功的特征点,设置非均匀特征点补充区域;
检测模块70,若图像为首帧,均匀提取角点为特征点;否则在S6设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入更新模块80;
更新模块80,用于对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
还包括存储器、处理器和通信接口,该存储器、处理器和通信接口相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块,处理器通过执行存储在存储器内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。
其中,存储器可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图3所示的结构仅为示意还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请实施例提供的一种基于光流跟踪的特征匹配方法及系统,通过调整光流法在提取特征点和光流追踪上的选取策略,增强了前端视觉跟踪的稳定性和灵活性,在保持实时性的前提下提升了选取的特征点质量,同时保持其对特征贫乏环境的鲁棒性。提升了整个光流法的精度。综合三种方法后的新方法所产生的误差显著小于原始方法,在整段时间中误差波动较小,并且在平均绝对姿态误差上也处于最小的位置,极大的提升了整个系统的精度。可以看出我们的方法在精度和稳定性上均具有良好的效果。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (8)
1.一种基于光流跟踪的特征匹配方法,其特征在于,包括:
S1、输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;
S2、若当前图像为首帧图像,则进入S7;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回S1重新输入图像;
S3、通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;
S4、当特征点的平均移动距离小于最小距离阈值时,进行固定范围LK光流跟踪随后进入S5;
当特征点的平均移动距离大于等于最小距离阈值时,根据平均移动距离设定可变范围LK光流跟踪然后进入S5;
S5、清除跟踪失败的特征点,通过基本矩阵剔除外点;
S6、根据跟踪成功的特征点,设置非均匀特征点补充区域;
S7、若图像为首帧,均匀提取角点为特征点;否则在S6设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则将角点细化为亚像素角点,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入S8;
S8、对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
2.如权利要求1所述的一种基于光流跟踪的特征匹配方法,其特征在于,所述根据平均移动距离设定可变范围LK光流跟踪包括:
在使用光流追踪特征点之前,通过对上一帧角点的像素坐标进行去畸变矫正,然后转换到归一化坐标系上,计算出每个角点的速度。
3.如权利要求2所述的一种基于光流跟踪的特征匹配方法,其特征在于,还包括:
在归一化坐标系下,计算所有角点中速度不为0的特征点平均速度,即只对有效跟踪的角点进行速度计算,进而通过间隔时间算出角点平均移动距离;
在规定边界情况后,对光流追踪范围进行动态设置。
4.如权利要求1所述的一种基于光流跟踪的特征匹配方法,其特征在于,所述设置非均匀特征点补充区域包括:
以成功跟踪的特征点为圆心,使去除特征点区域的半径,即去除后的区域不再提取特征点的区域,和提取时不一致,在保证一定均匀性的情况下,优先补充特征明显的特征点。
5.如权利要求1所述的一种基于光流跟踪的特征匹配方法,其特征在于,所述将角点细化为亚像素角点还包括:
在提取角点过程中,通过两次角点筛选,剔除非角点和伪角点,利用角点响应函数执行非极大值抑制,以局部角点响应函数最大值的像素点作为初始角点,并以该初始角点为中心,以一定半径搜索角点簇。
6.如权利要求5所述的一种基于光流跟踪的特征匹配方法,其特征在于,还包括:
采用最小二乘法加权角点簇与待求角点的欧几里得距离,细化初始角点坐标,从而实现亚像素角点准确快速定位。
7.一种基于光流跟踪的特征匹配计算系统,其特征在于,包括:
输入模块,用于输入当前图像,并根据当前图像是否过亮或过暗进行直方图均衡化处理当前图像;
第一判断模块,若当前图像为首帧图像,则进入检测模块;否则进行光流跟踪,并判断通过光流追踪后的特征点数量是否大于0,若通过光流追踪后的特征点数量等于0,则返回输入模块重新输入图像;
计算模块,用于通过光流追踪后的特征点数量大于0,计算特征点的平均移动距离;
第二判断模块,用于进入第一子步骤并判断特征点的平均移动距离是否大于最小距离阈值;
清理模块,用于清除跟踪失败的特征点,通过基本矩阵剔除外点;
非均匀区域设置模块,用于根据跟踪成功的特征点,设置非均匀特征点补充区域;
检测模块,若图像为首帧,均匀提取角点为特征点;否则在非均匀区域设置模块设置的非均匀区域检测新的角点以补足所需特征点的最小数量点,若光流追踪的特征点数量大于1/3*所需特征点的最小数量,则进入第二子步骤,若光流追踪的特征点数量小于等于1/3*所需特征点的最小数量,则直接进入更新模块;
更新模块,用于对特征点去畸变矫正和深度归一化,计算每个角点的速度,更新特征点坐标。
8.如权利要求7所述的一种基于光流跟踪的特征匹配计算系统,其特征在于,包括:
用于存储计算机指令的至少一个存储器;
与所述存储器通讯的至少一个处理器,其中当所述至少一个处理器执行所述计算机指令时,所述至少一个处理器使所述系统执行:输入模块、第一判断模块、计算模块、第二判断模块、清理模块、非均匀区域设置模块、检测模块以及更新模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011497099.2A CN112613526B (zh) | 2020-12-17 | 2020-12-17 | 一种基于光流跟踪的特征匹配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011497099.2A CN112613526B (zh) | 2020-12-17 | 2020-12-17 | 一种基于光流跟踪的特征匹配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112613526A CN112613526A (zh) | 2021-04-06 |
CN112613526B true CN112613526B (zh) | 2023-09-15 |
Family
ID=75240913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011497099.2A Active CN112613526B (zh) | 2020-12-17 | 2020-12-17 | 一种基于光流跟踪的特征匹配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112613526B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506327A (zh) * | 2021-07-16 | 2021-10-15 | 成都产品质量检验研究院有限责任公司 | 一种断裂伸长率计算方法、装置及电子设备 |
CN113792633B (zh) * | 2021-09-06 | 2023-12-22 | 北京工商大学 | 一种基于神经网络和光流法的人脸追踪系统和追踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845552A (zh) * | 2017-01-31 | 2017-06-13 | 东南大学 | 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 |
CN108805987A (zh) * | 2018-05-21 | 2018-11-13 | 中国科学院自动化研究所 | 基于深度学习的混合跟踪方法及装置 |
CN110570456A (zh) * | 2019-07-26 | 2019-12-13 | 南京理工大学 | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 |
CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及系统 |
CN112084855A (zh) * | 2020-08-04 | 2020-12-15 | 西安交通大学 | 一种基于改进ransac方法对视频流的外点剔除方法 |
-
2020
- 2020-12-17 CN CN202011497099.2A patent/CN112613526B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845552A (zh) * | 2017-01-31 | 2017-06-13 | 东南大学 | 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 |
CN108805987A (zh) * | 2018-05-21 | 2018-11-13 | 中国科学院自动化研究所 | 基于深度学习的混合跟踪方法及装置 |
CN110570456A (zh) * | 2019-07-26 | 2019-12-13 | 南京理工大学 | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 |
CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及系统 |
CN112084855A (zh) * | 2020-08-04 | 2020-12-15 | 西安交通大学 | 一种基于改进ransac方法对视频流的外点剔除方法 |
Non-Patent Citations (3)
Title |
---|
"VINS-Mono:A Robust and Versatile Monocular Visual-Inertial State Estimator";Tong Qin et al.;《IEEE》;全文 * |
"双目与IMU融合的无人机定位技术研究及系统实现";陶阳;《CNKI硕士电子期刊》(第05期);全文 * |
"基于线条追踪的并行化视觉历程计设计与实现";曹麟;《CNKI硕士电子期刊》(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112613526A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9122954B2 (en) | Performing a histogram using an array of addressable registers | |
CN110766724B (zh) | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 | |
CN112613526B (zh) | 一种基于光流跟踪的特征匹配方法及系统 | |
CN109559330B (zh) | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 | |
CN108596944B (zh) | 一种提取运动目标的方法、装置及终端设备 | |
CN111652902B (zh) | 目标的跟踪检测方法、电子设备及装置 | |
CN112037287B (zh) | 相机标定方法、电子设备及存储介质 | |
CN109816639B (zh) | 一种基于lsd算法的实时直线段检测系统及方法 | |
CN109729298B (zh) | 图像处理方法与图像处理装置 | |
CN110298858B (zh) | 一种图像裁剪方法及装置 | |
CN111523463B (zh) | 基于匹配-回归网络的目标跟踪方法及训练方法 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
CN111783777B (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
CN110766725B (zh) | 模板图像的更新、目标跟踪方法及装置、电子设备及介质 | |
CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
CN111950370A (zh) | 动态环境下线拓展视觉里程计方法 | |
CN113298852A (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
CN109871779B (zh) | 掌纹识别的方法及电子设备 | |
CN108475339B (zh) | 用于对图像中的对象分类的方法和系统 | |
CN112906708A (zh) | 一种图片处理方法、装置、电子设备和计算机存储介质 | |
CN112634355A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
Wang et al. | Adaptive compensation visual odometry in dynamic scenarios | |
CN117372988B (zh) | 道路边界检测方法、装置、电子设备及存储介质 | |
US10395378B2 (en) | Detecting periodic patterns and aperture problems for motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |