CN111667506B - 一种基于orb特征点的运动估计方法 - Google Patents

一种基于orb特征点的运动估计方法 Download PDF

Info

Publication number
CN111667506B
CN111667506B CN202010405359.2A CN202010405359A CN111667506B CN 111667506 B CN111667506 B CN 111667506B CN 202010405359 A CN202010405359 A CN 202010405359A CN 111667506 B CN111667506 B CN 111667506B
Authority
CN
China
Prior art keywords
point
matching
points
image
orb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010405359.2A
Other languages
English (en)
Other versions
CN111667506A (zh
Inventor
周世杰
潘鸿韬
程红蓉
刘启和
廖永建
王蒲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010405359.2A priority Critical patent/CN111667506B/zh
Publication of CN111667506A publication Critical patent/CN111667506A/zh
Application granted granted Critical
Publication of CN111667506B publication Critical patent/CN111667506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

本发明公开了一种基于ORB特征点的运动估计方法,包括如下步骤:步骤1,采用oFAST特征点与rBRIEF描述子相结合的方式分别提取两帧图像的ORB特征点;步骤2,对两帧图像的ORB特征点进行基于暴力匹配BF和PROSAC的特征匹配,得到最优拟合模型;步骤3,基于所述最优拟合模型,并混合GICP与ICP算法进行运动估计。本发明建立了混合ICP与GICP的运动估计算法估算出机器人的运动轨迹,并在其中采用了基于暴力匹配BF与渐进采样一致性算法PROSAC的从粗到精的特征匹配方法,能够减少因受到干扰而出现的误匹配现象。

Description

一种基于ORB特征点的运动估计方法
技术领域
本发明涉及移动机器人运动估计的技术领域,尤其是一种基于ORB特征点的运动估计方法。
背景技术
在过去的十五年里,室外定位技术随着全球定位系统(Global PositioningSystem,GPS)为代表的卫星定位技术获得了快速的发展和广泛的应用。但在GPS覆盖不佳的位置以及室内环境下,定位技术也具有巨大的研究价值和应用价值。
同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)是指搭载特定传感器的移动机器人或者其他运动主体,在没有先验环境信息的条件下,在实时运动过程中建立周边环境模型并估计自身的实时运动状态的一种方法。SLAM是解决移动机器人在陌生环境中,依靠对各种传感器采集到的数据进行算法处理后达到实时定位与地图构建,是实现移动机器人路径规划、运动控制等的自主性技术的关键技术之一。移动机器人采集相机传感器数据,通过相应算法计算当前的位姿估计和运动估计,在GPS信号不佳甚至不能使用的环境中,SLAM也可以作为一种有效的替代方案以实现在未知非结构化环境中的实时导航。
图像中的特征点是能表现图像某方面的特征。全局特征是对整个图像进行描述,全局特征通常受到环境影响较大,会随着外部条件变化而受影响,并且也无法显著地区分图像。局部特征是从图像中的某一局部进行描述,在某些局部出现与周围部分呈现显著不同,通常表现在灰度值、色彩表现或者纹理上有着剧烈的变化。局部特征是大多数图像都具有的特征,且对外部环境变化造成的影响较小,与全局特征相比,局部特征能更好地描述图像在某一局部的差异性,且图像中包含大量这类局部特征,具有更高的鲁棒性。在大多数视觉SLAM算法中,通常使用角点、边缘和斑点等特征点类型作为特征点进行提取。
在进行特征点提取之后,还需要通过特征匹配对两幅图像中的特征点进行匹配计算,确定图像间的关联性和相似性。特征点匹配就是要精确地判断两幅图像之间的相似性,相似性将会影响后续运动估计判断与建图结果。对于图像相似性,通常计算两个特征点之间的欧氏距离或者汉明距离来判断。特征点匹配的方法分为特征追踪和特征识别。特征追踪是在一幅图像中直接尝试追踪另一幅图像的特征点,特征追踪的优点是速度快、稳定性好、追踪成功后准确度高,但是特征追踪只有在帧间运动变化相对较小的场景下才会有较快的成功效果。特征识别则是直接将两幅图像进行特征点检测并尝试匹配,特征识别对每个特征都会进行全局图像范围查找,能够在帧间运动变化较大的场景下使用,但由于进行了全局范围的查找,速度较慢也容易出现误匹配现象。在实际的视觉SLAM系统中,通常采用特征识别进行特征匹配,对于误匹配再进行约束条件判断剔除误匹配,这样就能获得更加精准的匹配结果。得到特征点匹配结果后,可以通过匹配点对进行相机的运动估计。
在视觉SLAM系统中,运动估计常用迭代最近点法(Iterative Closest Point,ICP)和随机采样一致性算法(Random Sample Consensus,RANSAC)。运动估计的目的是为了通过计算相机从前一帧到当前帧的位姿变换矩阵T来描述相机的运动,位姿变换矩阵T一般通过旋转矩阵R和平移向量t构造得来。
发明内容
本发明所要解决的技术问题是:针对因受到干扰而出现的误匹配现象的问题,提供一种基于ORB特征点的运动估计方法。
本发明采用的技术方案如下:
一种基于ORB特征点的运动估计方法,包括如下步骤:
步骤1,采用oFAST特征点与rBRIEF描述子相结合的方式分别提取两帧图像的ORB特征点;
步骤2,对两帧图像的ORB特征点进行匹配,得到最优拟合模型;
步骤3,基于所述最优拟合模型,并混合GICP与ICP算法进行运动估计。
进一步地,步骤1包括如下子步骤:
步骤1.1,oFAST特征点检测:
步骤1.1.1,利用金字塔原理将两帧图像进行不同层次的降采样处理分别得到两帧图像的图像金字塔;
步骤1.1.2,假设像素点P处的灰度值Ip的设定阈值T,在所述图像金字塔的每一层中,以任一像素点P为中心,先对像素点P周围的上下左右4个像素点进行判断,如果在这4个像素点中有3个像素点不满足Ip-T≤Ip≤Ip+T,则取半径为3像素的圆上的16个像素点;如果在这16个像素点当中有连续12个像素点不满足Ip-T≤Ip≤Ip+T,即判断该像素点P为FAST特征点,否则丢弃该P点;
步骤1.1.3,使用非极大值抑制的方法对步骤1.1.1得到的FAST特征点计算Harris响应值,并通过设定的滑动窗口取最大Harris响应值的前K个作为FAST特征点;
步骤1.1.4,采用灰度质心法为步骤1.1.3得到的FAST特征点增加方向信息,得到oFAST特征点;
步骤1.2,rBRIEF描述子计算:
步骤1.2.1,使用BRIEF算法在oFAST特征点为中心的区域选取n对像素点,通过比较灰度值并进行二进制赋值,生成0/1编码组合:
Figure GDA0004016345090000041
其中,函数p(x)表示像素点x在图像中的灰度值,函数p(y)表示像素点y在图像中的灰度值;
步骤1.2.2,基于所述0/1编码组合,将图像中的oFAST特征点的rBRIEF描述子定义为256维的二进制向量串:
fn(p)=∑1≤i≤n2i-1τ(p;xi,yi)
步骤1.2.3,在位置(xi,yi)处,对任意的n个二进制向量,有矩阵S定义如下:
Figure GDA0004016345090000042
步骤1.2.4,通过rBRIEF描述子对应oFAST特征点的方向信息θ和对应的旋转矩阵Rθ,将矩阵S进行线性变换,得到能线性表示的矩阵Sθ
Figure GDA0004016345090000043
步骤1.2.5,基于矩阵Sθ得到矫正后的rBRIEF描述子:
gn(p,θ)=fn(p)|(xi,yi)∈Sθ
步骤1.2.6,对矫正后的rBRIEF描述子再进行贪婪搜索,根据均值和样本点之间方差最大化原理找出相关性最低的256个rBRIEF特征点对;
步骤1.2.7,对每一个oFAST特征点执行步骤1.2.1~步骤1.2.6;
步骤1.3,通过步骤1.1得到的oFAST特征点与步骤1.2得到的oFAST特征点对应的rBRIEF描述子相结合的方式表示两帧图像中的ORB特征点。
进一步地,步骤1.1.4的方法为:
(1)定义半径为r图像块B的矩:
mpq:=∑x,y∈BxpyqI(x,y),p,q={0,1}
其中,I(x,y)为像素点(x,y)处的灰度值,x,y∈B;
(2)通过图像块B的矩找到图像块B的质心C:
Figure GDA0004016345090000051
(3)连接图像块B的质心C与几何中心O,通过得到的方向向量
Figure GDA0004016345090000052
即可定义FAST特征点的方向信息θ:
θ=arctan(m01/m10)。
进一步地,步骤2包括如下子步骤:
步骤2.1,初始粗匹配阶段:使用暴力匹配BF将来自两帧不同图像的两个ORB特征点计算汉明距离,然后按照汉明距离比较相似程度进行排序,最佳匹配点即为汉明距离最小的点,最终得到粗匹配点对集M;
步骤2.2,误匹配剔除阶段:
步骤2.2.1,对步骤2.1中得到的两帧图像的粗匹配点对集M进行交叉匹配验证;
步骤2.2.2,输入一个经步骤2.2.1剔除误匹配后的粗匹配点对集M,对该粗匹配点对集M中的匹配点根据相关性函数排序,从排序结果从大到小选取m个匹配点构建初始拟合模型;
步骤2.2.3,将粗匹配点对集M中的匹配点根据相关性从大到小抽取TN个大小为m的匹配点集,表示为
Figure GDA0004016345090000053
对于该匹配点集的评价函数如:
Figure GDA0004016345090000054
将Mi中的匹配点代入初始拟合模型计算误差,测试初始拟合模型性能并保留评价值更高的ORB特征点集合;
步骤2.2.4,当迭代次数达到设定阈值时,得到描述该粗匹配点对集M对应的图像变换信息的最优拟合模型。
进一步地,步骤2.1中计算汉明距离的公式如下:
Figure GDA0004016345090000061
其中,xi,yi分别表示两个rBRIEF描述子的第i位,
Figure GDA0004016345090000062
表示异或操作。
进一步地,步骤2.2.1的方法为:如果图像A中的某一ORB特征点a的粗匹配点为图像B中的某一ORB特征点b,那么反过来通过图像B中的ORB特征点b进行暴力匹配BF,如果ORB特征点b的粗匹配点为图像A中的ORB特征点a,则为正确的匹配,否则就是误匹配则剔除。
进一步地,步骤3的方法为:通过将步骤2得到的最优拟合模型中描述粗匹配点对集M对应的图像变换信息用单应矩阵H表示,并提取其位姿变换矩阵T;然后构建目标函数并将位姿变换矩阵T设为ICP算法的初值,如果该初值会导致ICP迭代时陷入局部最优,则使用GICP算法对位姿变换矩阵T进行迭代;否则使用ICP算法对位姿变换矩阵T进行迭代;无论是ICP算法还是GICP算法,都会对位姿变换矩阵T进行迭代,得到目标函数的全局最优解,该全局最优解的位姿变换矩阵T即为对这两帧图像的运动估计结果。
进一步地,构建目标函数的方法为,通过构建位姿变换前后的空间匹配点误差和函数为目标函数,该目标函数表示为:
Figure GDA0004016345090000063
其中,argmin函数为使目标函数取得最小值的变量值,Pj-TPi为点云Pi与Pj在变换时的误差。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明建立了混合ICP与GICP的运动估计算法估算出机器人的运动轨迹,并在其中采用了基于暴力匹配BF与渐进采样一致性算法PROSAC的从粗到精的特征匹配方法,能够减少因受到干扰而出现的误匹配现象。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的基于ORB特征点的运动估计方法的流程框图。
图2为本发明的ORB特征点初始粗匹配阶段的流程框图。
图3为本发明的ORB特征点误匹配剔除阶段的流程框图。
图4为本发明的混合GICP和ICP算法的运动估计方法的流程框图。
具体实施方式
如图1所示,本发明的一种基于ORB特征点的运动估计方法,包括如下步骤:
步骤1,采用oFAST特征点与rBRIEF描述子相结合的方式分别提取两帧图像的ORB特征点;
步骤2,对两帧图像的ORB特征点进行基于暴力匹配BF和PROSAC的特征匹配,得到最优拟合模型;
步骤3,基于所述最优拟合模型,并混合GICP与ICP算法进行运动估计。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
本实施例提供的一种基于ORB特征点的运动估计方法,包括如下步骤:
步骤1,采用oFAST特征点与rBRIEF描述子相结合的方式分别提取两帧图像(图像A和图像B)的ORB特征点;
特征点通常能表现图像某方面的特征,ORB(Oriented FAST and Rotated BRIEF)特征点具有局部不变性和很强的抗噪性,可以用于视觉SLAM各种规模的系统中。本实施例采用oFAST特征点与rBRIEF描述子相结合的方式提取ORB特征点,包括如下子步骤:
步骤1.1,oFAST特征点检测:
步骤1.1.1,利用金字塔原理将两帧图像(图像A和图像B)进行不同层次的降采样处理分别得到两帧图像的图像金字塔,通过后续在图像金字塔的每一层上进行FAST特征点检测,从而获得多尺寸特征,可以使得到的FAST特征点具有尺度不变性;
步骤1.1.2,假设像素点P处的灰度值Ip的设定阈值T,在所述图像金字塔(图像A和图像B的图像金字塔)的每一层中,以任一像素点P为中心,先对像素点P周围的上下左右4个像素点进行判断,如果在这4个像素点中有3个像素点不满足Ip-T≤Ip≤Ip+T,则取半径为3像素的圆上的16个像素点;如果在这16个像素点当中有连续12个像素点不满足Ip-T≤Ip≤Ip+T,即判断该像素点P为FAST特征点,否则丢弃该P点;
步骤1.1.3,使用非极大值抑制的方法对步骤1.1.1得到的FAST特征点计算Harris响应值,并通过设定的滑动窗口(滑动窗口的大小可以取5×5像素)取最大Harris响应值的前K(可以取K=12)个作为FAST特征点,以此可以避免FAST特征点扎堆的情况。计算Harris响应值的公式如下:
R={R:detM-α(traceM)2}
其中,R为Harris响应值,M为步骤1.1.1得到的FAST特征点的矩阵表示,detM为矩阵M的行列式;traceM为矩阵M的直迹;α为介于0到1的比例系数。
步骤1.1.4,采用灰度质心法为步骤1.1.3得到的FAST特征点增加方向信息,得到oFAST特征点。具体地:
(1)定义半径为r图像块B的矩:
mpq:=∑x,y∈BxpyqI(x,y),p,q={0,1}
其中,I(x,y)为像素点(x,y)处的灰度值,x,y∈B;
(2)通过图像块B的矩找到图像块B的质心C:
Figure GDA0004016345090000091
(3)连接图像块B的质心C与几何中心O,通过得到的方向向量
Figure GDA0004016345090000093
即可定义FAST特征点的方向信息θ:
θ=arctan(m01/m10)
由于采用了图像金字塔并增加了方向信息,使得经过步骤1.1.1~步骤1.1.4获得的FAST特征点具有了尺度不变性和旋转不变性,本发明将这种改进后的FAST特征点称为oFAST特征点。
步骤1.2,rBRIEF描述子计算:
步骤1.2.1,使用BRIEF算法在oFAST特征点为中心的区域选取n对像素点,通过比较灰度值并进行二进制赋值,生成0/1编码组合:
Figure GDA0004016345090000092
其中,函数p(x)表示像素点x在图像中的灰度值,函数p(y)表示像素点y在图像中的灰度值;
步骤1.2.2,基于所述0/1编码组合,将图像中的oFAST特征点的rBRIEF描述子定义为256维的二进制向量串:
fn(p)=∑1≤i≤n2i-1τ(p;xi,yi)
由于传统的BRIEF描述子不具有旋转不变性,本发明在前述过程中为oFAST特征点增加了一个方向信息,由此构造具有旋转不变性的描述子,并称其为rBRIEF描述子。
步骤1.2.3,在位置(xi,yi)处,对任意的n个二进制向量,有矩阵S定义如下:
Figure GDA0004016345090000101
步骤1.2.4,通过rBRIEF描述子对应oFAST特征点的方向信息θ和对应的旋转矩阵Rθ,将矩阵S进行线性变换,得到能线性表示的矩阵Sθ
Figure GDA0004016345090000102
步骤1.2.5,基于矩阵Sθ得到矫正后的rBRIEF描述子:
gn(p,θ)=fn(p)|(xi,yi)∈Sθ
步骤1.2.6,对矫正后的rBRIEF描述子再进行贪婪搜索,根据均值和样本点之间方差最大化原理找出相关性最低的256个rBRIEF描述子。该过程可以使用的方法如PCA主成分分析法。
步骤1.2.7,对每一个oFAST特征点执行步骤1.2.1~步骤1.2.6。
步骤1.3,通过步骤1.1得到的oFAST特征点与步骤1.2得到的oFAST特征点对应的rBRIEF描述子相结合的方式表示两帧图像(图像A和图像B)中的ORB特征点;由上述可知,在ORB特征点中,oFAST特征点用于描述具有尺度不变性和旋转不变性的FAST特征点,rBRIEF描述子使用二进制向量描述oFAST特征点,同时也具有旋转不变性。
步骤2,对两帧图像的ORB特征点进行基于暴力匹配BF和PROSAC的特征匹配,得到最优拟合模型;
通过步骤1获得的ORB特征点将作为目标点,通过对两帧图像的ORB特征点进行匹配可以获得最优拟合模型。其中,对两帧图像的ORB特征点进行匹配的方法可以划分为初始粗匹配阶段和误匹配剔除阶段。
具体地,步骤2包括如下子步骤:
步骤2.1,如图2所示,初始粗匹配阶段:
由于ORB特征点中的rBRIEF描述子由二进制向量构成,所以使用汉明距离评价两个ORB特征点的相似程度。使用暴力匹配BF将来自两帧不同图像的两个ORB特征点计算汉明距离:
Figure GDA0004016345090000111
其中,xi,yi分别表示两个ORB特征点中的rBRIEF描述子的第i位,
Figure GDA0004016345090000112
表示异或操作;
然后按照汉明距离比较相似程度进行排序,最佳匹配点即为汉明距离最小的点,最终得到粗匹配点对集M。
步骤2.2,如图3所示,误匹配剔除阶段:
在完成步骤2.1进行BF粗匹配后图像A与图像B中的ORB特征点都有了对应的匹配点。但粗匹配得到的匹配关系中依旧会存在错误的匹配关系,所以误匹配剔除阶段时应当尽量保证错误的匹配关系被剔除,只保留正确的匹配,保证后续算法的准确性。本发明在误匹配剔除阶段使用交叉匹配与渐进采样一致性算法(Progressive Sample Consensus,PROSAC)来进行误匹配剔除。具体地,包括如下子步骤:
步骤2.2.1,对步骤2.1中得到的两帧图像的粗匹配点对集M进行交叉匹配验证:如果图像A中的某一ORB特征点a的粗匹配点为图像B中的某一ORB特征点b,那么反过来通过图像B中的ORB特征点b进行暴力匹配BF,如果ORB特征点b的粗匹配点为图像A中的ORB特征点a,则为正确的匹配,否则就是误匹配则剔除;
步骤2.2.2,输入一个经步骤2.2.1剔除误匹配后的粗匹配点对集M,对该粗匹配点对集M中的匹配点根据相关性函数排序。对于大小为m的匹配点集表示为μm,按照相关性函数q对μm中的两个匹配点ui,ui进行降序排列:
Figure GDA0004016345090000121
然后从排序结果从大到小选取m个匹配点构建初始拟合模型。
步骤2.2.3,将粗匹配点对集M中的匹配点根据相关性从大到小抽取TN个大小为m的匹配点集,表示为
Figure GDA0004016345090000122
对于该匹配点集的评价函数如:
Figure GDA0004016345090000123
将Mi中的匹配点代入初始拟合模型计算误差,测试初始拟合模型性能并保留评价值更高的ORB特征点集合;
步骤2.2.4,当迭代次数达到设定阈值时,得到描述该粗匹配点对集M对应的图像变换信息的最优拟合模型。
本发明利用上述结合PROSAC的误匹配剔除算法进行精匹配可得到去除大多明显的错误匹配对,为后续算法提供良好的初值。
步骤3,基于所述最优拟合模型,并混合GICP与ICP算法进行运动估计;
步骤3的方法如图4所示:通过将步骤2得到的最优拟合模型中描述粗匹配点对集M对应的图像变换信息用单应矩阵H表示,并提取其位姿变换矩阵T;然后构建目标函数并将位姿变换矩阵T设为ICP算法的初值,如果该初值会导致ICP迭代时陷入局部最优,则使用GICP算法对位姿变换矩阵T进行迭代;否则使用ICP算法对位姿变换矩阵T进行迭代;无论是ICP算法还是GICP算法,都会对位姿变换矩阵T进行迭代,得到目标函数的全局最优解,该全局最优解的位姿变换矩阵T即为对这两帧图像的运动估计结果。具体地:
步骤3.1,将步骤2得到的最优拟合模型中描述粗匹配点对集M对应的图像变换信息用单应矩阵H表示:
Figure GDA0004016345090000131
对于最优拟合模型中已匹配的ORB特征点在两帧图像中的齐次化的坐标分别为图像A的Pi(x,y,1)与图像B的Pj(x′,y′,1),对于从图像A到图像B的位姿变换则有:
Figure GDA0004016345090000132
其中s为尺度参数;
同时假设有两帧图像已经匹配好的两组三维点云集合,图像A的Pi(x,y,1)与图像B的Pj(x,y,1),对于从图像A到图像B的点云变换如下:
Pj=RPi+t
其中R为3x3的旋转矩阵,t为1x3的平移向量;
因此,单应矩阵H也可以用旋转矩阵R和平移向量t表示,并构成相机的位姿变换矩阵
Figure GDA0004016345090000141
步骤3.2,构建位姿变换前后的空间匹配点误差和函数为目标函数:
Figure GDA0004016345090000142
其中,argmin函数为使目标函数取得最小值的变量值,Pj-TPi为点云Pi与Pj在变换时的误差。
ICP算法通过迭代的方式去寻找目标函数的最优解。ICP算法的第一步为暴力法寻找初值,由于ICP算法本质上为局部搜索,通过对目标函数的迭代求得初值附近的局部最优解,然而目标函数是非凸的。在寻找初值上消耗的太多时间,并且一旦初值不在全局最优解附近,则会收敛至次优解,而从导致位姿错误使得整个SLAM系统出现错误。并且经典的ICP算法默认数据集中各点云点数量相同,而在实际采集中往往很难相同。
基于此,直接将ICP算法默认初值设置为步骤2得到的最优拟合模型的单应矩阵H对应的运动变换矩阵T,避免ICP算法的初值错误导致陷入局部最优解的问题。
步骤3.3,GICP(Generalized-ICP,GICP)算法不仅包含了标准ICP算法和点到面ICP(point-to-plane ICP)算法,还用了面到面ICP(plane-to-plane ICP)的思路。GICP比标准ICP适用范围更广,同时若存在唯一解,则极小值点就是全局最优解,GICP算法退化成标准ICP算法。混合GICP与ICP的选择策略会在不同情况下选择合适的算法对位姿变换矩阵T进行迭代:即如果初值会导致ICP迭代时陷入局部最优,则使用GICP算法对位姿变换矩阵T进行迭代;否则使用ICP算法对位姿变换矩阵T进行迭代。
步骤3.4,位姿变换矩阵T的迭代结果即为两帧图像的运动估计,估算出机器人的运动轨迹。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于ORB特征点的运动估计方法,其特征在于,包括如下步骤:
步骤1,采用oFAST特征点与rBRIEF描述子相结合的方式分别提取两帧图像的ORB特征点;
步骤2,对两帧图像的ORB特征点进行基于暴力匹配BF和PROSAC的特征匹配,得到最优拟合模型;
步骤3,基于所述最优拟合模型,并混合GICP与ICP算法进行运动估计;
步骤2包括如下子步骤:
步骤2.1,初始粗匹配阶段:使用暴力匹配BF将来自两帧不同图像的两个ORB特征点计算汉明距离,然后按照汉明距离比较相似程度进行排序,最佳匹配点即为汉明距离最小的点,最终得到粗匹配点对集M;
步骤2.2,误匹配剔除阶段:
步骤2.2.1,对步骤2.1中得到的两帧图像的粗匹配点对集M进行交叉匹配验证;
步骤2.2.2,输入一个经步骤2.2.1剔除误匹配后的粗匹配点对集M,对该粗匹配点对集M中的匹配点根据相关性函数排序,从排序结果从大到小选取m个匹配点构建初始拟合模型;
步骤2.2.3,将粗匹配点对集M中的匹配点根据相关性从大到小抽取TN个大小为m的匹配点集,表示为
Figure FDA0004016345080000011
对于该匹配点集的评价函数如:
Figure FDA0004016345080000012
将Mi中的匹配点代入初始拟合模型计算误差,测试初始拟合模型性能并保留评价值更高的ORB特征点集合;
步骤2.2.4,当迭代次数达到设定阈值时,得到描述该粗匹配点对集M对应的图像变换信息的最优拟合模型;
步骤3的方法为:通过将步骤2得到的最优拟合模型中描述粗匹配点对集M对应的图像变换信息用单应矩阵H表示,并提取其位姿变换矩阵T;然后构建目标函数并将位姿变换矩阵T设为ICP算法的初值,如果该初值会导致ICP迭代时陷入局部最优,则使用GICP算法对位姿变换矩阵T进行迭代;否则使用ICP算法对位姿变换矩阵T进行迭代;无论是ICP算法还是GICP算法,都会对位姿变换矩阵T进行迭代,得到目标函数的全局最优解,该全局最优解的位姿变换矩阵T即为对这两帧图像的运动估计结果。
2.根据权利要求1所述的基于ORB特征点的运动估计方法,其特征在于,步骤1包括如下子步骤:
步骤1.1,oFAST特征点检测:
步骤1.1.1,利用金字塔原理将两帧图像进行不同层次的降采样处理分别得到两帧图像的图像金字塔;
步骤1.1.2,假设像素点P处的灰度值Ip的设定阈值T,在所述图像金字塔的每一层中,以任一像素点P为中心,先对像素点P周围的上下左右4个像素点进行判断,如果在这4个像素点中有3个像素点不满足Ip-T≤Ip≤Ip+T,则取半径为3像素的圆上的16个像素点;如果在这16个像素点当中有连续12个像素点不满足Ip-T≤Ip≤Ip+T,即判断该像素点P为FAST特征点,否则丢弃该P点;
步骤1.1.3,使用非极大值抑制的方法对步骤1.1.1得到的FAST特征点计算Harris响应值,并通过设定的滑动窗口取最大Harris响应值的前K个作为FAST特征点;
步骤1.1.4,采用灰度质心法为步骤1.1.3得到的FAST特征点增加方向信息,得到oFAST特征点;
步骤1.2,rBRIEF描述子计算:
步骤1.2.1,使用BRIEF算法在oFAST特征点为中心的区域选取n对像素点,通过比较灰度值并进行二进制赋值,生成0/1编码组合:
Figure FDA0004016345080000031
其中,函数p(x)表示像素点x在图像中的灰度值,函数p(y)表示像素点y在图像中的灰度值;
步骤1.2.2,基于所述0/1编码组合,将图像中的oFAST特征点的rBRIEF描述子定义为256维的二进制向量串:
fn(p)=∑1≤i≤n2i-1τ(p;xi,yi)
步骤1.2.3,在位置(xi,yi)处,对任意的n个二进制向量,有矩阵S定义如下:
Figure FDA0004016345080000032
步骤1.2.4,通过rBRIEF描述子对应oFAST特征点的方向信息θ和对应的旋转矩阵Rθ,将矩阵S进行线性变换,得到能线性表示的矩阵Sθ
Figure FDA0004016345080000033
步骤1.2.5,基于矩阵Sθ得到矫正后的rBRIEF描述子:
gn(p,θ)=fn(p)|(xi,yi)∈Sθ
步骤1.2.6,对矫正后的rBRIEF描述子再进行贪婪搜索,根据均值和样本点之间方差最大化原理找出相关性最低的256个rBRIEF特征点对;
步骤1.2.7,对每一个oFAST特征点执行步骤1.2.1~步骤1.2.6;
步骤1.3,通过步骤1.1得到的oFAST特征点与步骤1.2得到的oFAST特征点对应的rBRIEF描述子相结合的方式表示两帧图像中的ORB特征点。
3.根据权利要求2所述的基于ORB特征点的运动估计方法,其特征在于,步骤1.1.4的方法为:
(1)定义半径为r图像块B的矩:
mpq:=∑x,y∈BxpyqI(x,y),p,q={0,1}
其中,I(x,y)为像素点(x,y)处的灰度值,x,y∈B;
(2)通过图像块B的矩找到图像块B的质心C:
Figure FDA0004016345080000041
(3)连接图像块B的质心C与几何中心O,通过得到的方向向量OC即可定义FAST特征点的方向信息θ:
θ=arctan(m01/m10)。
4.根据权利要求1所述的基于ORB特征点的运动估计方法,其特征在于,步骤2.1中计算汉明距离的公式如下:
Figure FDA0004016345080000042
其中,xi,yi分别表示两个rBRIEF描述子的第i位,
Figure FDA0004016345080000043
表示异或操作。
5.根据权利要求1所述的基于ORB特征点的运动估计方法,其特征在于,步骤2.2.1的方法为:如果图像A中的某一ORB特征点a的粗匹配点为图像B中的某一ORB特征点b,那么反过来通过图像B中的ORB特征点b进行暴力匹配BF,如果ORB特征点b的粗匹配点为图像A中的ORB特征点a,则为正确的匹配,否则就是误匹配则剔除。
6.根据权利要求1所述的基于ORB特征点的运动估计方法,其特征在于,构建目标函数的方法为,通过构建位姿变换前后的空间匹配点误差和函数为目标函数,该目标函数表示为:
Figure FDA0004016345080000051
其中,argmin函数为使目标函数取得最小值的变量值,Pj-TPi为点云Pi与Pj在变换时的误差。
CN202010405359.2A 2020-05-14 2020-05-14 一种基于orb特征点的运动估计方法 Active CN111667506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010405359.2A CN111667506B (zh) 2020-05-14 2020-05-14 一种基于orb特征点的运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010405359.2A CN111667506B (zh) 2020-05-14 2020-05-14 一种基于orb特征点的运动估计方法

Publications (2)

Publication Number Publication Date
CN111667506A CN111667506A (zh) 2020-09-15
CN111667506B true CN111667506B (zh) 2023-03-24

Family

ID=72383607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010405359.2A Active CN111667506B (zh) 2020-05-14 2020-05-14 一种基于orb特征点的运动估计方法

Country Status (1)

Country Link
CN (1) CN111667506B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562000A (zh) * 2020-12-23 2021-03-26 安徽大学 基于特征点检测和误匹配筛选的机器人视觉定位方法
CN112634458B (zh) * 2021-01-06 2023-06-20 广西科技大学 一种基于特征显著性评价的口腔模型点云精简方法
CN113034383A (zh) * 2021-02-24 2021-06-25 大连海事大学 一种基于改进网格运动统计获取视频图像的方法
CN113103232B (zh) * 2021-04-12 2022-05-20 电子科技大学 一种基于特征分布匹配的智能设备自适应运动控制方法
CN113029160B (zh) * 2021-05-30 2021-09-14 浙江华睿科技股份有限公司 导航方法、导航终端及计算机可读存储介质
CN113808152A (zh) * 2021-09-14 2021-12-17 南京信息工程大学 一种基于orb_slam2的无人机自主导航方法
CN117109638B (zh) * 2023-10-24 2024-03-15 山东大学 一种在线单舵轮agv参数标定方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN108304578A (zh) * 2018-03-02 2018-07-20 网易(杭州)网络有限公司 地图数据的处理方法、介质、装置和计算设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术(北京)有限公司 用于更新地图的方法和装置
US10734001B2 (en) * 2017-10-05 2020-08-04 Qualcomm Incorporated Encoding or decoding of audio signals
CN107862708A (zh) * 2017-11-08 2018-03-30 合肥工业大学 一种sar与可见光图像配准方法
CN108594816B (zh) * 2018-04-23 2021-10-29 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN110223348B (zh) * 2019-02-25 2023-05-23 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN109813334B (zh) * 2019-03-14 2023-04-07 西安工业大学 基于双目视觉的实时高精度车辆里程计算方法
CN110414533B (zh) * 2019-06-24 2023-09-05 东南大学 一种改进orb的特征提取与匹配方法
CN110780285B (zh) * 2019-10-24 2022-10-18 深圳市镭神智能系统有限公司 激光雷达与组合惯导的位姿标定方法、系统及介质
CN111079786A (zh) * 2019-11-15 2020-04-28 北京理工大学 一种基于ROS和Gazebo的旋转相机特征匹配算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN108304578A (zh) * 2018-03-02 2018-07-20 网易(杭州)网络有限公司 地图数据的处理方法、介质、装置和计算设备

Also Published As

Publication number Publication date
CN111667506A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111667506B (zh) 一种基于orb特征点的运动估计方法
CN110097093B (zh) 一种异源图像精确匹配方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN108805904B (zh) 一种基于卫星序列图像的运动舰船检测与跟踪方法
CN108364272A (zh) 一种高性能红外-可见光融合探测方法
CN108022254B (zh) 一种基于征点辅助的时空上下文目标跟踪方法
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN111582062B (zh) 一种基于YOLOv3的目标跟踪中的重检测方法
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance
CN107169972B (zh) 一种非合作目标快速轮廓跟踪方法
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
Taylor et al. Fusion of multimodal visual cues for model-based object tracking
Xiao et al. An enhanced adaptive coupled-layer LGTracker++
CN114821093A (zh) 从图像中提取特征的方法、装置及计算器可读介质
CN109146918B (zh) 一种基于分块的自适应相关目标定位方法
CN115994930A (zh) 基于人工智能的摄像机下运动目标的检测定位方法及系统
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
CN115035326B (zh) 一种雷达图像与光学图像精确匹配方法
CN113221914B (zh) 一种基于杰卡德距离的图像特征点匹配和误匹配剔除方法
US11830218B2 (en) Visual-inertial localisation in an existing map
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
Lin et al. Vision-based mobile robot localization and mapping using the PLOT features
CN108596950B (zh) 一种基于主动漂移矫正的刚体目标跟踪方法
Ganbold et al. Coarse-to-fine evolutionary method for fast horizon detection in maritime images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant