CN106920259A - 一种定位方法及系统 - Google Patents

一种定位方法及系统 Download PDF

Info

Publication number
CN106920259A
CN106920259A CN201710113101.3A CN201710113101A CN106920259A CN 106920259 A CN106920259 A CN 106920259A CN 201710113101 A CN201710113101 A CN 201710113101A CN 106920259 A CN106920259 A CN 106920259A
Authority
CN
China
Prior art keywords
current time
characteristic
characteristic points
translation vector
spin matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710113101.3A
Other languages
English (en)
Other versions
CN106920259B (zh
Inventor
张瑶
李迅
袁博
刘敦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN201710113101.3A priority Critical patent/CN106920259B/zh
Publication of CN106920259A publication Critical patent/CN106920259A/zh
Application granted granted Critical
Publication of CN106920259B publication Critical patent/CN106920259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种定位方法及系统。其中,该方法至少包括:获取图像序列;对所述图像序列中相邻两帧图像进行2D特征点的提取和匹配;获取提取和匹配后的2D特征点的3D特征点;通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置。本发明通过分别求出这两种方法所使用的帧间运动位移度量值和内点数量来灵活交替选择相应算法的计算结果,不仅加快了定位速度,而且提高了定位精度,在复杂环境下有很强的实用性。

Description

一种定位方法及系统
技术领域
本发明涉及图像处理和计算机视觉技术领域,尤其涉及一种定位方法及系统。
背景技术
视觉里程计仅仅通过获取运动物体或机器人相机获取的视觉信息来完成对运动物体或机器人的定位。传统里程计的缺点在于测量精度较差、数据不稳定,而视觉里程计可以有效克服传统里程计车轮打滑、远距离误差的问题,并可以解决机器人的精确自主定位问题。此技术已被广泛用于对地面机器人、水下机器人、微型无人机的定位中,它可以分为双目立体视觉里程计和单目视觉里程计,于2004年由Nister等首次提出。
目前,单目视觉里程计的工作方法可以分为三类,即基于特征的方法、基于面的方法以及两种混合的方法。其中,基于特征的方法是目前主流的选择,本文也是选择基于特征的方法。对于单目来说,运动估计分为两类,一种是2D-2D方式,它仅需要相邻两帧之间匹配的特征点点集;另一种是3D-2D方式,它需要先通过前相邻两帧来得到3D点,并与第三帧的2D特征点进行配对。
目前,针对单目视觉里程计的研究大部分集中在2D-2D方式上,小部分使用了3D-2D方式。这是因为,相比于2D-2D来说,3D-2D方法不仅需要点的三角化,计算法量相对复杂,而且还要得到精确的3D特征集以及考虑相机外参数的噪音问题。但是,相比于2D-2D来说,3D-2D方法具有更高的精度。
因此,需要提出一种兼具快速和高精度的定位方法。
发明内容
本发明通过提供一种定位方法及系统,实现了快速和高精度的技术效果。
本发明提供了一种定位方法,至少包括:
获取图像序列;
对所述图像序列中相邻两帧图像进行2D特征点的提取和匹配;
获取提取和匹配后的2D特征点的3D特征点;
通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置。
进一步地,所述获取提取和匹配后的2D特征点的3D特征点,具体包括:
获得所述相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为所述旋转矩阵R1的取值;t1为前一帧图像的平移向量,为所述平移向量t1的取值;R2为后一帧图像的旋转矩阵,为所述旋转矩阵R2的取值;t2为后一帧图像的平移向量,为所述平移向量t2的取值;
通过方程组计算得到xk、yk、zk,完成对所述3D特征点的提取;
其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为所述3D特征点,X=[xk,yk,zk,1]T
进一步地,所述获得所述相邻两帧图像的相机矩阵具体包括:
通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到所述R1、t1、R2和t2
进一步地,所述通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量,具体包括:
如果只有所述光流法的帧间运动位移度量值在预设范围内,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
如果只有所述特征匹配法的帧间运动位移度量值在所述预设范围内,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
如果所述光流法和所述特征匹配法的帧间运动位移度量值均在所述预设范围内,比较所述光流法的内点数量N1与所述特征匹配法的内点数量N2的大小;
若N1大于N2,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
若N1小于N2,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
若N1等于N2,通过所述光流法或所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量。
进一步地,所述基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置,具体包括:
通过公式计算得到Rpos和tpos
其中,Rcurr为所述当前时刻的旋转矩阵,tcurr为所述当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移;
基于所述Rpos和所述tpos得到所述定位位置。
本发明提供的定位系统,至少包括:
图像序列获取模块,用于获取图像序列;
2D特征点提取和匹配模块,用于对所述图像序列中相邻两帧图像进行2D特征点的提取和匹配;
3D特征点获取模块,用于获取提取和匹配后的2D特征点的3D特征点;
运算模块,用于通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
定位模块,用于基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置。
进一步地,所述3D特征点获取模块,具体包括:
相机矩阵获取单元,用于获得所述相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为所述旋转矩阵R1的取值;t1为前一帧图像的平移向量,为所述平移向量t1的取值;R2为后一帧图像的旋转矩阵,为所述旋转矩阵R2的取值;t2为后一帧图像的平移向量,为所述平移向量t2的取值;
特征点提取执行单元,用于通过方程组计算得到xk、yk、zk,完成对所述3D特征点的提取;其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为所述3D特征点,X=[xk,yk,zk,1]T
进一步地,所述相机矩阵获取单元,具体用于通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到所述R1、t1、R2和t2
进一步地,所述运算模块,具体包括:
第一判断单元,用于如果判断结果为只有所述光流法的帧间运动位移度量值在预设范围内,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
第二判断单元,用于如果判断结果为只有所述特征匹配法的帧间运动位移度量值在所述预设范围内,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
第三判断单元,用于如果判断结果为所述光流法和所述特征匹配法的帧间运动位移度量值均在所述预设范围内,比较所述光流法的内点数量N1与所述特征匹配法的内点数量N2的大小;若N1大于N2,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;若N1小于N2,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;若N1等于N2,通过所述光流法或所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量。
进一步地,所述定位模块,具体包括:
计算单元,用于通过公式计算得到Rpos和tpos;其中,Rcurr为所述当前时刻的旋转矩阵,tcurr为所述当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移;
定位执行单元,用于基于所述Rpos和所述tpos得到所述定位位置。
本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
光流法的计算速度比特征法快,定位频率高,它对于帧间小范围视角旋移有很高的进度,但累计误差会随着移动总量的增加而不断增大,并且容易受到光照的干扰。特征匹配方法对大范围视野变化有更好的鲁棒性,精确性比光流法高,特征点匹配法进度较高,但是速度较慢,定位频率低。本发明通过分别求出这两种方法所使用的帧间运动位移度量值和内点数量来灵活交替选择相应算法的计算结果,不仅加快了定位速度,而且提高了定位精度,在复杂环境下有很强的实用性。
附图说明
图1为本发明实施例提供的定位方法的流程图;
图2为本发明实施例提供的定位方法中特征点提取与匹配的对比示意图;
图3为本发明实施例提供的定位方法中重投影点与特征点比较的示意图;
图4为本发明实施例提供的定位系统的模块图。
具体实施方式
本发明实施例通过提供一种定位方法及系统,实现了快速和高精度的技术效果。
本发明实施例中的技术方案为解决上述问题,总体思路如下:
光流法的计算速度比特征法快,定位频率高,它对于帧间小范围视角旋移有很高的进度,但累计误差会随着移动总量的增加而不断增大,并且容易受到光照的干扰。特征匹配方法对大范围视野变化有更好的鲁棒性,精确性比光流法高,特征点匹配法进度较高,但是速度较慢,定位频率低。本发明实施例通过分别求出这两种方法所使用的帧间运动位移度量值和内点数量来灵活交替选择相应算法的计算结果,不仅加快了定位速度,而且提高了定位精度,在复杂环境下有很强的实用性。
为了更好地理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1,本发明实施例提供的定位方法,至少包括:
步骤S110:获取图像序列;
步骤S120:对图像序列中相邻两帧图像进行2D特征点的提取和匹配;
对本步骤进行说明:
对图像序列中相邻两帧图像使用SURF描述算子进行特征点提取和匹配。为了提高匹配的准确性和运行效率,采用最近邻搜索算法在欧式空间搜索查找每个特征点的两个最近邻特征点。在这两个特征点中,如果最近距离与次近距离的比值小于预设比例阈值,则接受这对匹配点。此外,为了加快匹配速度,细化、剔除冗余的特征匹配对,并对特征点进行筛选,结合平面的极线几何约束,得到满足极线方程l=Fx的特征点x。其中,x=[u,v,1]T,F为基础矩阵。这种方法不仅提高了匹配的精确度,而且还提高了匹配的效率。图2为对数据集中某相邻两帧使用SURF算法进行特征检测与匹配的对比示意图,发现特征点丰富且配对准确率高。
步骤S130:获取提取和匹配后的2D特征点的3D特征点;
对本步骤进行说明:
获得相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为旋转矩阵R1的取值;t1为前一帧图像的平移向量,为平移向量t1的取值;R2为后一帧图像的旋转矩阵,为旋转矩阵R2的取值;t2为后一帧图像的平移向量,为平移向量t2的取值;旋转矩阵和平移向量都代表着两帧之间的相对运动;
通过方程组计算得到xk、yk、zk,完成对3D特征点的提取;
其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为3D特征点,X=[xk,yk,zk,1]T
具体地,将表达式x1=[u1,v1,1]T、表达式x2=[u2,v2,1]T、表达式和表达式带入方程组中,得到
联立方程可以得到关于xk、yk和zk最小二乘意义上的解,三维点X便可由相邻帧的2D点求解得到。
其中,获得相邻两帧图像的相机矩阵具体包括:
通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到R1、t1、R2和t2;其中,本质矩阵E的大小为3*3,该矩阵可以由帧间图像中的八个匹配点建立的方程来唯一确定。
这里需要说明的是,图3为某帧重投影2D点与该帧特征点的比较示意图,发现大部分重投影点与当前帧特征点重合或者接近,少部分偏差较大,因此,需要将这些偏差较大的点剔除,从而找到更精准的3D点以及对应的2D点。具体方法如下:首先将生成的3D点重投影到图像平面得到重投影2D点,计算每个重投影2D点与当前帧对应的特征点x的欧式距离。若欧式距离小于预设阈值,则将该3D点以及对应的2D点丢弃;若欧式距离大于或者等于预设阈值,则将该3D点以及对应的2D点保留。接着,在保留的3D点以及对应的2D点中,取所有对应的欧式距离的平均值,将所有大于平均值的3D点及对应2D丢弃,实现二次筛选。
步骤S140:通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;其中,光流法为光流Lucas-Kanda算法,特征匹配法为最近邻bruteforce算法。
对本步骤进行说明:
在每个时刻,如果只有光流法的帧间运动位移度量值在预设范围内,通过光流法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
在每个时刻,如果只有特征匹配法的帧间运动位移度量值在预设范围内,通过特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
在每个时刻,如果光流法和特征匹配法的帧间运动位移度量值均在预设范围内,比较光流法的内点数量N1与特征匹配法的内点数量N2的大小;
若N1大于N2,通过光流法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
若N1小于N2,通过特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
若N1等于N2,通过光流法或特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量。
在每个时刻,如果光流法和特征匹配法的帧间运动位移度量值均不在预设范围内,则跳过当前帧。
这样就可以灵活交替地选择相应算法在各个时刻的当前时刻的旋转矩阵和当前时刻的平移向量的计算结果,从而保证了本发明实施例定位的高速和准确性。
步骤S150:基于当前时刻的旋转矩阵和当前时刻的平移向量得到定位位置。
对本步骤进行说明:
通过公式计算得到Rpos和tpos
其中,Rcurr为当前时刻的旋转矩阵,tcurr为当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移。
基于Rpos和tpos得到定位位置。
具体地,既然已知相机在各个时刻的姿态Rcurr和tcurr,就可以求解出每个时刻相机的位置,并累积计算相机的位移。假设以初始位置为坐标原点(0,0),仅仅考虑相机在XOZ平面下的运动情况,不考虑垂直方向Y上的位移,便可得到相机的平面运动轨迹。具体的路径累积如式所示:
参见图4,本发明实施例提供的定位系统,至少包括:
图像序列获取模块100,用于获取图像序列;
2D特征点提取和匹配模块200,用于对图像序列中相邻两帧图像进行2D特征点的提取和匹配;
3D特征点获取模块300,用于获取提取和匹配后的2D特征点的3D特征点;
在本实施例中,3D特征点获取模块300,具体包括:
相机矩阵获取单元,用于获得相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为旋转矩阵R1的取值;t1为前一帧图像的平移向量,为平移向量t1的取值;R2为后一帧图像的旋转矩阵,为旋转矩阵R2的取值;t2为后一帧图像的平移向量,为平移向量t2的取值;
特征点提取执行单元,用于通过方程组计算得到xk、yk、zk,完成对3D特征点的提取;其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为3D特征点,X=[xk,yk,zk,1]T
其中,相机矩阵获取单元,具体用于通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到R1、t1、R2和t2。其中,本质矩阵E的大小为3*3,该矩阵可以由帧间图像中的八个匹配点建立的方程来唯一确定。
运算模块400,用于通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;其中,光流法为光流Lucas-Kanda算法,特征匹配法为最近邻bruteforce算法。
在本实施例中,运算模块400,具体包括:
第一判断单元,用于如果在每个时刻的判断结果为只有光流法的帧间运动位移度量值在预设范围内,通过光流法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
第二判断单元,用于如果在每个时刻的判断结果为只有特征匹配法的帧间运动位移度量值在预设范围内,通过特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
第三判断单元,用于如果在每个时刻的判断结果为光流法和特征匹配法的帧间运动位移度量值均在预设范围内,比较光流法的内点数量N1与特征匹配法的内点数量N2的大小;若N1大于N2,通过光流法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;若N1小于N2,通过特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;若N1等于N2,通过光流法或特征匹配法将3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量。
定位模块500,用于基于当前时刻的旋转矩阵和当前时刻的平移向量得到定位位置。
在本实施例中,定位模块500,具体包括:
计算单元,用于通过公式计算得到Rpos和tpos;其中,Rcurr为当前时刻的旋转矩阵,tcurr为当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移;
定位执行单元,用于基于Rpos和tpos得到定位位置。
【技术效果】
1、光流法的计算速度比特征法快,定位频率高,它对于帧间小范围视角旋移有很高的进度,但累计误差会随着移动总量的增加而不断增大,并且容易受到光照的干扰。特征匹配方法对大范围视野变化有更好的鲁棒性,精确性比光流法高,特征点匹配法进度较高,但是速度较慢,定位频率低。本发明实施例通过分别求出这两种方法所使用的帧间运动位移度量值和内点数量来灵活交替选择相应算法的计算结果,不仅加快了定位速度,而且提高了定位精度,在复杂环境下有很强的实用性。
2、通过SURF描述算子对图像序列中相邻两帧图像进行特征点提取和匹配,提高了本发明实施例的抗干扰能力,进一步地提高了本发明实施例的定位精度。
本发明实施例考虑到室外场景的复杂性,多变性提出了结合光流和特征点匹配的方法,能够很好地完成机器人的自身定位。此外,本发明实施例还可以应用于各种移动机器人系统,如太空机器人、地面机器人、空中机器人和水下机器人的定位中,而且速度快、精度高,具有很强的适用性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种定位方法,其特征在于,至少包括:
获取图像序列;
对所述图像序列中相邻两帧图像进行2D特征点的提取和匹配;
获取提取和匹配后的2D特征点的3D特征点;
通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置。
2.如权利要求1所述的方法,其特征在于,所述获取提取和匹配后的2D特征点的3D特征点,具体包括:
获得所述相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为所述旋转矩阵R1的取值;t1为前一帧图像的平移向量,为所述平移向量t1的取值;R2为后一帧图像的旋转矩阵,为所述旋转矩阵R2的取值;t2为后一帧图像的平移向量,为所述平移向量t2的取值;
通过方程组计算得到xk、yk、zk,完成对所述3D特征点的提取;
其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为所述3D特征点,X=[xk,yk,zk,1]T
3.如权利要求2所述的方法,其特征在于,所述获得所述相邻两帧图像的相机矩阵具体包括:
通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到所述R1、t1、R2和t2
4.如权利要求1所述的方法,其特征在于,所述通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量,具体包括:
如果只有所述光流法的帧间运动位移度量值在预设范围内,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
如果只有所述特征匹配法的帧间运动位移度量值在所述预设范围内,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
如果所述光流法和所述特征匹配法的帧间运动位移度量值均在所述预设范围内,比较所述光流法的内点数量N1与所述特征匹配法的内点数量N2的大小;
若N1大于N2,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
若N1小于N2,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
若N1等于N2,通过所述光流法或所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量。
5.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置,具体包括:
通过公式计算得到Rpos和tpos
其中,Rcurr为所述当前时刻的旋转矩阵,tcurr为所述当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移;
基于所述Rpos和所述tpos得到所述定位位置。
6.一种定位系统,其特征在于,至少包括:
图像序列获取模块,用于获取图像序列;
2D特征点提取和匹配模块,用于对所述图像序列中相邻两帧图像进行2D特征点的提取和匹配;
3D特征点获取模块,用于获取提取和匹配后的2D特征点的3D特征点;
运算模块,用于通过帧间运动位移度量值和内点数量选择通过光流法或特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到当前时刻的旋转矩阵和当前时刻的平移向量;
定位模块,用于基于所述当前时刻的旋转矩阵和所述当前时刻的平移向量得到定位位置。
7.如权利要求6所述的系统,其特征在于,所述3D特征点获取模块,具体包括:
相机矩阵获取单元,用于获得所述相邻两帧图像的相机矩阵其中,R1为前一帧图像的旋转矩阵,为所述旋转矩阵R1的取值;t1为前一帧图像的平移向量,为所述平移向量t1的取值;R2为后一帧图像的旋转矩阵,为所述旋转矩阵R2的取值;t2为后一帧图像的平移向量,为所述平移向量t2的取值;
特征点提取执行单元,用于通过方程组计算得到xk、yk、zk,完成对所述3D特征点的提取;其中,x1和x2为一对匹配的2D特征点,x1=[u1,v1,1]T,x2=[u2,v2,1]T;k1和k2为比例系数;X为所述3D特征点,X=[xk,yk,zk,1]T
8.如权利要求7所述的系统,其特征在于,
所述相机矩阵获取单元,具体用于通过八点算法对公式x′=Ex中的本质矩阵E采用奇异值分解分别得到所述R1、t1、R2和t2
9.如权利要求6所述的系统,其特征在于,所述运算模块,具体包括:
第一判断单元,用于如果判断结果为只有所述光流法的帧间运动位移度量值在预设范围内,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
第二判断单元,用于如果判断结果为只有所述特征匹配法的帧间运动位移度量值在所述预设范围内,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;
第三判断单元,用于如果判断结果为所述光流法和所述特征匹配法的帧间运动位移度量值均在所述预设范围内,比较所述光流法的内点数量N1与所述特征匹配法的内点数量N2的大小;若N1大于N2,通过所述光流法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;若N1小于N2,通过所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量;若N1等于N2,通过所述光流法或所述特征匹配法将所述3D特征点对应的2D特征点与当前帧的特征点进行匹配,得到所述当前时刻的旋转矩阵和所述当前时刻的平移向量。
10.如权利要求6-9中任一项所述的系统,其特征在于,所述定位模块,具体包括:
计算单元,用于通过公式计算得到Rpos和tpos;其中,Rcurr为所述当前时刻的旋转矩阵,tcurr为所述当前时刻的平移向量,Rpos为当前时刻与上一时刻的旋转矩阵累积乘,tpos为当前时刻的累积位移;
定位执行单元,用于基于所述Rpos和所述tpos得到所述定位位置。
CN201710113101.3A 2017-02-28 2017-02-28 一种定位方法及系统 Active CN106920259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710113101.3A CN106920259B (zh) 2017-02-28 2017-02-28 一种定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710113101.3A CN106920259B (zh) 2017-02-28 2017-02-28 一种定位方法及系统

Publications (2)

Publication Number Publication Date
CN106920259A true CN106920259A (zh) 2017-07-04
CN106920259B CN106920259B (zh) 2019-12-06

Family

ID=59454309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710113101.3A Active CN106920259B (zh) 2017-02-28 2017-02-28 一种定位方法及系统

Country Status (1)

Country Link
CN (1) CN106920259B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798705A (zh) * 2017-09-28 2018-03-13 杭州师范大学 一种基于特征点集分组的姿态角估计方法
CN108537845A (zh) * 2018-04-27 2018-09-14 腾讯科技(深圳)有限公司 位姿确定方法、装置及存储介质
CN109196556A (zh) * 2017-12-29 2019-01-11 深圳市大疆创新科技有限公司 避障方法、装置及可移动平台
CN109462746A (zh) * 2018-10-26 2019-03-12 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN110335317A (zh) * 2019-07-02 2019-10-15 百度在线网络技术(北京)有限公司 基于终端设备定位的图像处理方法、装置、设备和介质
CN110599549A (zh) * 2018-04-27 2019-12-20 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
CN110858403A (zh) * 2018-08-22 2020-03-03 杭州萤石软件有限公司 一种单目视觉重建中尺度因子的确定方法和移动机器人
CN111461998A (zh) * 2020-03-11 2020-07-28 中国科学院深圳先进技术研究院 一种环境重建方法及装置
CN112066988A (zh) * 2020-08-17 2020-12-11 联想(北京)有限公司 定位方法及定位设备
CN112565690A (zh) * 2020-11-27 2021-03-26 杭州鲁尔物联科技有限公司 一种隧道收敛监测方法及装置
CN112798812A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN112837374A (zh) * 2021-03-09 2021-05-25 中国矿业大学 一种空间定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047080A (en) * 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN103761737A (zh) * 2014-01-22 2014-04-30 北京工业大学 基于稠密光流的机器人运动估计方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047080A (en) * 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN103761737A (zh) * 2014-01-22 2014-04-30 北京工业大学 基于稠密光流的机器人运动估计方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱永丰 等: "基于ORB特征的单目视觉定位算法研究", 《计算机科学》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798705B (zh) * 2017-09-28 2020-06-16 杭州师范大学 一种基于特征点集分组的姿态角估计方法
CN107798705A (zh) * 2017-09-28 2018-03-13 杭州师范大学 一种基于特征点集分组的姿态角估计方法
CN109196556A (zh) * 2017-12-29 2019-01-11 深圳市大疆创新科技有限公司 避障方法、装置及可移动平台
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN110044374B (zh) * 2018-01-17 2022-12-09 宽衍(北京)科技发展有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN108537845B (zh) * 2018-04-27 2023-01-03 腾讯科技(深圳)有限公司 位姿确定方法、装置及存储介质
CN110555882A (zh) * 2018-04-27 2019-12-10 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
CN110599549A (zh) * 2018-04-27 2019-12-20 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
CN110599549B (zh) * 2018-04-27 2023-01-10 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
US11158083B2 (en) 2018-04-27 2021-10-26 Tencent Technology (Shenzhen) Company Limited Position and attitude determining method and apparatus, smart device, and storage medium
CN108537845A (zh) * 2018-04-27 2018-09-14 腾讯科技(深圳)有限公司 位姿确定方法、装置及存储介质
CN110555882B (zh) * 2018-04-27 2022-11-15 腾讯科技(深圳)有限公司 界面显示方法、装置及存储介质
CN110858403A (zh) * 2018-08-22 2020-03-03 杭州萤石软件有限公司 一种单目视觉重建中尺度因子的确定方法和移动机器人
CN109462746A (zh) * 2018-10-26 2019-03-12 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN109900274B (zh) * 2019-03-25 2022-09-16 哈尔滨工业大学 一种图像匹配方法及系统
CN110335317A (zh) * 2019-07-02 2019-10-15 百度在线网络技术(北京)有限公司 基于终端设备定位的图像处理方法、装置、设备和介质
CN111461998A (zh) * 2020-03-11 2020-07-28 中国科学院深圳先进技术研究院 一种环境重建方法及装置
CN112066988A (zh) * 2020-08-17 2020-12-11 联想(北京)有限公司 定位方法及定位设备
CN112565690A (zh) * 2020-11-27 2021-03-26 杭州鲁尔物联科技有限公司 一种隧道收敛监测方法及装置
CN112798812A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN112798812B (zh) * 2020-12-30 2023-09-26 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN112837374A (zh) * 2021-03-09 2021-05-25 中国矿业大学 一种空间定位方法及系统
CN112837374B (zh) * 2021-03-09 2023-11-03 中国矿业大学 一种空间定位方法及系统

Also Published As

Publication number Publication date
CN106920259B (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN106920259A (zh) 一种定位方法及系统
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
Broggi et al. The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN110533687B (zh) 多目标三维轨迹跟踪方法及装置
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
CN104537709A (zh) 一种基于位姿变化的实时三维重建关键帧确定方法
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN106780631A (zh) 一种基于深度学习的机器人闭环检测方法
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN104156932A (zh) 一种基于光流场聚类的运动目标分割方法
CN112418288A (zh) 一种基于gms和运动检测的动态视觉slam方法
CN112001973B (zh) 基于数字散斑相关的快速三维人头测量方法
Vemprala et al. Monocular vision based collaborative localization for micro aerial vehicle swarms
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN107358624B (zh) 单目稠密即时定位与地图重建方法
Cavestany et al. Improved 3D sparse maps for high-performance SFM with low-cost omnidirectional robots
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
US10977810B2 (en) Camera motion estimation
CN106408654A (zh) 一种三维地图的创建方法及系统
Chen et al. Epipole Estimation under Pure Camera Translation.
CN108534797A (zh) 一种实时高精度视觉里程计方法
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume
Lin 3D object detection and 6D pose estimation using RGB-D images and mask R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant