CN113920150A - 一种资源受限下的行星车简化双目视觉里程定位方法 - Google Patents

一种资源受限下的行星车简化双目视觉里程定位方法 Download PDF

Info

Publication number
CN113920150A
CN113920150A CN202111063783.4A CN202111063783A CN113920150A CN 113920150 A CN113920150 A CN 113920150A CN 202111063783 A CN202111063783 A CN 202111063783A CN 113920150 A CN113920150 A CN 113920150A
Authority
CN
China
Prior art keywords
camera
points
coordinate system
point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111063783.4A
Other languages
English (en)
Inventor
毛晓艳
滕宝毅
邢琰
刘祥
陈建新
李志平
顾朋
贾永
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN202111063783.4A priority Critical patent/CN113920150A/zh
Publication of CN113920150A publication Critical patent/CN113920150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models

Abstract

本发明涉及一种资源受限下的行星车简化双目视觉里程定位方法:首先提取双目图像中的特征点,利用双目立体相机对的极线约束进行匹配,利用两条已知空间直线交会点测量的方法计算匹配到的点的三维坐标;其次,在运动后新拍摄的图像帧中跟踪已匹配的特征点,利用双目相机安装所在的移动设备上携带的惯性测量单元、光学敏感器和码盘的信息,增加前后帧之间的运动信息约束,即相对位置和相对姿态变化关系,在前后图像中缩小搜索区域,减少计算量的前提下获得鲁棒的前后图像匹配点,再通过立体相机对获得匹配点左右立体匹配点,从而得到对应的新的三维坐标;最后,利用行星车上携带的惯性测量单元信息,对运动估计进行降维,仅对位置进行估计。

Description

一种资源受限下的行星车简化双目视觉里程定位方法
技术领域
本发明属于机器人导航技术领域,涉及一种资源受限下的行星车简化双目视觉里程定位方法,适用于移动物体的自身定位,只要是计算资源配置不高,对处理速度有限定的,有其他高精度姿态测量手段的带有双目相机的移动设备都可以采用该方法进行视觉里程定位。
背景技术
目前一般采用在双目立体相机系统中的视觉里程计算方法主要途径如下:首先匹配左右图像中的特征点,利用两条已知空间直线交会测量、计算双目立体匹配点的三维坐标;其次,在确定数目的图像帧中采用高鲁棒的方法跟踪已匹配特征点,并获得其对应的新相机坐标系下的三维坐标;最后,实现运动估计,先利用最小二乘法进行位姿的粗略估计,再利用最大似然估计进行精确计算,并利用优化方法提纯,输出相机最终的相对位置和姿态。这种方法复杂、计算量大。
双目立体相机的视觉里程技术自从十几年前被提出,得到了多方研究和应用。大多研究集中的方向都是高鲁棒性特征的提取和匹配方法,高精度的运动预估优化求解,用高计算量的优化方式力求更高精度的解。
在行星车的研制过程中,综合考虑行星车的硬件配置条件、需要达到的精度和多敏感器数据可融合程度,需要对视觉里程技术的两个关键技术点:局部视觉特征提取与匹配、运动估计两方面进行选取和相应简化处理。
在已有的局部视觉特征提取与匹配方法中,尺度不变特征转换算法(SIFT)无疑是一种公认的最佳选择。尺度不变特征转换算法(SIFT)在旋转、尺度、仿射和灰度方面具有很好的不变性。但是SIFT算法需要在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点邻域梯度的主方向等描述作为该点的特征维数表示,以实现算子对尺度和方向的无关性,其与先验信息相关性不大,但需要多层信息,计算量庞大。且该特征的分布不可控,完全由图像特性决定,会带来分布集中等问题。
在运动估计方面,在传统的方法上一般认为相机是固定在车体上的,不必将相机坐标进行转换,而是直接对匹配得到的特征点计算三维坐标,采用空间的六维运动进行位置和姿态的同步预估,精度不高。
发明内容
本发明要解决的技术问题是:克服现有技术的补足,提供一种资源受限下的行星车简化双目视觉里程定位方法,减少计算量,提高精度。
本发明技术解决方案是:一种资源受限下的行星车简化双目视觉里程定位方法,所述行星车为运行在无人天体上的移动装置,该方法步骤如下:
S1、获得行星车在移动前后相邻两个位置上时行星车上安装的双目相机所拍摄的图像;
S2、提取第一个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点,并将第一个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到初始匹配点,计算初始匹配点在相机坐标系下的三维坐标;
S3、提取第二个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点;之后,针对步骤S2中的每个初始匹配点,重复执行S4~S6;
S4、根据行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系、相机坐标到像平面的转换关系,估算初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标;所述当地水平坐标系指的是以第一个位置的行星车车体中心为原点,X轴向北,Y轴向东,Z轴指向地面的坐标系;
S5、以预估得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心,进行搜索,确定初始匹配点对应的第一个位置和第二个位置左相机拍摄的图像中Harris特征点,记为左相机跟踪特征点;
S6、将第二个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到第二个位置右相机拍摄的图像中与左相机跟踪特征点相匹配的特征点,记为跟踪匹配点,计算跟踪匹配点在相机坐标系下的三维坐标;
S7、将多组初始匹配点和跟踪匹配点在相机坐标系下的三维坐标进行坐标转换,转换到当地水平坐标系下,然后根据初始匹配点和跟踪匹配点在各自当地水平坐标下坐标变化量,按照方差最小的原则,采用优化估计计算得到匹配点相对的位置运动估计;
S8、将第二个位置当作第一个位置,获取下一个位置当作第二个位置,获得行星车在移动前后相邻的第一个位置和第二个位置上时行星车上安装的双目相机所拍摄的图像,重复步骤S1~S8,获得连续多个相邻位置的里程,累加得到行星车运动全程的里程。
优选地,所述步骤S2和步骤S3采用如下方法获取Harris特征点:
将图像分割成不同的区域,在每个区域内计算每个像素点的Harris兴趣值,并从高到低进行排序,提取兴趣值大于兴趣值门限,而且像素点之间间距大于门限的一定数量的像素点,作为Harris特征点。
优选地,所述Harris兴趣值通过如下公式进行计算:
I=det(M)-ktrace2(M)=λ1λ2-k(λ12)2
Figure BDA0003257572450000041
其中,gx表示像平面x方向梯度,gy表示像平面y方向梯度,G(s)表示高斯模板,det表示行列式,trace表示迹,k表示Harris常数,M为中间变量,λ1和λ2表示的是M的两个特征值,数值I表示图像每个像素点的Harris兴趣值,其值越高,角点特性越好。
优选地,所述Harris常数取值范围是:0.01~0.5。
优选地,所述步骤S4估算过程如下:
S4.1、获取初始匹配点对应的第一个位置时相机坐标系下的三维坐标(Xc1,Yc1,Zc1)及其在第一位置时通过相机与车体的安装关系和车体自身的位姿信息转换得到的当地水平坐标系下的三维坐标(Xw,Yw,Zw);
S4.2、获取行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系,求得第一位置相机坐标系下和第二位置相机坐标系之间的旋转平移关系,即旋转阵R和平移阵T;
S4.2、通过三维坐标转换关系,得到初始匹配点在第二位置下相机坐标系下的新坐标Xc2Yc2Zc2
Xc2Yc2Zc2=R·Xc1Yc1Zc1+T;
S4.3、根据初始匹配点在第二位置下相机坐标系下的坐标(Xc2,Yc2,Zc2),通过相机坐标到像平面的转换关系换算出初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标(u2,v2):
Figure BDA0003257572450000051
f表示的是相机的焦距。
优选地,所述步骤S5确定第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点的步骤具体如下:
以S4步骤得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心取一个窗口,然后用第一个位置处的特征模板和这个窗口内的特征点匹配,匹配度最佳的点即为第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点。
本发明与现有技术相比的优点在于:
(1)、本发明针对受限资源下的一种简化实现。采用计算量较低的特征,融合多种敏感器信息增加约束条件以提高鲁棒性,综合所有敏感器信息,在实现精度上有所取舍从而简化运功预估,实现了更快的运算效率,且精度满足指标要求。
(2)、本发明结合行星车的双目相机,姿态和运动相关参数都是可以通过其他方式已知的,且行星车的运动也可以采取预估的方式得到,因此,选用了Harris计算量小并且分布可控的特征算子,并考虑利用IMU和轮系码盘的信息,提取时就考虑分布性,在双目立体视觉极线约束的基础上,增加前后帧之间的运动信息约束,减少计算量,提高其匹配的鲁棒性。
(3)、本发明为避免基于三维空间噪声分布不均匀的缺陷,利用视差空间噪声分布的各向同性的性质进行运动估计,需要大量的迭代优化计算。
(4)、本发明针对行星车的配置和实现情况,认为行星车所配备的惯性测量敏感器和光学敏感器可以提供精度较高的姿态,去除三轴姿态,仅剩位置信息需要预估,因此简化了求解方法,省去复杂的运动预估过程,位置精度又可达指标要求。
附图说明
图1为本发明实施例的行星车简化双目视觉里程定位方法流程图;
图2(a)为本发明实施例第一个位置双目相机左相机拍摄的图像;
图2(b)为本发明实施例第一个位置双目相机右相机拍摄的图像;
图2(c)为本发明实施例第二个位置双目相机左相机拍摄的图像;
图2(d)为本发明实施例第二个位置双目相机右相机拍摄的图像;
图3(a)为本发明实施例第一个位置左图像特征提取效果图。
图3(b)为本发明实施例第二个位置左图像特征提取效果图
图4为本发明实施例的前后两步特征提取的连线效果图。
具体实施方式
以下结合附图和具体实施例对本发明进行详细说明。
以图2(a)~图2(d)所示的相机图像为例,采用前后两步图像的示例说明本发明的具体实现过程。如图2(a)~图2(d)所示,为移动前后两个位置视场角为47度的相机拍摄的图像。
如图1所示,本发明提供的一种资源受限下的行星车简化双目视觉里程定位方法具体实现如下:
S1、获得行星车在移动前后相邻两个位置上时行星车上安装的双目相机所拍摄的图像;
图2(a)为第一个位置左相机拍摄的图像,图2(b)为第一个位置右相机拍摄的图像。图2(c)为第二个位置左相机拍摄的图像,图2(d)为第二个位置右相机拍摄的图像。
所述行星车是指运行在无人天体上的移动装置。
作为优选方案,可以对图像进行内参和外参校正。采用查表法,对原始的图像坐标进行无畸变的位置查找对应,对应新坐标之后,采用双线性插值得到校正后图像的灰度,假设i、j分别是rdi、cdi向下取整后的整数值,x、y分别是对应的小数部分,即:x=rdi-i、y=cdi-j。那么,校正后图像的几何位置点[uci vcj]T(整数)对应的灰度通过插值可得:
G(uci,vcj)=y[xG(i,j)+(1-x)G(i+1,j)]+(1-y)[xG(i,j+1)+(1-x)G(i+1,j+1)]
ci,i的取值都是大于0,小于图像的宽。cj,j的取值都是大于0,小于图像的高。
通过新位置的灰度插值,得到新的不带畸变的图像,可有效减少左右图像特征匹配时的搜索范围。
S2、提取第一个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点,并将第一个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到初始匹配点,计算初始匹配点在相机坐标系下的三维坐标;所述相机坐标系指的是以相机光心为原点,X轴沿成像的列方向水平向右,Y轴沿成像的行方向竖直向下,Z轴沿光轴方向向前的坐标系。
将图像分割成不同的区域,在每个区域内计算每个像素点的Harris兴趣值,并从高到低进行排序,提取兴趣值大于兴趣值门限,而且像素点之间间距大于门限的一定数量的像素点,作为Harris特征点。区域和间距用以控制特征的分布和数量,以减少计算量。
所述Harris兴趣值通过如下公式进行计算:
I=det(M)-ktrace2(M)=λ1λ2-k(λ12)2
Figure BDA0003257572450000081
其中,gx表示像平面x方向(横向)梯度,gy表示像平面y方向(纵向)梯度,G(s)表示高斯模板,det表示行列式,trace表示迹,k表示Harris常数,M为中间变量,λ1和λ2表示的是M的两个特征值,数值I表示图像每个像素点的Harris兴趣值,其值越高,角点特性越好。
所述Harris常数取值范围是:0.01~0.5。本发明某一具体实施例中,选取0.04。兴趣值门限设置为7e6,预设局部区域为32×32个像素大小,每个局部区域内Harris特征点限定数目为5个。
优选地,本步骤采用图像模板灰度的广义归一化相关(Pseudo-normalizedcorrelation,简称为PNC)匹配方法,完成特征点的窗口匹配,然后根据空间交会计算匹配点的三维坐标。所述窗口匹配就是开一个区域,区域内每个点进行运算,得到的最终值表示这个中心点的特性。
匹配方法为:模板Ib尺寸取为N×N,取N=15。在待匹配图像Ia中的指定区域内进行搜索。其中模板的均值描述为
Figure BDA0003257572450000082
方差描述为
Figure BDA0003257572450000091
待匹配图像(x,y)点的均值描述为
Figure BDA0003257572450000092
方差描述为
Figure BDA0003257572450000093
其中u,v表示的是所取的计算相关值的窗口。
PNC表示为:
Figure BDA0003257572450000094
取PNC的相关值最大的点作为输出,PNC的相关值最大为1,越接近1相关度越好。
已知左右图像之间的匹配点像素坐标,求取该匹配点在相机坐标系下的三维坐标,采用直线描述方程,求两条直线公垂线的交汇点,计算原理如下:
左图中的点在左相机坐标系中的直线方程为:
Figure BDA0003257572450000095
其中,p1,q1,r1表示左图的点所在直线的方向数。
同理,右图中的点在左相机坐标系中的直线方程为:
Figure BDA0003257572450000096
其中,p2,q2,r2表示右图的点所在直线的方向数。x0,y0,z0表示右相机的光心在左相机下的位置。
公垂线的交点一点为
Figure BDA0003257572450000097
另一点为
Figure BDA0003257572450000098
为待解值,采用最小二乘法求解:
Figure BDA0003257572450000101
求得公垂线上分别与原直线相交的两点,两点的中点即为最终输出点。其中两个点之间的距离
Figure BDA0003257572450000102
用于判断直线的相交度,相交度大于15mm,则认为该两点匹配不佳予以剔除。相交度可以作为是否匹配良好的一个评价指标。
S3、提取第二个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点;特征提取的结果如图3(a)和图3(b)所示,图3(a)表示第一步左图的特征提取,图3(b)表示第二步左图的特征提取。之后,针对步骤S2中的每个初始匹配点,重复执行S4~S6;
方法同步骤S2。
S4、根据行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系、相机坐标到像平面的转换关系,估算初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标;所述当地水平坐标系指的是以第一个位置的行星车车体中心为原点,X轴向北,Y轴向东,Z轴指向地面的坐标系;
利用第一步和第二步,平台移动前后通过惯性测量单元、光学敏感器和码盘数据得到的位置姿态信息,采用如下方法,估算第一步得到的左图像上的特征点在第二步左图像中的位置。
在当地水平坐标系XYZ下,存在一个相机坐标系(Xc1,Yc1,Zc1)和一个固定的三维点(Xw,Yw,Zw),已知三维点在Xc1Yc1Zc1坐标系下的坐标为(Xc1,Yc1,Zc1)。相机移动得到一个新的相机坐标系Xc2Yc2Zc2,通过惯性测量单元和码盘的数据,可以得到两个相机坐标系之间的旋转平移关系,即旋转阵R和平移阵T。这样就可以通过三维坐标转换关系Xc2Yc2Zc2=R*Xc1Yc1Zc1+T,得到三维点在新的相机坐标系下的坐标(xc2,yc2,zc2)。
再通过三维坐标和像素坐标的转换关系换算出预估的新相机中的像素位置,即第二步左图中的像素位置。
转换关系表示为:
Figure BDA0003257572450000111
其中u,v表示像素坐标,f表示焦距,xc,yc,zc表示点在相机坐标系下坐标。
预估前后左图中的像点位置的具体步骤为:
S4.1、获取初始匹配点对应的第一个位置时相机坐标系下的三维坐标(Xc1,Yc1,Zc1)及其在第一位置时通过相机与车体的安装关系和车体自身的位姿信息转换得到的当地水平坐标系下的三维坐标(Xw,Yw,Zw);
S4.2、行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系,求得第一位置相机坐标系下和第二位置相机坐标系之间的旋转平移关系,即旋转阵R和平移阵T;
S4.2、通过三维坐标转换关系,得到初始匹配点在第二位置下相机坐标系下的新坐标Xc2Yc2Zc2
Xc2Yc2Zc2=R·Xc1Yc1Zc1+T;
S4.3、根据初始匹配点在第二位置下相机坐标系下的坐标(Xc2,Yc2,Zc2),通过三维坐标和像素坐标的转换关系换算出初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标(u2,v2):
Figure BDA0003257572450000121
其中,f表示相机焦距。
假设相机是安装在一个移动车辆上的,车体有一个车体坐标系XbYbZb,相机有一个相机坐标系XcYcZc,同时还有一个固定不变的当地水平坐标系XwYwZw。车体坐标系随车体运动改变,相机坐标系随相机运动改变,当地水平坐标系是固定系,不运动。已知车体坐标系XbYbZb到当地水平坐标系XwYwZw下的三个旋转角和平移量,X轴滚动,Y轴俯仰,Z轴偏航,满足3-2-1转序。又已知车体坐标系到相机坐标系的转换关系。假设已知第一次成像时行星车坐标到当地水平坐标系的关系如下(原点重合,只有姿态变化):
Figure BDA0003257572450000122
RBFtoN表示第一次车体坐标系到当地水平坐标系的旋转阵,TF表示第一次车体坐标系到当地水平坐标系的平移量。
第二次车体位置到当地水平坐标系的关系如下:
Figure BDA0003257572450000123
RBStoN表示第二次车体坐标系到当地水平坐标系的旋转阵,TS表示第二次车体坐标系到当地水平坐标系的平移量。
左相机坐标系到车体坐标系的关系如下:
Figure BDA0003257572450000131
Figure BDA0003257572450000132
RMtob表示左相机坐标系到车体坐标系的旋转阵,TMtob表示左相机坐标系到车体坐标系的平移量。
已知第一步图像的匹配点在当前相机坐标系下坐标为
Figure BDA0003257572450000133
要求预估求解该点在第二步位置下相机坐标系下的坐标
Figure BDA0003257572450000134
Figure BDA0003257572450000135
这样将(xc1,yc1,zc1)变为(xc2,yc2,zc2),再通过三维坐标和像素坐标的转换关系换算出预估的像素位置。
转换关系表示为:
Figure BDA0003257572450000136
求出新的像素坐标,作为预估位置。前后图像的匹配就以预估位置为中心进行区域限定,取一定的窗口进行匹配。
S5、以预估得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心,进行搜索,确定初始匹配点对应的第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点,记为左相机跟踪特征点;
前后图像的匹配就以预估位置为中心进行区域限定,取一定的窗口,设定为50×50进行图像模板灰度匹配,确定第一个位置左图和第二个位置左图中的对应特征点。匹配准则同步骤S2中的广义归一化相关匹配。其在第二个位置左图中的匹配对应点连线如图4。可见对应关系明晰,预估方法是有效的。
确定第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点的步骤具体如下:
以S4步骤得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心取一个窗口,然后用第一个位置处的特征模板和这个窗口内的特征点匹配,匹配度最佳的点即为第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点。
S6、将第二个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到第二个位置右相机拍摄的图像中与左相机跟踪特征点相匹配的特征点,记为跟踪匹配点,计算跟踪匹配点在相机坐标系下的三维坐标;
对第二个位置的左右图像进行步骤S2的图像模板灰度匹配和三维计算。
S7、将多组初始匹配点和跟踪匹配点在相机坐标系下的三维坐标进行坐标转换,转换到当地水平坐标系下,然后根据初始匹配点和跟踪匹配点在各自当地水平坐标下坐标变化量,按照方差最小的原则,采用优化估计匹配点相对的位置运动估计。
本步骤利用随机抽样一致算法(Random Sample Consensus,简称RANSAC)的方法对位置信息进行优化求解,滤出噪声点,给出方差最小的一组初始匹配点和跟踪匹配点,从而得到相对的位置运动估计。
由双目立体匹配得到的点直接计算得到的三维坐标是在相机坐标系下描述的,而相机坐标系在行星车上的安装关系是可以通过标定等手段得到的,因此相机坐标系下坐标可以转换到行星车坐标系下。而行星车上携带的惯性测量单元和光学敏感器可以测量平台在当地水平坐标系下的三轴姿态,因此可以最终转换得到在当地水平坐标系下的三维坐标值。
本步骤根据前后帧图像中同一点的三维信息进行运动预估,从两次执行步骤S7的计算结果中筛选出两步都有三维坐标的同一点,再根据车载敏感器得到的两个位置下姿态,进行转换,可得到同一点在当地水平坐标系下三维信息。本步骤先将相机坐标系下的点统一转换到当地水平坐标系下,前后两次位置上获得的点的三维坐标直接做差,然后在所有的差值中采用RANSAC的方法进行降噪处理。
S8、将第二个位置当作第一个位置,获取下一个位置当作第二个位置,获得行星车在移动前后相邻的第一个位置和第二个位置时行星车上安装的双目相机所拍摄的图像,重复步骤S1~S8,获得连续多个相邻位置的里程,累加得到行星车运动全程的里程。
设定循环次数为50次,设定随机点占比为总点数的2/3。最后的结果即为这两次拍图位置之间的位置估计。然后循环步骤S1至步骤S7的处理过程,得到序列图像之间的相对位置估计,完成连续的视觉里程定位功能。
本发明未详细阐述部分属于本领域公知技术。

Claims (6)

1.一种资源受限下的行星车简化双目视觉里程定位方法,所述行星车为运行在无人天体上的移动装置,其特征在于步骤如下:
S1、获得行星车在移动前后相邻两个位置上时行星车上安装的双目相机所拍摄的图像;
S2、提取第一个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点,并将第一个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到初始匹配点,计算初始匹配点在相机坐标系下的三维坐标;
S3、提取第二个位置左相机和右相机拍摄的图像中预设局部区域内的Harris特征点;之后,针对步骤S2中的每个初始匹配点,重复执行S4~S6;
S4、根据行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系、相机坐标到像平面的转换关系,估算初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标;所述当地水平坐标系指的是以第一个位置的行星车车体中心为原点,X轴向北,Y轴向东,Z轴指向地面的坐标系;
S5、以预估得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心,进行搜索,确定初始匹配点对应的第一个位置和第二个位置左相机拍摄的图像中Harris特征点,记为左相机跟踪特征点;
S6、将第二个位置左相机和右相机拍摄的图像进行双目立体特征点匹配,得到第二个位置右相机拍摄的图像中与左相机跟踪特征点相匹配的特征点,记为跟踪匹配点,计算跟踪匹配点在相机坐标系下的三维坐标;
S7、将多组初始匹配点和跟踪匹配点在相机坐标系下的三维坐标进行坐标转换,转换到当地水平坐标系下,然后根据初始匹配点和跟踪匹配点在各自当地水平坐标下坐标变化量,按照方差最小的原则,采用优化估计计算得到匹配点相对的位置运动估计;
S8、将第二个位置当作第一个位置,获取下一个位置当作第二个位置,获得行星车在移动前后相邻的第一个位置和第二个位置上时行星车上安装的双目相机所拍摄的图像,重复步骤S1~S8,获得连续多个相邻位置的里程,累加得到行星车运动全程的里程。
2.根据权利要求1所述的一种资源受限下的行星车简化双目视觉里程定位方法,其特征在于所述步骤S2和步骤S3采用如下方法获取Harris特征点:
将图像分割成不同的区域,在每个区域内计算每个像素点的Harris兴趣值,并从高到低进行排序,提取兴趣值大于兴趣值门限,而且像素点之间间距大于门限的一定数量的像素点,作为Harris特征点。
3.根据权利要求2所述的一种资源受限下的行星车简化双目视觉里程定位方法,其特征在于所述Harris兴趣值通过如下公式进行计算:
I=det(M)-ktrace2(M)=λ1λ2-k(λ12)2
Figure FDA0003257572440000021
其中,gx表示像平面x方向梯度,gy表示像平面y方向梯度,G(s)表示高斯模板,det表示行列式,trace表示迹,k表示Harris常数,M为中间变量,λ1和λ2表示的是M的两个特征值,数值I表示图像每个像素点的Harris兴趣值,其值越高,角点特性越好。
4.根据权利要求3所述的一种资源受限下的行星车简化双目视觉里程定位方法,其特征在于所述Harris常数取值范围是:0.01~0.5。
5.根据权利要求1所述的一种资源受限下的行星车简化双目视觉里程定位方法,其特征在于所述步骤S4估算过程如下:
S4.1、获取初始匹配点对应的第一个位置时相机坐标系下的三维坐标(Xc1,Yc1,Zc1)及其在第一位置时通过相机与车体的安装关系和车体自身的位姿信息转换得到的当地水平坐标系下的三维坐标(Xw,Yw,Zw);
S4.2、获取行星车在第一个位置和第二个位置测量得到的带滑移误差的当地水平坐标系下位置坐标、姿态信息、相机坐标到当地水平系的转换关系,求得第一位置相机坐标系下和第二位置相机坐标系之间的旋转平移关系,即旋转阵R和平移阵T;
S4.2、通过三维坐标转换关系,得到初始匹配点在第二位置下相机坐标系下的新坐标Xc2Yc2Zc2
Xc2Yc2Zc2=R·Xc1Yc1Zc1+T;
S4.3、根据初始匹配点在第二位置下相机坐标系下的坐标(Xc2,Yc2,Zc2),通过相机坐标到像平面的转换关系换算出初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标(u2,v2):
Figure FDA0003257572440000031
f表示的是相机的焦距。
6.根据权利要求1所述的一种资源受限下的行星车简化双目视觉里程定位方法,其特征在于所述步骤S5确定第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点的步骤具体如下:
以S4步骤得到的初始匹配点对应的第一个位置左相机拍摄的图像中的Harris特征点在第二个位置左相机拍摄的图像中的理论像素点坐标为中心取一个窗口,然后用第一个位置处的特征模板和这个窗口内的特征点匹配,匹配度最佳的点即为第一个位置和第二个位置左相机拍摄的图像中对应的Harris特征点。
CN202111063783.4A 2021-09-10 2021-09-10 一种资源受限下的行星车简化双目视觉里程定位方法 Pending CN113920150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111063783.4A CN113920150A (zh) 2021-09-10 2021-09-10 一种资源受限下的行星车简化双目视觉里程定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111063783.4A CN113920150A (zh) 2021-09-10 2021-09-10 一种资源受限下的行星车简化双目视觉里程定位方法

Publications (1)

Publication Number Publication Date
CN113920150A true CN113920150A (zh) 2022-01-11

Family

ID=79234588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111063783.4A Pending CN113920150A (zh) 2021-09-10 2021-09-10 一种资源受限下的行星车简化双目视觉里程定位方法

Country Status (1)

Country Link
CN (1) CN113920150A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527199A (zh) * 2022-10-31 2022-12-27 通号万全信号设备有限公司 轨道交通列车定位方法、装置、介质和电子设备
CN116147583A (zh) * 2023-02-21 2023-05-23 上海核工程研究设计院股份有限公司 基于类星图匹配的乏燃料水池运维设备定位方法及系统
CN116147583B (zh) * 2023-02-21 2024-05-10 上海核工程研究设计院股份有限公司 基于类星图匹配的乏燃料水池运维设备定位方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527199A (zh) * 2022-10-31 2022-12-27 通号万全信号设备有限公司 轨道交通列车定位方法、装置、介质和电子设备
CN116147583A (zh) * 2023-02-21 2023-05-23 上海核工程研究设计院股份有限公司 基于类星图匹配的乏燃料水池运维设备定位方法及系统
CN116147583B (zh) * 2023-02-21 2024-05-10 上海核工程研究设计院股份有限公司 基于类星图匹配的乏燃料水池运维设备定位方法及系统

Similar Documents

Publication Publication Date Title
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN111595333A (zh) 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
US6175648B1 (en) Process for producing cartographic data by stereo vision
JP7173471B2 (ja) 3次元位置推定装置及びプログラム
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN113744337A (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
EP3905198A1 (en) System and method for computing the 3d position of a semantic landmark in images from the real world
CN111210478A (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN114693787A (zh) 停车库建图与定位方法、系统及车辆
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
CN114708293A (zh) 基于深度学习点线特征和imu紧耦合的机器人运动估计方法
CN112819711A (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN113920150A (zh) 一种资源受限下的行星车简化双目视觉里程定位方法
CN115015956A (zh) 一种室内无人车的激光与视觉slam系统
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN113034584B (zh) 一种基于物体语义路标的移动机器人视觉定位方法
CN114413788A (zh) 基于双目视觉和反向模型重构的零件表面图案检测方法
JP4935769B2 (ja) 平面領域推定装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination