CN112184763A - 一种机器人视觉导航中视觉里程计构建方法 - Google Patents

一种机器人视觉导航中视觉里程计构建方法 Download PDF

Info

Publication number
CN112184763A
CN112184763A CN202010939522.3A CN202010939522A CN112184763A CN 112184763 A CN112184763 A CN 112184763A CN 202010939522 A CN202010939522 A CN 202010939522A CN 112184763 A CN112184763 A CN 112184763A
Authority
CN
China
Prior art keywords
points
object boundary
boundary frame
point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010939522.3A
Other languages
English (en)
Inventor
谢非
郭钊利
刘益剑
陆飞
梅一剑
何逸
卢毅
吴俊�
章悦
汪璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Institute For Innovation And Development Nnu
Nanjing Normal University
Original Assignee
Zhenjiang Institute For Innovation And Development Nnu
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenjiang Institute For Innovation And Development Nnu, Nanjing Normal University filed Critical Zhenjiang Institute For Innovation And Development Nnu
Priority to CN202010939522.3A priority Critical patent/CN112184763A/zh
Publication of CN112184763A publication Critical patent/CN112184763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种机器人视觉导航中视觉里程计构建方法,包括:提取图像特征点;获取物体边界框的位置;判断提取到的特征点是否在检测得到的物体边界框内,若不是,则剔除特征点;若在物体边界框内,则通过光流跟踪物体边界框内的特征点,并通过光流极线法进行动态点的判断,若物体边界框内动态点数目大于阈值,则认为该物体边界框内物体是运动的,将其中所有特征点剔除。若未超过阈值,则认为该物体边界框内物体是静止的,物体边界框内的特征点是有效特征点。根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。本发明解决了动态环境下位姿估计的不准确问题,提高了定位精度。

Description

一种机器人视觉导航中视觉里程计构建方法
技术领域
本发明涉及视觉导航及图像处理的技术领域,具体涉及一种机器人视觉导航中视觉里程计构建方法。
背景技术
机器人进入未知环境后实现定位和导航功能离不开视觉里程计,视觉里程计指通过机器视觉技术,处理分析连续视频序列帧图像以完成对移动相机的位置及姿态估计,实现导航及定位功能。传统的视觉里程计在动态环境下鲁棒性与精度较差,场景中的运动物体会造成位姿估计中特征点的误匹配,进而影响定位精度与建图的准确性,受外部环境中移动物体特征点的干扰较大。
发明内容
发明目的:为解决背景技术中存在的技术问题,本发明提出一种机器人视觉导航中视觉里程计构建方法,包括如下步骤:
步骤1,读取原始图像,通过双阈值法提取特征点并获得特征点的位置;
步骤2,通过YOLOv3算法【可参考“Redmon J,Farhadi A.YOLOv3:an incrementalimprovement[OL].[2018-04-08].”】对原始图像进行目标检测,获取物体边界框的位置;
步骤3,根据特征点的位置及物体边界框的位置,判断特征点是否在物体边界框内,剔除不在物体边界框内的特征点,获得在物体边界框内的特征点;
步骤4,对物体边界框内的特征点进行光流跟踪,获取在物体边界框内特征点的运动位置;
步骤5,根据步骤4得到的运动位置,通过光流极线法进行动态特征点的判定,判断在物体边界框内的特征点是静态特征点还是动态特征点;
步骤6,根据所述的物体边界框内的动态特征点来判断物体运动情况,当物体边界框内动态特征点的数目达到一定阈值,则判定该物体边界框内物体是运动的,剔除物体边界框内所有的特征点,获取静态物体特征点,即为有效特征点;
步骤7,根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建;
本发明中,步骤1包括如下步骤:
步骤1-1:在原始图像中任取二十个像素p1,p2......p20,p20表示选取的第20个像素,分别检测出它们的亮度Ip1,Ip2......Ip20,设定阈值Tp1
Figure BDA0002673139550000021
Ipi为所取的第i个像素点的亮度,i取值为1~20;
步骤1-2:在原始图像上任意选取像素p,检测出它的亮度Ip,设定阈值Tp2,Tp2为Ip的20%;
步骤1-3:以像素p为中心选取半径为3的圆上16个像素点;
步骤1-4:如果选取出的圆上,有连续十二个像素点的亮度大于
Figure BDA0002673139550000022
或者圆上有连续十二个像素点的亮度小于
Figure BDA0002673139550000023
则像素p这个点标记为特征点,获取这个特征点的坐标(xr,yr)并保存。其中,xr表示特征点的行坐标,yr表示特征点的列坐标;
步骤1-5:循环步骤1-2~步骤1-4,对原始图像上的每一个像素点执行相同操作,得到特征点以及特征点位置。
步骤3包括:
步骤3-1:对比步骤1获取的特征点位置与步骤2获取的物体边界框的位置,判断特征点是否在物体边界框内;
步骤3-2:剔除不在物体边界框内的特征点,保留在物体边界框内的特征点;
步骤3-3:重复步骤3-1~步骤3-2,直至步骤1获取的特征点与步骤2获取的物体边界框都比较完毕。
步骤4包括:
步骤4-1:任取一个在步骤3获取的在物体边界框内的特征点(x,y),记录当前时刻为t,记该特征点在t+dt时刻,运动到(x+dx,y+dy)处;
其中,x表示所取的特征点在t时刻的行坐标,y表示所取的特征点在t时刻的列坐标,(x,y)表示所取的特征点在t时刻的坐标,t+dt表示摄像头读取到下一帧图像的时刻,x+dx表示所取的特征点在t+dt时刻的行坐标,y+dy表示所取的特征点在t+dt时刻的列坐标,(x+dx,y+dy)表示所取的特征点在t+dt时刻的坐标。
步骤4-2:设定同一个空间点的像素灰度值固定不变,以I(x,y,t)描述所取的特征点在t时刻的灰度值,I(x+dx,y+dy,t+dt)表示所取的特征点在t+dt时刻的灰度值,则I(x+dx,y+dy,t+dt)=I(x,y,t);通过泰勒级数对方程进行展开,保留一阶项,得到:
Figure BDA0002673139550000031
由于灰度值不变,则有
Figure BDA0002673139550000032
其中,
Figure BDA0002673139550000033
表示当前帧图像在所取的特征点处x方向的偏导,
Ix表示当前帧图像在所取的特征点处x方向的梯度,
Figure BDA0002673139550000034
表示当前帧图像在所取的特征点处y方向的偏导,
Iy表示当前帧图像在所取的特征点处y方向的梯度,
Figure BDA0002673139550000035
表示当前帧图像灰度对时间的变化量的偏导,
It表示当前帧图像灰度对时间的变化量,
u,v分别表示所取的特征点在x轴上的运动速度、y轴上的运动速度。
步骤4-3:设定一个窗口内的像素具有相同的运动,则在一个大小为3×3的窗口中,利用最小二乘法,则有
Figure BDA0002673139550000036
其中,
Figure BDA0002673139550000037
It1至It9为所述的大小为3×3的窗口中的九个像素点的灰度值,Ix1至Ix9为所述的大小为3×3的窗口中的九个像素点x方向的梯度,Iy1至Iy9为所述的大小为3×3的窗口中的九个像素点y方向的梯度。AT表示矩阵A的转置,(ATA)-1表示矩阵AT与矩阵A乘积的逆矩阵。
步骤4-4:根据步骤4-3得到的所取的特征点在x轴,y轴上的运动速度
Figure BDA0002673139550000041
得到所取的特征点在t+dt时刻的(x+dx,y+dy)=(x+udt,y+vdt);
步骤4-5:通过对连续两帧图像进行光流追踪,获得步骤3所述在物体边界框内特征点在下一帧图像对应的匹配点;
步骤5包括:
步骤5-1:任取步骤4-5所获得的八对匹配点,计算基础矩阵F,计算公式如下:
Figure BDA0002673139550000042
其中,qk=(uk,vk,1),q′k=(u′k,v′k,1)分别表示所得到的八对匹配点中第k对匹配点归一化后的坐标,k的取值为1~8;uk,uk'分别表示所得到的八对匹配点中第k对匹配点归一化后的行坐标,vk,vk'分别表示所得到的八对匹配点中第k对匹配点归一化后的列坐标。
步骤5-2:利用步骤5-1得到的基础矩阵F,以步骤4所述的在t时刻坐标为(x,y)的特征点为例,将该特征点投影到t+dt时刻的图像,得到在t+dt时刻该特征点对应的极线l2;
l2=Fq
其中,q表示步骤4-1所取的特征点在t时刻的坐标(x,y)归一化后的坐标(x1,y1,1),
步骤5-3:计算步骤5-2所取特征点在t+dt时刻的匹配点q'到极线l2的距离D,距离公式如下:
Figure BDA0002673139550000043
其中q'表示步骤5-2所取特征点在t+dt时刻对应的匹配点归一化坐标(x1',y1',1),
Figure BDA0002673139550000051
表示q1′的转置,q0表示步骤5-2所取特征点在t时刻的坐标(x,y),X,Y分别表示极线l2一般式中自变量与因变量的系数。
步骤5-4:判断距离D与阈值m关系,如果距离D大于阈值m,则判定所取的特征点是一个动态点;其中,m值为6。
步骤5-5:重复步骤5-2~步骤5-4,直至在物体边界框内特征点都判断完毕。
步骤6包括:
步骤6-1:将步骤5所获得的动态特征点位置保存,对比步骤5得到的动态特征点的位置与步骤2获得的物体边界框的位置,获得动态特征点落在物体区域的数目;
步骤6-2:判断步骤6-1获取到的动态特征点落在物体区域的数目与阈值n的大小,如果数目大于阈值n,则判定步骤2检测到的物体边界框内物体是运动的,剔除物体边界框内所有的特征点;其中,阈值n为15;
步骤6-3:重复步骤6-1~步骤6-2,直至步骤5得到的动态特征点与物体边界框都比较完毕,获得静态特征点,即为有效特征点。
步骤7包括:
步骤7-1:根据步骤6获得的有效特征点计算位姿估计本质矩阵【可参考“王君,徐晓凤,董明利,孙鹏,陈敏.单目移动机器人相对位姿估计方法[J].应用光学,2019,40(04):535-541.”】;
步骤7-2:根据本质矩阵恢复相机的运动信息,得到相机旋转矩阵与平移矩阵,从而估算出相机位姿【可参考“王鑫.基于单目视觉的目标物定位算法研究[D].哈尔滨:哈尔滨工业大学,2016.”】。
有益效果:本发明公开了一种机器人视觉导航中视觉里程计构建方法,普通视觉里程计在动态环境下鲁棒性较差,运动物体会造成位姿估计中的误匹配,进而影响建图的准确性。该方法有效解决了运动物体对普通视觉里程计的干扰,提高了定位导航精度。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明技术流程框图。
图2为本发明提取的特征点结果。
图3为本发明进行目标检测的结果。
图4为本发明剔除不在物体边界框内的特征点后的结果。
图5所示为对极约束平面示意图。
图6为本发明剔除动态特征点后的结果。
具体实施方式
如图1所示,本发明公开了一种机器人视觉导航中视觉里程计构建方法,包括如下步骤:
步骤1,读取原始图像,通过双阈值法提取特征点并获得特征点的位置;
步骤2,通过YOLOv3算法对原始图像进行目标检测,获取物体边界框的位置;图3所示为目标检测结果图,分别框出了三轮车,行人,轿车的边界框。
步骤3,根据所述的特征点的位置及物体边界框的位置,判断特征点是否在物体边界框内,剔除不在物体边界框内的特征点,获得在物体边界框内的特征点;
步骤4,对所述的物体边界框内的特征点进行光流跟踪,获取在物体边界框内特征点的运动位置;
步骤5,根据所述的在物体边界框内的特征点的运动位置,通过光流极线法进行动态特征点的判定,判断在物体边界框内的特征点是静态特征点还是动态特征点;
步骤6,根据所述的物体边界框内的动态特征点来判断物体运动情况,当物体边界框内动态特征点的数目达到一定阈值,则认为该物体边界框内物体是运动的,剔除物体边界框内所有的特征点,获取静态物体特征点,即为有效特征点;
步骤7,根据所述的有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建;
本发明中,步骤1包括如下步骤:
步骤1-1:在原始图像中任取二十个像素p1,p2......p20,分别检测出它们的亮度Ip1,Ip2......Ip20,设定阈值1Tp1
其中,
Figure BDA0002673139550000071
Ipi为所取的第i个像素点的亮度,i取值为1~20。
步骤1-2:在原始图像上任意选取像素p,检测出它的亮度Ip,设定阈值2Tp2,Tp2为Ip的20%;
步骤1-3:以像素p为中心选取半径为3的圆上16个像素点;
步骤1-4:若选取出的圆上,有连续十二个像素点的亮度大于
Figure BDA0002673139550000072
或者圆上有连续十二个像素点的亮度小于
Figure BDA0002673139550000073
则像素p这个点标记为特征点,获取特征点的坐标(xr,yr)并保存。其中,xr表示特征点的行坐标,yr表示特征点的列坐标,
步骤1-5:循环步骤1-2到1-4,对图像上的每一个像素点执行相同操作,得到特征点以及特征点位置。图2所示为一例特征点提取效果图。
步骤3包括:
步骤3-1:对比步骤1获取的特征点位置与步骤2获取的物体边界框的位置,判断特征点是否在物体边界框内;
步骤3-2:剔除不在物体边界框内的特征点,保留在物体边界框内的特征点;
步骤3-3:重复步骤3-1,步骤3-2,直至步骤1获取的特征点与步骤2获取的物体边界框都比较完毕。
图4为剔除不在物体边界框内的特征点后的结果。
步骤4包括:
步骤4-1:任取一个在步骤3获取的在物体边界框内的特征点(x,y),记录当前时刻为t,记该特征点在t+dt时刻,运动到(x+dx,y+dy)处;
其中,x表示所取的特征点在t时刻的行坐标,y表示所取的特征点在t时刻的列坐标,(x,y)表示所取的特征点在t时刻的坐标,t+dt表示摄像头读取到下一帧图像的时刻,x+dx表示所取的特征点在t+dt时刻的行坐标,y+dy表示所取的特征点在t+dt时刻的列坐标,(x+dx,y+dy)表示所取的特征点在t+dt时刻的坐标。
步骤4-2:假设同一个空间点的像素灰度值固定不变,以I(x,y,t)描述所取的特征点在t时刻的灰度值,I(x+dx,y+dy,t+dt)表示所取的特征点在t+dt时刻的灰度值,则I(x+dx,y+dy,t+dt)=I(x,y,t);通过泰勒级数对方程进行展开,保留一阶项,得到:
Figure BDA0002673139550000081
由于灰度值不变,则有
Figure BDA0002673139550000082
其中,
Figure BDA0002673139550000083
表示当前帧图像在所取的特征点处x方向的偏导,
Ix表示当前帧图像在所取的特征点处x方向的梯度,
Figure BDA0002673139550000084
表示当前帧图像在所取的特征点处y方向的偏导,
Iy表示当前帧图像在所取的特征点处y方向的梯度,
Figure BDA0002673139550000085
表示当前帧图像灰度对时间的变化量的偏导,
It表示当前帧图像灰度对时间的变化量,
u,v分别表示所取的特征点在x轴,y轴上的运动速度。
步骤4-3:假设一个窗口内的像素具有相同的运动,则在一个大小为3×3的窗口中,利用最小二乘法,则有
Figure BDA0002673139550000086
其中,
Figure BDA0002673139550000091
It1至It9为所述的大小为3×3的窗口中的九个像素点的灰度值,Ix1至Ix9为所述的大小为3×3的窗口中的九个像素点x方向的梯度,Iy1至Iy9为所述的大小为3×3的窗口中的九个像素点y方向的梯度。AT表示矩阵A的转置,(ATA)-1表示矩阵AT与矩阵A乘积的逆矩阵。
步骤4-4:根据步骤4-3得到的所取的特征点在x轴,y轴上的运动速度
Figure BDA0002673139550000092
得到所取的特征点在t+dt时刻的(x+dx,y+dy)=(x+udt,y+vdt);
步骤4-5:通过对连续两帧图像进行光流追踪,获得步骤3所述在物体边界框内特征点在下一帧图像对应的匹配点;
步骤5包括:
步骤5-1:任取步骤4-5所获得的八对匹配点,计算基础矩阵F,计算公式如下:
Figure BDA0002673139550000093
其中,qk=(uk,vk,1),q′k=(u′k,v′k,1)分别表示所得到的八对匹配点中第k对匹配点归一化后的坐标,k的取值为1~8;uk,u'k分别表示所得到的八对匹配点中第k对匹配点归一化后的行坐标,vk,v'k分别表示所得到的八对匹配点中第k对匹配点归一化后的列坐标。
步骤5-2:利用步骤5-1得到的基础矩阵F,以步骤4所述的在t时刻坐标为(x,y)的特征点为例,将该特征点投影到t+dt时刻的图像,得到在t+dt时刻该特征点对应的极线l2;
l2=Fq
其中,q表示步骤4-1所取的特征点在t时刻的坐标(x,y)归一化后的坐标(x1,y1,1),
步骤5-3:计算步骤5-2所取特征点在t+dt时刻的匹配点q'到极线l2的距离,距离公式如下:
Figure BDA0002673139550000101
其中q'表示步骤5-2所取特征点在t+dt时刻对应的匹配点归一化坐标(x1',y1',1),
Figure BDA0002673139550000102
表示q'1的转置,q0表示步骤5-2所取特征点在t时刻的坐标(x,y),X,Y分别表示极线l2一般式中自变量与因变量的系数。
步骤5-4:判断D与阈值m关系,如果距离大于阈值,则认为所取的特征点是一个动态并保存其位置坐标点。其中,m值为6。
步骤5-5:重复步骤5-2至步骤5-4,直至步骤3所述在物体边界框内特征点都判断完毕。
下图5所示为对极约束平面示意图。
步骤6包括:
步骤6-1:将步骤5所获得的动态特征点位置保存,对比步骤5得到的动态特征点的位置与步骤2获得的物体边界框的位置,获得动态特征点落在物体区域的数目;
步骤6-2:判断步骤6-1获取到的动态特征点落在物体区域的数目与阈值n的大小,若数目大于阈值n,则认为步骤2检测到的物体边界框内物体是运动的,剔除物体边界框内所有的特征点;其中,阈值n为15;
步骤6-3:重复步骤6-1,6-2,直至步骤5得到的动态特征点与物体边界框都比较完毕,获得静态特征点,即为有效特征点。
通过步骤6-2得到,路人是运动的,三轮车和轿车是静止的。下图6所示为剔除动态特征点的结果图。
步骤7包括:
步骤7-1:根据步骤6获得的有效特征点计算位姿估计本质矩阵;
步骤7-2:根据本质矩阵恢复相机的运动信息,得到相机旋转矩阵与平移矩阵,从而估算出相机位姿。
本发明提供了一种机器人视觉导航中视觉里程计构建方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种机器人视觉导航中视觉里程计构建方法,其特征在于,包括以下步骤:
步骤1,读取原始图像,通过双阈值法提取特征点并获得特征点的位置;
步骤2,通过YOLOv3算法对原始图像进行目标检测,获取物体边界框的位置;
步骤3,根据特征点的位置及物体边界框的位置,判断特征点是否在物体边界框内,剔除不在物体边界框内的特征点,获得在物体边界框内的特征点;
步骤4,对物体边界框内的特征点进行光流跟踪,获取在物体边界框内特征点的运动位置;
步骤5,根据步骤4得到的运动位置,通过光流极线法进行动态特征点的判定,判断在物体边界框内的特征点是静态特征点还是动态特征点;
步骤6,根据物体边界框内的动态特征点来判断物体运动情况,当物体边界框内动态特征点的数目达到一定阈值,则判定物体边界框内物体是运动的,剔除物体边界框内所有的特征点,获取静态物体特征点,即为有效特征点;
步骤7,根据有效特征点估算相机运动轨迹,恢复出相机旋转和平移运动,估计出相机位姿,完成视觉里程计的构建。
2.根据权利要求1所述的方法,特征在于,步骤1包括:
步骤1-1:在原始图像中任取二十个像素p1,p2......p20,p20表示选取的第20个像素,分别检测出它们的亮度Ip1,Ip2......Ip20,设定阈值Tp1
Figure FDA0002673139540000011
Ipi为所取的第i个像素点的亮度,i取值为1~20;
步骤1-2:在原始图像上任意选取像素p,检测出它的亮度Ip,设定阈值Tp2,Tp2为Ip的20%;
步骤1-3:以像素p为中心选取半径为3的圆上16个像素点;
步骤1-4:如果选取出的圆上,有连续十二个像素点的亮度大于
Figure FDA0002673139540000012
或者圆上有连续十二个像素点的亮度小于
Figure FDA0002673139540000013
则像素p这个点标记为特征点,获取这个特征点的坐标(xr,yr)并保存;其中,xr表示特征点的行坐标,yr表示特征点的列坐标;
步骤1-5:循环步骤1-2~步骤1-4,对原始图像上的每一个像素点执行相同操作,得到特征点以及特征点位置。
3.根据权利要求2所述的方法,特征在于,步骤3包括如下步骤:
步骤3-1:对比步骤1获取的特征点位置与步骤2获取的物体边界框的位置,判断特征点是否在物体边界框内;
步骤3-2:剔除不在物体边界框内的特征点,保留在物体边界框内的特征点;
步骤3-3:重复步骤3-1~步骤3-2,直至步骤1获取的特征点与步骤2获取的物体边界框都比较完毕。
4.根据权利要求3所述的方法,特征在于,步骤4包括:
步骤4-1:任取一个在步骤3获取的在物体边界框内的特征点(x,y),记录当前时刻为t,记该特征点在t+dt时刻,运动到(x+dx,y+dy)处;
其中,x表示所取的特征点在t时刻的行坐标,y表示所取的特征点在t时刻的列坐标,(x,y)表示所取的特征点在t时刻的坐标,t+dt表示摄像头读取到下一帧图像的时刻,x+dx表示所取的特征点在t+dt时刻的行坐标,y+dy表示所取的特征点在t+dt时刻的列坐标,(x+dx,y+dy)表示所取的特征点在t+dt时刻的坐标;
步骤4-2:设定同一个空间点的像素灰度值固定不变,以I(x,y,t)描述所取的特征点在t时刻的灰度值,I(x+dx,y+dy,t+dt)表示所取的特征点在t+dt时刻的灰度值,则I(x+dx,y+dy,t+dt)=I(x,y,t);通过泰勒级数对方程进行展开,保留一阶项,得到:
Figure FDA0002673139540000021
由于灰度值不变,则有
Figure FDA0002673139540000022
其中,
Figure FDA0002673139540000023
表示当前帧图像在所取的特征点处x方向的偏导,
Ix表示当前帧图像在所取的特征点处x方向的梯度,
Figure FDA0002673139540000031
表示当前帧图像在所取的特征点处y方向的偏导,
Iy表示当前帧图像在所取的特征点处y方向的梯度,
Figure FDA0002673139540000032
表示当前帧图像灰度对时间的变化量的偏导,
It表示当前帧图像灰度对时间的变化量,
u,v分别表示所取的特征点在x轴上的运动速度、y轴上的运动速度;
步骤4-3:设定一个窗口内的像素具有相同的运动,则在一个大小为3×3的窗口中,利用最小二乘法,则有
Figure FDA0002673139540000033
其中,
Figure FDA0002673139540000034
It1至It9为所述的大小为3×3的窗口中的九个像素点的灰度值,Ix1至Ix9为所述的大小为3×3的窗口中的九个像素点x方向的梯度,Iy1至Iy9为所述的大小为3×3的窗口中的九个像素点y方向的梯度;AT表示矩阵A的转置,(ATA)-1表示矩阵AT与矩阵A乘积的逆矩阵;
步骤4-4:根据步骤4-3得到的所取的特征点在x轴,y轴上的运动速度
Figure FDA0002673139540000035
得到所取的特征点在t+dt时刻的(x+dx,y+dy)=(x+udt,y+vdt);
步骤4-5:通过对连续两帧图像进行光流追踪,获得步骤3在物体边界框内特征点在下一帧图像对应的匹配点。
5.根据权利要求4所述的方法,特征在于,步骤5包括:
步骤5-1:任取步骤4-5所获得的八对匹配点,计算基础矩阵F,计算公式如下:
Figure FDA0002673139540000036
其中,qk=(uk,vk,1),q′k=(u′k,v′k,1)分别表示所得到的八对匹配点中第k对匹配点归一化后的坐标,k的取值为1~8;uk,uk'分别表示所得到的八对匹配点中第k对匹配点归一化后的行坐标,vk,vk'分别表示所得到的八对匹配点中第k对匹配点归一化后的列坐标;
步骤5-2:利用步骤5-1得到的基础矩阵F,以步骤4在t时刻坐标为(x,y)的特征点为例,将所述特征点投影到t+dt时刻的图像,得到在t+dt时刻该特征点对应的极线l2:
l2=Fq,
其中,q表示步骤4-1所取的特征点在t时刻的坐标(x,y)归一化后的坐标(x1,y1,1)。
步骤5-3:计算步骤5-2所取特征点在t+dt时刻的匹配点q'到极线l2的距离D,距离公式如下:
Figure FDA0002673139540000041
其中q'表示步骤5-2所取特征点在t+dt时刻对应的匹配点归一化坐标(x1',y1',1),
Figure FDA0002673139540000042
表示q1′的转置,q0表示步骤5-2所取特征点在t时刻的坐标(x,y),X,Y分别表示极线l2一般式中自变量与因变量的系数;
步骤5-4:判断距离D与阈值m关系,如果距离D大于阈值m,则判定所取的特征点是一个动态点;
步骤5-5:重复步骤5-2~步骤5-4,直至在物体边界框内特征点都判断完毕。
6.根据权利要求5所述的方法,其特征在于,步骤6包括:
步骤6-1:将步骤5所获得的动态特征点位置保存,对比步骤5得到的动态特征点的位置与步骤2获得的物体边界框的位置,获得动态特征点落在物体区域的数目;
步骤6-2:判断步骤6-1获取到的动态特征点落在物体区域的数目与阈值n的大小,如果数目大于阈值n,则判定步骤2检测到的物体边界框内物体是运动的,剔除物体边界框内所有的特征点;
步骤6-3:重复步骤6-1~步骤6-2,直至步骤5得到的动态特征点与物体边界框都比较完毕,获得静态特征点,即为有效特征点。
7.根据权利要求6所述的方法,特征在于,步骤7包括如下步骤:
步骤7-1:根据步骤6获得的有效特征点计算位姿估计本质矩阵;
步骤7-2:根据本质矩阵恢复相机的运动信息,得到相机旋转矩阵与平移矩阵,从而估算出相机位姿。
CN202010939522.3A 2020-09-09 2020-09-09 一种机器人视觉导航中视觉里程计构建方法 Pending CN112184763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939522.3A CN112184763A (zh) 2020-09-09 2020-09-09 一种机器人视觉导航中视觉里程计构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939522.3A CN112184763A (zh) 2020-09-09 2020-09-09 一种机器人视觉导航中视觉里程计构建方法

Publications (1)

Publication Number Publication Date
CN112184763A true CN112184763A (zh) 2021-01-05

Family

ID=73920067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939522.3A Pending CN112184763A (zh) 2020-09-09 2020-09-09 一种机器人视觉导航中视觉里程计构建方法

Country Status (1)

Country Link
CN (1) CN112184763A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082080A1 (zh) * 2016-11-07 2018-05-11 深圳市汇顶科技股份有限公司 一种压力检测的方法及装置
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN110006444A (zh) * 2019-03-21 2019-07-12 南京师范大学 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN110648354A (zh) * 2019-09-29 2020-01-03 电子科技大学 一种动态环境下的slam方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082080A1 (zh) * 2016-11-07 2018-05-11 深圳市汇顶科技股份有限公司 一种压力检测的方法及装置
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN110006444A (zh) * 2019-03-21 2019-07-12 南京师范大学 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN110648354A (zh) * 2019-09-29 2020-01-03 电子科技大学 一种动态环境下的slam方法

Similar Documents

Publication Publication Date Title
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN111210477B (zh) 一种运动目标的定位方法及系统
CN111462135A (zh) 基于视觉slam与二维语义分割的语义建图方法
US20090297036A1 (en) Object detection on a pixel plane in a digital image sequence
JP2021082316A5 (zh)
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN111709982B (zh) 一种动态环境三维重建方法
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN110110608A (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN115375733A (zh) 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN111914627A (zh) 一种车辆识别与追踪方法及装置
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
Lenac et al. Moving objects detection using a thermal Camera and IMU on a vehicle
CN110415275B (zh) 一种基于点对点的运动目标检测与跟踪方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN112184763A (zh) 一种机器人视觉导航中视觉里程计构建方法
CN106683113A (zh) 特征点跟踪方法和装置
JP5293429B2 (ja) 移動物体検出装置、及び移動物体検出方法
CN106934818B (zh) 一种手部运动跟踪方法及系统
CN113592947A (zh) 一种半直接法的视觉里程计实现方法
CN110232711B (zh) 面向海产品抓取的双目视觉实时感知定位方法、系统、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination