CN107564061B - 一种基于图像梯度联合优化的双目视觉里程计算方法 - Google Patents
一种基于图像梯度联合优化的双目视觉里程计算方法 Download PDFInfo
- Publication number
- CN107564061B CN107564061B CN201710685724.8A CN201710685724A CN107564061B CN 107564061 B CN107564061 B CN 107564061B CN 201710685724 A CN201710685724 A CN 201710685724A CN 107564061 B CN107564061 B CN 107564061B
- Authority
- CN
- China
- Prior art keywords
- image
- current frame
- binocular vision
- camera
- calculation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 34
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像梯度联合优化的双目视觉里程计算方法。对输入双目视频进行预处理,计算双目视频帧的视差图获得度量距离;缩放形成多尺度的图像组成金字塔模型,计算特征获得一系列特征图像;根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程,卡尔曼滤波器内搭建有相机的运动模型;使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态;用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。本发明提出了结合两种梯度展开的优化算法,创新地利用图像梯度作为特征有效地避免了户外光照变化的影响,并且参考多个关键帧对相机姿态进行优化,得到了一个性能较好并可同时进行稠密三维重建的实时双目视觉里程计算方法。
Description
技术领域
本发明涉及计算机视觉领域以及图像处理的相关技术,尤其涉及了一种基于图像梯度联合优化的双目视觉里程计算方法。
背景技术
经过近些年的探索和发展,计算机视觉已经在机器人、自动驾驶、数字娱乐、医疗健康、安防监控、军事技术等很多领域具有应用场景。视觉里程计不仅是机器人与无人车视觉导航系统的重要组成部分,也是计算机视觉和机器人领域的重要研究分支,本发明致力于提出一种快速有效的双目视觉里程计方法。视觉里程计是目标定位、姿态估计、地图绘制、场景理解等课题的研究基础和前提,一个优秀的视觉里程计算方法能为以上诸多研究课题提供强有力的支持和保障。
视觉里程计算方法的主要任务是从输入视频中实时估计出相机当前相对于起始参照状态的相对6自由度姿态,包括X-Y-Z三个坐标轴的相对位移,以及三个围绕坐标轴的旋转。同时,用于估计相机姿态的副产品为场景的稀疏或稠密重建。基于稀疏特征点匹配的方法需要三角化不同视频帧的匹配点得到三维稀疏重建,而基于直接图像对准的方法则利用双目视觉获得稠密的三维重建结果,为场景重建建立了基础。因此,视觉里程计算方法不仅提供了全局的姿态和位置信息,并且完成了初步的地图绘制与场景重建,是机器人以及无人车自主导航系统的第一步,有着至关重要的作用。
视觉里程计是机器人和计算机视觉领域中的重要课题,是增强现实、自动驾驶汽车、机器人导航等应用的核心技术。目前主流的视觉里程计以及同时定位和地图重建算法通常采用了基于系数特征点匹配的解决方案,不能够完全利用整幅图像的信息,而且只能对场景进行稀疏重建。另一方面,基于直接图像对准的方案则使用整幅图像的信息,而且可以生成场景的密集点云,是具有广阔前景的技术方向。然而直接法的主要缺陷是相机小运动假设以及趋于收敛到局部最优,使该类方法在KITTI视觉里程计测试中性能弱于基于特征点匹配的策略。
在目前的视觉导航KITTI评测平台中,基于稠密观测的直接视觉导航方法未能取得理想的结果,其主要原因可以归结为下述几点:1)基于Lucas-Kanade框架[3]的图像对准理论收敛域有限,无法应对数据集中10Hz采样的大位移场景,需要非常好运动估计方法进行补偿;2)KITTI数据集源于实际的驾驶场景,涵盖包括城市、乡村和高速公路等不同的驾驶环境,直接使用像素灰度值与仿射光照模型无法应对如路面反光、树阴和建筑阴影等复杂环境光照环境影响;3)不完美的相机标定以及立体视觉匹配算法准确度直接影响视觉导航结果的精度,目前的立体视觉匹配均评估覆盖度内的视差估计精度,而视觉导航需要精确的点对点视差估计,位于立体视觉评测排行前列的算法未能有效提升导航精度。
发明内容
为了解决背景技术中存在的问题,本发明提出了一种基于图像梯度联合优化的双目视觉里程计算方法,实现了从视频序列中估计相机姿态和位置。
本发明采用的技术方案是包括如下步骤:
1)对输入双目视频进行预处理;
2)计算双目视频帧的视差图,获得度量距离;
3)将预处理后的图像进行缩放形成多个尺度的图像,组成金字塔模型,并对金字塔模型中的各个尺度图像计算特征,获得一系列特征图像;
4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程,卡尔曼滤波器内搭建有相机的运动模型;
相机姿态包括相机的位置和朝向。
5)对图像金字塔模型中的各个尺度图像由粗尺度到精尺度的顺序使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态,并将粗尺度的输出作为精细尺度的输入;
粗尺度是指被缩放变小的图像,精尺度是指原输入图像。
6)用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。
所述步骤6)是用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型中的模型参数。
所述步骤1)的预处理是进行高斯滤波和图像增强操作。
所述的图像增强具体是直方图均衡化增加对比度的处理。
所述步骤2)所述的视差图计算方法为线搜索匹配法,所述的度量距离为像素差的绝对值之和。
所述步骤3)中,所述的特征为图像梯度及其二阶梯度,用于所述步骤5)中计算图像匹配误差。
所述步骤4)使用卡尔曼滤波器预测获得当前帧视频图像中的相机姿态的运动过程,并用于所述步骤5)中来进一步计算准确的相机姿态。
所述步骤5)是按照由粗到精的顺序对相机姿态进行估计,通过双梯度优化方法解决稠密视觉导航的大位移难题,通过直接使用图像梯度作为图像特征获得了对光照变化的鲁棒性,同时也避免了增加仿射光照模型对系统引起的额外计算代价,将多帧信息引入优化提升了系统性能并减少漂移。
所述步骤5)双目视觉导航算法具体为:
5.1)构建用于计算当前帧变换Tc的以下联合直接双目视觉里程优化方程:
其中,ρ()为Tukey’s损失函数,π-1表示为从图像空间转换到世界坐标系下的函数,π表示为从世界坐标系转换到图像空间的函数,Tc表示当前帧变换,Tp表示上一帧变换,Tk表示参考帧变换,Ωk表示参考图像像素点的集合,Ωp表示上一帧图像像素点的集合,xi为第i个像素点的图像坐标位置,di为第i个像素点的深度估计值,θ为所求当前帧变换Tc的参数,▽为梯度计算符,Ip为上一帧图像,Ik为参考帧图像,Ic为当前帧图像;
所述参考帧是指当前帧之前的第m帧,在本发明实施中m=12,在前12帧时,参考帧为第一帧,
例如,对于初始时刻的第一帧,第一帧姿态置零,朝向和位置均置为零;
对于第二到m帧,均以第一帧作为参考帧,
对于第i帧,以第i-m帧作为参考帧。
所述的Tukey’s损失函数ρ()采用以下公式计算如下:
其中,κ为Tukey’s损失函数参数,在发明实例中为4.6851,t表示Tukey’s损失函数的输入;
5.2)上述方程是一个非线性优化问题,采用以下公式的高斯-牛顿方法对联合直接双目视觉里程优化方程进行迭代优化来计算当前帧变换Tc,再用当前帧变换Tc对当前帧图像对应的姿态进行变换,获得当前帧准确的相机姿态。
由此依次对每一帧按时间顺序进行处理,可以获得每一帧准确的相机姿态。
所述第i个像素点的深度估计值di是通过双目视觉深度估计算方法(StereoDepth Estimation)估计计算获得。
所述步骤5.2)具体为:
5.2.1)采用以下公式计算获得所求当前帧变换Tc的参数θ:
θ=-(JTWJ)-1JTWr.
5.2.2)根据李代数定义采用以下公式计算获得临时变换T(θ):
其中,ν为位移,[ω]×为反对称矩阵(Skew-symmetric matrix),[ω]×=ω1G1+ω2G2+ω3G3,ω1、ω2、ω3分别表示三轴坐标下的三个旋转角度,G1,G2,G3为反对称矩阵的基,分别形式如下:
上述中,李代数定义是指是数学上的代数结构,主要用于研究象李群和微分流形之类的几何对象。
5.2.3)根据李代数定义,根据临时变换T(θ)采用以下公式计算变换,并赋值到当前帧变换Tc:
Tc←TcT(θ)
其中,T(θ)表示临时变换;
5.2.4)再以当前帧变换Tc重新构建对应的Jacobian矩阵,以重复上述步骤以金字塔模型进行迭代计算,以卡尔曼滤波器的预测输出作为初始第一层的输入,以上一层的输出作为下一层的输入,直到满足迭代计算的停止条件,停止条件为达到|θ|<0.001或达到最大迭代数(25×(l+1)),其中l为所在金字塔模型层数。
对于初始帧计算时,初始帧变换Tc均为0,姿态为0,并构建获得初始帧变换Tc对应的Jacobian矩阵。
所述Jacobian矩阵是针对每一帧图像而设的,Jacobian矩阵大小和图像大小相同。
所述步骤5.2.1)中的Jacobian矩阵采用以下方式构建获得:
针对除最后一层以外的其他每一层均采用以下公式计算得到每个像素点在Jacobian矩阵中的元素值,组成所述步骤5.2.1)中的Jacobian矩阵:
其中,xi,yi,zi为第i个像素点在三维世界中坐标值,fu,fv为相机焦距参数,Ji(θ)表示图像第i个像素点对应到Jacobian矩阵中的元素值,i表示像素点的序号,Iesm(xi)表示当前帧的有效二阶最小化(efficient second order minimization);
针对最后一层采用以下公式计算得到每个像素点在Jacobian矩阵中的元素值,组成所述步骤5.2.1)中的Jacobian矩阵:
当前帧的有效二阶最小化Iesm(xi)采用以下公式计算:
其中,Ic为当前帧图像,Ik为参考帧。
所述第i个像素点在三维世界中坐标值xi,yi,zi是采用以下方式获得:
针孔相机的投影方程定义为π(),通过双目视觉深度估计算方法(Stereo DepthEstimation)估计计算深度d,用深度d通过逆投影方程获得三维点坐标X=(xi,yi,zi):
其中,π-1为从图像空间转换到世界坐标系下的函数,xi为第i个像素点的图像坐标位置,di为深度估计算方法所得深度估计值。
本发明中所定义刚性变换函数T(包括Tc、Tp和Tk)在SE(3)中的变换,SE(3)表示三维Lie群,这样视觉导航的目标为从图像观测中估计该帧图像的变换函数T=(R,m)∈SE(3),其中R是相机的方向矩阵,R∈SO(3),SO(3)表示所有环绕着三维欧几里得空间的原点的旋转,组成的群,m是位置向量,m∈R3。
本发明方法在具体实施采用包括以下三个模块的系统:
1)输入模块,用于接收采集到的双目视频序列;
2)视觉里程计模块,用于分析图像,估计出相机当前的姿态和位置信息;
3)输出模块,将相机姿态和三维重建结果绘制出来。
传统稠密视觉导航算法建立在准确的相机内参数校准和深度观测值假设基础上,难以应对实际系统中相机校准误差与存在大量噪声的视差估计。根据泰勒展开理论,目标值附近的梯度估计相对会准确很多,不同位置的泰勒展开会有不同的梯度估计。
而本发明提出的算法,在粗尺度时采用收敛域大且精度低的梯度进行高斯-牛顿迭代,在细尺度使用收敛域小高精度的梯度。在金子塔低精度图像使用上述J进行计算,而在最后一层高精度层中采用了独创性的进行计算。由此,本发明可以得到更稳定的梯度关系,从而更稳定地计算所求优化问题的结果。
本发明的有益效果是:
本发明实现了实时双目导航的同时重构三维场景,通过双梯度优化方法解决稠密视觉导航的大位移难题;通过直接使用图像梯度作为图像特征获得了对光照变化的鲁棒性,同时也避免了增加仿射光照模型对系统引起的额外计算代价;将多帧信息引入优化提升了系统性能并减少漂移。
本发明提出了结合两种梯度展开的优化算法,创新地利用图像梯度作为特征有效地避免了户外光照变化的影响,并且参考多个关键帧对相机姿态进行优化,得到了一个性能较好并可同时进行稠密三维重建的实时双目视觉里程计算方法。
附图说明
图1为本发明算法的整体结构示意图。
图2为本发明方法的流程图。
图3为实施例在KITTI训练集中的相机轨迹结果图。
图4为实施例估计的三维点云与相机跟踪轨迹图。
表1为KITTI评测中的各类方法对比。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清晰、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的目的、技术方案及优点更加清楚明白,接下来将参照附图对本发明实施例进行详细的说明。
如图1所示,本发明实施例具体实施的系统模块为:
输入模块,用来接收用户提供的双目视频序列,接下来送入视觉里程计模块进行相机姿态估计。
视觉里程计模块,把接收到的视频帧进行预处理,然后构建图像特征金字塔、使用双目视觉里程计算方法进行估计等一系列操作,估计出视频中的相机所在的位置及其姿态信息,并送入输出模块。
输出模块,用于显示相机轨迹和三维重建结果,把相机轨迹和姿态在三维重建中的相应位置上呈现出来。
为验证本发明,在本领域已公开的具有挑战的车载视觉导航数据集KITTI上进行设计实验,将本发明算法与公开的一系列算法进行对比,把实验结果与测试集的高精度惯性导航仪标注进行对比,绘制出相机轨迹和统计相对位移与旋转误差作为衡量算法性能的标准。
如图3所示,本发明提出的算法可以精确恢复相机轨迹。图中可见采用本发明恢复的相机轨迹非常接近超高精度惯性测量单元的测量值。
如图4所示,本发明可以稠密重建三维场景。图中可见本发明不仅恢复了稠密的三维重建,而且在三维场景中准确标出了6自由度相机姿态。
KITTI视觉导航测试平台测试集包括11段不同驾驶场景的视频以及高精度惯性导航标注,而且标注信息未公开,需由测试方反馈测试结果,本发明算法比公开的同类方法获得了更低的位移与旋转误差,并且甚至优于激光雷达的解决方案,如表1所示。
表1:KITTI评测中的各类方法对比(2017年3月)
上表中可见本发明的结果在公开测试中不仅性能优于传统方法,并且可以恢复出场景稠密的三维结构。
由此可见本发明算法均取得视觉导航领域中常用的算法更优秀的实验结果。
最后,应当指出,以上实施例仅是本发明较有代表性的例子。显然,本发明的技术方案并不限于上述实施例,还可以有许多变形。本领域的普通技术人员可在不脱离本发明的发明思想情况下,对于上述实施例做出种种修改或变化,因而本发明的保护范围并不被上述实施例所限,而应该是符合权利要求书提到的创新性特征的最大范围。
Claims (9)
1.一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于包括如下步骤:
1)对输入双目视频进行预处理;
2)计算双目视频帧的视差图,获得度量距离;
3)将预处理后的图像进行缩放形成多个尺度的图像,组成金字塔模型,并对金字塔模型中的各个尺度图像计算特征,获得一系列特征图像;
4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程,卡尔曼滤波器内搭建有相机的运动模型;
5)对图像金字塔模型中的各个尺度图像使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态;
所述步骤5)双目视觉导航算法具体为:
5.1)构建用于计算当前帧变换Tc的以下联合直接双目视觉里程优化方程:
其中,ρ()为Tukey’s损失函数,π-1表示为从图像空间转换到世界坐标系下的函数,π表示为从世界坐标系转换到图像空间的函数,Tc表示当前帧变换,Tp表示上一帧变换,Tk表示参考帧变换,Ωk表示参考图像像素点的集合,Ωp表示上一帧图像像素点的集合,xi为第i个像素点的图像坐标位置,di为第i个像素点的深度估计值,θ为所求当前帧变换Tc的参数,▽为梯度计算符,Ip为上一帧图像,Ik为参考帧图像,Ic为当前帧图像;
所述的Tukey’s损失函数ρ()采用以下公式计算如下:
其中,κ为Tukey’s损失函数参数,t表示Tukey’s损失函数的输入;
5.2)高斯-牛顿方法对联合直接双目视觉里程优化方程进行迭代优化来计算当前帧变换Tc,再用当前帧变换Tc对当前帧图像对应的姿态进行变换,获得当前帧准确的相机姿态;
6)用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。
2.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤1)的预处理是进行高斯滤波和图像增强操作。
3.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤2)所述的视差图计算方法为线搜索匹配法,所述的度量距离为像素差的绝对值之和。
4.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤3)中,所述的特征为图像梯度及其二阶梯度。
5.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤4)使用卡尔曼滤波器预测获得当前帧视频图像中的相机姿态的运动过程。
6.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述第i个像素点的深度估计值di是通过双目视觉深度估计算方法(Stereo DepthEstimation)估计计算获得。
7.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤5.2)具体为:
5.2.1)采用以下公式计算获得所求当前帧变换Tc的参数θ:
θ=-(JTWJ)-1JTWr.
5.2.2)根据李代数定义采用以下公式计算获得临时变换T(θ):
其中,v为位移,[ω]×为反对称矩阵(Skew-symmetric matrix),[ω]×=ω1G1+ω2G2+ω3G3,ω1、ω2、ω3分别表示三轴坐标下的三个旋转角度,G1,G2,G3为反对称矩阵的基,分别形式如下:
5.2.3)根据李代数定义,根据临时变换T(θ)采用以下公式计算变换,并赋值到当前帧变换Tc:
Tc←TcT(θ)
其中,T(θ)表示临时变换;
5.2.4)再以当前帧变换Tc重新构建对应的Jacobian矩阵,以重复上述步骤以金字塔模型进行迭代计算,以卡尔曼滤波器的预测输出作为初始第一层的输入,以上一层的输出作为下一层的输入,直到满足迭代计算的停止条件,停止条件为达到|θ|<0.001或达到最大迭代数(25×(l+1)),其中l为所在金字塔模型层数。
8.根据权利要求7所述的一种基于图像梯度联合优化的双目视觉里程计算方法,其特征在于:所述步骤5.2.1)中的Jacobian矩阵采用以下方式构建获得:
针对除最后一层以外的其他每一层均采用以下公式计算得到每个像素点在Jacobian矩阵中的元素值,组成所述步骤5.2.1)中的Jacobian矩阵:
其中,xi,yi,zi为第i个像素点在三维世界中坐标值,fu,fv为相机焦距参数,Ji(θ)表示图像第i个像素点对应到Jacobian矩阵中的元素值,i表示像素点的序号,Iesm(xi)表示当前帧的有效二阶最小化(efficient second order minimization);
针对最后一层采用以下公式计算得到每个像素点在Jacobian矩阵中的元素值,组成所述步骤5.2.1)中的Jacobian矩阵:
当前帧的有效二阶最小化Iesm(xi)采用以下公式计算:
其中,Ic为当前帧图像,Ik为参考帧图像。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710685724.8A CN107564061B (zh) | 2017-08-11 | 2017-08-11 | 一种基于图像梯度联合优化的双目视觉里程计算方法 |
US16/305,023 US10762645B2 (en) | 2017-08-11 | 2017-12-27 | Stereo visual odometry method based on image gradient joint optimization |
PCT/CN2017/118849 WO2019029099A1 (zh) | 2017-08-11 | 2017-12-27 | 基于图像梯度联合优化的双目视觉里程计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710685724.8A CN107564061B (zh) | 2017-08-11 | 2017-08-11 | 一种基于图像梯度联合优化的双目视觉里程计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107564061A CN107564061A (zh) | 2018-01-09 |
CN107564061B true CN107564061B (zh) | 2020-11-20 |
Family
ID=60974047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710685724.8A Active CN107564061B (zh) | 2017-08-11 | 2017-08-11 | 一种基于图像梯度联合优化的双目视觉里程计算方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10762645B2 (zh) |
CN (1) | CN107564061B (zh) |
WO (1) | WO2019029099A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109300151B (zh) * | 2018-07-02 | 2021-02-12 | 浙江商汤科技开发有限公司 | 图像处理方法和装置、电子设备 |
CN109087325B (zh) * | 2018-07-20 | 2022-03-04 | 成都指码科技有限公司 | 一种基于单目视觉的直接法点云三维重建及尺度确定方法 |
CN111829489B (zh) * | 2019-04-16 | 2022-05-13 | 杭州海康机器人技术有限公司 | 一种视觉定位的方法及装置 |
CN110211151B (zh) * | 2019-04-29 | 2021-09-21 | 华为技术有限公司 | 一种运动物体的追踪方法和装置 |
CN110375765B (zh) * | 2019-06-28 | 2021-04-13 | 上海交通大学 | 基于直接法的视觉里程计方法、系统及存储介质 |
CN110880187B (zh) * | 2019-10-17 | 2022-08-12 | 北京达佳互联信息技术有限公司 | 一种相机位置信息确定方法、装置、电子设备及存储介质 |
CN110942484B (zh) * | 2019-11-26 | 2022-07-12 | 福州大学 | 基于遮挡感知和特征金字塔匹配的相机自运动估计方法 |
CN111190952B (zh) * | 2019-12-23 | 2023-10-03 | 中电海康集团有限公司 | 一种基于图像金字塔提取城市画像多尺度特征并持久化的方法 |
CN111414931B (zh) * | 2019-12-31 | 2023-04-25 | 杭州电子科技大学 | 一种基于图像深度的多分支多尺度小目标检测方法 |
CN111260713B (zh) * | 2020-02-13 | 2023-04-14 | 青岛联合创智科技有限公司 | 一种基于图像的深度计算方法 |
CN111311664B (zh) * | 2020-03-03 | 2023-04-21 | 上海交通大学 | 一种深度、位姿与场景流的联合无监督估计方法及系统 |
CN113447031A (zh) * | 2020-03-24 | 2021-09-28 | 厦门雅迅网络股份有限公司 | 坡度点筛选方法、终端设备及介质和坡度计算方法及系统 |
CN111968170A (zh) * | 2020-08-26 | 2020-11-20 | 广东工业大学 | 一种基于互相关时延估计的在线双目视觉测距方法 |
CN112148032B (zh) * | 2020-10-20 | 2023-04-18 | 福州大学 | 一种微型树洞检测飞行器及控制方法 |
CN112180396B (zh) * | 2020-10-21 | 2023-05-23 | 航天科工智能机器人有限责任公司 | 一种激光雷达定位及地图创建方法 |
CN112258409A (zh) * | 2020-10-22 | 2021-01-22 | 中国人民武装警察部队工程大学 | 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置 |
CN112508997B (zh) * | 2020-11-06 | 2022-05-24 | 霸州嘉明扬科技有限公司 | 航拍图像的视觉对位算法筛选及参数优化系统和方法 |
CN112229424B (zh) * | 2020-11-16 | 2022-04-22 | 浙江商汤科技开发有限公司 | 视觉惯性系统的参数标定方法及装置、电子设备和介质 |
CN112363193B (zh) * | 2020-11-17 | 2023-11-24 | 西安恒图智源信息科技有限责任公司 | 基于残差建模和gnss组合惯性导航系统的高精度定位系统 |
CN112396656B (zh) * | 2020-11-24 | 2023-04-07 | 福州大学 | 一种视觉与激光雷达融合的室外移动机器人位姿估计方法 |
CN112700532B (zh) * | 2020-12-21 | 2021-11-16 | 杭州反重力智能科技有限公司 | 一种用于三维重建的神经网络训练方法和系统 |
CN112987571B (zh) * | 2021-02-25 | 2022-08-09 | 中国人民解放军国防科技大学 | 高动态视觉控制系统及其视觉量测性能衰减容错控制方法 |
CN113155152B (zh) * | 2021-03-14 | 2023-01-03 | 北京工业大学 | 基于李群滤波的相机与惯性传感器空间关系自标定方法 |
CN113052908B (zh) * | 2021-04-16 | 2023-08-04 | 南京工业大学 | 一种基于多传感器数据融合的移动机器人位姿估计算法 |
CN113298941B (zh) * | 2021-05-27 | 2024-01-30 | 广州市工贸技师学院(广州市工贸高级技工学校) | 一种基于激光雷达辅助视觉的地图构建方法、装置和系统 |
CN113405532B (zh) * | 2021-05-31 | 2022-05-06 | 中国农业大学 | 基于视觉系统结构参数的前方交会测量方法及系统 |
CN113916906B (zh) * | 2021-09-03 | 2024-01-09 | 江苏理工学院 | 视觉检测系统led光源照度优化方法及所用实验设备 |
CN113744315B (zh) * | 2021-09-07 | 2024-02-06 | 北京航空航天大学 | 一种基于双目视觉的半直接视觉里程计 |
CN113916192B (zh) * | 2021-11-05 | 2023-06-23 | 郑州信息科技职业学院 | 喀斯特溶洞图像采集监测与成像系统 |
CN113804166B (zh) * | 2021-11-19 | 2022-02-08 | 西南交通大学 | 一种基于无人机视觉的落石运动参数数字化还原方法 |
CN114485577B (zh) * | 2021-12-13 | 2024-04-12 | 丁莹莹 | 一种基于视觉的无人机着陆姿态估计方法 |
CN114485543B (zh) * | 2021-12-23 | 2023-05-05 | 南昌航空大学 | 一种基于立体视觉的飞机舵面角测量方法 |
CN116612184B (zh) * | 2023-04-11 | 2023-12-05 | 西南交通大学 | 一种基于监控场景的无人机相机位姿精确估算方法 |
CN117036474A (zh) * | 2023-08-08 | 2023-11-10 | 天津大学 | 一种面向微观尺度的主动相机重定位方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6768598B2 (en) * | 2002-04-02 | 2004-07-27 | Sony Corporation | Image pickup system |
GB2418314A (en) * | 2004-09-16 | 2006-03-22 | Sharp Kk | A system for combining multiple disparity maps |
US7925049B2 (en) * | 2006-08-15 | 2011-04-12 | Sri International | Stereo-based visual odometry method and system |
US8174568B2 (en) * | 2006-12-01 | 2012-05-08 | Sri International | Unified framework for precise vision-aided navigation |
EP2199983A1 (en) * | 2008-12-22 | 2010-06-23 | Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO | A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product |
CN101598556B (zh) * | 2009-07-15 | 2011-05-04 | 北京航空航天大学 | 一种未知环境下无人机视觉/惯性组合导航方法 |
US10027952B2 (en) * | 2011-08-04 | 2018-07-17 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
US9525862B2 (en) * | 2011-08-31 | 2016-12-20 | Metaio Gmbh | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
CN102607526B (zh) * | 2012-01-03 | 2014-01-15 | 西安电子科技大学 | 双介质下基于双目视觉的目标姿态测量方法 |
CN104281148A (zh) * | 2013-07-07 | 2015-01-14 | 哈尔滨点石仿真科技有限公司 | 基于双目立体视觉的移动机器人自主导航方法 |
CN103644904A (zh) * | 2013-12-17 | 2014-03-19 | 上海电机学院 | 一种基于sift算法的视觉导航方法 |
CN104778721B (zh) * | 2015-05-08 | 2017-08-11 | 广州小鹏汽车科技有限公司 | 一种双目图像中显著性目标的距离测量方法 |
US10204423B2 (en) * | 2017-02-13 | 2019-02-12 | Adobe Inc. | Visual odometry using object priors |
-
2017
- 2017-08-11 CN CN201710685724.8A patent/CN107564061B/zh active Active
- 2017-12-27 WO PCT/CN2017/118849 patent/WO2019029099A1/zh active Application Filing
- 2017-12-27 US US16/305,023 patent/US10762645B2/en active Active
Non-Patent Citations (3)
Title |
---|
边缘增强的多字典学习图像超分辨率重建算法;詹曙等;《光电工程》;20160430;第43卷(第4期);第40-47页 * |
金字塔光流三维运动估计与深度重建直接方法;张聪炫等;《仪器仪表学报》;20150531;第36卷(第5期);第1093-1105页 * |
高精度实时视觉定位的关键技术研究;卢维;《中国博士学位论文全文数据库 信息科技辑》;20150515(第5期);正文第13-27页 * |
Also Published As
Publication number | Publication date |
---|---|
US20190333231A1 (en) | 2019-10-31 |
US10762645B2 (en) | 2020-09-01 |
CN107564061A (zh) | 2018-01-09 |
WO2019029099A1 (zh) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107564061B (zh) | 一种基于图像梯度联合优化的双目视觉里程计算方法 | |
CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
CN112902953B (zh) | 一种基于slam技术的自主位姿测量方法 | |
CN110189399B (zh) | 一种室内三维布局重建的方法及系统 | |
CN113160375B (zh) | 一种基于多任务学习算法的三维重建及相机位姿估计方法 | |
CN112649016B (zh) | 一种基于点线初始化的视觉惯性里程计方法 | |
CN104732518B (zh) | 一种基于智能机器人地面特征的ptam改进方法 | |
CN103247075B (zh) | 基于变分机制的室内环境三维重建方法 | |
CN108648215B (zh) | 基于imu的slam运动模糊位姿跟踪算法 | |
US9613420B2 (en) | Method for locating a camera and for 3D reconstruction in a partially known environment | |
CN108776989B (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
Saurer et al. | Homography based visual odometry with known vertical direction and weak manhattan world assumption | |
CN112233179B (zh) | 一种视觉里程计测量方法 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
CN104281148A (zh) | 基于双目立体视觉的移动机器人自主导航方法 | |
CN109443354B (zh) | 基于萤火虫群优化pf的视觉-惯性紧耦合组合导航方法 | |
Zhao et al. | RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap | |
CN111829522B (zh) | 即时定位与地图构建方法、计算机设备以及装置 | |
CN112419411A (zh) | 一种基于卷积神经网络和光流特征视觉里程计的实现方法 | |
CN113345032B (zh) | 一种基于广角相机大畸变图的初始化建图方法及系统 | |
CN116168171A (zh) | 集群无人机实时稠密重建方法 | |
CN109443355B (zh) | 基于自适应高斯pf的视觉-惯性紧耦合组合导航方法 | |
CN109493415A (zh) | 一种航拍影像三维重建的全局运动初始化方法和系统 | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN116704032A (zh) | 一种基于单目深度估计网络和gps的室外视觉slam方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |