CN112258409A - 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置 - Google Patents

一种用于无人驾驶的单目相机绝对尺度恢复方法及装置 Download PDF

Info

Publication number
CN112258409A
CN112258409A CN202011135410.9A CN202011135410A CN112258409A CN 112258409 A CN112258409 A CN 112258409A CN 202011135410 A CN202011135410 A CN 202011135410A CN 112258409 A CN112258409 A CN 112258409A
Authority
CN
China
Prior art keywords
camera
height
relative motion
matrix
absolute scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011135410.9A
Other languages
English (en)
Other versions
CN112258409B (zh
Inventor
程传奇
路嘉鑫
韩立军
黄杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Engineering University of Chinese Peoples Armed Police Force
Original Assignee
Engineering University of Chinese Peoples Armed Police Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Engineering University of Chinese Peoples Armed Police Force filed Critical Engineering University of Chinese Peoples Armed Police Force
Priority to CN202011135410.9A priority Critical patent/CN112258409B/zh
Priority claimed from CN202011135410.9A external-priority patent/CN112258409B/zh
Publication of CN112258409A publication Critical patent/CN112258409A/zh
Application granted granted Critical
Publication of CN112258409B publication Critical patent/CN112258409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种用于无人驾驶的单目相机绝对尺度恢复方法及装置，绝对尺度恢复方法包括以下步骤：1)根据相机拍摄的两帧图像提取平面区域内特征点，获取同名像点对并估计单应矩阵；2)从相机拍摄的两帧图像提取同名像点，计算相机的相对运动参数；3)利用单应矩阵公式计算相机高度的初始值；4)利用平面区域内所有同名点对和单应矩阵建立目标函数，目标函数最优解作为相机高度的最优估计值；5)结合相机高度最优估计值和相机高度真实值，计算出绝对尺度参数；本发明基于相机高先验信息即可实时恢复绝对尺度，并对车辆进行定位定姿和导航，成本更低，适用性更强，可有效提升视觉传感器在无人驾驶领域的应用。

Description

一种用于无人驾驶的单目相机绝对尺度恢复方法及装置
技术领域
本发明属于无人驾驶技术领域，涉及一种用于无人驾驶的单目相机绝对尺度恢复方法及装置。
背景技术
相机是无人驾驶车辆不可或缺的传感器，因其成本低、结构简单，利用单目相机对车辆本身进行自主定位定姿、自主导航的技术是目前较为先进的技术方案之一。但是因为单目相机在多视图几何投影理论上从三维空间投影到二维像素成像平面，损失了一个维度的信息，从而缺失了三维点的深度信息，最终构建出的地图以及位置不具有尺度信息，故该方案无法直接应用。
已有的实际方案主要有两种，一种是结合其他传感器，如惯性传感器、深度相机、激光雷达等具有绝对尺度感知的装置，但这种技术路线增加了整体成本，同时使得装置较为复杂，不利于大规模的部署应用。另外一种是把摄像机高度作为恢复尺度的绝对参考。在这种情况下，尺度恢复的精度取决于道路区域检测和道路几何模型计算的准确性。但当前的方案中，道路检测和道路几何模型计算是依次地被解决：道路几何模型计算基于道路检测，道路区域检测基于颜色信息。但是，道路的颜色信息不够稳定。因此为保证尺度恢复的精度和可靠性，同时兼顾装置成本，需要一种更为轻量级的装置采用更为可靠的方法，以提高实际应用效率及效果。
发明内容
针对现有技术存在的不足，本发明目的在于提供一种用于无人驾驶的单目相机绝对尺度恢复方法及装置，解决无人驾驶车辆单目视觉自主定位定姿尺度多义性的问题；本发明还提供了一种用于无人驾驶的单目相机绝对尺度恢复装置。
为解决上述问题本发明采用如下方案：
一种用于无人驾驶的单目相机绝对尺度恢复方法，包括以下步骤：
1)根据相机拍摄的两帧图像提取平面区域内特征点，通过特征匹配技术获取同名像点对，并估计单应矩阵；
2)从相机拍摄的两帧图像通过特征匹配提取同名像点，利用同名像点计算相机的相对运动参数；
3)利用单应矩阵公式计算相机高度即相机光心距离地面高度的初始值；
4)利用平面区域内所有同名点对和单应矩阵建立目标函数，使得该函数值最小的函数最优解作为相机高度的最优估计值；
5)结合相机高度最优估计值和相机高度真实值，计算出绝对尺度参数。
进一步，所述步骤1)中的平面区域内特征点提取采用RANSAC算法，所述步骤1)中的特征匹配采用FLANN+RANSAC算法。
进一步，所述步骤2)中提取同名像点时特征匹配采用FLANN+RANSAC算法，计算相机的相对运动参数采用本质矩阵分解算法或单应矩阵分解算法。
进一步，所述步骤2)中的计算相机相对运动算法选择原则为：当所述步骤2)中特征匹配后获取的同名像点位于同一平面时，采用单应矩阵分解算法；当所述步骤2)中特征匹配后获取的同名像点位于不同平面时，采用本质矩阵分解算法。
进一步，所述步骤3)中的单应矩阵公式为：
H＝K(R+tnT/h)K-1
其中，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量，其与真实物理空间相差一个尺度因子s，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为相机高度的初始值，T表示矩阵转置。
进一步，所述步骤4)建立的目标函数为：
Figure BDA0002736463350000031
x2 i＝K(R+tnT/h)K-1x1 i
其中，N表示平面区域内同名点对的总数，
Figure BDA0002736463350000032
和
Figure BDA0002736463350000033
为平面区域内第i个同名点对，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量，其与真实物理空间相差一个尺度因子s，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为待求参数相机高度估计值，T表示矩阵转置。
进一步，所述步骤4)中目标函数通过高斯牛顿法或列文伯格-马奎尔特方法等非线性优化算法进行迭代求解；
所述步骤5)计算绝对尺度参数的公式为：
s＝h′/h
其中，h′为相机高度真实值，h为相机高度估计值，s为待求参数绝对尺度。
一种用于无人驾驶的单目相机绝对尺度恢复装置，该装置包括特征提取与匹配模块、相对运动估计模块、相机高度初值估计模块、目标函数建立模块和最优计算模块；
所述特征提取与匹配模块用于从相机拍摄的图像中提取特征点，并进行特征匹配获取同名点对；
所述相对运动估计模块用于利用同名点对计算相机的相对运动参数；
所述相机高度初值估计模块用于估计相机高度初始值；
所述目标函数建立模块用于以平面区域内同名点对、相机相对运动参数和场景平面法向量建立目标函数，使得该目标函数值最小的函数最优解即为相机高度最优估计值；
所述最优计算模块用于利用非线性优化算法的搜索规则找到目标函数值最优的一组参数。
进一步，所述的特征提取与匹配模块采用SURF算子提取相机拍摄的图像中特征点，采用FLANN+RANSAC算法进行特征匹配获取同名点对，采用RANSAC算法选取平面特征点对；
所述的相对运动估计模块根据获取同名点对的分布选择算法进行运动估计：当获取的同名像点位于同一平面时，采用单应矩阵分解算法；当获取的同名像点位于不同平面时，采用本质矩阵分解算法。
所述的相机高度初值估计模块利用平面区域同名点对通过单应矩阵公式计算相机高度初值，公式为：
H＝K(R+tnT/h)K-1
其中，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量(与真实物理空间相差一个尺度因子s)，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为相机高度的初始值。
进一步，所述的目标函数建立模块建立的目标函数为：
Figure BDA0002736463350000041
x2 i＝K(R+tnT/h)K-1x1 i
其中，N表示平面区域内同名点对的总数，
Figure BDA0002736463350000042
和
Figure BDA0002736463350000043
为平面区域内第i个同名点对，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量(与真实物理空间相差一个尺度因子s)，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为待求参数相机高度估计值；
所述的最优计算模块基于相机高度初值采用高斯牛顿法或列文伯格-马奎尔特方法等非线性优化算法进行迭代求解。
本发明的有益效果是：
本发明针对无人驾驶应用领域，通过事先测量出与车辆刚性连接的单目相机光心相对地面的高度，基于相机高先验信息，即可实时恢复绝对尺度，并对车辆进行定位定姿和导航。与现有双目视觉、多目视觉及视觉/惯性传感器等技术方案相比，本发明无需对车辆增加额外装置，即可实现单目相机视觉自主定位定姿的绝对尺度恢复，成本更低，适用性更强，可有效提升视觉传感器在无人驾驶领域的应用。
附图说明
图1是用于单目尺度恢复的感兴趣区域(ROI)图；
图2是共面三维点成像单应关系示意图；
图3是单目相机绝对尺度恢复方法原理图；
图4是对极几何关系示意图；
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的说明，但不作为对本发明的限定。
本发明针对无人驾驶车辆安装有与车辆刚性连接的前视相机的情况，如图1所示，车辆行进过程中，相机对前下方拍摄，则所有地面三维点处于同一平面即感兴趣区域(Region of Interest,ROI)。ROI处三维点在相机两位置处的同名像点满足单应关系，具体对应关系可用下式表示：
x2＝K(R+tnT/h)K-1x1
其中，x1和x2为平面区域内的一组同名点对，K为相机内参数矩阵，n表示场景平面的法向量，h为相机高度估计值。如图2所示，相机拍摄的ROI区域地面三维点满足平面单应关系，两个相机的相对运动关系可由旋转矩阵R和平移向量t描述，平面法向量n可描述整个场景平面。
如图3所示，单目相机绝对尺度恢复方法具体实施步骤如下：
1)提取平面区域特征点，根据ROI内同名像点估计单应矩阵；
2)根据对极几何原理可获取相机运动相对运动参数R和t(相差一个尺度因子)，利用单应矩阵公式H＝K(R+tnT/h)K-1可计算出相机高h初始值；
3)所有ROI内三维点在相机两位置处的同名像点x1,x2满足单应关系，可建立以下目标函数：
Figure BDA0002736463350000061
x2 i＝K(R+tnT/h)K-1x1 i
其中，N表示平面区域内同名点对的总数，
Figure BDA0002736463350000062
和
Figure BDA0002736463350000063
为平面区域内第i个同名点对，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量(与真实物理空间相差一个尺度因子s)，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为待求参数相机高度估计值。该目标函数可通过高斯牛顿法或列文伯格-马奎尔特优化算法等非线性优化算法进行迭代求解；
4)估计出相机高h后，尺度因子s可通过s＝h′/h进行求解；
其中，h′为相机高度真实值，h为相机高度估计值，s为待求参数绝对尺度。
1.平面特征提取。
平面区域提取通常采用道路检测算法和道路几何模型计算，道路检测和道路几何模型计算是依次地被解决：道路几何模型计算基于道路检测，道路区域检测基于颜色信息。但是，道路的颜色信息不够稳定，因此往往会影响最终尺度恢复的精度。本发明采用RANSAC算法进行平面特征提取，具体实现步骤如下：
1)参数初始化，包括距离阈值Td、迭代次数Iteration、最优平面特征点集个数M及其对应的平面法向量n；
2)从当前剩余点集中随机抽取3个点，判断是否共线，若共线则重新抽取，否则计算出3点构成平面的平面法向量；
3)计算当前剩余点集中所有点到该平面的距离，若小于Td，则标记为内点；
4)统计内点个数，若小于M，则返回步骤2)；若多于M，则保存为当前最优平面点集，用最小二乘法拟合平面并保存当前平面法向量，停止循环；
5)重复步骤2)至4)，直至达到最大迭代次数Iteration，或者找到最优平面点集及平面法向量。
2.相对运动参数估计。
1)利用本质矩阵分解进行相对运动估计。
当获取的两帧图像中同名点处于不同平面时，如图4所示，同名点坐标满足对极几何关系：
E＝KTFK＝[t]×R
其中，R是旋转矩阵，t是平移向量，[t]×表示t的反对称矩阵。其中本质矩阵利用所有同名像点采用RANSAC算法进行估计。对本质矩阵E进行奇异值分解(Singular ValueDecomposition，SVD)可得到相差一个尺度因子的相对运动参数R和t，具体过程如下。
Figure BDA0002736463350000071
其中，U和V表示正交矩阵。由上式可恢复相机相对运动参数R和t：
Figure BDA0002736463350000072
这样可获得相对位姿的4组解，可根据4组解，通过对三维空间点进行重建来确定唯一解。
2)利用单应矩阵分解进行相对运动估计。
当获取的两帧图像中同名点处于不同平面时，如图2所示，同名点坐标满足单应关系，具体描述如下：
x2＝KHnK-1x1＝Hx1
H＝K(R+tnT/h)K-1
首先根据对应点集解算得到归一化图像坐标对应的单应矩阵H和Hn，把Hn进行SVD分解，可得：
Hn＝UDVT＝Udiag(d1,d2,d3)VT
其中，U,V是正交阵。又Hn＝R+tnT/h，所以：
D＝UTHnV＝UT(R+tnT/h)V＝UTRV+(UTt)(nTV)/h＝R′+t′n′T/h
D为对角阵，通过简单代数解法可求解得到R′,t′,n′。进而，相对运动参数及平面法向量可由下式计算：
Figure BDA0002736463350000081
上述解法可获取8组解，最后可通过对三维空间点进行重建来确定唯一解。
3.相机高度初始值计算。
计算出相机相对运动参数后，利用平面点集单应矩阵、最优平面点集及平面法向量，可通过下式计算相机高度初始值：
H＝K(R+tnT/h)K-1
其中，H为单应矩阵，R和t为相机相对运动参数，n为平面法向量，K为相机内参数矩阵(已知量)，h为待求参数相机高度。
4.利用非线性优化算法对相机高度估计值进行优化。
根据平面点集的单应关系建立目标函数，本发明通过高斯牛顿法或列文伯格-马奎尔特优化算法进行求解。
1)高斯-牛顿算法求解目标函数。
a)参数初始化，包括阈值Δ，最大迭代次数Iteration，设定相机高度初始值h0(已知)；
b)对于第k次迭代，计算当前函数的雅各比矩阵Jk和残差ek；
c)计算增量Δk＝-(Jk TJk)-1Jk Tek；
d)若Δk＜Δ，则停止；否则，进行更新：hk+1＝hk+Δk；
e)重复b)、c)、d)，直至满足收敛条件。
2)列文伯格-马奎尔特算法求解目标函数。
a)参数初始化，包括更新阈值ρ0，最大迭代次数Iteration，设定初始阻尼系数λ，设定相机高度初始值h0(已知)；
b)对于第k次迭代，计算当前函数的雅各比矩阵Jk和残差ek；
c)计算增量Δk＝-(Jk TJk+λdiag(Jk TJk))-1Jk Tek；
d)计算
Figure BDA0002736463350000091
其中E(·)为目标函数，若
Figure BDA0002736463350000092
则λ＝2λ；若
Figure BDA0002736463350000093
则λ＝0.5λ；
e)若ρ＞ρ0，则进行更新：hk+1＝hk+Δk；
f)重复b)、c)、d)，直至满足收敛条件。
本发明中目标函数严重非凸，因此实际使用中大都选择列文伯格-马奎尔特算法进行求解。
本发明一种用于无人驾驶的单目相机绝对尺度恢复装置的实施例。
本实施例中的装置包括特征提取与匹配模块、相对运动估计模块、相机高度初值估计模块、目标函数建立模块和最优计算模块。特征提取与匹配模块用于从相机拍摄的图像中提取特征点，并进行特征匹配获取同名点对；相对运动估计模块用于利用同名点对计算相机的相对运动参数；相机高度初值估计模块用于估计相机高度初始值；目标函数建立模块用于以平面区域内同名点对、相机相对运动参数和场景平面法向量建立目标函数，使得该目标函数值最小的函数最优解即为相机高度最优估计值；最优计算模块用于利用非线性优化算法的搜索规则找到目标函数值最优的一组参数。各模块的具体实现手段已在方法的实施例中进行了详细说明，这里不再赘述。
参照上述实施例对本发明进行了详细说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明要求范围当中。

Claims (10)

1.一种用于无人驾驶的单目相机绝对尺度恢复方法，其特征在于包括以下步骤：
1)根据相机拍摄的两帧图像提取平面区域内特征点，通过特征匹配技术获取同名像点对，并估计单应矩阵；
2)从相机拍摄的两帧图像通过特征匹配提取同名像点，利用同名像点计算相机的相对运动参数；
3)利用单应矩阵公式计算相机高度即相机光心距离地面高度的初始值；
4)利用平面区域内所有同名点对和单应矩阵建立目标函数，使得该函数值最小的函数最优解作为相机高度的最优估计值；
5)结合相机高度最优估计值和相机高度真实值，计算出绝对尺度参数。
2.根据权利要求1所述的单目相机绝对尺度恢复方法，其特征在于，所述步骤1)中的平面区域内特征点提取采用RANSAC算法，所述步骤1)中的特征匹配采用FLANN+RANSAC算法。
3.根据权利要求1所述的单目相机绝对尺度恢复方法，其特征在于，所述步骤2)中提取同名像点时特征匹配采用FLANN+RANSAC算法，计算相机的相对运动参数采用本质矩阵分解算法或单应矩阵分解算法。
4.根据权利要求3所述的单目相机绝对尺度恢复方法，其特征在于，所述步骤2)中的计算相机相对运动算法选择原则为：当所述步骤2)中特征匹配后获取的同名像点位于同一平面时，采用单应矩阵分解算法；当所述步骤2)中特征匹配后获取的同名像点位于不同平面时，采用本质矩阵分解算法。
5.根据权利要求1所述的单目相机绝对尺度恢复方法，其特征在于，所述步骤3)中的单应矩阵公式为：
H＝K(R+tnT/h)K-1
其中，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量，其与真实物理空间相差一个尺度因子s，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为相机高度的初始值，T表示矩阵转置。
6.根据权利要求1所述的单目相机绝对尺度恢复方法，其特征在于，所述步骤4)建立的目标函数为：
Figure FDA0002736463340000021
x2 i＝K(R+tnT/h)K-1x1 i
其中，N表示平面区域内同名点对的总数，
Figure FDA0002736463340000022
和
Figure FDA0002736463340000023
为平面区域内第i个同名点对，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量，其与真实物理空间相差一个尺度因子s，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为待求参数相机高度估计值，T表示矩阵转置。
7.根据权利要求1所述的用于无人驾驶车辆的单目相机绝对尺度恢复方法，其特征在于：所述步骤4)中目标函数通过高斯牛顿法或列文伯格-马奎尔特方法等非线性优化算法进行迭代求解；
所述步骤5)计算绝对尺度参数的公式为：
s＝h′/h
其中，h′为相机高度真实值，h为相机高度估计值，s为待求参数绝对尺度。
8.一种用于无人驾驶的单目相机绝对尺度恢复装置，其特征在于，该装置包括特征提取与匹配模块、相对运动估计模块、相机高度初值估计模块、目标函数建立模块和最优计算模块；
所述特征提取与匹配模块用于从相机拍摄的图像中提取特征点，并进行特征匹配获取同名点对；
所述相对运动估计模块用于利用同名点对计算相机的相对运动参数；
所述相机高度初值估计模块用于估计相机高度初始值；
所述目标函数建立模块用于以平面区域内同名点对、相机相对运动参数和场景平面法向量建立目标函数，使得该目标函数值最小的函数最优解即为相机高度最优估计值；
所述最优计算模块用于利用非线性优化算法的搜索规则找到目标函数值最优的一组参数。
9.根据权利要求8所述的单目相机绝对尺度恢复装置，其特征在于，所述的特征提取与匹配模块采用SURF算子提取相机拍摄的图像中特征点，采用FLANN+RANSAC算法进行特征匹配获取同名点对，采用RANSAC算法选取平面特征点对；
所述的相对运动估计模块根据获取同名点对的分布选择算法进行运动估计：当获取的同名像点位于同一平面时，采用单应矩阵分解算法；当获取的同名像点位于不同平面时，采用本质矩阵分解算法。
所述的相机高度初值估计模块利用平面区域同名点对通过单应矩阵公式计算相机高度初值，公式为：
H＝K(R+tnT/h)K-1
其中，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量(与真实物理空间相差一个尺度因子s)，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为相机高度的初始值。
10.根据权利要求8所述的单目相机绝对尺度恢复装置，其特征在于，所述的目标函数建立模块建立的目标函数为：
Figure FDA0002736463340000031
x2 i＝K(R+tnT/h)K-1x1 i
其中，N表示平面区域内同名点对的总数，
Figure FDA0002736463340000032
和
Figure FDA0002736463340000033
为平面区域内第i个同名点对，R为描述相机相对运动的旋转矩阵，t为描述相机相对运动的平移向量(与真实物理空间相差一个尺度因子s)，H为描述两帧图像单应关系的单应矩阵，K为相机内参数矩阵，n表示场景平面的法向量，h为待求参数相机高度估计值；
所述的最优计算模块基于相机高度初值采用高斯牛顿法或列文伯格-马奎尔特方法等非线性优化算法进行迭代求解。
CN202011135410.9A 2020-10-22 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置 Active CN112258409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135410.9A CN112258409B (zh) 2020-10-22 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135410.9A CN112258409B (zh) 2020-10-22 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Publications (2)

Publication Number Publication Date
CN112258409A true CN112258409A (zh) 2021-01-22
CN112258409B CN112258409B (zh) 2024-10-18

Family

ID=

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592706A (zh) * 2021-07-28 2021-11-02 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113643365A (zh) * 2021-07-07 2021-11-12 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质
CN113963030A (zh) * 2021-11-09 2022-01-21 福州大学 一种提高单目视觉初始化稳定性的方法
CN114170296A (zh) * 2021-11-10 2022-03-11 埃洛克航空科技（北京）有限公司 基于多模式综合决策的旋转平均估计方法以及装置
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN114565674A (zh) * 2022-03-03 2022-05-31 江苏集萃清联智控科技有限公司 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
CN114612544A (zh) * 2022-03-11 2022-06-10 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636724A (zh) * 2015-02-02 2015-05-20 华中科技大学 一种基于目标一致性的车载相机快速行人车辆检测方法
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法
US20190333231A1 (en) * 2017-08-11 2019-10-31 Zhejiang University Stereo visual odometry method based on image gradient joint optimization
CN111197976A (zh) * 2019-12-25 2020-05-26 山东唐口煤业有限公司 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636724A (zh) * 2015-02-02 2015-05-20 华中科技大学 一种基于目标一致性的车载相机快速行人车辆检测方法
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法
US20190333231A1 (en) * 2017-08-11 2019-10-31 Zhejiang University Stereo visual odometry method based on image gradient joint optimization
CN111197976A (zh) * 2019-12-25 2020-05-26 山东唐口煤业有限公司 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
向奉卓;李广云;王力;王安成;俞德崎;: "具备尺度恢复的单目视觉里程计方法", 测绘科学技术学报, no. 05, 15 October 2018 (2018-10-15) *
田阳;崔平远;崔祜涛;: "基于图像的着陆点评估及探测器运动估计方法", 宇航学报, no. 01, 30 January 2010 (2010-01-30) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643365A (zh) * 2021-07-07 2021-11-12 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质
CN113643365B (zh) * 2021-07-07 2024-03-19 紫东信息科技(苏州)有限公司 一种相机位姿估计方法、装置、设备以及可读存储介质
CN113592706A (zh) * 2021-07-28 2021-11-02 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113592706B (zh) * 2021-07-28 2023-10-17 北京地平线信息技术有限公司 调整单应性矩阵参数的方法和装置
CN113963030A (zh) * 2021-11-09 2022-01-21 福州大学 一种提高单目视觉初始化稳定性的方法
CN114170296A (zh) * 2021-11-10 2022-03-11 埃洛克航空科技（北京）有限公司 基于多模式综合决策的旋转平均估计方法以及装置
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN114565674A (zh) * 2022-03-03 2022-05-31 江苏集萃清联智控科技有限公司 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
CN114612544A (zh) * 2022-03-11 2022-06-10 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN114612544B (zh) * 2022-03-11 2024-01-02 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN104732518B (zh) 一种基于智能机器人地面特征的ptam改进方法
US9031809B1 (en) Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
Pathak et al. Online three‐dimensional SLAM by registration of large planar surface segments and closed‐form pose‐graph relaxation
Olson et al. Wide-baseline stereo vision for terrain mapping
CN111897349B (zh) 一种基于双目视觉的水下机器人自主避障方法
Nistér et al. Visual odometry for ground vehicle applications
CN104180818B (zh) 一种单目视觉里程计算装置
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
Pizarro et al. Large area 3-D reconstructions from underwater optical surveys
CN116205947B (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
CN109345588A (zh) 一种基于Tag的六自由度姿态估计方法
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
Fiala et al. Visual odometry using 3-dimensional video input
CN104281148A (zh) 基于双目立体视觉的移动机器人自主导航方法
CN113658337B (zh) 一种基于车辙线的多模态里程计方法
CN107492107B (zh) 基于平面与空间信息融合的物体识别与重建方法
CN112802096A (zh) 实时定位和建图的实现装置和方法
CN110243390A (zh) 位姿的确定方法、装置及里程计
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN111583316B (zh) 一种视觉自主定位系统实现方法
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN116128966A (zh) 一种基于环境物体的语义定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination