CN117372460A - 一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 - Google Patents
一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 Download PDFInfo
- Publication number
- CN117372460A CN117372460A CN202311292102.0A CN202311292102A CN117372460A CN 117372460 A CN117372460 A CN 117372460A CN 202311292102 A CN202311292102 A CN 202311292102A CN 117372460 A CN117372460 A CN 117372460A
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- camera
- pixels
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 241001061260 Emmelichthys struhsakeri Species 0.000 title claims abstract description 9
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 title description 2
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 2
- 239000002689 soil Substances 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法。包括视觉里程计初始化、边缘特征提取方法、自适应阈值的设定方法、通过边缘特征配准估算相机位姿的方法,本方法基于图像二维熵确定图像中边缘像素数量阈值的边缘提取方法,获得对光度变化鲁棒的1像素边缘并完成追踪,构建误差传递方程;通过采用有边缘策略的滑动窗口实现非线性优化和局部建图;最后对关键帧进行筛选和管理。本方法实现了其在月面稀疏特征环境下对特征的稳定追踪,实现月球车在月面稳定的自定位。
Description
技术领域
本发明涉及SLAM技术与空间探测领域,具体来说是一种纯视觉的,基于自适应阈值检测边缘特征和配准的月球车自主定位方法。本发明主要应用于月面特征稀疏,且光度变化大的环境中进行视觉导航的自主定位方法。
背景技术
同时定位与建图(Simultaneous Localization and Mapping,SLAM)是指搭载特定传感器的主体,在没有环境先验信息的情况下,在运动过程中建立环境模型同时估计自己的运动。当传感器为相机时,称为视觉SLAM(visual SLAM,vSLAM)。SLAM系统通常由前端视觉里程计、后端优化、回环检测、全局优化四个步骤。
视觉里程计作为视觉SLAM系统中估算相机位姿的环节,直接决定了视觉SLAM系统的定位精度,是其核心环节。经典的vSLAM算法有特征点法和直接法。其中基于特征点法的ORB-SLAM方法在强纹理环境中已经达到了较高的精度和鲁棒性。针对月面稀疏环境的重建,有学者运用特征点追踪,结合惯导进行辅助,通过仿真验证,达到了较好的定位效果。
但特征点法有在弱纹理环境中无法提取足够特征完成位姿估算的弱势,而直接法受光度变化影响大,因此要在月面稀疏特征环境中实现纯视觉的月球车自定位,使用上述两种方法都有不足。针对特征点法和直接法的缺点,一种基于Canny边缘特征,通过距离变换构建重投影误差方程来估算相机位姿的“半直接法”被提出,在强纹理环境中有与ORB-SLAM方法相当的精度,在弱纹理环境中有更强的鲁棒性。
在上述通过边缘配准计算相机位姿的方法中,边缘特征提取的准确度自然地影响着估算结果。但Canny边缘受光度变化影响,鲁棒性较弱,且其双阈值检测过程的阈值需要通过经验设定,阈值的设定也会影响边缘检测的结果。
针对月面光度变化较大的环境特征,若想实现月面基于边缘的有较高鲁棒性和精度的自定位,需要对边缘提取方法进行改进。有学者提出基于图像二维熵的统计数据设定自适应阈值提取边缘的方法,证明在光度变化大的环境中具有更好的鲁棒性。
因此本发明将基于图像二维熵设定自适应阈值的边缘提取方法引入基于边缘配准的视觉里程计算法中,以适用于月球车自定位系统的应用场景。
发明内容
本发明针对月面环境光度变化大的特征,针对其稀疏特征环境,为克服上述现有技术的不足,提出了一种基于二维熵确定自适应阈值,提取边缘特征并配准以估算相机位姿的视觉里程计方法。
本发明的目的通过以下技术方案实现:
一种针对稀疏特征环境,基于自适应阈值边缘配准视觉里程计的月球车自主定位方法,具体包括以下步骤:
S1、获得RGB-D相机的图像与深度信息;
S2、使用基于图像二维熵确定自适应阈的边缘特征提取方法,对上述相机图像提取边缘特征;
S3、转换边缘二值图,重投影边缘点并基于边缘二值图进行距离变换,构建残差方程,对上述图像特征进行追踪;
S4、通过运动恢复结构(Structure from Motion,SfM)初始化相机位姿;
S5、构建滑动窗口,进行局部建图;
S6、管理、更新关键帧,构建关键帧序列;
进一步的,所述步骤S1具体使用RGB-D相机作为该视觉SLAM系统的传感器,并对该相机传入的RGB图像与深度信息进行时间对齐。
进一步的,所述步骤S2具体包括以下过程:
S2.1将当前获得的图像作为当前帧,用5×5的高斯核对图像进行去噪;
S2.2计算去噪后图像的二维墒;
S2.3依据二维墒确定该图像的边缘比率,以此计算图像边缘像素数量的阈值Thn;
S2.4用Sobel算子提取水平和垂直边缘图像Gx、Gy;
S2.5依据人眼分辨率的非线性方程设定阈值Thr=2来去除图像噪声和小梯度边缘;
S2.6提取图像锚点作为可能的边缘起始点的备选点;
S2.7基于边缘分段总有连续的曲率的假设,从锚点开始判断下一个边缘点像素可能的方向,并在该方向筛选属于边缘分段的像素;该判断以两个相反方向同时进行,形成两个边缘分段;
S2.8当上述两个边缘分段的总长度大于8个像素时,认为是有效边缘并在锚点连接为一个边缘;
S2.9在每一个锚点边缘计算结束后,将边缘长度计入图像总边缘像素数,当总边缘像素数大于S2.3中计算的阈值Thn时结束检测并得到最终的边缘灰度图。
进一步的,所述步骤S3具体包括以下过程:
S3.1将S2中得到的边缘灰度转换为边缘二值图;
S3.2将当前帧的边缘像素重投影至另一帧,使用距离变换(Distance Transform,DT)预计算每个像素到另一帧中最近的边缘的欧氏距离,以此构建残差方程进行非线性优化运动估计,实现边缘特征的追踪;
S3.3在进行距离变换时,采用从粗到细的策略,使用迭代权重再分配的非线性优化方法,在图像的尺度金字塔内,只显式地计算最高分辨率层的距离变换,其他层通过相机内参从最高层投影到该层来计算,以加速计算。
进一步的,所述步骤S4具体通过视觉恢复结构,利用步骤S2提取的边缘点以及S3中的特征对齐方法估计相对运动,计算相对位移和旋转;
进一步的,所述步骤S5包括以下过程:
S5.1将当前帧放入优化窗口,在S3中构建的残差方程,以帧间相对位姿为优化目标,结合Huber鲁棒核函数与联合残差方程构建优化目标函数,利用非线性优化方法求解优化位姿;
S5.2根据优化后的位姿,更新边缘特征的三维信息,以此建立局部地图;
进一步的,所步骤S6根据图像中的信息变化更新关键帧,包括以下过程:
S6.1设定关键帧指标:包括平均平方光流Mfov、无旋转的平均平方光流Mtran、无位移的平均平方光流Mrota;参考关键帧投影到当前帧的像素点数Nin和未投影到当前帧的像素点数量Nout;0.3Mfov+0.1Mtran+0.1Mrota>1或Nin<Nout时,将当前帧更新为关键帧。
相对于现有技术,本发明具有如下优点:
首先,边缘特征提取具有自适应阈值,适用于不同边缘密度的图像边缘检测,且边缘检测方法对光度变化具有鲁棒性,保证了视觉里程计在特征提取步骤具有较高的精度和鲁棒性;
其次,视觉里程计采用通过边缘配准构建残差方程,从而估算相机位姿的方法,在稀疏特征环境中也能稳定追踪,计算量较小,且对光度变化不敏感。
附图说明
图1为本发明的系统框图;
图2为本发明进行边缘检测的框图;
图3为本发明依据二维熵确立的边缘比率值;
图4为本发明边缘检测时锚点对应方向定义表;
图5为本发明边缘检测时确定下一个图像边缘点的方法示意图;
具体实施方式
本发明提供一种针对稀疏特征环境,基于自适应阈值边缘配准视觉里程计的月球车自主定位方法,具体包括以下步骤:
步骤S1具体使用RGB-D相机作为该视觉SLAM系统的传感器,并对该相机传入的RGB图像与深度信息进行时间对齐。
定义RGB-D相机在时间t输出的图像包含RGB图像It和深度Zt。对于已经进行时间对齐的图像It中的像素p=(x,y),其对应的深度为Z=Zt(p)。
对于世界坐标系下的3D点P以及像素坐标系下的像素p,定义从世界坐标系到像素坐标系的投影函数:
那么从像素坐标系投影到世界坐标系的逆投影函数可以表示为:
在李群上定义图像帧Fi和Fj的旋转和平移及其对应的李代数。
其对应的李代数表示为ξij。
由此定义第i帧图像中像素pi重投影到第j帧的投影函数表达为:
p'=τ(ξji,pi,Zi(pi))=π(Tjiπ-1(pi,Zi(pi)))
步骤S2使用基于图像二维熵确定自适应阈值的边缘特征提取方法,对上述相机图像提取边缘特征,其流程图如图2,具体包括以下过程:
S2.1将当前获得的图像作为当前帧,用5×5的高斯核对图像进行去噪;
S2.2计算去噪后图像的二维熵,熵越高表示图像越杂乱,那么图像中的信息也就越多。为计算图像的二维熵,假定灰度图为M×N大小,令L为图像灰度,设定为256。对图像中每个点计算灰度强度(gray intensity),表示为Ii,并与邻域的计算平均值Ij。由灰度对(Ii,Ij)的出现频率生成2D灰度直方图,频率表示为fij。
定义概率质量函数(Probability Mass Function,PMF)pij:
那么二维熵定义为:
S2.3依据二维熵确定该图像的边缘比率,以此计算图像边缘像素数量的阈值Thn,具体特征为:本发明认为边缘像素比例与二维熵相关,依据二维熵将图像分为三类,并设定与各类对应的边缘像素比重,对应关系见图3。
S2.4用Sobel算子提取水平和垂直边缘图像Gx、Gy;Sobel算子大小设定为3×3。那么像素点灰度定义为:
G=(|Gx|+|Gy|)/2
S2.5依据人眼灰度-分辨率的非线性方程设定阈值来去除图像噪声和小梯度边缘;分辨率与灰度的非线性关系表达为:
设定Thr=2。
S2.6提取图像锚点作为可能的边缘起始点的备选点;所谓锚点,是指沿梯度方向梯度幅值最大的点,是梯度图的峰值;
除此之外,依据梯度图Gx、Gy,可以确定该锚点的方向,方向的定义见图4,其中a1=tan67.5°,b1=tan22.5°。
S2.7基于边缘分段总有连续的曲率的假设,首先依据步骤S2.6判断锚点梯度方向,并在该方向的垂直方向筛选属于边缘分段的像素;该判断以两个相反方向同时进行,形成两个边缘分段;
举例阐述下一个边缘点的定义方式。如图5,假定图5中3×3的图像块,每个像素中有两行数据,上面一行表示的是像素梯度幅值,下面一行数据以(Gx/Gy)的形式表示。其中Pi-1为上一个边缘点,可知该点的边缘方向为右,因此首先假定像素点Pi的边缘方向与Pi-1一致,比较Pi邻域中位于其右侧的三行像素灰度幅值,得到最大幅值的Pi+1作为下一个像素点,那么Pi的方向为右下。在检测下一个边缘时,同理先假定Pi+1方向为右下,再进行新一轮的判断。
S2.8当上述两个边缘分段的总长度大于8个像素时,认为是有效边缘并在锚点连接为一个边缘;
S2.9在每一个锚点边缘计算结束后,将边缘长度计入图像总边缘像素数,当总边缘像素数大于S2.3中计算的阈值Thn时结束检测并得到最终的边缘灰度图。
步骤S3转换边缘二值图,重投影边缘点并基于边缘二值图进行距离变换,构建残差方程,对上述图像特征进行追踪;具体包括以下过程:
S3.1将S2中得到的边缘灰度转换为边缘二值图;上述检测结果保留了边缘的灰度值,但在计算边缘点距离的过程中不是必要的。将边缘点灰度置1,其他像素置0,得到边缘的二值图像。
S3.2将当前帧的边缘像素重投影至另一帧,使用距离变换(Distance Transform,DT)预计算每个像素到另一帧中最近的边缘的欧氏距离,以此构建残差方程进行非线性优化运动估计,实现边缘特征的追踪。进行距离变换要计算投影点到最近边缘点的欧氏距离,具体方法如下。
首先进行目标像素分类:包括内部点,外部点、孤立点三种。所谓内部点,是指中心像素灰度值为1,且其四邻域的像素灰度值均为1的点;而孤立点是指只有中心像素灰度值为1,其余邻域均为0的点;其余为外部点,也称边界点。
设内部点点集O1,合并外部点和孤立点为点集O2;设内部点oi坐标(x,y),属于点集O1,且定义距离公式disf(),本发明中定义为欧氏距离,也可以定义为期盼距离或城市街区距离等非欧氏距离。按照本文算法需求,选用欧氏距离作为计算像素点之间距离的公式,欧式距离公式:
依据该公式计算oi与点集O2点之间的最小距离,为避免根号计算,用disf2()来作为距离数据的指标,定义为Df(x,y)。
对每个内部点求取距离数据,结果构成数据集D;获得D中的最大值dmax和最小值dmin;由上述步骤获得的距离信息按公式转换为灰度值,则在oi点处的灰度值为:
G(x,y)=255×|Df(x,y)-dmin|/|dmax-dmin|
孤立点保持不变:按照上述处理流程,在所识别的边缘图像中,边缘的灰度值为1,其余像素的灰度值为0,即边缘即为目标像素,其余为背景像素。
按照距离变换流程处理当前帧提取的边缘二值图像后,得到边缘图像的灰度图,每个位置的灰度值代表其对应的距离信息。因此,将关键帧图像重投影到当前帧后,可直接根据重投影的位置获得所需的对应边缘之间最短的欧氏距离用于残差方程的构建。
因此定义重投影的距离误差方程为:
Epi=Dj(τ(ξji,pi,Zi(pi)))
式中,Dj()表示帧Fj中像素重投影,重投影点与帧Fi中的边缘像素位置pi之间的距离变换。
以此构建非线性优化模型:
其中表示估算的相机相对运动,Epi表示重投影误差,δri为权重系数,用于抑制大残差项对估算结果的影响,其公式表达为:
其中k为传感器误差特性拟合所需要的系数。
S3.3在进行距离变换时,采用从粗到细的策略,使用迭代权重再分配的非线性优化方法,在图像的尺度金字塔内,只显式地计算最高分辨率层的距离变换,其他层通过相机内参从最高层投影到该层来计算,以加速计算。
定义计算尺度金字塔内相邻层次的距离变换的递推公式:
式中Np表示上一更高精度层次的图像块大小。
步骤S4通过运动恢复结构(Structure from Motion,SfM)初始化相机位姿;
步骤S5构建滑动窗口,进行局部建图;具体包括以下过程:
S5.1将当前帧放入优化窗口,在S3中构建的残差方程,以帧间相对位姿为优化目标,结合Huber鲁棒核函数与联合残差方程构建优化目标函数,利用非线性优化方法求解优化位姿;依据步骤S3构建的非线性优化模型求解雅可比矩阵。得到雅可比矩阵,就可以依据雅可比矩阵构建增量方程。在此优化问题中,在列文伯格-马夸尔特方法的基础上,加入权值矩阵,构成加权的列文伯格-马夸尔特优化方法。设海塞矩阵为H,增量为g,权值矩阵为W,那么H矩阵按列文伯格-马夸尔特优化的估算方法,与J之间的关系可表达为:
H=JTWJ,H∈R6×6
取列文伯格-马夸尔特方法中的系数矩阵D为I,那么由海塞矩阵构成的优化的增量方程为:
(H+λI)Δξ=g
根据构建方程的过程,容易证明,所求解的方程,其系数矩阵式正定的矩阵。因此对构建的正规方程,可以选用LDLT分解法求解,计算量小,计算速度快。
在编程中优选使用Ceres非线性优化库对上述问题进行求解。
S5.2根据优化后的位姿,更新边缘特征的三维信息,以此建立局部地图;
步骤S6根据图像中的信息变化更新关键帧,包括以下过程:
S6.1设定关键帧指标:包括平均平方光流Mfov、无旋转的平均平方光流Mtran、无位移的平均平方光流Mrota;参考关键帧投影到当前帧的像素点数Nin和未投影到当前帧的像素点数量Nout。
其中,平均平方光流Mfov用于衡量视场内边缘像素的整体光度变化:
式中p表示边缘像素坐标,p'表示重投影后的边缘像素坐标,n表示边缘像素的数量。
无旋转的平均平方光流Mtran用于衡量因位移引起的光度变化:
式中pt表示只经位移变换后的像素坐标。
无位移的平均平方光流Mrota用于衡量因旋转引起的光度变化:
式中pr表示只旋转变换后的像素坐标。
S6.2当满足条件0.3Mfov+0.1Mtran+0.1Mrota>1或Nin<Nout时,将当前帧更新为关键帧。
Claims (7)
1.一种针对稀疏特征环境,基于自适应阈值边缘配准视觉里程计的月球车自主定位方法,其特征在于,包括以下步骤:
S1、获得RGB-D相机的图像与深度信息;
S2、使用基于图像二维熵确定自适应阈值的边缘特征提取方法,对上述相机图像提取边缘特征;
S3、转换边缘二值图,重投影边缘点并基于边缘二值图进行距离变换,构建残差方程,对上述图像特征进行追踪;
S4、通过运动恢复结构(Structure from Motion,SfM)初始化相机位姿;
S5、构建滑动窗口,进行局部建图;
S6、管理、更新关键帧,构建关键帧序列;
2.根据权利要求1所述方法,其特征在于步骤S1使用RGB-D相机作为该视觉SLAM系统的传感器,并对该相机传入的RGB图像与深度信息进行时间对齐。
3.根据权利要求1所述方法,其特征在于步骤S2具体包括以下过程:
S2.1将当前获得的图像作为当前帧,用5×5的高斯核对图像进行去噪;
S2.2计算去噪后图像的二维墒;
S2.3依据二维墒确定该图像的边缘比率,以此计算图像边缘像素数量的阈Thn;
S2.4用Sobel算子提取水平和垂直边缘图像Gx、Gy;
S2.5依据人眼分辨率的非线性方程设定阈值Thr=2来去除图像噪声和小梯度边缘;
S2.6提取图像锚点作为可能的边缘起始点的备选点;
S2.7基于边缘分段总有连续的曲率的假设,从锚点开始判断下一个边缘点像素可能的方向,并在该方向筛选属于边缘分段的像素;该判断以两个相反方向同时进行,形成两个边缘分段;
S2.8当上述两个边缘分段的总长度大于8个像素时,认为是有效边缘并在锚点连接为一个边缘;
S2.9在每一个锚点边缘计算结束后,将边缘长度计入图像总边缘像素数,当总边缘像素数大于S2.3中计算的阈值Thn时结束检测并得到最终的边缘灰度图。
4.根据权利要求1所述方法,其特征在于步骤S3具体包括以下特征:
S3.1将S2中得到的边缘灰度转换为边缘二值图;
S3.2将当前帧的边缘像素重投影至另一帧,使用距离变换(Distance Transform,DT)预计算每个像素到另一帧中最近的边缘的欧氏距离,以此构建残差方程进行非线性优化运动估计,实现边缘特征的追踪;
S3.3在进行距离变换时,采用从粗到细的策略,使用迭代权重再分配的非线性优化方法,在图像的尺度金字塔内,只显式地计算最高分辨率层的距离变换,其他层通过相机内参从最高层投影到该层来计算,以加速计算。
5.根据权利要求1所述方法,其特征在于步骤S4通过视觉恢复结构,利用步骤S2提取的边缘点以及S3中的特征对齐方法估计相对运动,计算相对位移和旋转;
6.根据权利要求1所述方法,其特征在于步骤S5包括以下特征:
S5.1将当前帧放入优化窗口,在S3中构建的残差方程,以帧间相对位姿为优化目标,结合Huber鲁棒核函数与联合残差方程构建优化目标函数,利用非线性优化方法求解优化位姿;
S5.2根据优化后的位姿,更新边缘特征的三维信息,以此建立局部地图;
7.根据权利要求2所述方法,其特征在于步骤S6根据图像中的信息变化更新关键帧,包括以下特征:
S6.1设定关键帧指标:包括平均平方光流Mfov、无旋转的平均平方光流Mtran、无位移的平均平方光流Mrota;参考关键帧投影到当前帧的像素点数Nin和未投影到当前帧的像素点数量Nout;
S6.2当满足条件0.3Mfov+0.1Mtran+0.1Mrota>1或Nin<Nout时,将当前帧更新为关键帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292102.0A CN117372460A (zh) | 2023-10-08 | 2023-10-08 | 一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292102.0A CN117372460A (zh) | 2023-10-08 | 2023-10-08 | 一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117372460A true CN117372460A (zh) | 2024-01-09 |
Family
ID=89393886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311292102.0A Pending CN117372460A (zh) | 2023-10-08 | 2023-10-08 | 一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117372460A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117831014A (zh) * | 2024-03-04 | 2024-04-05 | 山西阳光三极科技股份有限公司 | 基于铁路货运列车的车厢运输状态监测方法 |
-
2023
- 2023-10-08 CN CN202311292102.0A patent/CN117372460A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117831014A (zh) * | 2024-03-04 | 2024-04-05 | 山西阳光三极科技股份有限公司 | 基于铁路货运列车的车厢运输状态监测方法 |
CN117831014B (zh) * | 2024-03-04 | 2024-05-14 | 山西阳光三极科技股份有限公司 | 基于铁路货运列车的车厢运输状态监测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN108010081B (zh) | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 | |
CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
CN110108258B (zh) | 一种单目视觉里程计定位方法 | |
CN111311666B (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
CN111209770A (zh) | 一种车道线识别方法及装置 | |
CN108776989B (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
CN102722697A (zh) | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 | |
CN108876861B (zh) | 一种地外天体巡视器的立体匹配方法 | |
CN112419317B (zh) | 一种基于自编码网络的视觉回环检测方法 | |
CN117372460A (zh) | 一种基于自适应阈值边缘配准视觉里程计的月球车自主定位方法 | |
CN113963117B (zh) | 一种基于可变卷积深度网络的多视图三维重建方法及装置 | |
CN113313732A (zh) | 一种基于自监督学习的前视场景深度估计方法 | |
CN104063711A (zh) | 一种基于K-means方法的走廊消失点快速检测算法 | |
CN105447881A (zh) | 基于多普勒的雷达图像分割及光流 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN105574892A (zh) | 雷达图像中的基于多普勒的分割及光流 | |
Stucker et al. | ResDepth: Learned residual stereo reconstruction | |
CN110751680A (zh) | 一种具有快速对齐算法的图像处理方法 | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
CN116310098A (zh) | 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法 | |
CN111950599B (zh) | 一种动态环境下融合边缘信息的稠密视觉里程计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |