CN112767480A - 一种基于深度学习的单目视觉slam定位方法 - Google Patents

一种基于深度学习的单目视觉slam定位方法 Download PDF

Info

Publication number
CN112767480A
CN112767480A CN202110068068.3A CN202110068068A CN112767480A CN 112767480 A CN112767480 A CN 112767480A CN 202110068068 A CN202110068068 A CN 202110068068A CN 112767480 A CN112767480 A CN 112767480A
Authority
CN
China
Prior art keywords
vehicle
point
points
deep learning
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110068068.3A
Other languages
English (en)
Inventor
陈宗海
朱镇坤
戴德云
王纪凯
徐萌
林士琪
魏超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110068068.3A priority Critical patent/CN112767480A/zh
Publication of CN112767480A publication Critical patent/CN112767480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种基于深度学习的单目视觉SLAM定位方法，利用安装在车辆上的单目相机进行初始图像采集，并基于深度学习对采集的初始图像数据进行离线训练，获得训练好的UnSuperPoint模型；通过车辆上的单目相机实时获取车辆的路况信息，并将实时拍摄的每一帧图片送入到训练好的UnSuperPoint模型中，提取出特征描述子，并进行匹配；通过匹配的特征点获得本质矩阵，得到平移量和旋转量；利用各帧图片之间的平移量和旋转量计算得到所述单目相机真实的三维空间坐标，进而对车辆进行定位。上述方法鲁棒性强、成本低、精度高，能够克服激光雷达成本高、激光信号丢失导致定位失败，以及复杂场景下跟踪失败的问题。

Description

一种基于深度学习的单目视觉SLAM定位方法
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种基于深度学习的单目视觉SLAM定位方法。
背景技术
随着科技的发展，车辆、机器人等科技产品与人们生活的关系越来越密切，车辆和机器人的网络化、智能化趋势越来越明显，实现车辆和机器人的智能化中的一项重要技术就是定位与导航(下文中以车辆为例)。实际应用中，车辆在面对复杂场景，如光照变换、快速旋转时，采集的前后两帧图像差距较大，容易导致跟踪失败，进而影响定位及建图过程，因而复杂场景下的同步定位与建图(Simultaneous Localization and Mapping，SLAM)系统成为了SLAM领域的重要研究方向。
目前车辆定位领域使用较多的是激光雷达技术，需要依靠激光雷达设备发射和接收激光以实现车辆定位功能，但现有技术方案的车辆定位方法存在的问题如下：
1)使用激光雷达设备进行车辆定位，成本高，且激光雷达无法识别车道线及道路标志等信息；
2)复杂场景下特征点匹配困难，容易出现跟踪失败的现象。
发明内容
本发明的目的是提供一种基于深度学习的单目视觉SLAM定位方法，该方法鲁棒性强、成本低、精度高，能够克服激光雷达成本高、激光信号丢失导致定位失败，以及复杂场景下跟踪失败的问题。
本发明的目的是通过以下技术方案实现的：
一种基于深度学习的单目视觉SLAM定位方法，所述方法包括：
步骤1、利用安装在车辆上的单目相机进行初始图像采集，并基于深度学习对采集的初始图像数据进行离线训练，获得训练好的UnSuperPoint模型；
步骤2、通过车辆上的单目相机实时获取车辆的路况信息，并将实时拍摄的每一帧图片送入到训练好的UnSuperPoint模型中，提取出特征描述子，并进行匹配；
步骤3、通过匹配的特征点获得本质矩阵，并恢复所述单目相机在采集各帧图片时的位姿变化，得到平移量t和旋转量R；
步骤4、再通过三角化，并利用各帧图片之间的平移量t和旋转量R计算得到所述单目相机真实的三维空间坐标，进而对车辆进行定位；
步骤5、在对车辆进行定位的过程中，进一步通过车辆回环检测以及全局BA更新车辆位置和所建地图的信息，减少定位和建图的累计误差，进一步提高SLAM系统的准确性。
由上述本发明提供的技术方案可以看出，上述方法鲁棒性强、成本低、精度高，能够克服激光雷达成本高、激光信号丢失导致定位失败，以及复杂场景下跟踪失败的问题，从而高效的实现车辆定位。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于深度学习的单目视觉SLAM定位方法流程示意图；
图2为本发明所举实例在不同位置拍摄同一个目标物体的两帧图片匹配示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的基于深度学习的单目视觉SLAM定位方法流程示意图，所述方法包括：
步骤1、利用安装在车辆上的单目相机进行初始图像采集，并基于深度学习对采集的初始图像数据进行离线训练，获得训练好的UnSuperPoint模型；
在该步骤中，基于深度学习对采集的初始图像数据进行离线训练的过程具体为：
将单目相机采集到的初始图像数据输入至神经网络进行训练；
所述神经网络通过对输入的图像数据进行一系列卷积池化处理，得到特征图，然后利用3个分支网络分别预测特征位置，包括关键点P、描述子F和得分s；这里，神经网络采用自监督模型UnSuperPoint，结构小巧，训练速度很快；
所述神经网络在训练时将每一幅图像同时送入分支A和分支B中，在分支B中对图像作一次旋转，乘上旋转矩阵T，然后运用孪生网络进行训练，分支B中的输出结果做同样的旋转处理，损失函数Ltotal设计为：
Ltotal＝αuspLusp+αuni_xyLuni_xy+αdescLdesc+αdecorrLdecorr
其中，α表示权重；
Lusp(UnSupervised Point)是用来学习和兴趣点得分的损失函数，具体公式如下：
Figure BDA0002904931330000031
其中，
Figure BDA0002904931330000032
用来确保匹配的点对描述的是输入图片中的同一个点，并通过最小化每一对点对的距离实现；
Figure BDA0002904931330000033
用来确保每一对点对的得分近似，并通过最小化每一对点对得分的平方误差求得，具体公式如下：
Figure BDA0002904931330000034
Figure BDA0002904931330000035
分别表示分支A和分支B对应特征图通道k的得分；
Figure BDA0002904931330000036
是用来确保预计得分真实反映了兴趣点的置信度，具体公式如下：
Figure BDA0002904931330000037
其中，
Figure BDA0002904931330000038
表示第k对点的平均得分，用下面公式进行计算：
Figure BDA0002904931330000039
Figure BDA00029049313300000310
表示所有点对的平均距离；
Luni_xy起到正则化作用，使得对应点位置尽可能的均匀分布，具体定义D(U,V)为计算均匀分布U和某个分布V在区间[0,1]中的距离，把分布映射为一个排序向量v，D计算如下：
Figure BDA00029049313300000311
则Luni_xy是M个点的(x,y)坐标分布与均匀分布的距离的和，具体公式如下：
Luni_xy＝αuni_xy(Luni_x+Luni_y)
Figure BDA00029049313300000312
Figure BDA0002904931330000041
Ldesc是描述子的损失函数，损失函数为铰链损失(hinge-loss)，利用前面计算的分支A的点MA和分支B的点MB的距离矩阵gij得到cij，然后计算：
Figure BDA0002904931330000042
Figure BDA0002904931330000043
Figure BDA0002904931330000044
Ldecorr用来减少过拟合，提高网络的紧凑性，通过最小化每个分支b的描述符所对应的矩阵
Figure BDA0002904931330000045
的非对角线条目来减小维度之间的相关性，具体表示为：
Figure BDA0002904931330000046
Figure BDA0002904931330000047
其中，
Figure BDA0002904931330000048
为Mb×1的向量并且是Fb的第i列，
Figure BDA0002904931330000049
是
Figure BDA00029049313300000410
的平均值。
具体实现中，还可以对单目相机采集到的初始图像数据进行缩放，相应的相机内参也同时进行缩放，并应用数据增强法来提高模型泛化性能并减轻过拟合，以此产生训练数据，具体的数据增强方法为：
使用亮度因子γ对输入的初始图像数据进行随机校正；
按比例因子sx和sy沿X轴和Y轴对图像进行缩放，然后将图像随机裁剪为指定尺寸；
将图像随机旋转r度，并使用最近邻方法插值；
随机左右翻转以及随机时间顺序切换(交换t1和t2)。
举例来说，可采用如下设置γ∈[0.7，1.3]，sx∈[1.0,1.2]，sy∈[1.0,1.2]，r∈[-5,5]；指定尺寸可以设为：832×256。
步骤2、通过车辆上的单目相机实时获取车辆的路况信息，并将实时拍摄的每一帧图片送入到训练好的UnSuperPoint模型中，提取出特征描述子，并进行匹配；
在该步骤中，进行匹配的过程具体为：
将一帧图片上的某一个特征描述子与其他帧图片上的所有特征描述子进行匹配，分别计算匹配距离(如欧氏距离)，取其他帧图片上匹配距离最小且匹配距离小于预设值的特征点作为匹配点；
逐一对每帧图片上的所有特征点进行匹配，找到匹配成功的特征点。
具体来说，在得出匹配距离后，再结合特征点在图片上的x、y坐标来共同确定匹配的特征点，只有当匹配距离小于预先设定值，且特征点的x、y坐标的差距也在许可范围内时，才确定其为匹配的特征点，否则判断为不匹配。
当一帧图片上的某一个特征点只与其他帧图片中的一帧或几帧图片中的特征点匹配，而与某帧或某些帧图片上的特征点不匹配，则该特征点被看作无效特征点，然后丢弃；当一帧图片上的某一个特征点在其他帧图片上均能找到匹配的特征点，则该特征点可以看作为有效特征点。
举例来说，当上述至少两帧图片仅包含先后采集的I1、I2两帧图片时，对I1、I2两帧图片上的特征点进行匹配，得到至少不共线的8对匹配点，根据这8对点可以计算出I2帧图片相对于I1帧图片的旋转及平移矩阵。
如图2所示为本发明所举实例在不同位置拍摄同一个目标物体的两帧图片匹配示意图，图片中相同物体对应的像素点满足对极约束关系，其中，P为世界坐标系中真实物体，例如建筑物上的某一点；O1、O2分别为拍摄I1帧图片和I2帧图片时单目相机的光心位置；p1、p2分别为P点在I1帧图片和I2帧图片的投影，即I1、I2两帧图片中匹配成功的一对点；O1P在I2帧图片上投影为e2p2，记为l2，O2P在I1帧图片上投影为e1p1，记为l1；其中，l1、l2称为极线，e1、e2称为极点。
记相机的内参矩阵为K，则上述的两个投影关系可以表述为：
Figure BDA0002904931330000051
Figure BDA0002904931330000052
表示在尺度意义下相等。
取：
x1＝K-1p1，x2＝K-1p2.
这里x1,x2是两个像素点在归一化平面上的坐标，代入上式，可得：
Figure BDA0002904931330000053
两边同时左乘t的反对称矩阵t^，这相当于两侧同时对t做外积：
Figure BDA0002904931330000055
然后两侧同时左乘
Figure BDA0002904931330000054
Figure BDA0002904931330000061
显然左式为零，故可得：
Figure BDA0002904931330000062
重新代入p1,p2，有：
Figure BDA0002904931330000063
上述两个式子称为对极约束，记本质矩阵E为t^R，基础矩阵F为K-Tt^RK-1，则对极约束可简化为：
Figure BDA0002904931330000064
下面通过八点法求解本质矩阵E，先考虑一对匹配点，它们的归一化坐标为x1＝[u1,v1,1]T,x2＝[u2,v2,1]T。根据对极约束，有：
Figure BDA0002904931330000065
将矩阵E展开，写成向量形式：
e＝[e1,e2,e3,e4,e5,e6,e7,e8,e9]T
从而对极约束可以写成与e有关的线性形式：
[u2u1,u2v1,u2,v2u1,v2v1,v2,u1,v1,1]·e＝0
从而八点法可表述为：
Figure BDA0002904931330000066
通过上述的线性方程组求得本质矩阵E。
对E进行奇异值分解，得到4组t、R值，t为平移量和R为旋转量，分别为：
Figure BDA0002904931330000067
Figure BDA0002904931330000068
如图2所示，P点在两个相机中都具有正的深度，因此只要将任意点代入4种解中，检验该点在两个相机下的深度，就可以筛选出正确的解。
步骤3、通过匹配的特征点获得本质矩阵，并恢复所述单目相机在采集各帧图片时的位姿变化，得到平移量t和旋转量R；
在该步骤中，匹配的图像特征点进一步被用来生成与其共视的地图点，通过筛选和更新地图点，确定车辆的行驶路径以及道路信息，初步构建SLAM地图；
同时针对图像中未匹配到地图点的特征点，在单目相机拍摄到的图像中跟踪这些特征点，根据这些特征点所处图像中的图像位置，以及这些特征点所在图像对应的相机位姿，计算出这些特征点的三维空间位置，从而得到新的地图点；
将新的地图点加入至所构建的SLAM地图中，完善SLAM地图。
步骤4、再通过三角化，并利用各帧图片之间的平移量t和旋转量R计算得到所述单目相机真实的三维空间坐标，进而对车辆进行定位；
在该步骤中，若初始坐标为O(可以自行定义),则下一时刻所述单目相机真实的三维空间坐标表示为R×O+t。
步骤5、在对车辆进行定位的过程中，进一步通过车辆回环检测以及全局BA(Bundle Ajustment)更新车辆位置和所建地图的信息，减少定位和建图的累计误差，进一步提高SLAM系统的准确性。
另外，针对安装在车辆上的单目相机，还可以利用棋盘格标定法对相机进行内部参数标定，获取相机的本质矩阵K和畸变系数向量d；其中，K为3×3矩阵；d为4×1向量，并存储相机的标定参数；在将单目相机安装于车辆之后，对相机外部参数进行标定。
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
综上所述，本发明实施例所述方法利用深度学习法训练针对复杂场景设计的模型，用来提取图片中更为可靠的特征点，以提高系统的鲁棒性，使其能够很好的应对复杂场景的挑战，方案整体成本低，不需要对环境及车辆自身进行改造，可移植性强。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于深度学习的单目视觉SLAM定位方法，其特征在于，所述方法包括：
步骤1、利用安装在车辆上的单目相机进行初始图像采集，并基于深度学习对采集的初始图像数据进行离线训练，获得训练好的UnSuperPoint模型；
步骤2、通过车辆上的单目相机实时获取车辆的路况信息，并将实时拍摄的每一帧图片送入到训练好的UnSuperPoint模型中，提取出特征描述子，并进行匹配；
步骤3、通过匹配的特征点获得本质矩阵，并恢复所述单目相机在采集各帧图片时的位姿变化，得到平移量t和旋转量R；
步骤4、再通过三角化，并利用各帧图片之间的平移量t和旋转量R计算得到所述单目相机真实的三维空间坐标，进而对车辆进行定位；
步骤5、在对车辆进行定位的过程中，进一步通过车辆回环检测以及全局BA更新车辆位置和所建地图的信息，减少定位和建图的累计误差，进一步提高SLAM系统的准确性。
2.根据权利要求1所述基于深度学习的单目视觉SLAM定位方法，其特征在于，在步骤1中，基于深度学习对采集的初始图像数据进行离线训练的过程具体为：
将单目相机采集到的初始图像数据输入至神经网络进行训练；
所述神经网络通过对输入的图像数据进行一系列卷积池化处理，得到特征图，然后利用3个分支网络分别预测特征位置，包括关键点P、描述子F和得分s；
所述神经网络在训练时将每一幅图像同时送入分支A和分支B中，在分支B中对图像作一次旋转，乘上旋转矩阵T，然后运用孪生网络进行训练，分支B中的输出结果做同样的旋转处理，损失函数Ltotal设计为：
Ltotal＝αuspLusp+αuni_xyLuni_xy+αdescLdesc+αdecorrLdecorr
其中，α表示权重；
Lusp是用来学习和兴趣点得分的损失函数，具体公式如下：
Figure FDA0002904931320000011
其中，
Figure FDA0002904931320000012
用来确保匹配的点对描述的是输入图片中的同一个点，并通过最小化每一对点对的距离实现；
Figure FDA0002904931320000013
用来确保每一对点对的得分近似，并通过最小化每一对点对得分的平方误差求得，具体公式如下：
Figure FDA0002904931320000021
Figure FDA0002904931320000022
分别表示分支A和分支B对应特征图通道k的得分；
Figure FDA0002904931320000023
是用来确保预计得分真实反映了兴趣点的置信度，具体公式如下：
Figure FDA0002904931320000024
其中，
Figure FDA0002904931320000025
表示第k对点的平均得分，用下面公式进行计算：
Figure FDA0002904931320000026
Figure FDA0002904931320000027
表示所有点对的平均距离；
Luni_xy起到正则化作用，使得对应点位置尽可能的均匀分布，具体定义D(U,V)为计算均匀分布U和某个分布V在区间[0,1]中的距离，把分布映射为一个排序向量v，D计算如下：
Figure FDA0002904931320000028
则Luni_xy是M个点的(x,y)坐标分布与均匀分布的距离的和，具体公式如下：
Luni_xy＝αuni_xy(Luni_x+Luni_y)
Figure FDA0002904931320000029
Figure FDA00029049313200000210
Ldesc是描述子的损失函数，损失函数为铰链损失，利用前面计算的分支A的点MA和分支B的点MB的距离矩阵gij得到cij，然后计算：
Figure FDA00029049313200000211
Figure FDA00029049313200000212
Figure FDA00029049313200000213
Ldecorr用来减少过拟合，提高网络的紧凑性，通过最小化每个分支b的描述符所对应的矩阵
Figure FDA00029049313200000214
的非对角线条目来减小维度之间的相关性，具体表示为：
Figure FDA00029049313200000215
Figure FDA0002904931320000031
其中，
Figure FDA0002904931320000032
为Mb×1的向量并且是Fb的第i列；
Figure FDA0002904931320000033
是
Figure FDA0002904931320000034
的平均值。
3.根据权利要求1所述基于深度学习的单目视觉SLAM定位方法，其特征在于，在步骤2中，进行匹配的过程具体为：
将一帧图片上的某一个特征描述子与其他帧图片上的所有特征描述子进行匹配，分别计算匹配距离，取其他帧图片上匹配距离最小且匹配距离小于预设值的特征点作为匹配点；
逐一对每帧图片上的所有特征点进行匹配，找到匹配成功的特征点。
4.根据权利要求1所述基于深度学习的单目视觉SLAM定位方法，其特征在于，在步骤3中，匹配的图像特征点进一步被用来生成与其共视的地图点，通过筛选和更新地图点，确定车辆的行驶路径以及道路信息，初步构建SLAM地图；
同时针对图像中未匹配到地图点的特征点，在单目相机拍摄到的图像中跟踪这些特征点，根据这些特征点所处图像中的图像位置，以及这些特征点所在图像对应的相机位姿，计算出这些特征点的三维空间位置，从而得到新的地图点；
将新的地图点加入至所构建的SLAM地图中，完善SLAM地图。
5.根据权利要求1所述基于深度学习的单目视觉SLAM定位方法，其特征在于，在步骤4中，
若初始坐标为O，则下一时刻所述单目相机真实的三维空间坐标表示为R×O+t；
其中，t为平移量和R为旋转量。
6.根据权利要求1所述基于深度学习的单目视觉SLAM定位方法，其特征在于，所述方法还包括：
针对安装在车辆上的单目相机，利用棋盘格标定法对相机进行内部参数标定，获取相机的本质矩阵K和畸变系数向量d；其中，K为3×3矩阵；d为4×1向量，并存储相机的标定参数；
在将单目相机安装于车辆之后，对相机外部参数进行标定。
CN202110068068.3A 2021-01-19 2021-01-19 一种基于深度学习的单目视觉slam定位方法 Pending CN112767480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068068.3A CN112767480A (zh) 2021-01-19 2021-01-19 一种基于深度学习的单目视觉slam定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068068.3A CN112767480A (zh) 2021-01-19 2021-01-19 一种基于深度学习的单目视觉slam定位方法

Publications (1)

Publication Number Publication Date
CN112767480A true CN112767480A (zh) 2021-05-07

Family

ID=75703106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068068.3A Pending CN112767480A (zh) 2021-01-19 2021-01-19 一种基于深度学习的单目视觉slam定位方法

Country Status (1)

Country Link
CN (1) CN112767480A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516688A (zh) * 2021-07-19 2021-10-19 合肥云息通信技术有限公司 一种用于车辆的多维智能定位跟踪系统
TWI773476B (zh) * 2021-08-05 2022-08-01 財團法人車輛研究測試中心 特徵點整合定位系統及特徵點整合定位方法
CN115115669A (zh) * 2022-06-28 2022-09-27 深圳市神州云海智能科技有限公司 基于边缘设备自监督学习的终端感知定位方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN110580723A (zh) * 2019-07-05 2019-12-17 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
CN110807809A (zh) * 2019-10-25 2020-02-18 中山大学 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN111928842A (zh) * 2020-10-14 2020-11-13 蘑菇车联信息科技有限公司 一种基于单目视觉实现slam定位的方法及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN110580723A (zh) * 2019-07-05 2019-12-17 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
CN110807809A (zh) * 2019-10-25 2020-02-18 中山大学 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN111928842A (zh) * 2020-10-14 2020-11-13 蘑菇车联信息科技有限公司 一种基于单目视觉实现slam定位的方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETER HVIID CHRISTIANSEN等: "UnSuperPoint: End-to-End Unsupervised Interest Point Detector and Descriptor", 《ARXIV》 *
金靖熠: "基于卷积神经网络特征点的视觉SLAM方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516688A (zh) * 2021-07-19 2021-10-19 合肥云息通信技术有限公司 一种用于车辆的多维智能定位跟踪系统
TWI773476B (zh) * 2021-08-05 2022-08-01 財團法人車輛研究測試中心 特徵點整合定位系統及特徵點整合定位方法
CN115115669A (zh) * 2022-06-28 2022-09-27 深圳市神州云海智能科技有限公司 基于边缘设备自监督学习的终端感知定位方法及系统

Similar Documents

Publication Publication Date Title
CN112767480A (zh) 一种基于深度学习的单目视觉slam定位方法
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
WO2021098080A1 (zh) 基于边缘特征的多光谱相机外参自校正算法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN112767546A (zh) 移动机器人基于双目图像的视觉地图生成方法
WO2022228391A1 (zh) 一种终端设备定位方法及其相关设备
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN116310131A (zh) 一种考虑多视图融合策略的三维重建方法
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN113129373A (zh) 一种基于卷积神经网络的室内移动机器人视觉定位方法
CN117152243A (zh) 一种基于ptz相机单目变焦的告警定位方法
CN113793472B (zh) 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
CN115410014A (zh) 一种鱼眼图像的自监督特征点匹配方法及其存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN108534797A (zh) 一种实时高精度视觉里程计方法
CN109859263B (zh) 一种基于鱼眼镜头的宽视角定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication