CN111915727A - 基于深度学习的agv新型slam系统 - Google Patents

基于深度学习的agv新型slam系统 Download PDF

Info

Publication number
CN111915727A
CN111915727A CN202010657972.3A CN202010657972A CN111915727A CN 111915727 A CN111915727 A CN 111915727A CN 202010657972 A CN202010657972 A CN 202010657972A CN 111915727 A CN111915727 A CN 111915727A
Authority
CN
China
Prior art keywords
depth
agv
axis
vehicle body
monocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010657972.3A
Other languages
English (en)
Inventor
陈刚
邬元富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Sawyer Robotics Co ltd
Original Assignee
Suzhou Sawyer Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Sawyer Robotics Co ltd filed Critical Suzhou Sawyer Robotics Co ltd
Priority to CN202010657972.3A priority Critical patent/CN111915727A/zh
Publication of CN111915727A publication Critical patent/CN111915727A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及AGV小车SLAM系统技术领域，公开了一种基于深度学习的AGV新型SLAM系统，包括车体、单目相机和神经网络框架；所述单目相机设置于车体上；所述车体上设置有Z轴电机和X轴转动电机；所述Z轴电机通过滚珠丝杆驱动单目电机沿Z轴移动；所述X轴旋转电机驱动单目电机饶X轴转动；所述车体内设置有计算机及配套装置；所述车体地盘设置有两个驱动轮；所述两个驱动轮分别由两个步进电机控制。本发明的场景地图的深度信息包括距离、高度等信息，可以很好地完成三维场景导航、定位、建图功能。

Description

基于深度学习的AGV新型SLAM系统
技术领域
本发明涉及一种AGV小车SLAM系统，特别涉及一种基于深度学习的AGV新型SLAM系统。
背景技术
传统的AGV(Automated Guided Vehicle)一般采用SLAM技术(simultaneouslocalizationand mapping)，AGV装有激光雷达或视觉传感器，将小车放入一个未知的环境中，打开小车的绘图与定位系统，手动控制小车在所处环境内行走一周，可在这个过程中描绘出此环境完整地二维地图、定位到自己所处的位置；将地图信息保存后，还可在未来进入此地图时，进行开机识别、全局定位，精准度高达±2cm。AGV小车还在SLAM技术的基础上，开发出了许多功能，譬如自动避障、自动巡航、防坠落等，整体来说，目前的二维建图的AGV技术已经比较成熟，并且形成了一系列的产业。但目前的二维建图技术无法识别桌子、椅子等不同维度具有不同面积的物体，无法识别所有障碍，可能会出现AGV底盘能通过障碍，但底盘上的功能架却无法通过的情况；目前的AGV只能在单个平面地图上进行工作，难以满足现在的楼房多层作业要求，当机器人进入新的楼层时，无法判断自己处于哪个楼层，进而无法选择使用哪张二维地图。
发明内容
本发明提供了AGV小车及三维重建SLAM算法，相比于传统AGV的平面地图只有雷达所处平面的距离信息，本发明的场景地图的深度信息包括距离、高度等信息，可以很好地完成三维场景导航、定位、建图功能。
本发明的工作原理：一种基于深度学习的AGV新型SLAM系统，包括车体、单目相机和神经网络框架；所述单目相机设置于车体上；所述车体上设置有Z轴电机和X轴转动电机；所述Z轴电机通过滚珠丝杆驱动单目电机沿Z轴移动；所述X轴旋转电机驱动单目电机饶X轴转动；所述车体内设置有计算机及配套装置；所述车体地盘设置有两个驱动轮；所述两个驱动轮分别由两个步进电机控制。
所述单目相机还配有红外发射器和红外深度感应器。
所述神经网络框架包括上层网络和下层网络；所述上层网络是一个U-net网络，用于提取单目相机拍摄图像的特征及估计深度的不确定性；所述下层网络是一个变分自动编码器结构(VAE)，用于编码和解码一个初始深度值。
SLAM的算法包括以下流程：
S1：通过AGV上的单目相机对场景某个方向拍摄一张深度图像(RGB)A；
S2：调整单目相机位置与姿态，拍摄不同角度的深度图像(RGB)B；
S3：将A和B用神经网络框架进行处理，利用U-net提取图像特征及估计深度的不确定性，并利用变分自动编码器编码和解码一个初始的深度值，然后联合A、B两帧图像的相关信息来优化相机位姿及进一步估计深度，实现AGV的定位与建图；
S4：AGV在不同的位置进行连续的拍摄，重复S1-S3，通过识别对应的灰度与深度的像素点，实现不同位置的场景拼接，完成整个室内三维地图的搭建，并将地图储存起来。
S5：AGV小车重新开机，进入已经建好地图的实际场景，对场景进行拍摄，并通过深度学习提取深度、结构特征与已建好的地图进行匹配实现自动定位。
所述深度图像包括彩色信息和深度信息。
本发明的有益效果为：采用单目视觉相机，不仅仅能探测到相机所在平面的障碍情况，还能感知到其他水平面的障碍，有效提高了AGV的避障能力，可以让AGV躲避开桌椅等不同水平面不同形状的障碍物。通过三维重建的SLAM系统可以绘制三维地图，突破了传统AGV只能在单个楼层自主导航的限制，可以在多个楼层乃至多幢建筑里进行导航。基于深度学习的三维重建，大大降低了工程师编程的劳动强度，通过机器的深度学习，无需工程师手动编写、导入模型，而是通过机器自主提取特征，自动建立模型，让AGV具有更高的智能水平。
附图说明
图1为网络结构示意图；
图2为为拉普拉斯分布曲线；
图3为利用双帧图像优化深度估计示意图；
图4为逐帧优化的结构图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
一种基于深度学习的AGV新型SLAM系统，包括车体、单目相机和神经网络框架；所述单目相机设置于车体上；所述车体上设置有Z轴电机和X轴转动电机；所述Z轴电机通过滚珠丝杆驱动单目电机沿Z轴移动；所述X轴旋转电机驱动单目电机饶X轴转动；所述车体内设置有计算机及配套装置；所述车体地盘设置有两个驱动轮；所述两个驱动轮分别由两个步进电机控制。
所述单目相机还配有红外发射器和红外深度感应器；所述神经网络框架包括上层网络和下层网络；所述上层网络是一个U-net网络，用于提取单目相机拍摄图像的特征及估计深度的不确定性；所述下层网络是一个变分自动编码器结构(VAE)，用于编码和解码一个初始深度值。
AGV的单目相机Z轴电机驱动沿着Z轴运动，由X轴旋转电机驱动饶X轴转动，AGV底盘采用差动轮系，两个驱动轮各自由一个步进电机进行控制，可以实现AGV在X-Y平面的任意移动以及绕Z轴的转动，同时也可以让相机实现这个运动，综上，AGV的单目相机具有六自由度运动能力，灵活性高，可以将整个室内场景拍摄进地图中，保证没有地图死角的出现。
AGV在建立好地图之后，可以在地图内设置导航点，机器人会在三维地图内进行路径规划，在规划好路径后自动巡航，并且还能在多个楼层之间轮流工作。机器人有两个驱动轮进行驱动，两个万向轮辅助行动，在不同的楼层进行移动时，需要在楼层连接处布置滑梯。
SLAM的算法包括以下流程：
S1：通过AGV上的单目相机对场景某个方向拍摄一张深度图像(RGB)A；
S2：调整单目相机位置与姿态，拍摄不同角度的深度图像(RGB)B；
S3：将A和B用神经网络框架进行处理，利用U-net提取图像特征及估计深度的不确定性，并利用变分自动编码器编码和解码一个初始的深度值，然后联合A、B两帧图像的相关信息来优化相机位姿及进一步估计深度，实现AGV的定位与建图；
S4：AGV在不同的位置进行连续的拍摄，重复S1-S3，通过识别对应的灰度与深度的像素点，实现不同位置的场景拼接，完成整个室内三维地图的搭建，并将地图储存起来。
S5：AGV小车重新开机，进入已经建好地图的实际场景，对场景进行拍摄，并通过深度学习提取深度、结构特征与已建好的地图进行匹配实现自动定位。
在上述基础上，所述深度图像包括彩色信息和深度信息。
在上述方案中，若直接通过RGB图像去估计深度信息，会得到一个非常模糊的深度图，无法直接应用在对精度要求较高的AGV小车上。本发明的双层网络结构是通过恢复深度图像的主要特征，可以得到该图像的初始深度。然后进一步的利用光强度信息去优化深度信息。
通过调整相机位置与姿态，拍摄不同角度的RGB图像B，得到深度的不确定性和图像光强度特征，得到一个另一张模糊的深度图。
将图片A、B的深度信息，结合给定位置，找到图A中像素与图B中像素的对应的区域，由于是对同一个固定场景的不同角度拍摄，通过对应像素在不同角度拍摄的位置变化，可以计算出光强度误差和几何误差。通过上述算法可以得到当前AGV距离房间结构的距离，实现机器人的初步定位，并且由二帧计算法可以得到距离的误差，对AGV的位置进行校正，并且防止误差累积；通过提高计算帧数可以提高AGV的精度等级，但同时也需要更高的计算机算力。
本方案的SLAM系统是基于深度学习，通过单目相机获取场景图像，通过深度学习提取场景深度特征等信息，实现场景的三维重建。在一开始先获取两幅图像，并联合优化他们的相对位姿和每一帧的代码，可以跟踪得到当前相机的位姿，并得到当前位置画面的关键帧，将这个关键帧添加到绘制的地图中并进行全局优化，然后继续跟踪。
本实施例中采用5赫兹的地图更新速度，不需要太频繁的添加关键帧进行地图优化，就已经可以实现AGV的实时更新地图的功能。
本发明的SLAM算法采用神经网络框架，如下图1所示，上半部分使用U-Net，左边是一个下采样的过程，将灰度图拆分为高维度的特征表示，得到的是一个抽象的特征，接着是一个带有跳层的上采样部分，负责将抽象的特征进行细化，还原到原来的尺寸，跳层的作用是联系输入图像的信息，有助于还原抽象的特征。本发明的U-Net估计了4个不同尺寸的每个像素关于深度的不确定性，并提取了图像强度特征。
然后使用这些图像强度特征对深度进行编码和解码。下半部分是一个变分自动编码器结构(VAE)，下采样通过改变卷积步长来实现，而上采样则使用双线性插值，自动编码器的瓶颈部分包括两个全连接层。然后计算平均值和方差，采用KL散度来优化这个VAE，最终输出四个等级的预测平均值μ和深度的不确定度b。
为了得到深度学习中计算机视觉的损失，本方案采用了一个类似与高斯分布的拉普拉斯分布来计算网络训练的损失，其尾部分布较重，较适用于SLAM算法。
拉普拉斯分布的函数为：
Figure BDA0002577458090000041
其分布曲线如图2所示
为此丢弃一个常数的偏移量，对其分布求对数，并且取负，可以得到：
Figure BDA0002577458090000042
本方案通过观测深度d的负对数似然值进行评估，得到一个代价项。这使得神经网络可以更好的调配计算资源，减少困难复杂区域的资源调配，转而专注于重建较为容易、擅长的三维区域。使用可能性作为代价是一种行之有效的方法，此方法已经广泛应用于计算机视觉中的深度学习领域。
将数据集的深度值转换为范围[0,1]，为此，采用了混合深度参数化，称之为接近度p
Figure BDA0002577458090000043
给定一个平均深度值a，它将[0,a]中的深度映射到[0.5,1.0](类似于常规深度)，并将[a,∞]的深度映射到[0,0.5](类似于逆深度)。
将上述网络在SceneNet RGB-D数据集上进行训练，该数据集由随机室内场景的真实渲染图组成。它可以给神经网络提供色彩和深度图像、语义标记和姿势。
本方案采用Adam优化算法，初始学习率为10。将网络训练6个周期，同时也将学习速率设置为10。
本方案采用的是双帧立体视觉来优化深度估计，一个画面需要用两张图像进行估计，因此，每一张图像IA存在一个对应的的代码CA,视角A和视角B间的变换关系为
Figure BDA0002577458090000051
上式中π是投影，π-1是反投影，
Figure BDA0002577458090000052
是视角A转换为视角B的方向旋转矩阵，
Figure BDA0002577458090000053
是视角A到视角B的位置平移矩阵。其理解方式可见图3，AGV在位置O1,拍摄含有色彩信息和深度信息的图像A，其中真实场景的点P映射在图像A的PA处，然后AGV调整摄像头，移动至位置O2,拍摄图像B，位置点P影视点为PB。其中，从O1到O2包含有旋转信息R和平移信息T。
如果应用于光强度图像，我们可以推导出以下的光度误差
Figure BDA0002577458090000054
上述表达式对其输入是可微的，我们可以用链式法则计算出相应的雅克比矩阵：
Figure BDA0002577458090000055
Figure BDA0002577458090000056
Figure BDA0002577458090000057
其中的x对应下列的三维向量斜对称矩阵：
Figure BDA0002577458090000058
Figure BDA0002577458090000059
d＝D(IA,CA)[u]
由此我们可以实现图像仿射变换，转化为后续的SLAM绘图所需用到的坐标
在后续的AGV运动中，会得到许多场景图像，为此我们将这些场景图像提取特征，用来绘制场景地图并对场景地图进行不断优化。先对每一帧图像进行映射，得到其深度信息，逐帧优化结构如图4所示。
每帧图像Ii都有对应的编码Ci和深度Di，结合估计出位姿Ti可以推导出光强度误差和几何误差，本方案通过高斯牛顿法来对其进行联合优化：
Figure BDA0002577458090000061
Figure BDA0002577458090000062
在计算完所有的误差和雅克比矩阵后，我们可以通过上面的公式找到所有帧的最优代码和位置姿态。
在算法层面还有跟踪系统，根据当前帧与关键帧配对，可以估计出两次帧数之间的相对位姿变化是多少，同时可以进一步对低分辨率的深度图像进行对齐，从而实现由粗到细的场景优化。
通过上述的同步定位和绘图的系统，在跟踪系统和绘图之间交替进行，控制AGV在场景每一处进行移动，可以实现整个场景的地图建立。
上述实施例不应以任何方式限制本发明，凡采用等同替换或等效转换的方式获得的技术方案均落在本发明的保护范围内。

Claims (5)

1.一种基于深度学习的AGV新型SLAM系统，其特征在于：包括车体、单目相机和神经网络框架；所述单目相机设置于车体上；所述车体上设置有Z轴电机和X轴转动电机；所述Z轴电机通过滚珠丝杆驱动单目电机沿Z轴移动；所述X轴旋转电机驱动单目电机饶X轴转动；所述车体内设置有计算机及配套装置；所述车体地盘设置有两个驱动轮；所述两个驱动轮分别由两个步进电机控制。
2.根据权利要求1所述的一种基于深度学习的AGV新型SLAM系统，其特征在于：所述单目相机还配有红外发射器和红外深度感应器。
3.根据权利要求1所述的一种基于深度学习的AGV新型SLAM系统，其特征在于：所述神经网络框架包括上层网络和下层网络；所述上层网络是一个U-net网络，用于提取单目相机拍摄图像的特征及估计深度的不确定性；所述下层网络是一个变分自动编码器结构(VAE)，用于编码和解码一个初始深度值。
4.根据权利要求1所述的一种基于深度学习的AGV新型SLAM系统，其特征在于：SLAM的算法包括以下流程：
S1：通过AGV上的单目相机对场景某个方向拍摄一张深度图像(RGB)A；
S2：调整单目相机位置与姿态，拍摄不同角度的深度图像(RGB)B；
S3：将A和B用神经网络框架进行处理，利用U-net提取图像特征及估计深度的不确定性，并利用变分自动编码器编码和解码一个初始的深度值，然后联合A、B两帧图像的相关信息来优化相机位姿及进一步估计深度，实现AGV的定位与建图；
S4：AGV在不同的位置进行连续的拍摄，重复S1-S3，通过识别对应的灰度与深度的像素点，实现不同位置的场景拼接，完成整个室内三维地图的搭建，并将地图储存起来；
S5：AGV小车重新开机，进入已经建好地图的实际场景，对场景进行拍摄，并通过深度学习提取深度、结构特征与已建好的地图进行匹配实现自动定位。
5.根据权利要求4所述的一种AGV小车的三维重建SLAM算法，其特征在于：所述深度图像包括彩色信息和深度信息。
CN202010657972.3A 2020-07-09 2020-07-09 基于深度学习的agv新型slam系统 Withdrawn CN111915727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010657972.3A CN111915727A (zh) 2020-07-09 2020-07-09 基于深度学习的agv新型slam系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010657972.3A CN111915727A (zh) 2020-07-09 2020-07-09 基于深度学习的agv新型slam系统

Publications (1)

Publication Number Publication Date
CN111915727A true CN111915727A (zh) 2020-11-10

Family

ID=73227733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010657972.3A Withdrawn CN111915727A (zh) 2020-07-09 2020-07-09 基于深度学习的agv新型slam系统

Country Status (1)

Country Link
CN (1) CN111915727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724379A (zh) * 2021-07-08 2021-11-30 中国科学院空天信息创新研究院 三维重建方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724379A (zh) * 2021-07-08 2021-11-30 中国科学院空天信息创新研究院 三维重建方法、装置、设备及存储介质
CN113724379B (zh) * 2021-07-08 2022-06-17 中国科学院空天信息创新研究院 融合图像与激光点云的三维重建方法及装置

Similar Documents

Publication Publication Date Title
US10953545B2 (en) System and method for autonomous navigation using visual sparse map
US11442464B2 (en) Bird's eye view map based recognition and motion prediction for autonomous systems
US11694432B2 (en) System and method for augmenting a visual output from a robotic device
CN109202885B (zh) 一种物料搬运移动复合机器人
US20230121534A1 (en) Method and electronic device for 3d object detection using neural networks
Einhorn et al. Attention-driven monocular scene reconstruction for obstacle detection, robot navigation and map building
CN116229394A (zh) 一种自动驾驶图像识别方法、装置及识别设备
EP3686776A1 (en) Method for detecting pseudo-3d bounding box to be used for military purpose, smart phone or virtual driving based-on cnn capable of converting modes according to conditions of objects and device using the same
CN115032984A (zh) 一种面向港口物流智能机器人的半自主导航方法及系统
CN112419411B (zh) 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN112907625B (zh) 应用于四足仿生机器人的目标跟随方法及系统
CN111915727A (zh) 基于深度学习的agv新型slam系统
Mutz et al. Following the leader using a tracking system based on pre-trained deep neural networks
Maier et al. Appearance-based traversability classification in monocular images using iterative ground plane estimation
Shu et al. Vision based lane detection in autonomous vehicle
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
WO2023155903A1 (en) Systems and methods for generating road surface semantic segmentation map from sequence of point clouds
US20220377973A1 (en) Method and apparatus for modeling an environment proximate an autonomous system
CN115272275A (zh) 基于rgb-d相机及神经网络模型的托盘、障碍物检测定位系统和方法
Yang et al. Towards autonomous parking using vision-only sensors
Okubo et al. Selective reconstruction of a 3-D scene with an active stereo vision system
CN117032221A (zh) 一种基于视觉和激光雷达的跟随小车控制方法及装置
Hayashi Navigation system for an autonomous robot using an ocellus camera in an indoor environment
Tsai et al. Obstacle avoidance system for wheeled mobile robots by CMOS image sensors
CN118097051A (zh) 基于关键帧模板匹配的脑启发slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201110

WW01 Invention patent application withdrawn after publication