CN110363816A - 一种基于深度学习的移动机器人环境语义建图方法 - Google Patents

一种基于深度学习的移动机器人环境语义建图方法 Download PDF

Info

Publication number
CN110363816A
CN110363816A CN201910555711.8A CN201910555711A CN110363816A CN 110363816 A CN110363816 A CN 110363816A CN 201910555711 A CN201910555711 A CN 201910555711A CN 110363816 A CN110363816 A CN 110363816A
Authority
CN
China
Prior art keywords
mobile robot
pose
key frame
map
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910555711.8A
Other languages
English (en)
Other versions
CN110363816B (zh
Inventor
刘治
赖有仿
章云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910555711.8A priority Critical patent/CN110363816B/zh
Publication of CN110363816A publication Critical patent/CN110363816A/zh
Application granted granted Critical
Publication of CN110363816B publication Critical patent/CN110363816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于深度学习的移动机器人环境语义建图方法，包括以下步骤：移动机器人端采集图像数据处理，利用特征点法得到关键帧之间的位姿估计，提取关键帧上传；云计算平台采用深度卷积神经网络，通过大量训练集的训练，使得移动机器人具有识别物体的能力和建立语义地图的能力。利用深度卷积神经网络对图像识别出当前场景，最后利用图像和深度图构建出语义地图。本发明通过在移动机器人本身构建ROS节点，将采集的图像数据及运动数据发送至云平台计算处理，降低了对自身计算设备的需求，减轻了自重，同时利用云平台进行计算任务的处理降低了机器人自身资源的消耗，延长了续航时间。

Description

一种基于深度学习的移动机器人环境语义建图方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于深度学习的移动机器人环境语义建图方法。
背景技术
移动机器人是一个复杂的综合系统，其容纳了环境和自我感知，行为规划、控制与执行等多种功能，移动机器人自主执行任务的关键是准确地获得移动机器人周围环境信息。视觉SLAM技术(即时定位与地图构建)是移动机器人利用单个或多个摄像头获取环境地图和自身在环境中位姿的技术。基于多视图几何的传统视觉SLAM技术大多是利用图片中的点和线的几何信息，使得移动机器人的任务仅仅局限于定位和导航，然而对于机器人执行复杂的人机交互行为、自主决策等任务，只知道环境的几何信息是远远不够的，对于高智能化的移动机器人执行复杂的任务需要获取走位环境物体的位置等信息。
当前移动机器人识别环境物体和地图构建需要的计算资源比较大，如果直接将全部计算任务在移动机器人上则必须重量和功率较大的的计算机，但这样会增加电量的消耗大大减少了移动机器人的续航时间，同时增加了机器人整体重量，不利于机器人的灵活运动。
发明内容
本发明为克服上述现有技术中移动机器人环境物体识别和地图构建等计算任务消耗自身资源大、影响续航时间，计算设备增加自重的缺陷，提供一种基于深度学习的移动机器人环境语义建图方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于深度学习的移动机器人环境语义建图方法，包括以下步骤：
S1：利用RGB-D传感器获取移动机器人当前环境的深度图像和彩色图像，利用里程计获取运动数据，当前移动机器人创建ROS节点，利用ROS节点提取所述彩色图像的特征点，对相邻两帧彩色图像进行特征点匹配；
S2：根据步骤S1得到的相邻帧彩色图像匹配的特征点进行移动机器人相机位姿估计，选取位姿出现次数最多的姿势作为当前移动机器人相机位姿；若位姿估计失败则使用当前帧与下一帧彩色图像的匹配特征点进行重定位获取位姿；
S3：利用最小重投影误差对已获取的位姿进行局部优化，结合当前帧深度图像生成局部地图点，根据当前移动机器人相机位姿和特征点判断当前帧是否为关键帧；
S4：移动机器人利用ROS节点的订阅话题消息将当前关键帧的深度图像，彩色图像数据以及运动数据发送至云计算平台；
S5：根据当前移动机器人的相机位姿、运动数据用图优化更新移动机器人位姿信息；
S6:云计算平台利用所有从移动机器人接收的关键帧进行重投影误差优化关键帧的位姿和地图点、移除位姿误差超过预设值的关键帧
S7：对步骤S6得到的关键帧用目标检测算法进行物体检测，得到关键帧中物体的类别、位姿和概率并去除关键帧中动态物体的特征点；
S8：判断每一帧关键帧的特征点和预设关键帧特征点的相似度、通过相似度判断得到若干候选关键帧；
S9：查询候选关键帧中物体类别、位姿、和概率与当前关键帧的类别、位姿、和概率的相似度，通过相似度进行回环检测；
S10：利用回环优化的位姿、运动数据用图优化更新移动机器人位姿信息；
S11：根据S10得到的移动机器人位姿和当前关键帧生成点云地图，去除深度值大于预设值的点并进行滤波去噪处理；
S12：利用点云地图生成八叉树的结构数据地图，并将目标检测算法识别出来的物体在八叉树结构数据地图中用不同颜色标记出来，生成环境语义地图。
本方案中，步骤S2中利用ROS节点提取所述彩色图像的ORB特征点，同时使用BRIEF算子进行特征点描述，采用FLANN匹配器进行特征点匹配。
本方案中，步骤S3中将步骤S2中得到的移动机器人相机位姿为初始值，用最小化重投影误差构建最小二乘法，寻找最优的相机位姿，根据深度图生成局部地图点，最小化重投影误差代价函数如下：
其中，ξ*是位姿对应得李代数，pi是相机坐标，μi是像素坐标。
本方案中，步骤S7中使用的目标检测算法为使用YOLOv3目标检测算法，所述YOLOv3目标检测算法对关键帧中物体进行检测前，使用MS-COCO数据集作为目标检测的算法的训练数据集。
本方案中，步骤S12中，使用Octomap算法处理处理点云地图生成八叉树的结构数据地图，所述Octomap算法中的每个节点都会有一个用来判断该节点是否被占有的概率更新该节点，所述概率表达式如下：
其中，观察数据为z,节点为n。
本方案中，步骤S1采用轮式里程计获取运动数据。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过在移动机器人本身构建ROS节点，将采集的图像数据及运动数据发送至云平台计算处理，降低了对自身计算设备的需求，减轻了自重，同时利用云平台进行计算任务的处理降低了机器人自身资源的消耗，延长了续航时间。
附图说明
图1为本发明算法流程示意图。
图2为八叉树结构数据地图示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于深度学习的移动机器人环境语义建图方法，包括以下步骤：
S1：利用RGB-D传感器获取移动机器人当前环境的深度图像和彩色图像，利用轮式里程计获取运动数据，当前移动机器人创建ROS节点，利用ROS节点提取所述彩色图像的特征点，对相邻两帧彩色图像进行特征点匹配；
需要说明的是，步骤S2中利用ROS节点提取所述彩色图像的ORB特征点，同时使用BRIEF算子进行特征点描述，采用FLANN匹配器进行特征点匹配。
S2：根据步骤S1得到的相邻帧彩色图像匹配的特征点进行移动机器人相机位姿估计，选取位姿出现次数最多的姿势作为当前移动机器人相机位姿；若位姿估计失败则使用当前帧与下一帧彩色图像的匹配特征点进行重定位获取位姿；
S3：利用最小重投影误差对已获取的位姿进行局部优化，结合当前帧深度图像生成局部地图点，根据当前移动机器人相机位姿和特征点判断当前帧是否为关键帧；
需要说明的是，步骤S3中将步骤S2中得到的移动机器人相机位姿为初始值，用最小化重投影误差构建最小二乘法，寻找最优的相机位姿，根据深度图生成局部地图点，最小化重投影误差代价函数如下：
其中，ξ*是位姿对应得李代数，pi是相机坐标，μi是像素坐标。
S4：移动机器人利用ROS节点的订阅话题消息将当前关键帧的深度图像，彩色图像数据以及运动数据发送至云计算平台；
步骤S4云计算平台通过ROS的订阅机制从移动机器人节点上订阅主题名为/camera/image/compressed，的彩色图像压缩信息，主题名/camera/image/compressedDepth的深度图像信息，主题名为/odom的里程计信息。
S5：根据当前移动机器人的相机位姿、运动数据用图优化更新移动机器人位姿信息；
S6:云计算平台利用所有从移动机器人接收的关键帧进行重投影误差优化关键帧的位姿和地图点、移除位姿误差超过预设值的关键帧；
S7：对步骤S6得到的关键帧用YOLOv3目标检测算法进行物体检测，得到关键帧中物体的类别、位姿和概率并去除关键帧中动态物体的特征点；
需要说明的是，步骤S7中在使用YOLOv3目标检测算法对关键帧中物体进行检测前，使用MS-COCO数据集作为目标检测的算法的训练数据集。
采集移动机器人运行环境的物体图像，调图像的大小和格式并用labelImg进行标定用。设置训练参数，用YOLOv3进行训练得到物体的关联矩阵，得到一元势函数，并构建CRF模型。在物体图像上提取Bounding Box，通过相机模型将Bounding Box中的像素映射到三维空间中，生成物体对应的点云数据，并将提取的物体类别的概率和物体对应的点云数据融合，生成临时物体信息。判断该临时生成的物体是否在数据列表中，若已存则将该物体融如到已有物体列表中，若不存在则添加到列表末尾。构建基于物体类别概率和上下文信息的密集条件随机场物体对YOLO的检测结果进行纠正和优化。条件随机场对应的吉布斯能量方程：
E(x)＝∑iψμ(xi)+∑i＜jψp(xi，xj)
其中，x为物体类别随机变量，Z为归一化因子，ψμ是随机场图节点标注类别的概率，ψp是随机场图节点之间的相关性；
ψμ＝-log P(xi)
其中，K为图像检测出的物体数量，其中P(xi)是YOLO目标检测算法模型给出第i个物体类别的概率分布,ω是线性组合权重,μ是标记兼容性函数表示如下；
fi,j表示第i个物体和第j个物体之间的差异性大小其中，Pi,j表示第i个物体和第j个物体同时出现的概率。
S8：判断每一帧关键帧的特征点和预设关键帧特征点的相似度、通过相似度判断得到若干候选关键帧；
S9：查询候选关键帧中物体类别、位姿、和概率与当前关键帧的类别、位姿、和概率的相似度，通过相似度进行回环检测；
S10：利用回环优化的位姿、运动数据用图优化更新移动机器人位姿信息；
S11：根据S10得到的移动机器人位姿和当前关键帧生成点云地图，去除深度值大于预设值的点并进行滤波去噪处理；
S12：用Octomap算法处理点云地图生成八叉树的结构数据地图，并将YOLOv3目标检测算法识别出来的物体在八叉树结构数据地图中用不同颜色标记出来，生成环境语义地图。如2所示为八叉树结构数据地图示意图。
需要说明的是，步骤S12中，所述Octomap算法中的每个节点都会有一个用来判断该节点是否被占有的概率更新该节点，所述概率表达式如下：
其中观察数据为z,节点为n。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于深度学习的移动机器人环境语义建图方法，其特征在于，包括以下步骤：
S1：利用RGB-D传感器获取移动机器人当前环境的深度图像和彩色图像，利用里程计获取运动数据，当前移动机器人创建ROS节点，利用ROS节点提取所述彩色图像的特征点，对相邻两帧彩色图像进行特征点匹配；
S2：根据步骤S1得到的相邻帧彩色图像匹配的特征点进行移动机器人相机位姿估计，选取位姿出现次数最多的姿势作为当前移动机器人相机位姿；若位姿估计失败则使用当前帧与下一帧彩色图像的匹配特征点进行重定位获取位姿；
S3：利用最小重投影误差对已获取的位姿进行局部优化，结合当前帧深度图像生成局部地图点，根据当前移动机器人相机位姿和特征点判断当前帧是否为关键帧；
S4：移动机器人利用ROS节点的订阅话题消息将当前关键帧的深度图像，彩色图像数据以及运动数据发送至云计算平台；
S5：根据当前移动机器人的相机位姿、运动数据用图优化更新移动机器人位姿信息；
S6:云计算平台利用所有从移动机器人接收的关键帧进行重投影误差优化关键帧的位姿和地图点、移除位姿误差超过预设值的关键帧；
S7：对步骤S6得到的关键帧用目标检测算法进行物体检测，得到关键帧中物体的类别、位姿和概率并去除关键帧中动态物体的特征点；
S8：判断每一帧关键帧的特征点和预设关键帧特征点的相似度、通过相似度判断得到若干候选关键帧；
S9：查询候选关键帧中物体类别、位姿、和概率与当前关键帧的类别、位姿、和概率的相似度，通过相似度进行回环检测；
S10：利用回环优化的位姿、运动数据用图优化更新移动机器人位姿信息；
S11：根据S10得到的移动机器人位姿和当前关键帧生成点云地图，去除深度值大于预设值的点并进行滤波去噪处理；
S12：利用点云地图生成八叉树的结构数据地图，并将目标检测算法识别出来的物体在八叉树结构数据地图中用不同颜色标记出来，生成环境语义地图。
2.根据权利要求1所述的一种基于深度学习的移动机器人环境语义建图方法，其特征在于，步骤S2中利用ROS节点提取所述彩色图像的ORB特征点，同时使用BRIEF算子进行特征点描述，采用FLANN匹配器进行特征点匹配。
3.根据权利要求1所述的一种基于深度学习的移动机器人环境语义建图方法，其特征在于，步骤S3中将步骤S2中得到的移动机器人相机位姿为初始值，用最小化重投影误差构建最小二乘法，寻找最优的相机位姿，根据深度图生成局部地图点，最小化重投影误差代价函数如下：
其中，ξ*是位姿对应得李代数，pi是相机坐标，μi是像素坐标。
4.根据权利要求1所述的一种基于深度学习的移动机器人环境语义建图方法，其特征在于，步骤S7中使用的目标检测算法为YOLOv3目标检测算法，所述YOLOv3目标检测算法对关键帧中物体进行检测前，使用MS-COCO数据集作为目标检测的算法的训练数据集。
5.根据权利要求1所述的一种基于深度学习的移动机器人环境语义建图方法，其特征在于，步骤S12中，使用Octomap算法处理处理点云地图生成八叉树的结构数据地图，所述Octomap算法中的每个节点都会有一个用来判断该节点是否被占有的概率更新该节点，所述概率表达式如下：
其中观察数据为z,节点为n。
6.根据权利要求1所述的一种基于深度学习的移动机器人环境语义建图方法，其特征在于，步骤S1采用轮式里程计获取运动数据。
CN201910555711.8A 2019-06-25 2019-06-25 一种基于深度学习的移动机器人环境语义建图方法 Active CN110363816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555711.8A CN110363816B (zh) 2019-06-25 2019-06-25 一种基于深度学习的移动机器人环境语义建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555711.8A CN110363816B (zh) 2019-06-25 2019-06-25 一种基于深度学习的移动机器人环境语义建图方法

Publications (2)

Publication Number Publication Date
CN110363816A true CN110363816A (zh) 2019-10-22
CN110363816B CN110363816B (zh) 2023-05-26

Family

ID=68217136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555711.8A Active CN110363816B (zh) 2019-06-25 2019-06-25 一种基于深度学习的移动机器人环境语义建图方法

Country Status (1)

Country Link
CN (1) CN110363816B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807782A (zh) * 2019-10-25 2020-02-18 中山大学 一种视觉机器人的地图表示系统及其构建方法
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN110930519A (zh) * 2019-11-14 2020-03-27 华南智能机器人创新研究院 基于环境理解的语义orb-slam感知方法及装置
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111413691A (zh) * 2020-03-10 2020-07-14 杭州电子科技大学 一种采用分布式结构的语义定位和建图的方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN111582123A (zh) * 2020-04-29 2020-08-25 华南理工大学 一种基于信标识别与视觉slam的agv定位方法
CN112068555A (zh) * 2020-08-27 2020-12-11 江南大学 一种基于语义slam方法的语音控制型移动机器人
CN112258575A (zh) * 2020-10-13 2021-01-22 浙江大学 一种同步定位和地图构建中物体的快速识别方法
CN113609985A (zh) * 2021-08-05 2021-11-05 诺亚机器人科技(上海)有限公司 物体位姿检测方法、检测设备、机器人及可存储介质
CN113673484A (zh) * 2021-09-09 2021-11-19 上海融进电子商务有限公司 一种无人驾驶场景中的路况识别与决策的方法
WO2021249575A1 (zh) * 2020-06-09 2021-12-16 全球能源互联网研究院有限公司 一种变电作业场景的区域语义学习与地图点标识方法
CN116468940A (zh) * 2023-04-07 2023-07-21 安徽工程大学 一种基于深度学习的感知增强与运动判断算法、存储介质及设备
CN117234216A (zh) * 2023-11-10 2023-12-15 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066507A (zh) * 2017-01-10 2017-08-18 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN107066507A (zh) * 2017-01-10 2017-08-18 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NIKO SUNDERHAUF ET AL.: "Place Categorization and Semantic Mapping on a Mobile Robot", 《ARXIV:1507.02428V1》 *
李尚宇: "移动机器人语义地图构建系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807782A (zh) * 2019-10-25 2020-02-18 中山大学 一种视觉机器人的地图表示系统及其构建方法
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN110827415B (zh) * 2019-11-11 2022-08-23 吉林大学 一种全天候未知环境无人自主工作平台
CN110930519A (zh) * 2019-11-14 2020-03-27 华南智能机器人创新研究院 基于环境理解的语义orb-slam感知方法及装置
CN110930519B (zh) * 2019-11-14 2023-06-20 华南智能机器人创新研究院 基于环境理解的语义orb-slam感知方法及装置
CN110956651B (zh) * 2019-12-16 2021-02-19 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111413691A (zh) * 2020-03-10 2020-07-14 杭州电子科技大学 一种采用分布式结构的语义定位和建图的方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN111582123A (zh) * 2020-04-29 2020-08-25 华南理工大学 一种基于信标识别与视觉slam的agv定位方法
CN111582123B (zh) * 2020-04-29 2023-02-14 华南理工大学 一种基于信标识别与视觉slam的agv定位方法
WO2021249575A1 (zh) * 2020-06-09 2021-12-16 全球能源互联网研究院有限公司 一种变电作业场景的区域语义学习与地图点标识方法
CN112068555A (zh) * 2020-08-27 2020-12-11 江南大学 一种基于语义slam方法的语音控制型移动机器人
CN112258575A (zh) * 2020-10-13 2021-01-22 浙江大学 一种同步定位和地图构建中物体的快速识别方法
CN113609985B (zh) * 2021-08-05 2024-02-23 诺亚机器人科技(上海)有限公司 物体位姿检测方法、检测设备、机器人及可存储介质
CN113609985A (zh) * 2021-08-05 2021-11-05 诺亚机器人科技(上海)有限公司 物体位姿检测方法、检测设备、机器人及可存储介质
CN113673484A (zh) * 2021-09-09 2021-11-19 上海融进电子商务有限公司 一种无人驾驶场景中的路况识别与决策的方法
CN116468940B (zh) * 2023-04-07 2023-09-19 安徽工程大学 一种基于深度学习的感知增强与运动判断算法、存储介质及设备
CN116468940A (zh) * 2023-04-07 2023-07-21 安徽工程大学 一种基于深度学习的感知增强与运动判断算法、存储介质及设备
CN117234216A (zh) * 2023-11-10 2023-12-15 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质
CN117234216B (zh) * 2023-11-10 2024-02-09 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质

Also Published As

Publication number Publication date
CN110363816B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110363816A (zh) 一种基于深度学习的移动机器人环境语义建图方法
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
Gao et al. Dual-hand detection for human–robot interaction by a parallel network based on hand detection and body pose estimation
Maddalena et al. A self-organizing approach to background subtraction for visual surveillance applications
Huang et al. Retracted: Jointly network image processing: Multi‐task image semantic segmentation of indoor scene based on CNN
CN111709310B (zh) 一种基于深度学习的手势跟踪与识别方法
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN108986801A (zh) 一种人机交互方法、装置及人机交互终端
Yang et al. Real-time 3D scene layout from a single image using convolutional neural networks
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN109048918B (zh) 一种轮椅机械臂机器人的视觉引导方法
TWI759767B (zh) 智慧車運動控制方法、設備和儲存介質
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
CN113168509A (zh) 通过球体回归的n-球体上的坐标估计
Amaliya et al. Study on hand keypoint framework for sign language recognition
Qureshi et al. Vehicle detection and tracking using kalman filter over aerial images
Benabbas et al. Action recognition using direction models of motion
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
Appenrodt et al. Multi stereo camera data fusion for fingertip detection in gesture recognition systems
CN116912486A (zh) 基于边缘卷积和多维特征融合的目标分割方法、电子装置
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质
Zhang et al. A robust RGB‐D visual odometry with moving object detection in dynamic indoor scenes
Ravinder et al. An approach for gesture recognition based on a lightweight convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant