CN111429515A - 基于深度学习的机器人避障行为的学习方法 - Google Patents

基于深度学习的机器人避障行为的学习方法 Download PDF

Info

Publication number
CN111429515A
CN111429515A CN202010195887.XA CN202010195887A CN111429515A CN 111429515 A CN111429515 A CN 111429515A CN 202010195887 A CN202010195887 A CN 202010195887A CN 111429515 A CN111429515 A CN 111429515A
Authority
CN
China
Prior art keywords
rgb
image
neural network
network model
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010195887.XA
Other languages
English (en)
Inventor
张宏
潘雅灵
何力
管贻生
周瑞浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Original Assignee
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute, Foshan Guangdong University CNC Equipment Technology Development Co. Ltd filed Critical Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority to CN202010195887.XA priority Critical patent/CN111429515A/zh
Publication of CN111429515A publication Critical patent/CN111429515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种基于深度学习的机器人避障行为的学习方法，包括：操控机器人在未知环境中进行避障运动，以固定帧率采集RGB‑D图像数据，并按时间序列命名保存；构建RGB图像与Depth图像融合神经网络模型，将采集到的RGB‑D图像数据集输入到RGB图像与Depth图像融合神经网络模型中；设置所述RGB图像与Depth图像融合神经网络模型的超参数，通过神经网络模型训练框架训练所述RGB图像与Depth图像融合神经网络模型，得到训练完成的融合神经网络模型；将S1中采集到的RGB‑D图像数据集输入到所述训练完成的融合神经网络模型，输出融合后的特征图像；本发明完整功能的实现可仅适用单RGB‑D相机作为输入传感器，在实际应用中，无论是成本可行性，机器人结构设计的简洁性，都具有一定优势。

Description

基于深度学习的机器人避障行为的学习方法
技术领域
本发明涉及及机器学习、模式识别领域，尤其涉及一种基于深度学习的机器人避障行为的学习方法。
背景技术
SLAM(Simultaneous localization and mapping)主要应用于在没有环境先验知识的情况下，解决机器人等在未知环境中运动时的定位和地图构建问题。使用相机作为传感器的SLAM方法称为视觉SLAM(VSLAM)。RGB-D相机作为新兴的视觉传感器，它可以同时获取周围环境的RGB图像和对每个像素的深度(Depth)信息。RGB-D相机通过红外结构，主动向物体发射并接受返回的光，测量物体离相机的距离。相比单目、双目相机，无需进行位置初始化，也无需进行大量的数据计算深度，进行半稠密、稠密地图的构建相对容易。但RGB-D相机噪声大，容易受到日光、其他多个传感器的干扰，存在室外使用效果较差的问题。
发明内容
针对上述问题，本发明提出一种基于深度学习的机器人避障行为的学习方法，主要解决背景技术中的问题。
本发明提出一种基于深度学习的机器人避障行为的学习方法，所述方法包括：
S1、操控机器人在未知环境中进行避障运动，以固定帧率采集RGB-D图像数据，并按时间序列命名保存；
S2、构建RGB图像与Depth图像融合神经网络模型，将采集到的RGB-D图像数据集输入到RGB图像与Depth图像融合神经网络模型中；
S3、设置所述RGB图像与Depth图像融合神经网络模型的超参数，通过神经网络模型训练框架训练所述RGB图像与Depth图像融合神经网络模型，得到训练完成的融合神经网络模型；
S4、将S1中采集到的RGB-D图像数据集输入到所述训练完成的融合神经网络模型，输出融合后的特征图像；
S5、将S4输出的特征图像与目标模板进行信息匹配，确定机器人前方是否存在目标物体，若存在目标物体，以融合所得的特征图像为准，将目标物体的特征信息映射到输入RGB-D图像数据，计算目标物体的位置坐标，进入下一步；若不存在目标，则机器人通过自动避障在环境中进行随机搜索。
S6、当机器人搜索到目标时，在无障碍物的情况下，直接靠近目标；若在靠近目标的过程中存在障碍物，以融合所得的特征信息为准，将障碍物的特征信息映射到输入RGB-D图像数据，计算障碍物的位置坐标，并重新进行路径规划避开障碍物靠近目标；若出现目标丢失的情况，则返回S5进行随机探索。
进一步改进在于，在所述步骤S2中，所述RGB-D图像数据集为NYU Depth DatasetV2的RGB-D公开数据集，且所述RGB-D图像数据集是通过Microsoft Kinect深度相机进行采集。
进一步改进在于，在所述步骤S3中，判断融合神经网络模型是否训练完成的条件为当所述融合神经网络模型的损失函数减少至所设定的网络精度或所述融合神经网络模型训练次数到达所设定的最大迭代次数。
进一步改进在于，在所述步骤S3中，所述神经网络模型训练框架为Pytorch或Caffe或Tensorflow。
进一步改进在于，在所述步骤2具体还包括以下步骤：
S21、使用两个预训练模型作为特征提取模型，所述RGB图像和所述Depth图像分别作为输入图像，进行初步特征提取；
S22、将预训练特征通过一个编码器网络进行降维；
S23、采用典型相关分析方法融合降维所得的两种类型的特征；
S24、采用监督学习的方式，对生成的特征图进行优化。
进一步改进在于，在所述步骤S21中，所述预训练模型为ImageNet数据集训练好的预训练模型，在使用所述预训练模型对输入图像进行特征提取的过程中，使用Feature层部分，而不使用分类层部分。
与现有技术相比，本发明的有益效果为：
(1)本发明完整功能的实现可仅适用单RGB-D相机作为输入传感器，在实际应用中，无论是成本可行性，机器人结构设计的简洁性，都具有一定优势。
(2)本发明对RGB图像数据与Depth图像数据进行融合，改善了因干扰因素导致测量深度不准确的问题。通过融合神经网络模型输出后特征图像，将特征图像映射回Depth数据，能有效得到Depth图像中显著性目标的精确范围，减少了因外界因素干扰对障碍物范围的误判，提升了算法对环境的泛化能力。
(3)本发明所设计融合网络可根据实际情况进行调整卷积层数等，通过编码器对预训练特征进行压缩，有效的减少了计算所需的参数量以及计算资源的消耗。
附图说明
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明一实施方式的方法流程示意图；
图2为本发明另一实施方式的方法流程示意图。
具体实施方式
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。下面结合附图和实施例对本发明的技术方案做进一步的说明。
在现有技术中，机器人自动避障技术较多为基于激光雷达的导航技术，激光雷达环境适应范围广，同时具有精度高的特点，然而它存在体积相对较大且价格昂贵，且易出现镜面反射等问题；而对机器人结构进行改造设计，采用放置红外线避障单元和超声波避障单元组合的形式，虽能提高机器人的避障物检测能力，但其价格仍然昂贵，且存在机器人结构复杂等问题；视觉传感器作为一种新兴技术其具备价格较为低廉，且能够获得较多的环境信息的特点。常用的视觉传感器有单目相机、双目相机、RGB-D相机。单目相机结构简单且成本较低，但单凭图像无法去确定一个物体的真实大小，虽通过相机的运动形成视差，能够测量物体的相对深度，但无法确定物体估计轨迹与真实运动轨迹的尺度。双目相机环境适应范围广，但对视差的计算非常消耗计算资源，需要GPU与FPGA加速，才能实时输出整张图像的距离信息。RGB-D相机通过传感器在硬件层面上获取图像点的深度，能够比较准确的获取深度数据，且价格较为便宜，具有一定的可靠性和实用性；相对的，基于RGB-D相机测量深度的原理，RGB-D相机存在噪声大，易受到日光、其他多个传感器干扰，存在室外使用效果较差的问题。
本发明的目的旨在于解决现有机器人避障过程中，因干扰因素造成的RGB-D数据误差，影响机器人定位、避障准确性的问题。参照图1-2，一种基于深度学习的机器人避障行为的学习方法，所述方法包括：
S1、操控机器人在未知环境中进行避障运动，以固定帧率采集RGB-D图像数据，并按时间序列命名保存；
S2、构建RGB图像与Depth图像融合神经网络模型，将采集到的RGB-D图像数据集输入到RGB图像与Depth图像融合神经网络模型中；
可以理解，RGB图像与Depth图像都能独立检测出显著性目标，通过对RGB图像与Depth图像两种不同模态数据进行互补学习，能够优化RGB-D相机受到日光、其他多个传感器等因素干扰导致测量深度不准确的问题。通过融合神经网络模型输出后特征图像，将特征图像映射回Depth数据，能有效得到Depth图像中显著性目标的精确范围，减少了因外界因素干扰对障碍物范围的误判。
S3、设置所述RGB图像与Depth图像融合神经网络模型的超参数，通过神经网络模型训练框架训练所述RGB图像与Depth图像融合神经网络模型，得到训练完成的融合神经网络模型；
S4、将S1中采集到的RGB-D图像数据集输入到所述训练完成的融合神经网络模型，输出融合后的特征图像；
S5、将S4输出的特征图像与目标模板进行信息匹配，确定机器人前方是否存在目标物体，若存在目标物体，以融合所得的特征图像为准，将目标物体的特征信息映射到输入RGB-D图像数据，计算目标物体的位置坐标，进入下一步；若不存在目标，则机器人通过自动避障在环境中进行随机搜索。
S6、当机器人搜索到目标时，在无障碍物的情况下，能够直接靠近目标；若在靠近目标的过程中存在障碍物的情况下，以融合所得的特征信息为准，将障碍物的特征信息映射到输入RGB-D图像数据，计算障碍物的位置坐标，并重新进行路径规划避开障碍物靠近目标；若出现目标丢失的情况，则返回S5进行随机探索。
具体地，在所述步骤S5和S6中，机器人被动控制在环境中直线、转向运动的自动避障和随机搜索，并在此过程中实时获取RGB-D相机的RGB图像数据和Depth图像数据。
作为本发明一优选实施方案，在所述步骤S2中，所述RGB-D图像数据集为NYUDepth Dataset V2的RGB-D公开数据集，且所述RGB-D图像数据集是通过Microsoft Kinect深度相机进行采集。
作为本发明一优选实施方案，在所述步骤S3中，判断融合神经网络模型是否训练完成的条件为当所述融合神经网络模型的损失函数减少至所设定的网络精度或所述融合神经网络模型训练次数到达所设定的最大迭代次数时。
作为本发明一优选实施方案，在所述步骤S3中，所述神经网络模型训练框架为Pytorch或Caffe或Tensorflow。
作为本发明一优选实施方案，在所述步骤2具体还包括以下步骤：
S21、使用两个预训练模型作为特征提取模型，所述RGB图像和所述Depth图像分别作为输入图像，进行初步特征提取，所述预训练模型可以为Alexnet、VGG-Net等预训练模型；
S22、将预训练特征通过一个编码器网络进行降维，因预训练模型输出特征的维度较大，将预训练特征进行压缩减少计算所需计算量，同时保持贡献较大的特征；
S23、采用典型相关分析方法融合降维所得的两种类型的特征，可以有效提取两种不同模态数据之间的互补信息，减少冗余信息；
S24、采用监督学习的方式，对生成的特征图进行优化，以提高融合后深度信息的鲁棒性和准确性。
作为本发明一优选实施方案，在所述步骤S21中，所述预训练模型为ImageNet数据集训练好的预训练模型，在使用所述预训练模型对输入图像进行特征提取的过程中，使用Feature层部分，而不使用分类层部分。
实施例1：
S1、操控机器人在未知环境中进行避障运动，通过Microsoft Kinect深度相机以固定帧率采集RGB-D图像数据，并按时间序列命名保存；
S2、构建RGB图像与Depth图像融合神经网络模型，将采集到的RGB-D图像数据集输入到RGB图像与Depth图像融合神经网络模型中；
具体包括：
S21、选择AlexNet的预训练模型作为输入数据的特征提取模型：输入数据为NYUDepth Dataset V2图像数据集，经过预训练模型特征提取后得到预训练特征；
S22将预训练特征通过一个编码器进行降维：所述编码器的网络由两个卷积层、一个批正则化层BN组成；
S23、将降维所得的特征图向量化，采用典型相关分析融合来不同模态的特征数据；
S24、通过最小化融合后的特征图与Ground Truth的误差优化模型；
S3、对构建融合网络进行训练，对用于特征提取的AlexNet模型不进行参数更新，只作为特征提取使用。基础学习率为0.001，动量参数设置为0.9，权值衰减设置为0.0005.网络的最大迭代次数为30000次；
S4、将S1所采集到的RGB-D图像输入到训练完成的神经网络模型，输出融合后的特征图像以及其他所需信息参数；
S5、将S4获取的特征图像与目标模板、RGB-D数据进行信息匹配，确定机器人前方是否存在目标物体，若存在目标物体，以融合所得的特征信息为准，将目标物体的特征信息映射到输入RGB-D数据，计算目标物体的位置坐标，进入下一步；若不存在目标，则机器人通过自动避障在环境中进行随机搜索；
S6、当机器人搜索到目标时，在无障碍物的情况下，能够直接靠近目标；若在靠近目标的过程中存在障碍物的情况下，以融合所得的特征信息为准，将障碍物的特征信息映射到输入RGB-D数据，计算障碍物的位置坐标，需重新进行路径规划避开障碍物；若出现目标丢失的情况，则需返回步骤5。
与现有技术相比，本发明的有益效果为：
(1)本发明完整功能的实现可仅适用单RGB-D相机作为输入传感器，在实际应用中，无论是成本可行性，机器人结构设计的简洁性，都具有一定优势。
(2)本发明对RGB图像数据与Depth图像数据进行融合，改善了因干扰因素导致测量深度不准确的问题。通过融合神经网络模型输出后特征图像，将特征图像映射回Depth数据，能有效得到Depth图像中显著性目标的精确范围，减少了因外界因素干扰对障碍物范围的误判，提升了算法对环境的泛化能力。
(3)本发明所设计融合网络可根据实际情况进行调整卷积层数等，通过编码器对预训练特征进行压缩，有效的减少了计算所需的参数量以及计算资源的消耗。
图中，描述位置关系仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于深度学习的机器人避障行为的学习方法，其特征在于，所述方法包括：
S1、操控机器人在未知环境中进行避障运动，以固定帧率采集RGB-D图像数据，并按时间序列命名保存；
S2、构建RGB图像与Depth图像融合神经网络模型，将采集到的RGB-D图像数据集输入到RGB图像与Depth图像融合神经网络模型中；
S3、设置所述RGB图像与Depth图像融合神经网络模型的超参数，通过神经网络模型训练框架训练所述RGB图像与Depth图像融合神经网络模型，得到训练完成的融合神经网络模型；
S4、将S1中采集到的RGB-D图像数据集输入到所述训练完成的融合神经网络模型，输出融合后的特征图像；
S5、将S4输出的特征图像与目标模板进行信息匹配，确定机器人前方是否存在目标物体，若存在目标物体，以融合所得的特征图像为准，将目标物体的特征信息映射到输入RGB-D图像数据，计算目标物体的位置坐标，进入下一步；若不存在目标，则机器人通过自动避障在环境中进行随机搜索。
S6、当机器人搜索到目标时，在无障碍物的情况下，直接靠近目标；若在靠近目标的过程中存在障碍物，以融合所得的特征信息为准，将障碍物的特征信息映射到输入RGB-D图像数据，计算障碍物的位置坐标，并重新进行路径规划避开障碍物靠近目标；若出现目标丢失的情况，则返回S5进行随机探索。
2.根据权利要求1所述的基于深度学习的机器人避障行为的学习方法，其特征在于，在所述步骤S2中，所述RGB-D图像数据集为NYU Depth Dataset V2的RGB-D公开数据集，且所述RGB-D图像数据集是通过Microsoft Kinect深度相机进行采集。
3.根据权利要求1所述的基于深度学习的机器人避障行为的学习方法，其特征在于，在所述步骤S3中，判断融合神经网络模型是否训练完成的条件为当所述融合神经网络模型的损失函数减少至所设定的网络精度或所述融合神经网络模型训练次数到达所设定的最大迭代次数。
4.根据权利要求1所述的基于深度学习的机器人避障行为的学习方法，其特征在于，在所述步骤S3中，所述神经网络模型训练框架为Pytorch或Caffe或Tensorflow。
5.根据权利要求1所述的基于深度学习的机器人避障行为的学习方法，其特征在于，在所述步骤2具体还包括以下步骤：
S21、使用两个预训练模型作为特征提取模型，所述RGB图像和所述Depth图像分别作为输入图像，进行初步特征提取；
S22、将预训练特征通过一个编码器网络进行降维；
S23、采用典型相关分析方法融合降维所得的两种类型的特征；
S24、采用监督学习的方式，对生成的特征图进行优化。
6.根据权利要求5所述的基于深度学习的机器人避障行为的学习方法，其特征在于，在所述步骤S21中，所述预训练模型为ImageNet数据集训练好的预训练模型，在使用所述预训练模型对输入图像进行特征提取的过程中，使用Feature层部分。
CN202010195887.XA 2020-03-19 2020-03-19 基于深度学习的机器人避障行为的学习方法 Pending CN111429515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195887.XA CN111429515A (zh) 2020-03-19 2020-03-19 基于深度学习的机器人避障行为的学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195887.XA CN111429515A (zh) 2020-03-19 2020-03-19 基于深度学习的机器人避障行为的学习方法

Publications (1)

Publication Number Publication Date
CN111429515A true CN111429515A (zh) 2020-07-17

Family

ID=71548193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195887.XA Pending CN111429515A (zh) 2020-03-19 2020-03-19 基于深度学习的机器人避障行为的学习方法

Country Status (1)

Country Link
CN (1) CN111429515A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
CN112965081A (zh) * 2021-02-05 2021-06-15 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN113110562A (zh) * 2021-05-25 2021-07-13 上海大学 一种基于多个广角摄像头的无人机避障装置及其避障方法
CN113359738A (zh) * 2021-06-17 2021-09-07 东莞理工学院 基于深度学习的移动机器人路径规划方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818333A (zh) * 2017-09-29 2018-03-20 爱极智（苏州）机器人科技有限公司 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN108021131A (zh) * 2017-11-28 2018-05-11 王智华 一种机器人视觉识别方法、装置及计算机可读存储介质
US20190206400A1 (en) * 2017-04-06 2019-07-04 AIBrain Corporation Context aware interactive robot
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190206400A1 (en) * 2017-04-06 2019-07-04 AIBrain Corporation Context aware interactive robot
CN107818333A (zh) * 2017-09-29 2018-03-20 爱极智（苏州）机器人科技有限公司 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN108021131A (zh) * 2017-11-28 2018-05-11 王智华 一种机器人视觉识别方法、装置及计算机可读存储介质
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林金花等: "三维语义场景复原网络" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965081A (zh) * 2021-02-05 2021-06-15 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN112965081B (zh) * 2021-02-05 2023-08-01 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
CN113110562A (zh) * 2021-05-25 2021-07-13 上海大学 一种基于多个广角摄像头的无人机避障装置及其避障方法
CN113359738A (zh) * 2021-06-17 2021-09-07 东莞理工学院 基于深度学习的移动机器人路径规划方法

Similar Documents

Publication Publication Date Title
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN111429515A (zh) 基于深度学习的机器人避障行为的学习方法
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
Yang et al. On solving mirror reflection in lidar sensing
CN107966989A (zh) 一种机器人自主导航系统
US11315264B2 (en) Laser sensor-based map generation
KR101888295B1 (ko) 레이저 거리 센서의 측정 거리에 대해 추정된 거리 유형의 신뢰성을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN114140539A (zh) 一种室内物体的位置获取方法和装置
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN113378694A (zh) 生成目标检测和定位系统及目标检测和定位的方法及装置
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN109785388A (zh) 一种基于双目摄像头的短距离精确相对定位方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN112766100A (zh) 一种基于关键点的3d目标检测方法
Schilling et al. Mind the gap-a benchmark for dense depth prediction beyond lidar
WO2023016392A1 (en) Systems and methods for pose determination of a mobile subject
Mützel et al. Geometric features for robust registration of point clouds
Wang et al. Research on calibration method of extrinsic parameters of lidar and camera carried by UAV
Hokmabadi Shaped-based IMU/Camera Tightly Coupled Object-level SLAM using Rao-Blackwellized Particle Filtering
Mazzuchelli Robotize quality inspection approach enhanced by Bayesian optimization through point Cloud based sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination