CN108665541A - 一种基于激光传感器的地图生成方法及装置和机器人 - Google Patents

一种基于激光传感器的地图生成方法及装置和机器人 Download PDF

Info

Publication number
CN108665541A
CN108665541A CN201810312694.0A CN201810312694A CN108665541A CN 108665541 A CN108665541 A CN 108665541A CN 201810312694 A CN201810312694 A CN 201810312694A CN 108665541 A CN108665541 A CN 108665541A
Authority
CN
China
Prior art keywords
point cloud
glassy zone
data
class
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810312694.0A
Other languages
English (en)
Other versions
CN108665541B (zh
Inventor
程保山
申浩
郝立良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810312694.0A priority Critical patent/CN108665541B/zh
Publication of CN108665541A publication Critical patent/CN108665541A/zh
Priority to EP18914482.7A priority patent/EP3772041A4/en
Priority to US17/044,317 priority patent/US11315264B2/en
Priority to PCT/CN2018/121051 priority patent/WO2019196476A1/zh
Application granted granted Critical
Publication of CN108665541B publication Critical patent/CN108665541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种基于激光传感器的地图生成方法及装置、机器人和计算机可读存储介质。其中，基于激光传感器的地图生成方法包括：获取图像数据，该图像数据是通过视觉传感器采集得到的；基于图像数据确定关联的激光数据中属于类玻璃区域的点云数据；降低属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重；基于调整后的权重对点云数据进行融合处理，生成地图。本申请实施例可以提高生成的地图的精度，可用性高。

Description

一种基于激光传感器的地图生成方法及装置和机器人
技术领域
本申请涉及即时定位与地图创建领域，尤其涉及一种基于激光传感器的地图生成方法及装置、机器人和计算机可读存储介质。
背景技术
随着计算机技术和人工智能的发展，智能移动机器人成为机器人领域的一个重要研究方向和研究热点。移动机器人的定位和地图创建是移动机器人领域的热点研究问题。
目前，可以利用激光传感器测量物体周围的环境数据，并将测量的环境数据进行即时定位与地图创建(Simultaneous localization and mapping，简称SLAM)计算来构建地图。然而，当前激光传感器无法识别出玻璃，使得在使用过程中SLAM受到了限制。
发明内容
有鉴于此，本申请提供一种基于激光传感器的地图生成方法及装置、机器人和计算机可读存储介质。
具体地，本申请是通过如下技术方案实现的：
根据本公开实施例的第一方面，提供一种基于激光传感器的地图生成方法，所述方法包括：
获取图像数据，所述图像数据是通过视觉传感器采集得到的；
基于所述图像数据确定激光数据中属于类玻璃区域的点云数据；
降低所述属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重；
基于调整后的权重对所述点云数据进行融合处理，生成地图。
在一实施例中，所述基于所述图像数据确定关联的激光数据中属于类玻璃区域的点云数据，包括：
识别所述图像数据中的类玻璃区域，其中，所述视觉传感器获取所述图像数据的时间段与所述激光传感器采集所述激光数据的时间段相同；
根据所述图像数据中的类玻璃区域和预先接收的所述视觉传感器与所述激光传感器之间的外参数，确定所述关联的激光数据中属于类玻璃区域的点云数据。
在一实施例中，所述识别所述图像数据中的类玻璃区域，包括：
将所述图像数据对应的图像分割成多个子图像；
通过预先训练的识别模型判断每个子图像是否属于类玻璃区域；
根据属于类玻璃区域的子图像确定所述图像数据中的类玻璃区域。
在一实施例中，所述识别所述图像数据中的类玻璃区域，包括：
将所述图像数据输入预先训练的至少两个识别模型，分别得到所述图像数据中的类玻璃区域及其识别概率；
若任一识别概率大于对应识别模型的识别概率阈值，则将通过对应识别模型识别的类玻璃区域作为所述图像数据的类玻璃区域。
在一实施例中，所述方法还包括：
若至少两个识别概率大于对应识别模型的识别概率阈值，则将对应识别模型识别的类玻璃区域的并集作为所述图像数据的类玻璃区域。
在一实施例中，所述基于调整后的权重对所述点云数据进行融合处理，生成地图，包括：
基于调整后的权重对所述点云数据进行融合，得到初始地图；
对所述初始地图进行优化后生成所述地图。
在一实施例中，所述基于调整后的权重对所述点云数据进行融合，包括：
对所述点云数据进行配准；
基于配准的点云数据的坐标向量、所述配准的点云数据对应的权重和所述配准的点云数据之间的姿态参数，计算代价函数；
通过对所述代价函数进行迭代运算，获得所述姿态参数；
基于所述姿态参数对所述配准的点云数据进行融合。
根据本公开实施例的第二方面，提供一种基于激光传感器的地图生成装置，所述装置包括：
获取模块，用于获取图像数据，所述图像数据是通过视觉传感器采集得到的；
确定模块，用于基于所述获取模块获取的所述图像数据确定关联的激光数据中属于类玻璃区域的点云数据；
调整模块，用于降低所述确定模块确定的所述属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重；
处理模块，用于基于所述调整模块调整后的权重对所述点云数据进行融合处理，生成地图。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述基于激光传感器的地图生成方法。
根据本公开实施例的第四方面，提供一种机器人，包括视觉传感器、激光传感器、处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于激光传感器的地图生成方法。
本申请实施例，基于获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据，降低属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重，然后基于调整后的权重对点云数据进行融合处理，使得权重小的点云数据以极小的概率出现在融合后的地图数据中，从而提高生成的地图的精度，可用性高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请一示例性实施例示出的一种基于激光传感器的地图生成方法的流程图；
图2A是本申请一示例性实施例示出的一种基于图像数据确定关联的激光数据中属于类玻璃区域的点云数据的流程图；
图2B是本申请一示例性实施例示出的类玻璃区域对应的识别模型的示意图一；
图2C是本申请一示例性实施例示出的类玻璃区域对应的识别模型的示意图二；
图2D是本申请一示例性实施例示出的类玻璃区域对应的识别模型的示意图三；
图2E是本申请一示例性实施例示出的类玻璃区域对应的识别模型的示意图四；
图2F是本申请一示例性实施例示出的通过第一识别模型识别出的当前图像中的类玻璃区域的示意图；
图2G是本申请一示例性实施例示出的通过第二识别模型识别出的当前图像中的类玻璃区域的示意图；
图2H是本申请一示例性实施例示出的通过第一识别模型和第二识别模型识别出的当前图像中的类玻璃区域的示意图；
图3是本申请一示例性实施例示出的一种降低属于类玻璃区域的点云数据对应的权重和提高属于非类玻璃区域的点云数据对应的权重的流程图；
图4是本申请一示例性实施例示出的一种基于调整后的权重对点云数据进行融合的流程图；
图5是本申请一示例性实施例示出的一种基于激光传感器的地图生成装置所在机器人的一种硬件结构图；
图6是本申请一示例性实施例示出的一种基于激光传感器的地图生成装置的结构框图；
图7是本申请一示例性实施例示出的另一种基于激光传感器的地图生成装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
基于激光传感器生成地图时，激光传感器没有办法探测出类玻璃区域，即激光传感器对于存在类玻璃区域的环境建图困难，发明人注意到这个问题，提出通过视觉图像辅助激光传感器检测类玻璃区域，进而生成地图的方法，该方法可应用于具有视觉传感器(即摄像机)和激光传感器的移动设备上，该移动设备可以包括但不局限于无人车、机器人等，还可以应用于服务器上，由服务器生成地图，再将地图传输给机器人，如图1所示，该方法包括：
步骤S101，获取图像数据，该图像数据是通过视觉传感器采集得到的。
其中，执行主体例如移动设备可以通过移动设备上的视觉传感器获取图像数据，也可以通过其他的视觉传感器采集图像数据，再将采集到的图像数据传输给该执行主体。
步骤S102，基于图像数据确定关联的激光数据中属于类玻璃区域的点云数据。
其中，类玻璃区域包括激光传感器检测不到，但视觉传感器可以拍摄到的透光介质区域。由于视觉传感器可以拍摄到类玻璃区域，因此，在该实施例中，可以基于视觉传感器获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据。
当图像数据和激光数据对应于同一拍摄区域时，而且视觉传感器获取图像数据的时间段与激光传感器采集激光数据的时间段相同，该激光数据就称为该图像数据的关联的激光数据。例如，视觉传感器和激光传统器在北京时间12：00～12:01这个时间段对A区域分别进行拍摄的图像数据及激光数据可以称为关联的数据。具体时间段以及A区域的划分可以根据设备情况、网络情况、拍摄区域的环境复杂度等来进行设置，这里不做具体限制。
在该实施例中，基于视觉传感器获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据，能够实现类玻璃区域的实时检测。
如图2A所示，基于图像数据确定关联的激光数据中属于类玻璃区域的点云数据可以包括：
步骤S1021，识别图像数据中的类玻璃区域。
其中，可以通过多种方式识别图像数据中的类玻璃区域，例如可以通过以下方式识别图像数据中的类玻璃区域：
第一种方式，将图像数据对应的图像分割成多个子图像，通过预先训练的识别模型判断每个子图像是否属于类玻璃区域，根据属于类玻璃区域的子图像确定图像数据中的类玻璃区域。
其中，移动设备或服务器等设备可以获取训练图片集，并可以采用卷积神经网络(Faster R-CNN)训练出识别模型，然后采用训练出的识别模型检测图像数据对应的图像的类玻璃区域。
其中，通过预先训练的识别模型判断每个子图像是否属于类玻璃区域的方式可以为：将每个子图像输入识别模型，得到每个子图像属于识别模型的概率，若该概率大于对应识别模型的概率阈值，则确定对应子图像属于类玻璃区域，若该概率小于或等于对应识别模型的概率阈值，则确定对应子图像属于非类玻璃区域。
具体地，可以按照训练识别模型时采用的分割方式，将图像数据对应的图像分割成多个子图像，并将每个子图像输入预先训练的识别模型，得到每个子图像属于识别模型的概率，若该概率大于对应识别模型的概率阈值，则确定对应子图像属于类玻璃区域，若该概率小于或等于对应识别模型的概率阈值，则确定对应子图像属于非类玻璃区域，然后根据属于类玻璃区域的子图像确定图像数据中的类玻璃区域。另外，针对每个子图像，若至少两个识别概率大于对应识别模型的识别概率阈值，则将对应识别模型识别的类玻璃区域的并集作为该子图像数据的类玻璃区域，这样获得的类玻璃区域更准确。
例如，图2B至图2E分别为类玻璃区域对应的识别模型，其中，图2E中，区域21和区域22表示同一场景，即这两个区域的像素纹理的相似性高于预设相似性阈值等，区域23可以为磨砂类玻璃区域或者贴有薄膜的类玻璃区域，区域21和区域22被区域23隔断。假设某个图像的子图像3、子图像4、子图像5和子图像6均属于图2C所示的识别模型表示的类玻璃区域，则可以确定子图像3、子图像4、子图像5和子图像6组成的区域为该图像数据的类玻璃区域。
第二种方式，将图像数据直接输入预先训练的至少两个识别模型，分别得到图像数据中的类玻璃区域及其识别概率；若任一识别概率大于对应识别模型的识别概率阈值，则将通过对应识别模型识别的类玻璃区域作为图像数据的类玻璃区域。
另外，若至少两个识别概率大于对应识别模型的识别概率阈值，则将对应识别模型识别的类玻璃区域的并集作为图像数据的类玻璃区域，这样获得的类玻璃区域更准确。
其中，移动设备或服务器等设备可以获取训练图片集，并可以采用卷积神经网络(Faster R-CNN)训练出至少两个识别模型，然后采用训练出的至少两个识别模型检测图像数据对应的图像的类玻璃区域。
假设，某个识别模型识别出图像数据中类玻璃区域所对应的识别概率大于对应识别模型的识别概率阈值，则可以将所识别出的类玻璃区域作为图像数据的类玻璃区域。
假设，两个识别模型识别出图像数据中类玻璃区域所对应的识别概率均大于对应识别模型的识别概率阈值，则可以将对应识别模型识别的类玻璃区域的并集作为图像数据的类玻璃区域。例如，图2F中示出的是通过第一识别模型识别出的当前图像中的类玻璃区域24，图2G中示出的是通过第二识别模型识别出的当前图像中的类玻璃区域25，则可以将类玻璃区域24和类玻璃区域25的并集即类玻璃区域26作为该图像的类玻璃区域，如图2H所示。
步骤S1022，根据图像数据中的类玻璃区域和预先接收的视觉传感器与激光传感器之间的外参数，确定关联的激光数据中属于类玻璃区域的点云数据。
其中，上述外参数可以由人工通过基于棋盘格标定板的激光数据鲁棒自动检测(Robust Automatic Detection in Laser Of Calibration Chessboards，简称RADLOCC)工具箱(TOOLBOX)标定，并输入到移动设备中。
上述外参数是指视觉传感器所在的坐标系和激光传感器所在的坐标系之间表示空间旋转和平移关系的参数，其表现形式可以是一个3*3的旋转矩阵和3*1的平移向量，也可以是一个4*1的四元数向量和一个3*1的平移向量。
该实施例根据图像数据中的类玻璃区域和预先接收的视觉传感器与激光传感器之间的外参数，确定关联的激光数据中属于类玻璃区域的点云数据，可以有效减少人工修正玻璃墙的工作量，提高地图的生成效率。
步骤S103，降低属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重。
在该实施例中，可以降低属于类玻璃区域的点云数据对应的权重，可以提高属于非类玻璃区域的点云数据对应的权重，还可以降低属于类玻璃区域的点云数据对应的权重和提高属于非类玻璃区域的点云数据对应的权重。
继续图1进行描述，如图3所示，降低属于类玻璃区域的点云数据对应的权重和提高属于非类玻璃区域的点云数据对应的权重可以包括：
步骤S1031，降低关联的激光数据中属于类玻璃区域的点云数据的置信度。
由于来自类玻璃区域的关联的激光数据准确性差，因此为了提高生成地图的精度，可以降低关联的激光数据中属于类玻璃区域的点云数据的置信度。
例如，可以将关联的激光数据中属于类玻璃区域的点云数据的置信度降低至0～0.1。
步骤S1032，根据降低后的置信度，降低关联的激光数据中属于类玻璃区域的点云数据对应的权重。
其中，可以根据降低后的置信度，降低关联的激光数据中属于类玻璃区域的点云数据对应的权重，即降低后的权重与降低后的置信度相关。例如，若降低后的置信度为0，则可以将对应点云数据的权重降低至0.01或0等。需要说明的是，上述0.01或0仅为示例，在实际应用中，可以根据需要调整权重大小。
步骤S1033，提高关联的激光数据中属于非类玻璃区域的点云数据的置信度。
由于来自非类玻璃区域的关联的激光数据准确性好，因此为了提高生成地图的精度，可以提高关联的激光数据中属于非类玻璃区域的点云数据的置信度。
例如，可以将关联的激光数据中属于非类玻璃区域的点云数据的置信度提高至0.9～1。
步骤S1034，根据提高后的置信度，提高关联的激光数据中属于非类玻璃区域的点云数据对应的权重。
其中，可以根据提高后的置信度，提高关联的激光数据中属于非类玻璃区域的点云数据对应的权重，即提高后的权重与提高后的置信度相关。例如，若提高后的置信度为0.9，则可以将对应点云数据的权重提高至0.99或1等。需要说明的是，上述0.99或1仅为示例，在实际应用中，可以根据需要调整权重大小。
在该实施例中，根据降低后的置信度降低关联的激光数据中属于类玻璃区域的点云数据对应的权重，根据提高后的置信度提高关联的激光数据中属于非类玻璃区域的点云数据对应的权重，为后续基于调整后的权重对点云数据进行融合处理提供了条件，也即为生成高精度的地图数据提供了条件。
步骤S104，基于调整后的权重对点云数据进行融合处理，生成地图。
继续图1进行描述，例如移动设备可以基于调整后的权重对点云数据进行融合，得到初始地图，然后对初始地图进行优化后生成地图，例如，可以对初始地图进行回环检测优化后生成地图，以进一步提高生成地图的精度。
在该实施例中，如图4所示，基于调整后的权重对点云数据进行融合可以包括：
步骤S1040，对点云数据进行配准。
步骤S1041，基于配准的点云数据的坐标向量、配准的点云数据对应的权重和配准的点云数据之间的姿态参数，计算代价函数。
假设，点云数据m_i与点云数据n_i配准，i＝0、1、2、3和4，则代价函数为：
F_cost＝∑Wi*(Xn_i–(R(Xm_i)+t))
其中，Xm_i,Xn_i为配准点云数据的坐标向量(x,y,z)，Wi为配准点云数据对应的权重，其中，若配准点云数据位于类玻璃区域，则Wi可以为0,否则可以为1，R表示Xm到Xn的旋转变化矩阵，t表示Xm到Xn的位移变化向量。
步骤S1042，通过对代价函数进行迭代运算，获得姿态参数。
在该实施例中，可以通过移动设备的码盘传感器获得R和t的估计值，然后通过F_cost对R和t求导，利用梯度下降方法不断迭代，当F_cost的值在两次迭代之后的差值变化很小时停止迭代，此时得到的R′和t′为求得的姿态参数。
步骤S1043，基于姿态参数对配准的点云数据进行融合。
在得到姿态参数之后，可以基于姿态参数对配准的点云数据进行融合。
在该实施例中，基于代价函数获得姿态参数，并基于姿态参数对配准的点云数据进行融合，实现方式简单。
上述实施例，基于获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据，降低属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重，然后基于调整后的权重对点云数据进行融合处理，使得权重小的点云数据以极小的概率出现在融合后的地图数据中，从而提高生成的地图的精度，可用性高。
与前述基于激光传感器的地图生成方法的实施例相对应，本申请还提供了基于激光传感器的地图生成装置的实施例。
本申请基于激光传感器的地图生成装置的实施例可以应用在移动设备上。其中，该移动设备可以为无人车、机器人等。也可以应用在服务器上，由服务器生成地图，再将地图传输给机器人。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。如图5所示，为本申请基于激光传感器的地图生成装置500所在机器人的一种硬件结构图，该机器人包括视觉传感器510、激光传感器520、处理器530、存储器540及存储在存储器540上并可在处理器530上运行的计算机程序，该处理器530执行该计算机程序时实现上述基于激光传感器的地图生成方法。除了图5所示的处理器530及存储器540之外，实施例中装置所在的机器人通常根据生成地图的实际功能，还可以包括其他硬件，对此不再赘述。
图6是本申请一示例性实施例示出的一种基于激光传感器的地图生成装置的结构框图，该装置可以应用于具有摄像机和激光传感器的移动设备上，如图6所示，该装置包括：获取模块61、确定模块62、调整模块63和处理模块64。
获取模块61用于获取图像数据，该图像数据是通过视觉传感器采集得到的。
确定模块62用于基于获取模块61获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据。
调整模块63用于降低确定模块62确定的属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重。
处理模块64用于基于调整模块63调整后的权重对点云数据进行融合处理，生成地图。
上述实施例，基于获取的图像数据确定关联的激光数据中属于类玻璃区域的点云数据，降低属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重，然后基于调整后的权重对点云数据进行融合处理，使得权重小的点云数据以极小的概率出现在融合后的地图数据中，从而提高生成的地图的精度，可用性高。
图7是本申请一示例性实施例示出的另一种基于激光传感器的地图生成装置的结构框图，如图7所示，在上述图6所示实施例的基础上，确定模块62可以包括：
识别子模块621用于识别图像数据中的类玻璃区域，其中，视觉传感器获取图像数据的时间段与激光传感器采集激光数据的时间段相同；
确定子模块622用于根据识别子模块621识别出的图像数据中的类玻璃区域和预先接收的视觉传感器与激光传感器之间的外参数，确定关联的激光数据中属于类玻璃区域的点云数据。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述基于激光传感器的地图生成方法，其中，计算机可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光数据存储设备等。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于激光传感器的地图生成方法，其特征在于，所述方法包括：
获取图像数据，所述图像数据是通过视觉传感器采集得到的；
基于所述图像数据确定关联的激光数据中属于类玻璃区域的点云数据；
降低所述属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重；
基于调整后的权重对所述点云数据进行融合处理，生成地图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据确定关联的激光数据中属于类玻璃区域的点云数据，包括：
识别所述图像数据中的类玻璃区域，其中，所述视觉传感器获取所述图像数据的时间段与所述激光传感器采集所述激光数据的时间段相同；
根据所述图像数据中的类玻璃区域和预先接收的所述视觉传感器与所述激光传感器之间的外参数，确定所述关联的激光数据中属于类玻璃区域的点云数据。
3.根据权利要求2所述的方法，其特征在于，所述识别所述图像数据中的类玻璃区域，包括：
将所述图像数据对应的图像分割成多个子图像；
通过预先训练的识别模型判断每个子图像是否属于类玻璃区域；
根据属于类玻璃区域的子图像确定所述图像数据中的类玻璃区域。
4.根据权利要求2所述的方法，其特征在于，所述识别所述图像数据中的类玻璃区域，包括：
将所述图像数据输入预先训练的至少两个识别模型，分别得到所述图像数据中的类玻璃区域及其识别概率；
若任一识别概率大于对应识别模型的识别概率阈值，则将通过对应识别模型识别的类玻璃区域作为所述图像数据的类玻璃区域。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若至少两个识别概率大于对应识别模型的识别概率阈值，则将对应识别模型识别的类玻璃区域的并集作为所述图像数据的类玻璃区域。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于调整后的权重对所述点云数据进行融合处理，生成地图，包括：
基于调整后的权重对所述点云数据进行融合，得到初始地图；
对所述初始地图进行优化后生成所述地图。
7.根据权利要求6所述的方法，其特征在于，所述基于调整后的权重对所述点云数据进行融合，包括：
对所述点云数据进行配准；
基于配准的点云数据的坐标向量、所述配准的点云数据对应的权重和所述配准的点云数据之间的姿态参数，计算代价函数；
通过对所述代价函数进行迭代运算，获得所述姿态参数；
基于所述姿态参数对所述配准的点云数据进行融合。
8.一种基于激光传感器的地图生成装置，其特征在于，所述装置包括：
获取模块，用于获取图像数据，所述图像数据是通过视觉传感器采集得到的；
确定模块，用于基于所述获取模块获取的所述图像数据确定关联的激光数据中属于类玻璃区域的点云数据；
调整模块，用于降低所述确定模块确定的所述属于类玻璃区域的点云数据对应的权重，和/或提高属于非类玻璃区域的点云数据对应的权重；
处理模块，用于基于所述调整模块调整后的权重对所述点云数据进行融合处理，生成地图。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的基于激光传感器的地图生成方法。
10.一种机器人，其特征在于，包括视觉传感器、激光传感器、处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一所述的基于激光传感器的地图生成方法。
CN201810312694.0A 2018-04-09 2018-04-09 一种基于激光传感器的地图生成方法及装置和机器人 Active CN108665541B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810312694.0A CN108665541B (zh) 2018-04-09 2018-04-09 一种基于激光传感器的地图生成方法及装置和机器人
EP18914482.7A EP3772041A4 (en) 2018-04-09 2018-12-14 LASER SENSOR BASED MAP GENERATION
US17/044,317 US11315264B2 (en) 2018-04-09 2018-12-14 Laser sensor-based map generation
PCT/CN2018/121051 WO2019196476A1 (zh) 2018-04-09 2018-12-14 基于激光传感器生成地图

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810312694.0A CN108665541B (zh) 2018-04-09 2018-04-09 一种基于激光传感器的地图生成方法及装置和机器人

Publications (2)

Publication Number Publication Date
CN108665541A true CN108665541A (zh) 2018-10-16
CN108665541B CN108665541B (zh) 2019-06-07

Family

ID=63783158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810312694.0A Active CN108665541B (zh) 2018-04-09 2018-04-09 一种基于激光传感器的地图生成方法及装置和机器人

Country Status (4)

Country Link
US (1) US11315264B2 (zh)
EP (1) EP3772041A4 (zh)
CN (1) CN108665541B (zh)
WO (1) WO2019196476A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196476A1 (zh) * 2018-04-09 2019-10-17 北京三快在线科技有限公司 基于激光传感器生成地图
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN113467450A (zh) * 2021-07-01 2021-10-01 北京小狗吸尘器集团股份有限公司 无人机器控制方法、装置、计算机设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114612929A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 基于信息融合的人体跟踪方法、系统及可读存储介质
WO2022133697A1 (zh) * 2020-12-22 2022-06-30 北京洛必德科技有限公司 移动机器人地图构建方法、装置、计算机设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724382B (zh) * 2021-07-23 2024-07-02 北京搜狗科技发展有限公司 地图生成方法、装置及电子设备
CN114322987B (zh) * 2021-12-27 2024-02-23 北京三快在线科技有限公司 一种构建高精地图的方法及装置
CN114577198B (zh) * 2022-01-18 2024-02-02 辽宁华盾安全技术有限责任公司 一种高反物体定位方法、装置及终端设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197439A1 (en) * 2011-01-28 2012-08-02 Intouch Health Interfacing with a mobile telepresence robot
CN103884330A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
CN104574387A (zh) * 2014-12-29 2015-04-29 张家港江苏科技大学产业技术研究院 水下视觉slam系统中的图像处理方法
CN105136155A (zh) * 2015-09-24 2015-12-09 联想(北京)有限公司 一种导航方法及电子设备
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106813672A (zh) * 2017-01-22 2017-06-09 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
US20180003822A1 (en) * 2016-07-01 2018-01-04 Baidu Online Network Technology (Beijing) Co., Ltd Environmental sensing device and information acquiring method applied to environmental sensing device
CN107860390A (zh) * 2017-12-21 2018-03-30 河海大学常州校区 基于视觉ros系统的非完整机器人远程定点自导航方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104916216A (zh) 2015-06-26 2015-09-16 深圳乐行天下科技有限公司 一种地图构建方法及系统
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
CN107703935A (zh) * 2017-09-12 2018-02-16 安徽胜佳和电子科技有限公司 多个数据权重融合进行避障的方法、存储装置及移动终端
CN108665541B (zh) * 2018-04-09 2019-06-07 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197439A1 (en) * 2011-01-28 2012-08-02 Intouch Health Interfacing with a mobile telepresence robot
CN103884330A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
CN104574387A (zh) * 2014-12-29 2015-04-29 张家港江苏科技大学产业技术研究院 水下视觉slam系统中的图像处理方法
CN105136155A (zh) * 2015-09-24 2015-12-09 联想(北京)有限公司 一种导航方法及电子设备
US20180003822A1 (en) * 2016-07-01 2018-01-04 Baidu Online Network Technology (Beijing) Co., Ltd Environmental sensing device and information acquiring method applied to environmental sensing device
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106813672A (zh) * 2017-01-22 2017-06-09 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
CN107860390A (zh) * 2017-12-21 2018-03-30 河海大学常州校区 基于视觉ros系统的非完整机器人远程定点自导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏杨: "基于激光雷达的即时定位与制图技术", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196476A1 (zh) * 2018-04-09 2019-10-17 北京三快在线科技有限公司 基于激光传感器生成地图
US11315264B2 (en) 2018-04-09 2022-04-26 Beijing Sankuai Online Technology Co., Ltd Laser sensor-based map generation
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
US11210801B1 (en) 2020-10-26 2021-12-28 Tsinghua University Adaptive multi-sensor data fusion method and system based on mutual information
CN114612929A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 基于信息融合的人体跟踪方法、系统及可读存储介质
WO2022133697A1 (zh) * 2020-12-22 2022-06-30 北京洛必德科技有限公司 移动机器人地图构建方法、装置、计算机设备和存储介质
CN113467450A (zh) * 2021-07-01 2021-10-01 北京小狗吸尘器集团股份有限公司 无人机器控制方法、装置、计算机设备及存储介质
CN114078151A (zh) * 2022-01-19 2022-02-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3772041A1 (en) 2021-02-03
EP3772041A4 (en) 2021-05-26
WO2019196476A1 (zh) 2019-10-17
US11315264B2 (en) 2022-04-26
US20210082132A1 (en) 2021-03-18
CN108665541B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN108665541B (zh) 一种基于激光传感器的地图生成方法及装置和机器人
Dai et al. Rgb-d slam in dynamic environments using point correlations
EP3766044B1 (en) Three-dimensional environment modeling based on a multicamera convolver system
CN107564012B (zh) 面向未知环境的增强现实方法及装置
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
CN104904200B (zh) 捕捉运动场景的设备、装置和系统
CN110648363B (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
CN106033621B (zh) 一种三维建模的方法及装置
EP3274964B1 (en) Automatic connection of images using visual features
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
JP7138361B2 (ja) ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN107851331A (zh) 平滑对象的三维模型以减轻伪影
CN109934165A (zh) 一种关节点检测方法、装置、存储介质及电子设备
CN115393538A (zh) 基于深度学习的室内动态场景的视觉slam方法及系统
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
CA3069813A1 (en) Capturing, connecting and using building interior data from mobile devices
CN110111341B (zh) 图像前景获取方法、装置及设备
Schöntag et al. Towards cross domain transfer learning for underwater correspondence search
KR20230049969A (ko) 글로벌 측위 장치 및 방법
WO2023086398A1 (en) 3d rendering networks based on refractive neural radiance fields
CN115511970A (zh) 一种面向自主泊车的视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant