CN112258517A - 激光雷达栅格地图的自动修图方法和装置 - Google Patents

激光雷达栅格地图的自动修图方法和装置 Download PDF

Info

Publication number
CN112258517A
CN112258517A CN202011058843.9A CN202011058843A CN112258517A CN 112258517 A CN112258517 A CN 112258517A CN 202011058843 A CN202011058843 A CN 202011058843A CN 112258517 A CN112258517 A CN 112258517A
Authority
CN
China
Prior art keywords
map
grid map
laser radar
binary
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011058843.9A
Other languages
English (en)
Inventor
高培楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Taiji Brain Intelligent Technology Co ltd
Original Assignee
Wuxi Taiji Brain Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Taiji Brain Intelligent Technology Co ltd filed Critical Wuxi Taiji Brain Intelligent Technology Co ltd
Priority to CN202011058843.9A priority Critical patent/CN112258517A/zh
Publication of CN112258517A publication Critical patent/CN112258517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种激光雷达栅格地图的自动修图方法，包括以下步骤：分别获取激光雷达扫描形成的栅格地图和摄像头拍摄的图像；所述激光雷达和摄像头配置为对准同一区域；分别将激光雷达扫描形成的栅格地图和摄像头拍摄的图像进行分割，形成同样大小的栅格；将激光雷达扫描形成的栅格地图进行二值化，得到二值化栅格地图；将摄像头拍摄的图像输入一图像识别模型，输出得到与二值化栅格地图相对应的二值化特征图；将二值化栅格地图与二值化特征图进行对比，消除二值化栅格地图中的噪声；将二值化栅格地图与二值化特征图进行对比，补足栅格地图的障碍物边界。本发明提高了修图效率。

Description

激光雷达栅格地图的自动修图方法和装置
技术领域
本发明涉及移动机器人自动定位导航技术领域，尤其是一种激光雷达栅格地图的自动修图方法。
背景技术
移动机器人想要实现自主行走，核心在于实现自主定位导航，在自主定位导航技术中会涉及到定位、建图、路径规划等问题，而地图构建的好坏将直接影响机器人的行走路径。
机器人想要到达某个目的地，需要和人类绘制地图一样，描述环境、认识环境的过程主要就是依靠地图。它利用环境地图来描述其当前环境信息，并随着使用的算法与传感器差异的不同，所采用的地图描述形式也不同，在机器人学中，地图的表示方法主要包括了格栅地图、特征点地图、直接表征法以及拓扑地图这四种。栅格地图是目前机器人应用最为广泛的地图储存方式，它看起来和人们所认知的地图区别不大，本质上就是一张位图图片，但其中每个“像素”则表示了实际环境中存在障碍物的概率分布。
目前采用传统的激光雷达方式构建栅格地图会出现以下问题：
1、缺少数据：扫描的模型通常被遮挡，部分数据丢失或者障碍物边缘不清晰；
2、噪声：所有传感器都是嘈杂的。有几种类型的噪声，包括点云扰动和异常值。这意味着一个点有一定的概率位于它被采样的地方附近的某一半径范围内（扰动），或者它可能出现在空间的任意位置（异常值），导致栅格地图中出现噪音。
目前通用的处理方式就是采用激光雷达厂家提供的Robo Studio等工具，进行人为的修图。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种激光雷达栅格地图的自动修图方法，能够实现自动修图，提高了修图效率。
第一方面，本发明实施例提出一种激光雷达栅格地图的自动修图方法，包括以下步骤：
步骤S1，分别获取激光雷达扫描形成的栅格地图和摄像头拍摄的图像；所述激光雷达和摄像头配置为对准同一区域；
步骤S2，分别将激光雷达扫描形成的栅格地图和摄像头拍摄的图像进行分割，形成同样大小的栅格；
步骤S3，将激光雷达扫描形成的栅格地图进行二值化，得到二值化栅格地图；
步骤S4，将摄像头拍摄的图像输入一图像识别模型，输出得到与二值化栅格地图相对应的二值化特征图；
步骤S5，将二值化栅格地图与二值化特征图进行对比，消除二值化栅格地图中的噪声；
步骤S6，将二值化栅格地图与二值化特征图进行对比，补足栅格地图的障碍物边界。
进一步地，步骤S1中，激光雷达扫描的边界与摄像头扫描的边界为同一圆形区域的边界。
进一步地，步骤S2中，激光雷达扫描形成的栅格地图分割后和摄像头拍摄的图像分割后，均形成1cm*1cm大小的栅格。
进一步地，步骤S4中，图像识别模型采用YOLO v3-tiny网络；
图像识别模型经过训练，训练时，首先对可能存在的障碍物都进行数据采集，并且分类，然后输入YOLO v3-tiny网络进行数据训练，使得YOLO v3-tiny网络能够进行障碍物识别分类。
进一步地，步骤S5中，将二值化栅格地图中噪声对应的黑色的栅格区像素都替换为二值化特征图中相同位置的白色像素。
第二方面，本发明实施例还提出一种激光雷达栅格地图的自动修图装置，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤。
相较于现有技术，本发明提出的方法利用摄像头捕捉的图像，在服务器端自动对激光雷达形成的栅格地图进行噪声消除以及数据补充，使栅格地图的修图不需要人工的干预，提高了修图效率，并且节约了时间及人力成本。
附图说明
图1为本发明实施例中的激光雷达扫描区域示意图。
图2为本发明实施例中激光雷达扫描形成的栅格地图分割后的示意图。
图3为本发明实施例中的需要补足的栅格地图示意图。
图4为本发明实施例中的修复后的栅格地图示意图。
图5为本发明实施例中的自动修图方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例提出一种激光雷达栅格地图的自动修图方法，其通过计算机程序实现，所述计算机程序运行于服务器上；包括以下步骤：
步骤S1，分别获取激光雷达扫描形成的栅格地图和摄像头拍摄的图像；所述激光雷达和摄像头配置为对准同一区域；
如图1所示，在一个具体的实施例中，激光雷达扫描的边界与摄像头扫描的边界为同一圆形区域的边界，由此，激光雷达和摄像头配置为对准同一区域；
步骤S2，分别将激光雷达扫描形成的栅格地图和摄像头拍摄的图像进行分割，形成同样大小的栅格；
如图2所示，激光雷达扫描形成的栅格地图分割后，形成1cm*1cm大小的栅格；同样地，摄像头拍摄的图像分割后，也形成1cm*1cm大小的栅格；
步骤S3，将激光雷达扫描形成的栅格地图进行二值化，得到二值化栅格地图；
在二值化栅格地图中，通常白色像素代表机器人的可通行区域，黑色像素代表障碍物区域；在本实施例中，由于噪声的存在，白色的可通行区域中存在数个2*2栅格大小的黑色的噪声像素块；如图2所示；
步骤S4，将摄像头拍摄的图像输入一图像识别模型，输出得到与二值化栅格地图相对应的二值化特征图；
在本实施例中，图像识别模型采用YOLO v3-tiny网络；
图像识别模型经过训练，训练时，首先对可能存在的障碍物都进行数据采集，并且分类，然后输入YOLO v3-tiny网络进行数据训练，使得YOLO v3-tiny网络能够进行障碍物识别分类；
二值化特征图中，白色像素代表机器人的可通行区域，黑色像素代表障碍物区域；
步骤S5，将二值化栅格地图与二值化特征图进行对比，消除二值化栅格地图中的噪声像素点；
在本实施例中，可以将二值化栅格地图中噪声对应的黑色的栅格区像素都替换为二值化特征图中相同位置的白色像素；
步骤S6，将二值化栅格地图与二值化特征图进行对比，补足栅格地图的障碍物边界；
在激光雷达扫描形成的栅格地图中，边界模糊区的像素有可能在二值化时被误判，如图3中框出的区域，这些区域是激光雷达未能有效检测出的障碍物边界；
服务器将这些区域用二值化特征图中相同位置对应的黑色的栅格区像素填充，与障碍物像素的颜色保持一致；
步骤S7，将修复后的栅格地图保存；如图4所示；
本发明实施例还提出一种激光雷达栅格地图的自动修图装置，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如前文所述的方法的步骤。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种激光雷达栅格地图的自动修图方法，其特征在于，包括以下步骤：
步骤S1，分别获取激光雷达扫描形成的栅格地图和摄像头拍摄的图像；所述激光雷达和摄像头配置为对准同一区域；
步骤S2，分别将激光雷达扫描形成的栅格地图和摄像头拍摄的图像进行分割，形成同样大小的栅格；
步骤S3，将激光雷达扫描形成的栅格地图进行二值化，得到二值化栅格地图；
步骤S4，将摄像头拍摄的图像输入一图像识别模型，输出得到与二值化栅格地图相对应的二值化特征图；
步骤S5，将二值化栅格地图与二值化特征图进行对比，消除二值化栅格地图中的噪声；
步骤S6，将二值化栅格地图与二值化特征图进行对比，补足栅格地图的障碍物边界。
2.如权利要求1所述的激光雷达栅格地图的自动修图方法，其特征在于，
步骤S1中，激光雷达扫描的边界与摄像头扫描的边界为同一圆形区域的边界。
3.如权利要求1所述的激光雷达栅格地图的自动修图方法，其特征在于，
步骤S2中，激光雷达扫描形成的栅格地图分割后和摄像头拍摄的图像分割后，均形成1cm*1cm大小的栅格。
4.如权利要求1所述的激光雷达栅格地图的自动修图方法，其特征在于，
步骤S4中，图像识别模型采用YOLO v3-tiny网络；
图像识别模型经过训练，训练时，首先对可能存在的障碍物都进行数据采集，并且分类，然后输入YOLO v3-tiny网络进行数据训练，使得YOLO v3-tiny网络能够进行障碍物识别分类。
5.如权利要求1所述的激光雷达栅格地图的自动修图方法，其特征在于，
步骤S5中，将二值化栅格地图中噪声对应的黑色的栅格区像素都替换为二值化特征图中相同位置的白色像素。
6.一种激光雷达栅格地图的自动修图装置，其特征在于，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如权利要求1～5中任一项所述的方法的步骤。
CN202011058843.9A 2020-09-30 2020-09-30 激光雷达栅格地图的自动修图方法和装置 Pending CN112258517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011058843.9A CN112258517A (zh) 2020-09-30 2020-09-30 激光雷达栅格地图的自动修图方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011058843.9A CN112258517A (zh) 2020-09-30 2020-09-30 激光雷达栅格地图的自动修图方法和装置

Publications (1)

Publication Number Publication Date
CN112258517A true CN112258517A (zh) 2021-01-22

Family

ID=74233938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011058843.9A Pending CN112258517A (zh) 2020-09-30 2020-09-30 激光雷达栅格地图的自动修图方法和装置

Country Status (1)

Country Link
CN (1) CN112258517A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053505A1 (en) * 2021-03-02 2022-09-07 Miele & Cie. KG Noise reduction apparatus and method for map of robot
CN115290098A (zh) * 2022-09-30 2022-11-04 成都朴为科技有限公司 一种基于变步长的机器人定位方法和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057323A (ja) * 1998-08-11 2000-02-25 Sumitomo Electric Ind Ltd 画像処理装置
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN104574406A (zh) * 2015-01-16 2015-04-29 大连理工大学 一种360度全景激光与多个视觉系统间的联合标定方法
CN104850834A (zh) * 2015-05-11 2015-08-19 中国科学院合肥物质科学研究院 基于三维激光雷达的道路边界检测方法
CN107194957A (zh) * 2017-04-17 2017-09-22 武汉光庭科技有限公司 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN108646752A (zh) * 2018-06-22 2018-10-12 奇瑞汽车股份有限公司 自动驾驶系统的控制方法及装置
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109949308A (zh) * 2019-03-05 2019-06-28 北京空间飞行器总体设计部 一种抗星光干扰的空间相对导航目标快速提取方法
CN110659552A (zh) * 2019-04-26 2020-01-07 南京理工大学 有轨电车障碍物检测及报警方法
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN110888960A (zh) * 2019-11-29 2020-03-17 深圳市银星智能科技股份有限公司 一种室内空间分区方法、装置及移动机器人
CN111089590A (zh) * 2019-12-09 2020-05-01 泉州装备制造研究所 一种视觉和激光融合的移动机器人跟踪人腿方法
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111681246A (zh) * 2020-04-27 2020-09-18 珠海市一微半导体有限公司 一种激光地图的区域分割方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057323A (ja) * 1998-08-11 2000-02-25 Sumitomo Electric Ind Ltd 画像処理装置
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN104574406A (zh) * 2015-01-16 2015-04-29 大连理工大学 一种360度全景激光与多个视觉系统间的联合标定方法
CN104850834A (zh) * 2015-05-11 2015-08-19 中国科学院合肥物质科学研究院 基于三维激光雷达的道路边界检测方法
CN107194957A (zh) * 2017-04-17 2017-09-22 武汉光庭科技有限公司 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN108646752A (zh) * 2018-06-22 2018-10-12 奇瑞汽车股份有限公司 自动驾驶系统的控制方法及装置
CN109949308A (zh) * 2019-03-05 2019-06-28 北京空间飞行器总体设计部 一种抗星光干扰的空间相对导航目标快速提取方法
CN110659552A (zh) * 2019-04-26 2020-01-07 南京理工大学 有轨电车障碍物检测及报警方法
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN110888960A (zh) * 2019-11-29 2020-03-17 深圳市银星智能科技股份有限公司 一种室内空间分区方法、装置及移动机器人
CN111089590A (zh) * 2019-12-09 2020-05-01 泉州装备制造研究所 一种视觉和激光融合的移动机器人跟踪人腿方法
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111681246A (zh) * 2020-04-27 2020-09-18 珠海市一微半导体有限公司 一种激光地图的区域分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053505A1 (en) * 2021-03-02 2022-09-07 Miele & Cie. KG Noise reduction apparatus and method for map of robot
CN115290098A (zh) * 2022-09-30 2022-11-04 成都朴为科技有限公司 一种基于变步长的机器人定位方法和系统
CN115290098B (zh) * 2022-09-30 2022-12-23 成都朴为科技有限公司 一种基于变步长的机器人定位方法和系统

Similar Documents

Publication Publication Date Title
CN110148144B (zh) 点云数据的分割方法和装置、存储介质、电子装置
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN108335302B (zh) 一种区域分割方法及装置
CN108297115B (zh) 一种机器人的自主重定位方法
WO2022188663A1 (zh) 一种目标检测方法及装置
US8116519B2 (en) 3D beverage container localizer
CN112258517A (zh) 激光雷达栅格地图的自动修图方法和装置
Son et al. Rapid 3D object detection and modeling using range data from 3D range imaging camera for heavy equipment operation
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN111026115A (zh) 一种基于深度学习的机器人避障控制方法及装置
WO2023045798A1 (zh) 一种过道区域识别方法及装置
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
JPH11144028A (ja) 月、惑星軟着陸のための画像処理装置及び画像処理方法
CN115546191A (zh) 一种基于改进RetinaNet的绝缘子缺陷检测方法及设备
CN112446299B (zh) 车流密度检测方法、系统及计算机可读存储介质
US20240087321A1 (en) Obstacle recognition method and apparatus, and device, medium and weeding robot
CN110060271B (zh) 一种鱼眼图像的分析方法、电子设备及存储介质
CN113814982A (zh) 一种焊接机器人机械手控制方法
CN115393372A (zh) 地图分区方法、装置、自主移动设备和存储介质
CN114299533A (zh) 基于人工智能的电网接线图元件和线路识别系统及方法
CN113391318B (zh) 一种移动机器人定位方法及系统
CN117132419B (zh) 一种光伏组件的编号方法
CN112433193A (zh) 一种基于多传感器的模位置定位方法及系统
CN112561927B (zh) 图像区域划分方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination