CN113670292B - 地图的绘制方法和装置、扫地机、存储介质、电子装置 - Google Patents

地图的绘制方法和装置、扫地机、存储介质、电子装置 Download PDF

Info

Publication number
CN113670292B
CN113670292B CN202110914719.6A CN202110914719A CN113670292B CN 113670292 B CN113670292 B CN 113670292B CN 202110914719 A CN202110914719 A CN 202110914719A CN 113670292 B CN113670292 B CN 113670292B
Authority
CN
China
Prior art keywords
target
area
image
obstacle
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110914719.6A
Other languages
English (en)
Other versions
CN113670292A (zh
Inventor
李建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dreame Innovation Technology Suzhou Co Ltd
Original Assignee
Dreame Innovation Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dreame Innovation Technology Suzhou Co Ltd filed Critical Dreame Innovation Technology Suzhou Co Ltd
Priority to CN202110914719.6A priority Critical patent/CN113670292B/zh
Publication of CN113670292A publication Critical patent/CN113670292A/zh
Priority to PCT/CN2022/105974 priority patent/WO2023016188A1/zh
Application granted granted Critical
Publication of CN113670292B publication Critical patent/CN113670292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles

Abstract

本发明实施例提供了一种地图的绘制方法和装置、扫地机、存储介质、电子装置,上述地图的绘制方法包括:基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物。通过上述方案,解决了相关技术中存在的无法有效识别障碍物的信息的问题。

Description

地图的绘制方法和装置、扫地机、存储介质、电子装置
【技术领域】
本发明涉及通信领域,具体而言,涉及一种地图的绘制方法和装置、扫地机、存储介质、电子装置。
【背景技术】
随着科技的发展,各种智能家居层出不穷,用户的生活质量随着智能家居的出现不断提高,一些具备自主行驶能力的智能机器人(例如,扫地机)的出现,极大地解放了用户的双手,提高了用户的生活质量。
当前,智能机器人在行驶过程中,主要是基于预先绘制出的地图进行避障处理,但是,在预先绘制地图时,所采用的传感器较为单一,而单一传感器存在其局限性,如使用相机传感器则对障碍物位置定位的不够精准,使用激光类传感器无法感知障碍类型和地面液体污渍等。基于多传感器的目前只有相机+TOF传感器,该方法可以实现对障碍物类型的识别,但其对障碍物位置的定位存在问题,从而导致后续出现一些问题,例如,导致清扫覆盖率降低。
由此可知,在相关技术中存在无法有效识别障碍物的信息的问题。针对该问题,目前尚未提出有效的解决方案。
【发明内容】
本发明实施例提供了一种地图的绘制方法和装置、扫地机、存储介质、电子装置,以至少解决相关技术中存在的无法有效识别障碍物的信息的问题。
根据本发明的一个实施例,提供了一种地图的绘制方法,包括:基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物。
在一个示例性实施例中,对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型包括:通过目标模型对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述目标模型是使用了标注了障碍物的类型的图像样本对初始模型进行训练所得到的。
在一个示例性实施例中,在对所述栅格地图与所述区域图像进行位置匹配之后,所述方法还包括:对所述第一栅格点以及所述第一栅格点周围的栅格点进行聚类处理,以确定所述栅格地图中包含的用于指示完整的所述目标障碍物的第二栅格点,其中,所述第二栅格点包括所述第一栅格点;为所述第二栅格点中包括的除所述第一栅格点之外的其他栅格点附加所述类型信息,以得到所述目标栅格地图。
在一个示例性实施例中,在得到目标栅格地图之后,所述方法还包括:基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化;基于所述目标障碍物的位置变化状态更新为所述栅格地图中包含的栅格点所附加的类型信息。
在一个示例性实施例中,基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化包括:在确定所述多张区域图像中包括有连续的预定数量的第一图像的情况下,确定所述目标障碍物的位置发生变化,其中,在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系,所述多张区域图像包括所述第一图像和所述第二图像,且所述第二图像为在所述第一图像之前拍摄的图像。
在一个示例性实施例中,在得到所述目标栅格地图之后,所述方法还包括:将所述目标栅格地图配置给具备自动行驶能力的目标设备,以指示所述目标设备在所述目标区域中行驶时,基于所述目标栅格地图在所述目标区域中执行避障处理。
根据本发明的另一个实施例,提供了一种地图的绘制装置,包括:确定模块,用于基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;识别模块,用于对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;处理模块,用于对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物。
根据本发明的另一个实施例,提供了一种扫地机,包括:点云测量传感器,用于获取所述目标区域的所述点云数据;处理器,其中,所述处理器包括如前述实施例所述的地图的绘制装置;以及,所述摄像设备。
根据本发明的另一个实施例,提供了一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述任一项实施例中所述的方法。
根据本发明的另一个实施例,提供了一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述任一项实施例中所述的方法。
通过本发明,在绘制栅格地图时,可以结合摄像设备所拍摄的图像来确定障碍物的类型,进而将障碍物的类型也附加到栅格地图中包括的栅格点中,进而,可以实现基于栅格地图即能确定障碍物的位置、大小以及类型,保证了获取的障碍物信息的全面性,有效解决了相关技术中存在的无法有效识别障碍物的信息的问题。
【附图说明】
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种地图的绘制方法的移动机器人的硬件结构框图;
图2是根据本发明实施例的地图的绘制方法的流程图;
图3是根据本发明实施例的地图的绘制装置的结构框图。
【具体实施方式】
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动机器人,或者类似的运算装置中执行。以运行在移动机器人上为例,图1是本发明实施例的一种地图的绘制方法的移动机器人的硬件结构框图。如图1所示,移动机器人可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述移动机器人还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动机器人的结构造成限定。例如,移动机器人还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的移动机器人的清洁方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动机器人的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种地图的绘制方法,如图2所示,该方法包括如下步骤:
S202,基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;
S204,对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;
S206,对所述栅格地图与所述区域图像进行位置匹配,并基于匹配结果以便于为所述栅格地图中包含的用于指示所述目标障碍物的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物。
其中,上述操作的执行主体可以是智能机器人(例如,扫地机),或者是智能机器人内设置的处理器,或者其他的具备类似处理能力的设备。上述目标区域可以是卧室、客厅、书房、餐厅、办公室等室内场所,此外,上述目标区域还可以是室外的部分区域,例如,健身广场等。上述的目标障碍物可以包括但不限于宠物粪便、插排、手机充电线、风扇底座、鞋、线状物等。
在上述实施例中,在对所述目标区域的区域图像进行识别之前,需要先获取上述区域图像,其中,确定栅格地图和获取区域图像的操作没有必然的先后顺序,可以先确定栅格地图再获取区域图像,可以先获取区域图像再确定栅格地图,或者同时执行确定栅格地图和获取区域图像的操作。在本实施例中,可以由该智能机器人内置的点云测量传感器来测量目标区域的点云数据,进而基于点云数据确定栅格地图,将点云数据转换成栅格地图可以有效减少存储与计算量。其中,基于点云数据确定栅格地图的方式可以包括如下方式:基于点云数据得到目标区域下的每个采样点的三维坐标,根据确定出的三维坐标将每个采样点投射到初始栅格地图对应的栅格上,以得到上述栅格地图,其中,初始栅格地图可以采用常规的创建栅格地图的方式创建。
此外,上述摄像设备可以是AI(人工智能,Artificial Intelligence)相机,其中,该AI相机可以为预先训练好的能够识别障碍物类型的相机,从而可以实现在拍摄到区域图像后,即可利用该AI相机对该区域图像进行AI检测,以确定出目标区域中包括的障碍物的类型。
在上述实施例中,栅格地图可以是点云3D栅格地图,在确定出栅格地图以及获取到区域图像后,可以将点云3D栅格地图中的栅格点投影到AI相机图像上。投影到AI检测框内的点就是和AI检测的障碍物对应的3D空间点,这时即可将AI语义信息附加到这部分栅格点上,从而实现在地图中写入包含语义的障碍物信息。需要说明的是,通过3D栅格地图可以确定出障碍物的精确位置以及大小,通过AI相机拍摄的区域图像能够确定出障碍物的类型,由此可知,通过结合AI与点云的障碍物感知方式能够实现有效确定出障碍物的位置、大小及类型,保证了获取的障碍物的信息的全面性。
通过本发明,在绘制栅格地图时,可以结合摄像设备所拍摄的图像来确定障碍物的类型,进而将障碍物的类型也附加到栅格地图中包括的栅格点中,进而,可以实现基于栅格地图即能确定障碍物的位置、大小以及类型,保证了获取的障碍物信息的全面性,有效解决了相关技术中存在的无法有效识别障碍物的信息的问题。
在一个示例性实施例中,在得到所述目标栅格地图之后,所述方法还包括:将所述目标栅格地图配置给具备自动行驶能力的目标设备,以指示所述目标设备在所述目标区域中行驶时,基于所述目标栅格地图在所述目标区域中执行避障处理。其中,目标设备可以包括扫地机,在本实施例中,通过使用AI+点云进行融合避障,在AI功能的加持下可以实现对周围障碍物的精准认知,包括对障碍物位置的精准定位和对障碍物类型的准确识别,从而帮助扫地机进行更加智能、精准的避障。此外,在本实施例中,扫地机在目标区域中行驶时,可以基于障碍物的类型执行与障碍物的类型对应的避障处理,其中,可以预先配置与障碍物类型对应的避障处理方式,不同类型的障碍物可以采用不同的避障处理方式,例如,对于动物粪便选择从侧边偏远的位置绕过的避障处理的方式,以免周围散落的粪便污染扫地机,对于桌腿、椅子腿、圆墩等类型的障碍物可以采用贴近障碍物的边缘染过的避障处理的方式,从而保证有效清洁桌子、椅子以及圆顿周围的地面的目的。
在一个示例性实施例中,对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型包括:通过目标模型对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述目标模型是使用了标注了障碍物的类型的图像样本对初始模型进行训练所得到的。在本实施例中,可以预先利用训练数据训练神经网络模型,以得到训练完成的具备障碍物类型识别能力的上述目标模型,其中,在采集训练数据时,可以通过内测用户、供应商等采集特定类型的区域中的各类障碍物样本共10万张(或者更多张)图片,并对图片进行标定以构建训练数据集。在丰富的数据集的训练下,AI模型对常见障碍物的识别率和准确率都达到较高水平。在本实施例中,可以根据智能机器人工作的地点来采集训练数据,即,主要采集和智能机器人工作的地点同类型的区域的图像,从而保证智能机器人能够有效识别特定区域中的障碍物的类型。
在一个示例性实施例中,在对所述栅格地图与所述区域图像进行位置匹配之后,所述方法还包括:对所述第一栅格点以及所述第一栅格点周围的栅格点进行聚类处理,以确定所述栅格地图中包含的用于指示完整的所述目标障碍物的第二栅格点,其中,所述第二栅格点包括所述第一栅格点;为所述第二栅格点中包括的除所述第一栅格点之外的其他栅格点附加所述类型信息,以得到所述目标栅格地图。在本发明实施例中,是以先为栅格点附加类型信息之后,再对多个栅格点执行聚类处理为例进行说明的,在实际应用中,也可以先对多个栅格点进行聚类处理,然后再为聚类后的栅格点附加类型信息。区别于现有的一些单目AI或TOF-AI机器避障时距离障碍物过远,本发明实施例中可以基于多角度观测结果的融合膨胀策略(或称为聚类策略)能够实现精准的避障。单目AI或TOF-AI方案对障碍物位置的估计通常不够完整,只能看到部分障碍物,而为了避免碰撞,往往会将障碍物占用面积扩大,导致避障距离过远。AI相机能在不同角度看到障碍物,但往往与点云栅格融合出的结果也同样只是完整障碍物的一部分,但本发明实施例中可以基于点云的融合(或称为聚类)的结果,在点云3D栅格地图中标记语义信息后,对具有语义信息的这部分栅格点四周进行搜索膨胀,其中,该搜索膨胀实际上就是在已搜索到的障碍物(已搜索到的障碍物可能是不完整的,可能是某个障碍物的一部分)的周围继续进行搜索,以得到完整的障碍物,通过膨胀可以将原本只检测到部分的障碍物补全。在地图上的表现就是障碍物占用面积由原本的一部分生长成与实际匹配的完整障碍物。通过膨胀生长的策略(或称为聚类策略),本发明可以使得智能机器人在避障的时候更加精准,对于扫地机而言,还可以有效提高扫地机的清扫覆盖率。
在一个示例性实施例中,在得到目标栅格地图之后,所述方法还包括:基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化;基于所述目标障碍物的位置变化状态更新为所述栅格地图中包含的栅格点所附加的类型信息。在本实施例中,在目标区域中可能会存在一些动态障碍物,或者可能会存在人为移动障碍物情况,在该情况下,需要对目标区域中的障碍物位置进行实时更新,从而保证栅格地图的精准度。基于单AI或TOF-AI地方案往往无法准确定位障碍物,同样地也不能准确地删除动态障碍物和误检障碍物,这往往是因为AI对障碍物距离估计不准;其他单传感器如TOF或线激光,通常需要距离障碍物很近地时候才能将障碍物删除,效率较低。而在本发明实施例中可以通过结合AI相机和线激光传感器(对应于上述的点云测量传感器)来进行障碍物更新操作。通过本发明实施例,能够更加稳定快速地删除动态障碍物和误检障碍物。
在一个示例性实施例中,基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化包括:在确定所述多张区域图像中包括有连续的预定数量的第一图像的情况下,确定所述目标障碍物的位置发生变化,其中,在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系,所述多张区域图像包括所述第一图像和所述第二图像,且所述第二图像为在所述第一图像之前拍摄的图像。在本实施例中,首先会对根据AI识别结果(即,基于对摄像设备所持续拍摄的图像进行障碍物识别的识别结果)对之前识别的障碍物进行识别失败计数,其中,识别失败可以包括障碍物类型变更和障碍物消失等情况,在本实施例中,可以是一张图像对应一次计数次数,当AI识别失败计数达到阈值(即,上述第一图像的数量达到预定数量,例如,3张、5张、8张等)时,即对障碍物类型进行更新或删除;此外,通过不停地累计点云,点云3D栅格图中没有障碍物的地方会被更新为地面点,如果某障碍物占据的地图区域被更新为地面点的百分比超过一定阈值(例如,50%、70%、85%等,对应于上述的在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系),该障碍物也将被更新或删除。
综上,本发明实施例通过AI模型训练、AI+点云融合感知、膨胀生长、动态更新或删除等策略实现了AI+线激光的融合感知方案,从而帮助智能机器人更精准、更智能的避障。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种地图的绘制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的地图的绘制装置的结构框图,如图3所示,该装置包括:
确定模块32,用于基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;
识别模块34,用于对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;
处理模块36,用于对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物。
在一个示例性实施例中,上述识别模块34包括:
识别单元,用于通过目标模型对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述目标模型是使用了标注了障碍物的类型的图像样本对初始模型进行训练所得到的。
在一个示例性实施例中,上述装置还包括:
聚类模块,用于在对所述栅格地图与所述区域图像进行位置匹配之后,对所述第一栅格点以及所述第一栅格点周围的栅格点进行聚类处理,以确定所述栅格地图中包含的用于指示完整的所述目标障碍物的第二栅格点,其中,所述第二栅格点包括所述第一栅格点;
附加模块,用于为所述第二栅格点中包括的除所述第一栅格点之外的其他栅格点附加所述类型信息,以得到所述目标栅格地图。
在一个示例性实施例中,上述装置还包括:更新模块,用于在得到目标栅格地图之后,基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化;基于所述目标障碍物的位置变化状态更新为所述栅格地图中包含的栅格点所附加的类型信息。
在一个示例性实施例中,上述更新模块可以通过如下方式确定所述目标障碍物的位置发生变化:在确定所述多张区域图像中包括有连续的预定数量的第一图像的情况下,确定所述目标障碍物的位置发生变化,其中,在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系,所述多张区域图像包括所述第一图像和所述第二图像,且所述第二图像为在所述第一图像之前拍摄的图像。
在一个示例性实施例中,上述装置还包括配置模块,用于在得到所述目标栅格地图之后,将所述目标栅格地图配置给具备自动行驶能力的目标设备,以指示所述目标设备在所述目标区域中行驶时,基于所述目标栅格地图在所述目标区域中执行避障处理。
根据本发明的另一个实施例,提供了一种扫地机,包括:点云测量传感器,用于获取所述目标区域的所述点云数据;处理器,其中,所述处理器包括如前述实施例所述的地图的绘制装置;以及,所述摄像设备。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中,上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S11,基于已获取的目标区域的点云数据确定所述目标区域的栅格地图,以及,获取由摄像设备对所述目标区域进行拍摄后所得到的区域图像;
S12,对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型;
S13,对所述栅格地图与所述区域图像进行位置匹配,并基于匹配结果为所述栅格地图中包含的用于指示所述目标障碍物的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
在一个示例性实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S21,基于已获取的目标区域的点云数据确定所述目标区域的栅格地图,以及,获取由摄像设备对所述目标区域进行拍摄后所得到的区域图像;
S22,对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型;
S23,对所述栅格地图与所述区域图像进行位置匹配,并基于匹配结果为所述栅格地图中包含的用于指示所述目标障碍物的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
本发明实施例通过对不同类型的障碍物进行图像采集,将图像用于AI模型进行训练,使得AI相机能够识别出不同类型的障碍物,同时基于激光传感器进行精准的测距,融合感知输出具备语义信息的障碍物,并将障碍物语义信息写入导航地图中,使得智能机器人(例如,扫地机)可以根据不同类型障碍物采取不同的避障策略。现有的诸多技术主要通过单传感器进行避障,使用单目相机避障的方案存在避障不够精准的问题,而使用激光类传感器的方案避障虽然够准确,但由于缺乏语义信息导致避障策略单一;诸如此类方案都难以适应越来越复杂的家庭环境,而本发明基于多传感器融合的方案可以很好的进行精准的智能避障,提升智能机器人的性能。
对于扫地机而言,本发明可以解决扫地机无法识别障碍物而引起的:避障过近、碰撞、碾压高风险障碍物的问题(如宠物粪便、液体污渍等),同时解决因障碍物定位不精准等引起的碰撞、碾压问题,从而使得扫地机能够更加智能、更加精准地进行避障。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种地图的绘制方法,其特征在于,包括:
基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;
对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;
对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物;
所述方法还包括:基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化;基于所述目标障碍物的位置变化状态更新为所述栅格地图中包含的栅格点所附加的类型信息;
所述基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化包括:在确定所述多张区域图像中包括有连续的预定数量的第一图像的情况下,确定所述目标障碍物的位置发生变化,其中,在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系,所述多张区域图像包括所述第一图像和所述第二图像,且所述第二图像为在所述第一图像之前拍摄的图像;其中,所述预定关系包括:所述目标障碍物占据的地图区域被更新为地面点的百分比超过阈值。
2.根据权利要求1所述的方法,其特征在于,对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型包括:
通过目标模型对所述区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述目标模型是使用了标注了障碍物的类型的图像样本对初始模型进行训练所得到的。
3.根据权利要求1所述的方法,其特征在于,在对所述栅格地图与所述区域图像进行位置匹配之后,所述方法还包括:
对所述第一栅格点以及所述第一栅格点周围的栅格点进行聚类处理,以确定所述栅格地图中包含的用于指示完整的所述目标障碍物的第二栅格点,其中,所述第二栅格点包括所述第一栅格点;
为所述第二栅格点中包括的除所述第一栅格点之外的其他栅格点附加所述类型信息,以得到所述目标栅格地图。
4.根据权利要求1所述的方法,其特征在于,在得到所述目标栅格地图之后,所述方法还包括:
将所述目标栅格地图配置给具备自动行驶能力的目标设备,以指示所述目标设备在所述目标区域中行驶时,基于所述目标栅格地图在所述目标区域中执行避障处理。
5.一种地图的绘制装置,其特征在于,包括:
确定模块,用于基于已获取的目标区域的点云数据确定所述目标区域的栅格地图;
识别模块,用于对所述目标区域的区域图像进行识别,以确定所述目标区域中包含的目标障碍物的目标类型,其中,所述区域图像为摄像设备对所述目标区域进行拍摄后所得到的图像;
处理模块,用于对所述栅格地图与所述区域图像进行位置匹配,以便于为所述栅格地图中的第一栅格点附加用于指示所述目标类型的类型信息,以得到目标栅格地图,其中,所述第一栅格点用于表征所述目标障碍物
所述装置还包括:更新模块,用于在得到目标栅格地图之后,基于依次对所述目标区域进行拍摄所得到的多张区域图像确定所述目标障碍物的位置发生变化;基于所述目标障碍物的位置变化状态更新为所述栅格地图中包含的栅格点所附加的类型信息;
所述更新模块通过如下方式确定所述目标障碍物的位置发生变化:在确定所述多张区域图像中包括有连续的预定数量的第一图像的情况下,确定所述目标障碍物的位置发生变化,其中,在所述第一图像中,用于指示所述目标障碍物的栅格点所构成的区域与第二图像中用于指示所述目标障碍物的栅格点所构成的区域的关系满足预定关系,所述多张区域图像包括所述第一图像和所述第二图像,且所述第二图像为在所述第一图像之前拍摄的图像;其中,所述预定关系包括:所述目标障碍物占据的地图区域被更新为地面点的百分比超过阈值。
6.一种扫地机,其特征在于,包括:
点云测量传感器,用于获取所述目标区域的所述点云数据;
处理器,其中,所述处理器包括如权利要求5所述的地图的绘制装置;以及,
所述摄像设备。
7.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至4任一项中所述的方法。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至4任一项中所述的方法。
CN202110914719.6A 2021-08-10 2021-08-10 地图的绘制方法和装置、扫地机、存储介质、电子装置 Active CN113670292B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110914719.6A CN113670292B (zh) 2021-08-10 2021-08-10 地图的绘制方法和装置、扫地机、存储介质、电子装置
PCT/CN2022/105974 WO2023016188A1 (zh) 2021-08-10 2022-07-15 地图的绘制方法和装置、扫地机、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110914719.6A CN113670292B (zh) 2021-08-10 2021-08-10 地图的绘制方法和装置、扫地机、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN113670292A CN113670292A (zh) 2021-11-19
CN113670292B true CN113670292B (zh) 2023-10-20

Family

ID=78542157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110914719.6A Active CN113670292B (zh) 2021-08-10 2021-08-10 地图的绘制方法和装置、扫地机、存储介质、电子装置

Country Status (2)

Country Link
CN (1) CN113670292B (zh)
WO (1) WO2023016188A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113670292B (zh) * 2021-08-10 2023-10-20 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN116548873A (zh) * 2022-01-28 2023-08-08 追觅创新科技(苏州)有限公司 地图处理方法、系统及自移动设备
CN116088533B (zh) * 2022-03-24 2023-12-19 未岚大陆(北京)科技有限公司 信息确定方法、远程终端、设备、割草机及存储介质
CN116982884A (zh) * 2022-04-25 2023-11-03 追觅创新科技(苏州)有限公司 建图方法、装置、存储介质及电子装置
CN115376109B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质
CN116091607B (zh) * 2023-04-07 2023-09-26 科大讯飞股份有限公司 辅助用户寻找物体的方法、装置、设备及可读存储介质
CN117073664B (zh) * 2023-10-18 2024-02-20 中国科学院自动化研究所 一种露天矿山道路地形建图方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN110522359A (zh) * 2019-09-03 2019-12-03 深圳飞科机器人有限公司 清洁机器人以及清洁机器人的控制方法
KR20190134554A (ko) * 2019-11-15 2019-12-04 엘지전자 주식회사 동적 장애물을 식별하는 방법 및 이를 구현한 로봇
JP6632173B1 (ja) * 2018-11-30 2020-01-22 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. ロボットの地図構築及び位置推定
CN110968083A (zh) * 2018-09-30 2020-04-07 科沃斯机器人股份有限公司 栅格地图的构建方法、避障的方法、设备及介质
CN111481105A (zh) * 2020-04-20 2020-08-04 北京石头世纪科技股份有限公司 一种自行走机器人避障方法、装置、机器人和存储介质
CN111700546A (zh) * 2020-06-24 2020-09-25 深圳市银星智能科技股份有限公司 一种移动机器人的清扫方法及移动机器人
CN112526993A (zh) * 2020-11-30 2021-03-19 广州视源电子科技股份有限公司 栅格地图更新方法、装置、机器人及存储介质
CN112859859A (zh) * 2021-01-13 2021-05-28 中南大学 一种基于三维障碍物体素对象映射的动态栅格地图更新方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082264A (ko) * 2017-01-10 2018-07-18 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN106863305B (zh) * 2017-03-29 2019-12-17 赵博皓 一种扫地机器人房间地图创建方法及装置
CN109709945B (zh) * 2017-10-26 2022-04-15 深圳市优必选科技有限公司 一种基于障碍物分类的路径规划方法、装置及机器人
CN108344414A (zh) * 2017-12-29 2018-07-31 中兴通讯股份有限公司 一种地图构建、导航方法及装置、系统
CN112034830A (zh) * 2019-06-03 2020-12-04 江苏美的清洁电器股份有限公司 一种地图信息处理方法、装置及移动设备
CN110208816B (zh) * 2019-06-04 2023-05-16 浙江海洋大学 用于海上无人艇的自动障碍物识别系统及识别方法
CN112075879A (zh) * 2019-06-14 2020-12-15 江苏美的清洁电器股份有限公司 一种信息处理方法、装置及存储介质
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
CN111528732B (zh) * 2020-03-27 2021-06-18 珠海格力电器股份有限公司 一种清洁机器人运行控制方法、装置、系统及存储介质
CN113670292B (zh) * 2021-08-10 2023-10-20 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN113907663B (zh) * 2021-09-22 2023-06-23 追觅创新科技(苏州)有限公司 障碍物地图构建方法、清洁机器人及存储介质
CN113848943B (zh) * 2021-10-18 2023-08-08 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN110968083A (zh) * 2018-09-30 2020-04-07 科沃斯机器人股份有限公司 栅格地图的构建方法、避障的方法、设备及介质
JP6632173B1 (ja) * 2018-11-30 2020-01-22 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. ロボットの地図構築及び位置推定
CN110522359A (zh) * 2019-09-03 2019-12-03 深圳飞科机器人有限公司 清洁机器人以及清洁机器人的控制方法
KR20190134554A (ko) * 2019-11-15 2019-12-04 엘지전자 주식회사 동적 장애물을 식별하는 방법 및 이를 구현한 로봇
CN111481105A (zh) * 2020-04-20 2020-08-04 北京石头世纪科技股份有限公司 一种自行走机器人避障方法、装置、机器人和存储介质
CN111700546A (zh) * 2020-06-24 2020-09-25 深圳市银星智能科技股份有限公司 一种移动机器人的清扫方法及移动机器人
CN112526993A (zh) * 2020-11-30 2021-03-19 广州视源电子科技股份有限公司 栅格地图更新方法、装置、机器人及存储介质
CN112859859A (zh) * 2021-01-13 2021-05-28 中南大学 一种基于三维障碍物体素对象映射的动态栅格地图更新方法

Also Published As

Publication number Publication date
WO2023016188A1 (zh) 2023-02-16
CN113670292A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113670292B (zh) 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN110989631B (zh) 自移动机器人控制方法、装置、自移动机器人和存储介质
CN112075879A (zh) 一种信息处理方法、装置及存储介质
EP4235342A2 (de) Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter
CN109431381A (zh) 机器人的定位方法及装置、电子设备、存储介质
EP3974778B1 (en) Method and apparatus for updating working map of mobile robot, and storage medium
CN113848943B (zh) 栅格地图的修正方法及装置、存储介质及电子装置
CN113675923B (zh) 充电方法、充电装置及机器人
CN112990098B (zh) 区域划分方法和装置、存储介质、电子装置
CN109528089A (zh) 一种被困清洁机器人的继续行走方法、装置及芯片
CN111609853A (zh) 三维地图构建方法、扫地机器人及电子设备
CN110597081B (zh) 基于智能家居操作系统的控制指令的发送方法及装置
CN115018770A (zh) 除草作业区域的确定方法及装置、除草设备
CN112991440A (zh) 车辆的定位方法和装置、存储介质和电子装置
CN112526985B (zh) 一种行走禁区规划方法及其装置、自移动机器人
CN113124902A (zh) 移动机器人的定位修正方法和装置、存储介质、电子装置
CN112286185A (zh) 扫地机器人及其三维建图方法、系统及计算机可读存储介质
CN112395376A (zh) 地图的构建方法和装置、存储介质及电子装置
CN113806455A (zh) 地图构建方法、设备及存储介质
CN113485372B (zh) 地图探索方法和装置、存储介质、电子装置
CN114326742A (zh) 机器人运行方法、机器人运行装置、机器人及介质
CN116416518A (zh) 智能避开障碍的方法及装置
CN112396051A (zh) 可通行区域的确定方法及装置、存储介质、电子装置
WO2023207610A1 (zh) 建图方法、装置、存储介质及电子装置
CN108829094A (zh) 移动路径的确定方法和洗地机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant