CN115435772A - 局部地图的建立方法、装置、电子设备以及可读存储介质 - Google Patents

局部地图的建立方法、装置、电子设备以及可读存储介质 Download PDF

Info

Publication number
CN115435772A
CN115435772A CN202211057589.XA CN202211057589A CN115435772A CN 115435772 A CN115435772 A CN 115435772A CN 202211057589 A CN202211057589 A CN 202211057589A CN 115435772 A CN115435772 A CN 115435772A
Authority
CN
China
Prior art keywords
grid
initial
expanded
area
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211057589.XA
Other languages
English (en)
Inventor
黄游平
钟望坤
肖晶
方根在
肖志光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pengxing Intelligent Research Co Ltd
Original Assignee
Shenzhen Pengxing Intelligent Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pengxing Intelligent Research Co Ltd filed Critical Shenzhen Pengxing Intelligent Research Co Ltd
Priority to CN202211057589.XA priority Critical patent/CN115435772A/zh
Publication of CN115435772A publication Critical patent/CN115435772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请的提供了这样一种局部地图的建立方法、装置、电子设备以及可读存储介质,所述方法包括:获取单目相机采集的待测环境对应的视野图像,以及所述待测环境对应的栅格地图;根据所述视野图像确定所述待测环境中的通行区域,所述通行区域包括初始区域和扩展区域;获取所述初始区域在所述栅格地图中对应的初始栅格信息,根据所述初始栅格信息确定所述扩展区域对应的扩展栅格信息;将所述扩展栅格信息更新至所述栅格地图,建立所述待测环境对应的局部地图。本申请提高了建立完整局部地图的准确性,同时也降低了局部地图的建立成本。

Description

局部地图的建立方法、装置、电子设备以及可读存储介质
技术领域
本申请涉及机器人技术领域,特别涉及一种局部地图的建立方法、装置、电子设备以及可读存储介质。
背景技术
局部地图是一种以机器人为中心,根据机器人的移动对机器人周围一定范围内的栅格地图进行栅格信息更新的地图,机器人可以借助局部地图执行移动或者躲避障碍物等任务。为了了解四周的环境信息,通常在机器人上设置有深度传感器,利用深度传感器采集的环境信息更新局部地图。
但是,传统方式中利用深度传感器建立局部地图时,深度传感器受到环境因素的影响,例如光照因素、物体表面颜色以及材质等,导致采集的深度信息缺失,无法准确建立完整的局部地图。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本申请的一个目的在于提出一种局部地图的建立方法、装置、电子设备以及可读存储介质,提高了建立完整局部地图的准确性。
本申请的一个方面提供了一种局部地图的建立方法,方法包括:获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图;根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域;获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息;将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。
本申请的另一个方面提供了一种局部地图的建立装置,装置包括:采集模块,用于获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。通行区域确定模块,用于根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。扩展栅格信息确定模块,用于获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。局部地图建立模块,用于将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。
本申请的又一个方面提供了一种电子设备,可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,以实现如上述任一实施方式所述的局部地图的建立方法中的步骤。
本申请的又一个方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上述任一实施方式所述的局部地图的建立方法中的步骤。
根据本申请的一种局部地图的建立方法、装置、电子设备以及可读存储介质,利用单目相机的视野图像,在通行区域的初始区域中延伸出扩展区域,并结合栅格地图的初始栅格信息,对扩展区域进行扩展栅格信息的补充,提高了建立完整局部地图的准确性,同时也降低了局部地图的建立成本。
附图说明
图1是本申请一个实施例提供的机器人的硬件结构示意图;
图2是本申请一个实施例提供的机器人的机械结构示意图;
图3是本申请一个实施例提供的局部地图的建立方法的流程示意图;
图4是本申请一个实施例提供的以机器人为中心的探测范围示意图;
图5是本申请一个实施例提供的通行区域示意图;
图6是本申请一个实施例提供的孔洞类型的扩展栅格示意图;
图7是本申请一个实施例提供的延伸类型的扩展栅格示意图;
图8是本申请一个实施例提供的以机器人为中心的局部地图的应用场景图;
图9是本申请一个实施例提供的一种局部地图的建立装置框图;
图10是本申请一个实施例提供的电子设备结构示意图;
图11是本申请一个实施例提供的计算机可读存储介质结构示意图。
具体实施方式
为了更好地理解本申请,将参考附图对本申请的各个方面做出更详细的说明。应理解,这些详细说明只是对本申请的示例性实施方式的描述,而非以任何方式限制本申请的范围。在说明书全文中,相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
应注意,在本说明书中,第一、第二、第三等的表述仅用于将一个特征与另一个特征区域分开来,而不表示对特征的任何限制,尤其不表示任何的先后顺序。因此,在不背离本申请的教导的情况下,本申请中讨论的第一文件种类也可被称作第二文件种类,第一文件等级也可称为第二文件等级,反之亦然。
在附图中,为了便于说明,已稍微调整了部件的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。如在本文中使用的,用语“大致”、“大约”以及类似的用语用作表近似的用语,而不用作表程度的用语,并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。
还应理解的是,诸如“包括”、“包括有”、“具有”、“包含”和/或“包含有”等表述在本说明书中是开放性而非封闭性的表述,其表示存在所陈述的特征、元件和/或部件,但不排除一个或多个其它特征、元件、部件和/或它们的组合的存在。此外,当诸如“...中的至少一个”的表述出现在所列特征的列表之后时,其修饰整列特征,而非仅仅修饰列表中的单独元件。此外,当描述本申请的实施方式时,使用“可”表示“本申请的一个或多个实施方式”。并且,用语“示例性的”旨在指代示例或举例说明。
除非另外限定,否则本文中使用的所有措辞(包括工程术语和科技术语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是,除非本申请中有明确的说明,否则在常用词典中定义的词语应被解释为具有与它们在相关技术的上下文中的含义一致的含义,而不应以理想化或过于形式化的意义解释。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。另外,除非明确限定或与上下文相矛盾,否则本申请所记载的方法中包含的具体步骤不必限于所记载的顺序,而可以任意顺序执行或并行地执行。下面将参考附图并结合实施例来详细说明本申请。
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示部件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
请参阅图1,图1是根据本申请一个实施例提供的机器人的硬件结构示意图。在图1所示的实施方式中,机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、显示单元106、输入单元107、控制模块110以及电源111。机器人100的各种部件可以以任何方式连接,包括有线或无线连接等。本领域技术人员可以理解,图1中示出的机器人100的具体结构并不构成对机器人100的限定,机器人100可以包括比图示更多或更少的部件,某些部件也并不属于机器人100的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略,或者组合某些部件。
图2是根据本申请一个实施例提供的机器人的机械结构示意图。下面结合图1和图2对机器人100的各个部件进行具体的介绍:
机械单元101为机器人100的硬件。如图1所示,机械单元101可包括驱动板1011、电机1012、机械结构1013。如图2所示,机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016。在其他实施方式中,机械结构1013还可包括可伸展的机械臂(图未示)、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020或者摄像头结构1021等中的一个或多个。需要说明的是,机械单元101的各个部件模块可以为一个也可以为多个,可根据具体情况设置。比如,腿部1015可为4个,每个腿部1015可配置3个电机1012,对应的电机1012为12个。
通讯单元102可用于信号的接收和发送,还可以通过与网络和其他设备通信,比如,接收遥控器或其他机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后,传输给控制模块110处理。通讯单元102包括Wi-Fi模块、4G模块、5G模块、蓝牙模块或者红外模块等。
传感单元103用于获取机器人100周围环境的信息数据以及监控机器人100内部各部件的参数数据,并发送给控制模块110。传感单元103包括多种传感器,如获取周围环境信息的传感器:激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统(GNSS,Global Navigation Satellite System)等。如监控机器人100内部各部件的传感器:惯性测量单元(IMU,Inertial Measurement Unit)(用于测量速度值、加速度值和角速度值的值),足底传感器(用于监测足底着力点位置、足底姿态、触地力大小和方向)、温度传感器(用于检测部件温度)。至于机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器,在此不再赘述。
接口单元104可以用于接收来自外部装置的输入(例如,数据信息、电力等)并且将接收到的输入传输到机器人100内的一个或多个部件,或者可以用于向外部装置输出(例如,数据信息、电力等)。接口单元104可包括电源端口、数据端口(如USB端口)、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。
存储单元105用于存储软件程序以及各种数据,存储单元105可主要包括程序存储区和数据存储区。其中,程序存储区可存储操作系统程序、运动控制程序、应用程序(比如文本编辑器)等;数据存储区可存储机器人100在使用中所生成的数据(比如传感单元103获取的各种传感数据,日志文件数据)等。此外,存储单元105可以包括高速随机存取存储器,还可以包括非易失性存储器,例如磁盘存储器、闪存器、或其他易失性固态存储器。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
输入单元107可用于接收输入的数字或字符信息。具体地,输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户的触摸操作(比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中,触摸检测装置1073检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器1074;触摸控制器1074从触摸检测装置1073上接收触摸信息,并将它转换成触点坐标,再送给控制模块110,并能接收控制模块110发来的命令并加以执行。除了触控面板1071,输入单元107还可以包括其他输入设备1072。具体地,其他的输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给控制模块110以确定触摸事件的类型,随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现输入和输出功能,具体此处不做限定。
控制模块110是机器人100的控制中心,利用各种接口和线路连接整个机器人100的各个部件,通过运行或执行存储在存储单元105内的软件程序,以及调用存储在存储单元105内的数据,从而对机器人100进行整体控制。
电源111用于给各个部件供电,电源111可包括电池和电源控制板,电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中,电源111电连接控制模块110,在其它的实施方式中,电源111还可以分别与传感单元103(比如摄像头、雷达、音箱等)、电机1012电性连接。需要说明的是,各个部件可以各自连接到不同的电源111,或者由相同的电源111供电。
在上述实施方式的基础上,具体地,在一些实施方式中,可以通过终端设备来与机器人100进行通信连接,在终端设备与机器人100进行通信时,可以通过终端设备来向机器人100发送指令信息,机器人100可通过通讯单元102来接收指令信息,并可在接收到指令信息的情况下,将指令信息传输至控制模块110,使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于:具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。
指令信息可以根据预设条件来确定。在一个实施方式中,机器人100可以包括传感单元103,传感单元103可根据机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断机器人100的当前速度值是否满足对应的预设条件。若满足,则会保持机器人100的当前速度值和当前步态移动;若不满足,则会根据对应的预设条件来确定目标速度值和相应的目标步态,从而可控制机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信,也可以为无线通信。无线通信的方式包括但不限于:无线网络、移动通信网络(3G、4G、5G等)、蓝牙或者红外等。
图3是本申请一个实施例提供的局部地图的建立方法的流程示意图。
如图3所示,本申请的一个方面提供了这样一种局部地图的建立方法,可包括:步骤301,获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。步骤302,根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。步骤303,获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。步骤304,将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。
下面将结合图4至图8详细说明上述局部地图的建立方法中各个步骤的具体实现方式。
步骤301,获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。
其中,单目相机作为视觉SLAM(Simultaneous Localization And Mapping,同步定位与建图)的一个类目分支,利用一个摄像头即可完成SLAM。单目相机最大的优点是探测范围广、成本低;其缺点是无法精准确定各个像素点的高程。在本申请中,以机器人作为单目相机的载体,利用单目相机对以机器人为中心的待测环境进行探测,以获取待测环境对应的视野图像。
待测环境用于表征在机器人的活动范围。具体地,待测环境可为在机器人的活动范围中被单目相机的视野范围所覆盖的区域;换言之,待测环境即为单目相机的采集对象。
视野图像是单目相机对探测环境的采集结果,其可体现各个像素点在像素坐标系中的像素坐标。但是,由于单目相机无法精准确定各个像素点的高程,因此视野图像无法体现各个像素点的高程。
栅格地图是对深度传感器的探测图像的栅格化的结果,并能够体现探测图像中各个栅格对应的栅格信息,其中栅格信息包括各个栅格的二维坐标以及各个栅格的高程。换言之,在栅格地图的构建过程中,需要利用深度传感器在其探测范围内获取探测图像以及探测图像中各个像素点的高程。但是,深度传感器具有以下几个缺点:深度传感器的视场角存在局限,当其在获取周围环境的信息时,会存在一定的探测盲区,例如部分近距离区域覆盖不到;深度传感器的探测范围也有局限,较远的区域也无法覆盖;深度传感器还易受到例如光照、物体表面颜色或者材质等外界环境的影响,以致其探测图像内会存在部分区域没有数据的情况。可以想到的,基于深度传感器而构建的栅格地图,其覆盖范围较小,并且还存在着一定数量的没有栅格信息的“孔洞”。而单目相机的视野范围大于深度传感器的探测范围,且成本更小、更不易受到外界环境因素的影响。因此,在机器人的四周增设单目相机,即可克服深度传感器的上述缺陷。
图4是本申请一个实施例提供的以机器人为中心的探测范围示意图。如图4所示,机器人200的四周分别分布有至少四个深度传感器和至少四个单目相机。
具体地,机器人200的四周分别设置有具有相同探测方向的第一深度传感器2011和第一单目相机2021、具有相同探测方向的第二深度传感器2012和第二单目相机2022、具有相同探测方向的第三深度传感器2013和第三单目相机2023、具有相同探测方向的第四深度传感器2014和以及第四单目相机2024。第一单目相机2021的视野范围D21大于第一深度传感器2011的探测范围D11,第一单目相机2021的设置扩展了机器人200对第一深度传感器设置方向中障碍物的探测范围。第二单目相机2022的视野范围D22大于第二深度传感器2012的探测范围D12,第二单目相机2022的设置扩展了机器人200对第二深度传感器设置方向中障碍物的探测范围。第三单目相机2023的视野范围D23大于第三深度传感器2013的探测范围D13,第三单目相机2023的设置扩展了机器人200对第三深度传感器设置方向中障碍物的探测范围。第四单目相机2024的视野范围D24大于第四深度传感器2014的探测范围D14,第四单目相机2024的设置扩展了机器人200对第四深度传感器设置方向中障碍物的探测范围。需要说明的是,可根据机器人200的体积、深度传感器的探测能力、单目相机的探测能力或者使用者的需求,在机器人200的任何位置设置任意数量的深度传感器以及与之对应的单目相机,以使得单目相机的视野图像能够对栅格地图进行扩展和补充。
步骤302,根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。
其中,通行区域为接地线中各个接地点与单目相机之间的连线的集合对应的区域,接地线为视野图像中障碍物与地面的交线。确定通行区域的方式为:调用接地线识别模型对视野图像进行识别,得到视野图像中的接地线对应的图像坐标集;将图像坐标集的各个图像坐标进行转换,得到接地线在待测环境中的接地线位置;获取采集视野图像时单目相机所处的相机位置;基于相机位置和接地线位置确定待测环境中的通行区域。
图5是本申请一个实施例提供的通行区域示意图。如图5所示,以设置于机器人一侧的单目相机为例,单目相机利用光的直线传播原理,能够在其视野范围中拍摄待测环境的视野图像。当存在障碍物时(例如墙体),光线会被障碍物遮挡,此时单目相机将获取包含障碍物的视野图像。
具体地,将包含障碍物的视野图像传输至接地线识别模型中,由接地线识别模型的中间神经元对视野图像进行处理识别,进而输出接地线对应的图像坐标集。其中,接地线由若干接地点构成,图像坐标集为各个接地点的像素坐标的集合。
由于接地线是障碍物与地面的交线,则地面的高程h0即为接地线各个接地点的高程,即zw=h0。将接地线对应的图像坐标集代入坐标转换公式,可以获得各个接地点在世界坐标系中的三维坐标。当然,各个接地点在世界坐标系中的三维坐标的集合即可表征接地线在待测环境中的位置。另外,由于获取像素坐标系至世界坐标系的坐标转换公式时,利用了机器人坐标系下的机器人的位置信息和姿态信息作为转换媒介,而单目相机的视野图像的采样时间与机器人的位置信息和姿态信息的采样时间并不相同,因此在利用坐标转换公式进行像素坐标系与世界坐标系之间的转换之前,还需要进行时间戳对齐,以避免误差。
在获取了各个接地点在世界坐标系中的三维坐标之后,确定采集视野图像的单目相机的相机位置。具体地,可通过单目相机自身的定位装置获取其所处的相机位置;也可以通过单目相机设置的载体(即机器人)的定位装置近似确定单目相机的相机位置。
根据单目相机的相机位置和接地线的位置,即可确定机器人在待测环境中的通行区域。可以想到的,接地线作为障碍物与地面的交线,其各个接地点与单目相机之间的连线上不存在障碍物,因此各个接地点与单目相机之间的连线的集合对应的区域也即为机器人在单目相机的设置方向中可到达的通行区域。具体地,若接地线仅有一条,即当障碍物为一个连续整体时,还可以只将处于接地线的两个端点位置的接地点与单目相机进行连线,最终以接地线、单目相机以及两条连线所包围的区域定义为通行区域。当然,上述通行区域的确定方式仅以一台单目相机为例,其通行区域仅对应于该单目相机的设置方向,若一个机器人上设置有多个单目相机,那么各个单目相机对应的通行区域的集合,即为该机器人在当前待测环境中的全部通行区域。
其中,通行区域包括初始区域和扩展区域,初始区域对应于栅格地图中具有栅格信息的区域;扩展区域则对应于栅格地图中没有栅格信息的区域,也即深度传感器探测不到的区域。对通行区域进行初始区域和扩展区域的划分时,可采用以下方式:将通行区域与栅格地图进行区域匹配,得到匹配结果;将通行区域中匹配结果为匹配成功的区域确定为初始区域,将通行区域中匹配结果为匹配失败的区域确定为扩展区域。
具体地,由于深度传感器的局限,基于单目相机确定的通行区域的范围必然会大于基于深度传感器生成的栅格地图在待测环境中的对应区域的范围。基于此,将通行区域与栅格地图进行匹配,以通行区域中能够在栅格地图中匹配到栅格信息的区域作为初始区域,将无法在栅格地图中匹配到栅格信息的区域作为扩展区域。换言之,由于单目相机的视野范围大于深度传感器的探测范围,因此将属于深度传感器的探测盲区,而单目相机却可以采集到的区域作为扩展区域;而单目相机和深度传感器均可探测到的区域即为初始区域。当然,由于单目相机采集视野图像时不易受到光照、地面颜色和材质等外部因素的干扰,因此扩展区域也包含对“孔洞”的补充部分。
步骤303,获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。
其中,将在栅格地图中对应于初始区域的栅格定义为初始栅格,初始栅格信息包括各个初始栅格的二维坐标和初始栅格高程;将在栅格地图中对应于扩展区域的栅格定义为扩展栅格,扩展栅格信息包括各个扩展栅格的二维坐标和扩展栅格高程。需要说明的是,由于单目相机无法确定通行区域中各个像素点的高程,因此扩展栅格没有扩展栅格信息,需要利用初始栅格信息对扩展栅格信息进行数据补充。
获取初始栅格信息的方式为:将初始区域与栅格地图进行栅格匹配,得到栅格地图中与初始区域对应的多个初始栅格;在栅格地图中获取初始栅格各自对应的初始栅格信息,初始栅格信息包括初始栅格对应的初始栅格高程。
根据初始栅格信息确定扩展区域对应的扩展栅格信息的方式包括:在栅格地图中确定与扩展区域对应的多个扩展栅格;在多个初始栅格中确定与扩展栅格相邻的至少一个初始栅格,作为扩展栅格对应的邻域栅格;根据邻域栅格对应的初始栅格信息,确定扩展栅格对应的扩展栅格信息,扩展栅格信息包括扩展栅格高程。
在栅格地图中确定与扩展区域对应的多个扩展栅格。具体地,将扩展区域映射至栅格地图,在栅格地图中确定对应于扩展区域的多个栅格作为扩展栅格,此时扩展栅格不具备扩展栅格信息。
在多个初始栅格中确定与扩展栅格相邻的至少一个初始栅格,作为扩展栅格对应的邻域栅格。具体地,获取扩展栅格各自对应的栅格类型,其中栅格类型包括孔洞类型和延伸类型;获取与栅格类型相关联的邻域范围,邻域范围包括邻域方向和栅格数量;在多个初始栅格中,沿邻域方向确定与栅格数量相匹配的初始栅格,作为扩展栅格对应的邻域栅格。
图6是本申请一个实施例提供的孔洞类型的扩展栅格示意图。如图6所示,孔洞类型的扩展栅格是对应于深度传感器受到外界环境因素的影响而产生的,因此其通常位于多个初始栅格之间,即被多个初始栅格所包围。
图7是本申请一个实施例提供的延伸类型的扩展栅格示意图。如图7所示,延伸类型的扩展栅格是对应于深度传感器探测范围小的问题而产生的,因此其集中出现在多个初始栅格的一侧,是对初始栅格的延伸。
通常情况下,根据初始栅格信息以及扩展栅格的二维坐标,可以确定扩展栅格相对于各个初始栅格的位置,进而可确定扩展栅格的栅格类型,栅格类型包括孔洞类型和延伸类型。
针对孔洞类型的扩展栅格,邻域方向可为经过该孔洞类型的扩展栅格的水平方向、竖直方向或者斜线方向,也可根据需求以任意的直线方向作为邻域方向。栅格数量可为能够保证扩展栅格高程的准确度的任意数量,例如以孔洞类型的扩展栅格为中心,沿邻域方向在其两侧各选取四个邻域栅格,此时栅格数量为8。
针对扩展类型的扩展栅格,其邻域方向可为交界栅格的水平方向、竖直方向、对角线方向,也可为以直接邻域栅格为中心的圆周方向。栅格数量可为能够保证扩展栅格高程的准确度的任意数量,在此不做限制。
在确定了邻域方向和栅格数量之后,即可在多个初始栅格中,沿邻域方向确定与栅格数量相匹配的初始栅格,作为扩展栅格对应的邻域栅格。
在一些实施例中,在确定了邻域栅格之后,确定扩展栅格信息的方式可为:利用初始栅格信息,确定扩展栅格的二维坐标;根据邻域栅格对应的初始栅格信息,分别构建至少两个邻域方向对应的拟和线;根据扩展栅格的二维坐标,分别利用至少两个邻域方向对应的拟合线计算表征扩展栅格高程的多个拟合值;求取多个拟合值的平均值作为扩展栅格的扩展栅格高程;以及整合扩展栅格的二维坐标和扩展栅格高程,确定扩展栅格信息。
下文是对利用上述确定扩展栅格信息的方式分别求取两种类型的扩展栅格的扩展栅格信息的阐述。
针对孔洞类型的扩展栅格:
利用初始栅格信息,在栅格地图中确定孔洞类型的扩展栅格二维坐标。例如当与孔洞类型的扩展栅格相邻的多个初始栅格的二维坐标分别为(m,n)、(m+1,n-1)、(m+1,n+1)、(m+2,n)时,而坐标(m+1,n)对应的栅格没有初始栅格信息,则该栅格即为孔洞类型的扩展栅格,(m+1,n)即为该孔洞类型的扩展栅格的二维坐标。
在确定了孔洞类型的扩展栅格的二维坐标之后,利用障碍物识别模型判断孔洞类型的扩展栅格是否存在凹坑或者障碍物。具体地,由于深度传感器极易受光线、地面颜色和材质的影响,会产生探测区域存在高程缺失的“孔洞”。例如,当地面材质反光时,深度传感器探测到该位置的高程为无限大,此时高程无效;当地面颜色较深时,深度传感器将该位置误认为凹坑,其探测到该位置的高程无限小,此时高程也无效。当然,也不排除“孔洞”确实存在凹坑或者障碍物的情况。基于此,将孔洞类型的扩展栅格映射至视野图像中,确定该孔洞类型的扩展栅格在视野图像中的“孔洞”位置,进而利用障碍物识别模型确定该孔洞类型的扩展栅格处是否存在凹坑或者障碍物。若该处存在凹坑或者障碍物,则无需补全扩展栅格高程,直接标定该处为凹坑或者障碍物,以提示机器人绕行。若该处无凹坑或者不存在障碍物,则认定深度传感器对该处的高程采集存在局限,需要进行扩展栅格高程填充。需要说明的是,障碍物识别模型是基于神经网络对图像中的物体进行识别的模型,将视野图像传输至障碍物识别模型中,由障碍物识别模型的中间神经元对视野图像的“孔洞”位置进行分析和识别,进而输出对“孔洞”位置的识别结果,包括凹坑、障碍物、无凹坑或者无障碍物等结果,由于障碍物识别模型是经过大量的样本训练获得的,因此其输出的结果具有可信度。
根据邻域栅格对应的初始栅格信息,分别构建至少两个邻域方向对应的拟和线。在对孔洞类型的扩展栅格进行扩展栅格高程的填充时,以孔洞类型的扩展栅格为中心,在孔洞类型的扩展栅格的至少两个邻域方向分别选取多个初始栅格作为邻域栅格。例如,在以孔洞类型的扩展栅格的水平方向作为邻域方向时,以孔洞类型的扩展栅格为中心,在孔洞类型的扩展栅格的左右各选取4个初始栅格作为水平邻域栅格;在以孔洞类型的扩展栅格的竖直方向作为邻域方向时,以孔洞类型的扩展栅格为中心,在孔洞类型的扩展栅格的上下各选取4个初始栅格作为竖直邻域栅格。分别提取各个邻域栅格的初始栅格信息,根据处于各个邻域方向上的邻域栅格的初始栅格信息,构建各个邻域方向上的拟合线。
具体地,待拟合线可表示为:axw+byw+czw+d=0,其中a、b、c、d均为直线参数。根据不同的拟合情况,直线参数具有不同的数值。例如,在进行竖直方向的直线拟合时,将多个竖直邻域栅格的初始栅格信息分别代入待拟合线中,确定各个直线参数的具体数值,最终获得表征竖直方向拟合情况的第一拟合线:a1xw+b1yw+c1zw+d1=0(1)。在公式(1)中a1、b1、c1和d1均为竖直方向直线参数确定值。同样地,在进行水平方向的直线拟合时,将水平方向选取的多个水平邻域栅格的初始栅格信息分别代入待拟合线中,确定各个直线参数的具体数值,最终获得表征水平方向拟合情况的第二拟合线:a2xw+b2yw+c2zw+d2=0(2)。在公式(2)中,a2、b2、c2和d2均为水平方向直线参数确定值。
根据扩展栅格的二维坐标,分别利用至少两个邻域方向对应的拟合线计算表征扩展栅格高程的多个拟合值。例如,将孔洞类型的扩展栅格的二维坐标(xw,yw)分别代入公式(1)和公式(2),分别获得第一拟合值和第二拟合值,其中第一拟合值由公式(1)获取,第二拟合值由公式(2)获取。
求取多个拟合值的平均值作为扩展栅格的扩展栅格高程。在获得了第一拟合值和第二拟合值之后,以二者的平均值作为该孔洞类型的扩展栅格的扩展栅格高程,通过该方式获得的扩展栅格高程具有更高的可信度。
整合所述扩展栅格的二维坐标和所述扩展栅格高程,确定扩展栅格信息。按照上述方式,遍历所有孔洞类型的扩展栅格,以获取各个孔洞类型的扩展栅格的扩展栅格高程。最终,整合孔洞类型的扩展栅格的二维坐标及其扩展栅格高程,即获得孔洞类型的扩展栅格的扩展栅格信息。
针对延伸类型的扩展栅格:
根据初始栅格信息,在栅格地图中确定延伸类型的扩展栅格的二维坐标。例如,当与延伸类型的扩展栅格相邻的初始栅格的二维坐标分别为(m,n),而该延伸类型的扩展栅格位于与其相邻的初始栅格的正上方时,则该延伸类型的扩展栅格的二维坐标可为(m,n+1),那么与其同列的相邻扩展栅格的二维坐标可为(m,n+2),以此类推。通过上述方式,可推算出各个延伸类型的扩展栅格的二维坐标。
根据需求确定包括邻域栅格、邻域方向和邻域栅格数量在内的邻域范围,利用邻域栅格对应的初始栅格信息,分别构建至少两个邻域方向对应的拟和线。根据延伸类型的扩展栅格的二维坐标,分别利用至少两个邻域方向对应的拟合线计算表征延伸类型的扩展栅格高程的多个拟合值。求取多个拟合值的平均值作为延伸类型的扩展栅格的扩展栅格高程。按照上述方式,遍历所有延伸类型的扩展栅格,以获取各个延伸类型的扩展栅格的扩展栅格高程。最终,整合延伸类型的扩展栅格的二维坐标及其扩展栅格高程,即获得延伸类型的扩展栅格的扩展栅格信息。更细节的实现方式可参考对孔洞类型的扩展栅格的扩展栅格信息的获取过程,在此不再赘述。
在另一些实施例中,在确定了邻域栅格之后,确定扩展栅格信息的方式还可为:基于初始栅格信息,确定扩展栅格的二维坐标;在邻域栅格对应的初始栅格信息中提取邻域栅格高程,确定多个邻域栅格高程的平均值作为扩展栅格的扩展栅格高程;整合扩展栅格的二维坐标和扩展栅格高程,确定扩展栅格对应的扩展栅格信息。
下文是对利用上述确定扩展栅格信息的方式分别求取两种类型的扩展栅格的扩展栅格信息的阐述。
针对延伸类型的扩展栅格:
基于初始栅格信息,确定扩展栅格的二维坐标。例如,当与延伸类型的扩展栅格相邻的初始栅格的二维坐标分别为(m,n),而该延伸类型的扩展栅格位于与其相邻的初始栅格的正上方时,则该延伸类型的扩展栅格的二维坐标可为(m,n+1),那么与其同列的相邻扩展栅格的二维坐标可为(m,n+2),以此类推。通过上述方式,可推算出各个延伸类型的扩展栅格的二维坐标。
在邻域栅格对应的初始栅格信息中提取邻域栅格高程,确定多个邻域栅格高程的平均值作为扩展栅格的扩展栅格高程。具体地,将多个延伸类型的扩展栅格中与初始栅格直接相邻的栅格作为交界栅格,将与交界栅格相邻的至少一个初始栅格作为直接邻域栅格,并将与直接邻域栅格处于同一邻域方向上的其他初始栅格作为间接邻域栅格。求取多个邻域栅格的扩展栅格高程的平均值作为交界栅格的扩展栅格高程。进而将交界栅格的扩展栅格高程同步覆盖至与其具有同一横坐标值或者纵坐标值的其他延伸类型的扩展栅格,以使得各个延伸类型的扩展栅格均具有扩展栅格高程。
例如图7所示,在延伸类型的扩展栅格中扩展栅格G1为与初始栅格直接相邻的交界栅格,其扩展栅格高程未知,初始栅格G0与扩展栅格G1相邻,则将初始栅格G0定义为扩展栅格G1的直接邻域栅格。以直接邻域栅格为中心的圆周方向作为邻域方向,确定与初始栅格G0相邻的其他初始栅格作为扩展栅格G1的间接邻域栅格。其中,直接邻域栅格和间接邻域栅格统称为邻域栅格。在没有凹坑或者障碍物的情况下,位置相邻的栅格的高程相近,求取初始栅格G0的邻域栅格高程和多个间接邻域栅格的邻域栅格高程的平均值,并以此作为扩展栅格G1的扩展栅格高程。另外,在多个延伸类型的扩展栅格中扩展栅格G1、扩展栅格G2和扩展栅格G3的二维坐标具有相同的列值或者行值,并且扩展栅格G2和扩展栅格G3均处于机器人的通行区域,因此可用扩展栅格G1的扩展栅格高程覆盖扩展栅格G2和扩展栅格G3的扩展栅格高程。
整合扩展栅格的二维坐标和扩展栅格高程,确定扩展栅格对应的扩展栅格信息。以同样的方式遍历各个延伸类型的扩展栅格,进而完成利用初始栅格信息对延伸类型的扩展栅格进行高程补充的目的。在获得了延伸类型的扩展栅格的二维坐标和扩展栅格高程之后,将延伸类型的扩展栅格的二维坐标与扩展栅格高程进行整合,生成延伸类型的扩展栅格的扩展栅格信息。
针对孔洞类型的扩展栅格:
基于初始栅格信息,确定扩展栅格的二维坐标。例如当与孔洞类型的扩展栅格相邻的多个初始栅格的二维坐标分别为(m,n)、(m+1,n-1)、(m+1,n+1)、(m+2,n)时,而坐标(m+1,n)对应的栅格没有初始栅格信息,则该栅格即为孔洞类型的扩展栅格,(m+1,n)即为该孔洞类型的扩展栅格的二维坐标。
在邻域栅格对应的初始栅格信息中提取邻域栅格高程,确定多个邻域栅格高程的平均值作为扩展栅格的扩展栅格高程。具体地,在没有凹坑或者障碍物的情况下,位置相邻的栅格的高程相近,因此在获得了扩展栅格的二维坐标之后,在预设的邻域方向上提取与孔洞类型的扩展栅格相邻的至少一个初始栅格作为邻域栅格,进而求取各个邻域栅格的邻域栅格高程的平均值作为孔洞类型的扩展栅格的扩展栅格高程。当然,可将与初始栅格直接相邻的孔洞类型的扩展栅格的扩展栅格高程覆盖与其相邻并具有相同二维坐标的横坐标值或者纵坐标值的其他扩展栅格。最终,将孔洞类型的扩展栅格的二维坐标与扩展栅格高程进行整合,生成孔洞类型的扩展栅格的扩展栅格信息。
将孔洞类型的扩展栅格的扩展栅格信息和延伸类型的扩展栅格的扩展栅格信息对应更新至栅格地图中,即可建立以机器人为中心的局部地图。当然,随着机器人的位置信息和姿态信息的变化,还可对初始栅格的初始栅格高程和扩展栅格的扩展栅格高程分别进行更新,并基于初始栅格高程和扩展栅格高程的更新结果对局部地图进行更新。
局部地图可为2D形式或者2.5D形式,当局部地图为2D形式时,各个栅格的高程可通过颜色或者标识进行区别;当局部地图为2.5D形式时,各个栅格的高程可通过立体柱的高低来表征,在此不做限制。
图8是本申请一个实施例提供的以机器人为中心的局部地图的应用场景图。如图8所示,在2D或者2.5D的栅格地图中,当机器人P处于A位置时,局部地图的显示范围为DA,当机器人P按照运动路线移动至B位置时,局部地图的显示范围为DB。显而易见地,随着机器人的移动,局部地图的显示范围随之变化,以保证机器人了解周围环境信息,达到精准避障的效果。
在一些实施例中,在步骤301,获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图之前,还包括:利用深度传感器建立栅格地图。
具体地,调用机器人内置的定位系统和惯性测量单元确定机器人的位置信息和姿态信息;利用深度传感器获取其探测范围内的初始点云数据;根据机器人的位置信息和姿态信息,将深度传感器的初始点云数据转换为世界坐标系下的三维坐标;根据深度传感器探测范围内各个像素点的三维坐标,构建或更新待测环境的栅格地图。
其中,调用机器人内置的定位系统和惯性测量单元确定机器人的位置信息和姿态信息。具体地,惯性测量单元是测量机器人三轴姿态角以及加速度的装置,包含三个单轴的加速度计和三个单轴的陀螺,加速度计用于检测机器人在机器人坐标系独立三轴的加速度信号,陀螺检测机器人相对于世界坐标系的角速度信号,测量机器人在三维空间中的角度和加速度。惯性测量单元可以设置于机器人的质心位置。
利用深度传感器获取其探测范围内的初始点云数据。具体地,由深度传感器采集其探测范围内的深度图像,深度图像包括具有RGB三通道的探测图像和深度数据,探测图像的像素点和深度数据的像素点按照位置关系一一对应。探测图像提供了深度传感器探测范围内各个像素点在像素坐标系下的像素坐标,包括行值和列值。深度数据用于表征探测范围内各个像素点的最高点沿垂线方向到地面的距离,即各个像素点的高程。整合各个像素点的像素坐标以及各个像素点对应的高程,得到用于表征深度传感器的探测范围内各个像素点信息的初始点云数据。
根据机器人的位置信息和姿态信息,将深度传感器的初始点云数据转换为世界坐标系下的三维坐标。具体地,利用机器人目前的位置信息和姿态信息,获得机器人坐标系与世界坐标系之间的转换关系。其中,机器人坐标系与世界坐标系之间的转换关系由机器人内置里程计给定。根据深度传感器的离线标定结果中的相机坐标系到机器人坐标系的转换关系,以及机器人坐标系与世界坐标系的转换关系,即可获得世界坐标系到相机坐标系之间的变换关系式。当图像坐标系与相机坐标系的原点重合时,利用相似三角形原理,即可获得相机坐标系与像素坐标系之间的变换关系式。最终,结合深度传感器的标定参数,根据世界坐标系到相机坐标系之间的变换关系式以及相机坐标系与像素坐标系之间的变换关系式,以相机坐标系作为中介即可获得世界坐标系与像素坐标系之间的坐标转换公式。需要说明的是,由于初始点云数据的采样时间与机器人当前的位置信息和姿态信息的采样时间并非完全对应,为了避免误差,在利用坐标转换公式获取初始点云数据在世界坐标系下的三维坐标之前,还需要进行时间戳对齐。
相机坐标系与世界坐标系之间的变换关系具体可以表示为:
Figure BDA0003825469410000151
在公式(3)中,s为尺度因子,u为像素坐标中的列值,v为像素坐标中的行值,dX为每个像素点在图像坐标系X轴的物理尺寸,dY每个像素点在图像坐标系Y轴的物理尺寸,f为相机焦距,u0、v0、ax、ay均为深度传感器的已知内参,R为旋转矩阵、t为平移矩阵,xw为世界坐标系下的三维坐标的横坐标值、yw为世界坐标系下的三维坐标的纵坐标值、zw世界坐标系下的三维坐标的竖坐标值(即高程),M1为深度传感器的内参矩阵,M2为深度传感器的外参矩阵,M为深度传感器的投影矩阵。
将公式(3)中深度传感器的内参矩阵和外参矩阵进行合并,即可获得坐标转换公式:
Figure BDA0003825469410000152
在公式(4)中,M为投影矩阵。
利用坐标转换公式将深度传感器采集的各个像素点的像素坐标以及其高程转换成世界坐标系下的三维坐标,其中三维坐标包括深度传感器的探测范围内各个像素点的二维坐标及其高程。
根据深度传感器探测范围内各个像素点的三维坐标,构建或更新待测环境的栅格地图。具体地,将待测环境对应的探测图像划分为多个栅格,则每个栅格包含多个像素点。将各个栅格中的像素点的高程进行数值排序,以各个栅格中数值最大的高程作为该栅格的高程值;以各个栅格的中心对应的像素点的二维坐标作为该栅格的二维坐标。基于上述,将包含各个栅格的二维坐标及其高程的栅格信息同步或更新至待测环境对应的地图中,获得能够表征各个栅格的栅格信息的栅格地图。需要说明的是,由于深度传感器易受外界环境因素的影响,栅格地图中存在着一定数量的“孔洞”。
在一些实施方式中,由于深度传感器负载在机器人的四周,因此随着机器人的移动,深度传感器的探测范围也将发生变化。基于此,深度传感器采集的初始点云数据会随着其探测范围的变化而更新,初始点云数据对应的栅格地图也会随之更新,以保证栅格地图时刻以机器人为中心。
根据本申请的一种局部地图的建立方法,利用单目相机的视野图像,在通行区域的初始区域中延伸出扩展区域,并结合栅格地图的初始栅格信息,对扩展区域进行扩展栅格信息的补充,提高了建立完整局部地图的准确性,同时也降低了局部地图的建立成本。
图9是本申请一个实施例提供的一种局部地图的建立装置框图。
如图9所示,本申请的另一个方面提供了这样一种局部地图的建立装置300,可包括:采集模块310、通行区域确定模块320、扩展栅格信息确定模块330和局部地图建立模块340。采集模块310用于获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。通行区域确定模块320用于根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。扩展栅格信息确定模块330用于获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。局部地图建立模块340用于将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。
通行区域确定模块320的执行步骤可包括:调用接地线识别模型对视野图像进行识别,得到视野图像中的接地线对应的图像坐标集;将图像坐标集的各个图像坐标进行转换,得到接地线在待测环境中的接地线位置;获取采集视野图像时单目相机所处的相机位置;基于相机位置和接地线位置确定待测环境中的通行区域;将通行区域与栅格地图进行区域匹配,得到匹配结果;将通行区域中匹配结果为匹配成功的区域确定为初始区域,将通行区域中匹配结果为匹配失败的区域确定为扩展区域。
通行区域确定模块320的执行步骤还可包括:将初始区域与栅格地图进行栅格匹配,得到栅格地图中与初始区域对应的多个初始栅格;在栅格地图中获取初始栅格各自对应的初始栅格信息,初始栅格信息包括初始栅格对应的初始栅格高程。
通行区域确定模块320的执行步骤还可包括:在栅格地图中确定与扩展区域对应的多个扩展栅格;在多个初始栅格中确定与扩展栅格相邻的至少一个初始栅格,作为扩展栅格对应的邻域栅格;根据邻域栅格对应的初始栅格信息,确定扩展栅格对应的扩展栅格信息,扩展栅格信息包括扩展栅格高程。
通行区域确定模块320的执行步骤还可包括:获取扩展栅格各自对应的栅格类型,其中栅格类型包括孔洞类型和延伸类型;获取与栅格类型相关联的邻域范围,邻域范围包括邻域方向和栅格数量;在多个初始栅格中,沿邻域方向确定与栅格数量相匹配的初始栅格,作为扩展栅格对应的邻域栅格。
通行区域确定模块320的执行步骤还可包括:利用初始栅格信息,确定述扩展栅格的二维坐标;根据邻域栅格对应的初始栅格信息,分别构建至少两个邻域方向对应的拟和线;根据扩展栅格的二维坐标,分别利用至少两个邻域方向对应的拟合线计算表征扩展栅格高程的多个拟合值;求取多个拟合值的平均值作为扩展栅格的扩展栅格高程;以及整合扩展栅格的二维坐标和扩展栅格高程,确定扩展栅格信息。
通行区域确定模块320的执行步骤还可包括:基于初始栅格信息,确定扩展栅格的二维坐标;在邻域栅格对应的初始栅格信息中提取邻域栅格高程,确定多个邻域栅格高程的平均值作为扩展栅格的扩展栅格高程;整合扩展栅格的二维坐标和扩展栅格高程,确定扩展栅格对应的扩展栅格信息。
根据本申请的一种局部地图的建立装置,利用单目相机的视野图像,在通行区域的初始区域中延伸出扩展区域,并结合栅格地图的初始栅格信息,对扩展区域进行扩展栅格信息的补充,提高了建立完整局部地图的准确性,同时也降低了局部地图的建立成本。
图10是本申请一个实施例提供的电子设备结构示意图。如图10所示,根据本申请的又一方面还提供了一种电子设备400。该电子设备400可包括一个或多个处理器以及一个或多个存储器。其中,存储器中存储有计算机可读代码,计算机可读代码当由一个或多个处理器运行时,可以执行如上所述的局部地图的建立方法。
根据本申请实施方式的方法或装置也可以借助于图10所示的电子设备的架构来实现。如图10所示,电子设备400可包括总线401、一个或多个CPU402、只读存储器(ROM)403、随机存取存储器(RAM)404、连接到网络的通信端口405、输入/输出组件406、硬盘407等。电子设备400中的存储设备,例如ROM403或硬盘407可存储本申请提供的局部地图的建立方法。局部地图的建立方法可例如包括:获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。进一步地,电子设备400还可包括用户界面408。当然,图10所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图10示出的电子设备中的一个或多个组件。
图11是本申请一个实施例提供的计算机可读存储介质结构示意图。如图11所示,是根据本申请一个实施方式的计算机可读存储介质500。计算机可读存储介质500上存储有计算机可读指令。当计算机可读指令由处理器运行时,可执行参照以上附图描述的根据本申请实施方式的局部地图的建立方法。存储介质500包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(RAM)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(ROM)、硬盘、闪存等。
另外,根据本申请的实施方式,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质存储有机器可读指令,所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令,例如:获取单目相机采集的待测环境对应的视野图像,以及待测环境对应的栅格地图。根据视野图像确定待测环境中的通行区域,通行区域包括初始区域和扩展区域。获取初始区域在栅格地图中对应的初始栅格信息,根据初始栅格信息确定扩展区域对应的扩展栅格信息。将扩展栅格信息更新至栅格地图,建立待测环境对应的局部地图。在该计算机程序被中央处理单元(CPU)执行时,执行本申请的方法中限定的上述功能。
可能以许多方式来实现本申请的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
另外,本申请的实施方式中提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
以上描述仅为本申请的实施方式以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的保护范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离技术构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种局部地图的建立方法,其特征在于,所述方法包括:
获取单目相机采集的待测环境对应的视野图像,以及所述待测环境对应的栅格地图;
根据所述视野图像确定所述待测环境中的通行区域,所述通行区域包括初始区域和扩展区域;
获取所述初始区域在所述栅格地图中对应的初始栅格信息,根据所述初始栅格信息确定所述扩展区域对应的扩展栅格信息;
将所述扩展栅格信息更新至所述栅格地图,建立所述待测环境对应的局部地图。
2.根据权利要求1所述的局部地图的建立方法,其特征在于,所述根据所述视野图像确定所述待测环境中的通行区域,包括:
调用接地线识别模型对所述视野图像进行识别,得到所述视野图像中的接地线对应的图像坐标集;
将所述图像坐标集的各个图像坐标进行转换,得到所述接地线在所述待测环境中的接地线位置;
获取采集所述视野图像时所述单目相机所处的相机位置;
基于所述相机位置和所述接地线位置确定所述待测环境中的通行区域;
将所述通行区域与所述栅格地图进行区域匹配,得到匹配结果;
将所述通行区域中匹配结果为匹配成功的区域确定为初始区域,将所述通行区域中匹配结果为匹配失败的区域确定为扩展区域。
3.根据权利要求1所述的局部地图的建立方法,其特征在于,所述获取所述初始区域在所述栅格地图中对应的初始栅格信息,包括:
将所述初始区域与所述栅格地图进行栅格匹配,得到所述栅格地图中与所述初始区域对应的多个初始栅格;
在所述栅格地图中获取所述初始栅格各自对应的初始栅格信息,所述初始栅格信息包括所述初始栅格对应的初始栅格高程。
4.根据权利要求1所述的局部地图的建立方法,其特征在于,所述根据所述初始栅格信息确定所述扩展区域对应的扩展栅格信息,包括:
在所述栅格地图中确定与所述扩展区域对应的多个扩展栅格;
在多个所述初始栅格中确定与所述扩展栅格相邻的至少一个初始栅格,作为所述扩展栅格对应的邻域栅格;
根据所述邻域栅格对应的初始栅格信息,确定所述扩展栅格对应的扩展栅格信息,所述扩展栅格信息包括扩展栅格高程。
5.根据权利要求4所述的局部地图的建立方法,其特征在于,所述在多个所述初始栅格中确定与所述扩展栅格相邻的至少一个初始栅格,作为所述扩展栅格对应的邻域栅格,包括:
获取所述扩展栅格各自对应的栅格类型,其中栅格类型包括孔洞类型和延伸类型;
获取与所述栅格类型相关联的邻域范围,所述邻域范围包括邻域方向和栅格数量;
在多个所述初始栅格中,沿所述邻域方向确定与所述栅格数量相匹配的初始栅格,作为所述扩展栅格对应的邻域栅格。
6.根据权利要求4或5所述的局部地图的建立方法,其特征在于,所述根据所述邻域栅格对应的初始栅格信息,确定所述扩展栅格对应的扩展栅格信息,所述扩展栅格信息包括扩展栅格高程,包括:
利用所述初始栅格信息,确定所述扩展栅格的二维坐标;
根据所述邻域栅格对应的初始栅格信息,分别构建至少两个所述邻域方向对应的拟和线;
根据所述扩展栅格的二维坐标,分别利用至少两个所述邻域方向对应的拟合线计算表征所述扩展栅格高程的多个拟合值;
求取多个所述拟合值的平均值作为所述扩展栅格的扩展栅格高程;以及
整合所述扩展栅格的二维坐标和所述扩展栅格高程,确定扩展栅格信息。
7.根据权利要求4或5所述的局部地图的建立方法,其特征在于,所述根据所述邻域栅格对应的初始栅格信息,确定所述扩展栅格对应的扩展栅格信息,所述扩展栅格信息包括扩展栅格高程,包括:
基于所述初始栅格信息,确定所述扩展栅格的二维坐标;
在所述邻域栅格对应的初始栅格信息中提取邻域栅格高程,确定多个所述邻域栅格高程的平均值作为扩展栅格的扩展栅格高程;
整合所述扩展栅格的二维坐标和所述扩展栅格高程,确定所述扩展栅格对应的扩展栅格信息。
8.一种局部地图的建立装置,其特征在于,所述装置包括:
采集模块,用于获取单目相机采集的待测环境对应的视野图像,以及所述待测环境对应的栅格地图;
通行区域确定模块,用于根据所述视野图像确定所述待测环境中的通行区域,所述通行区域包括初始区域和扩展区域;
扩展栅格信息确定模块,用于获取所述初始区域在所述栅格地图中对应的初始栅格信息,根据所述初始栅格信息确定所述扩展区域对应的扩展栅格信息;以及
局部地图建立模块,用于将所述扩展栅格信息更新至所述栅格地图,建立所述待测环境对应的局部地图。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,以实现如权利要求1-7任一所述的局部地图的建立方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-7任一项所述的局部地图的建立方法中的步骤。
CN202211057589.XA 2022-08-30 2022-08-30 局部地图的建立方法、装置、电子设备以及可读存储介质 Pending CN115435772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211057589.XA CN115435772A (zh) 2022-08-30 2022-08-30 局部地图的建立方法、装置、电子设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211057589.XA CN115435772A (zh) 2022-08-30 2022-08-30 局部地图的建立方法、装置、电子设备以及可读存储介质

Publications (1)

Publication Number Publication Date
CN115435772A true CN115435772A (zh) 2022-12-06

Family

ID=84244821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211057589.XA Pending CN115435772A (zh) 2022-08-30 2022-08-30 局部地图的建立方法、装置、电子设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN115435772A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115972217A (zh) * 2023-03-20 2023-04-18 深圳鹏行智能研究有限公司 基于单目相机的地图建立方法和机器人
CN116518960A (zh) * 2023-06-28 2023-08-01 腾讯科技(深圳)有限公司 路网更新方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115972217A (zh) * 2023-03-20 2023-04-18 深圳鹏行智能研究有限公司 基于单目相机的地图建立方法和机器人
CN116518960A (zh) * 2023-06-28 2023-08-01 腾讯科技(深圳)有限公司 路网更新方法、装置、电子设备和存储介质
CN116518960B (zh) * 2023-06-28 2023-09-26 腾讯科技(深圳)有限公司 路网更新方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11592845B2 (en) Image space motion planning of an autonomous vehicle
CN115435772A (zh) 局部地图的建立方法、装置、电子设备以及可读存储介质
US9020301B2 (en) Method and system for three dimensional mapping of an environment
CN107990876A (zh) 基于无人飞行器的地下矿山采空区快速扫描装置及方法
CN105916758A (zh) 用于车辆的自主泊车的方法、用于执行所述方法的驾驶员辅助设备以及具有所述驾驶员辅助设备的车辆
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
KR20140144921A (ko) 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
US11820001B2 (en) Autonomous working system, method and computer readable recording medium
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
JP2020534198A (ja) 移動可能物体の制御方法、機器およびシステム
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
CN112967392A (zh) 一种基于多传感器触合的大规模园区建图定位方法
JP6829513B1 (ja) 位置算出方法及び情報処理システム
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
JP2017120551A (ja) 自律走行装置
CN113701750A (zh) 一种井下多传感器的融合定位系统
KR20200020295A (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
KR102565444B1 (ko) 객체를 식별하기 위한 장치 및 방법
CN115972217B (zh) 基于单目相机的地图建立方法和机器人
CN116358522A (zh) 局部地图生成方法和装置、机器人、计算机可读存储介质
CN115326057A (zh) 路径规划方法、装置、机器人以及可读存储介质
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
CN114663754A (zh) 检测方法、装置、多足机器人及存储介质
CN115565058A (zh) 机器人、避障方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination