CN115077540A - 一种地图构建方法及装置 - Google Patents
一种地图构建方法及装置 Download PDFInfo
- Publication number
- CN115077540A CN115077540A CN202210625482.4A CN202210625482A CN115077540A CN 115077540 A CN115077540 A CN 115077540A CN 202210625482 A CN202210625482 A CN 202210625482A CN 115077540 A CN115077540 A CN 115077540A
- Authority
- CN
- China
- Prior art keywords
- grid
- environment
- area
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种地图构建方法及装置,涉及图像处理技术领域,上述方案包括:对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;根据机器人的环境位置,确定所述图像区域对应的环境区域;在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格;根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。应用本发明实施例提供的地图构建方案,能够实现地图构建。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种地图构建方法及装置。
背景技术
机器人需要依据环境地图完成工作,因此,为机器人构建地图成为了如今的热点研究课题。机器人可以搭载各种传感器,在为机器人构建地图的过程中,随着机器人移动,传感器可实时采集数据,从而依据所采集的数据构建地图,上述传感器可以包括位置传感器、距离传感器、图像采集设备等等。
因此,需要一种地图构建方案,以依据机器人所搭载的传感器采集的数据实现构建地图。
发明内容
本发明实施例的目的在于提供一种地图构建方法及装置,以实现地图构建。具体技术方案如下:
第一方面,本发明实施例提供了一种地图构建方法,所述方法包括:
对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
根据机器人的环境位置,确定所述图像区域对应的环境区域;
在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
本发明的一个实施例中,所述对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域,包括:
对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图;
对所述初始特征图进行语义分割,得到描述不同类型对象的第一特征图;
对所述初始特征图进行实例分割,得到描述不同对象的第二特征图;
根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域。
本发明的一个实施例中,所述根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域,包括:
根据所述第一特征图,确定所述环境图像中不同类型对象所在区域;
根据所述第二特征图,确定所述环境图像中描述不同对象的对象像素点;
基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点;
将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
本发明的一个实施例中,所述基于所述划分系数,将所述目标栅格划分为多个子栅格,包括:
基于所述划分系数以及所述环境区域的区域面积,将所述目标栅格划分为多个子栅格。
本发明的一个实施例中,所述基于所述划分系数,将所述目标栅格划分为多个子栅格,包括:
基于所述划分系数与所述子栅格的尺寸之间的对应关系,计算所述子栅格的尺寸;
按照计算得到的尺寸,将该目标栅格划分为多个子栅格。
本发明的一个实施例中,在各栅格均为正六边形栅格的情况下,所述划分系数与所述子栅格的尺寸之间的对应关系按照以下表达式表示:
其中,所述S为所述初始环境地图的面积,所述L为所述子栅格的边长,所述n为所述划分系数。
第二方面,本发明实施例还提供了一种地图构建装置,所述装置包括:
对象分割模块,用于对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
区域确定模块,用于根据机器人的环境位置,确定所述图像区域对应的环境区域;
栅格查找模块,用于在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
系数获得模块,用于根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
栅格更新模块,用于基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
本发明的一个实施例中,所述对象分割模块,包括:
特征提取子模块,用于对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图;
语义分割子模块,用于对所述初始特征图进行语义分割,得到描述不同类型对象的第一特征图;
实例分割子模块,用于对所述初始特征图进行实例分割,得到描述不同对象的第二特征图;
区域确定子模块,用于根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域。
本发明的一个实施例中,所述区域确定子模块,具体用于:
根据所述第一特征图,确定所述环境图像中不同类型对象所在区域;
根据所述第二特征图,确定所述环境图像中描述不同对象的对象像素点;
基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点;
将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
本发明的一个实施例中,所述栅格更新模块,具体用于:
基于所述划分系数以及所述环境区域的区域面积,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
本发明的一个实施例中,所述栅格更新模块,具体用于:
基于所述划分系数与所述子栅格的尺寸之间的对应关系,计算所述子栅格的尺寸;
按照计算得到的尺寸,将该目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
本发明的一个实施例中,在各栅格均为正六边形栅格的情况下,所述划分系数与所述子栅格的尺寸之间的对应关系按照以下表达式表示:
其中,所述S为所述初始环境地图的面积,所述L为所述子栅格的边长,所述n为所述划分系数。
第三方面,本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果:
由以上可见,应用本发明实施例提供的方案构建地图时,对环境图像进行对象分割,得到对象所在的图像区域,根据机器人的环境位置,确定图像区域对应的环境区域,该环境区域可以看做是上述对象的环境区域,确定上述环境区域后,可以在初始环境地图中查找到环境区域所在的目标栅格,由于上述图像区域能够反映对象对机器人执行任务的影响程度,因此,可以根据该影响程度,获得上述环境区域的划分系数,这样在查找到目标栅格后,可以基于上述划分系数,将目标栅格划分为多个子栅格,并使用所划分的多个子栅格,更新目标栅格,从而实现地图构建。
另外,地图中每一栅格均对应环境中的一个区域,栅格的属性用于描述栅格所对应区域的环境信息,将目标栅格划分为多个子栅格后,每一子栅格均对应目标栅格所对应区域中的部分区域,每一子栅格的属性用于描述其所对应的部分区域的环境信息,从而目标栅格所对应区域的环境信息由多个子栅格的属性进行描述,而非由一个目标栅格的属性进行描述,这样使得在所构建的地图中,目标栅格所对应区域的细节信息更加丰富,并且对于非目标栅格,则不需要对其进行划分,这样能够使得在应用本发明实施例提供的地图构建方案时,即能够提高所构建地图的精度,还能够保证的地图的数据存储量较小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1a为本发明实施例提供的第一种地图构建方法的流程示意图;
图1b为本发明实施例提供的一种主栅格的分布示意图;
图1c为本发明实施例提供的一种地图栅格的分布示意图;
图2为本发明实施例提供的第二种地图构建方法的流程示意图;
图3为本发明实施例提供的第三种地图构建方法的流程示意图;
图4为本发明实施例提供的第四种地图构建方法的流程示意图;
图5为本发明实施例提供的第五种地图构建方法的流程示意图;
图6为本发明实施例提供的第一种地图构建装置的结构示意图;
图7为本发明实施例提供的第二种地图构建装置的结构示意图;
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本发明所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本发明实施例提供的地图构建方案的应用场景进行说明。
由于机器人在工作过程中现实环境通常是不断变化的,因此,对于已构建的地图,需要对其进行更新,以保证地图的准确性。
在更新地图时,可以对机器人搭载的图像采集设备采集的图像和已有地图进行分析比较,若图像所反映的地图区域与已有地图中相同位置的地图区域不同,则说明该地图区域发生了变化,此时,需要对已有地图中该地图区域进行更新。对已有地图中部分地图区域进行更新可以看做是重新构建该部分地图区域,对整个地图进行更新可以看做是重新构建整个地图。
另外,在更新地图时,可以间隔一段时间更新一次地图,也可以持续更新地图。
下面通过具体实施例对本发明实施例提供的地图构建方案进行详细说明。
参见图1a,图1a为本发明实施例提供的第一种地图构建方法的流程示意图,上述方法包括以下步骤S101-S105。
步骤S101:对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域。
其中,上述图像采集设备可以是RGB(Red Green Blue,红绿蓝)相机、深度相机、红外相机、点云相机等。
上述环境图像可以是图像采集设备实时采集的,也可以是在机器人工作过程中图像采集设备已采集的多张图像中的任一张图像。
上述对象可以是道路、车辆、树木等。
具体的,可以通过以下两种实现方式中的任一种方式对上述环境图像进行对象分割,得到对象所在的图像区域。
第一种实现方式中,可以对环境图像进行对象识别,这样可以确定环境图像中对象所在的区域,根据所确定的区域,对环境图像进行分割,从而可以得到对象所在的图像区域。
第二种实现方式中,可以通过后续图2所示实施例中步骤S101A-S101D对环境图像进行对象分割,得到对象所在的图像区域,这里暂不详述。
另外,还可以通过现有的图像分割技术对环境图像进行分割,得到对象所在的图像区域,例如,现有的全景分割技术。
步骤S102:根据机器人的环境位置,确定图像区域对应的环境区域。
其中,上述环境位置可以看做是机器人在所处环境中的位置。
本发明的一个实施例中,机器人可以安装定位系统,这样可以获得该定位系统检测的机器人位置,作为机器人的环境位置。
具体的,可以通过以下两种实现方式中的任一种方式确定上述环境区域。
第一种实现方式中,可以预先获得机器人在环境中各处的环境位置,并获得机器人处于环境中各处时在图像坐标系下的图像位置,根据机器人的环境位置以及图像位置,建立图像坐标系与环境坐标系之间的转换关系,这样在得到上述图像区域后,根据图像区域的位置信息以及上述转换关系,确定图像区域对应的环境区域。
第二种实现方式中,在获得机器人的环境位置以及机器人在图像坐标系下的图像位置之后,可以根据机器人在图像坐标系下的图像位置以及上述图像区域的位置,确定机器人与对象之间的相对位置,根据机器人的环境位置以及该相对位置,确定对象在环境中的区域,作为与图像区域对应的环境区域。
另外,上述对象可以有多个,因此,对象所在的图像区域也可以有多个,针对每一图像区域,可以根据机器人的环境位置,确定该图像区域对应的环境区域。
步骤S103:在基于栅格构建的初始环境地图中,查找环境区域所在的目标栅格。
其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息。
上述所对应区域的环境信息可以包括区域内对象的类型、位置以及区域的位置等信息。
上述初始环境地图可以是已有的环境地图,也可以是基于机器人搭载的各种传感器当前已采集的各种数据实时构建的。
上述初始环境地图的构建过程可参见后续实施例,这里暂不详述。
具体的,在初始环境地图中,每一栅格均对应环境中的一块区域,在确定上述环境区域后,可以根据初始环境地图中栅格与环境中各个区域之间的对应关系,找到与环境区域对应的栅格,作为目标栅格。
另外,一个环境区域可能对应多个栅格,在找到与环境区域对应的多个栅格后,可以将这多个栅格均作为目标栅格。并且,上述环境区域可以有多个,这样在上述初始环境地图中,可以查找各个环境区域所在的多个目标栅格。
步骤S104:根据图像区域反映的、对象对机器人执行任务的影响程度,获得环境区域的划分系数。
其中,上述划分系数表征对环境区域进行划分的划分程度。
划分系数越大,则表示对环境区域进行划分的划分程度越高,划分后得到的子区域越多。
上述对象对机器人执行任务的影响程度可以理解为机器人对对象的关注程度,在机器人执行任务过程中,机器人对对象的关注程度越高,则需要获得该对象所在区域更详细的信息,从而对象对机器人执行任务的影响程度越高。
例如,机器人在执行任务时在道路中移动,这时需要重点关注道路中的车辆,此时,需要获得车辆所在区域更详细的信息,以基于所获得的信息进行制动、避让等动作,因此,道路中的车辆对机器人执行任务的影响程度较高,车辆所在的环境区域的划分系数较大。
又例如,机器人在执行任务过程中,对天空、建筑物的关注程度较低,则天空、建筑物对机器人执行任务的影响程度较低,所获得的天空、建筑物所在的环境区域的划分系数较小。
具体的,在获得环境区域的划分系数时,可以获得表征图像区域反映的、对象对机器人执行任务的影响程度的影响参数,并根据所获得的影响参数,确定环境区域的划分系数。
本发明的一个实施例中,在获得上述影响参数时,可以采用注意力机制,对上述环境图像进行分析,得到表征环境图像中图像区域的被关注程度的注意力参数,并将该注意力参数作为图像区域所对应的环境区域的影响参数。
另外,还可以人为预设表征对象对机器人执行任务的影响程度的影响参数。
例如,在规划机器人行进路线时,道路中的障碍物、车辆、道路引导线等对象对规划行进路线的影响程度较大,此时,可以针对障碍物、车辆、道路引导线等对象,预设较大的影响参数,道路两侧的行人、树木等对象对规划行进路线的影响程度较小,此时,可以针对行人、树木等对象,预设较小的影响参数。
步骤S105:基于划分系数,将目标栅格划分为多个子栅格,并使用多个子栅格,更新目标栅格。
具体的,可以通过以下两种实现方式中的任一种将目标栅格划分为多个子栅格。
第一种实现方式中,可以根据划分系数,计算对目标栅格进行划分后得到的子栅格的数量,从而根据计算得到的子栅格数量,对目标栅格进行划分。其中,划分系数越大,则子栅格的数量越多。
例如,可以预设大于0的计算系数k,在获得上述划分系数n后,将该计算系数k与该划分系数n相乘,得到相乘结果作为子栅格的数量m=k*n。
第二种实现方式中,还可以根据划分系数,计算对目标栅格进行划分后得到的子栅格的尺寸,从而根据计算得到的子栅格尺寸,对目标栅格进行划分。其中,划分系数越大,则子栅格的尺寸越小。
例如,在上述目标栅格为矩形栅格的情况下,可以将该矩形栅格的高h1与划分系数n除,得到矩形的子栅格的高h2=h1/n,子栅格的宽可以与目标栅格的宽相同。
通过计算子栅格尺寸实现目标栅格划分的具体实现方式可参见后续图5所示实施例中步骤S105B-S105C,这里暂不详述。
另外,在划分目标栅格时,针对每一环境区域,可以基于该环境区域的划分系数,对该环境区域所在的目标栅格进行划分。由于不同对象对机器人执行任务的影响程度不同,因此不同环境区域的划分系数不同,这样对不同环境区域所在的目标区域进行划分的划分程度不同。
例如,可能将一个目标栅格划分为4个子栅格,将另一目标栅格划分为16个子栅格。
在将目标栅格划分为多个子栅格之后,每一个子栅格对应目标栅格所对应区域中的部分区域,因此,可以根据该多个子栅格所对应部分区域的环境信息生成该多个子栅格的属性,这样每一子栅格的属性用于描述目标栅格所对应区域中部分区域的环境信息,该多个子栅格的属性共同描述目标栅格所对应区域的环境信息,从而实现更新目标栅格。
由以上可见,应用本发明实施例提供的方案构建地图时,对环境图像进行对象分割,得到对象所在的图像区域,根据机器人的环境位置,确定图像区域对应的环境区域,该环境区域可以看做是上述对象的环境区域,确定上述环境区域后,可以在初始环境地图中查找到环境区域所在的目标栅格,由于上述图像区域能够反映对象对机器人执行任务的影响程度,因此,可以根据该影响程度,获得上述环境区域的划分系数,这样在查找到目标栅格后,可以基于上述划分系数,将目标栅格划分为多个子栅格,并使用所划分的多个子栅格,更新目标栅格,从而实现地图构建。
另外,地图中每一栅格均对应环境中的一个区域,栅格的属性用于描述栅格所对应区域的环境信息,将目标栅格划分为多个子栅格后,每一子栅格均对应目标栅格所对应区域中的部分区域,每一子栅格的属性用于描述其所对应的部分区域的环境信息,从而目标栅格所对应区域的环境信息由多个子栅格的属性进行描述,而非由一个目标栅格的属性进行描述,这样使得在所构建的地图中,目标栅格所对应区域的细节信息更加丰富,并且对于非目标栅格,则不需要对其进行划分,这样能够使得在应用本发明实施例提供的地图构建方案时,即能够提高所构建地图的精度,还能够保证的地图的数据存储量较小。
上述机器人可以作为应用本发明实施例提供的地图构建方案的执行主体,这样在机器人工作过程中,依据所构建的地图,能够实现机器人快速寻路以及路径规划等功能,又由于机器人能够依据搭载的图像采集设备采集的图像不断更新地图,所以使得机器人能够应用于商场、医院等多种复杂多变的环境中。
下面对基于栅格构建初始环境地图的构建过程进行说明。
栅格可以是多种不同形状的,例如三角形栅格、矩形栅格、六边形栅格等。针对不同形状的栅格,可以有不同的初始环境地图构建过程。
本发明的一个实施例中,在上述栅格的形状为矩形的情况下,可以根据所要构建的初始环境地图的长和宽,确定矩形栅格的长和宽,然后使用确定尺寸的栅格,构建初始环境地图。
本发明的一个实施例中,在上述栅格的形状为正六边形的情况下,可以首先获得所要构建的初始环境地图的地图范围,并在该地图范围内,预设第一个正六边形栅格的位置以及正六边形栅格的边长,然后按照预设的栅格位置以及栅格边长,确定初始环境地图中其他栅格的位置。该第一个正六边形栅格称之为中心栅格。
本发明的一个实施例中,在设置第一个正六边形栅格的位置以及边长后,可以按照以下表达式,在初始环境地图范围内进行栅格膨胀,得到多个栅格:
膨胀得到的栅格称之为主栅格,在得到多个主栅格之后,可以以每一主栅格为膨胀中心,再次进行栅格膨胀,以填充主栅格周围的地图区域,从而完成初始环境地图的构建。
图1b为初始环境地图中部分主栅格的分布示意图,在图1b中,位于图像中间的主节点六边形为中心栅格,除该主节点六边形之外的每一个主节点六边形均代表一个主栅格,相邻主节点六边形之间相隔一定距离。
图1c为初始环境地图中的部分栅格的分布示意图,在图1c中,位于中心的主节点六边形为按照上述表达式确定出的主栅格或中心栅格,该主节点六边形周围的六边形为以主节点六边形为膨胀中心膨胀得到的六边形栅格。
在对环境图像进行对象分割时,除了采用前述图1a所示实施例中步骤S101中提及的方式外,还可以通过后续图2所示实施例中步骤S101A-S101D对环境图像进行对象分割,从而得到对象所在的图像区域。
本发明的一个实施例中,参见图2,提供了第二种地图构建方法的流程示意图,本实施例中,可以通过以下步骤S101A-S101D实现上述步骤S101。
步骤S101A:对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图。
提取环境图像的特征可以通过现有的特征提取模型、算法等实现。
例如,可以利用用于提取图像特征的Backbone主干网络对环境图像进行处理,得到环境图像的初始特征图。该Backbone主干网络可以是利用Image-Net数据集进行训练后的神经网络模型。
在训练上述Backbone主干网络时,可以依据以下表达式计算网络训练损失,从而根据计算得到的训练损失调整网络参数。
其中,L为训练损失,N为网络输出的特征图的总数量,i为第i个特征图,M为特征类别的总数量,c为第c个特征类别,yic为第i个特征对于第c个特征类别的实际值,若第i个特征属于第c个特征类别,则yic为1,若第i个特征不属于第c个特征类别,则yic为0,pic为网络输出的第i个特征对于第c个特征类别的预测值。
步骤S101B:对初始特征图进行语义分割,得到描述不同类型对象的第一特征图。
其中,描述同一类型对象的第一特征图可以包括该类型的对象在初始特征图中的区域,描述不同类型对象的第一特征图可以包括不同类型的对象在初始特征图中的不同区域。
例如,上述对象类型可以是车辆,上述初始特征图中可以包括多台车辆所在区域,如车辆a所在的区域a以及车辆b所在的区域b,区域a以及区域b均能够描述车辆这一类型,因此,描述车辆的第一特征图中包括区域a与区域b。
又例如,在上述举例的基础上,还可以存在另一对象类型为行人,上述初始特征图中可以包括行人c所在的区域c,区域c能够描述行人这一类型,这样,描述车辆的第一特征图中包括区域c。
本发明的一个实施例中,可以在图像的语义维度上,按照预设的多种提取系数提取特征图中各个像素点的语义上下文信息,从而得到相较于初始特征图更深层次的特征图,根据所得到的特征,预测初始特征图中不同类型对象所在区域,进而对初始特征图进行分割,得到描述不同类型的的第一特征图。
例如,可以在图像的语义维度上,基于解耦的ASPP(atrous spatial pyramidpooling,空洞卷积池化金字塔)提取图像多尺度的语义上下文信息。
ASPP中的空洞卷积公式为:
其中,i为初始特征图中第i个像素点的像素值,y[i]为提取得到的第i个像素点的语义上下文信息,K为预设卷积尺寸最大值,k为当前卷积核尺寸,x为上述初始特征图的像素值矩阵,r为预设空洞率,w[k]为当前卷积核的权重参数。
另外,在上述步骤S101A中使用Backbone主干网络对环境图像进行特征提取的情况下,当获得图像的语义上下文信息之后,可以将所获得的上下文信息,即更深层次的特征,映射至预设像素空间中,得到像素空间中特征图,这样可以确定该特征图中像素值相同或者相差较小的像素点所在区域,进而根据所确定区域,查找初始特征图中与所确定区域相对应的区域,进而依据查找到的区域对初始特征图进行划分,得到描述不同类型对象的多个第一特征图,每一第一特征图描述一个类型对象。
本发明的另一实施例中,可以通过现有的语义分割技术对初始特征图进行处理,得到描述不同类型对象的第一特征图,这里不再详述。
步骤S101C:对初始特征图进行实例分割,得到描述不同对象的第二特征图。
一种实现方式中,上述第二特征图可以理解为包括对象所在区域的特征图,一个第二特征图用于描述一个对象,一个第二特征图包括初始特征图中一个对象所在区域,不同对象像素点用于描述不同对象,不同第二特征图包括初始特征图中不同对象所在区域。
本发明的一个实施例中,可以在图像的像素点距离的维度上,按照预设多种提取系数提取初始特征图中各个像素点的距离上下文信息,从而得到相较于所提取初始特征图更深层次的特征图,根据所得到的特征,预测初始特征图中不同对象所在区域,进而对初始特征图及逆行分割,得到描述不同对象的第二特征图。
例如,可以在图像的像素点距离的维度上,基于解耦的ASPP提取图像多尺度的距离上下文信息。
另外,在上述步骤S101A中使用Backbone主干网络对环境图像进行特征提取的情况下,当获得图像在距离维度上更深层次的特征之后,可以从所获得的特征中确定像素值大于预设阈值的像素点,根据所确定的像素点,在初始特征图中检测与所确定像素点对应的区域,作为对象所在区域,从而对初始特征图及逆行分割,得到描述不同对象的第二特征图。
本发明的另一实施例中,可以通过现有的实例分割技术对图像进行处理,得到描述不同对象的对象像素点,这里不再详述。
步骤S101D:根据所得到的第一特征图以及第二特征图,在环境图像中确定各个对象所在的图像区域。
具体的,由于第一特征图和第二特征图为从初始特征图中分割得到的特征图,并且初始特征图中各像素点与环境图像中的像素点存在对应关系,因此,可以根据第一特征图各像素点的位置,在环境图像中确定不同类型对象所在区域,根据第二特征图中各像素点的位置,在环境图像中确定不同对象所在区域,根据所确定的这两种区域,最终确定各个对象所在的图像区域。
为描述简便,这里将不同类型对象所在区域称为第一区域,将不同对象所在区域称为第二区域。
在根据上述两种区域确定各个对象所在的图像区域时,可以计算每一第二区域的区域中心,针对第一区域中的每一像素点,确定与该像素点距离最近的区域中心,将于同一区域中心对应的多个像素点所在的区域确定为该第一区域描述的对象类型的对象所在的图像区域。
由以上可见,应用本发明实施例提供的方案构建地图时,对提取的初始特征图进行语义分割以及实例分割,这样能够准确确定出描述不同类型对象的第一特征图以及描述不同对象的第二特征图,根据第一特征图可以得知环境图像中各个像素点所对应的对象的类型,根据第二特征图可以得知环境图像中各个像素点所对应对象的分布,这样根据第一特征图以及第二特征图,能够准确确定出各个对象所在的图像区域,根据图像区域,能够准确确定出环境区域以及目标栅格,从而在更新目标栅格后,能够提高所构建地图的精度。
由于在对初始特征图进行实例分割时,根据图像在距离维度上更深层次的特征预测的对象所在区域的准确性可能较差,因此,计算得到的第二区域的区域中心的准确性可能较差。
为解决上述问题,本发明的一个实施例中,参见图3,提供了第三种地图构建方法的流程示意图,本实施例中,可以通过以下步骤S101D1-S101D4实现上述步骤S101D。
步骤S101D1:根据第一特征图,确定环境图像中不同类型对象所在区域。
确定环境图像中不同类型对象所在区域的实现方式可参见上述步骤S101D,这里不再赘述。
步骤S101D2:根据第二特征图,确定环境图像中描述不同对象的对象像素点。
具体的,可以根据根据第二特征图,确定环境图像中不同对象所在区域,计算所确定区域的区域中心,作为描述第二特征图所队形对象的对象像素点。
步骤S101D3:基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点。
其中,上述位置偏移参数可以是人为设定的,也可以是根据预先训练得到的实例分割模型中的模型参数得到的。
上述位置偏移参数可以是有大小、有方向的矢量。
具体的,针对每一对象像素点,基于上述位置偏移参数,可以按照位置偏移参数的方向以及偏移量大小,根据该对象像素点的坐标计算偏移后的坐标,然后针对每一区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点。
步骤S101D4:将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
具体的,上述步骤S101D3中确定了与偏移后的区域像素点距离最近的对象像素点,可以找到对应同一对象像素点的多个区域像素点,该多个区域像素点可以认为是属于同一对象的像素点,因此,该多个区域像素点所在的区域即为单个对象所在的图像区域。
由以上可见,应用本发明实施例提供的方案构建地图时,基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,可以认为在确定图像区域之前,对对象像素点的位置进行矫正,偏移后的对象像素点描述对象的准确性相较于原对象像素点更高,这样根据区域像素点和偏移后的对象像素点,能够进一步提高所确定的各个对象所在的图像区域的准确性,从而进一步提高所构建地图的精度。
在将目标栅格划分为多个子栅格时,除了可以基于划分系数进行划分外,还可以结合划分系数以及环境区域的其他信息进行划分。
本发明的一个实施例中,参见图4,提供了第四种地图构建方法的流程示意图,本实施例中,可以通过以下步骤S105A实现上述步骤S105。
步骤S105A:基于划分系数以及环境区域的区域面积,将目标栅格划分为多个子栅格,并使用多个子栅格,更新目标栅格。
具体的,在将目标栅格划分为多个子栅格时,可以基于划分系数以及环境区域的区域面积进行划分,环境区域的区域面积越大,则对目标栅格的划分程度越高,划分后得到的子栅格越多。
与上述步骤S105相类似,可以根据划分系数以及环境区域的区域面积,计算子栅格的数量或者尺寸,从而根据子栅格的数量或者尺寸,对目标栅格进行划分。
本发明的一个实施例中,可以预设划分系数的多个系数区间以及区域面积的多个面积区间,每一系数区间与每一面积区间的组合对应一种子栅格的数量或尺寸,这样在获得上述划分系数以及环境区域的区域面积后,可以确定划分系数所在的区间以及环境区域的区域面积所在的面积区间,从而根据所确定的这两种区间确定子栅格的数量或者尺寸。
另外,根据划分系数以及环境区域的区域面积,还可以通过其他计算方式计算子栅格的数量或者尺寸,这里不再一一列举。
另外,在划分目标栅格时,还可以结合环境区域的其他信息进行划分,例如环境区域的形状、位置等等。
划分得到多个子栅格之后,使用多个子栅格更新目标栅格的方式与上述步骤S105中更新目标栅格的方式相同,这里不再详述。
由以上可见,本发明实施例提供的地图构建方案中,由于面积越大的环境区域,其所对应的栅格的属性所描述的环境信息越模糊,难以描述区域的细节,因此,在划分目标栅格时,考虑划分系数以及环境区域的区域面积这两方面的因素,能够使得所构建的地图中面积较大的环境区域的细节更加丰富,从而提高地图的精度。
下面对上述步骤S105中提及的通过计算子栅格尺寸实现目标栅格划分的具体实现方式进行说明。
本发明的一个实施例中,参见图5,提供了第五种地图构建方法的流程示意图,本实施例中,可以通过以下步骤S105B-S105C实现上述步骤S105。
步骤S105B:基于划分系数与子栅格的尺寸之间的对应关系,计算子栅格的尺寸。
其中,上述划分系数与子栅格的尺寸之间的对应关系可以是基于子栅格的形状预先设定的。
本发明的一个实施例中,在各栅格均为正六边形栅格的情况下,划分系数与子栅格的尺寸之间的对应关系可以按照以下表达式表示:
其中,S为初始环境地图的面积,L为子栅格的边长,n为划分系数。
上述表达式中,初始环境地图的面积S可以认为是一固定不变的常量,这样在获得上述划分系数n后,可以依据该表达式计算出子栅格的边长L。划分系数n越大,子栅格的边长越小。
本方案中,通过上述表达式,可以根据划分系数准确计算出子栅格的尺寸,从而准确对目标栅格进行划分,提高地图构建的准确性。
另外,在各栅格均为正六边形栅格的情况下,每一栅格与其相邻的其他六个栅格之间的距离相同,这样在机器人基于栅格进行路径规划时,可以降低机器人路径规划的复杂度,从而有助于机器人执行任务。
上述各栅格还可以是其他形状的栅格,划分系数与子栅格的尺寸之间的对应关系也可以有多种。
步骤S105C:按照计算得到的尺寸,将该目标栅格划分为多个子栅格,并使用多个子栅格,更新目标栅格。
在计算得到子栅格的尺寸后,按照所得到的尺寸,可以将目标栅格划分为多个该尺寸的子栅格。
划分得到多个子栅格之后,使用多个子栅格更新目标栅格的方式与上述步骤S105中更新目标栅格的方式相同,这里不再详述。
由以上可见,应用本发明实施例提供的方案构建地图时,在获得划分系数后,基于划分系数与子栅格的尺寸之间的对应关系,可以准确计算出子栅格的尺寸,从而按照计算得到的尺寸,能够准确将目标栅格划分为多个子栅格,这样在使用该多个子栅格更新目标栅格后,能够提高地图的精度。
与上述地图构建方法相对应,本发明实施例还提供了一种地图构建装置。
本发明点一个实施例中,参见图6,提供了第一种地图构建装置的结构示意图,所述装置包括:
对象分割模块601,用于对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
区域确定模块602,用于根据机器人的环境位置,确定所述图像区域对应的环境区域;
栅格查找模块603,用于在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
系数获得模块604,用于根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
栅格更新模块605,用于基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
由以上可见,应用本发明实施例提供的方案构建地图时,对环境图像进行对象分割,得到对象所在的图像区域,根据机器人的环境位置,确定图像区域对应的环境区域,该环境区域可以看做是上述对象的环境区域,确定上述环境区域后,可以在初始环境地图中查找到环境区域所在的目标栅格,由于上述图像区域能够反映对象对机器人执行任务的影响程度,因此,可以根据该影响程度,获得上述环境区域的划分系数,这样在查找到目标栅格后,可以基于上述划分系数,将目标栅格划分为多个子栅格,并使用所划分的多个子栅格,更新目标栅格,从而实现地图构建。
另外,地图中每一栅格均对应环境中的一个区域,栅格的属性用于描述栅格所对应区域的环境信息,将目标栅格划分为多个子栅格后,每一子栅格均对应目标栅格所对应区域中的部分区域,每一子栅格的属性用于描述其所对应的部分区域的环境信息,从而目标栅格所对应区域的环境信息由多个子栅格的属性进行描述,而非由一个目标栅格的属性进行描述,这样使得在所构建的地图中,目标栅格所对应区域的细节信息更加丰富,并且对于非目标栅格,则不需要对其进行划分,这样能够使得在应用本发明实施例提供的地图构建方案时,即能够提高所构建地图的精度,还能够保证的地图的数据存储量较小。
本发明的一个实施例中,参见图7,提供了第二种地图构建装置的结构示意图,所述对象分割模块601,包括:
特征提取子模块601A,用于对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图;
语义分割子模块601B,用于对初始特征图进行语义分割,得到描述不同类型对象的第一特征图;
实例分割子模块601C,对初始特征图进行实例分割,得到描述不同对象的第二特征图;
区域确定子模块601D,用于根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域。
由以上可见,应用本发明实施例提供的方案构建地图时,对提取的初始特征图进行语义分割以及实例分割,这样能够准确确定出描述不同类型对象的第一特征图以及描述不同对象的第二特征图,根据第一特征图可以得知环境图像中各个像素点所对应的对象的类型,根据第二特征图可以得知环境图像中各个像素点所对应对象的分布,这样根据第一特征图以及第二特征图,能够准确确定出各个对象所在的图像区域,根据图像区域,能够准确确定出环境区域以及目标栅格,从而在更新目标栅格后,能够提高所构建地图的精度。
本发明的一个实施例中,所述区域确定子模块601D,具体用于:
根据所述第一特征图,确定所述环境图像中不同类型对象所在区域;
根据所述第二特征图,确定所述环境图像中描述不同对象的对象像素点;
基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点;
将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
由以上可见,应用本发明实施例提供的方案构建地图时,基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,可以认为在确定图像区域之前,对对象像素点的位置进行了矫正,偏移后的对象像素点描述对象的准确性相较于原对象像素点更高,这样根据区域像素点和对象像素点,能够进一步提高所确定的各个对象所在的图像区域的准确性,从而进一步提高所构建地图的精度。
本发明的一个实施例中,所述栅格更新模块605,具体用于:
基于所述划分系数以及所述环境区域的区域面积,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
由以上可见,应用本发明实施例提供的地图构建方案中,在划分目标栅格时,考虑了划分系数以及环境区域的区域面积这两方面的因素,使得目标栅格划分更加合理准确,这样在使用多个子栅格更新目标栅格之后,能够提高地图的精度。
本发明的一个实施例中,所述栅格更新模块605,具体用于:
基于所述划分系数与所述子栅格的尺寸之间的对应关系,计算所述子栅格的尺寸;
按照计算得到的尺寸,将该目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
由以上可见,应用本发明实施例提供的方案构建地图时,在获得划分系数后,基于划分系数与子栅格的尺寸之间的对应关系,可以准确计算出子栅格的尺寸,从而按照计算得到的尺寸,能够准确将目标栅格划分为多个子栅格,这样在使用该多个子栅格更新目标栅格后,能够提高地图的精度。
本发明的一个实施例中,在各栅格均为正六边形栅格的情况下,所述划分系数与所述子栅格的尺寸之间的对应关系按照以下表达式表示:
其中,所述S为所述初始环境地图的面积,所述L为所述子栅格的边长,所述n为所述划分系数。
本方案中,通过上述表达式,可以根据划分系数准确计算出子栅格的尺寸,从而准确对目标栅格进行划分,提高地图构建的准确性。
另外,在各栅格均为正六边形栅格的情况下,每一栅格与其相邻的其他六个栅格之间的距离相同,这样在机器人基于栅格进行路径规划时,可以降低机器人路径规划的复杂度,从而有助于机器人执行任务。
本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现如下步骤:
对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
根据机器人的环境位置,确定所述图像区域对应的环境区域;
在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
上述处理器801执行存储器803上存放的程序而实现地图构建的其他方案,与前述方法实施例中提及的方案相同,这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一地图构建方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一地图构建方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种地图构建方法,其特征在于,所述方法包括:
对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
根据机器人的环境位置,确定所述图像区域对应的环境区域;
在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
2.根据权利要求1所述的方法,其特征在于,所述对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域,包括:
对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图;
对所述初始特征图进行语义分割,得到描述不同类型对象的第一特征图;
对所述初始特征图进行实例分割,得到描述不同对象的第二特征图;
根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域,包括:
根据所述第一特征图,确定所述环境图像中不同类型对象所在区域;
根据所述第二特征图,确定所述环境图像中描述不同对象的对象像素点;
基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点;
将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述基于所述划分系数,将所述目标栅格划分为多个子栅格,包括:
基于所述划分系数以及所述环境区域的区域面积,将所述目标栅格划分为多个子栅格。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述基于所述划分系数,将所述目标栅格划分为多个子栅格,包括:
基于所述划分系数与所述子栅格的尺寸之间的对应关系,计算所述子栅格的尺寸;
按照计算得到的尺寸,将该目标栅格划分为多个子栅格。
7.一种地图构建装置,其特征在于,所述装置包括:
对象分割模块,用于对机器人搭载的图像采集设备采集的环境图像进行对象分割,得到对象所在的图像区域;
区域确定模块,用于根据机器人的环境位置,确定所述图像区域对应的环境区域;
栅格查找模块,用于在基于栅格构建的初始环境地图中,查找所述环境区域所在的目标栅格,其中,栅格的属性用于描述栅格在环境中所对应区域的环境信息;
系数获得模块,用于根据所述图像区域反映的、所述对象对所述机器人执行任务的影响程度,获得所述环境区域的划分系数;
栅格更新模块,用于基于所述划分系数,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
8.根据权利要求7所述的装置,其特征在于,所述对象分割模块,包括:
特征提取子模块,用于对机器人搭载的图像采集设备采集的环境图像进行特征提取,得到初始特征图;
语义分割子模块,用于对所述初始特征图进行语义分割,得到描述不同类型对象的第一特征图;
实例分割子模块,用于对所述初始特征图进行实例分割,得到描述不同对象的第二特征图;
区域确定子模块,用于根据所得到的第一特征图以及第二特征图,在所述环境图像中确定各个对象所在的图像区域。
9.根据权利要求8所述的装置,其特征在于,所述区域确定子模块,具体用于:
根据所述第一特征图,确定所述环境图像中不同类型对象所在区域;
根据所述第二特征图,确定所述环境图像中描述不同对象的对象像素点;
基于预设位置偏移参数,计算对各个对象像素点进行偏移后的坐标,并针对每一类型对象所在区域中的区域像素点,基于偏移后的对象像素点的坐标,确定与该区域像素点距离最近的对象像素点;
将对应于同一对象像素点的、描述相同类型对象的多个区域像素点所在区域确定为该类型的对象所在的图像区域。
10.根据权利要求7-9中任一项所述的装置,其特征在于,所述栅格更新模块,具体用于:
基于所述划分系数以及所述环境区域的区域面积,将所述目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
11.根据权利要求7-9中任一项所述的装置,其特征在于,所述栅格更新模块,具体用于:
基于所述划分系数与所述子栅格的尺寸之间的对应关系,计算所述子栅格的尺寸;
按照计算得到的尺寸,将该目标栅格划分为多个子栅格,并使用所述多个子栅格,更新所述目标栅格。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210625482.4A CN115077540A (zh) | 2022-06-02 | 2022-06-02 | 一种地图构建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210625482.4A CN115077540A (zh) | 2022-06-02 | 2022-06-02 | 一种地图构建方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115077540A true CN115077540A (zh) | 2022-09-20 |
Family
ID=83248977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210625482.4A Pending CN115077540A (zh) | 2022-06-02 | 2022-06-02 | 一种地图构建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115077540A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117135573A (zh) * | 2023-04-14 | 2023-11-28 | 荣耀终端有限公司 | Cell位置的更新方法、服务器及存储介质 |
CN117128947A (zh) * | 2023-03-13 | 2023-11-28 | 荣耀终端有限公司 | 栅格地图的生成方法和服务器 |
CN117315170A (zh) * | 2023-09-12 | 2023-12-29 | 华大天元(北京)科技股份有限公司 | 电网作业环境地图的构建方法、装置、设备及介质 |
-
2022
- 2022-06-02 CN CN202210625482.4A patent/CN115077540A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117128947A (zh) * | 2023-03-13 | 2023-11-28 | 荣耀终端有限公司 | 栅格地图的生成方法和服务器 |
CN117135573A (zh) * | 2023-04-14 | 2023-11-28 | 荣耀终端有限公司 | Cell位置的更新方法、服务器及存储介质 |
CN117315170A (zh) * | 2023-09-12 | 2023-12-29 | 华大天元(北京)科技股份有限公司 | 电网作业环境地图的构建方法、装置、设备及介质 |
CN117315170B (zh) * | 2023-09-12 | 2024-04-05 | 华大天元(北京)科技股份有限公司 | 电网作业环境地图的构建方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020134082A1 (zh) | 一种路径规划方法、装置和移动设备 | |
KR102235827B1 (ko) | 격자 지도를 생성하는 방법 및 장치 | |
US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
CN115077540A (zh) | 一种地图构建方法及装置 | |
CN112000754B (zh) | 地图构建方法、装置、存储介质及计算机设备 | |
CN108763287B (zh) | 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法 | |
US10346996B2 (en) | Image depth inference from semantic labels | |
CN113593017A (zh) | 露天矿地表三维模型构建方法、装置、设备及存储介质 | |
CN109255181B (zh) | 一种基于多模型的障碍物分布仿真方法、装置以及终端 | |
JP2020042793A (ja) | 確率プロットに基づく障害物分布シミュレーション方法、装置及び端末 | |
CN115512175A (zh) | 模型训练、点云数据处理方法、装置、设备及存储介质 | |
CN115164868A (zh) | 机器人定位方法、装置、机器人及存储介质 | |
CN115346183A (zh) | 一种车道线检测方法、终端及存储介质 | |
Zhou et al. | Green urban garden landscape simulation platform based on high-resolution image recognition technology and GIS | |
CN111340145B (zh) | 点云数据分类方法、装置、分类设备 | |
CN113822332A (zh) | 路沿数据标注方法及相关系统、存储介质 | |
CN110874170A (zh) | 一种图像区域修正方法、图像分割方法及装置 | |
CN117523403A (zh) | 一种宅基地图斑变化检测方法、系统、设备及介质 | |
CN112269848A (zh) | 一种众包轨迹数据融合方法及装置 | |
CN116608850A (zh) | 一种机器人导航地图的构建方法、系统、装置和介质 | |
CN113867371B (zh) | 路径规划方法和电子设备 | |
CN115049997A (zh) | 边缘车道线的生成方法、装置、电子设备及存储介质 | |
CN114820931A (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
CN111127474B (zh) | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统 | |
Gaurav et al. | RainRoof: Automated Shared Rainwater Harvesting Prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |