CN111105459A - 描述子地图生成方法、定位方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种描述子地图生成方法、定位方法、装置、设备和存储介质，描述子地图生成方法包括：获取机器人采集的多张图像以及机器人采集每张图像时的位置信息；针对每张图像，获取图像的语义分割图，基于语义分割图中的多个语义分割区域生成图像的图描述子；根据所有图像的图描述子和位置信息生成描述子地图。既避免了传统语义分割方法在多目标任务时存在泛化能力不足的问题，提高了定位的泛化能力，又无需提取视觉深度信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配找到距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

Description

描述子地图生成方法、定位方法、装置、设备和存储介质

技术领域

本发明实施例涉及机器人定位技术领域，尤其涉及一种描述子地图生成方法、描述子地图生成装置、定位方法、定位装置、设备和存储介质。

背景技术

在机器人的运动控制中，机器人的定位至关重要，机器人定位是指确定机器人的位置、姿态等信息，从而可以根据机器人的位置、姿态信息确定机器人所处的当前位置是否位于预先设定的位置，姿态是否是预先设置的动作的姿态等。

随着机器学习算法的发展，语义识别分割、视觉的深度信息提取得到长足进步，使得基于语义识别分割、视觉深度信息的机器人定位方法成为当前主流研究方向，语义识别分割的定位方法具有如下优势：(1)相对于低层视觉信息的定位方法，对于视角、光照变换具有更好的鲁棒性；(2)相对于基于几何测量信息的定位方法，支持稀疏地图方式，适应更大场景，并且在重定位时，搜索空间更少，提高了重定位的速度和准确率。

然而，基于语义识别分割的定位方法在多目标任务时存在泛化能力不足的问题，而基于视觉的深度信息的定位方法存在精度不高，导致系统定位精度低的问题。

发明内容

本发明实施例提供了一种描述子地图生成方法、定位方法、装置、设备和存储介质，以解决现有机器人定位方法存在泛化能力不足和定位精度低的问题。

第一方面，本发明实施例提供了一种描述子地图生成方法，包括：

获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

根据所有图像的图描述子和所述位置信息生成描述子地图。

第二方面，本发明实施例提供了一种定位方法，用于对机器人定位，包括：

获取所述机器人采集的目标图像；

生成所述目标图像的第一图描述子；

从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过本发明实施例所述的描述子地图生成方法生成。

第三方面，本发明实施例提供了一种描述子地图生成装置，包括：

图像和位置信息采集模块，用于获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

语义分割模块，用于针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

图描述子生成模块，用于基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

描述子地图生成模块，用于根据所有图像的图描述子和所述位置信息生成描述子地图。

第四方面，本发明实施例提供了一种定位装置，用于对机器人定位，包括：

目标图像获取模块，用于获取所述机器人采集的目标图像；

第一图描述子获取模块，用于生成所述目标图像的第一图描述子；

目标图描述子确定模块，用于从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

定位信息确定模块，用于将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过本发明实施例所述的描述子地图生成装置所生成。

第五方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的描述子地图生成方法和/或定位方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的描述子地图生成方法和/或定位方法。

本发明实施例在获取机器人采集的多张图像以及机器人采集每张图像时的位置信息后，针对每张图像获取该图像的语义分割图，并且基于语义分割图中的多个语义分割区域生成图像的图描述子，进而根据所有图像的图描述子和位置信息生成描述子地图，在机器人定位过程中，机器人获取目标图像后生成目标图像的第一图描述子，以在描述子地图中查找与第一图描述子距离最近的目标图描述子，目标图描述子关联的位置信息即为机器人的定位信息。本发明实施例语义分割可以得到多个语义分割区域并生成图描述子以关联位置信息，一方面，避免了传统语义分割方法在多目标任务时存在泛化能力不足的问题，提高了机器人定位的泛化能力，另一方面，无需提取视觉深度信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种描述子地图生成方法的流程图；

图2A为本发明实施例二提供的一种描述子地图生成方法的流程图；

图2B为本发明实施例中机器人采集的图像的示意图；

图2C为图2B中图像的语义分割图的示意图；

图2D为本发明实施例中对语义分割图中的像素进行遍历的流程图；

图2E为本发明实施例中生成顶点数据集的流程图；

图3为本发明实施例三提供的一种定位方法的流程图；

图4A为本发明实施例四提供的一种定位方法的流程图；

图4B为计算两个图描述矩阵的距离的流程图；

图4C为计算两个图描述子的距离的流程图；

图5为本发明实施例五提供的一种描述子地图生成装置的结构示意图；

图6为本发明实施例六提供的一种定位装置的结构示意图；

图7为本发明实施例七提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种描述子地图生成方法的流程图，本实施例可适用于生成用于机器人定位的描述子地图的情况。本发明实施例提供的描述子地图生成方法可以由本发明实施例提供的描述子地图生成装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在一设备中。具体的，参考图1，本发明实施例的描述子地图生成方法可以包括如下步骤：

S101、获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息。

本发明实施例中机器人可以设置有图像采集设备和定位系统，其中，图像采集设备可以为单目相机或者多目相机，定位系统可以为GPS、激光传感器等定位系统，一方面，机器人可以通过图像采集设备按照预设周期采集多张图像，多张图像可以为机器人在同一个位置以不同姿态采集到的图像，还可以是机器人在不同位置采集到的多张图像，另一方面，机器人每采集一张图像时，可以通过定位系统获取机器人所处位置的位置信息。

S102、针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域。

其中，语义分割图中每个像素点具有确定的语义标签，语义标签表达了像素点所属的语义类别，在实际应用中，语义类别可以包括道路、建筑物、墙、栅栏、电线杆、植物、草地、天空、人行道等，具有相同语义标签且连续的像素点构成的区域为一个语义分割区域。

具体到本发明实施中，可以预先训练语义分割模型，通过该语义分割模型可以输出一张图像的语义分割图，对于机器人采集到的每张图像，可以将图像输入预先训练好的语义分割模型中以获得每张图像的语义分割图，每张语义分割图包括多个语义分割区域。

S103、基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子。

图描述子(Descriptor)可以是刻画图像特征的数据结构，图描述子的数据结构的维数可以是多维的，在本发明实施中，图描述子表达了图像的语义分割图的图像特征，可选地，可以根据语义分割图中的多个语音分割区域生成图像的图描述子，例如，获取语义分割图中每个语义分割区域的语义信息，每个语义分割区域的语义信息可以包括顶点序号和语义标签，其中，顶点序号表达了语义分割区域的序号，具体地，其可以为每个语义分割区域的质心的序号，语义标签为每个语义分割区域的标签。

在获取每个语义分割区域的语义信息后，可以基于语义信息生成语义分割图的相邻顶点配对集，并根据相邻顶点配对集生成语义分割图的每个顶点的顶点数据集，针对每个顶点，基于顶点的顶点数据集生成顶点的图描述矩阵，将所有顶点的图描述矩阵汇总得到图像的图描述子。其中，相邻顶点配对集为语义分割图中语义标签不同的、相邻的两个语义分割区域的顶点序号(质心序号)的配对的集合，顶点数据集包括了每个顶点的顶点序号、顶点的语义标签、相邻顶点的数量、相邻顶点的顶点序号、相邻顶点的语义标签等数据。每个顶点的图描述矩阵表达了该顶点所在的语义分割区域与其周围的语义分割区域的关系。

S104、根据所有图像的图描述子和所述位置信息生成描述子地图。

机器人在采集每张图像时通过定位系统获得了自身的位置信息，对于每张图像，可以将图像的图描述子和位置信息关联存储在数据库中，以便后续机器人需要定位时，可以在获取图像后，将图像的图描述子和数据库中的多个图描述子比对，将最为相似的图描述子关联的位置信息作为机器人的定位信息。

本发明实施例获取图像的语义分割图，并且基于语义分割图中的多个语义分割区域生成图像的图描述子，进而根据所有图像的图描述子和位置信息生成描述子地图，以使得在机器人定位过程中，机器人获取目标图像后，生成目标图像的第一图描述子，以在描述子地图中查找与第一图描述子距离最近的目标图描述子，目标图描述子关联的位置信息即为机器人的定位信息。本发明实施例语义分割可以得到多个语义分割区域并生成图描述子以关联位置信息，从而得到描述子地图，一方面，避免了传统语义分割方法在多目标任务时存在泛化能力不足的问题，提高了定位的泛化能力，另一方面，无需提取视觉深度信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配找到距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

实施例二

图2A为本发明实施例二提供的一种描述子地图生成方法的流程图，本发明实施例在实施例一的基础上进行优化，具体的，参考图2A，本发明实施例的描述子地图生成方法可以包括如下步骤：

S201、获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息。

具体地，机器人可以通过单目或者多目相机采集图像以及通过定位系统对机器人采集图像时所处的位置进行定位获得位置信息。

S202、将每张图像输入语义分割模型中获得每张图像的语义分割图，所述语义分割图包括多个语义分割区域。

在本发明实施例中，可以预先训练语义分割模型，通过该语义分割模型可以输出一张图像的语义分割图，对于机器人采集到的每张图像，可以将图像输入预先训练好的语义分割模型中以获得每张图像的语义分割图，每张语义分割图包括多个语义分割区域。

S203、获取所述语义分割区域的语义信息。

在本发明的可选实施中，可以对语义分割图进行预处理，其中，预处理可以包括过滤掉空心像素点、边缘平滑、去掉离群像素点中的至少一项。过滤掉空心像素点可以为采用膨胀算法滤除某一块连续的语义分割区域中语义标签不同的像素点，边缘平滑可以是采用腐蚀算法对两个语义分割区域的边界进行平滑处理，去掉离群像素点可以是采用StaticalOutlierRemoval算法去掉离群的、面积小于预设阈值的区域的像素点。当然，在实际应用中还可以包括其他预处理操作，本发明实施例对预处理操作不加以限制。

本发明实施例对生成的语义分割图进行预处理，可以滤除掉语义识别中的识别错误，降低了语义识别错误对生成描述子的影响，提高了生成图描述子的准确度，亦即提高了描述子地图的准确度。

如图2B为机器人采集的原始图像，图2C为图2B中的原始图像输入语义分割模型后获得的语义分割图，该语义分割图包括A、B、C、D、E共五个语义分割区域，则可以从语义分割图中提取每个语义分割区域的质心信息作为语义信息，质心即顶点，表达了某个语义分割区域，每个语义分割区域的质心信息包括语义分割区域的顶点序号和语义标签。如图2C所示，语义分割区域A的顶点序号为0，语义标签为0；语义分割区域B的顶点序号为1，语义标签为2；语义分割区域C的顶点序号为2，语义标签为8；语义分割区域D的顶点序号为3，语义标签为8；语义分割区域E的顶点序号为4，语义标签为10。其中，语义标签0表示语义分割区域A为道路，语义标签1表示语义分割区域B为墙面或者建筑，语义标签8表示语义分割区域C和D为树木，语义标签10表示语义分割区域E为天空。当然，在实际应用中本领域技术人员可以根据实际需要定义语义标签所表达的内容，本发明实施例对此不加以限制。

S204、基于所述语义信息生成所述语义分割图的相邻顶点配对集，所述顶点表达了所述语义分割图中的语义分割区域。

语义分割图中的每个像素具有语义标签，如图2C所示，语义分割区域C内的所有像素点具有相同的语义标签8，表达了语义分割区域C为树木区域。在本发明实施例中，可以遍历语义分割图中任意相邻的两个像素点，并且在遍历过程中获取相邻的两个像素点的顶点序号和语义标签，在相邻的两个像素点的语义标签不相同时将相邻的两个像素点的顶点序号作为一个相邻顶点配对，并判断预先建立的相邻顶点配对集中是否已存储有该相邻顶点配对，若是，则不存储该相邻顶点配对，若否，将相邻顶点配对存储在预先建立的相邻顶点配对集中。

如图2D所示为本发明实施例中遍历语义分割图中的像素点的流程图，如图2所示，i为语义分割图中图像宽度方向上像素点的位置，j为语义分割图中高度方向上像素点的位置，通过如图2D所示的流程遍历语义分割图中相邻的两个像素点，在两个像素点i和j的语义标签不相同时，说明像素点i和j为两个相邻语义分割区域的边界，如果顶点配对集中没有存储像素点i和j的顶点序号，则存储像素点i和j的顶点序号，作为一个顶点配对。

对于如图2C所示的语义分割图，最终得到的顶点配对集包括:(0，1)、(0，2)、(0，3)；(1，2)、(1，3)、(1，4)；(2，4)，该顶点配对集表达了语义分割图中所有相邻的两个语义分割区域。

S205、根据所述相邻顶点配对集生成所述语义分割图的每个顶点的顶点数据集。

具体地，可以确相邻顶点配对集中所包含的顶点序号，针对每个顶点序号，从相邻顶点配对集中确定顶点序号的语义标签、相邻顶点序号的数量以及相邻顶点的顶点序号以作为顶点的顶点数据集。由于顶点配对集中包含了每个顶点的相邻顶点，则对于顶点配对集中的每个顶点序号，可以获取该顶点序号的语义标签、相邻顶点的顶点数量、相邻顶点的顶点序号、相邻顶点的语义标签等以生成每个顶点的数据集。

如图2E所示为本发明中生成顶点数据集的一个示例的流程图，通过S204已获得如图2C所示的语义分割图的顶点配对集为(0，1)、(0，2)、(0，3)；(1，2)、(1，3)、(1，4)；(2，4)。如图2E所示，首先可以获取顶点配对集中所有顶点的顶点序号和语义标签，对于每个顶点序号，在顶点配对集中将与该顶点序号互为相邻配对的序号填写到该顶点序号的相邻顶点中，例如，对于顶点0，从顶点配对集(0，1)、(0，2)、(0，3)；(1，2)、(1，3)、(1，4)；(2，4)中可以确定顶点0的相邻顶点为顶点1、2、3，对于顶点1，在顶点配对集中顶点0和顶点1为相邻顶点配对，则可以得到顶点1的相邻顶点为顶点0、2、3、4，以此类推得到顶点数据集如下表1所示：

表1：

在上述表1中，顶点序号为0的顶点表达了语义分割区域A，语义分割区域A的语义标签为0，表达了语义分割区域A为道路，其顶点0总共包括顶点1、2、3共3个相邻顶点，即语义分割区域A与语义分割区域B、C、D相邻。

S206、针对每个顶点，基于所述顶点的顶点数据集生成所述顶点的图描述矩阵。

可选地，针对每个顶点，可以从顶点数据集中获取该顶点的相邻顶点，采用该顶点的语义标签以及相邻顶点的语义标签生成预设阶数的图描述矩阵。

具体地，可以先初始化图描述矩阵，使得图描述矩阵具有预设阶数并且每一行元素的第一个元素为当前顶点的语义标签，然后采用当前顶点的相邻顶点的语义标签确定每一行元素中除了第一个元素以外的元素。

以顶点0为示例，假设图描述矩阵的阶数为4×4，则先初始化图描述矩阵每一行的第一个元素为顶点0的语义标签0，同时，如上述表1所示，顶点0的相邻顶点包括顶点1、2、3，顶点1的语义标签为2，顶点2的语义标签为8，顶点3的语义标签为8，则对于图描述矩阵中的第一行元素，除了第一个元素为顶点0的语义标签0外，第二个到第四个元素可以采用相邻顶点的语义标签填充，如第一行的第二个元素可以为顶点2的语义标签8，第三个元素可以为顶点1的语义标签2，第四个元素可以为顶点4的语义标签10；即图描述矩阵的第一行元素为[0，2，8，10]；对于第二行元素，除了第一个元素为顶点0的语义标签0外，第二个元素可以为顶点2的语义标签8，第三个元素可以为顶点1的语义标签2，第四个元素可以为顶点3的语义标签8，即图描述矩阵的第二行元素为[0，2，8，8]；对于第三行元素，除了第一个元素为顶点0的语义标签0外，第二个元素可以为顶点2的语义标签8，第三个元素可以为顶点1的语义标签2，第四个元素可以为顶点0的语义标签0，即图描述矩阵的第三行元素为[0，2，8，0]；对于第四行元素，除了第一个元素为顶点0的语义标签0外，第二个元素可以为顶点2的语义标签8，第三个元素可以为顶点4的语义标签10，第四个元素可以用-1填充，即图描述矩阵的第四行元素为[0，2，10，-1]；由此可以得到顶点0的图描述矩阵如下所示：

即对于如图2C所示的语义分割图中的每个顶点，构建每个顶点的图描述矩阵时，可以以该顶点的语义标签作为每行元素的第一个元素，对于每行元素的其他元素可以采用该顶点的相邻顶点的语义标签填充，或者采用相邻顶点的相邻顶点的语义标签填充。

S207、将所有顶点的图描述矩阵汇总，得到所述图像的图描述子。

在生成每个顶点的图描述矩阵后，可以将语义分割图中所有顶点的图描述矩阵进行汇总，得到该语义分割图对应的图像的图描述子，该图描述子可以如下表2所示。

表2：

每张图像的图描述子通过矩阵表示，矩阵的维度小，图描述子的数据量小，后续定位搜索匹配相似图描述子时相当于计算矩阵之间的距离，计算速度快，提高了机器人定位的效率。

S208、针对每张图像的图描述子建立图描述子标识。

本发明实施例中可以为每个图描述子生成一个图描述子标识，该图描述子标识可以为数字、字母等，用于对各个图描述子进行区分。

S209、采用所述图描述子标识、所述图描述子以及所述机器人采集所述图像时的位置信息建立地图节点，得到描述子地图。

具体地，可以建立一个地图节点的数据结构mapV{pic_id，pic_pose，mat_vec}，其中，pic_id为图像标识，pic_pose是获取图像时机器人所处的位置信息，mat_vec是该图像对应的图描述子的图描述子标识，每获取一张图像的图描述子后，可以建立上述的数据结构存储在数据库中，例如，将上述结构写入yaml(Yet Another Markup Language)文件中。

本发明实施例将每张图像输入语义分割模型获得图像的语义分割图后，基于语义分割图中的语义信息生成相邻顶点配对集，并根据相邻顶点配对集生成每个顶点的顶点数据集，然后根据顶点数据集构建每个顶点的图描述矩阵，汇总所有顶点的图描述矩阵作为图像的图描述子，将该图描述子和采集图像时机器人的位置信息关联存储得到描述子地图，以使得在机器人定位过程中，机器人获取目标图像后生成该目标图像的第一图描述子，以在描述子地图中查找与第一图描述子距离最近的目标图描述子，目标图描述子关联的位置信息即为机器人的定位信息。本发明实施例语义分割可以得到多个语义分割区域并生成图描述子以关联位置信息，从而得到描述子地图，一方面，避免了传统分割方法在多目标任务时存在泛化能力不足的问题，提高了定位的泛化能力，另一方面，无需提取视觉深度距离信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配，找到距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

进一步地，对生成的语义分割图进行预处理，可以滤除掉语义识别中的识别错误，降低了语义识别错误对生成描述子的影响，提高了生成图描述子的准确度，亦即提高了描述子地图的准确度。

更进一步地，图描述子通过矩阵表示，矩阵的维度小，图描述子的数据量小，后续定位搜索匹配距离最近的图描述子时相当于计算矩阵之间的距离，计算速度快，提高了定位的效率。

实施例三

图3为本发明实施例三提供的一种定位方法的流程图，本发明实施例可适用于采用描述子地图对机器人进行定位的情况中。本发明实施例提供的定位方法可以由本发明实施例提供的定位装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在一设备中。具体的，参考图3，本发明实施例的定位方法可以包括如下步骤：

S301、获取机器人采集的目标图像。

本发明实施例的机器人可以配置有图像采集设备，图像采集设备可以为单目相机或者多目相机，当机器人需要定位时，可以通过图像采集设备对机器人周围环境采集图像，该图像即为用于定位的目标图像。

S302、生成所述目标图像的第一图描述子。

具体地，可以对采集到的目标图像进行语义分割得到语义分割图，通过该语义分割图生成目标图像的图描述子即为第一图描述子，生成图描述子的过程具体可参考实施例一或者实施例二，在此不再详述。

S303、从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息。

在本发明实施例中，描述子地图可以为存储了多个图描述子和多个图描述子关联的位置信息的数据结构，该数据结构可以为mapV{pic_id，pic_pose，mat_vec}，其中，pic_id为图像标识，pic_pose是获取图像时机器人所处的位置信息，mat_vec是该图像对应的图描述子的图描述子标识。本发明实施例描述子地图的生成方法可以参考实施例一和实施例二，在此不再详述。

在生成目标图像的第一图描述子后，可以在描述子地图中的多个第二图描述子中搜索匹配出与第一图描述子距离最近的第二图描述子作为目标图描述子，该目标图描述子关联有位置信息。

S304、将所述目标图描述子关联的位置信息确定为所述机器人的定位信息。

由于目标图描述子与目标图像的第一图描述子的距离最近，说明采集目标图描述子对应的图像时机器人的位置和采集目标图像时机器人的位置最为接近，可以将目标图描述子关联的位置信息确定为机器人的定位信息。

本发明实施例预先建立包含图描述子和位置信息的描述子地图，在机器人定位采集到目标图像时生成目标图像的第一图描述子，在描述子地图中搜索匹配出与第一图描述子距离最近的目标图描述子，该目标图描述子关联的位置信息即为机器人的位置信息，一方面，避免了传统分割方法在多目标任务时存在泛化能力不足的问题，提高了定位的泛化能力，另一方面，无需提取视觉深度距离信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配，找到距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

实施例四

图4A为本发明实施例四提供的一种定位方法的流程图，本实施例在实施例三的基础上进行优化，具体的，参考图4A，本发明实施例的描述子地图生成方法可以包括如下步骤：

S401、获取所述机器人采集的目标图像。

S402、获取所述目标图像的语义分割图，所述语义分割图包括多个语义分割区域。

S403、根据所述语义分割图中的多个语义分割区域生成所述目标图像的第一图描述子。

S404、依次计算所述第一图描述子与所述预先建立的描述子地图中多个第二图描述子的第一距离。

本发明实施例中，描述子地图中包括多个第二图描述子，每个第二图描述子包括多个第二图描述矩阵，第一图描述子包括多个第一图描述矩阵，可以先计算第一图描述子中的第一图描述矩阵与第二图描述子中的第二图描述矩阵的第二距离，具体地，针对第一图描述矩阵中的每一行元素，计算每一行元素与第二图描述矩阵中各行元素的差值得到多个差值，从多个差值中统计差值为0的数量作为临时距离得到多个临时距离，从多个第二临时距离中确定出最小值作为第一图描述矩阵中的每一行元素与第二图描述矩阵的第四距离，计算第一图描述矩阵中各行元素与第二图描述矩阵的第四距离的和值，以作为第一图描述矩阵与第二图描述矩阵的第二距离。

如图4B所示为计算第一图描述矩阵和第二图描述矩阵的第二距离的流程图，以下结合图4B对计算第一图描述矩阵和第二图描述矩阵的第二距离进行说明。如图4B所示，在计算第一图描述矩阵和第二图描述矩阵的第二距离时，可以先初始化第二距离dist_res＝0，i为第一图描述矩阵中的第i行元素，j为第二图描述矩阵中第j行元素，并且设置预设最短距离dist＝5(本示例中图描述矩阵的阶数为4×4)，在i＝0时，先将第一图描述矩阵的第一行元素与第二图描述矩阵的第一行元素(j＝0)相减，统计各个元素相减的结果中结果为0的个数，记为临时距离dist_temp，如果dist_temp＜dist，dist＝dist_temp，然后j++，将第一图描述矩阵的第一行元素与第二图描述矩阵的第二行元素(j＝1)相减，统计各个元素相减的结果中结果为0的个数，记为临时距离dist_temp，如果dist_temp＜dist，dist＝dist_temp，然后j++，返回判断j是否小于4，以此类推，当第一图描述矩阵的第一行(i＝0)的元素与第二图描述矩阵的各行元素(j大于4)分别相减后，返回相减结果为0的个数的最小值dist并赋值给第二距离dist_res，即dist_res+＝dist，随后i++，即第一图描述矩阵的第二行元素与第二图描述矩阵的各行元素相减，以此类推，当i大于4时，返回dist_res的值记为第一图描述矩阵和第二图描述矩阵的第二距离。

如图4C所示为计算第一图描述子和第二图描述子的第一距离的流程图，具体地，针对第一图描述子中的每个第一图描述矩阵，依次计算第一图描述矩阵与第二图描述子中各个第二图描述矩阵的第二距离得到多个第二距离；从多个第二距离中确定出最小值作为第一图描述子中每一个第一图描述矩阵与第二图描述子的第三距离；计算第一图描述子中各个第一描述矩阵与第二图描述子的第三距离的和值，以作为第一图描述子与第二图描述子的第一距离。

以下结合图4C对计算第一图描述子和第二图描述子的第一距离进行说明，如图4C所示，在计算第一图描述子和第二图描述子的第一距离时，可以先初始化第一距离dist_sum＝0，i为第一图描述子中第i个第一图描述矩阵，j为第二图描述子中第j个第二图描述子，并且设置最短距离dist最大，在i＝0时，先将第一图描述子中的第一个第一图描述矩阵与第二图描述子中的第一个第二图描述矩阵(j＝0)计算第二距离，记为dist_temp，如果dist_temp＜dist，dist＝dist_temp，然后j++，判断j是否小于第二描述矩阵的个数，若是，将第一个第一图描述矩阵与第二个第二图描述矩阵计算第二距离，以此类推，当第一个第一图描述矩阵与第二描述子中的所有第二图描述矩阵(j大于第二图描述矩阵的个数)计算第二距离后，返回第二距离的最小值并赋值给第一距离，即dist_sum+＝dist，随后i++，即第一图描述子的第二个第一图描述矩阵与第二图描述子的各个第二图描述矩阵计算第二距离，以此类推，当i大于第一图描述矩阵的个数时，返回dist_sum的值记为第一图描述子和第二图描述子的第一距离。

S405、将第一距离最小的第二图描述子确定为所述目标图描述子。

在计算第一图描述子与描述子地图中各个第二图描述子的第一距离后，可以将第一距离最小的第二图描述子确定为目标图描述子，可以获取该目标图描述子的图描述子标识。

S406、将所述目标图描述子关联的位置信息确定为所述机器人的定位信息。

具体地，可以通过目标图描述子的图描述子标识检索图描述子关联的位置信息，将该位置信息作为机器人的定位信息。

本发明实施例在获取机器人采集的目标图像并获得该目标图像的语义分割图，以生成目标图像的第一图描述子，然后依次计算第一图描述子与预先建立的描述子地图中多个第二图描述子的第一距离，将第一距离最小的第二图描述子确定为目标图描述子，进一步将目标图描述子关联的位置信息确定为机器人的定位信息。一方面，避免了传统分割方法在多目标任务时存在泛化能力不足的问题，提高了定位的泛化能力，另一方面，无需提取视觉深度距离信息，采用图描述子关联已知的位置信息生成描述子地图，定位时通过目标图像的图描述子在描述子地图中搜索匹配，找到距离最近的图描述子，该图描述子关联的位置信息即为定位信息，提高了定位精度和定位效率。

进一步地，对生成的语义分割图进行预处理，可以滤除掉语义识别中的识别错误，降低了语义识别错误对生成描述子的影响，提高了生成图描述子的准确度，亦即提高了描述子地图的准确度。

更进一步地，图描述子通过矩阵表示，矩阵的维度小，图描述子的数据量小，后续定位搜索匹配距离最近的图描述子时相当于计算矩阵之间的相似度，计算速度快，提高了定位的效率。

实施例五

图5为本发明实施例五提供的一种描述子地图生成装置的结构示意图，具体的，如图5所示，该装置可以包括：

图像和位置信息获取模块501，用于获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

语义分割图获取模块502，用于针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

图描述子生成模块503，用于基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

描述子地图生成模块504，用于根据所有图像的图描述子和所述位置信息生成描述子地图。

可选地，所述语义分割图获取模块502包括：

语义分割模型输入子模块，用于将每张图像输入预先训练的语义分割模型中获得每张图像的语义分割图。

可选地，所述图描述子生成模块503包括：

语义信息获取子模块，用于获取所述语义分割区域的语义信息；

相邻顶点配对集生成子模块，用于基于所述语义信息生成所述语义分割图的相邻顶点配对集，其中，顶点表达了所述语义分割图中的语义分割区域；

顶点数据集生成子模块，用于根据所述相邻顶点配对集生成所述语义分割图的每个顶点的顶点数据集；

图描述矩阵生成子模块，用于针对每个顶点，基于所述顶点的顶点数据集生成所述顶点的图描述矩阵；

图描述子生成子模块，用于将所有顶点的图描述矩阵汇总，得到所述图像的图描述子。

可选地，所述图描述子生成模块503还包括：

预处理子模块，用于对所述语义分割图进行预处理，其中，所述预处理包括过滤掉空心像素点、边缘平滑、去掉离群像素点中的至少一项。

可选地，所述语义信息获取子模块包括：

质心信息提取单元，用于从所述语义分割图中提取每个语义分割区域的质心信息作为语义信息，所述质心信息包括所述语义分割区域的顶点序号和语义标签。

可选地，所述语义分割图中的每个像素具有顶点序号和语义标签，所述相邻顶点配对集生成子模块包括：

像素点遍历单元，用于遍历所述语义分割图中任意相邻两个像素点；

序号和标签获取单元，用于在遍历过程中，获取所述相邻两个像素点的顶点序号和语义标签；

相邻顶点配对确定单元，用于在所述相邻两个像素点的语义标签不相同时，将所述相邻两个像素点的顶点序号作为一个相邻顶点配对；

相邻顶点配对存储单元，用于将所述相邻顶点配对存储在预先建立的相邻顶点配对集中。

可选地，所述相邻顶点配对集生成子模块还包括：

判断单元，用于判断预先建立的相邻顶点配对集中是否已存储有所述相邻顶点配对；

存储确定单元，用于确定不存储所述相邻顶点配对。

可选地，所述顶点数据集生成子模块包括：

顶点序号确定单元，用于确定所述相邻顶点配对集中所包含的顶点序号；

顶点数据集生成单元，用于针对每个顶点序号，从所述相邻顶点配对集中确定所述顶点序号的语义标签、相邻顶点序号的数量以及相邻顶点的顶点序号以作为所述顶点的顶点数据集。

可选地，所述图描述矩阵生成子模块包括：

相邻顶点获取单元，用于针对每个顶点，从所述顶点数据集中获取所述顶点的相邻顶点；

图描述矩阵生成单元，用于采用所述顶点的语义标签以及所述相邻顶点的语义标签生成预设阶数的图描述矩阵。

可选地，所述图描述矩阵生成单元包括：

初始子单元，用于初始化图描述矩阵，初始化后的图描述矩阵具有预设阶数并且每一行元素的第一个元素为所述顶点的语义标签；

矩阵元素确定子单元，用于采用所述顶点的相邻顶点的语义标签确定每一行元素中除了第一个元素以外的元素。

可选地，所描述子地图生成模块504包括：

图描述子标识建立子模块，用于针对每张图像的图描述子建立图描述子标识；

描述子地图生成子模块，用于采用所述图描述子标识、所述图描述子以及所述机器人采集所述图像时的位置信息建立地图节点，得到描述子地图。

本实施例提供的描述子地图生成装置可执行本发明任意实施例提供的描述子地图生成方法，具备相应的功能和有益效果。

实施例六

图6为本发明实施例六提供的一种定位装置的结构示意图，具体的，如图6所示，该装置可以包括：

目标图像获取模块601，用于获取所述机器人采集的目标图像；

第一图描述子生成模块602，用于生成所述目标图像的第一图描述子；

目标图描述子确定模块603，用于从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

定位信息确定模块604，用于将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过本发明实施例所述的描述子地图生成装置生成。

可选地，所述第一图描述子生成模块602包括：

语义分割子模块，用于获取所述目标图像的语义分割图，所述语义分割图包括多个语义分割区域；

第一图描述子获取子模块，用于根据所述语义分割图中的多个语义分割区域生成所述目标图像的第一图描述子。

可选地，目标图描述子确定模块603包括：

第一距离计算子模块，用于依次计算所述第一图描述子与所述预先建立的描述子地图中多个第二图描述子的第一距离；

目标图描述子确定子模块，用于将第一距离最小的第二图描述子确定为所述目标图描述子。

可选地，所述第一图描述子包括多个第一图描述矩阵，所述第二图描述子包括多个第二图描述矩阵，所述第一距离计算子模块包括：

第二距离计算单元，用于针对第一图描述子中的每个第一图描述矩阵，依次计算所述第一图描述矩阵与各个第二图描述矩阵的距离，得到多个第二距离；

第三距离确定单元，用于从多个第二距离中确定出最小值作为每一个第一图描述矩阵与第二图描述子的第三距离；

第一距离计算单元，用于计算所述第一图描述子中各第一描述矩阵与第二图描述子的第三距离的和值以作为第一图描述子与第二图描述子的第一距离。

可选地，所述第二距离计算单元包括：

差值计算子单元，用于针对第一图描述矩阵中的每一个行元素，计算每一行元素与所述第二图描述矩阵中各行元素的差值，得到多个差值；

临时距离确定子单元，用于从多个差值中统计差值为0的数量作为临时距离，得到多个临时距离；

第四距离确定子单元，用于从多个第二临时距离中确定出最小值作为每一行元素与第二图描述矩阵的第四距离；

第二距离计算子单元，用于计算所述第一图描述矩阵中各行元素与第二图描述矩阵的第四距离的和值以作为第一图描述矩阵与第二图描述矩阵的第二距离。

本实施例提供的定位装置可执行本发明任意实施例提供的定位方法，具备相应的功能和有益效果。

实施例七

参照图7，示出了本发明一个示例中的一种设备的结构示意图。如图7所示，该设备具体可以包括：处理器70、存储器71、具有触摸功能的显示屏72、输入装置73、输出装置74以及通信装置75。该设备中处理器70的数量可以是一个或者多个，图7中以一个处理器70为例。该设备中存储器71的数量可以是一个或者多个，图7中以一个存储器71为例。该设备的处理器70、存储器71、显示屏72、输入装置73、输出装置74以及通信装置75可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例一和实施例二所述的描述子地图生成方法对应的程序指令/模块(例如，上述描述子地图生成装置中的图像和位置信息获取模块501、语义分割图获取模块502、图描述子生成模块503和描述子地图生成模块504)，或如本发明实施例二和实施例三所述的定位方法对应的程序指令/模块(例如，上述定位装置中的目标图像获取模块601、第一图描述子生成模块602、目标图描述子确定模块603和定位信息确定模块604)，存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏72为具有触摸功能的显示屏72，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏72用于根据处理器70的指示显示数据，还用于接收作用于显示屏72的触摸操作，并将相应的信号发送至处理器70或其他装置。可选的，当显示屏72为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏72的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器70或者其他设备。

通信装置75，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置73可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，还可以是用于音频数据的拾音设备。输出装置74可以包括扬声器等音频设备。需要说明的是，输入装置73和输出装置74的具体组成可以根据实际情况设定。

处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述描述子地图生成方法和/或定位方法。

具体地，实施例中，处理器70执行存储器71中存储的一个或多个程序时，具体实现本发明实施例提供的描述子地图生成方法和/或定位方法的步骤。

实施例八

本发明实施例八提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的描述子地图生成方法，该方法具体可以包括：

获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

根据所有图像的图描述子和所述位置信息生成描述子地图。

本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的定位方法，该方法具体可以包括：

获取所述机器人采集的目标图像；

生成所述目标图像的第一图描述子；

从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过本发明任一项实施例所述的描述子地图生成方法生成。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明应用于设备上任意实施例所提供的描述子地图生成方法和/或定位方法中的相关操作。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述描述子地图生成方法和/或定位方法。

值得注意的是，上述描述子地图生成装置、定位装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种描述子地图生成方法，其特征在于，包括：

获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

根据所有图像的图描述子和所述位置信息生成描述子地图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子，包括：

获取所述语义分割区域的语义信息；

基于所述语义信息生成所述语义分割图的相邻顶点配对集，其中，顶点表达了所述语义分割图中的语义分割区域；

根据所述相邻顶点配对集生成所述语义分割图的每个顶点的顶点数据集；

针对每个顶点，基于所述顶点的顶点数据集生成所述顶点的图描述矩阵；

将所有顶点的图描述矩阵汇总得到所述图像的图描述子。

3.根据权利要求2所述的方法，其特征在于，所述获取所述语义分割区域的语义信息，包括：

从所述语义分割图中提取每个语义分割区域的质心信息作为语义信息，所述质心信息包括所述语义分割区域的顶点序号和语义标签。

4.根据权利要求2所述的方法，其特征在于，所述语义分割图中的每个像素具有顶点序号和语义标签，所述基于所述语义信息生成所述语义分割图的相邻顶点配对集，包括：

遍历所述语义分割图中任意相邻两个像素点；

在遍历过程中，获取所述相邻两个像素点的顶点序号和语义标签；

在所述相邻两个像素点的语义标签不相同时，将所述相邻两个像素点的顶点序号作为一个相邻顶点配对；

将所述相邻顶点配对存储在预先建立的相邻顶点配对集中。

5.根据权利要求2所述的方法，其特征在于，所述根据所述相邻顶点配对集生成所述语义分割图的每个顶点的顶点数据集，包括：

确定所述相邻顶点配对集中所包含的顶点序号；

针对每个顶点序号，从所述相邻顶点配对集中确定出所述顶点序号的语义标签、相邻顶点序号的数量以及相邻顶点的顶点序号以作为所述顶点的顶点数据集。

6.根据权利要求5所述的方法，其特征在于，所述针对每个顶点，基于所述顶点的顶点数据集生成所述顶点的图描述矩阵，包括：

针对每个顶点，从所述顶点数据集中获取所述顶点的相邻顶点；

采用所述顶点的语义标签以及所述相邻顶点的语义标签生成预设阶数的图描述矩阵。

7.根据权利要求6所述的方法，其特征在于，所述采用所述顶点的语义标签以及所述相邻顶点的语义标签生成预设阶数的图描述矩阵，包括：

初始化图描述矩阵，初始化后的图描述矩阵具有预设阶数并且每一行元素的第一个元素为所述顶点的语义标签；

采用所述顶点的相邻顶点的语义标签确定每一行元素中除了第一个元素以外的元素。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所有图像的图描述子和所述位置信息生成描述子地图，包括：

针对每张图像的图描述子建立图描述子标识；

采用所述图描述子标识、所述图描述子以及所述机器人采集所述图像时的位置信息建立地图节点得到描述子地图。

9.一种定位方法，其特征在于，用于对机器人定位，包括：

获取所述机器人采集的目标图像；

生成所述目标图像的第一图描述子；

从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过权利要求1-8任一项所述的描述子地图生成方法所生成。

10.根据权利要求9所述的方法，其特征在于，所述从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，包括：

依次计算所述第一图描述子与所述预先建立的描述子地图中多个第二图描述子的第一距离；

将与所述第一图描述子的第一距离最小的第二图描述子确定为所述目标图描述子。

11.一种描述子地图生成装置，其特征在于，包括：

图像和位置信息采集模块，用于获取机器人采集的多张图像以及所述机器人采集每张图像时的位置信息；

语义分割模块，用于针对每张图像，获取所述图像的语义分割图，所述语义分割图包括多个语义分割区域；

图描述子生成模块，用于基于所述语义分割图中的多个语义分割区域生成所述图像的图描述子；

描述子地图生成模块，用于根据所有图像的图描述子和所述位置信息生成描述子地图。

12.一种定位装置，其特征在于，用于对机器人定位，包括：

目标图像获取模块，用于获取所述机器人采集的目标图像；

第一图描述子获取模块，用于生成所述目标图像的第一图描述子；

目标图描述子确定模块，用于从预先建立的描述子地图所包含的多个第二图描述子中确定出与所述第一图描述子距离最近的目标图描述子，所述目标图描述子关联有位置信息；

定位信息确定模块，用于将所述目标图描述子关联的位置信息确定为所述机器人的定位信息；

其中，所述描述子地图通过权利要求11所述的描述子地图生成装置生成。

13.一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；其特征在于，

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的描述子地图生成方法和/或如权利要求9-10中任一项所述的定位方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的描述子地图生成方法和/或如权利要求9-10中任一项所述的定位方法。

Images