CN112149471A - 一种基于语义点云的回环检测方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于语义点云的回环检测方法及装置。该方法包括：获取当前视频帧对应的语义点云；确定待处理的最早获取的语义点云的第一几何中心，并计算当前视频帧对应的语义点云的第二几何中心，以及第一几何中心与第二几何中心的第一距离；在第一距离大于第一预设阈值时，构建当前语义点云格子子图；在当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，构建当前语义点云子图；计算当前语义点云子图中包含的每个回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的第二距离时，确定满足回环触发条件。本发明实施例能够提高回环检测的精确度。

Description

一种基于语义点云的回环检测方法及装置

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种基于语义点云的回环检测方法及装置。

背景技术

在自动驾驶领域，无人车在使用环视视觉方案构建高精地图的过程中，由于无法得到全局而准确的观测，因此建图累计误差是不可避免的。为了消除累计误差并构建全局一致的地图，当车辆行驶一段时间之后重新行驶到已经构建了地图的区域时，需要进行回环检测，以进一步对回环进行优化。

已知的回环检测方法，主要为通过图像词袋(Bag of Words)来进行回环的触发。具体的，使用当前观测到的图片信息与以往观测到的图片信息进行比对，当发现相似程度很高的两张图片则认为触发了回环。

然而，在实际应用中，车辆通过同一区域时，其行驶路线并不一定完全相同，进而观测到的图片的相似度也会降低。因此，上述方法中，仅仅依靠两张图片的相似程度来进行回环的触发精确度较低，也就是说很多时候不能有效的触发回环。因此，为了解决现有技术中回环触发精确度较低的问题，亟需一种回环检测方法。

发明内容

本发明提供了一种基于语义点云的回环检测方法及装置，以提高回环检测的精确度。具体的技术方案如下。

第一方面，本发明实施例提供一种基于语义点云的回环检测方法，所述方法包括：

获取当前视频帧对应的语义点云；所述语义点云包括：所述当前视频帧中目标物的语义信息，以及所述目标物的点通过多视几何的方式得到的三维坐标信息；

根据待处理的最早获取的语义点云中的三维坐标信息，确定所述待处理的最早获取的语义点云的第一几何中心，并根据所述当前视频帧对应的语义点云中的三维坐标信息，计算所述当前视频帧对应的语义点云的第二几何中心，以及所述第一几何中心与所述第二几何中心的第一距离；

判断所述第一距离是否大于第一预设阈值；当所述第一距离不大于所述第一预设阈值时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述第一距离大于所述第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；

判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；

计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；

确定所述当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的所述第二距离时，确定满足回环触发条件。

可选的，所述根据待处理的语义点云格子子图构建当前语义点云子图包括：

统计所有待处理的语义点云格子子图的数量，并判断所述数量是否大于预设数量阈值；

如果是，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的所述预设数量阈值的语义点云格子子图构建当前语义点云子图；

如果否，根据除所述当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

可选的，所述计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心包括：

对所述当前语义点云子图中包含的各回环语义信息分别进行点云分割；

计算所分割得到的各回环语义点云的目标几何中心。

可选的，所述方法还包括：

获取小于所述第二预设阈值的所述第二距离对应的目标语义点云子图；

根据所述当前语义点云子图，以及所述目标语义点云子图进行回环优化。

可选的，所述回环语义信息包括以下一种或多种：箭头、斑马线、减速带和禁停区。

第二方面，本发明实施例提供一种基于语义点云的回环检测装置，所述装置包括：

数据获取模块，用于获取当前视频帧对应的语义点云；所述语义点云包括：所述当前视频帧中目标物的语义信息，以及所述目标物的点通过多视几何的方式得到的三维坐标信息；

距离计算模块，用于根据待处理的最早获取的语义点云中的三维坐标信息，确定所述待处理的最早获取的语义点云的第一几何中心，并根据所述当前视频帧对应的语义点云中的三维坐标信息，计算所述当前视频帧对应的语义点云的第二几何中心，以及所述第一几何中心与所述第二几何中心的第一距离；

格子子图构建模块，用于判断所述第一距离是否大于第一预设阈值；当所述第一距离不大于所述第一预设阈值时，触发所述数据获取模块；当所述第一距离大于所述第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；

子图构建模块，用于判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，触发所述数据获取模块；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；

几何中心计算模块，用于计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；

回环触发模块，用于确定所述当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的所述第二距离时，确定满足回环触发条件。

可选的，所述子图构建模块，包括：

阈值判断子模块，用于统计所有待处理的语义点云格子子图的数量，并判断所述数量是否大于预设数量阈值；

第一子图构建子模块，用于在所述阈值判断子模块判断结果为是时，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的所述预设数量阈值的语义点云格子子图构建当前语义点云子图；

第二子图构建子模块，用于在所述阈值判断子模块判断结果为否时，根据除所述当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

可选的，所述几何中心计算模块，包括：

点云信息分割子模块，用于对所述当前语义点云子图中包含的各回环语义信息分别进行点云分割；

几何中心计算子模块，用于计算所分割得到的各回环语义点云的目标几何中心。

可选的，所述装置还包括：

子图获取模块，用于获取小于所述第二预设阈值的所述第二距离对应的目标语义点云子图；

回环优化模块，用于根据所述当前语义点云子图，以及所述目标语义点云子图进行回环优化。

可选的，所述回环语义信息包括以下一种或多种：箭头、斑马线、减速带和禁停区。

由上述内容可知，本发明实施例提供的基于语义点云的回环检测方法及装置，可以获取当前视频帧对应的语义点云；其中，语义点云包括：当前视频帧中目标物的语义信息，以及目标物的点通过多视几何的方式得到的三维坐标信息；根据待处理的最早获取的语义点云中的三维坐标信息，确定待处理的最早获取的语义点云的第一几何中心，并根据当前视频帧对应的语义点云中的三维坐标信息，计算当前视频帧对应的语义点云的第二几何中心，以及第一几何中心与第二几何中心的第一距离；判断第一距离是否大于第一预设阈值；当第一距离不大于第一预设阈值时，返回执行获取当前视频帧对应的语义点云的步骤；当第一距离大于第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；计算当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；确定当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的第二距离时，确定满足回环触发条件，因此能够在车辆经过之前已经过的区域时，检测出该区域中相同的目标物，准确的进行回环触发。当然，实施本发明的任一产品或方法并不一定需要同时达到以上的所有优点。

本发明实施例的创新点包括：

1、通过获取视频帧对应的语义点云，能够获知车辆经过路段中的目标物的语义信息和三维坐标信息，然后构建包含完整语义信息的语义点云子图，之后通过比较各语义点云子图中同类别回环语义信息对应点云的几何中心的距离，来判定各语义点云子图中是否包含相同的目标物，当两个回环语义信息对应点云的几何中心的距离很小时，表明该两个回环语义信息对应点云为同一目标物，这种情况下，即可确定满足回环触发条件，也即能够准确的进行回环触发。

2、通过预设数量阈值，来限定用来构建语义点云子图所用的语义点云格子子图，能够避免语义点云子图构建的过于庞大，进而提高回环检测的效率。

3、当触发回环后，对回环进行优化，能够降低建图累计误差，提高所构建地图的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于语义点云的回环检测方法的一种流程示意图；

图2为本发明实施例提供的基于语义点云的回环检测方法的另一种流程示意图；

图3为本发明实施例中构建的语义点云子图示意图；

图4为对图3中的箭头310计算几何中心的结果示意图；

图5为回环触发示意图；

图6为本发明实施例提供的基于语义点云的回环检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种基于语义点云的回环检测方法及装置，能够提高回环检测的准确度。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于语义点云的回环检测方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤。

S110：获取当前视频帧对应的语义点云；上述语义点云包括：当前视频帧中目标物的语义信息，以及目标物的点通过多视几何的方式得到的三维坐标信息。

在本发明实施例中，可以通过安装于无人车上的视频采集设备，周期性的采集车辆所在环境的视频帧。视频采集设备当前时刻采集到的视频帧，可以称为当前视频帧。

视频采集设备采集到当前视频帧后，可以将当前视频帧发送至电子设备进行处理。具体的，电子设备可以构建当前视频帧对应的语义点云。

其中，上述目标物可以为当前视频帧中的道路标志线，如人行横道、车道线等。目标物的点的三维坐标信息可以为，以车辆起点为原点构建的坐标系中，组成目标物的各点的三维坐标信息。

S120：根据待处理的最早获取的语义点云中的三维坐标信息，确定待处理的最早获取的语义点云的第一几何中心，并根据当前视频帧对应的语义点云中的三维坐标信息，计算当前视频帧对应的语义点云的第二几何中心，以及第一几何中心与第二几何中心的第一距离。

单独一帧视频帧的语义信息会比较稀疏，因此，在本发明实施例中，可以通过多帧视频帧，构建语义点云格子子图。例如，可以通过车辆通过一定距离范围内所采集的视频帧，来构建一张语义点云格子子图。

其中，上述待处理的最早获取的语义点云，即为还未通过其构建过语义点云格子子图，且获取时间最早的语义点云。例如，当依次获取的语义点云为1、2、3、4、5、6、7、8、9，且已通过语义点云1、2、3、4、5构建语义点云格子子图时，可以确定待处理的最早获取的语义点云为语义点云6。

根据待处理的最早获取的语义点云中的三维坐标信息，确定待处理的最早获取的语义点云的第一几何中心时，例如，可以在所有点的三维坐标信息中，分别识别出各方向处于中间点的坐标值，作为第一几何中心的坐标值。

根据当前视频帧对应的语义点云中的三维坐标信息，计算当前视频帧对应的语义点云的第二几何中心，可以依据与上述相同的方法进行，本发明实施例对此不进行赘述。

S130：判断第一距离是否大于第一预设阈值；当第一距离不大于第一预设阈值时，返回执行步骤S110；当第一距离大于第一预设阈值时，执行步骤S140。

上述第一预设阈值可以依据不同的场景预先设定。如，可以设定为5米、6米、8米等，本发明实施例对此不作限定。

当第一距离不大于第一预设阈值时，表明当前获取的语义点云不够多，包含的语义信息较少，因此，可以返回执行步骤S110，继续获取更多的语义点云。

S140：根据所有待处理的语义点云构建当前语义点云格子子图。

当第一距离大于第一预设阈值时，可以根据所有待处理的语义点云构建当前语义点云格子子图。具体的，可以构建出包含所有待处理的语义点云的图，作为当前语义点云格子子图。

S150：判断当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行步骤S110；当当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，执行步骤S160。

可以理解，不同的语义信息有着不同的含义。例如，箭头、斑马线、减速带和禁停区等特殊语义信息，与车道线、车位线不同的是它们的出现往往代表着回环的发生。也就是说这些语义信息是有着强烈回环意义的信息，我们可以将其称为回环语义信息。

语义点云格子子图中包含的语义信息有限，不能保证语义信息的充足和完整性。如，可能将同一箭头构建在两张语义点云格子子图中。因此，在本发明实施例中，可以根据多张语义点云格子子图构建大的语义点云子图，以保证所得到语义点云子图中，语义信息的充足和完整性。

具体的，电子设备可以判断当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息。相邻语义点云格子子图，即为构建当前语义点云格子子图之前构建的语义点云格子子图。例如，可以根据当前语义点云格子子图和相邻语义点云格子子图中目标物的三维坐标信息，来确定当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息。

当当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，表明当前语义点云子图中包含了与之前所构建语义点云子图中相同的回环语义信息，这种情况下，可以返回执行步骤S110，继续获取语义点云，以及构建语义点云格子子图，以根据更多的语义点云格子子图来构建语义点云子图；当当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，表明当前可以构建包含完整语义信息的语义点云子图。

S160：根据待处理的语义点云格子子图构建当前语义点云子图。

具体的，可以构建出包含待处理的语义点云格子子图中所有语义点云的图，作为当前语义点云子图。

在一种实现方式中，为了避免构建的语义点云子图过大，可以预先设定语义点云子图所能包含的最大语义点云格子子图的数量，并存储为预设数量阈值。具体的，上述预设数量阈值可以为4、5、6等，本发明实施例对此不作限定。

构建当前语义点云子图时，可以统计所有待处理的语义点云格子子图的数量，并判断数量是否大于预设数量阈值；如果是，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的预设数量阈值的语义点云格子子图构建当前语义点云子图；如果否，根据除当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

例如，当待处理的语义点云格子子图分别为：A、B、C、D，构建的早晚顺序为A、B、C、D，当前语义点云格子子图为D，预设数量阈值为6时，可以确定所有待处理的语义点云格子子图的数量为4，该数量不大于预设数量阈值，则可以根据除当前语义点云格子子图D之外的所有待处理的语义点云格子子图A、B、C构建语义点云子图；当预设数量阈值为2时，可以确定所有待处理的语义点云格子子图的数量4大于预设数量阈值，则可以根据先构建的两个语义点云格子子图A、B构建语义点云子图。

通过预设数量阈值，来限定用来构建语义点云子图所用的语义点云格子子图，能够避免语义点云子图构建的过于庞大，进而提高回环检测的效率。

S170：计算当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心。

例如，可以在当前语义点云子图中包含的各回环语义信息对应点云中，分别识别出各方向处于中间点的坐标值，作为各回环语义信息对应点云的目标几何中心的坐标值。

在一种实现方式中，可以首先对当前语义点云子图中包含的各回环语义信息分别进行点云分割，之后计算所分割得到的各回环语义点云的目标几何中心。

S180：确定当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的第二距离时，确定满足回环触发条件。

回环语义信息的类别，例如可以为箭头、斑马线等。第二预设阈值可以为0.5米、0.3米、0.2米等，本发明实施例对此不作限定。

例如，当当前语义点云子图中包含箭头语义信息时，可以计算该箭头语义信息对应点云的目标几何中心，与已构建的每个语义点云子图中的箭头语义信息对应点云的几何中心的距离，作为第二距离。当当前语义点云子图中包含斑马线语义信息时，可以计算该斑马线语义信息对应点云的目标几何中心，与已构建的每个语义点云子图中的斑马线语义信息对应点云的几何中心的距离，作为第二距离。

当存在小于第二预设阈值的第二距离时，表明两个语义信息为同一目标物的语义信息，也就是说，车辆正在经过之前已经过的区域，这种情况下，即可确定满足回环触发条件。

由上述内容可知，本发明实施例提供的基于语义点云的回环检测方法，可以获取当前视频帧对应的语义点云；其中，语义点云包括：当前视频帧中目标物的语义信息，以及目标物的点通过多视几何的方式得到的三维坐标信息；根据待处理的最早获取的语义点云中的三维坐标信息，确定待处理的最早获取的语义点云的第一几何中心，并根据当前视频帧对应的语义点云中的三维坐标信息，计算当前视频帧对应的语义点云的第二几何中心，以及第一几何中心与第二几何中心的第一距离；判断第一距离是否大于第一预设阈值；当第一距离不大于第一预设阈值时，返回执行获取当前视频帧对应的语义点云的步骤；当第一距离大于第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；计算当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；确定当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的第二距离时，确定满足回环触发条件，因此能够在车辆经过之前已经过的区域时，检测出该区域中相同的目标物，准确的进行回环触发。

作为本发明实施例的一种实施方式，当触发回环后，还可以获取小于第二预设阈值的第二距离对应的目标语义点云子图，进而根据当前语义点云子图，以及目标语义点云子图进行回环优化。也就是说，可以根据包含相同目标物的两个语义点云子图，进行回环优化。

具体的回环优化过程，可以采用现有的任一种回环优化方法进行，本发明实施例对此不作限定。

当触发回环后，对回环进行优化，能够降低建图累计误差，提高所构建地图的准确性。

下面结合一具体的实施例，说明本发明提供的基于语义点云的回环触发方法。

如图2所示，该方法包括以下几个步骤：

1、构建每一帧的3D语义点云。

3D建图中语义点云可以由中端使用前端优化好的位姿，对语义信息进行3D重建得到。每一帧中端都会向回环部分输送一帧的3D语义点云，对于回环检测模块来说，每一帧获得的3D语义点云是回环检测模块的输入，该模块将通过使用3D语义点云来进行回环的触发。

2、构建语义点云格子子图。

单独一帧的语义信息还是会相对稀疏一些，因此我们将会优先构建语义子图。具体的方法是对每一帧计算出其语义点云的几何中心，之后计算每一帧语义点云的几何中心距离当前子图中最早的语义点云的几何中心的距离。当这个距离大于一个预先设定好的阈值时，就认为构建好了一个小的语义子图，可以将其命名为语义点云格子子图。这个级别的小子图包含了一部分的语义信息,但是依旧不能保证语义信息的充足与完整性。

3、构建语义点云子图。

在使用语义部分进行回环的过程中,通常格外注重箭头、斑马线、减速带、禁停区等特殊语义信息。这些语义信息与车道线、车位线不同的是它们的出现往往代表着回环的发生，也就是说这些语义信息是有着强烈回环意义的信息，我们将其称为回环语义信息。因此使用语义点云格子语义子图构建大的语义点云子图的要求便是当下一个语义点云格子子图与相邻语义点云点云格子子图中不包含相同的回环语义信息时，便认为构建完成了一个语义点云子图。

为了避免将语义点云子图构建的过于庞大，可以设定语义点云子图中所能包含的语义点云格子子图的最大数目。图3为构建完成的一个语义点云子图示意图，其中箭头310即为回环语义信息对应点云。

4、对语义点云子图中的语义信息计算几何中心。

每当构建完成一个语义点云子图后，可以对其中的回环语义信息进行分割。例如可以将每一个箭头单独的分割出来，而后可以计算这部分回环语义信息对应点云的几何重心。图4中的点410可以理解为图3所示语义点云子图中箭头310的几何中心。

5、使用语义信息触发回环。

随着每构建完成一张语义点云子图并计算其中的几何中心，都可以在其他已经构建完成的语义点云子图中计算其他中心与新得到的几何中心的距离。如果计算出来的距离小于一个设定好的阈值便会认为是触发了一个回环。

以图5为例，在不断构建语义点云子图的过程中，车辆又重新经过了这片区域，颜色较浅的语义点云子图为第一次经过这片区域所构建的子图，而颜色较深的语义点云子图则为第二次经过这片区域所构建的子图，由于存在里程计累计误差的原因，可以看到这两片子图没有重叠在一起。而我们计算好的语义部分的几何中心则用了圆点来进行标识，在语义点云子图构建完毕后计算几何中心之间的距离，也就是圆点之间的连线510的距离，当该距离小于一个阈值时，便可以确定触发了回环。

在触发回环之后,可以将这两片点云交给后续的回环操作进行进一步的优化计算。

如图6所示，本发明实施例提供的一种基于语义点云的回环检测装置，所述装置包括：

数据获取模块610，用于获取当前视频帧对应的语义点云；所述语义点云包括：所述当前视频帧中目标物的语义信息，以及所述目标物的点通过多视几何的方式得到的三维坐标信息；

距离计算模块620，用于根据待处理的最早获取的语义点云中的三维坐标信息，确定所述待处理的最早获取的语义点云的第一几何中心，并根据所述当前视频帧对应的语义点云中的三维坐标信息，计算所述当前视频帧对应的语义点云的第二几何中心，以及所述第一几何中心与所述第二几何中心的第一距离；

格子子图构建模块630，用于判断所述第一距离是否大于第一预设阈值；当所述第一距离不大于所述第一预设阈值时，触发所述数据获取模块；当所述第一距离大于所述第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；

子图构建模块640，用于判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，触发所述数据获取模块610；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；

几何中心计算模块650，用于计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；

回环触发模块660，用于确定所述当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的所述第二距离时，确定满足回环触发条件。

由上述内容可知，本发明实施例提供的基于语义点云的回环检测装置，可以获取当前视频帧对应的语义点云；其中，语义点云包括：当前视频帧中目标物的语义信息，以及目标物的点通过多视几何的方式得到的三维坐标信息；根据待处理的最早获取的语义点云中的三维坐标信息，确定待处理的最早获取的语义点云的第一几何中心，并根据当前视频帧对应的语义点云中的三维坐标信息，计算当前视频帧对应的语义点云的第二几何中心，以及第一几何中心与第二几何中心的第一距离；判断第一距离是否大于第一预设阈值；当第一距离不大于第一预设阈值时，返回执行获取当前视频帧对应的语义点云的步骤；当第一距离大于第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；计算当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；确定当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的第二距离时，确定满足回环触发条件，因此能够在车辆经过之前已经过的区域时，检测出该区域中相同的目标物，准确的进行回环触发。

作为本发明实施例的一种实施方式，所述子图构建模块640，包括：

阈值判断子模块，用于统计所有待处理的语义点云格子子图的数量，并判断所述数量是否大于预设数量阈值；

第一子图构建子模块，用于在所述阈值判断子模块判断结果为是时，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的所述预设数量阈值的语义点云格子子图构建当前语义点云子图；

第二子图构建子模块，用于在所述阈值判断子模块判断结果为否时，根据除所述当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

作为本发明实施例的一种实施方式，所述几何中心计算模块650，包括：

点云信息分割子模块，用于对所述当前语义点云子图中包含的各回环语义信息分别进行点云分割；

几何中心计算子模块，用于计算所分割得到的各回环语义点云的目标几何中心。

作为本发明实施例的一种实施方式，所述装置还包括：

子图获取模块，用于获取小于所述第二预设阈值的所述第二距离对应的目标语义点云子图；

回环优化模块，用于根据所述当前语义点云子图，以及所述目标语义点云子图进行回环优化。

作为本发明实施例的一种实施方式，所述回环语义信息包括以下一种或多种：箭头、斑马线、减速带和禁停区。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于语义点云的回环检测方法，其特征在于，所述方法包括：

获取当前视频帧对应的语义点云；所述语义点云包括：所述当前视频帧中目标物的语义信息，以及所述目标物的点通过多视几何的方式得到的三维坐标信息；

根据待处理的最早获取的语义点云中的三维坐标信息，确定所述待处理的最早获取的语义点云的第一几何中心，并根据所述当前视频帧对应的语义点云中的三维坐标信息，计算所述当前视频帧对应的语义点云的第二几何中心，以及所述第一几何中心与所述第二几何中心的第一距离；

判断所述第一距离是否大于第一预设阈值；当所述第一距离不大于所述第一预设阈值时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述第一距离大于所述第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；

判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，返回执行所述获取当前视频帧对应的语义点云的步骤；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；

计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；

确定所述当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的所述第二距离时，确定满足回环触发条件。

2.根据权利要求1所述的方法，其特征在于，所述根据待处理的语义点云格子子图构建当前语义点云子图包括：

统计所有待处理的语义点云格子子图的数量，并判断所述数量是否大于预设数量阈值；

如果是，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的所述预设数量阈值的语义点云格子子图构建当前语义点云子图；

如果否，根据除所述当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

3.根据权利要求1所述的方法，其特征在于，所述计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心包括：

对所述当前语义点云子图中包含的各回环语义信息分别进行点云分割；

计算所分割得到的各回环语义点云的目标几何中心。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

获取小于所述第二预设阈值的所述第二距离对应的目标语义点云子图；

根据所述当前语义点云子图，以及所述目标语义点云子图进行回环优化。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述回环语义信息包括以下一种或多种：箭头、斑马线、减速带和禁停区。

6.一种基于语义点云的回环检测装置，其特征在于，所述装置包括：

数据获取模块，用于获取当前视频帧对应的语义点云；所述语义点云包括：所述当前视频帧中目标物的语义信息，以及所述目标物的点通过多视几何的方式得到的三维坐标信息；

距离计算模块，用于根据待处理的最早获取的语义点云中的三维坐标信息，确定所述待处理的最早获取的语义点云的第一几何中心，并根据所述当前视频帧对应的语义点云中的三维坐标信息，计算所述当前视频帧对应的语义点云的第二几何中心，以及所述第一几何中心与所述第二几何中心的第一距离；

格子子图构建模块，用于判断所述第一距离是否大于第一预设阈值；当所述第一距离不大于所述第一预设阈值时，触发所述数据获取模块；当所述第一距离大于所述第一预设阈值时，根据所有待处理的语义点云构建当前语义点云格子子图；

子图构建模块，用于判断所述当前语义点云格子子图与相邻语义点云格子子图中是否包含相同的回环语义信息；当所述当前语义点云格子子图与相邻语义点云格子子图中包含相同的回环语义信息时，触发所述数据获取模块；当所述当前语义点云格子子图与相邻语义点云格子子图中不包含相同的回环语义信息时，根据待处理的语义点云格子子图构建当前语义点云子图；

几何中心计算模块，用于计算所述当前语义点云子图中包含的各回环语义信息对应点云的目标几何中心；

回环触发模块，用于确定所述当前语义点云子图中包含的各回环语义信息的类别，并针对每个回环语义信息，计算该回环语义信息对应点云的目标几何中心与已构建的每个语义点云子图中包含的同类别回环语义信息对应点云的几何中心的第二距离，当存在小于第二预设阈值的所述第二距离时，确定满足回环触发条件。

7.根据权利要求6所述的装置，其特征在于，所述子图构建模块，包括：

阈值判断子模块，用于统计所有待处理的语义点云格子子图的数量，并判断所述数量是否大于预设数量阈值；

第一子图构建子模块，用于在所述阈值判断子模块判断结果为是时，依据构建各语义点云格子子图从早到晚的顺序，根据待处理的所述预设数量阈值的语义点云格子子图构建当前语义点云子图；

第二子图构建子模块，用于在所述阈值判断子模块判断结果为否时，根据除所述当前语义点云格子子图之外所有待处理的语义点云格子子图构建当前语义点云子图。

8.根据权利要求6所述的装置，其特征在于，所述几何中心计算模块，包括：

点云信息分割子模块，用于对所述当前语义点云子图中包含的各回环语义信息分别进行点云分割；

几何中心计算子模块，用于计算所分割得到的各回环语义点云的目标几何中心。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

子图获取模块，用于获取小于所述第二预设阈值的所述第二距离对应的目标语义点云子图；

回环优化模块，用于根据所述当前语义点云子图，以及所述目标语义点云子图进行回环优化。

10.根据权利要求6-8任一项所述的装置，其特征在于，所述回环语义信息包括以下一种或多种：箭头、斑马线、减速带和禁停区。

Images