CN116226298B - 一种地图质量的自动化评估方法 - Google Patents

Abstract

本发明公开了一种地图质量的自动化评估方法，包括以下步骤：S1、将先验定位地图格网化；S2、构建虚拟的查询图像，并赋予虚拟pose；S3、搜索并过滤3D场景点，得到查询图像的候选landmarks并赋予权重；S4、对于每个格子的查询pose逐个计算候选landmarks的hull，计算查询pose得分；S5、步骤4得到的四张得分平面格网分别归一化，得到全局的质量地图。本发明无需任何先验知识进行自动化的评估地图质量，省去了人为干涉和降低了成本，为后续的数据质量检查、在线评定定位服务层查询图像的定位效果、AR最佳体验路径的规划、地图压缩存储奠定了重要的基础。

Description

一种地图质量的自动化评估方法

技术领域

本发明属于地图技术领域，具体涉及一种基于视觉定位的高精度、自动化的地图质量评估方法。

背景技术

视觉定位系统(VPS)是AR(增强现实技术)中的关键技术，目前VPS大多数方案是采用基于先验地图(map-based)即先验定位地图方式来进行全局定位，主要原因是基于地图的定位方式精度高、可以有效的避免其他传感器如RTK等失锁的情况。故而VPS技术可以分为两大部分：地图构建层和定位服务层；地图构建层的主要技术分为实时定位、建图(SLAM)和从运动恢复结构(SfM)，两者在算法原理上大同小异，都可以恢复相机的位姿和场景点的3D坐标。定位服务层在先验地图基础上，通过图像检索技术和后方交会法进行定位，而定位效果与地图的质量相辅相成，地图质量的好坏直接影响最终的定位效果，因此地图质量评估对于视觉定位系统是一件很有意义的工作。

到目前为止，关于地图质量评估的工作寥寥无几，大多数方案都是构建完成先验地图后，人工去采集一些离散点交互式的去评估地图的局部精度或者使用昂贵的激光设备采集点云将视觉地图和激光点云对齐来评估地图的质量，这两种都是目前最常用的方案，但工作量巨大且成本居高。

因此，发明一种AR定位地图质量的自动化评估方法，可以快速、低成本的评估定位地图的质量以便于后续的应用。

发明内容

本发明的目的是对视觉定位系统构建的先验地图质量进行自动化评估，可快速用于数据检查、重定位效果评定、路径规划和地图压缩等后续工作。

为了实现上述目的，本发明提供一种地图质量的自动化评估方法，包括以下步骤：

S1、将构建的先验地图投影到平面格网上；

S2、将平面格网每个小格子设置为虚拟的查询图像，并赋予虚拟pose；

S3、每个虚拟查询图像搜索最近邻的3D场景点，并对3D场景点进行过滤，得到查询图像的候选landmarks，并赋予权重；

S4、针对每个查询图像计算候选landmarks的hull，判断查询图像是否在hull中；在hull中时，则将候选landmarks的权重累加赋于该查询图像，得到各方向的得分平面格网；

S5、将有权重的平面格网归一化，生成质量地图。

优选的，步骤S1中所述先验地图通过SfM构建。

优选的，步骤S1中所述平面格网上二维的格网大小取决于地图的xy范围和地图每个格子的大小，具体如下：

X_min,Y_min＝min(XY)；X_max,Y_max＝max(XY)

其中X、Y是地图点的二维坐标，step是每个格网的大小。

优选的，步骤S2中赋予虚拟pose的方法包括对于步骤S1中构建的的格网，计算其中每个格网的中心坐标，并根据测绘坐标系给每个格网分配四个方向，即四个虚拟pose，分别代表北、东、南、西四个方向的pose信息。

优选的，步骤S3中得到候选landmarks的方法包括采用KNN算法，以虚拟pose为中心，将落在半径为r的圆内部的点记为初始landmarks，随后对初始的landmarks进行过滤得到候选landmarks。

优选的，所述过滤方法包括若每个landmark位于虚拟pose的前方：将每个landmark反投影回步骤S2中的坐标系，若相机坐标系下的Z坐标大于0，则保留，反之过滤；

若每个landmark与虚拟pose互视：则确定虚拟pose的朝向，并通过所述landmark追踪到的图像确定landmark的朝向，利用每个landmark和虚拟pose将每个landmark反投影回步骤S2中的坐标系，若相机坐标系下的Z坐标大于0，则保留；并计算landmark的方向向量与虚拟pose方向向量的夹角，若夹角为钝角，则该landmark与查询pose互视，反之过滤。

优选的，确定landmark的朝向的方法包括：

i、对于每一个初始landmark，计算得到每个图像中心的光心坐标；

ii、将步骤i中的光心坐标拟合一条直线，得到直线参数；记录landmark追踪到时间戳最早图像的中心物理坐标，记为C_early；根据所述直线参数、C_early和landmark坐标计算该landmark的朝向，其计算公式如下：

其中，v_y、v_x、x₀、y₀是光心拟合的直线参数，x_earl_y,y_early是C_early的坐标，x_landmark,y_landmark是landmark的坐标，direction(y,x)是landmark的朝向。

优选的，步骤S4中累加每个候选landmark的权重则为landmarks的权重，再赋予pose的weight，遍历完每个格子即得到各方向的得分平面格网。

优选的，步骤S5中生成质量地图的具体方法包括将步骤S4得到各方向的得分平面格网分别归一化，便得到各方向的质量地图，再将各方向的得分聚合到一起，归一化后得到全局的质量地图。

本发明的有益效果：

本发明较传统方法无需任何先验知识来对定位地图进行自动化的质量评估，对于整个定位系统中后续有以下实际应用：

(1)数据质量检查环节，验证地图是否满足定位需求，以此来判断数据是否需要重新采集或者区域性补采，避免整个视觉定位系统流程构建完毕后，因为定位效果不佳而返工。

(2)视觉重定位精度评估，地图质量生成之后，在定位服务层可以在线的确定终端图像的定位精度得分。

(3)基于质量地图的路径规划和导航，可以指导用户根据质量地图选择最佳的AR效果体验路线。

(4)简化地图结构，过滤得分低的区域，提高定位的精度和压缩地图方便于存储。

附图说明

图1是本发明地图质量评价技术的质量流程图；

图2是本发明先验定位地图投影到二维平面格网的效果图；

图3是本发明归一化后得到的北方向的质量地图；

图4是本发明归一化后得到的东方向的质量地图；

图5是本发明归一化后得到的南方向的质量地图；

图6是本发明归一化后得到的西方向的质量地图；

图7是本发明四个方向聚合得到的质量地图。

具体实施方式

本发明自动评估AR地图的质量流程图如图1所示，先验定位地图的构建通过运动恢复结构(Structure from Motion)即SfM技术来实现，评估地图质量的流程分为以下五个步骤：

步骤一：先验定位地图格网化

由于终端的使用者是人或者是机器人，故查询图像的高度大多数情况下是一直处于同一高度，所以先验地图的z轴对地图质量评估影响不大，便可以直接将先验地图投影到二维的格网上，如图2所示。二维格网的大小取决于地图的xy范围和地图每个格子的大小，如下：

X_min,Y_min＝min(XY)；X_max,Y_max＝max(XY)

其中，X是地图点在x轴上的二维坐标，Y是地图点在y轴上的二维坐标，step是每个格网的大小。

步骤二：构建虚拟查询图像

对于步骤一构建的width*height大小的格网，计算每个格网的中心坐标(x,y)并根据测绘坐标系给每个格网分配四个方向(0,π/2,3π/2,2π)，即每个格网存在四个虚拟pose，格式为(direction,x,y,weight)，细化后如下：(0,x,y,weight1)、(π/2,x,y,weight2)、(3π/2,x,y,weight3)、(2π,x,y,weight4)，分别代表北、东、南、西四个方向的pose信息。

步骤三：寻找候选地标(landmarks)

首先利用步骤二中每个格子的虚拟pose(即上述四个方向的pose)采用KNN算法寻找n个初始landmarks。具体做法为：以虚拟pose为中心，落在半径为r的圆内部的点记为初始landmarks，随后对初始的landmarks进行过滤得到候选landmarks，过滤需同时满足以下两个准则：

(1)每个landmark位于虚拟pose的前方：利用每个landmark和查询pose(即上述虚拟pose)将每个landmark反投影回查询图像的虚拟相机坐标系(步骤二建立的坐标系)，若相机坐标系下的Z坐标大于0，则保留，反之过滤；

(2)每个landmark与虚拟pose互视：虚拟pose的朝向可以确定，而landmark的朝向需要通过该landmark追踪到的图像来确定，利用每个landmark和查询pose将每个landmark反投影回查询图像的虚拟相机坐标系(即步骤二中建立的坐标系)，若相机坐标系下的Z坐标大于0，则保留，具体步骤如下：

i.对于每一个初始landmark(3D点的x,y坐标，z值忽略)，因为其对应的图像是已知的，即追踪到的图像是已知的，便可计算得到每个图像中心的物理坐标(即相机光心的光心坐标)。

ii.将步骤i中的光心坐标拟合一条直线，得到直线参数；同时记录landmark追踪到时间戳最早图像的中心物理坐标，记为C_early，根据直线参数、C_early还有landmark坐标可计算该landmark的朝向，计算公式如下：

其中，v_y、v_x、x₀、y₀是光心拟合的直线参数，x_early,y_early是C_early的坐标，x_landmark,y_landmark是landmark的坐标，direction(y,x)是landmark的朝向。

以上得到每个landmark的朝向后，计算landmark的方向向量与与查询pose(即上述虚拟pose)方向向量的夹角，若夹角为钝角，则该landmark与查询pose互视，反之过滤。

将这些初始的landmarks过滤得到候选landmarks后，将每个landmark追踪到的图像的个数记为该landmark的权重。其中，每个landmark追踪到图像的个数，为地图数据输入值自带的已知信息。

步骤四：计算查询pose得分

对于每个格子的查询pose逐个计算候选landmarks的hull，得到外包围多边形后，并将该多边形向外膨胀α米(根据场景设定该变量值)，随后判断该查询pose是否在多边形内部(即判断查询pose的平面坐标是否在多边形内部)，若在其内部，将候选landmarks的权重累加值赋予该查询pose，即pose的格式已知(direction,x,y,weight)，每个landmark的权重已知，那么landmarks的权重就是累加每个landmark的权重，然后赋予pose的weight。遍历完每个格子便可得到四张width*height的得分平面格网。

步骤五：得分平面格网归一化，生成质量地图

将步骤四得到的四张得分平面格网分别归一化，便可得到北-东-南-西四张质量地图，如图3-6所示，分别为北、东、南、西四张质量地图；再将四个方向的得分聚合到一起，归一化后便可得到全局的质量地图，如图7所示。其中质量地图中灰色、白色、黑色分别代表的是该位置的定位效果：好、一般、差(其中十字标记代表采集设备的轨迹)。

其中，先验知识即不需要人工采集一些控制点或者激光采集数据；膨胀凸包即膨胀计算得到的hul。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种地图质量的自动化评估方法，其特征在于，包括以下步骤：

S1、将构建的先验地图投影到平面格网上；

S2、将平面格网每个小格子设置为虚拟的查询图像，并赋予虚拟pose；

S3、每个虚拟查询图像搜索最近邻的场景点，并对场景点进行过滤，得到查询图像的候选landmarks，并赋权重；

S4、针对每个查询图像计算候选landmarks的hull，判断查询图像是否在hull中；在hull中时，则将候选landmarks的权重累加赋于该查询图像，得到各方向的得分平面格网；

S5、将步骤S4得到各方向的得分平面格网分别归一化，得到各方向的质量地图，再将各方向的得分聚合，进归一化后得到全局的质量地图；

对步骤S1中构建的格网，计算其中每个格网的中心坐标，并根据测绘坐标系给每个格网分配的方向，即所述虚拟pose；

所述候选landmarks为采用KNN算法，以所述虚拟pose为中心，将落在半径为r的圆内部的点记为初始landmarks，随后对初始的landmarks进行过滤得到的候选landmarks。

2.根据权利要求1所述地图质量的自动化评估方法，其特征在于，步骤S1中所述先验地图通过SfM构建。

3.根据权利要求1所述地图质量的自动化评估方法，其特征在于，步骤S1中所述平面格网上的二维格网大小取决于地图的xy范围和地图每个格子的大小，具体如下：

X_min,Y_min＝min(XY)；X_max,Y_max＝max(XY)

其中X、Y是地图点的二维坐标，step是每个格网的大小。

4.根据权利要求1所述地图质量的自动化评估方法，其特征在于，步骤S2中所述虚拟pose设有四个，分别代表北、东、南、西四个方向的pose信息。

5.根据权利要求1所述地图质量的自动化评估方法，其特征在于，所述对初始的landmarks进行过滤得到候选landmarks的方法包括若每个landmark位于虚拟pose的前方：将每个landmark反投影回步骤S2中的坐标系，若相机坐标系下的Z坐标大于0，则保留，反之过滤；

若每个landmark与虚拟pose互视：则确定虚拟pose的朝向，并通过所述landmark追踪到的图像确定landmark的朝向，将landmark反投影回步骤S2中的坐标系，若相机坐标系下的Z坐标大于0，则保留；计算landmark的方向向量与虚拟pose方向向量的夹角，若夹角为钝角，则该landmark与查询pose互视，反之过滤。

6.根据权利要求5所述地图质量的自动化评估方法，其特征在于，确定landmark的朝向的方法包括：

i、对于每一个初始landmark，计算得到每个图像中心的光心坐标；

ii、将步骤i中的光心坐标拟合一条直线，得到直线参数；记录landmark追踪到时间戳最早图像的中心物理坐标，记为C_early；根据所述直线参数、C_early和landmark坐标计算该landmark的朝向，其计算公式如下：

其中，v_y、v_x、x₀、y₀是光心拟合的直线参数，x_early,y_early是C_early的坐标，x_landmark,y_landmark是landmark的坐标，direction(y,x)是landmark的朝向。

7.根据权利要求1所述地图质量的自动化评估方法，其特征在于，步骤S4中累加每个候选landmark的权重则为landmarks的权重，再赋予pose的weight，遍历完每个格子即得到各方向的得分平面格网。