CN112150538A - 一种在三维地图构建过程中车辆位姿的确定方法和装置 - Google Patents

Abstract

本发明实施例公开了一种在三维地图构建过程中车辆位姿的确定方法和装置，其中，该方法包括：基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。通过采用上述技术方案，提升了在三维地图构建过程中车辆位姿定位的准确性和快速性。

Description

一种在三维地图构建过程中车辆位姿的确定方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种在三维地图构建过程中车辆位姿的确定方法和装置。

背景技术

在三维地图构建的过程中，采集车辆的路线会包括倒车、调头以及重复的路线，在这些情况下持续构建地图会产生以下不良影响：1)多次经过这些路线时建出地图点的噪声会累积，可能产生建出的车道线变粗、相邻元素混淆在一起等不良效果；2)在重复路线上会不断运行中端优化并触发后端回环，增加不必要的计算力消耗。因此在上述情况下，一般不再构建新的地图点，而是利用已建成的地图点不断修正车身位姿，以保证在车辆驶出已建图区域时，可以保持与当前地图相对应的位姿继续建图。

由于上述建图方式与车辆定位技术密切相关，因此需找到一种快速且准确的车辆三维位姿的定位方法，以用于三维地图的构建。目前，车辆的三维定位算法一般都会假设车身周围地图是一个二维平面。但当这一假设不满足时则会产生较大的定位误差，甚至无法对车辆进行正常定位。

发明内容

本发明实施例公开一种在三维地图构建过程中车辆位姿的确定方法和装置，提升了在三维地图构建过程中车辆位姿定位的准确性和快速性。

第一方面，本发明实施例公开了一种在三维地图构建过程中车辆位姿的确定方法，该方法包括：

基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；

基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；

采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

可选的，基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值，包括：

将所述待匹配图像所在平面作为投影平面，并将所述地图元素转换为所述投影平面上对应位置的投影像素；

确定所述待匹配图像中图像元素所对应的像素与所述投影像素的像素残差值；

或者，

将所述待匹配图像中的图像元素反投影到所述三维地图中，并确定反投影后的图像元素与对应位置的地图元素的像素残差值。

可选的，所述车载摄像头为布设在所述车辆四个设定方位的四路摄像头；

相应的，在对车载摄像头所采集图像进行语义信息的分割处理之前，所述方法还包括：

将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像；

相应的，所述待匹配图像是通过对所述拼接图像进行语义信息的分割处理后得到的。

可选的，所述从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，包括：

根据所述拼接图像对角线长度所对应的实际距离确定检索半径；

利用八叉树结构，从已构建的三维地图中检索与车身中心相距所述检索半径以内的地图元素，并将垂直于所述设定平面向上的方向上满足设定距离的地图元素，以及无法投影到所述拼接图像上的地图元素进行删除。

可选的，采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，包括：

采用迭代优化的方式，将每次迭代得到的像素残差值作为下一次迭代的输入变量，通过对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低；

其中，所述迭代优化的终止条件包括：

迭代次数超过设定次数阈值，或者，

车辆位姿各维度的平均更新幅度和最大更新幅度均小于对应的幅度阈值，或者，

像素残差值不再下降。

可选的，按照如下方式确定更新后车辆的有效性：

将所述拼接图像划分为四个子区域，并分别统计所述四个子区域中具有语义信息的语义像素数量；

将与车辆满足设定距离范围的地图元素全部投影到所述拼接图像上，并统计投影到所述拼接图像的语义区域中的地图元素所对应的第一像素个数，以及分别投影到所述四个子区域中的地图元素的第二像素个数；

当所述语义像素数量低于第一设定像素阈值的目标子区域的个数小于第一预设个数阈值、所述拼接图像中的语义像素总个数大于第二设定像素阈值、所述第二像素个数低于第二设定像素阈值的子区域的数量小于第三预设个数阈值、所述第一像素个数和所述第二像素个数的比值大于第一比例阈值，以及第一像素个数和所述拼接图像中所有语义区域的像素个数之间的比值大于第二比例阈值时，则确定更新后车辆位姿为有效位姿；

其中，第二设定像素阈值大于4倍的第一设定像素阈值。

可选的，所述语义信息的分割处理包括：

将有语义信息的图像元素的像素值设置为255，并将无语义信息的图像元素的像素值设置为0；

相应的，将所述地图元素在所述投影平面上的像素值设置为255。

第二方面，本发明实施例还提供了一种在三维地图构建过程中车辆位姿的确定装置，该装置包括：

地图元素搜索模块，被配置为基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；

残差值确定模块，被配置为基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；

目标位姿确定模块，被配置为采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

可选的，所述残差值确定模块，具体被配置为：

将所述待匹配图像所在平面作为投影平面，并将所述地图元素转换为所述投影平面上对应位置的投影像素；

确定所述待匹配图像中图像元素所对应的像素与所述投影像素的像素残差值；

或者，

将所述待匹配图像中的图像元素反投影到所述三维地图中，并确定反投影后的图像元素与对应位置的地图元素的像素残差值。

可选的，所述车载摄像头为布设在所述车辆四个设定方位的四路摄像头；

相应的，所述装置还包括：

在对车载摄像头所采集图像进行语义信息的分割处理之前，将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像；

相应的，所述待匹配图像是通过对所述拼接图像进行语义信息的分割处理后得到的。

可选的，所述地图元素搜索模块，具体被配置为：

根据所述拼接图像对角线长度所对应的实际距离确定检索半径；

利用八叉树结构，基于车辆的初始位姿，从已构建的三维地图中检索与车身中心相距所述检索半径以内的地图元素，并将垂直于所述设定平面向上的方向上满足设定距离的地图元素，以及无法投影到所述拼接图像上的地图元素进行删除。

可选的，所述目标位姿确定模块，具体被配置为：

采用迭代优化的方式，将每次迭代得到的像素残差值作为下一次迭代的输入变量，通过像素残差值的变化对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低；

其中，所述迭代优化的终止条件包括：

迭代次数超过设定次数阈值，或者，

车辆位姿各维度的平均更新幅度和最大更新幅度均小于对应的幅度阈值，或者，

像素残差值不再下降。

可选的，按照如下方式确定更新后车辆的有效性：

将所述拼接图像划分为四个子区域，并分别统计所述四个子区域中具有语义信息的语义像素数量；

将与车辆满足设定距离范围的地图元素全部投影到所述拼接图像上，并统计投影到所述拼接图像的语义区域中的地图元素所对应的第一像素个数，以及分别投影到所述四个子区域中的地图元素的第二像素个数；

当所述语义像素数量低于第一设定像素阈值的目标子区域的个数小于第一预设个数阈值、所述拼接图像中的语义像素总个数大于第二设定像素阈值、所述第二像素个数低于第二设定像素阈值的子区域的数量小于第三预设个数阈值、所述第一像素个数和所述第二像素个数的比值大于第一比例阈值，以及第一像素个数和所述拼接图像中所有语义区域的像素个数之间的比值大于第二比例阈值时，则确定更新后车辆位姿为有效位姿；

其中，第二设定像素阈值大于4倍的第一设定像素阈值。

可选的，所述语义信息的分割处理包括：

将有语义信息的图像元素的像素值设置为255，并将无语义信息的图像元素的像素值设置为0；

相应的，将所述地图元素在所述投影平面上的像素值设置为255。

第三方面，本发明实施例还提供了一种车载终端，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法的部分或全部步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法的部分或全部步骤的指令。

第五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法的部分或全部步骤。

本实施例提供的技术方案，通过基于三维地图与待匹配图像之间的投影关系，可确定出从三维地图中检索出的地图元素与待匹配图像中的图像元素在投影平面上的像素残差值。通过采用迭代优化的方式，可根据像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。相对于现有技术提供的车辆定位方法，本发明实施例无需假设地图元素符合二维平面，直接使用了三维地图中的地图元素进行车辆位姿优化，得到有效的三维车身位置和姿态的定位结果，减小了现有技术对车辆位姿定位的运算量，同时也提升了车辆位姿定位的速度和准确率，保证了在车辆驶出已建图区域时，可以与当前地图相一致的位姿继续建图。

本发明的发明点包括：

1、直接从三维地图中搜索地图元素，并根据搜索到的地图元素与待匹配图像中的图像元素之间的像素残差值，对车辆的位姿进行优化，解决了现有技术在地图元素处于二维平面这一假设条件不满足的情况下，对车辆位姿的定位所造成的误差，提升了车辆位姿定位的速度和准确率，保证在车辆驶出已建图区域时，可以与当前地图相一致的位姿继续建图，是本发明的发明点之一。

2、利用八叉树结构从三维地图中对地图元素进行搜索，该八叉树结构可根据车辆的运动对其进行增量维护，解决了由于地图元素的增加而将存储结构销毁后重建的问题，减小了计算量，提高了车辆位姿的确定速率，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种在三维地图构建过程中车辆位姿的确定方法的流程示意图；

图2是本发明实施例提供的在三维地图构建过程中车辆位姿的确定方法的流程示意图；

图3是本发明实施例提供的一种在三维地图构建过程中车辆位姿的确定装置的结构示意图；

图4是本发明实施例提供的一种车载终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1，图1是本发明实施例提供的一种在三维地图构建过程中车辆位姿的确定方法的流程示意图。该方法典型的是应用于三维地图的构建或车辆的泊车过程中，可由在三维地图构建过程中车辆位姿的确定装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。如图1所示，本实施例提供的方法具体包括：

110、基于车辆的初始位姿，从已构建的三维地图中检索与车辆满足设定距离范围的地图元素。

其中，车辆的初始位姿可由视觉里程计得到。由于本实施例中的三维地图为语义地图，因此，该三维地图中的地图元素均具有语义信息，该语义信息包括汇流线、调头线和转弯线等。

示例性的，从已构建的三维地图中检索与车辆满足设定距离范围的地图元素，可通过创建KD树(k-维树)或八叉树结构从已构建的三维地图中进行检索，其检索范围可以为车身周围12米*12米的范围。本实施例中，优选采用八叉树结构，这样设置是因为八叉树结构可根据车辆的运动进行增量维护，而无需因为地图元素的增加将其销毁后重建。

120、基于三维地图与待匹配图像之间的投影关系，确定地图元素与待匹配图像中的图像元素在投影平面上的像素残差值。

其中，待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的。其中，语义信息的分割处理可利用深度学习的方法识别出包含有语义信息的语义区域，并对该区域进行显示。

一般的，由于车载摄像头为布设于车体四个方位的四路摄像头，因此，在进行语义分割之前，可先将四路鱼眼摄像头所采集的图像进行拼接，得到拼接图像。然后可从拼接图像中将存在语义信息的区域识别出来。此外，对语义区域的显示方式可以为将分割图像进行二值化处理，即将语义区域的像素值设置为255，并将无语义区域的像素值设置为0。相应的，为了保证待匹配图像与三维地图的一致性，可将三维地图中的地图元素的像素值也设置为255。当然，也可将语义区域的像素值和三维地图中的地图元素的像素值设置为0，将无语义区域的像素值设置为255，本实施例对其不做具体限定。

进一步的，在二值化处理后，可对二值化处理后的待匹配图像进行卷积，以增大图像梯度的影响范围。

本实施例中，三维地图与待匹配图像之间的投影关系可以为：将三维地图中的地图元素转化为待匹配图像上的对应位置处的像素，或者也可以将待匹配图像上的图像元素反投影到三维地图上，与对应位置的地图元素进行ICP(Iterative Closest Point，最近点搜索法)匹配。或者也可以将三维地图与待匹配图像均投影到其他同一个二维平面上。不论采用上述哪种投影方式，均可得到地图元素与待匹配图像中的图像元素在投影平面上的像素残差值。其中，可将地图元素与待匹配图像中的图像元素在投影平面上的像素差值的L2范数的平均值作为像素残差值。

130、采用迭代优化的方式，根据像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

本实施例中，迭代优化的方式主要是指非线性优化方式，例如高斯牛顿法、卡尔曼滤波法等。在优化过程中，像素残差值可作为观测量，将每次迭代像素残差值作为下一次迭代的输入变量，计算残差值相对于位姿的梯度矩阵，通过对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低。

示例性的，迭代优化的终止条件可以为：

迭代次数超过设定次数阈值，或者，车辆位姿各维度的平均更新幅度和最大更新幅度均小于对应的幅度阈值，或者，像素残差值不再下降。如果满足上述条件中的任意一项或多项，则表示迭代结束。

进一步的，在迭代优化结束后，还可对优化结果进行有效性判断，例如可判断拼接图像中包含有语义信息的语义像素的数量是否达到设定阈值，如果没有达到设定阈值，则说明拼接图像中待匹配的语义像素数量不够，则根据该语义像素和具有语义信息的地图元素对车辆的定位的准确度也将不够，此时，优化后的车辆位姿则为无效位姿。或者，如果三维地图中成功投影到投影平面的地图元素对应的像素数量与地图元素对应的总像素数量的比值低于设定阈值，则说明成功投影的地图元素的数量不够，这样就会使得车辆位姿的定位效果较差，即得到无效的车辆位姿。本实施例中，对于无效的车辆位姿，可放弃迭代优化的结果，仍保留初始车辆位姿作为目标位姿。但如果判断结果均有效，则将最后更新得到的车辆位姿作为目标车辆位姿。

本实施例提供的技术方案，通过基于三维地图与待匹配图像之间的投影关系，可确定出从三维地图中检索出的地图元素与待匹配图像中的图像元素在投影平面上的像素残差值。通过采用迭代优化的方式，可根据像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。相对于现有技术提供的车辆定位方法，本发明实施例无需假设地图元素符合二维平面，直接使用了三维地图中的地图元素进行车辆位姿优化，得到有效的三维的车身位置和姿态的定位结果，减小了现有技术对车辆位姿定位的运算量，同时也提升了车辆位姿定位的速度和准确率，保证了在车辆驶出已建图区域时，可以与当前地图相一致的位姿继续建图。

实施例二

请参阅图2，图2是本发明实施例提供的在三维地图构建过程中车辆位姿的确定方法的流程示意图。本实施例在上述实施例的基础上进行了优化。如图2所示，该方法包括：

210、将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像。

其中，四路摄像头可以为鱼眼摄像头，分别布设于车辆的四个方位。车身坐标系一般以车辆后轴中点在地面上的投影作为原点，沿车身的方向作为Y方向，与车身方向垂直向右的方向为X方向。本实施例中，设定平面为XY平面。

220、对拼接图像进行语义信息的分割处理，得到分割图像，并将该分割图像进行二值化处理，得到待匹配图像。

230、根据拼接图像对角线长度所对应的实际距离确定检索半径。

240、基于车辆的初始位姿，利用八叉树结构，从已构建的三维地图中检索与车身中心相距检索半径以内的地图元素，并将垂直于设定平面向上的方向上满足设定距离的地图元素，以及无法投影到拼接图像上的地图元素进行删除。

其中，垂直于设定平面向上的方向为垂直于车身向上的方向，即上述车体坐标系的Z方向。设定距离一般设置为正负1米。这样设置是为了在多层地库的一些特殊应用场景下，避免搜索到当前地库的上一层和下一层地库中的地图元素时，影响对当前地库的建图效果。

本实施例中，由于搜索范围较大，而拼接图像的尺寸有限，因此，对于一些可搜索到但无法投影到拼接图像上的地图元素，可将其进行删除。

250、基于三维地图与待匹配图像之间的投影关系，确定地图元素与待匹配图像中的图像元素在投影平面上的像素残差值。

本实施例中，由于待匹配图像是由拼接图像经过语义分割和二值化处理后得到的，因此，三维地图与待匹配图像之间的投影关系即为三维地图与拼接图像之间的投影关系。

具体的，在将三维地图点转换为拼接图像上的一个像素时，其像素位置可通过表示相机归一化平面和拼接图像所在平面之间转换关系的单应矩阵运算得到。对于投影到相同位置的地图点，可优选仅保留其中一个点。

260、采用迭代优化的方式，将每次迭代得到的像素残差值作为下一次迭代的输入变量，通过根据像素残差值的变化对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低。

270、根据更新后车辆位姿的有效性确定车辆的目标位姿。

示例性的，可以按照如下方式确定更新后车辆的有效性，当下述判断结果均成立时，则将更新后车辆的位姿作为目标位姿；但如果存在至少一项否定的判断结果，则保持初始位姿作为车辆的目标位姿：

将拼接图像划分为2*2四个子区域，并分别统计每个子区域中具有语义信息的语义像素数量；将与车辆满足设定距离范围的地图元素全部投影到拼接图像上，并统计投影到拼接图像的语义区域中的地图元素所对应的第一像素个数n，以及分别投影到四个子区域中的地图元素的第二像素个数；

如果语义像素数量低于第一设定像素阈值a的目标子区域的个数小于第一预设个数阈值，且拼接图像中的语义像素总个数大于第二设定像素阈值b、其中，b>4a；并且，如果所述第二像素个数低于第二设定像素阈值(例如n*a/b)的子区域的数量小于第三预设个数阈值(例如小于2)、如果第一像素个数n和第二像素个数的比值大于第一比例阈值、以及如果第一像素个数和拼接图像中所有语义区域的像素个数之间的比值大于第二比例阈值，则确定更新后车辆位姿有效。

需要说明的是，上述各个阈值均为经验值，并且上述判断条件的执行顺序不存在先后之分，可以同时进行，也可以顺序执行。此外，对于一些与车身位姿无关的判断条件，例如对拼接图像中语义像素数量的判断可在得到拼接图像时进行，从而节省计算量，提高车辆位姿的定位效率。

本实施例在上述实施例的基础上，提供了迭代优化结果的有效性判断方法，使得优化后的车辆位姿准确度更高，以保证车辆驶出已建图区域时，可以与当前地图相一致的位姿继续建图。

实施例三

请参阅图3，图3是本发明实施例提供的一种在三维地图构建过程中车辆位姿的确定装置的结构示意图。如图3所示，该装置包括：地图元素搜索模块310、残差值确定模块320和330，其中，

地图元素搜索模块310，被配置为基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；

残差值确定模块320，被配置为基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；

目标位姿确定模块330，被配置为采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

可选的，所述残差值确定模块，具体被配置为：

将所述待匹配图像所在平面作为投影平面，并将所述地图元素转换为所述投影平面上对应位置的投影像素；

确定所述待匹配图像中图像元素所对应的像素与所述投影像素的像素残差值；

或者，

将所述待匹配图像中的图像元素反投影到所述三维地图中，并确定反投影后的图像元素与对应位置的地图元素的像素残差值。

可选的，所述车载摄像头为布设在所述车辆四个设定方位的四路摄像头；

相应的，所述装置还包括：

在对车载摄像头所采集图像进行语义信息的分割处理之前，将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像；

相应的，所述待匹配图像是通过对所述拼接图像进行语义信息的分割处理后得到的。

可选的，所述地图元素搜索模块，具体被配置为：

根据所述拼接图像对角线长度所对应的实际距离确定检索半径；

利用八叉树结构，基于车辆的初始位姿，从已构建的三维地图中检索与车身中心相距所述检索半径以内的地图元素，并将垂直于所述设定平面向上的方向上满足设定距离的地图元素，以及无法投影到所述拼接图像上的地图元素进行删除。

可选的，所述目标位姿确定模块，具体被配置为：

采用迭代优化的方式，将每次迭代得到的像素残差值作为下一次迭代的输入变量，通过像素残差值的变化对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低；

其中，所述迭代优化的终止条件包括：

迭代次数超过设定次数阈值，或者，

车辆位姿各维度的平均更新幅度和最大更新幅度均小于对应的幅度阈值，或者，

像素残差值不再下降。

可选的，按照如下方式确定更新后车辆的有效性：

将所述拼接图像划分为四个子区域，并分别统计所述四个子区域中具有语义信息的语义像素数量；

将与车辆满足设定距离范围的地图元素全部投影到所述拼接图像上，并统计投影到所述拼接图像的语义区域中的地图元素所对应的第一像素个数，以及分别投影到所述四个子区域中的地图元素的第二像素个数；

当所述语义像素数量低于第一设定像素阈值的目标子区域的个数小于第一预设个数阈值、所述拼接图像中的语义像素总个数大于第二设定像素阈值、所述第二像素个数低于第二设定像素阈值的子区域的数量小于第三预设个数阈值、所述第一像素个数和所述第二像素个数的比值大于第一比例阈值，以及第一像素个数和所述拼接图像中所有语义区域的像素个数之间的比值大于第二比例阈值时，则确定更新后车辆位姿为有效位姿；

其中，第二设定像素阈值大于4倍的第一设定像素阈值。

可选的，所述语义信息的分割处理包括：

将有语义信息的图像元素的像素值设置为255，并将无语义信息的图像元素的像素值设置为0；

相应的，将所述地图元素在所述投影平面上的像素值设置为255。

本发明实施例所提供的在三维地图构建过程中车辆位姿的确定装置可执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法。

实施例四

请参阅图4，图4是本发明实施例提供的一种车载终端的结构示意图。如图4所示，该车载终端可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的在三维地图构建过程中车辆位姿的确定方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种在三维地图构建过程中车辆位姿的确定方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种在三维地图构建过程中车辆位姿的确定方法，其特征在于，包括：

基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；

基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；

采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

2.根据权利要求1所述的方法，其特征在于，基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值，包括：

将所述待匹配图像所在平面作为投影平面，并将所述地图元素转换为所述投影平面上对应位置的投影像素；

确定所述待匹配图像中图像元素所对应的像素与所述投影像素的像素残差值；

或者，

将所述待匹配图像中的图像元素反投影到所述三维地图中，并确定反投影后的图像元素与对应位置的地图元素的像素残差值。

3.根据权利要求1所述的方法，其特征在于，所述车载摄像头为布设在所述车辆四个设定方位的四路摄像头；

相应的，在对车载摄像头所采集图像进行语义信息的分割处理之前，所述方法还包括：

将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像；

相应的，所述待匹配图像是通过对所述拼接图像进行语义信息的分割处理后得到的。

4.根据权利要求3所述的方法，其特征在于，所述从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，包括：

根据所述拼接图像对角线长度所对应的实际距离确定检索半径；

利用八叉树结构，从已构建的三维地图中检索与车身中心相距所述检索半径以内的地图元素，并将垂直于所述设定平面向上的方向上满足设定距离的地图元素，以及无法投影到所述拼接图像上的地图元素进行删除。

5.根据权利要求1所述的方法，其特征在于，采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，包括：

采用迭代优化的方式，将每次迭代得到的像素残差值作为下一次迭代的输入变量，通过根据像素残差值的变化对车辆的位姿进行更新，使得每次迭代得到的像素残差值降低；

其中，所述迭代优化的终止条件包括：

迭代次数超过设定次数阈值，或者，

车辆位姿各维度的平均更新幅度和最大更新幅度均小于对应的幅度阈值，或者，

像素残差值不再下降。

6.根据权利要求3所述的方法，其特征在于，按照如下方式确定更新后车辆的有效性：

将所述拼接图像划分为四个子区域，并分别统计所述四个子区域中具有语义信息的语义像素数量；

将与车辆满足设定距离范围的地图元素全部投影到所述拼接图像上，并统计投影到所述拼接图像的语义区域中的地图元素所对应的第一像素个数，以及分别投影到所述四个子区域中的地图元素的第二像素个数；

当所述语义像素数量低于第一设定像素阈值的目标子区域的个数小于第一预设个数阈值、所述拼接图像中的语义像素总个数大于第二设定像素阈值、所述第二像素个数低于第二设定像素阈值的子区域的数量小于第三预设个数阈值、所述第一像素个数和所述第二像素个数的比值大于第一比例阈值，以及第一像素个数和所述拼接图像中所有语义区域的像素个数之间的比值大于第二比例阈值时，则确定更新后车辆位姿为有效位姿；

其中，第二设定像素阈值大于4倍的第一设定像素阈值。

7.根据权利要求1所述的方法，其特征在于，所述语义信息的分割处理包括：

将有语义信息的图像元素的像素值设置为255，并将无语义信息的图像元素的像素值设置为0；

相应的，将所述地图元素在所述投影平面上的像素值设置为255。

8.一种在三维地图构建过程中车辆位姿的确定装置，其特征在于，包括：

地图元素搜索模块，被配置为基于车辆的初始位姿，从已构建的三维地图中检索与所述车辆满足设定距离范围的地图元素，所述地图元素均具有语义信息；

残差值确定模块，被配置为基于所述三维地图与待匹配图像之间的投影关系，确定所述地图元素与所述待匹配图像中的图像元素在投影平面上的像素残差值；其中，所述待匹配图像是通过对车载摄像头所采集图像进行语义信息的分割处理后得到的；

目标位姿确定模块，被配置为采用迭代优化的方式，根据所述像素残差值更新车辆的位姿，并根据更新后车辆位姿的有效性确定车辆的目标位姿。

9.根据权利要求8所述的装置，其特征在于，所述残差值确定模块，具体被配置为：

将所述待匹配图像所在平面作为投影平面，并将所述地图元素转换为所述投影平面上对应位置的投影像素；

确定所述待匹配图像中图像元素所对应的像素与所述投影像素的像素残差值；

或者，

将所述待匹配图像中的图像元素反投影到所述三维地图中，并确定反投影后的图像元素与对应位置的地图元素的像素残差值。

10.根据权利要求8所述的装置，其特征在于，所述车载摄像头为布设在所述车辆四个设定方位的四路摄像头；

相应的，所述装置还包括：

在对车载摄像头所采集图像进行语义信息的分割处理之前，将四路摄像头所采集图像投影到车身坐标系的设定平面，形成拼接图像；

相应的，所述待匹配图像是通过对所述拼接图像进行语义信息的分割处理后得到的。

Images