CN115135963A - 用于在场景地图中生成3d参考点的方法 - Google Patents

Abstract

一种利用3D参考点来补充场景地图的方法，包括四个步骤。在第一步骤中，基于光学传感器、GNSS和IMU中的至少一者的样本来收集和记录数据。第二步骤包括：通过对收集的传感器数据进行处理来生成初始位姿，以提供车辆位姿的轨迹。位姿基于特定数据集、在该数据集之前记录的至少一个数据集以及在该数据集之后记录的至少一个数据集。第三步骤包括：对所述初始位姿和收集的光学传感器数据进行SLAM处理，以生成具有特征点的关键帧。在第四步骤中，通过将未来特征点和过去特征点与处理点处的特征点一起使用的特征点的融合和优化来生成3D参考点。该第二步骤和第四步骤提供比已知来自现有技术的SLAM或VIO方法明显更好的结果，因为第二步骤和第四步骤基于记录的数据。其中普通的SLAM或VIO算法只能访问过去的数据，在这些步骤中，也可以通过查看前面的位置、通过使用记录的数据来进行处理。

Description

用于在场景地图中生成3D参考点的方法

技术领域

本公开的实施例涉及用于为场景的3D地图(例如可以由自主驾驶车辆使用的数据道路地图)，生成点地标/3D参考点/地图点的方法。

背景技术

改进的驾驶员系统和自主驾驶汽车需要高精度的道路和车辆可以在其上行驶的其它区域的地图。自动驾驶汽车需要高准确度地确定车辆在道路上的位置，这是常规的导航系统(诸如GNSS(全球导航卫星系统)，例如GPS、伽利略、GLONASS，或其它已知的定位技术，例如三角测量等)无法实现的。然而，当自动驾驶车辆在具有多车道的道路上行驶时，需要精确地确定车辆在所述车道中的一条车道上的位置。

关于高精度导航，有必要访问在其中捕捉与自主驾驶车辆的安全驾驶相关的物体的数字地图。自动驾驶车辆的测试和模拟表明，需要对车辆的环境和道路规格有非常详细的了解。

然而，目前与车辆移动的GNSS跟踪结合使用的道路环境的常规的数字地图可能足以支持驾驶员控制的车辆的导航，但是对于自动驾驶车辆而言，其是不够详细的。利用专用扫描车辆来扫描道路提供了更多细节，但是极其复杂、耗时且昂贵。

在机器人映射和导航中，同时定位与映射(SLAM)因生成场景的精确地图而众所周知。根据SLAM过程，在构建或更新未知环境的地图的同时，跟踪在其内的代理的位置。另一种方法是传感器融合，其使用来自多个传感器系统(例如单目相机、卫星导航系统，诸如GPS、惯性测量单元(IMU)等)的信息，以提供移动机器人轨迹和用于生成场景地图的3D参考点。然而，生成车辆轨迹和3D参考点的已知方法具有一些局限性。

特别是在大规模场景中，由于累积误差和缺乏用于图像匹配的纹理(grain)，SLAM通常表现不好，尤其是在长时段内。传统的SLAM系统以在线/实时方式使用数据，并且因此丢失来自不同传感器(例如相机的图像传感器、卫星导航传感器、惯性测量单元(IMU)的传感器等)的背景数据的一些内在价值。因此，传统的基于SLAM的系统可能由于各种原因(例如，具有模糊特征的图像)易于失去跟踪，并且因此生成非常短且不可用的数据。

此外，SLAM系统从数据(图像数据、卫星导航数据、IMU数据等)的最开始就进行初始化，这可能需要长时间才能提供可用的数据，尤其是在初始数据准确度不好的情况下。基本上，已知的SLAM系统不能执行快速且准确的初始化。

上文提及的传感器融合系统的问题是，不同的传感器系统(例如单目相机、卫星导航传感器、惯性测量单元传感器等)的数据的传感器融合在很大程度上取决于GPS数据的准确度，然而，当GPS数据由于信号损耗、阻挡等而不准确时，其可能会生成不可靠的车辆轨迹和3D参考点。

发明内容

本发明要解决的问题是提供一种具有高精度和低跟踪丢失概率的、用于生成作为场景地图的一部分或在场景地图中的点地标/地图点/3D参考点的方法。

在独立权利要求中描述了问题的解决方案。从属权利要求涉及本发明的进一步改进。

权利要求1中详细说明了一个用于生成作为场景地图的一部分或在场景地图中的点地标/地图点/3D参考点的方法的实施例，该方法允许以高精度生成地图并几乎消除跟踪丢失。

一个实施例包括四个步骤。第一步骤包括：为后台或延迟处理收集数据。车辆收集并记录光学传感器或相机数据中的至少一项的样本，例如来自环境的图像、来自可能是GPS的GNSS(全球导航卫星系统)的位置数据以及来自IMU(惯性测量单元)的数据。收集和记录的进一步的传感器数据可以包括车轮刻度和/或转向角和/或指示车辆运动特性的任何其它传感器数据或环境条件数据，例如环境温度和/或挡风玻璃雨刷器状态。这些数据是在一定的时间段、距离或样本数量上收集的。例如，可以以1米的间隔收集100至300个甚至多达几千个样本。本文提及的光学传感器可以是或者可以包括一个或多个单目相机。它还可以包括其它光学传感器，例如立体相机和/或激光雷达和/或雷达。

第二步骤包括：通过对收集的传感器数据进行处理来生成初始车辆位姿的轨迹。车辆位姿在本文中也可以被称为位姿。基于采样数据的质量，可以从每个样本中选择图像、GNSS和IMU的数据中的至少一项，或者可以对图像、GNSS和IMU中的至少两项进行融合以提供初始车辆位姿的轨迹。此外，可以应用滤波器来提供平滑的轨迹和/或准确的初始车辆位姿。如果第二步骤在第一步骤之后执行并应用于步骤1收集的数据，则第二步骤效率最高。这可以允许对更长的样本序列，而不仅仅是基于过去记录的样本进行更好的滤波。而是对于每个样本，更早和更晚采样的另外样本可用于滤波。这只能在对来自第一步骤的已记录的数据进行滤波时来进行。在一个实施例中，第二步骤的操作可以在收集第一步骤的每个数据的样本之后延迟某个延迟量执行。

第三步骤包括：构建关键帧序列，关键帧包括由SLAM算法或其它VIO算法生成的特征点。此外，可以生成经改进车辆位姿的序列。特征点可以是点状特征。这样的特征可以通过使用适当的特征检测器(例如角或边缘检测器或其它检测器)的图像处理来检测。可以利用描述点状特征相对于其环境的光学特性的描述符来描述特征点，以便从距光学传感器的不同距离或角度再次检测它。

该第三步骤可以在第二步骤之后进行。第三步骤也可以在第二步骤之后以某个延迟量进行，以便有足够的数据可用。

该第三步骤提供了比来自现有技术的已知SLAM或VIO(视觉里程计)方法(它们以实时方式处理最新数据)明显更好的结果，因为它基于第二步骤的记录和滤波的初始位姿数据。此外，第四步骤也基于记录的数据，因为它使用未来的关键帧。

第四步骤包括生成3D参考点。这种3D参考点有时被简称为3D点或地图点或点地标。3D参考点可以是3D空间中的点。其可以是根据至少一幅2D图像中的至少一个特征点得出的。在这种情况下，其是同一个点，但在3D空间中，而特征点是其在光学传感器图像中的视图。3D参考点也可以具有描述符。3D参考点基于关键帧和其中包含的特征点，并且还可以基于它们的相关改进位姿。每个处理点都基于所选择的关键帧及其相关的改进位姿，并进一步使用至少一个关键帧及其在处理点之前的相关改进位姿和至少一个关键帧及其在处理点之后的相关改进位姿。

可以通过特征点的融合和优化以及通过可选地使用改进的位姿来生成3D参考点。进行这种改进或优化的一种方法可以是捆绑调整。

总之，该方法基本上可以分为两个主要部分。在第一部分(初始位姿生成)中，使用在步骤1中对各种传感器系统采样的数据在步骤2中生成平滑的轨迹和初始/初步但已经准确的车辆位姿轨迹。在第二主要部分(3D参考点构建)中，生成的初始位姿在步骤3中由SLAM系统/程序或视觉里程计系统/程序使用，以提供包括特征点和经改进的车辆位姿的关键帧。稍后，在第4步骤中，这些关键帧用于构建点地标/地图点/3D参考点，同时还使用适当的数据优化算法(例如捆绑调整算法)不断优化位姿和3D参考点。

根据一个实施例，通过使用非光学传感器系统的数据(例如惯性测量单元传感器和卫星导航传感器的数据)来生成初始车辆位姿。

在一个实施例中，仅使用非光学传感器的数据。

根据另一实施例，通过使用由惯性测量单元和卫星导航系统提供的数据以及还通过使用在步骤1中记录的至少一个光学传感器的图像序列的图像数据来生成光学传感器的初始位姿。

根据另一实施例，可以在第二步骤中通过基于扩展Kalman滤波器(EKF)的框架使用和融合各种传感器系统的数据来生成初始车辆位姿的平滑轨迹。由于EKF本身的性质，多传感器融合的精度(例如光学传感器的图像数据、卫星导航系统的卫星导航数据、惯性测量单元的数据的融合)已经不再高度取决于这些传感器中的特定一个传感器，从而导致系统对噪声更加鲁棒。具体而言，多传感器融合的准确性不再很大程度上取决于GPS数据的准确性。位姿最初可以通过电影建模生成，然后通过几次视觉和物理观察进行优化。

由于使用了扩展Kalman滤波器，可以在第三步骤中运行特征点构建之前为每个帧的位姿提供一个置信度。置信度可以用于SLAM初始化，从而使系统的初始化更快，并且更有可能成功。此外，对生成的初始位姿的置信度的考虑可以避免不必要的数据处理。具体而言，如果每个生成的初始位姿具有一个置信度，则可以在方法的第三步骤中适当地决定何时何地对特征点构建过程进行初始化。

在初始化之后，从第二步骤(位姿生成)获得的每个初始位姿可以用作后续第三步骤改进车辆位姿和关键帧构建的初始/初步位姿，关键帧包括特征点，该步骤由SLAM系统/程序或视觉里程计系统/程序执行。然后，在第四步骤中，改进的位姿和具有特征点的关键帧两者被用于构建点地标/地图点/3D参考点和生成优化车辆位姿。这可以通过应用适当的优化算法来完成，例如，局部或全局捆绑调整算法。在该第四步骤中，还可以使用在第一步骤中记录的数据，例如检查生成的3D参考点到原始2D光学传感器图像的重新投影，以便检查重新投影误差并使其最小化。经优化点地标/地图点/3D参考点可以用于生成或补充场景地图。这可以在第四步骤中或之后进行。

在一个实施例中，在捆绑调整期间，可以施加对重投影误差的约束以及对光学传感器位置和位姿之间的旋转的约束。因此，该方法可以消除尺度漂移和方向偏差，以保证尺度和方向的准确性。

在场景地图中生成3D参考点并将其用于车辆导航的方法可以应用在例如自主车辆导航、自主水下机器人导航或自主无人机(UAV)导航领域。

在一个实施例中，车辆中的计算机或移动机器人可以执行本文公开的方法的任何步骤。

额外特征和优点在下面的详细描述中阐述。要理解的是，上述一般描述和以下详细描述都两者仅仅是示例性的，并且旨在提供用于理解权利要求的性质和特征的概述或框架。

附图说明

在下文中，将基于参考附图的实施例示例，通过示例的方式描述本发明，而不对本发明的总体概念进行限制。

图1示出了说明用于在场景地图中生成点地标/地图点/3D参考点的方法的方法步骤的流程图。

图2示出了SLAM算法可以访问的数据集。

图3示出了标准SLAM的计算不准确性。

图4示出了经修改的SLAM的计算不准确性降低。

图5示出了方法步骤4的经优化的车辆位姿。

具体实施方式

图1示出了一个实施例。如附图所示，用于在场景地图中生成地标/三维参考点的方法可以包括四个步骤S1、S2、S3和S4。

在第一步骤S1中，记录数据集，其中每个数据集包括至少一个光学传感器、以及GNSS(全球导航卫星系统)和IMU(惯性测量单元)中至少一者的采样数据。例如，可以在1米或更短或更长的间隔中收集100至300或数千个样本。每个数据集可以包括一个样本。

在第二步骤S2中，处理来自第一步骤的所收集的数据以提供初始车辆位姿的轨迹。与数据集相关的初始车辆位姿是基于该数据集、该数据集之前记录的数据集以及该数据集之后记录的数据集的。换句话说，如果处理点处的初始车辆位姿是基于特定数据集的，则初始车辆位姿是进一步基于处理点之前记录的至少一个数据集、以及处理点之后记录的至少一个数据集的。

在实时系统中，意指根据现有技术没有步骤1的记录的系统，仅在该数据集之前生成的数据集将是可用的。根据实施例，可以使用允许访问未来数据的记录的数据。通过使用过去和未来的数据，可以生成初始车辆位姿的更平滑、连续、看似合理的和更精确的轨迹。这种预先生成的初始车辆位姿的轨迹允许在下一步骤中对SLAM算法进行正确的初始化和平滑的处理，而不会丢失轨迹并且具有高精度。

在第三步骤S3中，通过SLAM算法生成经改进的车辆位姿和关键帧的序列。关键帧包括特征点。可以使用另一种VIO算法代替SLAM算法。

在第四步骤S4中，基于特征点和来自第三步骤的经改进的车辆位姿来构建3D参考点。3D参考点和经优化车辆位姿是基于关键帧并且还可以基于其与处理点有关的相关改进车辆位姿、至少一个关键帧及其在处理点之前的相关改进车辆位姿，以及至少一个关键帧及其在处理点之后的改进车辆位姿。这种方法在处理点之前也使用关键帧，从而允许更精确地确定3D参考点/地标。

在步骤S2的实施例中，通过专门使用非光学传感器系统的数据来生成初始车辆位姿。例如，可以通过使用惯性测量单元(IMU)和卫星导航系统(例如GPS)的数据来生成初始车辆位姿。

在步骤S3中，可以基于光学传感器的捕获图像来执行利用描述符的特征提取、匹配和位姿改进。可以通过应用同时定位与映射(SLAM)算法来执行特征跟踪。

在步骤S4中，可以通过评估从特征提取和匹配生成的优化位姿和结果来执行三角剖分，以在3D空间中生成3D点或特征。

根据实施例，在第四步骤S4中，可以通过应用优化算法(例如，全局束调整算法(global bundle adjustment algorithm))来优化生成的3D参考点和生成的改进车辆位姿中的至少一者。

与传统的以在线/实时方式使用数据的SLAM系统相比，根据用于在场景地图中生成3D参考点的方法的第一实施例，SLAM系统现在是后台系统，其使用先前已经存储在存储系统中的各种传感器系统的数据来生成初始车辆位姿。因此，SLAM系统以后台方式评估各种传感器系统的数据，避免丢失跟踪，即使在对于实时SLAM系统来说非常困难的场景中，例如只具有很少的产生可以在许多光学图像帧上跟踪的特征点的特征的场景。因此，生成的车辆位姿轨迹、生成的关键帧序列和生成的3D参考点地图比使用没有预生成初始车辆位姿轨迹的传统实时SLAM系统生成的要长得多，以及准确得多。

该方法非常适合生成大型道路数据库的大规模场景。由于计算复杂度低，SLAM系统可以精确高效地生成车辆位姿和3D参考点。SLAM系统运行速度很快，因为在位姿生成期间提供的初始车辆位姿在计算上更加高效。此外，所提出的用于在场景地图中生成3D参考点的方法对不可靠的传感器数据具有鲁棒性。

在一个实施例中，在步骤S2中通过使用惯性测量单元(IMU)和卫星导航系统(GNSS)(例如，GPS系统)的数据以及通过另外使用由光学传感器捕获的图像序列的图像数据来生成光学传感器的初始位姿。根据一个实施例，可以在步骤S2中通过使用扩展Kalman滤波器(EKF)对惯性测量单元和卫星导航系统的数据以及光学传感器的图像序列的图像数据进行滤波来生成光学传感器的初始位姿。

在一个实施例中，可以从图像序列中提取特征，并且在第二步骤S2中通过对光流进行评估来执行特征跟踪。可以在步骤S2中基于光流跟踪结果更新光学传感器的初始位姿。然而，在该阶段，可以不使用跟踪结果来进行三角测量。特征跟踪结果可以用作用于更新初始车辆位姿的测量信息。总之，特征跟踪结果可以理解为图像之间的极线约束。

在替代实施例中，可以从图像序列中提取特征并且在第二步骤S2中通过匹配特征点描述符、特征点的三角测量以及基于匹配和三角测量结果生成初始车辆位姿来执行特征跟踪。

在一个实施例中，在步骤S4中，可以通过应用优化算法，例如，局部束调整算法(local bundle adjustment algorithm)来对生成的3D参考点和生成的光学传感器的改进位姿进行优化。

步骤S1、S2、S3以及对生成的3D参考点和生成的车辆位姿进行优化的步骤S4，以及基于经优化的生成的3D参考点来生成或补充场景地图的步骤以及所有其它处理步骤可以由计算机的处理器执行。这样的计算机可以有利地在车辆中，但也可能在后端中，后端收集不同传感器数据，例如来自卫星导航系统的传感器数据、来自惯性测量单元(IMU)的传感器数据和来自光学传感器的图像数据，然后再对传感器数据进行处理。用于在场景地图中生成点地标/地图点/3D参考点的方法可以实现为体现在计算机可读介质上的计算机程序产品。该计算机程序产品包括用于使计算机执行用于在场景地图中生成地标/3D参考点的方法的方法步骤S1和S2的指令。

图2示出了SLAM(同时定位与地图构建)算法可以访问的数据集。来自现有技术的已知SLAM算法用于实时定位。定位与地图构建相结合，因为需要有环境地图以在其中进行精确定位。正常的SLAM算法获取一个数据样本，其中可以相继包含图像、GNSS和IMU信息。根据速度和处理能力，采样率可以在1/s和60/s之间。当SLAM算法接收到新样本时，可以根据新样本和过去的样本开始新的计算。这可以仅生成以新样本结尾的轨道/轨迹和车辆位姿。可以存在从先前样本到新样本的外推以及与新样本的值的组合。这由指示使用样本N、N-1、N-2、N-3、N-4以及样本100中的其它样本的箭头110指示。

步骤2的方法还可以访问在新样本之前的“未来”样本，因为传感器数据已经被记录。这可以对生成的轨迹进行更好地平滑。在本实施例中，不需要实时定位，使得记录的数据可以仅用于背景地图构建。这将在下图中更详细地显示。此外，该方法步骤允许访问“未来”关键帧。这里，可以通过参考关键帧而不是样本来应用相同的图。

图3示出根据现有技术中可知的车辆位姿的轨迹。点N-1至N-4指示轨迹200的过去的车辆位姿/位置。SLAM可以识别新的车辆位姿N，而真实位姿可能是XN。

如果不能识别特征点或新的特征点与先前的特征点不匹配，则根据现有技术中可知的SLAM系统无法正常工作。有时，类似IMU或GPS的非光学系统可以帮助提高精度和/或恢复丢失的轨迹。但是仍然存在一些情况，其中IMU和GPS不能提供帮助并且SLAM无法初始化或恢复丢失的轨迹。

图4示出方法步骤2的初始车辆位姿。这里，基于第一步中收集的数据集来生成初始车辆位姿的轨迹。为了在处理点处生成初始车辆位姿P(这可能与数据集N相关)，不仅使用过去的数据集N-1到N-4，还使用未来的数据集N+1到N+4。这使得初始车辆位姿210的轨迹相对平滑和精确。

这样的初始车辆位姿的轨迹为SLAM提供了更好的初始条件，并且避免了轨迹丢失，因为其已经提供了基本的合理的轨迹。

图5示出了方法步骤4的经优化的车辆位姿。这里，基于第三步骤的经改进的车辆位姿和包括特征点的关键帧生成经优化车辆位姿的轨迹。3D参考点与经优化车辆位姿一起被生成和优化。但是为了更简单的图片和更好的理解，3D参考点在该图中被遗漏了。用于在处理点处生成经优化的车辆位姿P_O，这可以与经改进的车辆位姿和关键帧P有关，不仅使用过去经改进的车辆位姿和关键帧P-1至P-4，还使用未来经改进的车辆位姿和关键帧P+1至P+4。这导致经改进的车辆位姿220和3D参考点的相对平滑和精确的轨迹。

Claims (14)

1.一种由车辆或移动机器人生成作为场景地图的一部分的3D参考点的方法，包括以下步骤：

–在第一步骤中，收集并且记录数据集，每个数据集包括由至少一个传感器采样的数据，所述至少一个传感器包括光学传感器中的至少一者、以及GNSS(全球卫星导航系统)和IMU(惯性测量单元)中的至少一者，

–在第二步骤中，对来自所述第一步骤的至少一个传感器的收集的数据进行处理，以提供包括初始车辆位姿轨迹的数据，其中，与处理点相关的初始车辆位姿是基于所述处理点的数据集、在所述处理点之前记录的至少一个数据集以及在所述处理点之后记录的至少一个数据集的，

–在第三步骤中，通过SLAM算法并且基于所述第一步骤中记录的数据中的至少一者，以及基于所述第二步骤的初始车辆位姿，来构建经改进的车辆位姿序列和关键帧，所述关键帧包括特征点，

–在第四步骤中，对所述第三步骤的所述特征点和经改进的车辆位姿进行融合和优化以生成3D参考点和经优化的车辆位姿，其中，3D参考点和经优化的车辆位姿是基于与处理点相关的关键帧及其相关的经改进的车辆位姿、所述处理点之前的至少一个关键帧及其相关的经改进的车辆位姿、以及所述处理点之后的至少一个关键帧及其经改进的车辆位姿的。

2.根据权利要求1所述的方法，包括：

在所述第二步骤中，通过仅使用非光学传感器的数据生成所述初始车辆位姿，所述非光学传感器可以是IMU和/或GNSS和/或车轮刻度生成器和/或转向角传感器和/或指示所述车辆的运动特性的任何其它传感器。

3.根据权利要求2所述的方法，包括：

在所述第二步骤中，还通过使用至少一个光学传感器的图像数据来生成所述初始车辆位姿，所述光学传感器可以是单目相机和/或立体相机和/或激光雷达单元和/或雷达单元。

4.根据所述先前权利要求中任一项权利要求所述的方法，包括：

在所述第二步骤中，通过使用扩展Kalman滤波器对所述非光学传感器的数据以及根据所述光学传感器的所述图像数据推导的数据进行滤波和融合，来生成所述初始车辆位姿。

5.根据权利要求1、3或4所述的方法，包括：

在所述第二步骤中，从所述图像序列中提取特征，以及通过评估光流来执行特征跟踪并且基于所述光流跟踪结果生成所述初始车辆位姿。

6.根据权利要求1、3或4所述的方法，包括：

在所述第二步骤中，从所述图像序列中提取特征点，以及通过匹配特征点描述符、特征点的三角测量并且基于所述匹配和三角测量结果生成所述初始车辆位姿，来执行特征点跟踪。

7.根据先前权利要求中任一项权利要求所述的方法，包括：

在所述第三步骤中，基于所述至少一个光学传感器的捕获图像和在所述第一步骤中记录的另外数据并且基于在所述第二步骤中生成的所述初始位姿，来执行利用描述符的特征点提取、关键帧生成和车辆位姿改进。

8.根据先前权利要求所述的方法，包括：

在所述第四步骤中，通过对在所述第三步骤中生成的经改进的车辆位姿和来自特征提取的结果进行评估，来执行特征点匹配、三角测量以及生成3D参考点。

9.根据先前权利要求所述的方法，包括：

在所述第四步骤中，通过对在所述第三步骤中生成的经改进的车辆位姿和来自特征提取的结果以及所述第一步骤中记录的数据进行评估，来执行特征点匹配、三角测量以及生成3D参考点。

10.根据先前权利要求中任一项权利要求所述的方法，包括：

在所述第四步骤中，通过应用优化算法来对生成的3D参考点和生成的初始车辆位姿进行优化，所述优化算法具体是全局捆绑调整算法或局部捆绑调整算法。

11.根据先前权利要求所述的方法，包括：

在所述第四步骤中或者在所述第四步骤之后，基于经优化的生成的3D参考点来补充所述场景地图。

12.根据先前权利要求中任一项权利要求所述的方法，包括：

在所述第四步骤中，检查对所生成的3D参考点到所述第一步骤中采样的所述光学传感器数据的重新投影，以便检查重新投影误差并且使所述重新投影误差最小化。

13.一种计算机，其执行根据先前权利要求中任一项权利要求所述的方法。

14.一种车辆中的计算机，其执行根据权利要求1至11中任一项权利要求所述的方法。

Images