CN117739996B - 一种基于事件相机惯性紧耦合的自主定位方法 - Google Patents

Abstract

本公开实施例是关于一种基于事件相机惯性紧耦合的自主定位方法。本公开实施例对事件相机输出的事件相机信息建立事件帧表征模型和活动事件表面表征模型，对事件帧进行基于异步事件流的运动补偿并对活动事件表面表征模型进行基于最小时间间隔的平滑，对异步事件流进行关键点的检测和跟踪，对IMU进行预积分；接下来进行基于事件相机的仅视觉初始化，进行事件相机IMU松耦合的联合初始化，对定位系统的外参、IMU陀螺仪偏置、事件相机的初始速度、尺度和重力矢量进行估计。最后建立非线性优化模型，分别构建事件相机测量残差、IMU残差加入优化以得到紧耦合优化模型求解，并求解载体定位结果。

Description

一种基于事件相机惯性紧耦合的自主定位方法

技术领域

本公开实施例涉及制导技术领域，尤其涉及一种基于事件相机惯性紧耦合的自主定位方法。

背景技术

同时定位与建图（Simultaneous Localization and Mapping, SLAM）是智能自主机器人独立完成任务目标的核心技术，在近年来被广泛研究并已被广泛应用于微型无人机、智能驾驶、虚拟现实以及增强现实等多个领域。

视觉惯性的融合方法因其重量轻、成本低的优点，成为最主流的方法。但是传统视觉相机的动态范围较低，在光线极差或者亮度极高时，相机能够获取的信息极少甚至无法得到任何场景颜色或纹理信息，定位结果容易发散，因此引入事件相机与惯性传感器（Inertial measurement unit，IMU）融合进行自主定位。但是如果按照现有的方法直接将异步事件流合成事件帧图像并直接在事件帧图像上使用传统图像的关键点检测方法，会浪费异步事件流的高频特性，带来运动模糊的问题，影响定位精度；且当前的事件相机IMU融合定位方法只对IMU进行初始化，导致定位结果很难收敛。

发明内容

为了避免现有技术的不足之处，本发明提供一种基于事件相机惯性紧耦合的自主定位方法，用以解决现有技术中存在浪费异步事件流的高频特性，带来运动模糊的问题，影响定位精度，且定位结果很难收敛的问题。

根据本公开实施例，提供一种基于事件相机惯性紧耦合的自主定位方法，该方法包括：

对IMU信息进行预处理，以得到IMU预积分；

根据事件相机信息建立事件帧表征模型和活动事件表面表征模型，对事件帧表征模型进行运动补偿，对活动事件表面表征模型进行平滑，再对运动补偿后的事件帧表征模型和平滑后的活动事件表面表征模型进行关键点检测和跟踪，以得到若干个跟踪到的关键点对；其中，事件帧表征模型包括若干个事件点，一个关键点对包括一对关键点；

基于关键点对，进行事件相机的仅视觉初始化，并将事件相机的仅视觉初始化与IMU预积分进行松耦合的联合初始化；

根据IMU预积分计算IMU残差，根据关键点对计算事件相机测量残差，并根据IMU残差和事件相机测量残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的最优位姿。

进一步的，对事件帧表征模型进行运动补偿的步骤中，包括：

针对事件帧表征模型中的各个事件点，在像素平面内，根据各个事件点的在第一时刻的位置和事件相机从第一时刻到第二时刻的相对位姿，计算各个事件点在第二时刻的理论位置，以对各个事件点进行运动补偿；

根据所有运动补偿后的事件点累积得到运动补偿后的事件帧表征模型。

进一步的，对活动事件表面表征模型进行平滑的步骤中，包括：

引入参考时间，若当像素平面内一点产生事件时，当前事件的时间与上次该点产生事件的时间间隔超过参考时间时，则对该点进行SAE更新，以完成对活动事件表面表征模型的平滑。

进一步的，对运动补偿后的事件帧表征模型和平滑后的活动事件表面表征模型进行关键点检测和跟踪，以得到跟踪到的关键点对的步骤中，包括：

在平滑后的活动事件表面表征模型上应用Arc*关键点检测方法进行关键点检测，将检测到的关键点对应到运动补偿后的事件帧表征模型中；

基于运动补偿后的事件帧表征模型使用KLT光流法对关键点进行跟踪，以得到所有成功跟踪到的关键点对。

进一步的，基于关键点对，进行事件相机的仅视觉初始化的步骤中，包括：

建立滑动窗口，基于当前时刻，在滑动窗口中选取参考时刻，基于当前时刻和参考时刻之间的所有关键点对，利用对极约束计算出当前时刻和参考时刻之间载体的相对位姿；

基于载体的相对位姿，利用三角化计算出所有关键点对对应的三维世界路标点的位置坐标；

根据三维路标点位置坐标与其在其他时刻像素坐标系下的二维位置坐标，利用PnP方法计算滑动窗口中其他时刻的载体位姿，以完成事件相机的仅视觉初始化。

进一步的，将事件相机的仅视觉初始化与IMU预积分进行松耦合的联合初始化的步骤中，包括：

通过旋转约束估计事件相机与IMU之间的外参；

对IMU的陀螺仪偏置进行校正，建立最小化误差模型，并求解得到IMU的陀螺仪偏置；

利用IMU预积分建立误差模型，并求解得到滑动窗口内所有时刻的最优初始速度、重力矢量和尺度；

利用第0时刻相机坐标系下的重力矢量和已知的世界坐标系下的重力矢量，将相机坐标系与世界坐标系对齐。

进一步的，根据关键点对计算事件相机测量残差的步骤中，包括：

根据滑动窗口中所有的关键点对计算得到滑动窗口中所有的关键点的误差；

根据所有的关键点的误差，计算得到事件相机测量残差。

进一步的，根据IMU残差和事件相机测量残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的最优位姿的步骤中，包括：

根据滑动窗口内所有时刻的位置、速度、姿态、加速度计偏置、IMU的陀螺仪偏置和所有关键点对的逆深度以构建待优化状态量；

根据IMU残差、事件相机测量残差和待优化状态量，构建紧耦合优化模型；

利用列文伯格-马夸尔特法对紧耦合优化模型求解，以得到载体的最优位姿。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例中，通过上述基于事件相机惯性紧耦合的自主定位方法，一方面，建立基于最小时间间隔平滑的活动事件表面表征模型，将基于异步事件流的Arc*关键点检测算法应用于定位系统中，建立事件帧表征模型并进行基于异步事件流的运动补偿，在运动补偿后的事件帧上使用KLT光流法对关键点进行跟踪，得到准确可靠的关键点检测跟踪结果。另一方面，通过三维运动重构对事件相机进行仅视觉的初始化，其次对IMU进行预积分，最后将事件相机的仅视觉初始化结果和IMU预积分进行联合初始化，对事件相机与IMU之间的外参，IMU陀螺仪偏置，事件相机的初始速度、尺度和重力矢量进行估计，实现了对定位系统初始状态的准确估计。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中一种基于事件相机惯性紧耦合的自主定位方法的步骤图；

图2示出本公开示例性实施例中运动补偿说明图；

图3示出本公开示例性实施例中基于事件相机惯性紧耦合的自主定位方法的流程框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

本示例实施方式中首先提供了一种基于事件相机惯性紧耦合的自主定位方法。参考图1中所示，该基于事件相机惯性紧耦合的自主定位方法可以包括：步骤S101~步骤S104。

步骤S101：对IMU信息进行预处理，以得到IMU预积分；

步骤S102：根据事件相机信息建立事件帧表征模型和活动事件表面表征模型，对事件帧表征模型进行运动补偿，对活动事件表面表征模型进行平滑，再对运动补偿后的事件帧表征模型和平滑后的活动事件表面表征模型进行关键点检测和跟踪，以得到若干个跟踪到的关键点对；其中，事件帧表征模型包括若干个事件点，一个关键点对包括一对关键点；

步骤S103：基于关键点对，进行事件相机的仅视觉初始化，并将事件相机的仅视觉初始化与IMU预积分进行松耦合的联合初始化；

步骤S104：根据IMU预积分计算IMU残差，根据关键点对计算事件相机测量残差，并根据IMU残差和事件相机测量残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的最优位姿。

具体的，首先对事件相机输出的异步事件流（即事件相机信息）建立事件帧表征模型和活动事件表面表征模型，对事件帧进行基于异步事件流的运动补偿并对活动事件表面表征模型进行基于最小时间间隔的平滑，对异步事件流进行关键点的检测和跟踪，对IMU进行预积分；接下来进行基于事件相机的仅视觉初始化，进行事件相机IMU松耦合的联合初始化，对定位系统的外参、IMU陀螺仪偏置、事件相机的初始速度、尺度和重力矢量进行估计。最后建立非线性优化模型，分别构建事件相机测量残差、IMU残差加入优化以得到紧耦合优化模型求解，并求解载体定位结果。

通过上述基于事件相机惯性紧耦合的自主定位方法，一方面，建立基于最小时间间隔平滑的活动事件表面表征模型，将基于异步事件流的Arc*关键点检测算法应用于定位系统中，建立事件帧表征模型并进行基于异步事件流的运动补偿，在运动补偿后的事件帧上使用KLT光流法对关键点进行跟踪，得到准确可靠的关键点检测跟踪结果。另一方面，通过三维运动重构对事件相机进行仅视觉的初始化，其次对IMU进行预积分，最后将事件相机的仅视觉初始化结果和IMU预积分进行联合初始化，对事件相机与IMU之间的外参，IMU陀螺仪偏置，事件相机的初始速度、尺度和重力矢量进行估计，实现了对定位系统初始状态的准确估计。

下面，将参考图1至图3对本示例实施方式中的上述基于事件相机惯性紧耦合的自主定位方法的各个步骤进行更详细的说明。

在步骤S101和步骤S102中，对IMU信息进行预积分，得到IMU预积分；对事件相机输出的异步事件流（即事件相机信息）建立事件帧表征模型和活动事件表面表征模型，对事件帧表征模型进行基于异步事件流的运动补偿并对活动事件表面进行基于最小时间间隔的平滑，对异步事件流进行关键点的检测和跟踪，且进行三维运动重构。

具体的，将30ms内的所有事件（即事件点）累积生成事件帧表征模型，然后对生成的事件帧表征模型进行运动补偿，如图 2所示。假设在第k时刻（即第二时刻）生成事件帧，在第i时刻（即第一时刻）有一事件，在像素平面的位置为/>，则其在第k时刻的理论位置可由公式（1）计算：

（1）

其中，为事件点/>在第k时刻的位置，/>为投影函数，表示点从三维世界坐标系投影到二维像素坐标系，/>为反投影函数，/>为事件相机从第i时刻和第k时刻的相对位姿，由两时刻间的IMU预积分给出。同理，其余事件点在第k时刻应在的位置也可求出，将所有事件点进行运动补偿后累积生成运动补偿后的事件帧。

建立活动事件表面模型，活动事件表面是一个三维模型，包括横纵坐标和时间戳，每个位置中储存该位置最近事件的时间戳。对活动事件表面进行基于最小时间间隔的平滑，引入一个参考时间，当像素平面内一点产生事件时，当前事件的时间/>与上次该点产生事件的时间/>间隔超过参考时间/>时，才对该点的SAE进行更新，如公式（2）：

（2）

平滑后即滤除了由于事件相机超高频率带来的同一个边缘产生的大量冗余事件，也保证了SAE相邻像素点时间戳的稳定。

在平滑后的活动事件表面模型上应用Arc*关键点检测方法进行关键点检测，将检测到的关键点对应到运动补偿后的活动事件表面表征模型中，并基于运动补偿后的事件帧使用KLT光流法对关键点进行跟踪，得到若干个成功跟踪的关键点对。

在步骤S103中，进行基于事件相机的仅视觉初始化。

具体的，建立滑动窗口，在滑动窗口中选取一个与当前时刻有足够视差的参考时刻，利用成功跟踪到这两个时刻之间的所有关键点对，通过对极约束计算出这两个时刻之间载体的相对位姿；利用计算出的参考时刻与当前时刻的相对位姿，通过三角化计算出所有关键点对对应的三维世界路标点的位置坐标；将三维路标点位置坐标与其在其他时刻像素坐标系下的二维位置坐标，通过PnP方法计算滑动窗口中其他时刻的载体位姿。

进行联合初始化。

具体的，事件相机的仅视觉初始化结果与IMU预积分联合进行松耦合的联合初始化。

通过旋转约束估计事件相机与IMU的外参，仅视觉初始化求得的相对位姿和IMU预积分求得的相对位姿理论上相等，因此对于相邻两时刻k和k+1时刻的旋转关系有公式（3）：

（3）

式中，表示事件相机与IMU之间的外参的姿态关系项，/>表示从第k到第k+1时刻通过IMU预积分计算得到的旋转，/>表示从第k到第k+1时刻通过仅视觉初始化得到的旋转，由此可以估计出事件相机与IMU的外参。

对IMU的陀螺仪偏置进行校正，建立最小化误差模型，如公式（4）；

（4）

式中，W表示整个滑动窗口，为仅视觉初始化得到的第k时刻与第k+1时刻之间的相对旋转，/>表示从第k时刻与第k+1时刻的过程角增量，/>表示IMU预积分中旋转项，/>表示/>相对于陀螺仪偏置的雅克比矩阵，对该最小二乘问题求解得到IMU的陀螺仪偏置。

利用IMU预积分建立误差模型，最小化求解重力矢量、尺度和载体速度，将待优化量写成向量形式，/>表示在第k时刻载体坐标系下的运动速度，/>表示在第0时刻相机坐标系下的重力矢量，s表示尺度。IMU预积分量如公式（5）：

（5）

式中，为从第k时刻与第k+1时刻的位置增量，/>为从第k时刻与第k+1时刻的速度增量，/>为第0时刻事件相机坐标系和第k时刻载体坐标系的旋转矩阵，/>为第k时刻载体在第0时刻事件相机坐标系下的位置，/>为第k+1时刻载体在第0时刻事件相机坐标系下的位置，/>为第k时刻和第k+1时刻的时间间隔，/>为载体在第k时刻的速度，为载体在第k时刻和第k+1时刻的速度，/>为第k时刻载体坐标系和第0时刻事件相机坐标系的旋转矩阵，/>为第0时刻事件相机坐标系和第k+1时刻载体坐标系的旋转矩阵。

将待估计量提出并移到等式右边，整理得到公式（6）：

（6）

式中，为观测量，/>为IMU位置预积分量，/>为IMU速度预积分量，/>为待估计量，/>为误差，/>为观测矩阵，为第k时刻事件相机在第0时刻事件相机坐标系下的位置，/>为第k+1时刻事件相机在第0时刻事件相机坐标系下的位置，建立最小二乘问题最小化误差，如公式（7）：

（7）

求解即可得到滑动窗口内所有时刻的最优初始速度、重力矢量和尺度。

最后，使用求得的第0时刻相机坐标系下的重力矢量和已知的世界坐标系下的重力矢量将相机坐标系与世界坐标系对齐。

在步骤S104中，计算IMU残差和事件相机测量残差，建立紧耦合优化模型，构建滑动窗口对载体的位姿进行优化求解。

具体的，滑动窗口内所有时刻的位置、速度、姿态、加速度计偏置、陀螺仪偏置和所有关键点的逆深度构成待优化状态量，式中/>表示时刻；/>表示滑动窗口中所有关键点的总数；/>，其中，/>为第k时刻载体在世界坐标系下的位置，/>为第k时刻载体在世界坐标系下的速度，/>为第k时刻载体在世界坐标系下的姿态，/>、/>分别表示IMU的加速度计偏置和陀螺仪偏置；表示相机外参，其中/>、/>分别为相机系与IMU系的位置与姿态关系，为第k个关键点的逆深度。

计算IMU预积分误差作为IMU残差。

计算事件相机测量残差，如公式（8）：

（8）

式中，E表示滑动窗口中所有关键点构成的关键点集，表示关键点e的误差，如公式（9）：

（9）

式中，为关键点e在第k+1时刻在相机坐标系下的坐标，由关键点e在第k坐标系下的位置、第k时刻与第k+1时刻的相对位姿和深度求得，/>为关键点在像素坐标系下的坐标。

建立优化模型，将IMU残差和事件相机测量残差加入优化，如公式（10）：

（10）

使用列文伯格-马夸尔特法对该优化模型求解，获得载体定位结果。

如图3所示，为基于事件相机惯性紧耦合的自主定位方法的框架图。通过上述基于事件相机惯性紧耦合的自主定位方法，一方面，建立基于最小时间间隔平滑的活动事件表面表征模型，将基于异步事件流的Arc*关键点检测算法应用于定位系统中，建立事件帧表征模型并进行基于异步事件流的运动补偿，在运动补偿后的事件帧上使用KLT光流法对关键点进行跟踪，得到准确可靠的关键点检测跟踪结果。另一方面，通过三维运动重构对事件相机进行仅视觉的初始化，其次对IMU进行预积分，最后将事件相机的仅视觉初始化结果和IMU预积分进行联合初始化，对事件相机与IMU之间的外参，IMU陀螺仪偏置，事件相机的初始速度、尺度和重力矢量进行估计，实现了对定位系统初始状态的准确估计。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (5)

1.一种基于事件相机惯性紧耦合的自主定位方法，其特征在于，该方法包括：

对IMU信息进行预处理，以得到IMU预积分；

根据事件相机信息建立事件帧表征模型和活动事件表面表征模型，对事件帧表征模型进行运动补偿，对活动事件表面表征模型进行平滑，再对运动补偿后的事件帧表征模型和平滑后的活动事件表面表征模型进行关键点检测和跟踪，以得到若干个跟踪到的关键点对；其中，事件帧表征模型包括若干个事件点，一个关键点对包括一对关键点；

对事件帧表征模型进行运动补偿的步骤中，包括：

针对事件帧表征模型中的各个事件点，在像素平面内，根据各个事件点的在第一时刻的位置和事件相机从第一时刻到第二时刻的相对位姿，计算各个事件点在第二时刻的理论位置，以对各个事件点进行运动补偿；

根据所有运动补偿后的事件点累积得到运动补偿后的事件帧表征模型；

对活动事件表面表征模型进行平滑的步骤中，包括：

引入参考时间，若当像素平面内一点产生事件时，当前事件的时间与上次该点产生事件的时间间隔超过参考时间时，则对该点进行SAE更新，以完成对活动事件表面表征模型的平滑；

对运动补偿后的事件帧表征模型和平滑后的活动事件表面表征模型进行关键点检测和跟踪，以得到跟踪到的关键点对的步骤中，包括：

在平滑后的活动事件表面表征模型上应用Arc*关键点检测方法进行关键点检测，将检测到的关键点对应到运动补偿后的事件帧表征模型中；

基于运动补偿后的事件帧表征模型使用KLT光流法对关键点进行跟踪，以得到所有成功跟踪到的关键点对；

基于关键点对，进行事件相机的仅视觉初始化，并将事件相机的仅视觉初始化与IMU预积分进行松耦合的联合初始化；

根据IMU预积分计算IMU残差，根据关键点对计算事件相机测量残差，并根据IMU残差和事件相机测量残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的最优位姿。

2.根据权利要求1所述基于事件相机惯性紧耦合的自主定位方法，其特征在于，基于关键点对，进行事件相机的仅视觉初始化的步骤中，包括：

建立滑动窗口，基于当前时刻，在滑动窗口中选取参考时刻，基于当前时刻和参考时刻之间的所有关键点对，利用对极约束计算出当前时刻和参考时刻之间载体的相对位姿；

基于载体的相对位姿，利用三角化计算出所有关键点对对应的三维世界路标点的位置坐标；

根据三维路标点位置坐标与其在其他时刻像素坐标系下的二维位置坐标，利用PnP方法计算滑动窗口中其他时刻的载体位姿，以完成事件相机的仅视觉初始化。

3.根据权利要求2所述基于事件相机惯性紧耦合的自主定位方法，其特征在于，将事件相机的仅视觉初始化与IMU预积分进行松耦合的联合初始化的步骤中，包括：

通过旋转约束估计事件相机与IMU之间的外参；

对IMU的陀螺仪偏置进行校正，建立最小化误差模型，并求解得到IMU的陀螺仪偏置；

利用IMU预积分建立误差模型，并求解得到滑动窗口内所有时刻的最优初始速度、重力矢量和尺度；

利用第0时刻相机坐标系下的重力矢量和已知的世界坐标系下的重力矢量，将相机坐标系与世界坐标系对齐。

4.根据权利要求3所述基于事件相机惯性紧耦合的自主定位方法，其特征在于，根据关键点对计算事件相机测量残差的步骤中，包括：

根据滑动窗口中所有的关键点对计算得到滑动窗口中所有的关键点的误差；

根据所有的关键点的误差，计算得到事件相机测量残差。

5.根据权利要求4所述基于事件相机惯性紧耦合的自主定位方法，其特征在于，根据IMU残差和事件相机测量残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的最优位姿的步骤中，包括：

根据滑动窗口内所有时刻的位置、速度、姿态、加速度计偏置、IMU的陀螺仪偏置和所有关键点对的逆深度以构建待优化状态量；

根据IMU残差、事件相机测量残差和待优化状态量，构建紧耦合优化模型；

利用列文伯格-马夸尔特法对紧耦合优化模型求解，以得到载体的最优位姿。