CN116499455B - 定位方法及装置 - Google Patents

Abstract

本公开提出了一种定位方法及装置，该方法包括：获取待校准对象在运动过程中采集的多张运动图像；对多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以获取视觉点特征、视觉线特征和相对变换关系；基于视觉点特征、视觉线特征确定视觉重投影误差因子，基于相对变换关系确定IMU误差因子；基于视觉重投影误差因子、IMU误差因子和先验误差因子获取待校准对象的位姿。通过同时进行视觉特征并计算点特征与线特征运动约束，融合IMU传感器进行在线定位功能实现，从而达到在辅助运输等场景中实现在线定位的能力，相较于当前技术中的只通过IMU进行定位的技术，可以降低光度不足、多变、纹理缺失以及粉尘等不利因素的影响。

Description

定位方法及装置

技术领域

本公开涉及定位技术领域，尤其涉及一种定位方法及装置。

背景技术

在未知环境中进行定位是众多技术的基础，可以应用于自动驾驶车辆感知、空间快速重建等应用中。在矿井环境中进行定位比常规定位技术更加困难，由于矿井环境面临光度不足、多变、纹理缺失以及粉尘等不利因素的影响，因此直接应用视觉等传感器进行定位面临精度较低、鲁棒性差的问题。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的一个目的在于提出一种定位方法。

本公开的第二个目的在于提出一种定位装置。

本公开的第三个目的在于提出一种电子设备。

本公开的第四个目的在于提出一种非瞬时计算机可读存储介质。

本公开的第五个目的在于提出一种计算机程序产品。

为达上述目的，本公开第一方面实施方式提出了一种定位方法，包括：：获取待校准对象在运动过程中采集的多张运动图像；对所述多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取所述多张运动图像的视觉点特征、视觉线特征和相对变换关系；基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，以及基于所述相对变换关系确定IMU误差因子；基于所述视觉重投影误差因子、所述IMU误差因子和先验误差因子进行优化求解，以获取所述待校准对象的位姿。

根据本公开的一个实施方式，所述基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，包括：基于所述视觉点特征、所述视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差；将所述点构造重投影误差、所述线上点构造重投影误差和所述线之间构造重投影误差进行求和，以获取所述视觉重投影误差因子。

根据本公开的一个实施方式，计算所述点构造重投影误差，包括：针对任一视觉点特征，获取所述多张运动图像中包含所述视觉点特征的运动图像中对应的点特征坐标；基于所述点特征坐标，确定所述多张运动图像中包含所述视觉点特征的运动图像中所述视觉点特征的坐标误差；基于所述坐标误差，确定所述点构造重投影误差。

根据本公开的一个实施方式，计算所述点构造重投影误差的公式为：其中，所述/>为所述多张运动图像中第 k 帧图像中的视觉点特征i的点特征坐标，所述/>为所述多张运动图像中第k+j帧图像中的视觉点特征i的点特征坐标，所述/>为所述点构造重投影误差。

根据本公开的一个实施方式，计算所述线上点构造重投影误差，包括：针对任一视觉线特征，对所述多张运动图像中包含所述视觉线特征的运动图像进行同一方式的采样，以获取采样点的采样坐标；基于所述采样坐标，确定所述包含所述视觉线特征的运动图像中同一采样位置的采样点的坐标误差；基于所述坐标误差计算所述线上点构造重投影误差。

根据本公开的一个实施方式，计算所述线上点构造重投影误差的公式为：其中，所述/>为所述多张运动图像中第 k 帧图像中的视觉线特征S上的采样点i对应的采样坐标，所述/>为所述多张运动图像中第k+j帧图像中的视觉线特征S上的采样点i对应的采样坐标，所述/>为所述线上点构造重投影误差。

根据本公开的一个实施方式，计算所述线之间构造重投影误差，包括：针对任一视觉线特征，确定所述多张运动图像中运动能够观测到所述视觉线特征的运动图像，并获取所述运动图像对应视觉线特征的两个不同的视觉点特征；分别获取所述两个不同的视觉点与所述多张运动图像中所有视觉线特征的最短距离；基于所述最短距离确定所述线之间构造重投影误差。

根据本公开的一个实施方式，计算所述线之间构造重投影误差的公式为：所述L为所述多张运动图像中所有视觉线特征集合/>中的任一视觉线特征，所述/>和/>为任一视觉线特征上的不同的两个视觉点特征，所述/>为所述多张运动图像中观测到线L的视觉帧集合。

根据本公开的一个实施方式，所述基于所述相对变换关系确定IMU误差因子，包括：获取视觉变换矩阵和IMU坐标系下的刚体变换矩阵；基于所述视觉变换矩阵、所述相对变换关系和所述刚体变换矩阵，计算所述IMU误差因子。

为达上述目的，本公开第二方面实施例提出了一种定位装置，包括：获取模块，用于获取待校准对象在运动过程中采集的多张运动图像；提取模块，用于对所述多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取所述多张运动图像的视觉点特征、视觉线特征和相对变换关系；计算模块，用于基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，以及基于所述相对变换关系确定IMU误差因子；定位模块，用于基于所述视觉重投影误差因子、所述IMU误差因子和先验误差因子进行优化求解，以获取所述待校准对象的位姿。

为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本公开第一方面实施例所述的定位方法。

为达上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本公开第一方面实施例所述的定位方法。

为达上述目的，本公开第五方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时用于实现如本公开第一方面实施例所述的定位方法。

本公开通过同时进行视觉特征并计算点特征与线特征运动约束，融合IMU传感器进行在线定位功能实现，从而达到在辅助运输等场景中实现在线定位的能力，相较于当前技术中的只通过IMU进行定位的技术，可以降低光度不足、多变、纹理缺失以及粉尘等不利因素的影响。

附图说明

图1是本公开一个实施方式的一种定位方法的示意图；

图2是本公开一个实施方式的另一种定位方法的示意图；

图3是本公开一个实施方式的一种定位方法的视觉线特征上视觉点投影的示意图；

图4是本公开一个实施方式的一种定位方法的视觉重投影误差因子、IMU误差因子和先验误差因子的示意图；

图5是本公开一个实施方式的一种定位装置的示意图；

图6是本公开一个实施方式的一种电子设备的示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

图1为本公开提出的一种定位方法的一种示例性实施方式的示意图，如图1所示，该定位方法包括以下步骤：

S101，获取待校准对象在运动过程中采集的多张运动图像。

本申请实施例的定位方法可应用于井下作业时设备或者人员定位的场景中，本申请实施例的定位的执行主体可为本申请实施例的定位装置，该定位装置可以设置在电子设备上。

需要说明的是，待校准对象可为设备，也可为人员，此处不作任何限定。

在本公开实施例中，采集运动图像的方法可为多种，此处不作任何限定。可通过图像采集装置采集运动图像，该图像采集装置可设置在待校准对象上。

需要说明的是，图像采集装置可为多种，此处不作任何限定，举例来说，图像采集装置可为摄像机、录像机、IMU传感器等。

在一种可能实现的方式中，采集运动图像可设有固定的采集频率，以此可以实现获取均匀的图像数据，更加利于后续的图像分析，该采集频率可为提前设定好的，并可根据实际的设计需要进行变更。

S102，对多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取多张运动图像的视觉点特征、视觉线特征和相对变换关系。

在一些场景中，尤其是在昏暗的场景中，尤其是在矿井环境中，面临光度不足、多变、纹理缺失以及粉尘等不利因素的影响，因此直接应用视觉等传感器进行定位面临精度较低、鲁棒性差的问题。当时由于矿井中存在于较多管线、轨道等直线度较良好的视觉特征并计算点特征与线特征运动约束，融合IMU传感器进行运行车辆的在线定位功能实现，从而达到在辅助运输等场景中实现在线定位的能力。

在本公开实施例中，可通过视觉前端计算利用快速特征点提取和描述（OrientedFAST and Rotated BRIEF，ORB）算法提取视觉图像中的视觉点特征，利用直线段检测（aLine Segment Detector，LSD）算法提取视觉线特征。

图像上的坐标使用表示，局部坐标系下的点坐标使用来/>表示，全局坐标系下的点坐标使用/>来表示。

对于点特征而言，上述三元组表示第k帧图像/>中的第i个特征与之对应的局部坐标下坐标与全局坐标系下坐标。

对于线特征，本发明使用普吕克坐标，即来表示，其中/>表示归一化的线方向矢量，对于给定线上两点，则/>，线特征中m计算公式为：/>，由于两个自由度被约束，因此这样的普吕克坐标表示的线特征具有4自由度。

在本公开实施例中，可首先计算多张运动图像的惯性测量单元（InertialMeasurement Unit，IMU）的数据。需要IMU通常数据采样频率较高，因此可对其进行预积分运算，实现IMU的运动估计。IMU所需的标定参数为初始加速度偏置、加速度偏置噪声、角速度初始偏置/>、角速度偏置噪声/>，共计12维度的内参变量，考虑实际使用中为简化计算，采用IMU厂家提供的标准参数作为校准参数进行计算。除了IMU内参以外，需要利用Kalibr等库实现IMU-视觉联合标定，获得视觉与IMU之间刚性连接时的相对变换关系表示视觉到IMU坐标系的齐次坐标变换矩阵。

前端IMU数据预积分实际上就是要求的第k帧视觉相机对应的IMU时刻之间的运动变换矩阵，包含以IMU为参考坐标系的位置矢量，速度矢量/>，旋转李代数，加速度偏置/>，角速度偏置/>，共计15维度的矢量，以及这些变量对应的协方差矩阵，采用积分即可求出这些变量。

S103，基于视觉点特征、视觉线特征确定视觉重投影误差因子，以及基于相对变换关系确定IMU误差因子。

在本公开实施例中，在获取到视觉点特征和相对变换关系后，可输入至计算模型中，以获取视觉重投影误差因子和IMU误差因子。该计算模型可为提前训练好的，并存储在电子设备的存储空间中以方便在需要时调取使用。

可选地，在获取到视觉点特征和相对变换关系后，还可通过视觉重投影误差算法计算视觉重投影误差因子，以及基于IMU误差算法计算IMU误差因子。该视觉重投影误差算法和IMU误差算法为提前设定好的，并可根据实际的设计需要进行变更，此处不作任何限定。

S104，基于视觉重投影误差因子、IMU误差因子和先验误差因子进行优化求解，以获取待校准对象的位姿。

需要说明的是，位姿可以表征待校准对象的位置和姿态，姿态可包括朝向、角度等。

在本公开实施例中，优化求解的方法可为多种，此处不作任何限定。可选地，可通过滑窗优化方法进行优化求解，通过设定滑窗大小，应用Levenberg-Marquart算法进行求解即可。

可选地，还将视觉重投影误差因子、IMU误差因子和先验误差因子代入至优化算法中进行优化求解，该优化算法为提前设定好的，并可根据实际的设计需要进行变更。

在本公开实施例中，首先获取待校准对象在运动过程中采集的多张运动图像，然后对多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取多张运动图像的视觉点特征、视觉线特征和相对变换关系，而后基于视觉点特征、视觉线特征确定视觉重投影误差因子，以及基于相对变换关系确定IMU误差因子，最后基于视觉重投影误差因子、IMU误差因子和先验误差因子进行优化求解，以获取待校准对象的位姿。本公开通过同时进行视觉特征并计算点特征与线特征运动约束，融合IMU传感器进行在线定位功能实现，从而达到在辅助运输等场景中实现在线定位的能力，相较于当前技术中的只通过IMU进行定位的技术，可以降低光度不足、多变、纹理缺失以及粉尘等不利因素的影响。

上述实施例中，基于视觉点特征、视觉线特征确定视觉重投影误差因子，还可通过图2进一步解释，该方法包括：

S201，基于视觉点特征、视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差。

在本公开实施例中，计算点构造重投影误差，可首先针对任一视觉点特征，获取多张运动图像中包含视觉点特征的运动图像中对应的点特征坐标，然后基于点特征坐标，确定多张运动图像中包含视觉点特征的运动图像中视觉点特征的坐标误差，最后基于坐标误差，确定点构造重投影误差。

计算点构造重投影误差的公式为：

其中，为多张运动图像中第 k 帧图像中的视觉点特征i的点特征坐标，/>为多张运动图像中第k+j帧图像中的视觉点特征i的点特征坐标，/>为点构造重投影误差。

其中使用了Huber核函数来降低误匹配带来的重投影误差项过大对估计结果的影响。在基于点线特征的前端中，利用线特征构造线上的点的投影误差以及线本身的误差项将有助于提升前端的位姿估计精度。

计算线上点构造重投影误差，可首先针对任一视觉线特征，对多张运动图像中包含视觉线特征的运动图像进行同一方式的采样，以获取采样点的采样坐标，然后基于采样坐标，确定包含视觉线特征的运动图像中同一采样位置的采样点的坐标误差，最后基于坐标误差计算线上点构造重投影误差。

在本公开实施例中，考虑线上的两个终点，并应用采样方法获得 N 个中间点，计算该 N+2 个点的重投影误差，即为线上点的重投影误差项 ，记线上的点为集合 S ，如图3所示。

计算线上点构造重投影误差的公式为：

其中，为多张运动图像中第 k 帧图像中的视觉线特征S上的采样点i对应的采样坐标，/>为多张运动图像中第k+j帧图像中的视觉线特征S上的采样点i对应的采样坐标，/>为线上点构造重投影误差。

计算线之间构造重投影误差，可首先针对任一视觉线特征，确定多张运动图像中运动能够观测到视觉线特征的运动图像，并获取运动图像对应视觉线特征的两个不同的视觉点特征，然后分别获取两个不同的视觉点与多张运动图像中所有视觉线特征的最短距离，最后基于最短距离确定线之间构造重投影误差。

需要说明的是，视觉帧集合可通过视觉识别技术进行获取，即通过视觉识别技术获取包含视觉线特征的运动图像。该视觉识别技术可为视觉识别算法、视觉识别模型等，此处不作任何限定。

计算线之间构造重投影误差的公式为：

其中，L为多张运动图像中所有视觉线特征集合中的任一视觉线特征，/>和/>为任一视觉线特征上的不同的两个视觉点特征，/>为多张运动图像中观测到线L的视觉帧集合。

在本公开实施例中，任意一点到该线的最短距离可表示为：。本发明使用/>表示局部坐标投影至像素坐标的函数，该函数与视觉相机的内参矩阵有关。

S202，将点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差进行求和，以获取视觉重投影误差因子。

在本公开实施例中，首先基于视觉点特征、视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差，然后将点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差进行求和，以获取视觉重投影误差因子。由此，通过对多张运动图像中同一视觉点特征、不同线上的同一视觉点特征和不同视觉线特征之间进行投影误差的分析，可以准确全面的分析出视觉重投影误差，为后续的优化求解提供数据基础。

在本公开实施例中，基于相对变换关系确定IMU误差因子，可首先获取视觉变换矩阵和IMU坐标系下的刚体变换矩阵，然后基于视觉变换矩阵、相对变换关系和刚体变换矩阵，计算IMU误差因子。

计算IMU误差因子的公式为：

其中，为IMU误差因子，/>为相对变换关系，/>为视觉变换矩阵，/>为刚体变换矩阵。在理想前情况下，刚体变换矩阵经过相对变换关系进行变换后，成为视觉变换矩阵，因此，在理想状态下，误差因子的值为0，当误差因子不为0时，则说明存在误差。需要说明的是，刚体变换矩阵和视觉变换矩阵可通过对IMU采集的数据进行分析获取。

需要说明的是，视觉重投影误差因子、IMU误差因子和先验误差因子可如图4所示，需要说明的是，先验因子可采用Schur补技巧获得。

需要说明的是，考虑到如矿井场景中为确保供电系统的稳定可靠，需要经常性断电测试的实际需要，本公开应用计算视觉直方图并分析直方图的暗像素频率与角点数量进行利用视觉数据与否的判断，具体而言，当直方图中暗像素（其RGB值小于35可视为暗像素）并且ORB角点数量小于设定阈值时可视为视觉数据处于不可用状态。 当视觉数据不可用时，其先验误差因子对应的因子项残差矩阵置为0。需要说明的是，设定阈值可根据实际的设计需要进行限定，举例来说，设定阈值可为20。

与上述几种实施例提供的定位方法相对应，本公开的一个实施例还提供了一种定位装置，由于本公开实施例提供的定位装置与上述几种实施例提供的定位方法相对应，因此上述定位方法的实施方式也适用于本公开实施例提供的定位装置，在下述实施例中不再详细描述。

图5为本公开提出的一种定位装置的示意图，如图 5所示，该定位装置500，包括：获取模块510、提取模块520、计算模块530和定位模块540。

其中，获取模块510，用于获取待校准对象在运动过程中采集的多张运动图像。

提取模块520，用于对多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取多张运动图像的视觉点特征、视觉线特征和相对变换关系。

计算模块530，用于基于视觉点特征、视觉线特征确定视觉重投影误差因子，以及基于相对变换关系确定IMU误差因子。

定位模块540，用于基于视觉重投影误差因子、IMU误差因子和先验误差因子进行优化求解，以获取待校准对象的位姿。

在本公开的一个实施例中，计算模块530，还用于：基于视觉点特征、视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差；将点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差进行求和，以获取视觉重投影误差因子。

在本公开的一个实施例中，计算模块530，还用于：针对任一视觉点特征，获取多张运动图像中包含视觉点特征的运动图像中对应的点特征坐标；基于点特征坐标，确定多张运动图像中包含视觉点特征的运动图像中视觉点特征的坐标误差；基于坐标误差，确定点构造重投影误差。

在本公开的一个实施例中，计算点构造重投影误差的公式为：

其中，为多张运动图像中第 k 帧图像中的视觉点特征i的点特征坐标，/>为多张运动图像中第k+j帧图像中的视觉点特征i的点特征坐标，/>为点构造重投影误差。

在本公开的一个实施例中，计算模块530，还用于：针对任一视觉线特征，对多张运动图像中包含视觉线特征的运动图像进行同一方式的采样，以获取采样点的采样坐标；基于采样坐标，确定包含视觉线特征的运动图像中同一采样位置的采样点的坐标误差；基于坐标误差计算线上点构造重投影误差。

计算线上点构造重投影误差的公式为：

其中，为多张运动图像中第 k 帧图像中的视觉线特征S上的采样点i对应的采样坐标，/>为多张运动图像中第k+j帧图像中的视觉线特征S上的采样点i对应的采样坐标，/>为线上点构造重投影误差。

在本公开的一个实施例中，计算模块530，还用于：针对任一视觉线特征，确定多张运动图像中运动能够观测到视觉线特征的运动图像，并获取运动图像对应视觉线特征的两个不同的视觉点特征；分别获取两个不同的视觉点与多张运动图像中所有视觉线特征的最短距离；基于最短距离确定线之间构造重投影误差。

计算线之间构造重投影误差的公式为：

L为多张运动图像中所有视觉线特征集合中的任一视觉线特征，/>和/>为任一视觉线特征上的不同的两个视觉点特征，/>为多张运动图像中观测到线L的视觉帧集合。

在本公开的一个实施例中，计算模块530，还用于：获取视觉变换矩阵和IMU坐标系下的刚体变换矩阵；基于视觉变换矩阵、相对变换关系和刚体变换矩阵，计算IMU误差因子。

本公开通过同时进行视觉特征并计算点特征与线特征运动约束，融合IMU传感器进行在线定位功能实现，从而达到在辅助运输等场景中实现在线定位的能力，相较于当前技术中的只通过IMU进行定位的技术，可以降低光度不足、多变、纹理缺失以及粉尘等不利因素的影响。

为了实现上述实施例，本公开实施例还提出一种电子设备600，如图6所示，该电子设备600包括：处理器601和处理器通信连接的存储器602，存储器602存储有可被至少一个处理器执行的指令，指令被至少一个处理器601执行，以实现如本公开第一方面实施例的定位方法。

为了实现上述实施例，本公开实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如本公开第一方面实施例的定位方法。

为了实现上述实施例，本公开实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面实施例的定位方法。

在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种定位方法，其特征在于，包括：

获取待校准对象在运动过程中采集的多张运动图像；

对所述多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取所述多张运动图像的视觉点特征、视觉线特征和相对变换关系，其中，所述相对变换关系表示视觉到IMU坐标系的齐次坐标变换矩阵；

基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，以及基于所述相对变换关系确定IMU误差因子；

基于所述视觉重投影误差因子、所述IMU误差因子和先验误差因子进行优化求解，以获取所述待校准对象的位姿；

所述基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，包括：

基于所述视觉点特征、所述视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差；

将所述点构造重投影误差、所述线上点构造重投影误差和所述线之间构造重投影误差进行求和，以获取所述视觉重投影误差因子；

计算所述点构造重投影误差，包括：

针对任一视觉点特征，获取所述多张运动图像中包含所述视觉点特征的运动图像中对应的点特征坐标；

基于所述点特征坐标，确定所述多张运动图像中包含所述视觉点特征的运动图像中所述视觉点特征的坐标误差；

基于所述坐标误差，确定所述点构造重投影误差；

计算所述线上点构造重投影误差，包括：

针对任一视觉线特征，对所述多张运动图像中包含所述视觉线特征的运动图像进行同一方式的采样，以获取采样点的采样坐标；

基于所述采样坐标，确定所述包含所述视觉线特征的运动图像中同一采样位置的采样点的坐标误差；

基于所述坐标误差计算所述线上点构造重投影误差；

计算所述线之间构造重投影误差，包括：

针对任一视觉线特征，确定所述多张运动图像中运动能够观测到所述视觉线特征的运动图像，并获取所述运动图像对应视觉线特征的两个不同的视觉点特征；

分别获取所述两个不同的视觉点与所述多张运动图像中所有视觉线特征的最短距离；

基于所述最短距离确定所述线之间构造重投影误差。

2.根据权利要求1所述的方法，其特征在于，计算所述点构造重投影误差的公式为：

其中，所述为所述多张运动图像中第 k 帧图像中的视觉点特征i的点特征坐标，所述/>为所述多张运动图像中第k+j帧图像中的视觉点特征i的点特征坐标，所述/>为所述点构造重投影误差。

3.根据权利要求1所述的方法，其特征在于，计算所述线上点构造重投影误差的公式为：

其中，所述为所述多张运动图像中第 k 帧图像中的视觉线特征S上的采样点i对应的采样坐标，所述/>为所述多张运动图像中第k+j帧图像中的视觉线特征S上的采样点i对应的采样坐标，所述/>为所述线上点构造重投影误差。

4.根据权利要求1所述的方法，其特征在于，计算所述线之间构造重投影误差的公式为：

所述L为所述多张运动图像中所有视觉线特征集合中的任一视觉线特征，所述/>和为任一视觉线特征上的不同的两个视觉点特征，所述/>为所述多张运动图像中观测到线L的视觉帧集合，其中e(L,q)表示任意一点到该线的最短距离。

5.根据权利要求1所述的方法，其特征在于，所述基于所述相对变换关系确定IMU误差因子，包括：

获取视觉变换矩阵和IMU坐标系下的刚体变换矩阵；

基于所述视觉变换矩阵、所述相对变换关系和所述刚体变换矩阵，计算所述IMU误差因子。

6.一种定位装置，其特征在于，包括：

获取模块，用于获取待校准对象在运动过程中采集的多张运动图像；

提取模块，用于对所述多张运动图像进行视觉点特征提取、视觉线特征提取和IMU预积分，以分别获取所述多张运动图像的视觉点特征、视觉线特征和相对变换关系，其中，所述相对变换关系表示视觉到IMU坐标系的齐次坐标变换矩阵；

计算模块，用于基于所述视觉点特征、所述视觉线特征确定视觉重投影误差因子，以及基于所述相对变换关系确定IMU误差因子；

定位模块，用于基于所述视觉重投影误差因子、所述IMU误差因子和先验误差因子进行优化求解，以获取所述待校准对象的位姿；

所述计算模块，还用于基于所述视觉点特征、所述视觉线特征确定点构造重投影误差、线上点构造重投影误差和线之间构造重投影误差；

将所述点构造重投影误差、所述线上点构造重投影误差和所述线之间构造重投影误差进行求和，以获取所述视觉重投影误差因子；

计算所述点构造重投影误差，包括：

针对任一视觉点特征，获取所述多张运动图像中包含所述视觉点特征的运动图像中对应的点特征坐标；

基于所述点特征坐标，确定所述多张运动图像中包含所述视觉点特征的运动图像中所述视觉点特征的坐标误差；

基于所述坐标误差，确定所述点构造重投影误差；

计算所述线上点构造重投影误差，包括：

针对任一视觉线特征，对所述多张运动图像中包含所述视觉线特征的运动图像进行同一方式的采样，以获取采样点的采样坐标；

基于所述采样坐标，确定所述包含所述视觉线特征的运动图像中同一采样位置的采样点的坐标误差；

基于所述坐标误差计算所述线上点构造重投影误差；

计算所述线之间构造重投影误差，包括：

针对任一视觉线特征，确定所述多张运动图像中运动能够观测到所述视觉线特征的运动图像，并获取所述运动图像对应视觉线特征的两个不同的视觉点特征；

分别获取所述两个不同的视觉点与所述多张运动图像中所有视觉线特征的最短距离；

基于所述最短距离确定所述线之间构造重投影误差。