CN116883502A

CN116883502A - 相机位姿和路标点位置的确定方法、装置、介质及设备

Info

Publication number: CN116883502A
Application number: CN202311138280.8A
Authority: CN
Inventors: 熊伟成; 张亮; 曹卫川; 李学万
Original assignee: Shenzhen Smart Mapping Tech Co ltd
Current assignee: Shenzhen Smart Mapping Tech Co ltd
Priority date: 2023-09-05
Filing date: 2023-09-05
Publication date: 2023-10-13
Anticipated expiration: 2043-09-05
Also published as: CN116883502B

Abstract

本申请公开了一种相机位姿和路标点位置的确定方法、装置、存储介质及电子设备，该方法包括：获取目标场景中的多帧图像、获取多帧图像中预设的路标点的初始路标点位置，以及获取拍摄多帧图像的相机的初始相机位姿，根据初始路标点位置、以及初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，将第一最小二乘问题进行维度降低处理，得到与第一最小二乘问题等价的第二最小二乘问题，根据第二最小二乘问题确定相机位姿的增量方程，根据增量方程确定目标估计相机位姿以及目标估计路标点位置。本申请中通过将该第一最小二乘问题进行降维处理，降低了求解难度，极大地提高了确定相机位姿和路标点位置的效率。

Description

相机位姿和路标点位置的确定方法、装置、介质及设备

技术领域

本发明属于计算机技术领域，涉及即时定位与地图构建技术领域，具体涉及一种相机位姿和路标点位置的确定方法、装置、存储介质及电子设备。

背景技术

即时建图与定位SLAM（Simultaneous Localization and Mapping，SLAM）技术在智能机器人、无人驾驶、VR/AR等领域占有核心地位。按照传感器不同大体可分为激光SLAM和视觉SLAM。相比于激光雷达，视觉传感器具有更便宜的硬件优势，器件更方便集成，以及提供丰富的视觉和语义信息的能力，能够直接对对象进行检测和跟踪，所以当前视觉SLAM相比激光SLAM具有巨大的优势。

光束法平差是视觉SLAM和三维重建中的核心模块，它是经典的计算机视觉问题之一。光束法平差要解决的问题是：给定从许多不同位姿的相机观察到的一组近似点（路标）位置，求解实际的相机位姿和路标点位置。在一些资源受限的嵌入式设备中，视觉SLAM由于其算法的复杂性难以实时高效的运行。特别是当联合多帧图像进行光束法平差时，由于路标点的数量过于庞大，相关技术中主要是通过舒尔补的策略进行边缘化，将路标点对应的增量从完整的增量参数中进行分离，减少矩阵的运算量，以达到提高系统效率的目标。然而，这种主流的方法仍然需要对维度大的矩阵进行一次性计算，由于计算难度较大，导致相关技术中提供的方法难以高效运行。

发明内容

本申请实施例提供一种相机位姿和路标点位置的确定方法、装置、存储介质及电子设备，能够提高确定相机位姿和路标点位置的效率。

第一方面，本申请实施例提供一种相机位姿和路标点位置的确定方法，包括：

获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿；

根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题；

将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题；

根据所述第二最小二乘问题确定相机位姿的增量方程；

根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。

在一些实施例中，所述根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，包括：

根据透视投影关系构建满足相机位姿和路标点位置的透视投影方程；

根据所述透视投影方程构建对所有路标点的重投影误差进行求和的残差平方和方程；

根据所述残差平方和方程构建所述第一最小二乘问题，其中，所述第一最小二乘问题为将预设的最小化求解所述残差平方和方程的求解问题。

在一些实施例中，所述根据所述残差平方和方程构建所述第一最小二乘问题，包括：

建立相机位姿与路标点位姿的第一状态量；

确定所述残差平方和方程对所述第一状态量的第一预设雅可比矩阵；

对所述第一最小二乘问题中的所述残差平方和方程进行一阶泰勒展开处理，并代入所述第一预设雅可比矩阵，得到线性的第一最小二乘问题。

在一些实施例中，所述将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题，包括：

建立相机姿态的第二状态量，以及建立路标点位置的第三状态量；

确定所述残差平方和方程对所述第二状态量的第二预设雅可比矩阵，并确定所述残差平方和方程对所述第三状态量的第三预设雅可比矩阵；

根据所述线性的第一最小二乘问题、所述第二预设雅可比矩阵以及所述第三预设雅可比矩阵构建表征相机位姿和路标点位置的最小二乘方程；

将所述最小二乘方程中的所述第三预设雅可比矩阵进行QR分解，得到与相机位姿维度一致的所述第二最小二乘问题。

在一些实施例中，所述根据所述第二最小二乘问题确定相机位姿的增量方程，包括：

根据所述第二最小二乘问题确定设计矩阵和观测向量；

根据所述设计矩阵和所述观测向量确定相机位姿的所述增量方程。

在一些实施例中，所述根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置，包括：

根据LDLT分解求解所述增量方程，得到相机位姿的第一目标估计状态增量；

根据所述第一目标估计状态增量进行反向替换处理，得到路标点的第二目标估计状态增量；

根据所述第一目标估计状态增量确定所述目标估计相机位姿，以及根据所述第二目标估计状态增量确定所述目标估计路标点位置。

在一些实施例中，所述根据所述第一目标估计状态增量确定所述目标估计相机位姿，包括：

根据所述第二状态量以及所述第一目标估计状态增量构建相机位姿求解方程；

根据所述相机位姿求解方程计算所述目标估计相机位姿；

所述根据所述第二目标估计状态增量确定所述目标估计路标点位置，包括：

根据所述第三状态量以及所述第二目标估计状态增量构建路标点位置求解方程；

根据所述路标点位置求解方程计算所述目标估计路标点位置。

第二方面，本申请实施例还提供一种相机位姿和路标点位置的确定装置，包括：

获取单元，用于获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿；

构建单元，用于根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题；

维度转换单元，用于将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题；

第一确定单元，用于根据所述第二最小二乘问题确定相机位姿的增量方程；

第二确定单元，用于根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。

第三方面，本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的相机位姿和路标点位置的确定方法。

第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的相机位姿和路标点位置的确定方法。

本申请实施例提供的技术方案，通过获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿，根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题，根据所述第二最小二乘问题确定相机位姿的增量方程，根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。本申请中通过初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，并将该第一最小二乘问题进行降维处理，降低了求解难度，极大地提高了确定相机位姿和路标点位置的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的相机位姿和路标点位置的确定方法的一种流程示意图。

图2为本申请实施例提供的增量方程求解示意图。

图3为本申请实施例提供的相机位姿和路标点位置的确定方法的又一种流程示意图。

图4为本申请实施例提供的矩阵存储方式示意图。

图5为本申请实施例提供的相机位姿和路标点位置的确定装置的结构示意图。

图6为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种相机位姿和路标点位置的确定方法，该相机位姿和路标点位置的确定方法的执行主体可以是本申请实施例提供的相机位姿和路标点位置的确定装置，或者集成了该相机位姿和路标点位置的确定装置的电子设备，其中，该相机位姿和路标点位置的确定装置可以采用硬件或者软件的方式实现。其中，电子设备可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的移动式电子设备，或者台式电脑、服务器等具备处理器的固定式电子设备。

请参阅图1，图1为本申请实施例提供的相机位姿和路标点位置的确定方法的一种流程示意图。本申请实施例提供的相机位姿和路标点位置的确定方法的具体流程可以如下：

S110、获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿；

其中，预设的路标点可以由本领域技术人员根据需要自行设置。

本实施例中，电子设备可以根据通过相机获取目标场景中的多帧图像，并获取该多帧图像中预设的路标点的初始路标点位置，以及获取拍摄该多帧图像的相机的初始相机位姿。

S120、根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题；

本实施例中，可以根据目标场景中的多帧图像中的预设路标点的初始路标点位置，以及拍摄该多帧图像的相机的初始相机位姿构建表征相机位姿和路标点位置的第一最小二乘问题。

例如，获取目标场景中的M个图像（即对应多帧图像），以及该目标场景下由这些图像可视的N个路标点（即对应预设的路标点），在这N个路标点以及拍摄这M个图像的相机的相机位姿具有已知的初始值（即对应初始路标点位置以及初始相机位姿）的情况下，可以通过最小化路标点在相机上的重投影误差来构建非线性最小二乘问题，将该非线性最小二乘问题作为该第一最小二乘问题。

具体地，在一些实施例中，步骤S120“根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题”，可以包括以下步骤：

S1210、根据透视投影关系构建满足相机位姿和路标点位置的透视投影方程；

比如，获取目标场景中的M个图像，以及该目标场景下由这些图像可视的N个路标点，在这N个路标点以及拍摄这M个图像的相机的相机位姿具有已知的初始值的情况下，可以设相机的位姿构成的向量为，/>和/>分别为相机/>的姿态所对应的旋转向量和位置，路标点的位置构成的向量为/>，对于第/>个路标点，其在相机/>上投影的像素坐标为/>，相机/>的位置和姿态分别为/>和，根据透视投影关系，得到透视投影方程为：

(1)

其中，为相机的内参矩阵，一般可通过标定得到。

其中：

S1220、根据所述透视投影方程构建对所有路标点的重投影误差进行求和的残差平方和方程；

可以理解的是，由于噪声等的影响，该透视投影方程会存在误差。因此，可以建立路标点的重投影误差公式，也即路标点对应的残差方程，如下：

根据上述残差方程即可对所有路标点的重投影误差进行求和，得到该残差平方和方程。

可以理解的是，所有路标点指的是所有预设的路标点。

S1230、根据所述残差平方和方程构建所述第一最小二乘问题，其中，所述第一最小二乘问题为将预设的最小化求解所述残差平方和方程的求解问题。

将所有路标点的重投影误差进行求和，可以构建如下关于相机位姿和路标点位置的最小二乘问题：

(2)

上述最小二乘问题即为通过最小化路标点在相机上的重投影误差构建的非线性最小二乘问题，也即该第一最小二乘问题。

在一些实施例中，步骤S1230“根据所述残差平方和方程构建所述第一最小二乘问题”，可以包括以下步骤：

S12310、建立相机位姿与路标点位姿的第一状态量；

例如，可以设第一状态量为：

S12320、确定所述残差平方和方程对所述第一状态量的第一预设雅可比矩阵；

例如，可以设残差平方和方程对该第一状态量的第一预设雅可比矩阵为/>。

S12330、对所述第一最小二乘问题中的所述残差平方和方程进行一阶泰勒展开处理，并代入所述第一预设雅可比矩阵，得到线性的第一最小二乘问题。

代入上述第一预设雅可比矩阵，并对方程（2）进行一阶泰勒展开，得到关于相机位姿和路标点位置的线性的最小二乘问题为：

(3)

其中，为状态量/>等增量。上式通过将马式范数转化成2-范数，使得残差的分布从/>调整为/>，相当于将残差进行归一化处理。以下步骤默认对残差函数/>和雅可比矩阵都左乘/>。

上述线性的最小二乘问题即为该线性的第一最小二乘问题。

S130、将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题；

本申请中通过零空间投影，将原始高维度的代价函数进行等价转换，变成低纬度的代价函数，不仅有利于后续的并行化计算，而且通过减低维度，大大减小了计算量。具体请参见下文详细介绍。

在一些实施例中，步骤S130“将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题”，可以包括以下步骤：

S1310、建立相机姿态的第二状态量，以及建立路标点位置的第三状态量；

其中，相机姿态的第二状态量，也即相机状态量。路标点位置的第三状态量，也即路标点状态。

设相机姿态的第二状态量为，路标点位置的第三状态量为/>。

S1320、确定所述残差平方和方程对所述第二状态量的第二预设雅可比矩阵，并确定所述残差平方和方程对所述第三状态量的第三预设雅可比矩阵；

设残差平方和方程对相机姿态的第二状态量的第二预设雅可比矩阵为；

设残差平方和方程对路标点位置的第三状态量的第三预设雅可比矩阵为。

S1330、根据所述线性的第一最小二乘问题、所述第二预设雅可比矩阵以及所述第三预设雅可比矩阵构建表征相机位姿和路标点位置的最小二乘方程；

根据公式（3），利用列文伯格-马夸尔特方法构建的最小二乘方程为：

(4)

即：

(5)

其中，为拉格朗日乘子，/>和/>分别为/>和/>的对角元素平方根。

S1340、将所述最小二乘方程中的所述第三预设雅可比矩阵进行QR分解，得到与相机位姿维度一致的所述第二最小二乘问题。

对雅可比矩阵进行QR分解，得到：/>

则公式（5）的第一项为：

(6)

最终求解的问题可转换为：

(7)

本申请中通过以上零空间投影的方法，可将最小二乘问题转换成与相机位姿维度一致的最小二乘问题，也即公式（7）为该第二最小二乘问题。

S140、根据所述第二最小二乘问题确定相机位姿的增量方程。

本申请中，该相机位姿的增量方程可以根据高斯牛顿法（列文伯格-马夸尔特方法是该方法的一种变种）求解公式（7）的第二最小二乘过程而来。具体阐述请参见下文介绍。

根据公式（7），利用列文伯格-马夸尔特方法，求得的增量方程为：

（8）

在一些实施例中，步骤S140“根据所述第二最小二乘问题确定相机位姿的增量方程”，可以包括以下步骤：

S1410、根据所述第二最小二乘问题确定设计矩阵和观测向量；

设设计矩阵，观测向量/>。则对于公式（7）转换后得到的增量方法中的设计矩阵/>和观测向量/>分别为：

(9)

(10)

其中，请参考图2，图2为本申请实施例提供的增量方程求解示意图。

对于单个路标点所产生的重投影误差所对应的增量方程矩阵为，/>，则所有N个路标点所产生的重投影误差所对应的增量方程矩阵分别为/>，则整个增量方程所对应的/>和/>为：

(11)

(12)

其中，，维度为/>。/>,维度为/>。

对于每个路标点而言，其相互之间独立，故增量方程的矩阵和/>求解可并行处理，并行处理可以进一步提高确定相机位姿和路标点位置的效率。

S1420、根据所述设计矩阵和所述观测向量确定相机位姿的所述增量方程。

通过前文步骤，可以得到关于所有相机位姿状态相关的增量方程：

(13)

以上为关于的线性方程组，其中/>矩阵的维度为/>，其为正定或半正定阵。

S150、根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。

本实施例中，通过构建的最小二乘问题确定出相机位姿的增量方程之后，就可以根据该相机位姿的增量方程确定目标估计相机位姿以及目标估计路标点位置。具体参见下文介绍。

在一些实施例中，步骤S150“根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置”，可以包括以下步骤：

S1510、根据LDLT分解求解所述增量方程，得到相机位姿的第一目标估计状态增量；

本申请中，利用LDLT分解的方法求解的最优值/>，该最优值/>也即相机位姿的第一目标估计状态增量。

S1520、根据所述第一目标估计状态增量进行反向替换处理，得到路标点的第二目标估计状态增量；

通过前文步骤，求得的状态增量为相机的位姿最优状态增量，需要恢复关于路标点位置的状态增量。由公式（7）可知，可由相机位姿最优状态增量/>进行求解，即有：

(14)

对上式（14）进行求解时，可以利用该公式分别对每个路标点进行运算，该过程可通过并行的方法进行加速处理，直至得到所有路标点位置状态的最优增量。

其中，即为路标点的第二目标估计状态增量。

S1530、根据所述第一目标估计状态增量确定所述目标估计相机位姿，以及根据所述第二目标估计状态增量确定所述目标估计路标点位置。

在一些实施例中，步骤S1530中“根据所述第一目标估计状态增量确定所述目标估计相机位姿”，可以包括以下步骤：

S15310、根据所述第二状态量以及所述第一目标估计状态增量构建相机位姿求解方程；

利用前述步骤求得的相机状态增量，可得到求解相机位姿的最优状态量的相机位姿求解方程为：

(15)

S15320、根据所述相机位姿求解方程计算所述目标估计相机位姿；

根据上述公式（15）即可以计算该目标估计相机位姿。

在一些实施例中，步骤S1530中“根据所述第二目标估计状态增量确定所述目标估计路标点位置”，可以包括以下步骤：

S15330、根据所述第三状态量以及所述第二目标估计状态增量构建路标点位置求解方程；

利用前述步骤求得的路标点状态增量，可得到求解路标点的最优状态量的路标点位置求解方程为：

(16)

S15340、根据所述路标点位置求解方程计算所述目标估计路标点位置。

根据上述公式（16）即可以计算该目标估计路标点位置。

由于本申请中上述方法采用的近似二阶泰勒展开只有在展开点附近有较好的近似效果，当近似模型与实际函数之间的差异比较小时，说明近似效果好；反之，如果差异大，就应该缩小近似的范围。因而，本申请定义一个指标如下：

(17)

其中，为求得的状态量最优增量值，/>的分子是实际函数下降的值，分母是近似模型下降的值。当/>的值比较大，则认为近似可行，可利用状态增量/>和/>更新状态；否则，判断算法不收敛，需重新迭代。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提供的相机位姿和路标点位置的确定方法，通过获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿，根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题，根据所述第二最小二乘问题确定相机位姿的增量方程，根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。本申请中通过初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，并将该第一最小二乘问题进行降维处理，降低了求解难度，极大地提高了确定相机位姿和路标点位置的效率。

根据前面实施例所描述的方法，以下将举例作进一步详细说明。

请参考图3，图3为本申请实施例提供的相机位姿和路标点位置的确定方法的又一种流程示意图。该流程图描述了本申请提供的相机位姿和路标点位置的确定方法的整体流程逻辑：

第一步：根据场景中多帧图像之间路标点的共视关系，以及路标点的初始位置和相机的初始位置和姿态，利用多视几何重投影的原理，构建关于路标点的位置和相机的位置和姿态的残差函数及相应的代价函数；通过对残差函数的一阶线性化，得到相对于路标点位置和相机位置姿态的雅可比矩阵，以及相应的一阶最小二乘方程。

第二步：利用线性最小二乘方程，通过对路标点对应的雅可比矩阵进行QR分解并代入到该方程，得到与舒尔补边缘化等价的代数形式，实现方程的零空间投影以及维度压缩。

第三步，基于列文伯格-马夸尔特等方法，利用投影方程通过并行处理形成由海森矩阵等组成的增量方程，并利用LDLT矩阵分解的方法得到位姿增量。

第四步，通过反向替换得到路标点增量，应用所有增量对原始状态进行更新，得到路标点位置和相机的位置姿态的最优状态量。

第五步，定义一个指标，用于判断本申请提供的算法是否收敛。

为了对本申请中涉及的矩阵计算进行加速处理，提供了一种直接在变量存储内存上进行数学计算处理的存储方法，对于每个路标点而言，其变量存储方式如图4，图4为本申请实施例提供的矩阵存储方式示意图。

具体地，零空间投影处理前，残差对于相机状态量（相机姿态的第二状态量）的第二预设雅可比矩阵/>、对路标点状态（路标点位置的第三状态量）/>的第三预设雅可比矩阵/>以及残差方程/>分别存储。在通过第三预设雅可比矩阵/>进行QR分解时，无需直接分解，也无需开启新的存储变量，而是直接使用吉文斯Givens旋转对矩阵/>和/>进行单独的行变换，此时单独对每个路标矩阵块可并行执行边缘化，不仅减少了存储空间，而且加快了处理速度。

综上可知，本申请可以实现以下有益效果：

1、提出了一种在代数上与主流边缘化舒尔补方法完全等价的零空间边缘化方法。利用QR分解对原始的代价函数进行零空间投影，将一个维度非常大的方程直接压缩成一个维度与位姿状态量相同的方程，不仅减少了方程的维度，降低了求解的难度，而且与主流的方法从代数上完全等价，不影响求解的正确性。

2、提出了一种操作性强、简单易用、矩阵计算量小的可并行化求解增量状态的方法。利用QR分解的特性，无需显式地对矩阵进行QR分解，而是利用QR分解变换矩阵对其他相关目标矩阵直接操作，能够轻易地实现并行化处理，并且只需简单的矩阵行变换，计算量小。

3、提出了一种无需额外开销内存，直接在变量存储内存上进行数学计算处理的存储方法。根据零空间投影过程中变量的变换关系，只需存储一份变量如相机状态雅可比矩阵和残差方程在内存中的值，后续的数值计算直接在该内存上进行处理，而无需开辟新的存储空间，极大的节省了系统的内存空间。

在一实施例中还提供一种相机位姿和路标点位置的确定装置。请参阅图5，图5为本申请实施例提供的相机位姿和路标点位置的确定装置200的结构示意图。其中该相机位姿和路标点位置的确定装置200应用于电子设备，该相机位姿和路标点位置的确定装置200包括获取单元201、构建单元202、维度转换单元203、第一确定单元204以及第二确定单元205，如下：

获取单元201，用于获取目标场景中的多帧图像、获取所述多帧图像中预设的路标点的初始路标点位置，以及获取拍摄所述多帧图像的相机的初始相机位姿；

构建单元202，用于根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题；

维度转换单元203，用于将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题；

第一确定单元204，用于根据所述第二最小二乘问题确定相机位姿的增量方程；

第二确定单元205，用于根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置。

在一些实施例中，构建单元202，可以用于：

建立相机位姿与路标点位姿的第一状态量；

在一些实施例中，维度转换单元203，可以用于：

在一些实施例中，第一确定单元204，可以用于：

根据所述第二最小二乘问题确定设计矩阵和观测向量；

在一些实施例中，第二确定单元205，可以用于：

根据所述相机位姿求解方程计算所述目标估计相机位姿；

应当说明的是，本申请实施例提供的相机位姿和路标点位置的确定装置与上文实施例中的相机位姿和路标点位置的确定方法属于同一构思，通过该相机位姿和路标点位置的确定装置可以实现相机位姿和路标点位置的确定方法实施例中提供的任一方法，其具体实现过程详见相机位姿和路标点位置的确定方法实施例，此处不再赘述。

此外，为了更好实施本申请实施例中相机位姿和路标点位置的确定方法，在相机位姿和路标点位置的确定方法基础之上，本申请还提供一种电子设备，请参照图6，图6示出了本申请提供的电子设备300的一种结构示意图，如图6所示，本申请提供的电子设备300包括处理器301和存储器302，处理器301用于执行存储器302中存储的计算机程序时实现如本申请以上实施例中相机位姿和路标点位置的确定方法的各步骤，比如：

根据所述第二最小二乘问题确定相机位姿的增量方程；

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器302中，并由处理器301执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

电子设备300可包括，但不仅限于处理器301、存储器302。本领域技术人员可以理解，示意仅仅是电子设备300的示例，并不构成对电子设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备300还可以包括输入输出设备、网络接入设备、总线等，处理器301、存储器302、输入输出设备以及网络接入设备等通过总线相连。

处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分。

存储器302可用于存储计算机程序和/或模块，处理器301通过运行或执行存储在存储器302内的计算机程序和/或模块，以及调用存储在存储器302内的数据，实现计算机装置的各种功能。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备300的使用所创建的数据（比如音频数据、视频数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的相机位姿和路标点位置的确定装置、电子设备300及其相应单元的具体工作过程，可以参考本申请以上实施例中关于相机位姿和路标点位置的确定方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读的存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请以上实施例中相机位姿和路标点位置的确定方法中的步骤，比如：

根据所述第二最小二乘问题确定相机位姿的增量方程；

具体操作可参考本申请以上实施例中关于相机位姿和路标点位置的确定方法的说明，在此不再赘述。

其中，该计算机可读的存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请以上实施例中相机位姿和路标点位置的确定方法中的步骤，因此，可以实现本申请以上实施例中相机位姿和路标点位置的确定方法所能实现的有益效果，详见前面的说明，在此不再赘述。

此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上对本申请所提供的一种相机位姿和路标点位置的确定方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种相机位姿和路标点位置的确定方法，其特征在于，包括：

根据所述第二最小二乘问题确定相机位姿的增量方程；

2.如权利要求1所述的相机位姿和路标点位置的确定方法，其特征在于，所述根据所述初始路标点位置、以及所述初始相机位姿，构建表征相机位姿和路标点位置的第一最小二乘问题，包括：

3.如权利要求2所述的相机位姿和路标点位置的确定方法，其特征在于，所述根据所述残差平方和方程构建所述第一最小二乘问题，包括：

建立相机位姿与路标点位姿的第一状态量；

4.如权利要求3所述的相机位姿和路标点位置的确定方法，其特征在于，所述将所述第一最小二乘问题进行维度降低处理，得到与所述第一最小二乘问题等价的第二最小二乘问题，包括：

5.如权利要求4所述的相机位姿和路标点位置的确定方法，其特征在于，所述根据所述第二最小二乘问题确定相机位姿的增量方程，包括：

根据所述第二最小二乘问题确定设计矩阵和观测向量；

6.如权利要求5所述的相机位姿和路标点位置的确定方法，其特征在于，所述根据所述增量方程确定目标估计相机位姿以及目标估计路标点位置，包括：

7.如权利要求6所述的相机位姿和路标点位置的确定方法，其特征在于，所述根据所述第一目标估计状态增量确定所述目标估计相机位姿，包括：

根据所述相机位姿求解方程计算所述目标估计相机位姿；

8.一种相机位姿和路标点位置的确定装置，其特征在于，包括用于执行如权利要求1至7任一项所述的相机位姿和路标点位置的确定方法的单元。

9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的相机位姿和路标点位置的确定方法。

10.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的相机位姿和路标点位置的确定方法。