CN111754579B - 多目相机外参确定方法及装置 - Google Patents

Abstract

本申请公开了一种多目相机外参确定方法及装置，属于机器视觉领域。所述方法包括：先根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标。然后根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿。最后根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。本申请确定可移动设备在N个关键帧时刻的实际位姿的过程简便，且本申请可以在线确定多目相机的外参，高效省时。

Description

多目相机外参确定方法及装置

技术领域

本申请涉及机器视觉领域，特别涉及一种多目相机外参确定方法及装置。

背景技术

目前，无人机、机器人等可移动设备主要通过多目相机来进行即时定位与地图构建(simultaneous localization and mapping，SLAM)。由于可移动设备进行SLAM的过程中需要用到多目相机包括的多个摄像头的外参，而多个摄像头的外参会随着多个摄像头之间的相对位置的改变而改变。因此当多个摄像头之间的相对位置发生改变时，需要对多个摄像头的外参重新进行确定，从而使可移动设备进行SLAM的结果更加准确。

通常，在对多个摄像头的外参重新进行确定时，需要先停止可移动设备的移动，然后在多个摄像头的拍摄场景中放置标定物，通过多个摄像头拍摄包含标定物的图像，之后根据每个摄像头拍摄的图像进行特征点的提取和匹配，最终实现多个摄像头的外参的重新确定。然而，这样的过程不仅会影响可移动设备的正常运行，而且过程较为复杂。针对上述问题，相关技术中提供了一种在线确定多个摄像头的外参的方法，该方法先在多个摄像头的拍摄范围中放置标记物，该标记物中的每个实物点的实际三维坐标是已知的。然后通过该多个摄像头分别获取包含标记物的图像，并在获取的包含标记物的图像中，提取标记物在该图像中对应的多个特征点。之后根据该多个特征点的图像坐标、摄像头的投影矩阵，以及图像坐标系中的欧式距离等，构建重投影误差函数，并通过重投影误差函数确定该多个特征点在标记物中对应的实物点的理论三维坐标。最后根据该多个特征点在标记物中对应的实物点的理论三维坐标，以及该多个特征点在标记物中对应的实物点的实际三维坐标，对多个摄像头的外参重新进行确定。

然而，上述在线确定多个摄像头的外参的方法需要提前在多个摄像头的拍摄范围中放置已知实际三维坐标的标记物，使得在线确定多个摄像头的外参的过程较为复杂，且费时费力。

发明内容

本申请实施例提供了一种多目相机外参确定方法及装置，可以解决相关技术中在线确定多个摄像头的外参需要提前在多个摄像头的拍摄范围放置标记物，从而使得在线确定多个摄像头的外参的过程较为复杂的问题。所述技术方案如下：

第一方面，提供了一种多目相机外参确定方法，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述方法包括：

根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；

根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；

根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。

可选地，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参，包括：

根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；

最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。

可选地，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数，包括：

对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；

其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。

可选地，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；

所述最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参，包括：

确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。

可选地，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态之后，所述方法还包括：

如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

可选地，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态，包括：

根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；

如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。

可选地，所述根据所述可移动设备在当前时刻之前的N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿之前，所述方法还包括：

获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；

通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；

根据所述尺度获取器在所述第一时刻获取的位姿和在所述第二时刻获取的位姿，确定所述可移动设备的第二相对位姿；

将所述第一相对位姿的平移分量的模与所述第二相对位姿的平移分量的模之间的比值确定为所述参考尺度比例。

第二方面，提供了一种多目相机外参确定装置，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述装置包括：

第一确定模块，用于根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；

第二确定模块，用于根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；

第三确定模块，用于根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。

可选地，所述第三确定模块包括：

建立子模块，用于根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；

最小化运算子模块，用于最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。

可选地，所述建立子模块包括：

建立单元，用于对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；

其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。

可选地，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；

所述最小化运算子模块包括：

确定单元，用于确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

最小化运算单元，用于如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。

可选地，所述装置还包括：

最小化运算模块，用于如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

可选地，所述确定单元包括：

第一确定子单元，用于根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；

第二确定子单元，用于如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。

可选地，所述装置还包括：

第一获取模块，用于获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

第四确定模块，用于根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；

第二获取模块，用于通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；

第五确定模块，用于根据所述尺度获取器在所述第一时刻获取的位姿和在所述第二时刻获取的位姿，确定所述可移动设备的第二相对位姿；

第六确定模块，用于将所述第一相对位姿的平移分量的模与所述第二相对位姿的平移分量的模之间的比值确定为所述参考尺度比例。

第三方面，提供一种可移动设备，所述可移动设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。

第五方面，提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一项所述方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，先根据当前摄像头拍摄的当前图像中的M个特征点，确定与M个特征点一一对应的M个地图点中每个地图点，在N个关键帧图像中对应的像素点的图像坐标。由于可移动设备在构建地图的过程中通过当前摄像头，确定可移动设备在N个关键帧时刻的理论位姿不具有实际物理尺度，因此，可以根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例确定可移动设备在N个关键帧时刻的实际位姿。最后再根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。由于当前摄像头为可移动设备上安装的多目相机包括的多个摄像头中的任一摄像头，因此通过本申请实施例提供的方法可以确定多目相机包括的每个摄像头相对于基准坐标系的外参，也即确定多目相机的外参。本申请实施例根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，即可确定可移动设备在N个关键帧时刻的实际位姿，而不需要使用额外的装置等来确定可移动设备在N个关键帧时刻的实际位姿，使得确定多目相机的外参的过程更加简便。另外，本申请实施例可以在可移动设备运行的过程中实时确定多目相机的外参，不会影响可移动设备的正常运行，也即可以在线确定多目相机的外参，使得确定多目相机的外参更加高效，且省时省力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的第一种可移动设备的结构示意图。

图2是本申请实施例提供的第一种多目相机外参确定方法的流程图。

图3是本申请实施例提供的第二种多目相机外参确定方法的流程图。

图4是本申请实施例提供的一种多目相机外参确定装置框图。

图5是本申请实施例提供的第二种可移动设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与本申请的一些方面相一致的装置和方法的例子。

在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明：

图1是本申请实施例提供的一种实施环境的示意图，参见图1，该实施环境包括可移动设备100，可移动设备100上安装有多目相机110和尺度获取器120。示例性地，多目相机110可以包括多个单目摄像头。该多个单目摄像头可以是安装在可移动设备100的4个侧面上的摄像头111、摄像头112、摄像头113和摄像头114。多目相机110可以通过摄像头111、摄像头112、摄像头113和摄像头114拍摄图像。摄像头111、摄像头112、摄像头113和摄像头114中每两个摄像头之间的拍摄范围可以存在交叠部分，也可以不存在交叠部分。尺度获取器120可以获取可移动设备100在某一时刻的位姿。示例性地，可移动设备100可以为机器人或汽车等，摄像头111、摄像头112、摄像头113和摄像头114均可以为工业摄像头或鱼眼摄像头等，尺度获取器120可以为轮式里程计或IMU(Inertial Measurement Unit，惯性测量单元)等。

可移动设备可以通过摄像头111、摄像头112、摄像头113和摄像头114拍摄的关键帧图像确定地图点，并构建地图。并且，可移动设备可以通过这4个摄像头中的任一摄像头在某一时刻拍摄的图像确定可移动设备在该时刻的理论位姿。也即可移动设备可以进行SLAM，在进行SLAM的过程中确定理论位姿。

值得注意的是，摄像头111、摄像头112、摄像头113和摄像头114均具有各自对应的三维摄像头坐标系，每个三维摄像头坐标系的原点可以为每个摄像头的光心。可移动设备100具有三维本体坐标系，该三维本体坐标系的原点可以与上述4个摄像头中的任一摄像头的原点重合，该三维本体坐标系的原点还可以位于其他位置，本申请实施例对此不做限定。尺度获取器120具有三维尺度获取坐标系，三维尺度获取坐标系的原点可以为尺度获取器120的定位中心等，本申请实施例对此不做限定。在可移动设备100的初始状态，上述所有坐标系的x轴方向、y轴方向和z轴方向可以相同。

接下来，对本申请实施例提供的多目相机外参确定方法进行详细地解释说明。

图2是本申请实施例提供的一种多目相机外参确定方法的流程图，该方法应用于可移动设备，该可移动设备上安装有多目相机，该多目相机包括多个摄像头，参见图2，该方法包括：

步骤201：根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，当前摄像头为该多个摄像头中的任一摄像头，M个地图点与M个特征点一一对应，N个关键帧图像是指当前摄像头在当前时刻之前拍摄的N个关键帧图像，N和M均为大于或等于1的正整数。

步骤202：根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿，N个关键帧时刻为N个关键帧图像的拍摄时刻，理论位姿是在构建地图的过程中确定的。

步骤203：根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。

在本申请实施例中，先根据当前摄像头拍摄的当前图像中的M个特征点，确定与M个特征点一一对应的M个地图点中每个地图点，在N个关键帧图像中对应的像素点的图像坐标。由于可移动设备在构建地图的过程中通过当前摄像头，确定可移动设备在N个关键帧时刻的理论位姿不具有实际物理尺度，因此，可以根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例确定可移动设备在N个关键帧时刻的实际位姿。最后再根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。由于当前摄像头为可移动设备上安装的多目相机包括的多个摄像头中的任一摄像头，因此通过本申请实施例提供的方法可以确定当前时刻多目相机包括的每个摄像头相对于基准坐标系的外参，也即确定当前时刻多目相机的外参。本申请实施例根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，即可确定可移动设备在N个关键帧时刻的实际位姿，而不需要使用额外的装置等来确定可移动设备在N个关键帧时刻的实际位姿，使得确定多目相机的外参的过程更加简便。另外，本申请实施例可以在可移动设备运行的过程中实时确定多目相机的外参，不会影响可移动设备的正常运行，也即可以在线确定多目相机的外参，使得确定多目相机的外参更加高效，且省时省力。

可选地，该根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参，包括：

根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，建立P个重投影误差函数；

最小化P个重投影误差函数之和，得到当前时刻当前摄像头相对于基准坐标系的外参。

可选地，该根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，建立P个重投影误差函数，包括：

对于M个地图点中的第一地图点以及N个关键帧图像中的第一关键帧图像，根据第一地图点在第一关键帧图像中对应的像素点的图像坐标、可移动设备在第一关键帧时刻的实际位姿、第一地图点的三维位置信息和当前摄像头的内参，建立一个重投影误差函数；

其中，第一地图点为M个地图点中的任一地图点，第一关键帧图像为N个关键帧图像中存在第一地图点对应的像素点的关键帧图像，第一关键帧时刻为第一关键帧图像的拍摄时刻。

可选地，当前摄像头相对于该基准坐标系的外参包括旋转分量和平移分量；

该最小化P个重投影误差函数之和，得到当前时刻当前摄像头相对于基准坐标系的外参，包括：

确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

如果可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻当前摄像头相对于基准坐标系的外参的平移分量。

可选地，该确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态之后，该方法还包括：

如果可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

可选地，该确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态，包括：

根据可移动设备在N个关键帧时刻的实际位姿，确定可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；

如果该标准差小于参考阈值，则确定可移动设备在当前时刻处于直线运动状态，否则，确定可移动设备在当前时刻处于转弯运动状态。

可选地，该根据可移动设备在当前时刻之前的N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿之前，该方法还包括：

获取当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

根据当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定可移动设备的第一相对位姿；

通过可移动设备上安装的尺度获取器获取可移动设备在第一时刻的位姿和在第二时刻的位姿；

根据尺度获取器在第一时刻获取的位姿和在第二时刻获取的位姿，确定可移动设备的第二相对位姿；

将第一相对位姿的平移分量的模与第二相对位姿的平移分量的模之间的比值确定为参考尺度比例。

图3是本申请实施例提供的一种多目相机外参确定方法的流程图。本实施例将对图2所示的实施例进行展开说明，参见图3，该方法应用于可移动设备，该可移动设备上安装有多目相机，该多目相机包括多个摄像头，该方法包括：

步骤301：根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，N和M均为大于或等于1的正整数。

需要说明的是，当前摄像头为可移动设备上安装的多目相机包括的多个摄像头中的任一摄像头。另外，特征点是指图像中灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。特征点可以通过ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)、DAISY(一种特征点提取算法)和SIFT(Scale-invariant featuretransform，尺度不变特征变换)等算法来确定。通过上述方法还可以确定出用于描述特征点的属性的描述子，每个特征点对应唯一一个描述子。

另外，地图点是可移动设备已构建的地图中的点，地图点可以包括地图点的三维位置信息以及地图点对应的描述子。示例性地，地图点的三维位置信息可以为地图点在世界坐标系中的三维世界坐标，世界坐标系是可移动设备的绝对坐标系，世界坐标系可以根据使用需求预先进行设置。这样的条件下，在确定出当前图像中的特征点后，可以将当前图像中的特征点的描述子，与已构建的地图中的地图点对应的描述子进行对比，确定描述子与特征点的描述子相同或者差值在预设阈值范围内的地图点，作为该特征点对应的地图点。从而确定出与当前图像中的M个特征点一一对应的M个地图点。预设阈值范围可以预先进行设置，本申请实施例对此不做具体限定。

再者，N个关键帧图像是指当前摄像头在当前时刻之前拍摄的N个关键帧图像。N个关键帧图像可以是当前摄像头在当前时刻之前拍摄的所有关键帧图像，也可以是当前摄像头在当前时刻之前拍摄的所有关键帧图像中的部分关键帧图像。示例性地，N个关键帧时刻中的第N个关键帧图像可以为当前图像的上一关键帧图像。

其中，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标的方式，与上述在当前图像中确定M个特征点对应的地图点的方法类似。即，对于M个地图点中的第一地图点，从N个关键帧图像中选择包括的特征点的描述子与第一地图点的描述子相同或者差值在预设阈值范围内的关键帧图像，第一地图点为M个地图点中的任一地图点。将选择的关键帧图像中描述子与第一地图点的描述子相同或者差值在预设阈值范围内的特征点对应的像素点的图像坐标，作为第一地图点在选择的关键帧图像中对应的像素点的图像坐标。

下面通过举例的方式对M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标进行说明。

例如，N个关键帧图像为当前时刻之前的4个关键帧图像，当前图像包括10个特征点，其中有2个特征点与已构建的地图中的2个地图点一一对应。也即N等于4，M等于2。这2个地图点分别是地图点A和地图点B。其中地图点A在这4个关键帧图像中的关键帧图像1、关键帧图像2和关键帧图像3中有对应的像素点，且这些像素点分别为像素点A1、像素点A2和像素点A3；地图点B在这4个关键帧图像中的关键帧图像3和关键帧图像4中有对应的像素点，且这些像素点分别为像素点B3和像素点B4。因此，这2个地图点中每个地图点在这4个关键帧图像中对应的像素点的图像坐标即是：像素点A1的图像坐标、像素点A2的图像坐标、像素点A3的图像坐标、像素点B3的图像坐标和像素点B4的图像坐标。

步骤302：根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿。

需要说明的是，N个关键帧时刻为N个关键帧图像的拍摄时刻，理论位姿是在可移动设备构建地图的过程中确定的。示例性地，在一种可能的实现方式中，可移动设备上安装的多目相机包括的多个摄像头均为单目摄像头。这种情况下，理论位姿即是在可移动设备构建地图的过程中，通过多个摄像头拍摄的关键帧图像确定的。但是由于根据多个摄像头拍摄的关键帧图像获取的理论位姿不具有实际物理尺度，理论位姿与实际位姿之间可以存在一定的尺度比例关系。该尺度比例关系可以用参考尺度比例表示。因此，可以根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿。

示例性地，可移动设备上还可以安装有尺度获取器，在步骤302之前，可以通过如下步骤(1)-步骤(5)对参考尺度比例进行确定。

(1)：获取当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像。

需要说明的是，第一时刻早于第二时刻，第二时刻可以为当前时刻，也可以为当前时刻之前的任一时刻，本申请实施例对此不做限定。应当理解的是，参考尺度比例可以在当前时刻之前确定出来，也可以在当前时刻确定出来。

(2)：根据当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定可移动设备的第一相对位姿。

示例性地，可以先确定当前摄像头在第一时刻拍摄的图像中的特征点。之后再将当前摄像头在第一时刻拍摄的图像中的特征点，与当前时刻之前的关键帧图像中的特征点进行匹配，确定相匹配的特征点对，以及相匹配的特征点对所对应的地图点的三维位置信息。根据每个相匹配的特征点对中的当前摄像头在第一时刻拍摄的图像中的特征点对应的像素点的图像坐标、每个相匹配的特征点对所对应的地图点的三维位置信息、当前摄像头的内参，以及当前摄像头相对于可移动设备的三维本体坐标系的外参，构建当前摄像头在第一时刻拍摄的图像对应的重投影误差函数。最小化该重投影误差函数可以得到可移动设备根据当前摄像头在第一时刻拍摄的图像确定的位姿。示例性地，当前摄像头相对于可移动设备的三维本体坐标系的外参是在当前时刻之前确定的。类似地，可以得到可移动设备根据当前摄像头在第二时刻拍摄的图像确定的位姿。根据这两个位姿可以确定出第一相对位姿。可移动设备的第一相对位姿也可以通过其他方式确定，本申请实施例对此不做限定。例如，可以根据可移动设备上安装的多目相机包括的多个摄像头中的每个摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定可移动设备的第一相对位姿。

在一种可能的实现方式中，可移动设备根据当前摄像头在第一时刻拍摄的图像确定的位姿可以表示为T_wb1，可移动设备根据当前摄像头在第二时刻拍摄的图像确定的位姿可以表示为T_wb2，则可移动设备的第一相对位姿可以通过如下公式一来表示：

公式一：ΔT₁＝(T_wb1)^-1T_wb2

其中，ΔT₁为第一相对位姿，(T_wb1)^-1为T_wb1的逆矩阵。

(3)：通过可移动设备上安装的尺度获取器获取可移动设备在第一时刻的位姿和在第二时刻的位姿。

在一种可能的实现方式中，可移动设备上安装有车轮，且尺度获取器为轮式里程计。这样的条件下，尺度获取器可以根据第一时刻的上一时刻确定的可移动设备的位姿、轮式里程计测量的可移动设备上安装的车轮在第一时刻的速度等数据，根据微积分算法，确定可移动设备在第一时刻的位姿。类似地，在确定可移动设备在第一时刻的位姿之后，可以根据可移动设备在第一时刻的位姿、轮式里程计测量的可移动设备上安装的车轮在第二时刻的速度等数据，确定可移动设备在第二时刻的位姿。通过可移动设备上安装的尺度获取器获取可移动设备在第一时刻和在第二时刻的位姿，还可以通过其他方法，本申请实施例对此不做限定。

(4)：根据尺度获取器在第一时刻获取的位姿和在第二时刻获取的位姿，确定可移动设备的第二相对位姿。

在一种可能的实现方式中，通过可移动设备上安装的尺度获取器获取可移动设备在第一时刻的位姿可以表示为T_wo1，通过可移动设备上安装的尺度获取器获取可移动设备在第二时刻的位姿可以表示为T_wo2。由于尺度获取器的三维尺度获取坐标系可能与可移动设备的三维本体坐标系不重合，也即三维尺度获取坐标系需要经过一定的旋转平移变换才能与三维本体坐标系重合。这个旋转平移变换可以用尺度获取器相对于可移动设备的外参来表示。这样的条件下，可移动设备的第二相对位姿可以通过如下公式二来表示。

公式二：ΔT₂＝(T_wo1T_ob)^-1T_wo2T_ob

其中，ΔT₂为第二相对位姿，T_ob为尺度获取器相对于可移动设备的外参。

另外，第一相对位姿可以是可移动设备根据当前摄像头在第一时刻拍摄的图像确定的位姿，相对于可移动设备根据当前摄像头在第二时刻拍摄的图像确定的位姿，或者相反。第二相对位姿可以是可移动设备通过尺度获取器获取的第一时刻的位姿，相对于可移动设备通过尺度获取器获取的第二时刻的位姿，或者相反。

(5)：将第一相对位姿的平移分量的模与第二相对位姿的平移分量的模之间的比值确定为参考尺度比例。

在步骤(5)中，第一相对位姿中的相对关系与第二相对位姿中的相对关系是一致的，例如，第一相对位姿是可移动设备根据当前摄像头在第一时刻拍摄的图像确定的位姿，相对于可移动设备根据当前摄像头在第二时刻拍摄的图像确定的位姿。那么，第二相对位姿即是可移动设备通过尺度获取器获取的第一时刻的位姿，相对于可移动设备通过尺度获取器获取的第二时刻的位姿。

在一种可能的实现方式中，以公式一确定的第一相对位姿和公式二确定的第二相对位姿为例，参考尺度比例可以通过如下公式三来确定。

公式三：

其中，s为参考尺度比例，Δt₁为ΔT₁的平移分量，Δt₂为ΔT₂的平移分量。

步骤303：根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。

需要说明的是，由于多目相机的外参是指多目相机包括的多个摄像头中每两个摄像头之间的外参。因此，在一种可能的实现方式中，可以预先设置一个基准坐标系，将确定多个摄像头中每两个摄像头之间的外参的过程，转变为确定多个摄像头中每个摄像头相对于基准坐标系的外参的过程。示例性地，基准坐标系可以为多个摄像头中除过当前摄像头之外的任一摄像头的摄像头坐标系，也可以为可移动设备的三维本体坐标系。当基准坐标系为多个摄像头中除过当前摄像头之外的某一摄像头的摄像头坐标系时，确定多目相机的外参即是确定除过该摄像头之外的其他摄像头，分别相对于该摄像头的外参。例如，参见图1，当基准坐标系为摄像头111的摄像头坐标系时，确定多目相机的外参，即是确定摄像头112相对于摄像头111的外参、摄像头113相对于摄像头111的外参，以及摄像头114相对于摄像头111的外参。基准坐标系也可以为其他预先设置的坐标系，本申请实施例对此不做限定。

在一种可能的情况中，可移动设备上安装的多目相机包括2个摄像头，基准坐标系为这2个摄像头中的一个摄像头的摄像头坐标系，那么当前摄像头即为这2个摄像头中的另一摄像头。这样的条件下，确定当前时刻当前摄像头相对于基准坐标系的外参，即是确定了当前时刻多目相机的外参。

在一种可能的情况中，多目相机包括的摄像头的数量大于2，这样的条件下，由于当前摄像头为多目相机包括的多个摄像头中的任一摄像头。因此通过步骤301-步骤303，可以确定出多目相机包括的多个摄像头中每个摄像头在当前时刻相对于基准坐标系的外参，也即确定出当前时刻多目相机的外参。

示例性地，步骤303可以通过如下步骤3031-步骤3032来实现。

步骤3031：根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，建立P个重投影误差函数。

示例性地，对于M个地图点中的第一地图点以及N个关键帧图像中的第一关键帧图像，根据第一地图点在第一关键帧图像中对应的像素点的图像坐标、可移动设备在第一关键帧时刻的实际位姿、第一地图点的三维位置信息和当前摄像头的内参，建立一个重投影误差函数。

需要说明的是，第一地图点为M个地图点中的任一地图点，第一关键帧图像为N个关键帧图像中存在第一地图点对应的像素点的关键帧图像，第一关键帧时刻为第一关键帧图像的拍摄时刻。

在一种可能的实现方式中，对于M个地图点中的第一地图点以及N个关键帧图像中的第一关键帧图像，建立的重投影误差函数可以通过如下公式四表示。为了便于表述，从公式四开始，后续出现的T_wb均表示为可移动设备在第一关键帧时刻的实际位姿。

公式四：

其中，u为第一地图点在第一关键帧图像中对应的像素点的图像坐标，K为当前摄像头的内参，T_cb为当前时刻当前摄像头相对于基准坐标系的外参T_bc的逆矩阵，即T_bc ^-1，T_bw为可移动设备在第一关键帧时刻的实际位姿T_wb的逆矩阵，即T_wb ^-1，p_w为第一地图点的三维位置信息，也即第一地图点在世界坐标系下的三维世界坐标，Z_c为T_cbT_bwp_w在z轴的分量。

由于第一地图点还可能在N个关键帧中除过第一关键帧图像之外的其他关键帧图像中存在对应的像素点，因此，对于第一地图点，通过上述公式四可以确定出至少一个重投影误差函数。类似地，对于M个地图点中除过第一地图点之外的每个地图点，通过上述公式四也可以确定出至少一个重投影误差函数。综上，P个重投影误差函数即是M个地图点中每个地图点对应的至少一个重投影误差函数的总和。下面通过举例的方式对P个重投影误差函数进行说明。

例如，N个关键帧图像为当前时刻之前的4个关键帧图像，当前图像包括10个特征点，其中有2个特征点与已构建的地图中的2个地图点一一对应。也即N等于4，M等于2。这2个地图点分别是地图点A和地图点B。其中地图点A在这4个关键帧图像中的关键帧图像1、关键帧图像2和关键帧图像3中有对应的像素点，则对于地图点A可以分别构建3个重投影误差函数；地图点B在这4个关键帧图像中的关键帧图像3和关键帧图像4中有对应的像素点，则对于地图点B可以分别构建2个重投影误差函数。因此，P个重投影误差函数即是上述对于地图点A分别构建的3个重投影误差函数，以及对于地图点B分别构建的2个重投影误差函数的总和，即P等于5。

步骤3032：最小化P个重投影误差函数之和，得到当前时刻当前摄像头相对于基准坐标系的外参。

在一种可能的实现方式中，最小化P个重投影误差函数之和可以通过如下公式五来表示。为了便于描述，公式五中的i代表M个地图点的索引，即表示M个地图点中的地图点i。j代表N个关键帧图像和N个关键帧时刻的索引，即表示N个关键帧图像中的关键帧图像j和关键帧时刻j。i，j代表地图点i与存在地图点i对应的像素点的关键帧图像j。

公式五：

其中，为当前时刻地图点i的三维位置信息的最优解，/>为当前时刻可移动设备在存在M个地图点对应的像素点的关键帧图像j，对应的关键帧时刻j的实际位姿的逆矩阵的最优解，/>为当前时刻当前摄像头相对于基准坐标系的外参的逆矩阵的最优解，u^i,j为地图点i在存在地图点i对应的像素点的关键帧图像j中对应的像素点的图像坐标，/>为当前时刻之前，可移动设备在存在M个地图点对应的像素点的关键帧图像j，对应的关键帧时刻j的实际位姿的逆矩阵，/>为当前时刻之前地图点i的三维位置信息，/>为/>在z轴的分量。

对于和/>可以分别构建雅克比方程，以对上述公式五线性化，从而确定出/>和/> 和/>的雅克比方程可以分别通过如下公式六、公式七和公式八来表示。

公式六：

其中，f_x为当前摄像头的内参中的焦距在x轴的分量，f_y为当前摄像头的内参中的焦距在y轴的分量，f_x与f_y可以相等，f_x与f_y也可以不相等，R_cb为T_cb的旋转分量，R_bw为T_bw的旋转分量，X_c为在x轴的分量，Z_c为/>在z轴的分量。

公式七：

其中，P_b定义为 为P_b的反对称矩阵，I为单位矩阵。

公式八：

其中，P_c定义为 为P_c的反对称矩阵。

上述公式六至公式八可以通过高斯牛顿法或莱文贝格-马夸特(Levenberg-Marquard，LM)算法等来使和/>收敛，从而确定出/>和/>应当理解的是，即是当前时刻当前摄像头相对于基准坐标系的外参的逆矩阵，根据/>即可确定出当前时刻当前摄像头相对于基准坐标系的外参。另外，由于/>为当前时刻地图点i的三维位置信息的最优解，所以可以根据/>将M个地图点中每个地图点的三维位置信息进行更新；由于/>为当前时刻可移动设备在存在M个地图点对应的像素点的关键帧图像j，对应的关键帧时刻j的实际位姿的逆矩阵的最优解，所以可以根据/>将可移动设备在每个存在M个地图点对应的像素点的关键帧图像，对应的关键帧时刻的实际位姿进行更新。也即是，通过步骤3031-步骤3032不仅可以确定出当前时刻当前摄像头相对于基准坐标系的外参，还可以对M个地图点中每个地图点的三维位置信息，以及可移动设备在每个存在M个地图点对应的像素点的关键帧图像，对应的关键帧时刻的实际位姿进行优化。也即是将M个地图点中每个地图点的三维位置信息进行更新，将可移动设备在每个存在M个地图点对应的像素点的关键帧图像，对应的关键帧时刻的实际位姿进行更新。使得可移动设备在M个地图点中每个地图点的三维位置信息，以及每个存在M个地图点对应的像素点的关键帧图像对应的关键帧时刻的实际位姿更加准确，进而使得可移动设备进行SLAM的准确度更高。

由上述描述可知，当前摄像头相对于基准坐标系的外参包括旋转分量和平移分量，由于可移动设备的运动状态不同，当前摄像头相对于基准坐标系的外参中的旋转分量和平移分量也不同。因此，步骤3032还可以通过如下步骤A-步骤C来实现。

步骤A：确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态。

由于在一种可能的实现方式中，当可移动设备在当前时刻处于直线运动状态时，确定当前时刻当前摄像头相对于基准坐标系的外参的平移分量不可观，但是该外参的旋转分量可观，也即是无法确定出该外参的平移分量，但是可以确定出该外参的旋转分量。但是当可移动设备在当前时刻处于转弯运动状态时，确定当前时刻当前摄像头相对于基准坐标系的外参的平移分量和旋转分量都可观，也即是可以确定出该外参的平移分量和旋转分量。因此，可以先确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态，从而可以使得对当前时刻当前摄像头相对基准坐标系的外参的确定更加准确。

示例性地，步骤A可以通过如下步骤(1)-步骤(2)来实现。

(1)：根据可移动设备在N个关键帧时刻的实际位姿，确定可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角度的标准差。

在一种可能的实现方式中，可移动设备在N个关键帧时刻中每个关键帧时刻的位姿的旋转分量均可以用一个四维向量[q_x q_y q_z q_w]来表示，可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角即可以通过如下公式九来表示。

公式九：

其中，θ_j为可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角，为可移动设备在关键帧时刻j的位姿的旋转分量的四维向量中的w分量。

通过上述公式九可以将可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角确定出来，从而根据标准差算法可以确定出可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角度的标准差。本申请实施例对标准差算法不做详细描述。

(2)：如果该标准差小于参考阈值，则确定可移动设备在当前时刻处于直线运动状态，否则，确定可移动设备在当前时刻处于转弯运动状态。

需要说明的是，参考阈值可以设置的较小，本申请实施例对此不做限定。例如，参考阈值可以设置为15度等。也即是如果该标准差小于15度，则确定可移动设备在当前时刻处于直线运动状态，如果该标准差大于或等于15度，则确定可移动设备在当前时刻处于转弯运动状态。

步骤B：如果可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻当前摄像头相对于基准坐标系的外参的平移分量。

在一种可能的实现方式中，第一最小化方式即是将公式八转变为如下公式十，继而通过公式六、公式七和公式十确定当前时刻当前摄像头相对于基准坐标系的外参的旋转分量。由于当可移动设备在当前时刻处于直线运动状态时，确定当前时刻当前摄像头相对于基准坐标系的外参的平移分量不可观，也即无法确定出该外参的平移分量。因此可以将上一时刻当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻当前摄像头相对于基准坐标系的外参的平移分量。

公式十：

步骤C：如果可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

由于当可移动设备在当前时刻处于转弯运动状态时，确定当前时刻当前摄像头相对于基准坐标系的外参的平移分量和旋转分量都可观。因此，在一种可能的实现方式中，第二最小化方式即是通过公式六至公式八确定当前时刻当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

值得注意的是，在一种可能的情况中，当前时刻当前摄像头的外参的平移分量与该外参的实际值相差不大，这时可以不对该外参的平移分量进行较大的修正，这样的条件下，可以将公式八转变为如下公式十一，从而使得确定当前时刻当前摄像头相对于基准坐标系的外参的准确度更高。

公式十一：

其中，λI为单位矩阵I乘以一个阻尼系数λ得到的矩阵。λ越大则当前时刻当前摄像头相对于基准坐标系的外参的平移分量的变化越小，实际应用中，可以将λ设置为5等，本申请实施例对此不做限定。

在本申请实施例中，先根据当前摄像头拍摄的当前图像中的M个特征点，确定与M个特征点一一对应的M个地图点中每个地图点，在N个关键帧图像中对应的像素点的图像坐标。由于可移动设备在构建地图的过程中通过当前摄像头，确定可移动设备在N个关键帧时刻的理论位姿不具有实际物理尺度，因此，可以根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例确定可移动设备在N个关键帧时刻的实际位姿。最后再根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。由于当前摄像头为可移动设备上安装的多目相机包括的多个摄像头中的任一摄像头，因此通过本申请实施例提供的方法可以确定当前时刻多目相机包括的每个摄像头相对于基准坐标系的外参，也即确定当前时刻多目相机的外参。本申请实施例根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，即可确定可移动设备在N个关键帧时刻的实际位姿，而不需要使用额外的装置等来确定可移动设备在N个关键帧时刻的实际位姿，使得确定多目相机的外参的过程更加简便。另外，本申请实施例可以在可移动设备运行的过程中实时确定多目相机的外参，不会影响可移动设备的正常运行，也即可以在线确定多目相机的外参，使得确定多目相机的外参更加高效，且省时省力。

图4是本申请实施例提供的一种多目相机外参确定装置框图。参见图4，该装置包括：第一确定模块401、第二确定模块402和第三确定模块403。

第一确定模块401，用于根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，当前摄像头为该多个摄像头中的任一摄像头，M个地图点与M个特征点一一对应，N个关键帧图像是指当前摄像头在当前时刻之前拍摄的N个关键帧图像，N和M均为大于或等于1的正整数；

第二确定模块402，用于根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿，N个关键帧时刻为N个关键帧图像的拍摄时刻，理论位姿是在构建地图的过程中确定的；

第三确定模块403，用于根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。

可选地，第三确定模块403包括：

建立子模块，用于根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，建立P个重投影误差函数；

最小化运算子模块，用于最小化P个重投影误差函数之和，得到当前时刻当前摄像头相对于基准坐标系的外参。

可选地，建立子模块包括：

建立单元，用于对于M个地图点中的第一地图点以及N个关键帧图像中的第一关键帧图像，根据第一地图点在第一关键帧图像中对应的像素点的图像坐标、可移动设备在第一关键帧时刻的实际位姿、第一地图点的三维位置信息和当前摄像头的内参，建立一个重投影误差函数；

其中，第一地图点为M个地图点中的任一地图点，第一关键帧图像为N个关键帧图像中存在第一地图点对应的像素点的关键帧图像，第一关键帧时刻为第一关键帧图像的拍摄时刻。

可选地，当前摄像头相对于该基准坐标系的外参包括旋转分量和平移分量；

最小化运算子模块包括：

确定单元，用于确定可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

最小化运算单元，用于如果可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻当前摄像头相对于基准坐标系的外参的平移分量。

可选地，该装置还包括：

最小化运算模块，用于如果可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对P个重投影误差函数之和进行最小化处理，得到当前时刻当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

可选地，确定单元包括：

第一确定子单元，用于根据可移动设备在N个关键帧时刻的实际位姿，确定可移动设备在N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；

第二确定子单元，用于如果该标准差小于参考阈值，则确定可移动设备在当前时刻处于直线运动状态，否则，确定可移动设备在当前时刻处于转弯运动状态。

可选地，该装置还包括：

第一获取模块，用于获取当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

第四确定模块，用于根据当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定可移动设备的第一相对位姿；

第二获取模块，用于通过可移动设备上安装的尺度获取器获取可移动设备在第一时刻的位姿和在第二时刻的位姿；

第五确定模块，用于根据尺度获取器在第一时刻获取的位姿和在第二时刻获取的位姿，确定可移动设备的第二相对位姿；

第六确定模块，用于将第一相对位姿的平移分量的模与第二相对位姿的平移分量的模之间的比值确定为参考尺度比例。

在本申请实施例中，先根据当前摄像头拍摄的当前图像中的M个特征点，确定与M个特征点一一对应的M个地图点中每个地图点，在N个关键帧图像中对应的像素点的图像坐标。由于可移动设备在构建地图的过程中通过当前摄像头，确定可移动设备在N个关键帧时刻的理论位姿不具有实际物理尺度，因此，可以根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例确定可移动设备在N个关键帧时刻的实际位姿。最后再根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。由于当前摄像头为可移动设备上安装的多目相机包括的多个摄像头中的任一摄像头，因此通过本申请实施例提供的方法可以确定当前时刻多目相机包括的每个摄像头相对于基准坐标系的外参，也即确定当前时刻多目相机的外参。本申请实施例根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，即可确定可移动设备在N个关键帧时刻的实际位姿，而不需要使用额外的装置等来确定可移动设备在N个关键帧时刻的实际位姿，使得确定多目相机的外参的过程更加简便。另外，本申请实施例可以在可移动设备运行的过程中实时确定多目相机的外参，不会影响可移动设备的正常运行，也即可以在线确定多目相机的外参，使得确定多目相机的外参更加高效，且省时省力。

需要说明的是：上述实施例提供的多目相机外参确定装置在确定多目相机的外参时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多目相机外参确定装置与多目相机外参确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请实施例提供的一种可移动设备的结构示意图，该可移动设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由该处理器501加载并执行，以实现上述实施例中多目相机外参确定方法。当然，该可移动设备500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该可移动设备500还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由可移动设备中的处理器执行以完成上述实施例中多目相机外参确定方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种多目相机外参确定方法，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述方法包括：

根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；

根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；

根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。

2.如权利要求1所述的方法，其特征在于，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参，包括：

根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；

最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。

3.如权利要求2所述的方法，其特征在于，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数，包括：

对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；

其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。

4.如权利要求2或3所述的方法，其特征在于，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；

所述最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参，包括：

确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。

5.如权利要求4所述的方法，其特征在于，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态之后，所述方法还包括：

如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

6.如权利要求4所述的方法，其特征在于，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态，包括：

根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度，计算确定的多个旋转角度的标准差；

如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。

7.如权利要求1所述的方法，其特征在于，所述根据所述可移动设备在当前时刻之前的N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿之前，所述方法还包括：

获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；

通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；

根据所述尺度获取器在所述第一时刻获取的位姿和在所述第二时刻获取的位姿，确定所述可移动设备的第二相对位姿；

将所述第一相对位姿的平移分量的模与所述第二相对位姿的平移分量的模之间的比值确定为所述参考尺度比例；

其中，所述第一相对位姿是所述可移动设备根据所述当前摄像头在第一时刻拍摄的图像确定的位姿，相对于所述可移动设备根据所述当前摄像头在第二时刻拍摄的图像确定的位姿，或者，所述第一相对位姿是所述可移动设备根据所述当前摄像头在第二时刻拍摄的图像确定的位姿，相对于所述可移动设备根据所述当前摄像头在第一时刻拍摄的图像确定的位姿；

所述第二相对位姿是所述可移动设备通过所述尺度获取器获取的第一时刻的位姿，相对于所述可移动设备通过所述尺度获取器获取的第二时刻的位姿，或者，所述第二相对位姿是所述可移动设备通过所述尺度获取器获取的第二时刻的位姿，相对于所述可移动设备通过所述尺度获取器获取的第一时刻的位姿。

8.一种多目相机外参确定装置，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述装置包括：

第一确定模块，用于根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；

第二确定模块，用于根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；

第三确定模块，用于根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。

9.如权利要求8所述的装置，其特征在于，所述第三确定模块包括：

建立子模块，用于根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；

最小化运算子模块，用于最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。

10.如权利要求9所述的装置，其特征在于，所述建立子模块包括：

建立单元，用于对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；

其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。

11.如权利要求9或10所述的装置，其特征在于，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；

所述最小化运算子模块包括：

确定单元，用于确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；

最小化运算单元，用于如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。

12.如权利要求11所述的装置，其特征在于，所述装置还包括：

最小化运算模块，用于如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。

13.如权利要求11所述的装置，其特征在于，所述确定单元包括：

第一确定子单元，用于根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度，计算确定的多个旋转角度的标准差；

第二确定子单元，用于如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。

14.如权利要求8所述的装置，其特征在于，所述装置还包括：

第一获取模块，用于获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；

第四确定模块，用于根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；

第二获取模块，用于通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；

第五确定模块，用于根据所述尺度获取器在所述第一时刻获取的位姿和在所述第二时刻获取的位姿，确定所述可移动设备的第二相对位姿；

第六确定模块，用于将所述第一相对位姿的平移分量的模与所述第二相对位姿的平移分量的模之间的比值确定为所述参考尺度比例；

其中，所述第一相对位姿是所述可移动设备根据所述当前摄像头在第一时刻拍摄的图像确定的位姿，相对于所述可移动设备根据所述当前摄像头在第二时刻拍摄的图像确定的位姿，或者，所述第一相对位姿是所述可移动设备根据所述当前摄像头在第二时刻拍摄的图像确定的位姿，相对于所述可移动设备根据所述当前摄像头在第一时刻拍摄的图像确定的位姿；

所述第二相对位姿是所述可移动设备通过所述尺度获取器获取的第一时刻的位姿，相对于所述可移动设备通过所述尺度获取器获取的第二时刻的位姿，或者，所述第二相对位姿是所述可移动设备通过所述尺度获取器获取的第二时刻的位姿，相对于所述可移动设备通过所述尺度获取器获取的第一时刻的位姿。