CN112907654A - 多目相机外参数优化方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供的多目相机外参数优化方法、装置、电子设备及存储介质，能够在汽车行驶过程中，通过多目相机系统进行多目视觉定位及三维重建，在其过程中加入多目相机外参数的优化，完成多目相机外参数的在线更新。基于本发明，能够应对多目相机外参数初始标定不准确、以及后期使用过程中发生改变等问题，保证准确性，从而显著改善因多目相机外参数不准确带来的多目相机定位建图精度较差的问题。

Description

多目相机外参数优化方法、装置、电子设备及存储介质

技术领域

本发明涉及智能汽车技术领域，更具体地说，涉及一种多目相机外参数优化方法、装置、电子设备及存储介质。

背景技术

车载相机是目前智能汽车车载环境感知系统使用最为普遍的传感器，在自动驾驶、智能座舱等应用中都具有重要的作用。相比于单个相机，为了获得更大的感知范围以及更加可靠的结果，目前在智能汽车中都广泛采用多目相机系统。

在多目相机系统中，多目相机外参数一般是指多目相机系统中各个相机互相之间的相对位姿或者各个相机相对于某个固定参考系，如车体或路面的位姿，是进行多路图像拼接、多目视觉定位等应用的重要参数。

一旦多目相机外参数初始标定不准确、或者实际使用过程中发生改变导致不准确，就会影响后续的应用。

发明内容

有鉴于此，为解决上述问题，本发明提供一种多目相机外参数优化方法、装置、电子设备及存储介质，技术方案如下：

一种多目相机外参数优化方法，所述方法包括：

将多目相机系统的图像帧输入至多目视觉slam系统，以使所述多目视觉slam系统基于预设的多目相机外参数对所述图像帧进行局部三维重建，所述图像帧包括所述多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像；

获取所述多目视觉slam系统输出的局部三维地图和所述多目相机系统的本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿，所述局部三维地图包括所述图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，所述第一邻域范围是所述多目视觉slam系统所确定的；

针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，所述局部三维地图的重投影误差为所述局部三维地图中所有三维地图点的重投影误差之和。

优选的，所述以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，包括：

以最小化所述局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是所述多目相机系统中相机i的外参数，

是相机i的重投影函数，u^{i ，j，k}是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以

为优化变量，使用非线性优化方法对所述损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

优选的，所述方法还包括：

将优化后的多目相机外参数输入至所述多目视觉slam系统，以使所述多目视觉slam系统能够基于优化后的多目相机外参数对新输入的图像帧进行局部三维重建。

优选的，所述将多目相机系统的图像帧输入至多目视觉slam系统之前，所述方法还包括：

如果所述多目相机外参数包括所述多目相机系统中各相机间的相对位姿，确定所述多目相机系统的本体坐标系；

将所述多目相机外参数转换到所述本体坐标系下。

优选的，所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像之前，所述方法还包括：

获取用于优化所述多目相机外参数的第二邻域范围；

根据所述第二邻域范围对所述第一邻域范围内的关键帧进行增减处理。

优选的，所述方法还包括：

获取用于触发优化所述多目相机外参数的关键帧信息；

在所述关键帧信息符合预设的触发条件时，执行所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像。

一种多目相机外参数优化装置，所述装置包括：

图像帧输入模块，用于将多目相机系统的图像帧输入至多目视觉slam系统，以使所述多目视觉slam系统基于预设的多目相机外参数对所述图像帧进行局部三维重建，所述图像帧包括所述多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像；

信息获取模块，用于获取所述多目视觉slam系统输出的局部三维地图和所述多目相机系统的本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿，所述局部三维地图包括所述图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，所述第一邻域范围是所述多目视觉slam系统所确定的；

地图点处理模块，用于针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

外参数优化模块，用于以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，所述局部三维地图的重投影误差为所述局部三维地图中所有三维地图点的重投影误差之和。

优选的，所述外参数优化模块，具体用于：

以最小化所述局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是所述多目相机系统中相机i的外参数，

是相机i的重投影函数，u^{i ，j，k}是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以

为优化变量，使用非线性优化方法对所述损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

一种电子设备，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现任意一项所述的多目相机外参数优化方法。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行任意一项所述的多目相机外参数优化方法。

本发明提供的多目相机外参数优化方法、装置、电子设备及存储介质，能够在汽车行驶过程中，通过多目相机系统进行多目视觉定位及三维重建，在其过程中加入多目相机外参数的优化，完成多目相机外参数的在线更新。基于本发明，能够应对多目相机外参数初始标定不准确、以及后期使用过程中发生改变等问题，保证准确性，从而显著改善因多目相机外参数不准确带来的多目相机定位建图精度较差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的多目相机外参数优化方法的方法流程图；

图2为本发明实施例提供的多目相机外参数优化装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

随着人工智能和信息技术的飞速发展，智能汽车、智能出行已经成为目前研究和应用的潮流。为智能车辆加入各类传感器，辅助以各种人工智能算法，能够让汽车拥有感知周围环境、智能驾驶的能力。其中相机是智能汽车车载环境感知系统使用最为普遍的传感器，在自动驾驶、智能座舱等应用中都具有重要的作用。为了获得更大的感知范围以及更加可靠的结果，目前智能汽车中都广泛采用多目相机系统。

为了联合各个相机的信息，多目相机外参数是不可或缺的一项参数。多目相机外参数一般是指多目相机系统中各个相机互相之间的相对位姿或者各个相机相对于刚性车体或路面的位姿。在多路图像拼接、多路视觉定位等应用中都是不可或缺的重要参数。

为了获取多目相机外参数，通常做法都是在车辆出厂时进行初始标定。一般是在专用的标定场地地面布置相关特殊标识物，通过各个相机共同观测到的特殊标识物信息进行标定。

一方面汽车在出厂后的长期使用中相机的相对位置关系可能发生变化，尤其对于安装在例如车门后视镜、引擎盖等活动部件位置的相机；另一方面大部分初始相机标定的方法也无法做到完全准确。因此，这对于一些精度要求较高的应用例如自动驾驶、视觉定位建图来说可能无法满足要求。

为解决上述问题，本发明提供一种多目相机外参数优化方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，将多目相机系统的图像帧输入至多目视觉slam系统，以使多目视觉slam系统基于预设的多目相机外参数对图像帧进行局部三维重建，图像帧包括多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像。

本发明实施例中，多目相机系统包括多个相机，将各个相机在同一时间或者近似同一时间采集的多个单路图像集合为一组，作为多目相机系统的一个图像帧。具体，可以按照相机编号将各相机的单路图像进行集合，以此确定相机与单路图像的对应关系。

一般来说，多目相机外参数是各相机相对于车体或路面等固定参考系的位置，因此，对于多目相机系统来说，该固定参考系即为其本体坐标系。

但对于多目相机外参数包括各相机间的相对位姿的情况，各相机的参考系不同，因此就需要确定一个固定参考系作为多目相机系统的本体坐标系，该本体坐标系可以为某个相机的成像坐标系，还可以为多目相机系统所固连刚体(比如汽车底盘)上的坐标系，进而将多目相机外参数中各相机的相对位姿转换为该本体坐标系下。当然，在转换时，需要预先标定本体坐标系与多目相机系统中至少一个相机的相对位置关系，进而通过坐标系转换实现。

需要说明的是，本体坐标系本质上为各相机外参数的一个基准，即多目相机外参数中各相机的外参数是各相机相对于该本体坐标系的相对位姿。

还需要说明的是，多目视觉slam系统是一个独立的单元，为方便理解，以下对其进行说明：

视觉slam(Visual Simultaneous Localization and Mapping，V-SLAM，视觉同时定位与建图)，是指使用视觉传感器在运动中进行环境感知，同时进行三维环境地图的构建与传感器位姿定位的方法。为了获取更大的视野范围，应对遮挡、环境纹理较少等问题，视觉slam系统中的视觉传感器可以采用由相对位置固定的多个相机所构成的多目相机系统，即多目视觉slam系统。

多目视觉slam系统目前已经存在相关的视觉定位与建图方案，能够在系统运动时联合各个相机的观测建立统一的局部三维地图，并同时估计多目系统的位姿。相比于单目视觉slam系统，多目视觉slam系统都需要事先已知多目相机外参数，即各个相机的外参数，将其作为精确的已知量使用，才能得到足够精确的结果，均未考虑多目相机外参数不准确带来的问题。

多目视觉slam系统一般包含生成关键帧以及局部三维重建过程。具体来说，多目视觉slam系统一般不会把每一个图像帧都用于三维地图重建的工作，而是根据一定的规则把某些更具价值的帧保存为关键帧，称这个过程为生成关键帧过程。生成了关键帧后，依据以往的关键帧是否与当前关键帧有足够的共视关系确定当前关键帧的一个邻域范围(即本发明中的第一邻域范围)，通过在这个邻域范围内与之前的关键帧之间进行关键点匹配和三角测量完成三维地图重建，最后在该邻域范围内进行光束法平差来优化重建出的三维地图点位置以及传感器的位姿，称以上这个过程为局部三维重建过程。当然，在本发明中，传感器的位姿即为多目相机系统的本体坐标系的位姿。由此，多目视觉slam系统的局部三维重建过程完成。

S20，获取多目视觉slam系统输出的局部三维地图和多目相机系统的本体坐标系在局部三维地图范围内各关键帧时刻的位姿，局部三维地图包括图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，第一邻域范围是多目视觉slam系统所确定的。

本发明实施例中，在某个时刻，多目视觉slam系统在确定输入的图像帧为当前关键帧时，可以依据第一邻域范围内的关键帧(包含当前关键帧)进行局部三维重建，输出一个局部三维地图、以及本体坐标系在局部三维地图范围内各关键帧时刻的位姿。该局部三维地图中包含第一邻域范围内各关键帧所观测到的三维地图点。

以第一邻域范围为5帧为例，按照时间次序5个关键帧分别为关键帧A、关键帧B、关键帧C、关键帧D和关键帧E(当前关键帧)。局部三维地图中关键帧A所观测到的三维地图点有地图点1、地图点2、地图点3和地图点4；关键帧B所观测到的三维地图点有地图点1、地图点2和地图点5；关键帧C所观测到的三维地图点有地图点4、地图点5、地图点6和地图点7；关键帧D所观测到的三维地图点有地图点8、地图点9；关键帧E所观测到的三维地图点有地图点7和地图点10。任意两个关键帧所观测到的三维地图点，可以部分相同，还可以全部不同。

需要说明的是，在实际应用中，三维地图点的数量极多，它们与各关键帧间的观测关系也很复杂，即每个关键帧所观测到的三维地图点数量很多，每个三维地图点也能被很多关键帧所观测到，因此，任意两个关键帧所观测到的三维地图点基本都是存在重合的。

S30，针对局部三维地图中的每个三维地图点，在第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差。

本发明实施例中，在多目视觉slam系统局部三维重建之后，可以进行多目相机外参数优化过程，对多目相机外参数的误差进行消减和平均，以实现多目相机外参数的实时优化更新。

一方面，本发明实施例也是在与当前关键帧具有共视关系的邻域范围内进行多目相机外参数的优化，以达到实时优化的目的，即实时地将外参误差进行优化消减。因此，可以与多目视觉slam系统共用一个邻域范围，即以第一邻域范围内的关键帧为基础进行优化。

继续以第一邻域范围为5帧为例。遍历局部三维地图中每个三维地图点，以地图点1为例，首先在关键帧A、关键帧B、关键帧C、关键帧D和关键帧E中确定具有该地图点的关键帧——关键帧A和关键帧B，并且，由于一个关键帧包含多个相机同一时间采集的多个单路图像，因此，对于关键帧A和关键帧B来说，分别需要从中确定具有与该地图点1相匹配的单路图像。

以多目相机系统包含三个相机为例，一个图像帧包含相机1、相机2和相机3在相应时间点采集的三个单路图像。假设，关键帧A包含的三个单路图像中相机1的单路图像1_1与相机2的单路图像2_1具有与该地图点1相匹配的关键点，关键帧B包含的三个单路图像中相机1的单路图像1_2具有与该地图点1相匹配的关键点。

此时，将该地图点1分别投影至相机1和相机2在相应时间点的成像平面上，获得其在单路图像1_1、单路图像2_1和单路图像1_2上的重投影位置。以单路图像1_1为例，首先确定该地图点1在该单路图像1_1中的实际观测位置，进而通过重新投影确定该地图点1在该单路图像1_1上的重投影位置，将该实际观测位置和重投影位置相减来获得该地图点1在该单路图像1_1上的重投影误差。

由此，该地图点1分别在单路图像1_1、单路图像2_1和单路图像1_2各自具有一个相应的重投影误差，进而将三者重投影误差之和作为该地图点1的重投影误差。当然，还可以对三个重投影误差进行其他处理操作获得地图点1的重投影误差，本发明实施例对此不做限定。

当然，在其他一些实施例中，为适应多种优化场景，用户还可以指定优化多目相机外参数的邻域范围，即第二邻域范围，此时，本发明实施例还可以根据第二邻域范围对第一邻域范围内的关键帧进行增减处理。

继续以第一邻域范围为5帧为例。假设第二邻域范围为3帧，则可以将关键帧A和关键帧B剔除，相应的，局部三维地图中的三维地图点也不包含关键帧A和关键帧B的三维地图点。

而假设第二邻域范围为6帧，则可以将在时间方面距离关键帧A最近的一个关键帧添加至第一邻域范围内，相应的，局部三维地图中的三维地图点也进一步包含所添加的该关键帧的三维地图点。

需要说明的是，本发明实施例中第一邻域范围和第二邻域范围两者保持相同或相差不大(比如设置相差不超过N帧)，这样能够保证局部三维地图的范围足够，能够给外参优化提供足够多的约束，但也不会过大影响效率。

在其他一些实施例中，为把控多目相机外参数的优化时机，本发明实施例还包括如下步骤：

获取用于触发优化多目相机外参数的关键帧信息；在关键帧信息符合预设的触发条件时，执行步骤S30。

本发明实施例中，关键帧信息可以是关键帧的数量，即在多目视觉slam系统生成足够数量的关键帧之后再进行多目相机外参数的优化。

当然，在该思想下，本发明实施例还可以提供其他的执行策略，例如在每次局部三维重建之后都进行多目相机外参数的优化，再比如按照局部三维重建的次数间隔进行多目相机外参数的优化。此外，还可以在多目视觉slam系统全部执行结束后，对全部地图范围内的关键帧进行多目相机外参数的优化。

一种优选的策略是在多目视觉slam系统进行了足够多次数(例如5、10次等)的局部三维重建之后，在后续的每次局部三维重建后都进行多目相机外参数的优化。这是因为多目视觉slam系统的局部三维重建过程需要用到多目相机外参数，这种策略可以保证多目视觉slam系统先按照初始的多目相机外参数稳定进行一段时间的局部三维重建，然后才利用初始重建的局部三维地图进行多目相机外参数的优化。

S40，以最小化局部三维地图的重投影误差为目标，根据本体坐标系在局部三维地图范围内各关键帧时刻的位姿对多目相机外参数进行优化，局部三维地图的重投影误差为局部三维地图中所有三维地图点的重投影误差之和。

本发明实施例中，在多目视觉slam系统局部三维重建过程中，进行多目相机外参数优化，确定多目相机外参优化的损失函数，将优化过程明确为一个非线性优化问题。仅以多目相机外参数为优化变量，最小化局部三维地图的重投影误差，进行非线性优化迭代求解。具体如下：

以最小化局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是多目相机系统中相机i的外参数，

是相机i的重投影函数，u^i，j，k是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以

为优化变量，使用非线性优化方法对损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

具体的，可以在达到误差收敛或者最大迭代次数时停止迭代，获得优化后的多目相机外参数。

在其他一些实施例中，在多目相机外参数优化结束之后，可以实时向多目视觉slam系统更新优化后的多目相机外参数，使得多目视觉slam系统在后续的局部三维重建过程中使用最新的多目相机外参数。

由此，在多目视觉slam过程中加入多目相机外参数优化过程来进行实时外参数优化。利用多目视觉slam系统局部三维重建过程实时重建出的局部三维地图对多目相机外参数进行优化，一方面这是一种直接对多目相机相对位姿进行优化的技术方案，另一方面优化后的多目相机外参数反过来又能改进多目视觉slam系统的输出结果，这种结合使得两者互相反馈推进，将各项误差充分平均，从而获得了更加准确的多目相机外参数，同时也能改善包括多目视觉slam在内的各种依赖多目相机外参数的应用的结果。能够成功应对多目相机系统初始外参不准确的问题，具有较高的精度。

另外，本发明在多目相机系统的运动过程中，进行多目视觉slam过程并加入多目相机外参数优化过程，完成多目相机外参数的在线优化更新。能够在多目相机系统完成初始标定后的后期使用过程中进行在线优化，无需专门进行停机修正和专业人工干预。并且，本发明不需要使用如标定板、车道线等特殊标识物、无需多目相机系统做特殊的运动，对使用场景的限制小。

基于以上实施例提供的多目相机外参数优化方法，本发明实施例还提供一种执行该多目相机外参数优化方法的装置，该装置的结构示意图如图2所示，包括：

图像帧输入模块10，用于将多目相机系统的图像帧输入至多目视觉slam系统，以使多目视觉slam系统基于预设的多目相机外参数对图像帧进行局部三维重建，图像帧包括多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像。

信息获取模块20，用于获取多目视觉slam系统输出的局部三维地图和多目相机系统的本体坐标系在局部三维地图范围内各关键帧时刻的位姿，局部三维地图包括图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，第一邻域范围是多目视觉slam系统所确定的；

地图点处理模块30，用于针对局部三维地图中的每个三维地图点，在第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

外参数优化模块40，用于以最小化局部三维地图的重投影误差为目标，根据本体坐标系在局部三维地图范围内各关键帧时刻的位姿对多目相机外参数进行优化，局部三维地图的重投影误差为局部三维地图中所有三维地图点的重投影误差之和。

可选的，外参数优化模块，具体用于：

以最小化局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是多目相机系统中相机i的外参数，

是相机i的重投影函数，u^i，j，k是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以

为优化变量，使用非线性优化方法对损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

可选的，外参数优化模块40，还用于：

将优化后的多目相机外参数输入至多目视觉slam系统，以使多目视觉slam系统能够基于优化后的多目相机外参数对新输入的图像帧进行局部三维重建。

可选的，图像帧输入模块10还用于：

如果多目相机外参数包括多目相机系统中各相机间的相对位姿，确定多目相机系统的本体坐标系；将多目相机外参数转换到本体坐标系下。

可选的，地图点处理模块30还用于：

获取用于优化多目相机外参数的第二邻域范围；根据第二邻域范围对第一邻域范围内的关键帧进行增减处理。

可选的，地图点处理模块30，还用于：

获取用于触发优化多目相机外参数的关键帧信息；在关键帧信息符合预设的触发条件时，执行针对局部三维地图中的每个三维地图点，在第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像。

需要说明的是，本发明实施例中各模块的细化功能，可以参见上述多目相机外参数优化方法实施例的相应公开部分，在此不再赘述。

本发明实施例还提供一种电子设备，包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用所述存储器存储的程序，程序用于实现图1所示的多目相机外参数优化方法。该电子设备包括但不限于手机、计算机、平板电脑等终端设备。

本发明实施例还提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令用于执行图1所示的多目相机外参数优化方法。该存储介质例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

以上对本发明所提供的一种多目相机外参数优化方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多目相机外参数优化方法，其特征在于，所述方法包括：

将多目相机系统的图像帧输入至多目视觉slam系统，以使所述多目视觉slam系统基于预设的多目相机外参数对所述图像帧进行局部三维重建，所述图像帧包括所述多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像；

获取所述多目视觉slam系统输出的局部三维地图和所述多目相机系统的本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿，所述局部三维地图包括所述图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，所述第一邻域范围是所述多目视觉slam系统所确定的；

针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，所述局部三维地图的重投影误差为所述局部三维地图中所有三维地图点的重投影误差之和。

2.根据权利要求1所述的方法，其特征在于，所述以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，包括：

以最小化所述局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是所述多目相机系统中相机i的外参数，

是相机i的重投影函数，u^i，j，k是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以

为优化变量，使用非线性优化方法对所述损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将优化后的多目相机外参数输入至所述多目视觉slam系统，以使所述多目视觉slam系统能够基于优化后的多目相机外参数对新输入的图像帧进行局部三维重建。

4.根据权利要求1所述的方法，其特征在于，所述将多目相机系统的图像帧输入至多目视觉slam系统之前，所述方法还包括：

如果所述多目相机外参数包括所述多目相机系统中各相机间的相对位姿，确定所述多目相机系统的本体坐标系；

将所述多目相机外参数转换到所述本体坐标系下。

5.根据权利要求1所述的方法，其特征在于，所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像之前，所述方法还包括：

获取用于优化所述多目相机外参数的第二邻域范围；

根据所述第二邻域范围对所述第一邻域范围内的关键帧进行增减处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用于触发优化所述多目相机外参数的关键帧信息；

在所述关键帧信息符合预设的触发条件时，执行所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像。

7.一种多目相机外参数优化装置，其特征在于，所述装置包括：

图像帧输入模块，用于将多目相机系统的图像帧输入至多目视觉slam系统，以使所述多目视觉slam系统基于预设的多目相机外参数对所述图像帧进行局部三维重建，所述图像帧包括所述多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像；

信息获取模块，用于获取所述多目视觉slam系统输出的局部三维地图和所述多目相机系统的本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿，所述局部三维地图包括所述图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，所述第一邻域范围是所述多目视觉slam系统所确定的；

地图点处理模块，用于针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

外参数优化模块，用于以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，所述局部三维地图的重投影误差为所述局部三维地图中所有三维地图点的重投影误差之和。

8.根据权利要求7所述的装置，其特征在于，所述外参数优化模块，具体用于：

以最小化所述局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，

是三维地图点k在世界坐标系中的三维坐标，

是在关键帧j对应的本体坐标系的位姿，

是所述多目相机系统中相机i的外参数，

是相机i的重投影函数，u^i，j，k是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；以

为优化变量，使用非线性优化方法对所述损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

9.一种电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-6任意一项所述的多目相机外参数优化方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-6任意一项所述的多目相机外参数优化方法。

Images