CN110689585B

CN110689585B - 多相机外参的联合标定方法、装置、设备和介质

Info

Publication number: CN110689585B
Application number: CN201910955707.0A
Authority: CN
Inventors: 贾金让; 时一峰; 胡星
Original assignee: Apollo Intelligent Technology Beijing Co Ltd
Current assignee: Apollo Intelligent Technology Beijing Co Ltd
Priority date: 2019-10-09
Filing date: 2019-10-09
Publication date: 2022-06-21
Anticipated expiration: 2039-10-09
Also published as: EP3806041A1; CN110689585A; EP3806041B1; US20210112190A1; CN114581532A; CN114663528A; US11394872B2

Abstract

本申请公开了一种多相机外参的联合标定方法、装置、设备和介质，可用于自动驾驶领域。具体实现方案为：确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点；对每个相机分别进行外参标定，得到各相机的当前外参；分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数，其中，所述损失函数用于衡量在当前外参下各相机标定的叠加误差；依据所述损失函数进行联合标定，得到各相机的目标外参。本申请实施例通过损失函数来衡量当前外参下各相机标定的叠加误差，并依据损失函数进行联合标定，从而消除多相机标定的误差叠加。

Description

多相机外参的联合标定方法、装置、设备和介质

技术领域

本申请涉及图像处理技术，可用于自动驾驶领域，尤其涉及一种相机外参标定技术，具体涉及一种多相机外参的联合标定方法、装置、设备和介质。

背景技术

相机外参标定是指在相机安装后，通过某种方法得到世界坐标系到相机坐标系的变换矩阵(由旋转矩阵和平移向量组成)，该变换矩阵即为相机外参。相机外参是将物体在真实世界的位置和图像中的像素位置连接起来的必要条件，在需要定位图像中物体位置的领域中十分重要，如自动驾驶、安防等。因此，计算出准确的相机外参十分必要。

发明内容

本申请实施例提供一种多相机外参的联合标定方法、装置、设备和介质，以减小多相机外参的叠加误差。

第一方面，本申请实施例提供了一种多相机外参的联合标定方法，包括：

确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点；

对每个相机分别进行外参标定，得到各相机的当前外参；

分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数，其中，所述损失函数用于衡量在当前外参下各相机标定的叠加误差；

依据所述损失函数进行联合标定，得到各相机的目标外参。

上述申请中的一个实施例具有如下优点或有益效果：通过在现有技术基础上增加验证环节，根据验证点映射回世界坐标系的3D点计算损失函数，通过损失函数来衡量在当前外参下各相机标定的叠加误差，从而起到一定的验证作用，并依据该损失函数进行多相机的联合标定，确定最终的目标外参，从而在很大程度上消除了多相机误差的叠加，为后续进行多相机融合提供良好的基础。

可选的，所述依据所述损失函数进行联合标定，得到各相机的目标外参，包括：

重复执行如下操作，直到执行次数满足预设阈值，并将计算得到的各损失函数中，数值满足预设条件的损失函数对应的各相机外参，作为各相机的目标外参：

对每个相机分别进行外参标定，得到各相机的当前外参；

分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数。

上述申请中的一个实施例具有如下优点或有益效果：通过迭代多次求每一次的损失函数，并从中求得最优解，得到最优的相机外参。

可选的，所述根据所述3D点的坐标计算损失函数，包括：

将任一验证点作为当前验证点，根据每一个相机对应计算得到的所述当前验证点的3D点的坐标计算方差；

将各个验证点对应计算得到的方差求和，将和值作为所述损失函数。

上述申请中的一个实施例具有如下优点或有益效果：在不知道验证点在世界坐标系的真值的情况下，通过方差的计算，来衡量各相机针对同一个验证点在世界坐标系下映射的各3D点的聚拢程度，聚拢程度越好，说明各相机的重投影误差越趋向于同一方向，其叠加误差则越小，从而起到通过损失函数对当前外参下各相机标定的叠加误差进行衡量和验证的作用。

可选的，所述根据所述3D点的坐标计算损失函数，包括：

将任一验证点作为当前验证点，根据所述当前验证点在所述世界坐标系的真值，确定每一个相机对应计算得到的所述当前验证点的3D点与所述真值的距离，并计算所述距离的均值；

结合所述真值，根据每一个相机对应计算得到的所述当前验证点的3D点的坐标计算方差；

将所述当前验证点对应计算得到的方差和均值进行加权求和；

将各个验证点对应计算得到的所述加权求和的结果进行求和，将和值作为所述损失函数。

上述申请中的一个实施例具有如下优点或有益效果：在能够获取验证点在世界坐标系的真值的情况下，将均值和方差共同作为损失函数的一部分，方差可以衡量各3D点的聚拢程度，而均值则可以衡量各3D点距离真值的远近，进一步从聚拢程度和与真值距离两个角度共同来衡量各相机标定的叠加误差，以提高求外参最优解的准确性。

可选的，所述根据所述3D点的坐标计算损失函数，还包括：

确定每一个相机对应计算得到的所述当前验证点的3D点中，任意两个3D点之间距离最小的距离值；

在计算得到的所述损失函数的基础上，将所述损失函数加上各个验证点对应计算得到的所述距离值。

上述申请中的一个实施例具有如下优点或有益效果：在通过方差和均值计算损失函数的基础上，又增加了一个维度，即任意两个3D点之间的距离，因为如果任意两个3D点之间的距离越小，也能从该维度表明外参的叠加误差越小，从而进一步提高通过损失函数来衡量叠加误差的准确度。

可选的，所述对每个相机分别进行外参标定，得到各相机的当前外参，包括：

利用最近点匹配法和最小化重投影误差法，对每个相机分别进行外参标定，得到各相机的当前外参。

第二方面，本申请实施例还提供了一种多相机外参的联合标定装置，包括：

验证点集获取模块，用于确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点；

单相机外参标定模块，用于对每个相机分别进行外参标定，得到各相机的当前外参；

损失函数计算模块，用于分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数，其中，所述损失函数用于衡量在当前外参下各相机标定的叠加误差；

多相机联合标定模块，用于依据所述损失函数进行联合标定，得到各相机的目标外参。

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的多相机外参的联合标定方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的多相机外参的联合标定方法。

上述申请中的一个实施例具有如下优点或有益效果：通过在现有技术基础上增加验证环节，通过验证点集回3D的结果确定最优的相机联合标定的外参，解决了以往的单相机标定中的只考虑单相机重投影误差的局限性问题，很大程度上消除了多相机误差的叠加，为后续进行多相机融合提供良好的基础。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的多相机外参的联合标定方法的流程示意图；

图2是本申请第一实施例中多相机标定的叠加误差的示意图；

图3是根据本申请第二实施例的多相机外参的联合标定方法的流程示意图；

图4是根据本申请第三实施例的多相机外参的联合标定装置的结构示意图；

图5是用来实现本申请实施例的多相机外参的联合标定方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在计算相机外参的场景中，有一些应用场景是需要分布式多相机从不同位置和角度拍摄同一场景，例如路侧感知，即在路口分布式布置有多个相机，后续再进行多相机融合，以在该场景下进行目标定位。然而，标定单相机的外参会存在误差，那么在分布式多相机标定时，不同相机的外参标定最大误差就会发生叠加，造成目标回3D位置的不准确，对后续的多相机融合造成影响。而本申请实施例通过在现有技术基础上增加验证环节，通过验证点集回3D的结果确定最优的相机联合标定的外参，解决了以往的单相机标定中的只考虑单相机重投影误差的局限性问题，很大程度上消除了多相机误差的叠加，为后续进行多相机融合提供良好的基础。

图1是根据本申请第一实施例的多相机外参的联合标定方法的流程示意图，本实施例可适用于对多相机外参进行联合标定的情况，例如路测感知应用场景中分布式布置的多个相机。该方法可由一种多相机外参的联合标定装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图1所示，该方法具体包括如下：

S101、确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点。

在分布式多相机场景下，例如路测感知的应用场景，通常是利用多个相机同时拍摄同一个位置或目标，例如某路口处。因此，各相机视角会存在重合区域，也就是每一个相机都能拍摄到的区域。选取的2D验证点可以是该重合区域中的一个点，也可以是多个点，优选为没有参与S102中相机外参标定的点，这样才能起到验证的作用。

S102、对每个相机分别进行外参标定，得到各相机的当前外参。

其中，可以采用现有技术中的任意一种方法来分别对单相机进行外参标定，例如最近点匹配结合求解最小化重投影误差的方法。此外，也可以结合特定标志物，或者额外的传感器来辅助进行标定等。本申请实施例对此不做任何限定。

S103、分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数，其中，所述损失函数用于衡量在当前外参下各相机标定的叠加误差。

S104、依据所述损失函数进行联合标定，得到各相机的目标外参。

以最近点匹配结合求解最小化重投影误差(BA,Bundle Adjustment)的方法进行外参标定为例，由于最近点匹配的不确定性，多次执行最近点匹配与BA的结果具有一定的随机性。例如，对于相机图像上的同一个目标点，若根据每次标定得到的外参计算该目标点在世界坐标系对应的3D点，如图2中的(a)所示，点A为目标点的真值点，其他点为每次标定对应计算出的3D点，可以发现，在误差相同时，这些3D点可能出现在真值点A的不同位置。还需要说明的是，在根据外参计算验证点在世界坐标系对应的3D点的过程中，还需要结合地面方程和相机的内参，而在本申请实施例中，地面方程和相机的内参可以认为是固定不变的真值。

进一步的，如图2中的(b)所示，同样的，点A为目标点的真值点，以4个相机的标定为例，其他4个点为根据4个相机各自的外参分别计算出的该目标点在世界坐标系对应的3D点。从(b)中可以看出，当4个相机独立求取外参时，虽然每个相机的误差均满足要求，但由于各相机的误差方向不同，因此最大误差会被叠加，如(b)中虚线所示，其中，虚线的长度可以用于衡量叠加误差的大小。

因此，在本申请实施例中，在计算单相机外参之后，增加验证环节，也即，分别利用各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据这些3D点的坐标计算损失函数，通过损失函数来衡量在当前外参下各相机标定的叠加误差，也即，损失函数越小，叠加误差越小。例如，通过损失函数验证在当前计算出的外参下，验证点回世界坐标系的3D点与该验证点的真值的误差是否满足要求。进一步的，在多相机外参的联合标定中，可以得到每一个相机对应计算出的该验证点对应的3D点，然后可以通过计算这些3D点的均值、方差或者与真值的距离等方式，来确定损失函数，从而衡量多相机外参联合标定过程中的叠加误差，继而确定当前各相机的外参是否满足要求，或者通过多次迭代寻找多相机联合标定外参的全局最优解，从而极大地减小外参叠加误差。

作为计算损失函数的一种实施方式，根据所述3D点的坐标计算损失函数，包括：

其中，如果验证点集中只包括一个验证点，则直接根据每一个相机的外参，分别计算出该验证点在世界坐标系中的3D点的坐标，并根据各3D点的坐标计算方差，即可得到损失函数。

如果验证点集中包括两个以上的验证点，则需要针对每一个验证点分别进行计算。具体的，将任意验证点作为当前验证点，然后根据每一个相机的外参，分别计算出该当前验证点在世界坐标系的3D点的坐标，并根据各3D点的坐标计算方差。按照此种方式，对每一个验证点分别计算后，确定出各个验证点对应计算得到的方差，并将这些方差求和，即可得到损失函数。

这里需要说明的是，通过方差的计算，可以衡量各相机针对同一个验证点在世界坐标系下映射的各3D点的聚拢程度。通过图2中的(c)可以看出，聚拢程度越好，说明各相机的重投影误差越趋向于同一方向，其叠加误差则越小(如图中虚线所示)，从而起到通过损失函数对当前外参下各相机标定的叠加误差进行衡量和验证的作用，也即，损失函数越小，叠加误差越小，对应的外参则最优。

此外，关于方差的计算，可以包括两种情形。对于能够获取到验证点在世界坐标系中真值的情形，可以将该真值作为该验证点对应的各3D点的期望值，然后根据各3D点与该真值之间的距离计算方差。对于不能获取到验证点的真值的情形，则可以先计算出各3D点在x、y、z三个方向上的均值，得到真值的最优估计，然后根据各3D点与该最优估计之间的距离计算方差。

作为计算损失函数的另一种实施方式，根据所述3D点的坐标计算损失函数，包括：

在这种实施方式中，属于能够获取到当前验证点在世界坐标系中的真值的情形，此时，可以先计算出各3D点与真值的距离，并计算距离的均值，然后类似的，将该真值作为当前验证点对应的各3D点的期望值，再根据各3D点与该真值之间的距离计算方差，将当前验证点对应计算得到的方差和均值进行加权求和，最后将各个验证点对应计算得到的加权求和的结果进行求和，将和值作为所述损失函数。

需要说明的是，在能够获取验证点在世界坐标系的真值的情况下，将均值和方差共同作为损失函数的一部分，方差可以衡量各3D点的聚拢程度，而均值则可以衡量各3D点距离真值的远近，而通过权重可以设置方差和均值二者对叠加误差的重要程度，从而进一步从聚拢程度和与真值距离两个角度共同来衡量各相机标定的叠加误差，以提高求外参最优解的准确性。

此外，在又一种实施方式中，根据所述3D点的坐标计算损失函数，还包括：

具体的，在这种实施方式中，是在已经计算出的损失函数的基础上，再叠加另一个维度，即任意两个3D点之间距离最小的距离值，因为两点之间的距离也可以衡量叠加误差的大小，因此，如果损失函数中包含这一维度，那么就可以进一步从叠加误差大小的角度来衡量叠加误差，并且同样的，损失函数越小，则叠加误差越小，对应的相机外参则最优。此外，也可以为方差、均值和距离值三个维度设置各自的权重，通过加权求和的方式得到最终的和值作为损失函数。

本申请实施例的技术方案，通过在现有技术基础上增加验证环节，根据验证点映射回世界坐标系的3D点计算损失函数，通过损失函数来衡量在当前外参下各相机标定的叠加误差，当损失函数最小时，可以标定当前各相机的外参的误差方向差别最小，极大地减小了误差的叠加现象，减小叠加误差，从而依据损失函数进行多相机的联合标定，确定最终的目标外参，为后续进行多相机融合提供良好的基础。

图3是根据本申请第二实施例的多相机外参的联合标定方法的流程示意图，本实施例在上述实施例的基础上进一步进行优化。如图3所示，该方法具体包括如下：

S201、确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点。

S202、利用最近点匹配法和最小化重投影误差法，对每个相机分别进行外参标定，得到各相机的当前外参。

S203、分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数。

S204、确定当前值最小的损失函数并保存，判断当前执行次数是否满足预设阈值，如果不满足，则返回执行S202，如果满足，则执行S205。

S205、将当前保存的损失函数对应的各相机外参，作为各相机的目标外参。

在本实施例中，是通过对相机外参的多次迭代，在多次计算得到的损失函数中选择值最小的损失函数，并将该值最小的损失函数对应的各相机外参作为最优解，即目标外参。

具体的，可以预先设置迭代的次数，例如，第一次迭代，标定出各相机的外参，根据外参计算出本次迭代的损失函数，第二次迭代，标定出各相机的外参，根据外参计算出本次迭代的损失函数，然后比较第一次迭代和第二次迭代的两个损失函数哪个值最小，保存该值最小的损失函数，然后进行第三次迭代，再将第三次迭代对应计算的损失函数与上一次保存的损失函数进行比较，并保存当前值最小的损失函数。重复执行上述操作，直到迭代次数满足阈值，并将此时保存的损失函数对应的外参作为最优解。

本申请实施例的技术方案，通过在现有技术基础上增加验证取最优环节，根据验证点映射回世界坐标系的3D点计算损失函数，通过损失函数来衡量在当前外参下各相机标定的叠加误差，并在多次迭代得到的损失函数基础上进行比较选最优，寻找多相机联合标定外参的全局最优解，将多相机重投影误差的方向约束在同一方向，从而极大地减小外参叠加误差，得到最优的目标外参，为后续进行多相机融合提供良好的基础。

图4是根据本申请第三实施例的多相机外参的联合标定装置的结构示意图，本实施例可适用于对多相机外参进行联合标定的情况，例如路测感知应用场景中分布式布置的多个相机。该装置可实现本申请任意实施例所述的多相机外参进行联合标定方法。如图4所示，该装置300具体包括：

验证点集获取模块301，用于确定各相机视角的重合区域，并在所述重合区域的图像中获取2D验证点集，其中，所述2D验证点集中包括至少一个验证点；

单相机外参标定模块302，用于对每个相机分别进行外参标定，得到各相机的当前外参；

损失函数计算模块303，用于分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标，并根据所述3D点的坐标计算损失函数，其中，所述损失函数用于衡量在当前外参下各相机标定的叠加误差；

多相机联合标定模块304，用于依据所述损失函数进行联合标定，得到各相机的目标外参。

可选的，所述多相机联合标定模块304具体用于：

对每个相机分别进行外参标定，得到各相机的当前外参；

可选的，所述损失函数计算模块303包括：

3D点坐标计算单元，用于分别利用所述各相机的当前外参计算每个验证点在世界坐标系对应的3D点的坐标；

第一损失函数计算单元，具体用于：

将任一验证点作为当前验证点，根据每一个相机对应计算得到的所述当前验证点的3D点的坐标计算方差；将各个验证点对应计算得到的方差求和，将和值作为所述损失函数。

可选的，所述损失函数计算模块303包括：

第二损失函数计算单元，具体用于：

可选的，所述损失函数计算模块还包括第三损失函数计算单元，具体用于：

在所述第一损失函数计算单元或第二损失函数计算单元计算得到的所述损失函数的基础上，将所述损失函数加上各个验证点对应计算得到的所述距离值。

可选的，所述单相机外参标定模块302具体用于：

本申请实施例提供的多相机外参的联合标定装置300可执行本申请任意实施例提供的多相机外参的联合标定方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是根据本申请实施例的多相机外参的联合标定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器401为例。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的多相机外参的联合标定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的多相机外参的联合标定法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的多相机外参的联合标定方法对应的程序指令/模块(例如，附图4所示的验证点集获取模块301、单相机外参标定模块302、损失函数计算模块303和多相机联合标定模块304)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多相机外参的联合标定方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例的多相机外参的联合标定方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例的多相机外参的联合标定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现本申请实施例的多相机外参的联合标定方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与实现本申请实施例的多相机外参的联合标定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过在现有技术基础上增加验证环节，根据验证点映射回世界坐标系的3D点计算损失函数，通过损失函数来衡量在当前外参下各相机标定的叠加误差，从而起到一定的验证作用，并依据该损失函数进行多相机的联合标定，确定最终的目标外参，从而在很大程度上消除了多相机误差的叠加，为后续进行多相机融合提供良好的基础。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种多相机外参的联合标定方法，其特征在于，包括：

对每个相机分别进行外参标定，得到各相机的当前外参；

依据所述损失函数进行联合标定，得到各相机的目标外参；

其中，所述根据所述3D点的坐标计算损失函数，包括：

2.根据权利要求1所述的方法，其特征在于，所述依据所述损失函数进行联合标定，得到各相机的目标外参，包括：

对每个相机分别进行外参标定，得到各相机的当前外参；

3.根据权利要求1所述的方法，其特征在于，所述根据所述3D点的坐标计算损失函数，还包括：

4.根据权利要求1或2所述的方法，其特征在于，所述对每个相机分别进行外参标定，得到各相机的当前外参，包括：

5.一种多相机外参的联合标定装置，其特征在于，包括：

多相机联合标定模块，用于依据所述损失函数进行联合标定，得到各相机的目标外参；

其中，所述损失函数计算模块包括：

第一损失函数计算单元，具体用于：

6.根据权利要求5所述的装置，其特征在于，所述多相机联合标定模块具体用于：

对每个相机分别进行外参标定，得到各相机的当前外参；

7.根据权利要求5所述的装置，其特征在于，所述损失函数计算模块还包括第三损失函数计算单元，具体用于：

8.根据权利要求5或6所述的装置，其特征在于，所述单相机外参标定模块具体用于：

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的多相机外参的联合标定方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的多相机外参的联合标定方法。