CN112489111B - 相机外参标定方法、装置及相机外参标定系统 - Google Patents

Abstract

本公开实施例公开了一种相机外参标定方法、装置、相机外参标定系统，其中，该方法包括：获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像；基于参考标记在参考图像中的位置确定参考位置；基于标定标记在标定图像中的位置确定标定位置；基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化；基于位姿变化，确定第二相机的外参。本公开实施例实现了基于识别标定标记在图像中的位置进行相机外参标定，无需使用棋盘格等标定装置，使相机外参标定的过程更便捷，提高了相机外参标定的效率。

Description

相机外参标定方法、装置及相机外参标定系统

技术领域

本公开涉及计算机技术领域，尤其是一种相机外参标定方法、装置、相机外参标定系统、计算机可读存储介质及电子设备。

背景技术

相机标定是机器视觉检测、摄影几何测量等中最为关键的部分，相机标定的目的是通过从相机获取的二维图像信息出发，计算出物体的三维位置、形状等几何信息。从而获得二维图像上的点与空间物体表面点的相对应关系。这种关系是由相机成像的几何模型决定的，这些模型的参数称为相机参数，主要包括内部参数(内参)和外部参数(外参)。相机标定就是计算这些参数的过程。

在需要对多个空间装配相机(例如在待出厂的车辆内部安装相机)进行图像识别的场景下，不同的相机的外参的一致性受到生产装配误差影响，对基于图像识别实现的各种功能的性能影响较大。

发明内容

本公开的实施例提供了一种相机外参标定方法、装置、相机外参标定系统、计算机可读存储介质及电子设备。

本公开的实施例提供了一种相机外参标定方法，该方法包括：获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，其中，标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围内；基于参考标记在参考图像中的位置确定参考位置；基于标定标记在标定图像中的位置确定标定位置；基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化；基于位姿变化，确定第二相机的外参。

根据本公开实施例的另一个方面，提供了一种相机外参标定系统，该系统包括：参考舱、标定舱、第一相机、第二相机、参考标记、标定标记和外参标定设备；第一相机设置在参考舱内，第二相机设置在标定舱内；参考标记设置在参考舱中的预设位置，标定标记设置在标定舱内，且标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围内；外参标定设备用于执行上述相机外参标定方法。

根据本公开实施例的另一个方面，提供了一种相机外参标定装置，该装置包括：获取模块，用于获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，其中，标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围内；第一确定模块，用于基于参考标记在参考图像中的位置确定参考位置；第二确定模块，用于基于标定标记在标定图像中的位置确定标定位置；第三确定模块，用于基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化；第四确定模块，用于基于位姿变化，确定第二相机的外参。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述相机外参标定方法。

根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述相机外参标定方法。

基于本公开上述实施例提供的相机外参标定方法、装置、计算机可读存储介质及电子设备，通过获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，基于参考标记在参考图像中的位置确定参考位置，基于标定标记在标定图像中的位置确定标定位置，然后基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化，最后基于位姿变化，确定第二相机的外参，从而实现了基于识别标定标记在图像中的位置进行相机外参标定，无需使用棋盘格等标定装置，使相机外参标定的过程更便捷，提高了相机外参标定的效率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开一示例性实施例提供的相机外参标定系统的结构图。

图2是本公开一示例性实施例提供的相机外参标定方法的流程示意图。

图3是本公开另一示例性实施例提供的相机外参标定方法的流程示意图。

图4是本公开一示例性实施例提供的相机外参标定装置的结构示意图。

图5是本公开另一示例性实施例提供的相机外参标定装置的结构示意图。

图6是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

为了对不同的相机进行外参标定，现有解决方案一般通过棋盘格进行标定，同时还必须保证棋盘格相对于其所在的空间(例如车辆内部、房间内部等)的三维局部坐标系是固定的。这种方案的成本较高，需要使用标定装置，包括标定板、固定底座等，同时对标定装置的精度要求高，标定效率较低。

示例性系统

图1示出了可以应用本公开的实施例的相机外参标定系统的示例性架构图100。

如图1所示，系统架构100可以包括参考舱101、标定舱102、第一相机103、第二相机104、参考标记105、标定标记106和外参标定设备107。

所述第一相机104设置在所述参考舱101，所述第二相机设置在所述标定舱102内；所述参考标记105设置在所述参考舱101中的预设位置，所述标定标记106设置在所述标定舱102内。

参考舱101和标定舱102可以是各种类型的空间结构。例如车辆内部的座舱，设置在房间内部的模拟舱(例如模仿车辆内部的座舱)，某个房间等。参考标记105和标定标记106可以是各种形状和材质的标记，例如粘贴在车辆内的纸质圆形标记。标定标记106在标定舱102内的相对位置与参考标记105在所述参考舱101内的相对位置之间的偏差处于预设偏差范围内。本实施例中，预设偏差范围由纸质圆形标记的半径来确定，例如，预设偏差范围的大小可以与纸质圆形标记的半径相同，也可以基于圆形标记的半径来适当调整一预设的误差范围。在一实施例中，纸质圆形标记106可以设置在车内顶棚处的固定位置，该位置可以是某个特定的点，如果不同车辆内粘贴的设定直径的标定标记与设定直径的参考标记在参考车辆的粘贴位置均覆盖该特定的点，则预设偏差范围即为该设定直径的一半，举个具体的例子，设定直径为3cm，则预设偏差范围为1.5cm，当然也可以基于1.5cm来适当调整，例如，将预设偏差范围设置为1.45cm，或者将预设偏差范围设置为1.5cm。

通常，参考舱101可以是预先设置好的空间结构，其内部的第一相机103对参考标记105拍摄的图像可以作为基准，用来对多个标定舱102内设置的不同的第二相机104进行外参标定。

第一相机103和第二相机104通常设置在参考舱101和标定舱102内的相同位置。例如设置在车辆仪表盘上。由于安装误差，第二相机104通常无法做到与第一相机的安装位置和拍摄角度完全一致，因此，需要使用本公开的实施例提供的相机外参标定方法对第二相机进行外参标定。

外参标定设备107可以是用于进行外参标定的各种类型的电子设备，包括但不限于诸如移动电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、车载终端等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。外参标定设备107还可以是远程服务器，远程服务器可以与第二相机104通信连接，或者与可以存储第二相机104拍摄的图像的其他电子设备连接。

需要说明的是，本公开的实施例所提供的相机外参标定方法一般由外参标定设备107执行，相应地，相机外参标定装置一般设置于外参标定设备107中。

应该理解，图1中的参考舱101、标定舱102、第一相机103、第二相机104、参考标记105、标定标记106和外参标定设备107的数目仅仅是示意性的。根据实现需要，可以具有任意数目的参考舱101、标定舱102、第一相机103、第二相机104、参考标记105、标定标记106和外参标定设备107。

本公开的上述实施例提供的系统，通过在参考舱设置第一相机和参考标记，第一相机对参考相机拍摄得到参考图像，在标定舱设置第二相机和标定标记，第二相机对标定相机拍摄得到标定图像，由外参标定设备执行本申请实施例提供的相机外参标定方法，得到第二相机的外参，从而实现了基于识别标定标记在图像中的位置进行相机外参标定，无需使用棋盘格等标定装置，使相机外参标定的过程更便捷，提高了相机外参标定的效率。

示例性方法

图2是本公开一示例性实施例提供的相机外参标定方法的流程示意图。本实施例可应用在电子设备(如图1所示的外参标定设备107)上，如图2所示，该方法包括如下步骤：

步骤201，获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像。

在本实施例中，电子设备可以从本地或从远程获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像。其中，标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围内。通常，预设偏差范围可以由标定标记的大小来确定，当标定标记为圆形时，预设偏差范围可以通过标定标记的直径确定。例如，设定直径的标定标记在标定舱内的粘贴位置与设定直径的参考标记在参考舱内的粘贴位置均覆盖舱内特定位置的点，则预设偏差范围即为该设定直径的一半，或在设定直径的一半的基础上进行适当调整。例如，设定直径为3cm，则预设偏差范围为1.5cm，当然也可以基于1.5cm来适当调整，例如，将预设偏差范围设置为1.45cm或1.5cm等。

参考标记和标定标记的数量可以任意设置。当参考标记和标定标记的数量为多个时，各个参考标记和各个标定标记一一对应，且相对应的参考标记和标定标记的位置偏差处于预设偏差范围内。

可选的，参考标记的数量和标定标记的数量为预设数量，且预设数量大于或等于2。预设数量个标定标记中，可以选择其中至少一个与对应的参考标记结合进行外参标定，选择其它至少一个标定标记对外参进行验证。通常，预设数量越大，则外参标定的准确性越高，但计算量会上升。作为示例，预设数量可以为4，在四个标定标记中，其中两个可以用来与对应的参考标记的相结合，对相机进行外参标定，另外两个可以对确定出的外参进行验证。

通过将预设数量设置为大于或等于2，可以使用多对标定标记和参考标记进行外参标定和误差验证，从而可以提高外参标定的准确性。

步骤202，基于参考标记在参考图像中的位置确定参考位置。

在本实施例中，电子设备可以基于参考标记在参考图像中的位置确定参考位置。作为示例，当参考标记为圆形标签时，参考位置可以是该圆形标签的圆心的坐标。

步骤203，基于标定标记在标定图像中的位置确定标定位置。

在本实施例中，电子设备可以基于标定标记在标定图像中的位置确定标定位置。作为示例，当参考标记为圆形标签时，标定位置可以是该圆形标签的圆心的坐标。

步骤204，基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化。

在本实施例中，电子设备可以基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化。其中，位姿变化包括第二相机的位置相对于第一相机的位置的位移变化和拍摄角度变化。

作为示例，电子设备可以利用现有的对极约束方法，确定第二相机相对于第一相机的位姿变化。

步骤205，基于位姿变化，确定第二相机的外参。

在本实施例中，电子设备可以基于位姿变化，确定第二相机的外参。其中，相机外参通常可以包括旋转矩阵和平移矩阵，旋转矩阵表征相机坐标系的坐标轴相对于世界坐标系的坐标轴旋转方向；平移矩阵表征相机坐标系下，空间内的点的位置。通常，第一相机的外参是已知的，因此，可以根据上述位姿变化，得到第二相机的外参。

本公开的上述实施例提供的方法，通过获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，基于参考标记在参考图像中的位置确定参考位置，基于标定标记在标定图像中的位置确定标定位置，然后基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化，最后基于位姿变化，确定第二相机的外参，从而实现了基于识别标定标记在图像中的位置进行相机外参标定，无需使用棋盘格等标定装置，使相机外参标定的过程更便捷，提高了相机外参标定的效率。

在一些可选的实现方式中，上述步骤204可以如下执行：

首先，基于参考位置和标定位置，确定用于表征标定位置和参考位置之间的关系的坐标转换矩阵，其中，坐标转换矩阵包括以下至少一种：基础矩阵、本质矩阵、单应矩阵。

其中，基础矩阵(Essential Matrix)反映空间一点的像点在不同视角的相机的像极坐标系下的位置之间的关系。

本质矩阵(Fundamental Matrix)反映空间一点在不同视角的相机的图像坐标系下的位置之间的关系。

单应矩阵(Homography)反映物体在世界坐标系和图像坐标系之间的位置映射关系。对应的变换矩阵称为单应矩阵。

通常，基础矩阵或本质矩阵和三维场景的结构无关，只依赖于相机的内参和外参，需要两个相机的位置有旋转和平移。单应矩阵对三维场景的结构有更多要求，需要场景中的点在同一个平面上；或者对相机的位姿有要求，两个相机之间只有旋转而无平移。

需要说明的是，上述确定坐标转换矩阵的方法是现有技术，例如，本质矩阵或基础矩阵可以通过现有的8点法和最小二乘法得到，单应矩阵可以通过对本质矩阵分解得到。

然后，基于坐标转换矩阵，确定第二相机相对于第一相机的位姿变化。需要说明的是，基于上述坐标转换矩阵求解位姿变化的方法是目前的现有技术，这里不再赘述。

本实现方式实现了基于多种坐标转换矩阵的特点，灵活地确定第二相机相对于第一相机的位姿变化，有助于提高外参标定的准确性。例如，若实际使用的标定标记的位置相对于参考标定的位置在同一个平面上，可以使用单应矩阵，若不在同一平面上可以使用基础矩阵或本质矩阵。

进一步参考图3，示出了相机外参标定方法的又一个实施例的流程示意图。如图3所示，在上述图2所示实施例的基础上，步骤205之后，还可以包括如下步骤：

步骤206，确定第二相机在上一次标定的外参。

在本实施例中，对第二相机进行外参标定的过程可以执行多次。本步骤确定的外参是最近一次进行外参标定确定的外参。

步骤207，基于第二相机在上一次标定的外参，确定标定标记相对于参考标记的重投影误差。

其中，重投影误差可以是标定标记在标定图像中的坐标投影到参考图像中的点与对应的参考标记的位置之间的偏差。

步骤208，如果重投影误差不符合预设的标定成功条件，通过标定标记重新标定第二相机的外参。

其中，标定成功条件可以为：重投影误差大于或等于预设的误差阈值。当不符合标定成功条件时，需要重新进行外参标定，即重新执行上述步骤201-步骤205。

上述图3对应实施例提供的方法，通过确定标定标记相对于参考标记的重投影误差，对重投影误差进行判断，在不符合标定成功条件时重新进行外参标定，最终可以得到准确的相机外参。

在一些可选的实现方式中，上述步骤208中，可以利用如下至少一种方式通过标定标记重新标定第二相机的外参：

方式一，调整用于标定第二相机的外参的算法的参数，重新标定第二相机的外参。

其中，用于标定外参的算法是现有技术，这里不再赘述。例如，在计算图2对应实施例中的可选实施例中的坐标转换矩阵的时候，可以使用重投影误差来构造代价函数，然后最小化这个代价函数，以优化坐标转换矩阵。

方式二，输出用于提示对标定标记的位置进行调整的信息，利用调整位置后的标定标记，重新标定第二相机的外参。

其中，上述提示对标定标记的位置进行调整的信息可以包括但不限于以下至少一种：文字信息、图像信息、声音信息等。在输出这些信息后，用户可以调整标定标记的位置，然后电子设备重新执行上述步骤201-步骤205，直到确定的外参满足上述标定成功条件。

本实现方式通过在重新进行外参标定时采用上述两种方式，可以对第二相机的外参进行进一步优化，进一步提高外参标定的准确性。

在一些可选的实现方式中，在图3对应实施例的基础上，上述步骤204可以如下执行：

首先，确定标定标记的类型。通常，标定标记的类型可以包括两种，一种用于进行相机位姿估计，另一种用于确定重投影误差。

然后，若标定标记的类型表示标定标记为用于进行相机位姿估计的第一标定标记，确定第一标定标记对应的参考位置。由于标定标记与参考标记一一对应，因此可以确定第一标定标记对应的参考标记的位置为第一标定标记对应的参考位置。

最后，基于第一标定标记的标定位置和第一标定标记对应的参考位置，确定第二相机相对于第一相机的位姿变化。

本实现方式通过对标定标记进行分组，利用其中一些标定标记进行相机位姿估计，可以使相机位姿估计的方式更灵活，确定位姿变化可以作为使用另一些标定标记确定标定误差的基础，有助于提高外参标定的准确性。

在一些可选的实现方式中，上述步骤207可以如下执行：

首先，确定标定标记的类型。通常，标定标记的类型可以包括两种，一种用于进行相机位姿估计，另一种用于确定重投影误差。

然后，若标定标记的类型表示标定标记为用于确定重投影误差的第二标定标记，基于第二相机的外参，确定第二标定标记相对于第二标定标记对应的参考标记的重投影误差。

本实现方式通过利用第二标定标记来确定重投影误差，可以实现与第一标定标记相结合，在利用一些标定标记确定外参后直接利用另一些标定标记对外参进行验证，从而有助于根据误差对外参标定的过程进行调整，提高了外参标定的准确性。

示例性装置

图4是本公开一示例性实施例提供的相机外参标定装置的结构示意图。本实施例可应用在电子设备上，如图4所示，相机外参标定装置包括：获取模块401，用于获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，其中，标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围内；第一确定模块402，用于基于参考标记在参考图像中的位置确定参考位置；第二确定模块403，用于基于标定标记在标定图像中的位置确定标定位置；第三确定模块404，用于基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化；第四确定模块405，用于基于位姿变化，确定第二相机的外参。

在本实施例中，获取模块401可以从本地或从远程获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像。其中，标定标记在标定舱内的相对位置与参考标记在参考舱内的相对位置之间的偏差处于预设偏差范围(例如3cm)内。

参考标记和标定标记的数量可以任意设置。当参考标记和标定标记的数量为多个时，各个参考标记和各个标定标记一一对应，且相对应的参考标记和标定标记的位置偏差处于预设偏差范围内。

在本实施例中，第一确定模块402可以基于参考标记在参考图像中的位置确定参考位置。作为示例，当参考标记为圆形标签时，参考位置可以是该圆形标签的圆心的坐标。

在本实施例中，第二确定模块403可以基于标定标记在标定图像中的位置确定标定位置。作为示例，当参考标记为圆形标签时，标定位置可以是该圆形标签的圆心的坐标。

在本实施例中，第三确定模块404可以基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化。其中，位姿变化包括第二相机的位置相对于第一相机的位置的位移变化和拍摄角度变化。

作为示例，第三确定模块404可以利用现有的对极约束方法，确定第二相机相对于第一相机的位姿变化。

在本实施例中，第四确定模块405可以基于位姿变化，确定第二相机的外参。其中，相机外参通常可以包括旋转矩阵和平移矩阵，旋转矩阵表征相机坐标系的坐标轴相对于世界坐标系的坐标轴旋转方向；平移矩阵表征相机坐标系下，空间内的点的位置。通常，第一相机的外参是已知的，因此，可以根据上述位姿变化，得到第二相机的外参。

参照图5，图5是本公开另一示例性实施例提供的相机外参标定装置的结构示意图。

在一些可选的实现方式中，参考标记的数量和标定标记的数量为预设数量，且预设数量大于或等于2。

在一些可选的实现方式中，该装置还包括：第五确定模块406，用于确定第二相机在上一次标定的外参；第六确定模块407，用于基于第二相机在上一次标定的外参，确定标定标记相对于参考标记的重投影误差；标定模块408，用于如果重投影误差不符合预设的标定成功条件，通过标定标记重新标定第二相机的外参。

在一些可选的实现方式中，标定模块408包括：第一标定单元4081，用于调整用于标定第二相机的外参的算法的参数，重新标定第二相机的外参；和/或第二标定单元4082，用于输出用于提示对标定标记的位置进行调整的信息，利用调整位置后的标定标记，重新标定第二相机的外参。

在一些可选的实现方式中，第三确定模块404包括：第一确定单元4041，用于确定标定标记的类型；第二确定单元4042，用于若标定标记的类型表示标定标记为用于进行相机位姿估计的第一标定标记，确定第一标定标记对应的参考位置；第三确定单元4043，用于基于第一标定标记的标定位置和第一标定标记对应的参考位置，确定第二相机相对于第一相机的位姿变化。

在一些可选的实现方式中，第六确定模块407包括：第四确定单元4071，用于确定标定标记的类型；第五确定单元4072，用于若标定标记的类型表示标定标记为用于确定重投影误差的第二标定标记，基于第二相机的外参，确定第二标定标记相对于第二标定标记对应的参考标记的重投影误差。

在一些可选的实现方式中，第三确定模块404包括：第六确定单元4044，用于基于参考位置和标定位置，确定用于表征标定位置和参考位置之间的关系的坐标转换矩阵，其中，坐标转换矩阵包括以下至少一种：基础矩阵、本质矩阵、单应矩阵；第七确定单元4045，用于基于坐标转换矩阵，确定第二相机相对于第一相机的位姿变化。

本公开上述实施例提供的相机外参标定装置，通过获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，基于参考标记在参考图像中的位置确定参考位置，基于标定标记在标定图像中的位置确定标定位置，然后基于参考位置和标定位置，确定第二相机相对于第一相机的位姿变化，最后基于位姿变化，确定第二相机的外参，从而实现了基于识别标定标记在图像中的位置进行相机外参标定，无需使用棋盘格等标定装置，使相机外参标定的过程更便捷，提高了相机外参标定的效率。

示例性电子设备

下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。

图6图示了根据本公开实施例的电子设备的框图。

如图6所示，电子设备600包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现上文的本公开的各个实施例的相机外参标定方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如标定图像、参考图像等各种内容。

在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是终端设备101或服务器103时，该输入装置603可以是相机、鼠标、键盘等设备，用于输入标定图像和参考图像。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的图像。

该输出装置604可以向外部输出各种信息，包括确定出的相机外参。该输出设备604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的相机外参标定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的相机外参标定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种相机外参标定方法，包括：

获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，其中，所述标定标记在所述标定舱内的相对位置与所述参考标记在所述参考舱内的相对位置之间的偏差处于预设偏差范围内；

基于所述参考标记在所述参考图像中的位置确定参考位置；

基于所述标定标记在所述标定图像中的位置确定标定位置；

基于所述参考位置和所述标定位置，确定所述第二相机相对于所述第一相机的位姿变化；

基于所述位姿变化，确定所述第二相机的外参。

2.根据权利要求1所述的方法，其中，所述参考标记的数量和所述标定标记的数量为预设数量，且所述预设数量大于或等于2。

3.根据权利要求1所述的方法，其中，在所述基于所述位姿变化，确定所述第二相机的外参之后，所述方法还包括：

确定所述第二相机在上一次标定的外参；

基于所述第二相机在上一次标定的外参，确定所述标定标记相对于所述参考标记的重投影误差；

如果所述重投影误差不符合预设的标定成功条件，通过所述标定标记重新标定所述第二相机的外参。

4.根据权利要求3所述的方法，其中，所述通过所述标定标记重新标定所述第二相机的外参，包括：

调整用于标定所述第二相机的外参的算法的参数，重新标定所述第二相机的外参；和/或

输出用于提示对所述标定标记的位置进行调整的信息，利用调整位置后的所述标定标记，重新标定所述第二相机的外参。

5.根据权利要求3所述的方法，其中，所述基于所述参考位置和所述标定位置，确定所述第二相机相对于所述第一相机的位姿变化，包括：

确定所述标定标记的类型；

若所述标定标记的类型表示所述标定标记为用于进行相机位姿估计的第一标定标记，确定所述第一标定标记对应的参考位置；

基于所述第一标定标记的标定位置和所述第一标定标记对应的参考位置，确定所述第二相机相对于所述第一相机的位姿变化。

6.根据权利要求3所述的方法，其中，所述基于所述第二相机在上一次标定的外参，确定所述标定标记相对于所述参考标记的重投影误差，包括：

确定所述标定标记的类型；

若所述标定标记的类型表示所述标定标记为用于确定重投影误差的第二标定标记，基于所述第二相机的外参，确定所述第二标定标记相对于所述第二标定标记对应的参考标记的重投影误差。

7.一种相机外参标定系统，其中，所述系统包括：参考舱、标定舱、第一相机、第二相机、参考标记、标定标记和外参标定设备；

所述第一相机设置在所述参考舱内，所述第二相机设置在所述标定舱内；所述参考标记设置在所述参考舱中的预设位置，所述标定标记设置在所述标定舱内，且所述标定标记在所述标定舱内的相对位置与所述参考标记在所述参考舱内的相对位置之间的偏差处于预设偏差范围内；

所述外参标定设备用于执行权利要求1-6之一所述的方法。

8.一种相机外参标定装置，包括：

获取模块，用于获取设置在参考舱内的第一相机对参考标记拍摄的参考图像以及设置在标定舱内的第二相机对标定标记拍摄的标定图像，其中，所述标定标记在所述标定舱内的相对位置与所述参考标记在所述参考舱内的相对位置之间的偏差处于预设偏差范围内；

第一确定模块，用于基于所述参考标记在所述参考图像中的位置确定参考位置；

第二确定模块，用于基于所述标定标记在所述标定图像中的位置确定标定位置；

第三确定模块，用于基于所述参考位置和所述标定位置，确定所述第二相机相对于所述第一相机的位姿变化；

第四确定模块，用于基于所述位姿变化，确定所述第二相机的外参。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的方法。