CN114742905A - 一种多相机参数标定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请是关于一种多相机系统参数标定方法、装置、设备及存储介质，具体涉及计算机视觉技术领域。所述方法包括：针对多相机系统中的每个目标相机，获取各帧目标图像；对各帧目标图像分别进行图像处理，确定各帧目标图像中的图像标注坐标基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与各帧目标图像对应的反射点坐标；以各帧目标图像中的图像标注坐标，与各帧目标图像对应的反射点坐标匹配为目标条件，确定目标相机的外参数信息以确定各个目标相机之间的相对姿态。上述方案无需搭建特定标定场景，只需要对反射镜进行位姿变换即可以实现各个目标相机外参数标定，提高了多相机系统的外参数标定效率。

Description

一种多相机参数标定方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种多相机参数标定方法、装置、设备及存储介质。

背景技术

与传统驾驶相同，对车辆运行环境实时感知与定位（SLAM）是无人驾驶系统实施决策和控制的基础，相关的感知技术和车辆位姿估计方法也受到学术界和工业界的重点关注。

相比于人类驾驶员在同一时刻只能观测某一方向的交通状况，无人驾驶技术更期望实现对车辆周边环境的360度全方位无死角实时感知。由于单个相机的视场角有限，因此无人驾驶系统越来越多的采用多个相机组成全景成像系统。在使用上述的环视多相机系统实现感知、定位、建图等功能之前，我们首先必须进行多相机系统的外参标定。通常为标定在单目或双目立体相机的过程中会使用上面绘有特殊标定图案（例如棋盘格，AprilTag等图案）的标定板。为了实现多相机系统的外参数标定，需要搭建若干组相对空间位置已知的静态标定物，将载有多相机系统的移动平台沿着设定好的轨迹穿过上述静态标记物，在动态过程中完成数据的采集，进而以优化的方法解算相机之间的外参数。

但通过上述方案对于搭建标定场景的精度要求过于严格，不易推广到大型移动设备的环视多相机系统的标定任务。

发明内容

本申请提供了一种多相机系统参数标定方法、装置、计算机设备及存储介质，提高了多相机系统的标定效率，该技术方案如下。

一方面，提供了一种多相机系统参数标定方法，所述方法包括：

针对多相机系统中的每个目标相机，获取各帧目标图像；所述各帧目标图像为所述目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像；

对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标；

基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标；

以所述各帧目标图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息；

当获取到所述多相机系统中的每个目标相机的外参数信息后，根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态。

又一方面，提供了一种多相机系统参数标定装置，所述装置包括：

目标图像获取模块，用于针对多相机系统中的每个目标相机，获取各帧目标图像；所述各帧目标图像为所述目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像；

标注坐标获取模块，用于对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标；

反射点坐标获取模块，用于基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标；

外参数获取模块，用于以所述各帧目标图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息；

相对姿态计算模块，用于当获取到所述多相机系统中的每个目标相机的外参数信息后，根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态。

在一种可能的实现方式中，所述全向标定板为长方体型；且所述全向标定板的各个侧面都存在唯一图像标注。

在一种可能的实现方式中，所述标注坐标获取模块，用于针对每帧目标图像，将所述目标图像与所述图像标注进行对比，确定所述目标图像中存在的各个图像标注，以及所述各个图像标注分别对应的图像标注坐标。

在一种可能的实现方式中，所述反射点坐标获取模块，用于，

针对每帧目标图像，确定所述目标图像中存在的各个图像标注在所述全向标定板中的世界坐标；

基于所述世界坐标、目标反射镜的镜平面的法向量以及全向标定板的中心点到所述目标反射镜的镜平面的距离在镜平面法向量上的投影，确定所述目标图像中存在的各个图像标注所对应的反射点坐标。

在一种可能的实现方式中，所述外参数信息包括所述目标相机与全向标定板对应的旋转矩阵以及平移矩阵。

在一种可能的实现方式中，所述外参数获取模块，还用于，

以所述各帧目标图像对应的反射点坐标，通过旋转矩阵以及平移矩阵处理后，与所述各帧图像中的图像标注坐标匹配为目标条件，通过PNP算法获得满足目标条件的所述目标相机的旋转矩阵以及平移矩阵。

在一种可能的实现方式中，所述相对位姿计算模块，用于，

根据所述每个目标相机分别与全向标定板对应的旋转矩阵以及平移矩阵，确定所述各个目标相机之间的旋转矩阵以及平移矩阵，以得到所述多相机系统的外参数信息。

再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的多相机系统参数标定方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的多相机系统参数标定方法。

再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述多相机系统参数标定方法。

本申请提供的技术方案可以包括以下有益效果：

在多相机系统中，对于其中的任一个目标相机，该目标相机可以通过不同位姿的反射镜采集到全向标定板的图像，此时计算机设备可以对目标相机采集到的各帧图像分别进行图像处理，从而得到各帧图像中的标注的图像标注坐标；计算机设备再基于采集到各帧目标图像时目标反射镜的位姿，以及全向标定板上的各个标注的坐标，得到通过镜面反射后的标注的反射点坐标，计算机设备将各帧图像中的图像标注坐标与各帧图像对应的反射点坐标进行匹配，即可以获得目标相机的外参数信息，从而得到目标相机之间的相对姿态以实现多相机系统的外参数标定，该方案无需搭建特定标定场景，只需要对反射镜进行位姿变换即可以实现各个目标相机外参数标定，提高了多相机系统的外参数标定效率。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种多相机参数标定系统的结构示意图。

图2示出了本申请实施例涉及的一种全向标定板的结构示意图。

图3是根据一示例性实施例示出的一种多相机参数标定方法的流程图。

图4是根据一示例性实施例示出的一种多相机参数标定方法的流程图。

图5是根据一示例性实施例示出的一种多相机系统参数标定装置的结构方框图。

图6示出了本申请一示例性实施例示出的计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。

在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。

本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

图1是根据一示例性实施例示出的一种多相机参数标定系统的结构示意图。该多相机参数标定系统中包含目标车辆110、全向标定板W以及反射镜130。其中，该目标车辆W中可以包括数据处理设备、图像采集设备以及数据存储模块等模块。

如图1所示，该全向标定板W可以位于目标车辆的正上方，此时目标车辆中的图像采集设备，通过反射镜130可以采集到包含全向标定板W在内的目标图像。

可选的，在采集图像之前，可以预先设置好反射镜所在的世界坐标，并在图像采集设备采集目标图像时，调整反射镜的反射镜姿态，从而使得采集到的目标图像中，全向标定板W发生变化。

可选的，该全向标定板W还可以位于目标车辆周围的其他位置，目标车辆中的各个图像采集设备可以通过反射镜观察到全向标定板W即可。

请参考图2，其示出了本申请实施例涉及的一种全向标定板的结构示意图。如图2所示，该全向标定板为长方体型；且该全向标定板的各个侧面都存在唯一图像标注。

可选的，该全向标定板由一个长方体盒组成，长方体盒上的所有侧面都布有带AprilTag标签的网格图案。使用April标记可以降低特征检测的误检测率，并且可使得长方体每个侧面上的特征具有唯一标识。值得注意的是，AprilTag图案布置时需要进行水平翻转，以便可以被通过镜面反射检测到。

在一种可能的实现方式中，当目标车辆上的多相机（也就是各个图像采集设备）都采集到的相应的目标图像时，可以将采集到的目标图像保存在目标车辆中的数据存储模块中。

可选的，当目标车辆需要进行目标车辆的多相机系统的参数标定时，可以在目标车辆的数据存储模块中读取该各个图像采集设备所采集到的目标图像，以及采集到该目标图像时，反射镜的反射镜姿态，从而实现对各个图像采集设备的标定。

可选的，由于该参数标定过程可能需要算力较大的计算机设备的支持，因此当目标车辆需要进行目标车辆的多相机系统的参数标定时，可以将各个图像采集设备锁采集到的目标图像，以及采集到该目标图像时反射镜的反射镜姿态通过有线或无线网络发送至服务器，以便服务器通过计算获取到各个图像采集设备的参数（如旋转矩阵以及平移矩阵），并将参数发送至目标车辆中的数据处理设备，以完成对图像采集设备的标定。

可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。

可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理（如管理各个模块与服务器之间的连接状态等），该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图3是根据一示例性实施例示出的一种多相机参数标定方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图3所示，该多相机参数标定方法可以包括如下步骤：

步骤301，针对多相机系统中的每个目标相机，获取各帧目标图像。

该各帧目标图像为该目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像。

在环视多相机系统中，由于各个相机可以实现对车辆周边环境的360度全方位无死角实时感知，因此实际上环视多相机系统中的各个相机之间的共视区域很少，仅仅通过一个方形标定板很难对多相机系统中的各个相机实现外参数的标定。

因此在本申请实施例中，可以采用图如1所示的多相机参数标定系统进行多相机的参数标定，在如图1所示的多相机参数标定系统中，可以将全向标定板放置于固定位置，并通过在相应的位置设置一个反射镜，调节该反射镜的位置以及姿态，即可以实现将全向标定板上的各个标注通过反射，让各个目标相机采集到上面的标注图像。

步骤302，对该各帧目标图像分别进行图像处理，确定该各帧目标图像中的图像标注坐标。

当各个相机都采集到目标图像后，则针对每个相机所采集到的目标图像，可以对目标图像中的图像标注进行识别，例如该图像标注可以是AprilTag，当目标图像中识别出AprilTag类型的图像标注时，则可以根据具体的识别类型，将目标图像上的图像标注坐标与固定位置处的全向标定板上的某一处图像标注的世界坐标对应起来。

步骤303，基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与该各帧目标图像对应的反射点坐标。

由于目标相机采集到的包含全向标定板的图像，并不是全向标定板真实的图像位置，因此为了准确标定目标相机，此时计算机设备需要根据采集到目标图像时反射镜的位姿，计算出全向标定板中的图像标注，通过镜面反射得到的反射点坐标，即该坐标才是目标图像采集到的图像标注在世界坐标系下的等效坐标。

步骤304，以该各帧目标图像中的图像标注坐标，与该各帧目标图像对应的反射点坐标匹配为目标条件，确定该目标相机的外参数信息。

可选的，当确定了目标图像中的图像标注坐标，也就是相机坐标系中的坐标，以及反射点坐标，也就是图像标注通过镜面反射被目标相机采集到的等效坐标后，则可以通过旋转矩阵以及平移矩阵，将该图像标注坐标以及反射点坐标联系起来。

通过优化算法对旋转矩阵以及平移矩阵进行优化后，将反射点坐标通过旋转矩阵以及平移矩阵进行转换后，可以与目标相机所采集到的图像标注坐标尽可能重合，此时旋转矩阵以及平移矩阵即代表着目标相机的外参数信息。

步骤305，当获取到该多相机系统中的每个目标相机的外参数信息后，根据该每个目标相机的外参数信息，确定各个该目标相机之间的相对姿态。

综上所述，在多相机系统中，对于其中的任一个目标相机，该目标相机可以通过不同位姿的反射镜采集到全向标定板的图像，此时计算机设备可以对目标相机采集到的各帧图像分别进行图像处理，从而得到各帧图像中的标注的图像标注坐标；计算机设备再基于采集到各帧目标图像时目标反射镜的位姿，以及全向标定板上的各个标注的坐标，得到通过镜面反射后的标注的反射点坐标，计算机设备将各帧图像中的图像标注坐标与各帧图像对应的反射点坐标进行匹配，即可以获得目标相机的外参数信息，从而得到目标相机之间的相对姿态以实现多相机系统的外参数标定，该方案无需搭建特定标定场景，只需要对反射镜进行位姿变换即可以实现各个目标相机外参数标定，提高了多相机系统的外参数标定效率。

图4是根据一示例性实施例示出的一种多相机参数标定方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图4所示，该多相机参数标定方法可以包括如下步骤：

步骤401，针对多相机系统中的每个目标相机，获取各帧目标图像。

在本申请实施例中，在如图1所示的多相机参数标定系统中，将特殊定制的全向标 定板安装到车载环视多相机系统的顶端并固定。该特殊定制的全向标定板由一个长方体盒 组成，长方体盒上的所有侧面都布有带AprilTag标签的网格图案。使用AprilTag可以降低 特征检测的误检测率，并且可使得长方体每个侧面上的特征具有唯一标识。值得注意的是， AprilTag图案布置时需要进行水平翻转，以便可以被通过镜面反射检测到。如图2所示,该 标定板为特殊定制，各AprilTag标签中心相对于全向标定板中心的相对位置已知，并可通 过

表示，也就是各个图像标注的坐标。其中i是代表对应该长方体盒子的侧面的编号，j 是该AprilTag标签在当前面的网格上的编号。

此时可以按次序逐一启动多相机系统中的单个相机，确保系统中的所有相机已经 提前标定好内参。值得注意的是，该程序适用于任意相机数量的多相机系统的标定，只需该 相机可以完整看到标定板的一个侧面。因此为简化表述方式，我们只定义单个相机帧C，并 定义该相机到全向标定板的相对位姿为

。移动一面镜子，分别放置于各相机前并调整其 姿态朝向，使得全向标定板的至少一个侧面可以完整出现在当前相机观测中，调整镜子的 位姿，并拍摄不同图像（也就是得到目标图像）。

步骤402，针对每帧目标图像，将该目标图像与该图像标注进行对比，确定该目标图像中存在的各个图像标注，以及该各个图像标注分别对应的图像标注坐标。

此时计算机设备可以检测每张图片上的AprilTag标签（也就是图像标注），并得到 AprilTag标签在目标图像上的图像标注坐标（也就是在相机坐标系下的坐标），其中 AprilTag的id用于识别在每幅图像中观察到的全向标定板的侧面编号。设

为第k帧图像 中全向标定板上网格图案的索引(

或

，且

或

)。

步骤403，基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与该各帧目标图像对应的反射点坐标。

在一种可能的实现方式中，针对每帧目标图像，确定该目标图像中存在的各个图像标注在该全向标定板中的世界坐标；

基于该世界坐标、目标反射镜的镜平面的法向量以及全向标定板的中心点到该目标反射镜的镜平面的距离在镜平面法向量上的投影，确定该目标图像中存在的各个图像标注所对应的反射点坐标。

具体的，对于第k张图片，定义

为在标定板坐标系下镜子平面的法向量，同时定 义

为有正负号的从标定板坐标系原点到镜面的距离在镜面法向量上的投影，

为单位矩 阵。由于相机并非直接观测到网格图案上的AprilTag标签而是通过镜面反射观测的，因此 定义

为反射点的三维坐标（即反射点坐标），该坐标可通过该公式表示：

步骤404，以该各帧目标图像中的图像标注坐标，与该各帧目标图像对应的反射点坐标匹配为目标条件，确定该目标相机的外参数信息。

在一种可能的实现方式中，该外参数信息包括该目标相机与全向标定板对应的旋转矩阵以及平移矩阵。

在一种可能的实现方式中，计算机设备以该各帧目标图像对应的反射点坐标，通过旋转矩阵以及平移矩阵处理后，与该各帧图像中的图像标注坐标匹配为目标条件，通过PNP算法获得满足目标条件的该目标相机的旋转矩阵以及平移矩阵。

定义

和

分别为标定板坐标系到相机坐标系的相对旋转和平移。此时可以将 从相机获取的图像中提取并检测AprilTag标签并与标定板上标签进行匹配，通过已知的相 机内参数，可以将图片中检测的AprilTag标签中心通过相机的归一化平面坐标进行表示。 利用已知的各AprilTag标签中心相对于全向标定板中心的相对位置，进而可获得3D-2D匹 配关系。定义在k帧图像下该匹配关系为

，其中M为该网格图案上 AprilTag标签的个数。

将反射点的坐标通过旋转矩阵以及平移矩阵转换到相机坐标系下进行表示得到

，

可以通过如下公式进行表示：

其中，

是镜像后的三维点沿相机光心方向的深度值。

上述公式可以被重新整理为以下形式：

其中此处

和

可利用所有的3D-2D匹配对并通过计算机视觉中常用的 Perspective-n-Point (PnP)算法求得，且

用于表示通过旋转矩阵、平移矩阵与反射 对应的变换矩阵共同作用的等效矩阵。因此相机的外参数标定任务等同于求解满足以下约 束关系的

和

：

进一步的，其中外参数的旋转部分（也就是旋转矩阵）可以通过优化的方式求解， 目标函数为

，其中Fr代表矩阵内积，N 为所有观测的图片帧。

在获得相机外参旋转矩阵

后，外参数的平移部分可以通过非齐次线性方程组 的方式求解，该线性方程组为：

可以通过常用的奇异值分解方法来解得外参平移量（也就是平移矩阵）

。

步骤405，当获取到该多相机系统中的每个目标相机的外参数信息后，根据该每个目标相机的外参数信息，确定各个该目标相机之间的相对姿态。

在一种可能的实现方式中，根据该每个目标相机分别与全向标定板对应的旋转矩阵以及平移矩阵，确定该各个目标相机之间的旋转矩阵以及平移矩阵，以得到该多相机系统的外参数信息。

即重复上述步骤401至步骤404，即可依次标定出各个目标相机与全向标定板之间的相对位姿，进而可获得各相机之间的相对位姿，完成多相机系统的外参标定。

综上所述，在多相机系统中，对于其中的任一个目标相机，该目标相机可以通过不同位姿的反射镜采集到全向标定板的图像，此时计算机设备可以对目标相机采集到的各帧图像分别进行图像处理，从而得到各帧图像中的标注的图像标注坐标；计算机设备再基于采集到各帧目标图像时目标反射镜的位姿，以及全向标定板上的各个标注的坐标，得到通过镜面反射后的标注的反射点坐标，计算机设备将各帧图像中的图像标注坐标与各帧图像对应的反射点坐标进行匹配，即可以获得目标相机的外参数信息，从而得到目标相机之间的相对姿态以实现多相机系统的外参数标定，该方案无需搭建特定标定场景，只需要对反射镜进行位姿变换即可以实现各个目标相机外参数标定，提高了多相机系统的外参数标定效率。

图5是根据一示例性实施例示出的一种多相机系统参数标定装置的结构方框图。该多相机系统参数标定装置包括：

目标图像获取模块501，用于针对多相机系统中的每个目标相机，获取各帧目标图像；所述各帧目标图像为所述目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像；

标注坐标获取模块502，用于对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标；

反射点坐标获取模块503，用于基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标；

外参数获取模块504，用于以所述各帧目标图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息；

相对姿态计算模块505，用于当获取到所述多相机系统中的每个目标相机的外参数信息后，根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态。

在一种可能的实现方式中，所述全向标定板为长方体型；且所述全向标定板的各个侧面都存在唯一图像标注。

在一种可能的实现方式中，所述标注坐标获取模块，用于针对每帧目标图像，将所述目标图像与所述图像标注进行对比，确定所述目标图像中存在的各个图像标注，以及所述各个图像标注分别对应的图像标注坐标。

在一种可能的实现方式中，所述反射点坐标获取模块，用于，

针对每帧目标图像，确定所述目标图像中存在的各个图像标注在所述全向标定板中的世界坐标；

基于所述世界坐标、目标反射镜的镜平面的法向量以及全向标定板的中心点到所述目标反射镜的镜平面的距离在镜平面法向量上的投影，确定所述目标图像中存在的各个图像标注所对应的反射点坐标。

在一种可能的实现方式中，所述外参数信息包括所述目标相机与全向标定板对应的旋转矩阵以及平移矩阵。

在一种可能的实现方式中，所述外参数获取模块，还用于，

以所述各帧目标图像对应的反射点坐标，通过旋转矩阵以及平移矩阵处理后，与所述各帧图像中的图像标注坐标匹配为目标条件，通过PNP算法获得满足目标条件的所述目标相机的旋转矩阵以及平移矩阵。

在一种可能的实现方式中，所述相对位姿计算模块，用于，

根据所述每个目标相机分别与全向标定板对应的旋转矩阵以及平移矩阵，确定所述各个目标相机之间的旋转矩阵以及平移矩阵，以得到所述多相机系统的外参数信息。

综上所述，在多相机系统中，对于其中的任一个目标相机，该目标相机可以通过不同位姿的反射镜采集到全向标定板的图像，此时计算机设备可以对目标相机采集到的各帧图像分别进行图像处理，从而得到各帧图像中的标注的图像标注坐标；计算机设备再基于采集到各帧目标图像时目标反射镜的位姿，以及全向标定板上的各个标注的坐标，得到通过镜面反射后的标注的反射点坐标，计算机设备将各帧图像中的图像标注坐标与各帧图像对应的反射点坐标进行匹配，即可以获得目标相机的外参数信息，从而得到目标相机之间的相对姿态以实现多相机系统的外参数标定，该方案无需搭建特定标定场景，只需要对反射镜进行位姿变换即可以实现各个目标相机外参数标定，提高了多相机系统的外参数标定效率。

图6示出了本申请一示例性实施例示出的计算机设备600的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备600包括中央处理单元（Central Processing Unit，CPU）601、包括随机存取存储器（Random Access Memory，RAM）602和只读存储器（Read-Only Memory，ROM）603的系统存储器604，以及连接系统存储器604和中央处理单元601的系统总线605。所述计算机设备600还包括用于存储操作系统609、应用程序610和其他程序模块611的大容量存储设备606。

所述大容量存储设备606通过连接到系统总线605的大容量存储控制器（未示出）连接到中央处理单元601。所述大容量存储设备606及其相关联的计算机可读介质为计算机设备600提供非易失性存储。也就是说，所述大容量存储设备606可以包括诸如硬盘或者只读光盘（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器（Erasable Programmable Read Only Memory，EPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-OnlyMemory，EEPROM）闪存或其他固态存储其技术，CD-ROM、数字多功能光盘（DigitalVersatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器604和大容量存储设备606可以统称为存储器。

根据本公开的各种实施例，所述计算机设备600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备600可以通过连接在所述系统总线605上的网络接口单元607连接到网络608，或者说，也可以使用网络接口单元607来连接到其他类型的网络或远程计算机系统（未示出）。

所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元601通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图3或图4任一实施例所示方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多相机系统参数标定方法，其特征在于，所述方法包括：

针对多相机系统中的每个目标相机，获取各帧目标图像；所述各帧目标图像为所述目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像；

对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标；

基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标；

以所述各帧目标图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息；

当获取到所述多相机系统中的每个目标相机的外参数信息后，根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态。

2.根据权利要求1所述的方法，其特征在于，所述全向标定板为长方体型；且所述全向标定板的各个侧面都存在唯一图像标注。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标，包括：

针对每帧目标图像，将所述目标图像与所述图像标注进行对比，确定所述目标图像中存在的各个图像标注，以及所述各个图像标注分别对应的图像标注坐标。

4.根据权利要求3所述的方法，其特征在于，所述基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标，包括：

针对每帧目标图像，确定所述目标图像中存在的各个图像标注在所述全向标定板中的世界坐标；

基于所述世界坐标、目标反射镜的镜平面的法向量以及全向标定板的中心点到所述目标反射镜的镜平面的距离在镜平面法向量上的投影，确定所述目标图像中存在的各个图像标注所对应的反射点坐标。

5.根据权利要求4所述的方法，其特征在于，所述外参数信息包括所述目标相机与全向标定板对应的旋转矩阵以及平移矩阵。

6.根据权利要求5所述的方法，其特征在于，所述以所述各帧图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息，包括：

以所述各帧目标图像对应的反射点坐标，通过旋转矩阵以及平移矩阵处理后，与所述各帧图像中的图像标注坐标匹配为目标条件，通过PNP算法获得满足目标条件的所述目标相机的旋转矩阵以及平移矩阵。

7.根据权利要求5所述的方法，其特征在于，所述根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态，包括：

根据所述每个目标相机分别与全向标定板对应的旋转矩阵以及平移矩阵，确定所述各个目标相机之间的旋转矩阵以及平移矩阵，以得到所述多相机系统的外参数信息。

8.一种多相机系统参数标定装置，其特征在于，所述装置包括：

目标图像获取模块，用于针对多相机系统中的每个目标相机，获取各帧目标图像；所述各帧目标图像为所述目标相机分别通过不同位姿的反射镜采集到的全向标定板的图像；

标注坐标获取模块，用于对所述各帧目标图像分别进行图像处理，确定所述各帧目标图像中的图像标注坐标；

反射点坐标获取模块，用于基于采集到各帧目标图像时目标反射镜的位姿，分别确定全向标定板中的图像标注与所述各帧目标图像对应的反射点坐标；

外参数获取模块，用于以所述各帧目标图像中的图像标注坐标，与所述各帧目标图像对应的反射点坐标匹配为目标条件，确定所述目标相机的外参数信息；

相对姿态计算模块，用于当获取到所述多相机系统中的每个目标相机的外参数信息后，根据所述每个目标相机的外参数信息，确定各个所述目标相机之间的相对姿态。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一所述的多相机系统参数标定方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的多相机系统参数标定方法。

Images