CN114283203B - 一种多相机系统的标定方法及系统 - Google Patents

Abstract

本申请涉及立体视觉技术领域，提供的一种多相机系统的标定方法及系统，标定系统包括至少两台相机、图像处理器、采集状态评估器、采集状态引导指示器、相机参数第一计算器和相机参数第二计算器，图像处理器用于提取相机拍摄的多帧图像中标记点的2D坐标，采集状态评估器用以评估标定杆在空间中的挥动位置与姿态，相机参数第一计算器用于利用采集到的标记点坐标计算和优化多相机内参与外参，相机参数第二计算器用以进行标记点坐标的空间重采样并再次进行相机参数优化，本申请提供的一种多相机系统的标定方法及系统，不仅实现了多相机系统的快速精确标定，还可以指引标定杆在标定空间中均匀分布，得到空间定位精度分布均匀的标定结果。

Description

一种多相机系统的标定方法及系统

技术领域

本申请涉及立体视觉技术领域，尤其涉及一种多相机系统的标定方法及系统。

背景技术

随着立体视觉的火热，由多个相机组成的多视系统在3D重建、人体动作捕捉、多视点视频等有广泛应用，多相机系统应用的前提是完成多相机系统标定，多相机系统标定是多相机系统进行可靠高效工作不可或缺的重要步骤。

相机标定是指求解相机模型参数的过程，具体包括相机本征参数、像差参数和多相机间方位参数，进而建立多视图像中像素点坐标与对应3D空间坐标点之间的映射关系。标定方法主要分为传统标定、自标定、基于主动视觉的标定方法以及多相机标定方法。

传统标定方法一般需要制造高精度的校准物，根据校准物的图像坐标和3D坐标的对应关系求取相机参数。相机自标定方法是根据场景和相机成像模型本身存在的约束关系，对相机模型参数进行求解，相机需要从多个方位采集未知结构的标定参照物的图像，相机自标定方法不需要标定靶标的参与，标定方法灵活，速度快，适和现场标定，但自标定方法精度低，鲁棒性差，适合精度要求不高的场合。基于主动视觉的相机标定方法需要控制相机做某些特殊类型运动，利用其运动信息进行标定。虽然算法简单，但需要比较精密的仪器设备控制相机的运动。

多相机系统的标定，是通过对应点建立多相机间的联系，求解相机内参与外参。根据标定物的不同，可将标定物分为： 1D标定，2D标定及3D标定。传统的 2D和3D标定物很难在被测范围内做自由运动，易产生自遮挡，多相机无法同时获取校准物图像信息，只能对相机逐个或分组依次标定，最后再通过刚体变换原理统一坐标系求取相机间的方位，这样使得标定过程繁琐、操作不便、还会引入较大的累积误差。1D标定物进行标定可有效避免上述问题，实现快速标定，但一些现有技术方案仍然存在相机内参与外参计算精度较低，及标定空间定位精度不均匀的问题。

发明内容

在多相机系统标定过程中，为了相机内参与外参的计算精度，以及，保证标定空间定位精度均匀，本申请提供一种多相机系统的标定方法及系统。

本申请第一方面提供的一种多相机系统的标定方法，包括：

至少两台相机，用于同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；

图像处理器，用于提取所述多帧图像中标记点的2D坐标，并作为第一坐标点集传输至采集状态评估器；

采集状态评估器，用于根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；

采集状态引导指示器，用于根据标定杆的分布指示，指引标定杆后续的运动位置；

相机参数第一计算器，用于根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的2D坐标和各相机外参，计算标记点的3D 坐标，并生成3D特征点集；

以及，用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；

相机参数第二计算器，用于对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

可选的，所述相机参数第一计算器包括：

内参求解器，用于根据相机镜头焦距、CMOS像元数量与像元尺寸，计算内参初值；

外参求解器，用于通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量；

3D点计算器，用于将第一坐标点集中的2D坐标转化为标记点的3D 坐标，生成3D特征点集。

可选的，所述相机参数第一计算器还包括：

第一参数优化器，用于以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行优化；

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。

可选的，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；

所述根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示的步骤，具体为：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；

第一预设值以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1。

可选的，所述相机上设置有LED灯环，所述LED灯环均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。

可选的，相机参数第二计算器包括：

空间区域分割计算器，用于对标记点的3D坐标组成的点云进行主成分分析，建立包围盒；以及对所述包围盒的内空间进行均匀体素划分，获得多个体素空间；

标定物姿态分布计算器，用于对任一体素空间内每帧标定杆通建立方向向量，将体素空间划分为以体心为顶点，以正二十面体三角形外表面为底面的四面体，确定每个四面体内标定杆方向向量的数量；

标定物姿态重采样计算器，用于对四面体内包含的标定杆方向向量的数量设定最大的阈值，对任一四面体内包含的标定杆方向向量进行降采样，得到降采样后保留的方向向量对应标定杆的标记点3D坐标；

第二参数优化器，用于根据降采样后的标记点3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

本申请第二方面提供一种多相机系统的标定方法，所述一种多相机系统的标定方法应用于本申请第一方面提供的一种多相机系统的标定系统，对于本申请第二方面为公开的细节，请参见本申请第一方面提供的一种多相机系统的标定系统。

一种多相机系统的标定方法包括：

利用多相机同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；

提取所述多帧图像中标记点的2D坐标，作为第一坐标点集；

根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；

根据标定杆的分布指示，指引标定杆后续的运动位置；

根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的坐标点和各相机外参，计算标记点的3D 坐标，并生成3D特征点集；

利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；

对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

可选的，所述根据第一坐标点集中的2D坐标和内参初值，计算各相机外参的步骤，具体为：

通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量。

可选的，所述用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数进行优化，获得优化后的相机内参和相机外参的步骤，具体为：

以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数进行优化；

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。

可选的，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；

所述根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示的步骤，具体为：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，若象限内标记点的2D坐标数量达到第一预设值，则计算标定杆中心点坐标数量与象限内标记点的2D坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两个标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；

以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1。

由上述技术方案可知，本申请提供的一种多相机系统的标定方法及系统，所述一种多相机系统的标定系统包括：至少两台相机、图像处理器、采集状态评估器、采集状态引导指示器、相机参数第一计算器和相机参数第二计算器，图像处理器用于提取相机拍摄的多帧图像中标记点的2D坐标，采集状态评估器用以评估标定杆在空间中的挥动位置与姿态；采集状态引导指示器用以指示标定杆后续的运动位置，以实现标定杆上标记点在空间的均匀分布；相机参数第一计算器用于利用采集到的标记点坐标计算和优化多相机内参与外参，相机参数第二计算器用以进行标记点坐标的空间重采样并再次进行相机参数优化，本申请提供的一种多相机系统的标定方法及系统，不仅实现了多相机系统的快速精确标定，还可以指引标定杆在标定空间中均匀分布，得到空间定位精度分布均匀的标定结果。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图

图1为本申请实施例提供的一种多相机系统的标定系统的模块结构示意图；

图2为本申请实施例提供的相机参数第一计算器包含的模块结构示意图；

图3为本申请实施例提供的相机参数第二计算器包含的模块结构示意图；

图4为本申请实施例提供的一种多相机系统的标定方法的流程示意图。

实施方式

在多相机系统标定过程中，为了相机内参与外参的计算精度，以及，保证标定空间定位精度均匀，本申请实施例提供一种多相机系统的标定方法及系统。

如图1、图2和图3所示，本申请实施例第一方面提供一种多相机系统的标定系统，包括：硬件和软件两部分，其中硬件包括至少两台带LED灯环的成像相机和工控机，软件包括图像处理器、采集状态评估器、采集状态引导指示器、相机参数第一计算器以及相机参数第二计算器。

标定过程中，操作者或者控制器械在多相机共视场中自由挥动标定杆，通过各相机同时刻采集多相机共视场中自由运动的标定杆的多帧图像，所述图像处理器，用于提取所述多帧图像中标记点的2D坐标，并作为第一坐标点集传输至采集状态评估器；需要说明的是，所述图像处理器提取标记点的2D坐标时，会按相机的序号以及采集的帧号进行排序，以便于后续应用。

采集状态评估器累积所有标记点的2D坐标，然后按各相机分别进行标定杆姿态和位置评估，包括计算标定杆中心，两端点长度及偏角，标定杆中心坐标用于判断标定杆相对于相机成像平面的投影位置，将相机成像平面（即拍摄带有标定杆的图像）划分为4个象限，根据标定杆中心坐标在4个象限中的分布，可估计标定杆在相机坐标系XOY平面的分布规律；两端点长度用于判断标定杆距离相机的远近，根据近大远小的投影规律，可估计标定杆在相机坐标系Z轴方向的分布规律；标定杆偏角用于判断标定杆相对于相机坐标系的姿态，标定杆向量相对于图像X轴坐标的夹角即为偏角，偏角在不同角度范围的分布，可大致估计标定杆相对于相机坐标系的姿态。

根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示，具体为：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，设定每个相机采集的标记点总数最低限度X = 2000点，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1。

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两个标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值（相机采集的标记点总数最低限度的10%），则将对应象限内标记点的分层指示标记为1，其中，所述分层指示主要用于体现标记点的空间分布均匀性。

以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值（相机采集的标记点总数最低限度的10%），则将对应象限的偏角指示标记为1，其中，所述偏角指示主要用于体现标记杆的空间姿态。

采集状态引导指示器，用于根据标定杆的分布指示，指引标定杆后续的运动位置；具体的，所述采集状态引导指示器通过控制相机上的LED灯环，实现对标定杆后续的运动位置指引。

具体的，所述相机上设置有LED灯环，所述LED灯环均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。在实际应用过程中，为了避免LED灯珠损坏，导致本应点亮的LED灯珠未点亮，导致错误指引，也可将标记为1或不为1的情况下，LED灯珠设置不同的亮度，例如，标记不为1时，灯珠设为绿色，需要继续进行采集，标记为1时，灯珠设为蓝色，表示该分布指示对应的采集已完成。

相机参数第一计算器包括内参求解器、外参求解器、3D点计算器和第一参数优化器。

所述内参求解器，用于根据相机镜头焦距、CMOS像元数量与像元尺寸，计算内参初值和畸变系数初值。

所述外参求解器，用于通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量。

所述3D点计算器，用于根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，具体为：根据第一坐标点集中的2D坐标和各相机外参，计算标记点的3D 坐标，并生成3D特征点集。

第一参数优化器，用于以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参初值与畸变系数初值进行优化。

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标。

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。

由于需要优化的参数众多（标记点3D坐标、相机外参的平移向量、相机外参的旋转矩阵、相机内参初值和畸变系数初值），若只进行一次非线性优化，很容易陷入局部最优优化，导致最后得到的相机内参和相机外参的误差较大，本申请实施例采用分层光束平差算法，以提高优化精度，通过进行多次光束平差优化，对优化参数进行逐项增加。具体的，对相机内参、畸变系数、相机外参及标记点3D坐标的非线性优化，运用光束平差算法，以标定杆图像标记点的2D坐标为优化源数据，以相机重投影误差为优化目标，对上述参数（相机内参，畸变系数初值，相机外参及标记点3D坐标）进行优化，迭代优化终止条件为设定最大迭代次数，或重投影误差函数下降梯度模值小于设定阈值。

首先进行标记点3D坐标与相机外参平移矩阵的优化，在初值条件下，标记点3D坐标与相机外参的平移向量对重投影误差影响最大，以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，进行光束平差优化；然后添加相机外参的旋转向量一同参与优化，同样以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，再次进行光束平差优化；然后在添加相机内参和畸变系数初值一同参与优化，同样以标定杆图像坐标作为优化源数据，以重投影误差最小为优化目标，再次进行光束平差优化；分层优化后，将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；最后对全部参数（相机内参，畸变系数初值，相机外参及标记点3D坐标）进行一次光束平差非线性优化，以标定杆图像坐标作为优化源数据，以重投影误差最小为优化目标，得到优化后的相机内参、相机外参和畸变系数。

相机参数第二计算器包括空间区域分割计算器、标定物姿态重采样计算器和第二参数优化器。

所述空间区域分割计算器，用于对标记点的3D坐标组成的点云进行主成分分析（PCA），建立包围盒；以及对所述包围盒的内空间进行均匀体素划分，获得多个体素空间。

所述标定物姿态分布计算器，用于对任一体素空间内每帧标定杆通建立方向向量，将体素空间划分为以体心为顶点，以正二十面体三角形外表面为底面的四面体，确定每个四面体内标定杆方向向量的数量。

所述标定物姿态重采样计算器，用于对四面体内包含的标定杆方向向量的数量设定最大的阈值，对任一四面体内包含的标定杆方向向量进行降采样，得到降采样后保留的方向向量对应标定杆的标记点3D坐标。

所述第二参数优化器，用于根据降采样后的标记点3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

需要说明的是，所述相机参数第二计算器对所述标记点的3D坐标进行重采样，在具体实施过程中，采用的是降采样方法。相机参数第二计算器目的是有效解决标定空间精度分布不均匀问题，通过相机参数第一计算器求解相机内参合相机外参，并未考虑标定杆在空间分布均匀性问题，从而使得标定精度在空间分布存在较大差异。相机参数第二计算器通过对相机参数第一计算器求解得到的标定杆标记点的3D坐标进行空间重采样，使得标定杆位置和姿态在空间大致均匀分布。

本申请实施例第二方面提供一种多相机系统的标定方法，所述一种多相机系统的标定方法应用于本申请实施例第一方面提供的一种多相机系统的标定系统，对于本申请实施例第二方面为公开的细节，请参见本申请实施例第一方面提供的一种多相机系统的标定系统。

一种多相机系统的标定方法包括步骤S401至步骤S407。

步骤S401，利用多相机同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点。

步骤S402，提取所述多帧图像中标记点的2D坐标，作为第一坐标点集。

步骤S403，根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示。

步骤S404，根据标定杆的分布指示，指引标定杆后续的运动位置。

步骤S405，根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的坐标点和各相机外参，计算标记点的3D 坐标，并生成3D特征点集。

步骤S406，利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数进行优化，获得优化后的相机内参和相机外参。

步骤S407，对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

进一步的，所述根据第一坐标点集中的2D坐标和内参初值，计算各相机外参的步骤，具体为：

通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量。

进一步的，所述用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数的步骤，具体为：

以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数进行优化。

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标。

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。

进一步的，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示。

所述根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示的步骤，具体为：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1。

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1。

以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1。

由上述技术方案可知，本申请实施例提供的一种多相机系统的标定方法及系统，所述一种多相机系统的标定系统包括：至少两台相机、图像处理器、采集状态评估器、采集状态引导指示器、相机参数第一计算器和相机参数第二计算器，图像处理器用于提取相机拍摄的多帧图像中标记点的2D坐标，采集状态评估器用以评估标定杆在空间中的挥动位置与姿态；采集状态引导指示器用以指示标定杆后续的运动位置，以实现标定杆上标记点在空间的均匀分布；相机参数第一计算器用于利用采集到的标记点坐标计算和优化多相机内参与外参，相机参数第二计算器用以进行标记点坐标的空间重采样并再次进行相机参数优化，本申请实施例提供的一种多相机系统的标定方法及系统，不仅实现了多相机系统的快速精确标定，还可以指引标定杆在标定空间中均匀分布，得到空间定位精度分布均匀的标定结果。

以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (7)

1.一种多相机系统的标定系统，其特征在于，包括：

至少两台相机，用于同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；

图像处理器，用于提取所述多帧图像中标记点的2D坐标，并作为第一坐标点集传输至采集状态评估器；

采集状态评估器，用于根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；

采集状态引导指示器，用于根据标定杆的分布指示，指引标定杆后续的运动位置；

相机参数第一计算器，用于根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的2D坐标和各相机外参，计算标记点的3D 坐标，并生成3D特征点集；

以及，用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；

相机参数第二计算器，用于对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参；

其中，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；

所述采集状态评估器还用于：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；

以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1；

其中，所述相机上设置有LED灯环，所述LED灯环均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。

2.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述相机参数第一计算器包括：

内参求解器，用于根据相机镜头焦距、CMOS像元数量与像元尺寸，计算内参初值；

外参求解器，用于通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量；

3D点计算器，用于将第一坐标点集中的2D坐标转化为标记点的3D 坐标，生成3D特征点集。

3.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述相机参数第一计算器还包括：

第一参数优化器，用于以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行优化；

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。

4.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，相机参数第二计算器包括：

空间区域分割计算器，用于对标记点的3D坐标组成的点云进行主成分分析，建立包围盒；以及对所述包围盒的内空间进行均匀体素划分，获得多个体素空间；

标定物姿态分布计算器，用于对任一体素空间内每帧标定杆通建立方向向量，将体素空间划分为以体心为顶点，以正二十面体三角形外表面为底面的四面体，确定每个四面体内标定杆方向向量的数量；

标定物姿态重采样计算器，用于对四面体内包含的标定杆方向向量的数量设定最大的阈值，对任一四面体内包含的标定杆方向向量进行降采样，得到降采样后保留的方向向量对应标定杆的标记点3D坐标；

第二参数优化器，用于根据降采样后的标记点3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。

5.一种多相机系统的标定方法，其特征在于，所述一种多相机系统的标定方法应用于权利要求1-4任一项所述的一种多相机系统的标定系统，包括：

利用多相机同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；

提取所述多帧图像中标记点的2D坐标，作为第一坐标点集；

根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；

根据标定杆的分布指示，指引标定杆后续的运动位置；

根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的坐标点和各相机外参，计算标记点的3D 坐标，并生成3D特征点集；

利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；

对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参；

其中，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；

所述根据标定杆在各相机坐标系下的位置及姿态具体为：

将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；

根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；

以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1；

其中，所述相机上设置有LED灯环，所述LED灯环均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。

6.根据权利要求5所述的一种多相机系统的标定方法，其特征在于，所述根据第一坐标点集中的2D坐标和内参初值，计算各相机外参的步骤，具体为：

通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量。

7.根据权利要求5所述的一种多相机系统的标定方法，其特征在于，所述用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D 坐标、相机外参、内参初值和畸变系数进行优化，获得优化后的相机内参和相机外参的步骤，具体为：

以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数进行优化；

以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；

再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。