CN113744347A - 大空间环境下边扫场边标定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及计算机视觉技术领域，尤其涉及一种大空间环境下边扫场边标定方法、装置、设备及存储介质。该方法包括：获取多个光学相机的相机序号，采集多帧数据，每帧均得到对应的多个初始数据；在多个初始数据中，当至少有两个光学相机采集到预设帧数的坐标数据时，根据多个初始数据得到每个光学相机的目标外参和目标内参，计算每个光学相机的重投影误差并记为标定精度，在所有的光学相机的标定精度不大于精度阈值后，整体优化所有的光学相机的目标外参。本申请边扫场边标定技术，不但减少了传统标定方法的标定时间，而且实时反馈节省了大量的人力和物力，使得系统运行更加流畅方便。

Description

大空间环境下边扫场边标定方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种大空间环境下边扫场边标定方法、装置、设备及存储介质。

背景技术

随着机器视觉应用日益广泛，大空间环境中的多相机视觉系统的需求越来越多了，主要方向是大空间内的高精度定位与跟踪。为实现对物体的定位与跟踪，首先要对相机进行标定，在光学动捕系统中，标定过程需要在场地中间不断挥动标定杆，从而记录所有相机采集到的数据，我们将数据采集过程称为扫场。在多相机环境下，标定过程不仅要确定每个相机的参数，也需要确定相机与相机之间的位置关系，因此标定过程需要收集大量的相机数据，并通过复杂的算法优化，才能达到高质量的标定精度。

这样的扫场标定程序给用户带来了很多不便：第一，标定过程需要大量数据和复杂的算法计算，耗时太长；第二，标定算法是在数据采集之后才开始的，为了标定算法计算的准确性，用户必须一次性采集大量的数据，这些数据中含有很多无用的冗余数据，从而又导致了算法复杂性和耗时的问题；第三，如果一次标定算法的结果不符合用户的预期，用户则必须重新扫场，浪费了大量的人力和物力。

发明内容

本申请的主要目的在于提供一种大空间环境下边扫场边标定方法、装置、设备及存储介质，旨在解决在大空间环境中多个光学相机标定时耗时耗力的技术问题。

为实现上述目的，本申请提供一种大空间环境下边扫场边标定方法，所述方法包括以下步骤：

获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

在多个所述初始数据中，当至少有两个所述光学相机采集到预设帧数的坐标数据时，根据多个所述初始数据确定出多个所述光学相机中的主相机，根据所述主相机得到每个所述光学相机的目标外参；获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参；

根据每个所述光学相机的所述目标内参、所述目标外参和采集到的所有坐标数据，计算每个所述光学相机的重投影误差，将所述重投影误差记为所述光学相机的标定精度，若任一所述光学相机的标定精度大于预设的精度阈值，则对于所述标定精度大于所述精度阈值的所述光学相机重复第一步，直至所有的所述光学相机的标定精度不大于所述精度阈值；

从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参。

本申请提供一种大空间环境下边扫场边标定装置，包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

确定参数模块，用于在多个所述初始数据中，当至少有两个所述光学相机采集到预设帧数的坐标数据时，根据多个所述初始数据确定出多个所述光学相机中的主相机，根据所述主相机得到每个所述光学相机的目标外参；获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参；

标定精度反馈模块，用于根据每个所述光学相机的所述目标内参、所述目标外参和采集到的所有坐标数据，计算每个所述光学相机的重投影误差，将所述重投影误差记为所述光学相机的标定精度，若任一所述光学相机的标定精度大于预设的精度阈值，则对于所述标定精度大于所述精度阈值的所述光学相机重复第一步，直至所有的所述光学相机的标定精度不大于所述精度阈值；

整体优化模块，用于从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得一个或多个处理器执行上述大空间环境下边扫场边标定方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述大空间环境下边扫场边标定方法的步骤。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。

图1为本申请一个实施例中大空间环境下边扫场边标定方法的流程图；

图2为本申请一个实施例中标定杆的一种结构示意图；

图3为本申请一个实施例中大空间环境下边扫场边标定装置的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

参照图1，为本申请一个实施例中的大空间环境下边扫场边标定方法的流程图，如图1所示，一种大空间环境下边扫场边标定方法，包括以下步骤：

步骤S1，获取初始数据：获取多个光学相机的相机序号，采集每个光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个初始数据均包括相机序号及对应的坐标数据。

本步骤的标定杆采用一种二维标定杆，标定杆上有多个标记点，且标记点涂有高反光材料，能够被光学相机识别。标记点的位置关系是预先设置好的，即可直接得到多个标记点之间的位置关系数据。如图2所示，标定杆1上设有五个标记点11。使用过程中，在大空间内多相机环境下挥动标定杆1，光学相机则会识别到标定杆1上的标记点，得到每一帧二维空间坐标数据，并把这些坐标数据记录存储。

由于标定算法需要采集大量的数据，这些数据需要以一种规范的数据结构形式被清晰地整理存储下来。本步骤的数据结构是以各个光学相机采集到的坐标数据为最底层，坐标数据形成当前帧各个光学相机的一帧数据，最后把所有光学相机当前帧的数据整合为一个完整帧数据。首先，挥动标定杆时，所有光学相机每一帧完整数据记为Frame；然后每一帧完整数据Frame包括各个光学相机当前帧的初始数据，记为View；最后，各个光学相机数据View包括相机序号Camera_id和坐标数据Points。

不是所有的光学相机在每一帧都能捕获到标定杆，即不是所有的光学相机每一帧都有坐标数据，所以每一个View并不包含所有光学相机当前帧数据，而是只包含了那些含有坐标数据的光学相机的当前帧数据。明显地，这样设计的优点是节约了大量的存储空间。通过这样的数据结构，最终采集到的数据是标定杆挥动时很多帧Frame数据，每一帧数据View包含当前帧各个光学相机Camera_id的二维空间坐标数据Points。

步骤S2，确定光学相机的内外参数：在多个初始数据中，当至少有两个光学相机采集到预设帧数的坐标数据时，根据多个初始数据确定出多个光学相机中的主相机，根据主相机得到每个光学相机的目标外参；获取每个光学相机的硬件分辨率，根据硬件分辨率，得到每个光学相机的目标内参。

在步骤S1得到了多个初始数据后，若至少有两个相机采集到预设帧数的坐标数据时，如预设帧数为500帧坐标数据时，就启动另一个线程，即后续的区域标定算法过程。

在一个实施例中，步骤S2中，在多个初始数据中，当至少有两个光学相机采集到预设帧数的坐标数据时，根据多个初始数据确定出多个光学相机中的主相机，包括：

步骤S201，定时判断初始数据中是否含有至少两个光学相机采集到预设帧数的坐标数据，若未含有至少两个光学相机采集到预设帧数的坐标数据，则继续进行采集每个光学相机对挥动中的标定杆捕获的多帧数据步骤。

只有至少两个光学相机采集到预设帧数的坐标数据时，才启动区域标定算法过程，否则继续进行步骤S1采集初始数据的过程。

步骤S202，若含有至少两个光学相机采集到预设帧数的坐标数据，则将每帧的坐标数据中的坐标点个数少于预设最少个数的初始数据剔除，将每帧的坐标数据中的坐标点个数大于预设的最大个数的初始数据剔除，每帧均得到剔除后的初始数据。

由于在步骤S1采集数据过程中标定杆是在不断挥动的，导致不是每一帧数据都能完整，即包含标定杆上的多个标记点坐标，而且即使有多个坐标点数据，也不能确定这多个坐标就是标定杆上的多个标记点。所以本步骤需要检查采集到的每一帧的坐标数据。本步骤的预设个数数量与标定杆上设置的标记点个数相同。若标定杆上设有五个标记点，则预设最少个数为5，则首先排除每一帧中的坐标数据的坐标点少于5的数据，然后由于标定杆上五个标记点的位置关系是确定的，可以在剩下的坐标数据中检测每一帧是否包含属于标定杆的五个坐标点，如果有，则记录下这五个坐标数据，如果没有，则去掉这一帧中“不完整”的坐标数据，即对于少于5个的坐标数据进行第一轮的剔除。

在完成第一轮剔除后剩下的坐标数据中，判断坐标点个数是否大于预设的最大个数，此最大个数可以为500个，认为此帧中的当前光学相机得到的坐标点杂点太多，无用数据过量，进行第二轮剔除。

步骤S203，获取标定杆上多个标记点的位置关系数据，在剔除后的初始数据中，检测坐标数据中是否含有位置关系数据的多个坐标点，若含有，则将多个坐标点及对应的相机序号进行记录形成有效数据，否则，剔除初始数据，则每帧得到对应的多个有效数据，将含有有效数据最多的相机序号确定为主相机。

由于标定杆上的标记点位置是已知且确定的，根据此位置关系数据，可以在每帧的每个光学相机对应的坐标数据中多个坐标点进行位置计算，最终得到是否含有此位置关系数据的多个坐标点。例如，图2中的5个标记点具有确定的位置关系数据，则计算多个坐标点中，是否含有3个坐标点连成的一条线段，3个坐标点连成的一条线段，两条线段中的中间一个坐标点重合，两条线段垂直。若有这样位置关系数据的5个坐标点，则认为坐标数据中含有位置关系数据的多个坐标点。

本步骤为了确定光学相机的外部参数，首先需要确定出一个主相机及其外部参数，通过主相机来计算其他相关联的光学相机的外部参数。本步骤在确定主相机时，根据所有帧的所有有效数据，分析出坐标数据中出现次数最多的相机序号，此相机序号对应的光学相机记为主相机。

本实施例通过上述剔除坐标数据的方式，可以根据已知的标记点坐标位置信息，精确的确定出每一帧的坐标数据是否是完整数据，以便于为后续光学相机内外参提供精确完整的计算数据。

在一个实施例中，步骤S2中，根据主相机得到每个光学相机的目标外参，包括：

步骤S211，将主相机的旋转信息定义为单位阵，将主相机平移信息定义为零矩阵，单位阵和零矩阵为主相机的目标外参。

在确定好主相机后，可根据主相机的确定主相机的旋转信息为单位阵，平移信息为零矩阵。此时的主相机与其他光学相机的关联度最大，其他相机的外参则是相对于主相机的旋转和平移。

步骤S212，根据每帧的多个有效数据，将其他的光学相机和主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过主相机的旋转信息和平移信息得到目标相机的旋转信息和平移信息，旋转信息和平移信息为目标相机的目标外参。

在计算其他光学相机的外部参数前，需要将其他光学相机与主相机进行数据匹配，从有效数据中，查找到足够的匹配数据，并根据匹配数据和主相机的外部参数，通过八点法求得本质矩阵，进而进行奇异值分解(Singular Value Decomposition，SVD)，最终得到目标相机的外部参数。

在根据主相机得到目标相机的目标外参时，通过如下步骤确定：

步骤S21201，逐帧查找有效数据中是否含有主相机的相机序号，若不含有主相机的相机序号，则继续查找下一帧。

步骤S21202，若含有主相机的相机序号，则继续逐个查找有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有主相机和当前光学相机的坐标数据，则认为主相机和当前相机之间含有足够的匹配数据。

其中，预设帧数为50帧，即50帧以上的有效数据中即含有主相机的坐标数据，也含有当前光学相机的坐标数据，则认为主相机和当前光学相机之间含有足够的匹配数据，这些帧的有效数据为两者的匹配数据。

步骤S21203，若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。

步骤S21204，在匹配数据的任一一帧中，分别获取主相机和目标相机的坐标数据，获取标定杆上多个标记点的位置关系数据，根据位置关键数据，将主相机的坐标数据与目标相机的坐标数据进行匹配，得到多组二维空间特征对，将多组二维空间特征对和两个光学相机参数构造线性方程组，求解出本质矩阵。

本步骤通过基于八点法求得本质矩阵，在求本质矩阵之前，需要对坐标数据进行匹配，由于标记点的位置关系数据是确定的，且匹配数据中主相机的坐标数据和目标相机的坐标数据都必定含有与标记点相同的位置关系的坐标点，因此根据位置关系数据，在每帧匹配数据中就可以得到多组二维空间特征对。若标定杆上的标记点为5个时，每帧匹配数据得到五组二维空间特征对。

将将多组二维空间特征对和光学相机参数构造线性方程组，进而求解出本质矩阵。为了求解本质矩阵，首先计算基础矩阵F，由

根据多组二维空间特征对得到基础矩阵F，根据F＝M^-TEM，由于相机参数对应的矩阵M已知，则可以得到本质矩阵E。

步骤S21205，通过奇异值分解算法分解本质矩阵，得到目标相机的旋转信息和平移信息。

本质矩阵E是3*3大小的矩阵，根据公式E＝U*W*VT，可以将矩阵E分解为U、W、VT三个3*3的矩阵，其中U称为左奇异矩阵，V称为右奇异矩阵，VT是V的转置矩阵，W称为奇异值矩阵，矩阵W仅在对角线上有值(奇异值)，其他元素均为0。定义两个辅助矩阵M和N，其中：

那么目标相机相对于主相机的旋转矩阵有两种可能情况：RA＝U*MT*VT或者RB＝U*W*VT，目标相机相对于主相机的旋转矩阵也有两种情况：TA＝U*N*UT或者TB＝-U*N*UT.其中，MT是矩阵M的转置矩阵，UT是矩阵U的转置矩阵。两两组合共用四种可能性，但只有一种组合使得二维空间匹配特征对形成的三维坐标点的深度为正深度，这种组合就是目标相机的旋转矩阵和平移矩阵。

本实施例通过逐帧逐个光学相机与主相机进行数据匹配的方式，可以得到足够多的匹配数据，根据足够多的匹配数据分别求解本质矩阵和分解本质矩阵后，最终得到目标相机精确的外部参数。

在一个实施例中，在步骤S212后，还包括：

将主相机的目标内参和目标外参、目标相机的目标内参和目标外参、主相机和目标相机的所有的匹配数据一起通过迭代优化，在迭代优化过程中的代价函数为重投影误差，得到优化后的主相机的目标内参和目标外参、目标相机的目标内参和目标外参，迭代优化过程如下：

把世界坐标p转换到相机坐标：

P’＝R*p+T＝{X，Y，Z}

其中，R和T为光学相机外参；

将P’投到归一化平面上，得到归一化坐标：

Pc＝{u，v，1}＝{X/Z，Y/Z，1}

考虑到归一化坐标的畸变情况，则进行去畸变：

u’＝u*(1+k1*r*r+k2*r*r*r*r)

v’＝v*(1+k1*r*r+k2*r*r*r*r)

其中，k1、k2、r均为畸变系数；

计算像素坐标M(Us，Vs)：

Us＝fx*u’+cx

Vs＝fy*v’+cy

其中，fx、fy、cx、cy为光学相机内参；

设光学相机检测到的像素坐标N(U0，V0)，世界坐标p的重投影误差e为：

e＝||N-M||²

把主相机和目标相机的所有的匹配数据都代入进来，那么整体的代价函数为：

在迭代过程中，当误差降到预设阈值范围内时，停止计算，并输出迭代优化后的所有光学相机内参和外参。

对上述最小二乘公式进行求解，相当于对光学相机的内参和外参以及世界坐标点同时做了调整，进而得到非常高的标定精度，随着迭代优化次数的增长，总体误差会不断下降，当误差降到满足需求的预设阈值范围内时，停止计算，并输出优化后的相机内参、外参等标定信息，即完成了整个迭代优化过程。

为了得到精确的内外参数据，本实施例把主相机和目标相机对应的所有的匹配数据和两个相机的目标内外参数一起代入优化过程，优化过程中的代价函数是重投影误差，通过迭代优化，最终得到相对精确的相机内外参数。

步骤S213，将已得到目标外参的目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

在步骤S212中，将其他的光学相机和主相机进行匹配时，可能存在光学相机与主相机没有足够的匹配数据，此时需要重新定义主相机，将未能匹配到匹配数据的光学相机重新进行匹配和计算外部参数过程。本步骤将已经计算好外部参数的光学相机定义为另一个主相机，将此主相机与未能匹配到匹配数据的光学相机重复步骤S212的操作进行匹配和计算外部参数，直至所有的光学相机都得到外部参数。

在一个实施例中，步骤S2中，获取每个光学相机的硬件分辨率，根据硬件分辨率，得到每个光学相机的目标内参，包括：

步骤S221，光学相机的目标内参包括成像长度、成像宽度和焦距，获取光学相机的硬件分辨率，将硬件分辨率中的数值大的记为光学相机的成像长度，将硬件分辨率中的数值小的记为光学相机的成像宽度。

本步骤由于只对预设帧数的坐标数据进行区域标定算法过程，这些坐标数据可能只覆盖光学相机的某一部分，所以不能用于内参的初始化，因此本步骤直接采用硬件分辨率来确定目标内参。例如，硬件分辨率为2048*1024时，光学相机的成像长度为2048，光学相机的成像宽度为1024。

步骤S222，光学相机的焦距通过以下计算公式得到：

设成像长度为W，成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：

alpha＝W/(W+H)

beta＝H/(W+H)；

光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为光学相机的焦距。

得到了光学相机成像长度和成像宽度后，通过上述计算公式，可以得到光学相机的焦距。

本实施例通过上述两步骤的计算方式，可以最终确定出每个光学相机较为精确的内部参数。

在一个实施例中，步骤S2后，还包括：

将所有光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参。

通过步骤S2后，得到了所有光学相机相对精确的内外参，但由于这些参数在计算过程中，均由光学相机两两匹配计算得到，并没有考虑所有光学相机的整体关系，所以需要对这些参数进行一个整体的优化。本步骤采用的是Ceres非线性优化库中光束法平差模型(Bundle_Adjustment，简称BA)。整个BA的目标是最小化重投影误差，BA的输入数据是所有光学相机采集到的坐标数据，且坐标数据已经匹配好，以及所有相机的内外参数，BA的输出结果是高精度的相机内参信息。

步骤S3，标定精度反馈：根据每个光学相机的目标内参、目标外参和采集到的所有坐标数据，计算每个光学相机的重投影误差，将重投影误差记为光学相机的标定精度，若任一光学相机的标定精度大于预设的精度阈值，则对于标定精度大于精度阈值的光学相机重复第一步，直至所有的光学相机的标定精度不大于精度阈值。

其中，重投影误差是指像素2D坐标(观测到的相机坐标)与计算得到3D点按照当前的相机内外参数信息进行投影得到的位置相比较得到的误差。例如，假设二维图像点坐标为A(a1，a2)，三维空间点坐标为P(p1，p2，p3)，相机a的旋转矩阵为Rcam，平移矩阵为Tcam，经过下述公式得到三维空间点P的重投影坐标：

首先通过计算P′＝P*Rcam+Tcam，P′(p1′，p2′，p3′)是一个三维坐标，我们将P′归一化即可得到三维空间点C在相机a的重投影坐标A′(a1′，a2′)＝(p1′/p3′，p2′/p3′)。

将第二帧的相机图像坐标A(a1，a2)与重投影坐标A′(a1′，a2′)计算差值，得到重投影误差error：

error＝A-A′＝(a1-a1′，a2-a2′)

在得到了所有光学相机的内外参数后，利用这些参数和预设帧数的坐标数据，可以计算每个光学相机的重投影误差，将其记为每个相机的标定精度，此标定精度可以通过交互界面反馈给用户查看，用户可以根据每个光学相机当前的标定精度来决定是否结束此次标定，若所有相机的标定精度都达到了理想状况即可结束标定计算。也可以直接通过标定精度与精度阈值进行比较，确定是否结束标定计算。若有需要继续下一轮区域标定算法过程，则可以将这些标定精度未达到精度阈值的光学相机作为重点相机，在重点相机所在的区域挥动标定杆以收集坐标数据即可。

步骤S4，整体优化：从所有的主相机中筛选出唯一主相机，将唯一主相机的旋转信息定义为单位阵，将主相机平移信息定义为零矩阵，根据唯一主相机的旋转信息和平移信息，得到每个主相机的旋转信息和平移信息，根据每个主相机的旋转信息和平移信息，得到每个光学相机的旋转信息和平移信息，旋转信息和平移信息为光学相机的目标外参。

当所有光学相机的标定精度达到一个理想的状态，如小于预设精度阈值时，即可选择结束标定过程，此时收集此前所有的区域标定信息来对所有光学相机的内外参数作一个整体的优化。首先，要对比所有区域标定中的主相机信息，确定所有光学相机中的唯一主相机，规定唯一主相机的旋转信息为单位阵，而平移信息为零矩阵。然后以唯一主相机为基准，转化所有的区域标定主相机的旋转信息和平移信息，进而转化得到所有光学相机的旋转信息和平移信息。

在一个实施例中，步骤S4，包括：

步骤S401，获取根据多个所初始数据确定出的多个主相机，将在初始数据中的出现次数最多的主相机作为候选主相机。

步骤S402，若任一其他光学相机与候选主相机及其他的主相机同时存在联系，则将同时存在联系的光学相机记为唯一主相机。

其中，在判断各个相机之间是否存在着联系时，可以采用在同一帧数据中，各相机之间看到标定杆的数量进行判断，即当两个相机彼此看到标定杆的数量大于预设阈值，则这两个相机之间存在着联系。

步骤S403，若与候选主相机及其他的主相机同时存在联系的其他光学相机为多个，则选择标定精度最小的光学相机为记为唯一主相机。

本实施例根据区域标定过程中的每个主相机来确定唯一主相机，并还给出了有两种特殊情况，最终确定出唯一主相机，以唯一主相机作为基准，来转化其他光学相机。

步骤S4中，根据唯一主相机的旋转信息和平移信息得到每个主相机的旋转信息和平移信息，计算方式与根据每个主相机的旋转信息和平移信息得到每个光学相机的旋转信息和平移信息相同，即采用如下计算方式：

首先确定与主相机有足够匹配信息的相机。然后，依次把这些相机与主相机两两匹配计算。在进行匹配计算时，首先通过八点法求得本质矩阵，进而SVD分解得到初始的旋转和平移信息。为了得到精确的内外参数据，把两个相机所有的匹配坐标数据和两个相机的初始内外参数一起代入优化过程，优化过程中的代价函数是重投影误差，通过迭代优化，就会得到相对精确的相机内外参数。通过步骤S4后，得到了融合后的所有光学相机的内外参数，还对所有光学相机的内外参数进行整体优化，同样采用与步骤S2相同的优化方式，即将所有光学相机的目标内参、目标外参和采集到的所有坐标数据输入光束法平差模型，光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参。本步骤采用的是Ceres非线性优化库中光束法平差模型(Bundle_Adjustment，简称BA)。整个BA的目标是最小化重投影误差，BA的输入数据是所有光学相机采集到的坐标数据，且坐标数据已经匹配好，以及所有相机的内外参数，BA的输出结果是高精度的相机内参信息。

步骤S5，标定中心点：得到了所有光学相机的高精度的内外参数，但这些光学相机的目标外参都是相对于主相机的旋转和平移，而在实际应用中，目标外参应要相对于场地中心点，因此需要将二维标定杆置于场地中心点处。

步骤S501，将标定杆的多个标记点的高度定义为零，获取多个标记点的位置坐标信息，根据位置坐标信息得到多个标记点的三维空间坐标。

在本步骤中，将标定杆当作一个刚体，标定杆上面多个标记点坐标位置信息已知，此时定义高度为0，那么多个标记点的三维空间坐标就得到了，若标定杆设置有五个标记点，则此时五个标记点的三维空间坐标记为P＝{p1，…，p5}。

步骤S502，根据唯一主相机的目标外参计算得到唯一主相机的三维空间坐标。

通过唯一主相机采集数据，通过步骤S4的优化得到的外参数据就可以计算出唯一主相机参数下的三维空间坐标，记为P’＝{P’1，…，P’5}，此时的求解问题变成了3D-3D的位姿估计。

步骤S503，将多个标记点的三维空间坐标和唯一主相机的三维空间坐标代入如下等式中，通过迭代最近点求解欧式变换旋转矩阵和平移矩阵：

P＝RP′+T

其中，P为多个标记点的三维空间坐标，P′为光学相机的三维空间坐标，R为欧式变换旋转矩阵，T为平移矩阵。

本步骤可以用迭代最近点(Iterative Closest Point，ICP)求解R和T，采用SVD分解的方法进行ICP求解，从而得到了当前标定杆的位姿信息。

步骤S504，欧式变换旋转矩阵和平移矩阵为标定杆的位姿信息，将标定杆的位姿信息中的欧式变换旋转矩阵记为R，将标定杆的位姿信息中的平移矩阵记为T，将任一光学相机的目标外参分别记为R0和T0，则将标定杆位姿信息作用于任一光学相机后，光学相机的目标外参中的旋转矩阵为R*R0，平移矩阵为R*T0+T。

本步骤把步骤S503计算得到的标定杆位姿信息作用于每个光学相机的目标外参后，就可得到每个光学相机相对于场地中心点的外参数据。

本实施例大空间环境下边扫场边标定方法，通过多个光相机捕获运动中的标定杆的标记点，获取预设帧数的坐标数据，利用这些坐标数据进行一轮区域标定，在标定结果不理想情况下，开始新一轮标定，并与上一轮的区域标定结果进行融合，使得在扫场过程中能够接收到系统实时的标定结果反馈，减少了传统标定方法的标定时间。本申请的标定技术相对于传统的标定方法具有非常明显的优势，既提供了高精度的计算结果，又节省了大量人力物力。

在一个实施例中，提出了一种大空间环境下边扫场边标定装置，如图3所示，该装置包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个初始数据均包括相机序号及对应的坐标数据；

确定参数模块，用于在多个初始数据中，当至少有两个光学相机采集到预设帧数的坐标数据时，根据多个初始数据确定出多个光学相机中的主相机，根据主相机得到每个光学相机的目标外参；获取每个光学相机的硬件分辨率，根据硬件分辨率，得到每个光学相机的目标内参；

标定精度反馈模块，用于根据每个光学相机的目标内参、目标外参和采集到的所有坐标数据，计算每个光学相机的重投影误差，将重投影误差记为光学相机的标定精度，若任一光学相机的标定精度大于预设的精度阈值，则对于标定精度大于精度阈值的光学相机重复第一步，直至所有的光学相机的标定精度不大于精度阈值；

整体优化模块，用于从所有的主相机中筛选出唯一主相机，将唯一主相机的旋转信息定义为单位阵，将主相机平移信息定义为零矩阵，根据唯一主相机的旋转信息和平移信息，得到每个主相机的旋转信息和平移信息，根据每个主相机的旋转信息和平移信息，得到每个光学相机的旋转信息和平移信息，旋转信息和平移信息为光学相机的目标外参。

在一个实施例中，所述确定参数模块，还设置为：

定时判断初始数据中是否含有至少两个光学相机采集到预设帧数的坐标数据，若未含有至少两个光学相机采集到预设帧数的坐标数据，则继续进行采集每个光学相机对挥动中的标定杆捕获的多帧数据步骤；

若含有至少两个光学相机采集到预设帧数的坐标数据，则将每帧的坐标数据中的坐标点个数少于预设最少个数的初始数据剔除，将每帧的坐标数据中的坐标点个数大于预设的最大个数的初始数据剔除，每帧均得到剔除后的初始数据；

获取标定杆上多个标记点的位置关系数据，在剔除后的初始数据中，检测坐标数据中是否含有位置关系数据的多个坐标点，若含有，则将多个坐标点及对应的相机序号进行记录形成有效数据，否则，剔除初始数据，则每帧得到对应的多个有效数据，将含有有效数据最多的相机序号确定为主相机。

在一个实施例中，所述确定参数模块，还设置为：

将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，单位阵和零矩阵为主相机的目标外参；

根据每帧的多个有效数据，将其他的光学相机和主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过主相机的旋转信息和平移信息得到目标相机的旋转信息和平移信息，旋转信息和平移信息为目标相机的目标外参；将已得到目标外参的目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参

在一个实施例中，所述标定精度反馈模块，还设置为：

光学相机的目标内参包括成像长度、成像宽度和焦距，获取光学相机的硬件分辨率，将硬件分辨率中的数值大的记为光学相机的成像长度，将硬件分辨率中的数值小的记为光学相机的成像宽度；

光学相机的焦距通过以下计算公式得到：

设成像长度为W，成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：

alpha＝W/(W+H)

beta＝H/(W+H)；

光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为光学相机的焦距。

在一个实施例中，所述整体优化模块，还设置为：

获取根据多个初始数据确定出的多个主相机，将在初始数据中的出现次数最多的主相机作为候选主相机；

若任一其他光学相机与候选主相机及其他的主相机同时存在联系，则将同时存在联系的光学相机记为唯一主相机；

若与候选主相机及其他的主相机同时存在联系的其他光学相机为多个，则选择标定精度最小的光学相机为记为唯一主相机。

在一个实施例中，所述大空间环境下边扫场边标定装置还设置为：

在根据多个初始数据确定出多个光学相机中的主相机，根据主相机得到每个光学相机的目标外参；获取每个光学相机的硬件分辨率，根据硬件分辨率，得到每个光学相机的目标内参后，将所有光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参；

在根据唯一主相机的旋转信息和平移信息，得到每个主相机的旋转信息和平移信息，根据每个主相机的旋转信息和平移信息，得到每个光学相机的旋转信息和平移信息，旋转信息和平移信息为光学相机的目标外参后，将所有光学相机的目标内参、目标外参和采集到的所有坐标数据输入光束法平差模型，光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参。

在一个实施例中，所述大空间环境下边扫场边标定装置还设置为：

将标定杆的多个标记点的高度定义为零，获取多个标记点的位置坐标信息，根据位置坐标信息得到多个标记点的三维空间坐标；

根据唯一主相机的目标外参计算得到唯一主相机的三维空间坐标；

将多个标记点的三维空间坐标和唯一主相机的三维空间坐标代入如下等式中，通过迭代最近点求解欧式变换旋转矩阵和平移矩阵：

P＝RP′+T

其中，P为多个标记点的三维空间坐标，P′为光学相机的三维空间坐标，R为欧式变换旋转矩阵，T为平移矩阵；

欧式变换旋转矩阵和平移矩阵为标定杆的位姿信息，将标定杆的位姿信息中的欧式变换旋转矩阵记为R，将标定杆的位姿信息中的平移矩阵记为T，将任一光学相机的目标外参分别记为R0和T0，则将标定杆位姿信息作用于任一光学相机后，光学相机的目标外参中的旋转矩阵为R*R0，平移矩阵为R*T0+T。

在一个实施例中，提出了一种大空间环境下边扫场边标定设备，设备包括：存储器、处理器以及存储在存储器上并可在处理器上运行的大空间环境下边扫场边标定程序，大空间环境下边扫场边标定程序被处理器执行时实现上述各实施例的大空间环境下边扫场边标定方法中的步骤。

在一个实施例中，一种计算机可读存储介质，计算机可读存储介质上存储有大空间环境下边扫场边标定程序，大空间环境下边扫场边标定程序被处理器执行时实现上述各实施例的大空间环境下边扫场边标定方法中的步骤。其中，存储介质可以易失性存储介质，存储介质也可以为非易失性存储介质。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大空间环境下边扫场边标定方法，其中，所述方法包括以下步骤：

获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

在多个所述初始数据中，当至少有两个所述光学相机采集到预设帧数的坐标数据时，根据多个所述初始数据确定出多个所述光学相机中的主相机，根据所述主相机得到每个所述光学相机的目标外参；获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参；

根据每个所述光学相机的所述目标内参、所述目标外参和采集到的所有坐标数据，计算每个所述光学相机的重投影误差，将所述重投影误差记为所述光学相机的标定精度，若任一所述光学相机的标定精度大于预设的精度阈值，则对于所述标定精度大于所述精度阈值的所述光学相机重复第一步，直至所有的所述光学相机的标定精度不大于所述精度阈值；

从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参；

其中，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，包括：确定与主相机有足够匹配信息的相机，依次把所述相机与主相机两两匹配计算，在进行匹配计算时，首先通过八点法求得本质矩阵，通过SVD分解得到初始的旋转和平移信息，把两个相机所有的匹配坐标数据和两个相机的初始内外参数一起代入优化过程，通过迭代优化，得到相对精确的相机内外参数。

2.根据权利要求1所述的大空间环境下边扫场边标定方法，其中，所述在多个所述初始数据中，当至少有两个所述光学相机采集到预设帧数的坐标数据时，根据多个所述初始数据确定出多个所述光学相机中的主相机，包括：

定时判断所述初始数据中是否含有至少两个所述光学相机采集到预设帧数的坐标数据，若未含有至少两个所述光学相机采集到预设帧数的坐标数据，则继续进行采集每个所述光学相机对挥动中的标定杆捕获的多帧数据步骤；

若含有至少两个所述光学相机采集到预设帧数的坐标数据，则将每帧的所述坐标数据中的坐标点个数少于预设最少个数的初始数据剔除，将每帧的所述坐标数据中的坐标点个数大于预设的最大个数的初始数据剔除，每帧均得到剔除后的初始数据；

获取所述标定杆上多个标记点的位置关系数据，在剔除后的所述初始数据中，检测所述坐标数据中是否含有所述位置关系数据的多个坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据，将含有所述有效数据最多的相机序号确定为主相机。

3.根据权利要求2所述的大空间环境下边扫场边标定方法，其中，所述根据所述主相机得到每个所述光学相机的目标外参，包括：

将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；

根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；

将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

4.根据权利要求1所述的大空间环境下边扫场边标定方法，其中，所述获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参，包括：

所述光学相机的目标内参包括成像长度、成像宽度和焦距，获取所述光学相机的硬件分辨率，将所述硬件分辨率中的数值大的记为所述光学相机的成像长度，将所述硬件分辨率中的数值小的记为所述光学相机的成像宽度；

所述光学相机的焦距通过以下计算公式得到：

设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：

alpha＝W/(W+H)

beta＝H/(W+H)；

所述光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为所述光学相机的焦距。

5.根据权利要求1所述的大空间环境下边扫场边标定方法，其中，所述从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，包括：

获取根据多个所述初始数据确定出的多个主相机，将在所述初始数据中的出现次数最多的主相机作为候选主相机；

若任一其他光学相机与所述候选主相机及其他的所述主相机同时存在联系，则将同时存在联系的所述光学相机记为所述唯一主相机；

若与所述候选主相机及其他的所述主相机同时存在联系的其他光学相机为多个，则选择所述标定精度最小的光学相机为记为所述唯一主相机。

6.根据权利要求1所述的大空间环境下边扫场边标定方法，其中，还包括：

在根据多个所述初始数据确定出多个所述光学相机中的主相机，根据所述主相机得到每个所述光学相机的目标外参；获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参后，将所有所述光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，所述光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参；

在根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参后，将所有所述光学相机的目标内参、目标外参和采集到的所有坐标数据输入所述光束法平差模型，所述光束法平差模型的输出结果为优化后的所有光学相机的目标内参和目标外参。

7.根据权利要求1所述的大空间环境下边扫场边标定方法，其中，所述从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参后，还包括：

将所述标定杆的多个标记点的高度定义为零，获取多个所述标记点的位置坐标信息，根据所述位置坐标信息得到多个所述标记点的三维空间坐标；

根据所述唯一主相机的目标外参计算得到所述唯一主相机的三维空间坐标；

将多个所述标记点的三维空间坐标和所述唯一主相机的三维空间坐标代入如下等式中，通过迭代最近点求解欧式变换旋转矩阵和平移矩阵：

P＝RP′+T

其中，P为多个所述标记点的三维空间坐标，P′为所述光学相机的三维空间坐标，R为欧式变换旋转矩阵，T为平移矩阵；

所述欧式变换旋转矩阵和平移矩阵为所述标定杆的位姿信息，将所述标定杆的位姿信息中的欧式变换旋转矩阵记为R，将所述标定杆的位姿信息中的平移矩阵记为T，将任一所述光学相机的目标外参分别记为R0和T0，则将所述标定杆位姿信息作用于任一所述光学相机后，所述光学相机的目标外参中的旋转矩阵为R*R0，平移矩阵为R*T0+T。

8.一种大空间环境下边扫场边标定装置，其中，所述装置包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

确定参数模块，用于在多个所述初始数据中，当至少有两个所述光学相机采集到预设帧数的坐标数据时，根据多个所述初始数据确定出多个所述光学相机中的主相机，根据所述主相机得到每个所述光学相机的目标外参；获取每个所述光学相机的硬件分辨率，根据所述硬件分辨率，得到每个所述光学相机的目标内参；

标定精度反馈模块，用于根据每个所述光学相机的所述目标内参、所述目标外参和采集到的所有坐标数据，计算每个所述光学相机的重投影误差，将所述重投影误差记为所述光学相机的标定精度，若任一所述光学相机的标定精度大于预设的精度阈值，则对于所述标定精度大于所述精度阈值的所述光学相机重复第一步，直至所有的所述光学相机的标定精度不大于所述精度阈值；

整体优化模块，用于从所有的主相机中筛选出唯一主相机，将所述唯一主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，根据所述唯一主相机的旋转信息和平移信息，得到每个所述主相机的旋转信息和平移信息，根据每个所述主相机的旋转信息和平移信息，得到每个所述光学相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述光学相机的目标外参。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1-7所述的大空间环境下边扫场边标定方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-7所述的大空间环境下边扫场边标定方法的步骤。

Images