CN111145270B - 基于光学动捕的大空间环境下多相机标定方法及相关设备 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种基于光学动捕的大空间环境下多相机标定方法及相关设备。该方法包括：采集每个光学相机对标定杆捕获的多帧数据，将多帧数据按帧进行分类，每帧均得到对应的多个初始数据；将每帧的所述坐标数据进行剔除和检测，每帧得到对应的多个所述有效数据；根据多个有效数据，对每个光学相机进行初始化，得到每个光学相机的目标内参；将含有有效数据最多的相机序号确定为主相机，根据主相机的内外参数，得到所有光学相机的目标外参。本发明最终得到了高精度的相机内外参，对后续的二维空间坐标转化为三维空间坐标操作提供了充分必要条件，进而为整个光学动捕系统中高精度的定位与跟踪打下了基础。

Description

基于光学动捕的大空间环境下多相机标定方法及相关设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于光学动捕的大空间环境下多相机标定方法及相关设备。

背景技术

随着机器视觉应用日益广泛，大空间环境中的多相机视觉系统的需求越来越多了，主要方向是大空间内的高精度定位与跟踪。在机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型就是相机参数。而这些参数必须通过实验与计算才能得到，求解参数的过程就称为相机标定。传统的相机标定法需要使用尺寸已知的标定物，如棋盘标定板，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。而在多目相机环境中，为实现对物体的定位与跟踪，不仅要确定每个相机的参数，也需要确定相机与相机之间的位置关系。

光学动捕系统是通过动捕相机内的超大功率近红外光源发出红外光，照射在被动式标记点上，感光元件再将光信号转化为图像信号输出到控制电路，而控制电路中的图像处理单元使用FPGA，以硬件形式对图像信号进行预处理，最后向跟踪软件流出标记点的2D坐标信息。光学动捕的这些特质使得其不适用传统的相机标定法，原因有三：第一，光学相机是无法得到棋盘标定板的坐标信息的；第二，动捕系统中相机数量很多，且相机与相机之间的区域交叉关系复杂，棋盘标定板需要花费大量人力和物力；第三，棋盘标定板算法使用条件严苛，且算法时间太长，使用非常不方便。

发明内容

本发明的主要目的在于提供一种基于光学动捕的大空间环境下多相机标定方法及相关设备，旨在解决在大空间环境中多个光学相机标定的技术问题。

为实现上述目的，本发明提供一种基于光学动捕的大空间环境下多相机标定方法，所述方法包括以下步骤：

获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；

根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；

将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；

根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；

将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

可选地，所述将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，包括：

获取一帧中每个所述坐标数据中的坐标点个数，判断坐标点个数是否少于所述标定杆的多个标记点个数，若少于，则将所述坐标数据从对应帧中剔除；

若不少于，则继续判断坐标点个数是否大于预设的最大个数，若大于，则将所述坐标数据从对应帧中剔除，每帧均得到剔除后的初始数据；

获取所述标定杆上多个标记点的位置关系数据，在剔除后的所述初始数据中，检测所述坐标数据中是否含有所述位置关系数据的多个坐标点。

可选地，所述根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参，包括：

所述光学相机的目标内参包括成像长度、成像宽度和焦距，在所述光学相机对应的所有有效数据中，查找坐标数据的横坐标的最大值和纵坐标的最大值，将所述横坐标的最大值记为所述光学相机的成像长度，将所述纵坐标的最大值记为所述光学相机的成像宽度；

所述光学相机的焦距通过以下计算公式得到：

设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值为：

alpha＝W/(W+H)

beta＝H/(W+H)；

所述光学相机的焦距在成像长度方向上的值fx、在成像宽度方向上的值fy为

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为所述光学相机的焦距。

可选地，所述根据每帧的多个所述初始数据和所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，包括：

逐帧查找所述有效数据中是否含有所述主相机的相机序号，若不含有所述主相机的相机序号，则继续查找下一帧；

若含有所述主相机的相机序号，则继续逐个查找所述初始数据或所述有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有所述主相机和当前光学相机的坐标数据，则认为所述主相机和所述当前相机之间含有足够的匹配数据；

若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将当前光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。

可选地，所述通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参，包括：

在所述匹配数据的任一一帧中，分别获取所述主相机和所述目标相机的坐标数据，获取所述标定杆上多个标记点的位置关系数据，根据所述位置关键数据，将所述主相机的坐标数据与所述目标相机的坐标数据进行匹配，得到多组二维空间特征对，将多组所述二维空间特征对和两个所述光学相机参数构造线性方程组，求解出本质矩阵；

通过奇异值分解算法分解所述本质矩阵，得到所述目标相机的旋转信息和平移信息。

可选地，将所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参、所述主相机和所述目标相机的所有的匹配数据一起通过迭代优化，在迭代优化过程中的代价函数为重投影误差，得到优化后的所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参，所述迭代优化过程如下：

把世界坐标p转换到相机坐标：

P’＝R*p+T＝{X,Y,Z}

其中，R和T为光学相机外参；

将P’投到归一化平面上，得到归一化坐标：

Pc＝{u,v,1}＝{X/Z,Y/Z,1}

进行去畸变：

u’＝u*(1+k1*r*r+k2*r*r*r*r)

v’＝v*(1+k1*r*r+k2*r*r*r*r)

计算像素坐标M(Us,Vs)：

Us＝fx*u’+cx

Vs＝fy*v’+cy

其中，fx、fy、cx、cy为光学相机内参；

设光学相机检测到的像素坐标N(U0,V0),世界坐标p的重投影误差e为：

e＝||N-M||²

把所述主相机和所述目标相机的所有的匹配数据都代入进来，那么整体的代价函数为：

在迭代过程中，当误差降到预设阈值范围内时，停止计算，并输出迭代优化后的所有光学相机内参和外参。

可选地，将所有所述光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，所述光束法平差模型的输出结果为优化后的所有光学相机的目标内参。

进一步地，为实现上述目的，本发明还提供一种基于光学动捕的大空间环境下多相机标定装置，包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

记录有效数据模块，用于将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；

得到所有目标内参模块，用于根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；

确定主相机模块，用于将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；

标定计算模块，用于根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；

得到所有目标外参模块，用于将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

为实现上述目的，本发明还提供一种基于光学动捕的大空间环境下多相机标定设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于光学动捕的大空间环境下多相机标定程序，所述基于光学动捕的大空间环境下多相机标定程序被所述处理器执行时实现如上所述的基于光学动捕的大空间环境下多相机标定方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于光学动捕的大空间环境下多相机标定程序，所述基于光学动捕的大空间环境下多相机标定程序被处理器执行时实现如上所述的基于光学动捕的大空间环境下多相机标定方法的步骤。

本发明提供的基于光学动捕的大空间环境下多相机标定方法，用于基于二维标定杆的光学动捕系统扫场即大空间环境下多相机标定，通过多个光学相机捕获的众多坐标数据，通过一定算法进而计算出每个光学相机的内外参数，这种标定方法不但精简了传统标定方法中复杂的标定板等器件结构，而且无论是匹配过程，还是参数计算过程均降低了算法的复杂性，标定时间更快，节省人力和物力。本发明最终得到了高精度的相机内外参，对后续的二维空间坐标转化为三维空间坐标操作提供了充分必要条件，进而为整个光学动捕系统中高精度的定位与跟踪打下了基础。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明实施例方案涉及的基于光学动捕的大空间环境下多相机标定设备的运行环境的结构示意图；

图2为本发明一个实施例中基于光学动捕的大空间环境下多相机标定方法的流程图；

图3为本发明一个实施例中标定杆的一种结构示意图；

图4为本发明一个实施例中基于光学动捕的大空间环境下多相机标定装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

参照图1，为本发明实施例方案涉及的基于光学动捕的大空间环境下多相机标定设备运行环境的结构示意图。

如图1所示，该基于光学动捕的大空间环境下多相机标定设备包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的基于光学动捕的大空间环境下多相机标定设备的硬件结构并不构成对基于光学动捕的大空间环境下多相机标定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于光学动捕的大空间环境下多相机标定程序。其中，操作系统是管理和控制基于光学动捕的大空间环境下多相机标定设备和软件资源的程序，支持基于光学动捕的大空间环境下多相机标定程序以及其它软件和/或程序的运行。

在图1所示的基于光学动捕的大空间环境下多相机标定设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等，而处理器1001可以用于调用存储器1005中存储的基于光学动捕的大空间环境下多相机标定程序，并执行以下基于光学动捕的大空间环境下多相机标定方法的各实施例的操作。

参照图2，为本发明一个实施例中的基于光学动捕的大空间环境下多相机标定方法的流程图，如图2所示，一种基于光学动捕的大空间环境下多相机标定方法，包括以下步骤：

步骤S1，获取初始数据：获取多个光学相机的相机序号，采集每个光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个初始数据均包括相机序号及对应的坐标数据。

本步骤的标定杆采用一种二维标定杆，标定杆上有多个标记点，且标记点涂有高反光材料，能够被光学相机识别。标记点的位置关系是预先设置好的，即可直接得到多个标记点之间的位置关系数据。如图3所示，标定杆2上设有五个标记点21。使用过程中，在大空间内多相机环境下挥动标定杆，光学相机则会识别到标定杆上的标记点，得到每一帧二维空间坐标数据，并把这些坐标数据记录存储。

由于标定算法需要采集大量的数据，这些数据需要以一种规范的数据结构形式被清晰地整理存储下来。本步骤的数据结构是以各个光学相机采集到的坐标数据为最底层，坐标数据形成当前帧各个光学相机的一帧数据，最后把所有光学相机当前帧的数据整合为一个完整帧数据。首先，挥动标定杆时，所有光学相机每一帧完整数据记为Frame；然后每一帧完整数据Frame包括各个光学相机当前帧的初始数据，记为View；最后，各个光学相机数据View包括相机序号Camera_id和坐标数据Points。

不是所有的光学相机在每一帧都能捕获到标定杆，即不是所有的光学相机每一帧都有坐标数据，所以每一个View并不包含所有光学相机当前帧数据，而是只包含了那些含有坐标数据的光学相机的当前帧数据。明显地，这样设计的优点是节约了大量的存储空间。通过这样的数据结构，最终采集到的数据是标定杆挥动时很多帧Frame数据，每一帧数据View包含当前帧各个光学相机Camera_id的二维空间坐标数据Points。

步骤S2，记录有效数据：将每帧的坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测坐标数据是否包含属于标定杆的多个标记点的坐标点，若含有，则将多个坐标点及对应的相机序号进行记录形成有效数据，否则，剔除初始数据，则每帧得到对应的多个有效数据。

由于在步骤S1采集数据过程中标定杆是在不断挥动的，导致不是每一帧数据都能完整，即包含标定杆上的多个标记点坐标，而且即使有多个坐标点数据，也不能确定这多个坐标就是标定杆上的多个标记点。所以本步骤需要检查采集到的每一帧的坐标数据。本步骤的预设个数数量与标定杆上设置的标记点个数相同。若标定杆上设有五个标记点，则预设个数为5，则首先排除每一帧中的坐标数据的坐标点少于5的数据，然后由于标定杆上五个标记点的位置关系是确定的，可以在剩下的坐标数据中检测每一帧是否包含属于标定杆的五个坐标点，如果有，则记录下这五个坐标数据，如果没有，则去掉这一帧中“不完整”的坐标数据。

在一个实施例中，在检测坐标数据是否包含属于标定杆的多个标记点的坐标点，可以采用如下方式：

步骤S201，第一轮剔除：获取一帧中每个坐标数据中的坐标点个数，判断坐标点个数是否少于标定杆的多个标记点个数，若少于，则将坐标数据从对应帧中剔除。

本步骤中，预设预设个数的坐标点与标定杆的标记点个数相同，即若标定杆的标记点如图3所示为5个时，判断坐标点个数是否少于5个，对于少于5个的坐标数据进行第一轮的剔除。

步骤S202，第二轮剔除：若不少于，则继续判断坐标点个数是否大于预设的最大个数，若大于，则将坐标数据从对应帧中剔除，每帧均得到剔除后的初始数据。

在完成第一轮剔除后剩下的坐标数据中，判断坐标点个数是否大于某一最大阈值，此最大阈值可以为500个，认为此帧中的当前光学相机得到的坐标点杂点太多，无用数据过量，进行第二轮剔除。

步骤S203，位置检测：获取标定杆上多个标记点的位置关系数据，在剔除后的初始数据中，检测坐标数据中是否含有位置关系数据的多个坐标点。

由于标定杆上的标记点位置是已知且确定的，根据此位置关系数据，可以在每帧的每个光学相机对应的坐标数据中多个坐标点进行位置计算，最终得到是否含有此位置关系数据的多个坐标点。例如，图3中的5个标记点具有确定的位置关系数据，则计算多个坐标点中，是否含有3个坐标点连成的一条线段，3个坐标点连成的一条线段，两条线段中的中间一个坐标点重合，两条线段垂直。若有这样位置关系数据的5个坐标点，则认为坐标数据中含有位置关系数据的多个坐标点。

本实施例通过上述检测方式，可以根据已知的标记点坐标位置信息，精确的确定出每一帧的坐标数据是否是完整数据，以便于为后续光学相机内外参提供精确完整的计算数据。

步骤S3，得到目标内参：根据多个有效数据，对每个光学相机进行初始化，得到每个光学相机的目标内参。

光学相机的内部参数包括相机的焦距、镜头畸变参数等信息。为了得到精确的内部参数，本步骤需要对每个光学相机确定一个初始化参数，此初始化参数即为每个光学相机的目标内参。

在一个实施例中，步骤S3，进一步包括：

步骤S301，计算成像长宽：光学相机的目标内参包括成像长度、成像宽度和焦距，在光学相机对应的所有有效数据中，查找坐标数据的横坐标的最大值和纵坐标的最大值，将横坐标的最大值记为光学相机的成像长度，将纵坐标的最大值记为光学相机的成像宽度。

在步骤S2记录了每个光学相机每一帧的有效数据，分析这些有效数据中x、y方向的最大值，并认为这两个最大值是光学相机成像长度和成像宽度。

步骤S302，计算焦距：光学相机的焦距通过以下计算公式得到：

设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：

alpha＝W/(W+H)

beta＝H/(W+H)；

所述光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为所述光学相机的焦距。

得到了光学相机成像长度和成像宽度后，通过上述计算公式，可以得到光学相机的焦距。

本实施例通过每个光学相机每一帧的有效数据，并通过上述两步骤的计算方式，可以最终确定出光学相机较为精确的内部参数。

步骤S4，确定主相机：将含有有效数据最多的相机序号确定为主相机，将主相机的旋转信息定义为单位阵，将主相机平移信息定义为零矩阵，单位阵和零矩阵为主相机的目标外参。

除了确定光学相机的内部参数外，还需要确定光学相机的外部参数，为了确定外部参数，首先需要确定出一个主相机及其外部参数，通过主相机来计算其他相关联的光学相机的外部参数。本步骤在确定主相机时，根据所有帧的所有有效数据，分析出坐标数据中出现次数最多的相机序号，此相机序号对应的光学相机记为主相机，并确定主相机的旋转信息为单位阵，平移信息为零矩阵。此时的主相机与其他光学相机的关联度最大，其他相机的外参则是相对于主相机的旋转和平移。

步骤S5，标定计算：根据每帧的多个有效数据，将其他的光学相机和主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过主相机的旋转信息和平移信息得到目标相机的旋转信息和平移信息，旋转信息和平移信息为目标相机的目标外参。

在计算其他光学相机的外部参数前，需要将其他光学相机与主相机进行数据匹配，从有效数据中，查找到足够的匹配数据，并根据匹配数据和主相机的外部参数，通过八点法求得本质矩阵，进而进行奇异值分解(Singular Value Decomposition，SVD)，最终得到目标相机的外部参数。

在一个实施例中，步骤S5，进一步包括：

步骤S501，逐帧查找相机序号：逐帧查找有效数据中是否含有主相机的相机序号，若不含有主相机的相机序号，则继续查找下一帧。

步骤S502，匹配数据：若含有主相机的相机序号，则继续逐个查找有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有主相机和当前光学相机的坐标数据，则认为主相机和当前相机之间含有足够的匹配数据。

其中，预设帧数为50帧，即50帧以上的有效数据中即含有主相机的坐标数据，也含有当前光学相机的坐标数据，则认为主相机和当前光学相机之间含有足够的匹配数据，这些帧的有效数据为两者的匹配数据。

步骤S503，确定目标相机：若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。

步骤S504，求解本质矩阵：在匹配数据的任一一帧中，分别获取主相机和目标相机的坐标数据，获取标定杆上多个标记点的位置关系数据，根据位置关键数据，将主相机的坐标数据与目标相机的坐标数据进行匹配，得到多组二维空间特征对，将多组二维空间特征对和两个光学相机参数构造线性方程组，求解出本质矩阵。

本步骤通过基于八点法求得本质矩阵，在求本质矩阵之前，需要对坐标数据进行匹配，由于标记点的位置关系数据是确定的，且匹配数据中主相机的坐标数据和目标相机的坐标数据都必定含有与标记点相同的位置关系的坐标点，因此根据位置关系数据，在每帧匹配数据中就可以得到多组二维空间特征对。若标定杆上的标记点为5个时，每帧匹配数据得到五组二维空间特征对。

将将多组二维空间特征对和光学相机参数构造线性方程组，进而求解出本质矩阵。为了求解本质矩阵，首先计算基础矩阵F，由

根据多组二维空间特征对得到基础矩阵F，根据F＝M^-TEM，由于相机参数对应的矩阵M已知，则可以得到本质矩阵E。

步骤S505，分解本质矩阵：通过奇异值分解算法分解本质矩阵，得到目标相机的旋转信息和平移信息。

本质矩阵E是3*3大小的矩阵，根据公式E＝U*W*VT，可以将矩阵E分解为U、W、VT三个3*3的矩阵，其中U称为左奇异矩阵，V称为右奇异矩阵，VT是V的转置矩阵，W称为奇异值矩阵，矩阵W仅在对角线上有值(奇异值)，其他元素均为0。定义两个辅助矩阵M和N，其中：

那么目标相机相对于主相机的旋转矩阵有两种可能情况：RA＝U*MT*VT或者RB＝U*W*VT，目标相机相对于主相机的旋转矩阵也有两种情况：TA＝U*N*UT或者TB＝-U*N*UT.其中，MT是矩阵M的转置矩阵，UT是矩阵U的转置矩阵。两两组合共用四种可能性，但只有一种组合使得二维空间匹配特征对形成的三维坐标点的深度为正深度，这种组合就是目标相机的旋转矩阵和平移矩阵。

本实施例通过逐帧逐个光学相机与主相机进行数据匹配的方式，可以得到足够多的匹配数据，根据足够多的匹配数据分别求解本质矩阵和分解本质矩阵后，最终得到目标相机精确的外部参数。

在一个实施例中，步骤S5后，还包括：

将主相机的目标内参和目标外参、目标相机的目标内参和目标外参、主相机和目标相机的所有的匹配数据一起通过迭代优化，在迭代优化过程中的代价函数为重投影误差，得到优化后的主相机的目标内参和目标外参、目标相机的目标内参和目标外参，迭代优化过程如下：

把世界坐标p转换到相机坐标：

P’＝R*p+T＝{X,Y,Z}

其中，R和T为光学相机外参；

将P’投到归一化平面上，得到归一化坐标：

Pc＝{u,v,1}＝{X/Z,Y/Z,1}

考虑到归一化坐标的畸变情况，则进行去畸变：

u’＝u*(1+k1*r*r+k2*r*r*r*r)

v’＝v*(1+k1*r*r+k2*r*r*r*r)

其中，k1、k2、r均为畸变系数；

计算像素坐标M(Us,Vs)：

Us＝fx*u’+cx

Vs＝fy*v’+cy

其中，fx、fy、cx、cy为光学相机内参；

设光学相机检测到的像素坐标N(U0,V0),世界坐标p的重投影误差e为：

e＝||N-M||²

把主相机和目标相机的所有的匹配数据都代入进来，那么整体的代价函数为：

在迭代过程中，当误差降到预设阈值范围内时，停止计算，并输出迭代优化后的所有光学相机内参和外参。

对上述最小二乘公式进行求解，相当于对光学相机的内参和外参以及世界坐标点同时做了调整，进而得到非常高的标定精度，随着迭代优化次数的增长，总体误差会不断下降，当误差降到满足需求的预设阈值范围内时，停止计算，并输出优化后的相机内参、外参等标定信息，即完成了整个迭代优化过程。

为了得到精确的内外参数据，本实施例把主相机和目标相机对应的所有的匹配数据和两个相机的目标内外参数一起代入优化过程，优化过程中的代价函数是重投影误差，通过迭代优化，最终得到相对精确的相机内外参数。

步骤S6，得到所有的目标外参：将已得到目标外参的目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

在步骤S5中，将其他的光学相机和主相机进行匹配时，可能存在光学相机与主相机没有足够的匹配数据，此时需要重新定义主相机，将未能匹配到匹配数据的光学相机重新进行匹配和计算外部参数过程。本步骤将已经计算好外部参数的光学相机定义为另一个主相机，将此主相机与未能匹配到匹配数据的光学相机重复步骤S5的操作进行匹配和计算外部参数，直至所有的光学相机都得到外部参数。

步骤S7，优化：将所有光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，光束法平差模型的输出结果为优化后的所有光学相机的目标内参。

通过步骤S1至S6后，得到了所有光学相机相对精确的内外参，但由于这些参数在计算过程中，均由相机两两匹配计算得到，并没有考虑所有相机的整体关系，所以需要对这些参数进行一个整体的优化。本步骤采用的是Ceres非线性优化库中光束法平差模型(Bundle_Adjustment，简称BA)。整个BA的目标是最小化重投影误差，BA的输入数据是所有光学相机采集到的坐标数据，且坐标数据已经匹配好，以及所有相机的内外参数，BA的输出结果是高精度的相机内参信息。

步骤S8，标定中心点：将标定杆的多个标记点的高度定义为零，根据多个标记点的位置坐标信息，得到多个标记点的三维空间坐标，根据主相机的目标外参计算相机参数下的三维空间坐标，此主相机是含有有效数据最多的相机序号对应的主相机，将多个标记点的三维空间坐标和相机参数下的三维空间坐标代入等式中，通过迭代最近点求解欧式变换旋转矩阵和平移矩阵，等式如下公式：

P＝RP＇+T

其中，P为多个标记点的三维空间坐标，P＇为相机参数下的三维空间坐标，R为欧式变换旋转矩阵，T为平移矩阵；

得到标定杆的位姿信息，此位姿信息为欧式变换旋转矩阵和平移矩阵，将此位姿信息作用于主相机目标外参后，得到所有相机相对于标定中心点的目标外参。具体的，标定杆旋转矩阵为R，平移矩阵为T，主相机和其他光学相机此时的外参为R0和T0，那么将标定杆位姿信息作用于所有相机后，光学相机外部参数中旋转矩阵为R*R0，平移矩阵为R*T0+T。

通过步骤S1至S7后，在得到了所有相机的高精度的内外参数时，这些光学相机的外参都是相对于主相机的旋转和平移，即此时空间的中心是位于主相机光心处，在进行后续应用是计算不方便。在实际应用中，光学相机的外参是要相对于场地中心点，因此需要将二维标定杆置于场地中心点处，在步骤S8中，将标定杆当作一个刚体，标定杆上面多个个标记点坐标位置信息已知，此时定义高度为0，那么多个标记点的三维空间坐标就得到了，若标定杆设置有五个标记点，则此时五个标记点的三维空间坐标记为P＝{p1,…,p5}。通过光学相机采集数据，通过步骤S7的优化得到的外参数据就可以计算出当前相机参数下的三维空间坐标，记为P’＝{P’1,…,P’5}，可以用迭代最近点(Iterative Closest Point，ICP)求解R和T，采用SVD分解的方法进行ICP求解，从而得到了当前标定杆的位姿信息，把此位姿信息作用于当前的相机外参数据后就得到了所有相机相对于场地中心点的外参数据。

本实施例基于光学动捕的大空间环境下多相机标定方法，通过多个光相机捕获运动中的标定杆的标记点，获取大量坐标数据，对大量坐标数据的通过一定算法进而计算出每个相机的内外参数，无论是匹配过程还是参数计算过程均降低了算法的复杂性，标定时间更快，节省人力和物力。且还对所有相机得到的内外参数进行多种优化，得到高精度的内外参数，对后续的二维空间坐标转化为三维空间坐标操作提供了充分必要条件，进而为整个光学动捕系统中高精度的定位与跟踪打下了基础。

在一个实施例中，提出了一种基于光学动捕的大空间环境下多相机标定装置，如图4所示，该装置包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个初始数据均包括相机序号及对应的坐标数据；

记录有效数据模块，用于将每帧的坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测坐标数据是否包含属于标定杆的多个标记点的坐标点，若含有，则将多个坐标点及对应的相机序号进行记录形成有效数据，否则，剔除初始数据，则每帧得到对应的多个有效数据；

得到所有目标内参模块，用于根据多个有效数据，对每个光学相机进行初始化，得到每个光学相机的目标内参；

确定主相机模块，用于将含有有效数据最多的相机序号确定为主相机，将主相机的旋转信息定义为单位阵，将主相机平移信息定义为零矩阵，单位阵和零矩阵为主相机的目标外参；

标定计算模块，用于根据每帧的多个有效数据，将其他的光学相机和主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过主相机的旋转信息和平移信息得到目标相机的旋转信息和平移信息，旋转信息和平移信息为目标相机的目标外参；

得到所有目标外参模块，用于将已得到目标外参的目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

基于与上述本发明实施例的基于光学动捕的大空间环境下多相机标定方法相同的实施例说明内容，因此本实施例对基于光学动捕的大空间环境下多相机标定装置的实施例内容不做过多赘述。

在一个实施例中，提出了一种基于光学动捕的大空间环境下多相机标定设备，设备包括：存储器、处理器以及存储在存储器上并可在处理器上运行的基于光学动捕的大空间环境下多相机标定程序，基于光学动捕的大空间环境下多相机标定程序被处理器执行时实现上述各实施例的基于光学动捕的大空间环境下多相机标定方法中的步骤。

在一个实施例中，一种计算机可读存储介质，计算机可读存储介质上存储有基于光学动捕的大空间环境下多相机标定程序，基于光学动捕的大空间环境下多相机标定程序被处理器执行时实现上述各实施例的基于光学动捕的大空间环境下多相机标定方法中的步骤。其中，存储介质可以为非易失性存储介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述方法包括以下步骤：

获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；

根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；

将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；

根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；

将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

2.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，包括：

获取一帧中每个所述坐标数据中的坐标点个数，判断坐标点个数是否少于所述标定杆的多个标记点个数，若少于，则将所述坐标数据从对应帧中剔除；

若不少于，则继续判断坐标点个数是否大于预设的最大个数，若大于，则将所述坐标数据从对应帧中剔除，每帧均得到剔除后的初始数据；

获取所述标定杆上多个标记点的位置关系数据，在剔除后的所述初始数据中，检测所述坐标数据中是否含有所述位置关系数据的多个坐标点。

3.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参，包括：

所述光学相机的目标内参包括成像长度、成像宽度和焦距，在所述光学相机对应的所有有效数据中，查找坐标数据的横坐标的最大值和纵坐标的最大值，将所述横坐标的最大值记为所述光学相机的成像长度，将所述纵坐标的最大值记为所述光学相机的成像宽度；

所述光学相机的焦距通过以下计算公式得到：

设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：

alpha＝W/(W+H)

beta＝H/(W+H)；

所述光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：

fx＝W*0.5/alpha

fy＝H*0.5/beta；

其中，fx、fy为所述光学相机的焦距。

4.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，包括：

逐帧查找所述有效数据中是否含有所述主相机的相机序号，若不含有所述主相机的相机序号，则继续查找下一帧；

若含有所述主相机的相机序号，则继续逐个查找所述有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有所述主相机和当前光学相机的坐标数据，则认为所述主相机和所述当前相机之间含有足够的匹配数据；

若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将当前光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。

5.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参，包括：

在所述匹配数据的任一一帧中，分别获取所述主相机和所述目标相机的坐标数据，获取所述标定杆上多个标记点的位置关系数据，根据所述位置关系数据，将所述主相机的坐标数据与所述目标相机的坐标数据进行匹配，得到多组二维空间特征对，将多组所述二维空间特征对和两个所述光学相机参数构造线性方程组，求解出本质矩阵；

通过奇异值分解算法分解所述本质矩阵，得到所述目标相机的旋转信息和平移信息。

6.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参后，还包括：

将所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参、所述主相机和所述目标相机的所有的匹配数据一起通过迭代优化，在迭代优化过程中的代价函数为重投影误差，得到优化后的所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参，所述迭代优化过程如下：

把世界坐标p转换到相机坐标：

P’＝R*p+T＝{X,Y,Z}

其中，R和T为光学相机外参；

将P’投到归一化平面上，得到归一化坐标：

Pc＝{u,v,1}＝{X/Z,Y/Z,1}

进行去畸变：

u’＝u*(1+k1*r*r+k2*r*r*r*r)

v’＝v*(1+k1*r*r+k2*r*r*r*r)

计算像素坐标M(Us,Vs)：

Us＝fx*u’+cx

Vs＝fy*v’+cy

其中，fx、fy、cx、cy为光学相机内参；

设光学相机检测到的像素坐标N(U0,V0),世界坐标p的重投影误差e为：

e＝||N-M||²

把所述主相机和所述目标相机的所有的匹配数据都代入进来，那么整体的代价函数为：

在迭代过程中，当误差降到预设阈值范围内时，停止计算，并输出迭代优化后的所有光学相机内参和外参。

7.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，还包括：

将所有所述光学相机的目标内参、目标外参和采集到的所有坐标数据输入至预设的光束法平差模型，所述光束法平差模型的输出结果为优化后的所有光学相机的目标内参。

8.一种基于光学动捕的大空间环境下多相机标定装置，其特征在于，所述装置包括：

获取初始数据模块，用于获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；

记录有效数据模块，用于将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；

得到所有目标内参模块，用于根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；

确定主相机模块，用于将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；

标定计算模块，用于根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；

得到所有目标外参模块，用于将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。

9.一种基于光学动捕的大空间环境下多相机标定设备，其特征在于，所述设备包括：

存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于光学动捕的大空间环境下多相机标定程序，所述基于光学动捕的大空间环境下多相机标定程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于光学动捕的大空间环境下多相机标定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于光学动捕的大空间环境下多相机标定程序，所述基于光学动捕的大空间环境下多相机标定程序被处理器执行时实现如权利要求1至7中任一项所述的基于光学动捕的大空间环境下多相机标定方法的步骤。

Images