CN112598706B - 无需精确时空同步的多相机运动目标三维轨迹重建方法 - Google Patents

Abstract

本发明提供了一种无需精确时空同步的多相机运动目标三维轨迹重建方法，部署多相机视角的多台相机及运算器构成的装置并标定相机，观测运动目标并记录运动目标的运动轨迹，粗对齐观测数据时间轴，移除无效观测点，标定各相机的时间同步参数和运动参数，重建三维运动轨迹并进行优化。本发明无需使用特殊标识物对运动目标进行标识，无需对观测设备进行预先标定，无需精确的多相机时空同步即可实现多相机运动目标三维轨迹重建，能够自动对标定信息和时空同步信息进行优化，以实现更精确的多相机运动目标三维轨迹重建。

Description

无需精确时空同步的多相机运动目标三维轨迹重建方法

技术领域

本发明属于计算机视觉重建技术，涉及计算机视觉信息的整合处理，尤其是一种目标轨迹重建方法。

背景技术

多相机运动目标三维轨迹重建方法是利用多个相机在不同视点对运动目标轨迹进行拍摄，并使用这些拍摄得到的二维轨迹重建得到运动目标的三维运动轨迹的技术。这种技术利用纯光学观测手段即可完成对运动目标的立体运动轨迹重建，无需额外的探测设备支持。这项技术的关键点在于利用多视图几何，通过找到不同视图之间观测到的运动轨迹的关联，构建对极约束，求解不同视图的位姿，进而得到运动轨迹的重建估计结果。现有相关技术包含两类，一类是纯被动式的观测重建手段，例如运动回复结构技术，一类是利用特殊标识物对观测目标进行增强的半主动观测手段。

现有的运动恢复结构(Structure From Motion,SfM)技术是一种能够从多张图像或视频序列中自动恢复出相机的参数以及场景三维结构的技术，具有广泛的应用，例如可以应用于增强现实、机器人和自动驾驶等领域。这种技术目前的主流算法流程可以概括为：特征提取，特征匹配，多视图约束，运动信息求解，增量求解序列中的新视图位置，以及优化调整。这种技术的技术核心是利用多视图之间对于相同空间三维点的不同角度观测，构建起多视图之间的对极约束，这种约束关系中实际上包含了各不同视图之间的相对位置信息。随后可以利用经典的三角测量算法计算将视图上的平面三维结构重建到三维空间中，达到三维重建的目的。但是这种技术要求在整个重建过程中，所有采集到的数据必须具有一定数量的显著纹理，否则算法无法构建起足够合理的多视图约束进而求解多视图运动关系，同时算法要求在整个采集过程中运动目标不可移动，否则同样无法构建符合预期数学模型的多视图约束，最终会导致三维结构重建失败。

除了运动回复结构这种被动式的观测重建技术之外，还有一类半主动式观测重建技术。这种技术利用特殊标识物对被观测目标进行特殊标注，利用一套复杂的高精度观测系统对运动目标做出的特殊标识进行跟踪，借助高度精密的预先标定，系统可以直接利用三角测量原理，测算出运动目标在运动过程中的三维运动轨迹。这种方法对于目标的观测重建相比于运动恢复结构技术，避免了对于高精度特征提取、特征匹配的依赖，可以直接利用特殊标识构建起多视图约束，能够比较好的应对各类特征稀疏、特征不明显的应用场景。但是这种技术要求不同观测设备之间提前做好高精度标定，这里的标定同时要求时间与空间的同步，观测设备之间对于目标的观测应该同时开始，观测设备之间的相对姿态应该被提前确定，否则无法对运动目标进行合理的观测重建。对于硬件设备的高精度同步要求限制了系统的可部署范围，对于一个大范围运动的目标，不同硬件设备之间的空间距离造成了时间同步以及相对姿态标定的严重困难。

综上，现有的运动恢复结构技术的缺点是：

1)对于重建目标纹理信息的依赖性强，对于远距离的小型运动目标，难以建立对运动目标轨迹的多视图约束。

2)要求重建目标结构必须要在采集过程中保持静止，无法应对运动目标轨迹在采集过程中的变化。

现有的特殊标识物观测重建技术的缺点是：

1)由于需要对观测目标进行特殊标识，因此这种方法只能应用于合作目标上，对于非合作目标，无法进行特殊标识。

2)需要对系统中所有观测设备进行前期标定，为了得到可靠的标定结果，所有观测设备之间只能部署在一定范围之内，限制了观测重建的作用范围。

发明内容

为了克服现有技术的不足，本发明提供一种无需精确时空同步的多相机运动目标三维轨迹重建方法，利用多个相机在不同视点对运动目标轨迹进行观测，并根据这些观测得到的二维轨迹，同时得到运动目标的三维运动轨迹以及多个观测设备之间的时间同步参数与相对姿态，无需使用特殊标识物对运动目标进行标识，无需对观测设备进行预先标定，观测设备因此可以部署在各种位置对运动目标进行观测。

本发明解决其技术问题所采用的技术方案包括以下步骤：

1)在运动目标的观测场地四周部署若干观测相机，对各个观测相机进行标定，获取各观测端相机的内参以及畸变参数；

2)观测运动目标，记录下运动目标在各个观测端相机视野中的移动轨迹以及移动轨迹开始时间；

3)根据移动轨迹开始时间裁剪各个移动轨迹数据，确保各个移动轨迹数据的起始时间保持一致；认定无法同时被多个观测相机观测到的移动轨迹点为无效观测点，移除无效观测点；

4)对每个观测相机观测到的移动轨迹进行样条函数拟合，以全部的移动轨迹点为输入，拟合出一个以时间t为自变量、以移动轨迹点为输出的曲线函数；选定任意一个观测相机为参考，使所有其他观测相机与参考相机两两进行时间同步参数标定以及运动参数标定；

5)通过时间同步参数，对于参考相机获得的运动轨迹上任意一点，寻找其在另一个观测相机获得的运动轨迹上的对应点，计算当前点在参考相机坐标系下的深度，确定该点的三维坐标；在参考相机的运动轨迹上选取选取若干点或遍历所有点，获得的三维轨迹称为初始三维轨迹，与参考观测相机一起求解出初始三维轨迹的观测相机称为初始观测对；对初始三维轨迹进行样条拟合计算，产生一个以时间为自变量的三维轨迹曲线样条函数，获得任意时间的三维轨迹内插结果；其他观测相机通过时间同步参数，找到自己记录的运动轨迹与参考观测相机的运动轨迹之间的对应关系，使用多点透视算法计算出其他观测相机相对于参考端相机的运动参数，使用这个运动参数与时间同步参数进行三角测量计算，得到更多的三维轨迹点，新的三维轨迹点与之前的三维轨迹点放在一起进行样条曲线拟合，得到更优的运动目标轨迹；

6)用三维轨迹点的重投影误差为目标函数，构造一个以各观测相机的运动参数、时间同步参数、三维轨迹点位置为目标优化变量的优化问题，以步骤5)的求解结果为优化变量的初始值，使用高斯牛顿法进行求解，得到优化之后的三维目标运动轨迹、各观测相机时间同步参数、以及各观测端相机运动参数。

所述的步骤2)中观测相机在运动目标离开视野之后打包运动目标的移动轨迹数据，以及移动轨迹数据的记录开始时间，一起发送给计算端设备。

所述的步骤4)使用来自于第k号观测相机的移动轨迹点拟合得到的样条曲线函数为s_k(t)，使用来自于第g号观测相机的移动轨迹点拟合得到的样条曲线函数为s_g(t)，在第k号观测相机的时间轴上第i时刻观测到的轨迹点表示为s_k(t_i)，第g号观测端的时间轴上的第j时刻观测到的轨迹点表示为s_k(t_j)；i时刻与j时刻由两个时间同步参数关联，j＝β+ρi，其中参数β表示第k号观测相机时间轴与第g号观测相机时间轴起始时间的差异，参数ρ表示第k号观测相机与第g号观测相机时间轴的观测帧率的比值，通过相机对极几何约束构建两个相机上的观测结果关联为s_k(i)Fs_g(β+ρi)＝0，其中F是需要求解的相机之间的基础矩阵；形成优化问题

其中N代表选取N个不同的时刻，距离d(x,l)表示二维点x到二维直线l的最短距离；求解优化问题，得到基础矩阵F以及时间同步参数β和ρ；随后对基础矩阵F进行奇异值分解求出第k号观测相机与第g号观测相机的运动参数，包括相对旋转矩阵R以及相对平移向量t。

本发明的有益效果是：能够对多个视角的相机采集的图像序列中的目标运动轨迹进行三维重建，得到在各相机坐标系下的目标三维运动轨迹，进一步的，利用计算机视觉的坐标系变换关系，能够获得运动目标相对于空间中任意一点的三维运动轨迹，无需精确的多相机时空同步即可实现多相机运动目标三维轨迹重建，能够解决现实应用中难以获得精确多相机时间和空间同步问题，仅需要含有一定误差的相机标定和时空同步信息作为先验，本发明能够自动对标定信息和时空同步信息进行优化，以实现更精确的多相机运动目标三维轨迹重建。

附图说明

图1为本发明实施例的流程图；

图2为使用四台相机观测一个目标的示意图；

图3为本发明含有多台多视角相机的装置结构示意图；

图4为本发明的方法流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明的目的是提出一种精度较高且泛用性强多相机运动目标三维轨迹重建方法，利用多相机构建的观测计算系统可以部署在各种不同大小的场景下，实现对于各种规模的三维运动轨迹的重建，同时无需对多观测设备进行前期的精密预先标定，降低了系统部署复杂度，提高了系统整体灵活度，方便系统在各种情况下的使用。

1.系统组成

本发明提供的硬件方案如图3所示，本发明提供的算法依赖的硬件系统由观测设备、计算设备、通信设备组成。本发明通过通信设备从各观测设备上收集运动目标观测结果，汇总到中央计算设备上对数据进行整合处理，测算出运动目标的三维运动轨迹。

本发明的硬件系统由两大部分组成：观测端和计算端

2.观测端

单个观测端包含一台相机，一个通信总线接入设备，以及一台计算设备。观测端负责观测运动目标，使用基于深度学习的目标识别跟踪算法，记录下在当前相机视野中，运动目标的二维运动轨迹，多个观测端最终将目标各自相机视野内的二维运动轨迹，通过通信设备发送到计算设备上进行汇总计算。

观测端具有以下功能：

·目标检测识别跟踪

使用深度学习算法，观测端可以在相机视野中找到正确的运动目标，并对此运动目标在相机视野中的二维运动轨迹进行记录。

·目标二维轨迹传送

各高性观测端对于运动目标的二维运动轨迹可以通过系统中的通信总线，快速传输到计算端，便于计算端及时汇总计算运动目标三维运动轨迹。

3.计算端

计算端包含一台计算设备和一个通信总线接入设备。计算端接入通信总线，汇总处理来自于各个观测端对于运动目标的二维观测轨迹。计算端运行本发明提出的无需精确时空同步的多相机运动目标三维轨迹重建方法，以各个计算端的二维观测轨迹为输入，输出各观测端相机的时间同步参数，以及相对姿态信息。

4.无需精确时空同步的多相机运动目标三维轨迹重建方法

本发明提出的无需精确时空同步的多相机运动目标三维轨迹重建方法，参考了运动恢复结构技术对于三维结构恢复的计算原理，兼顾了基于特殊标识物的三维轨迹观测重建技术的限制，提出了一种具有相比基于特殊标识物的三维轨迹观测重建技术具有更大可作用范围以及更高泛用性的算法。本发明提供的方法如图4所示，方法流程由以下步骤组成：

1)部署多相机视角的多台相机及运算器构成的装置并标定相机

此步骤需要完成系统部署的前期准备，包括设备部署以及相机标定。首先在运动目标的观测场地四周，部署若干观测相机，并在相机附近部署用于处理相机数据的计算设备，以及用于发送观测端数据的通信总线接入设备。随后在观测场地外的合适地点部署一台计算设备，以及用于整合处理来自于观测端数据的通信总线接入设备。场地周围还需要部署通信总线，便于观测端向计算端发送观测数据。最后需要在现场使用相机标定板对各个观测端相机进行标定，获取各观测端相机的内参以及畸变参数。

2)观测运动目标并记录运动目标的运动轨迹

此步骤需要完成系统对于运动目标的观测，并记录下运动目标在各个观测端相机视野中的移动轨迹。在步骤流程中，各个观测端的计算设备将运行目标检测跟踪算法，跟踪并记录运动目标在观测端相机的视野中的移动轨迹，当移动目标离开视野之后。打包压缩运动目标的移动轨迹数据，以及移动轨迹数据的记录开始时间，一起通过通信总线发送给计算端设备。

3)粗对齐观测数据时间轴，移除无效观测点

计算端接收到观测端传输的所有观测信息之后，利用观测信息中包含的起始时间数据，粗略对齐时间，也就是裁剪各自的移动轨迹数据，直到各自的移动轨迹数据的起始时间保持一致为止。因为在本算法中，认定所有无法同时被多个观测端观测到的移动轨迹点为无效观测点，需要被移除。

4)时间同步参数标定，运动参数标定

粗略的移动轨迹起始时间对齐使用了各个观测端自行提供的时间信息，但是不同的观测端之间的时间信息不一定是同步的，且不同观测端的观测帧率不同，为了能够得到精度更高的移动轨迹起始时间对齐结果，需要标定出不同移动轨迹所在时间轴的同步参数。为了能够重建出运动目标的三维运动轨迹，需要首先知道不同观测端相机之间相互的位置姿态信息，这个步骤的完成需要标定出各个相机之间的运动参数。

这二者可以通过构建一个包含运动参数，以及时间同步参数为优化目标的代价函数，迭代优化求解得到。首先必须取得任意时刻的运动轨迹，需要首先对现有的运动轨迹数据进行样条函数拟合操作，以全部现有的运动轨迹点为输入拟合出一个以时间t为自变量，运动轨迹点为输出的曲线函数，这个函数便于算法取得任意时刻的运动轨迹点。

设使用来自于第k号观测端的运动轨迹点拟合得到的样条曲线函数为s_k(t)，使用来自于第g号观测端的运动轨迹点拟合得到的样条曲线函数为s_g(t)。那么在第k号观测端的时间轴上的第i时刻观测到的轨迹点可以表示为s_k(t_i)，第g号观测端的时间轴上的第j时刻观测到的轨迹点可以表示为s_g(t_j)。如果k号观测端时间轴的第i时刻与第g号观测端时间轴的第j时刻在世界时间轴上是同一时间，那么i时刻与j时刻可以由两个时间同步参数关联，并得到如下关系:

j＝β+ρi (1)

其中参数β表示第k号观测端时间轴与第g号时间轴起始时间的差异，而参数ρ表示第k号观测端与第g号时间轴的观测帧率的比值。

因为观测端k在i时刻观测到的运动轨迹点与观测点g在j时刻观测到的运动轨迹点是同一时刻对于运动目标的观测结果，因此两个相机上的观测结果可以通过相机对极几何约束构建关联如下。

s_k(i)Fs_g(β+ρi)＝0 (2)

其中F是需要求解的相机之间的基础矩阵，求解得到了基础矩阵之后，就可以求解得到相机之间的运动参数。因此需要以这个约束为代价函数，以基础矩阵(也就是运动参数)以及时间同步参数β和ρ为优化目标形成优化问题如下

其中N代表选取N个不同的时刻，距离d(x,l)表示二维点x到二维直线l的最短距离。通过常规的迭代优化步骤求解如上优化问题，可以最终得到基础矩阵F，以及时间同步参数β和ρ。随后对基础矩阵F进行奇异值分解，即可求出第k号观测端相机与第g号观测端相机的运动参数——相对旋转矩阵R，以及相对平移向量t。

最后选定一个观测端为参考，使所有其他观测端与参考观测端两两进行时间同步参数标定以及运动参数标定。

5)重建三维运动轨迹

重建三维运动轨迹的过程首先从参考观测端与任意其他观测端开始，通过二者的时间同步参数，参考观测端获得的运动轨迹上的任意一点，都可以在另一个观测端获得的运动轨迹上找到对应点，结合二者的运动参数，这个点在参考观测端相机坐标系下的深度，可以通过三角测量技术计算得到，当这个点的深度被算出来之后，这个点的三维坐标也就被确定了。在参考观测端的二维运动轨迹上选取大量点都进行如上计算，就可以获得一条三维轨迹。这条三维轨迹被称为初始三维轨迹，与参考观测端一起求解出这条三维轨迹的观测端被称为初始观测对。

随后，可以对求解得到的三维轨迹点进行样条拟合计算，产生一个以时间为自变量的三维轨迹曲线样条函数，使用这个样条曲线，可以获得任意时间的三维轨迹内插结果。之后，其他观测端通过时间同步参数，找到自己记录的二维运动轨迹与参考观测端的运动轨迹之间的对应关系，由于目前得到的三维轨迹是由参考端的运动轨迹三角测量而来，因此其他观测端的运动轨迹中与参考端的运动轨迹有对应关系的轨迹点也就与三维轨迹点产生了对应关系，借助这种二维-三维对应关系，可以使用多点透视算法计算出其他观测端相对于参考端的更加精确的运动参数，使用这个运动参数与时间同步参数进行三角测量计算，可以得到更多的三维轨迹点，新的三维轨迹点与之前的三维轨迹点放在一起进行样条曲线拟合，得到更优的运动目标轨迹。

6)三维运动轨迹优化

在计算过程中，由于噪声的影响，三维运动轨迹的计算结果可能不如预期，为了尽量降低噪声的影响，可以使用三维轨迹点的重投影误差为目标函数，构造一个以各观测端的运动参数，时间同步参数，三维轨迹点位置为目标优化变量的优化问题，这个优化问题以前面步骤的求解结果作为优化变量的初始值，使用传统的高斯牛顿法进行求解。最终可以得到优化之后的三维目标运动轨迹，各观测端时间同步参数，以及各观测端相机运动参数。

本发明的实施例包括以下步骤：

S1、部署多相机视角的多台相机及运算器构成的装置，并使用计算机视觉方法对各相机进行标定，得到各相机的内参和畸变参数。

S2、多视角的多台相机获取环境图像序列，根据所述环境图像序列使用图像中目标检测或跟踪算法获取目标在图像序列中的位置，得到各相机的目标位置信息序列并按照时间排序。如图2所示为使用四台相机观测一个目标时的示意图，应当理解，本发明并不限定相机和观测目标的数量。

S3、按照系统时间进行粗精度对齐，对多相机视角的目标信息序列进行筛选，剔除无效点，产生一个比较合理的二维运动轨迹。

S4、使用本发明提供的无需精细时空同步的多相机运动目标三维轨迹重建方法对上述多相机视角的对应二维运动轨迹进行处理，得到各观测端相机的运动参数，以及各观测端的时间同步参数。

S5、利用求得的时间同步参数以及运动参数，对参考观测端与其他观测端进行三角测量得到三维运动轨迹。

S6、使用三维运动轨迹点在各个相机成像平面上的重投影误差作为目标函数，构建一个以各观测端时间同步参数，相机运动参数，三维运动轨迹点位置为优化变量的优化问题，使用高斯牛顿法求解，优化上一步求得的三维运动轨迹点

本发明还相应提供了一种含有多台多视角相机的装置，如图3所示，所述装置包含多台相机、运算器、存储器，能够捕获场景图像信息，存储到存储器中，并输入到本发明提供的三维轨迹重建程序中，在运算器中运行程序，以实现如上所述的无需精确时空同步的多相机运动目标三维轨迹重建方法的步骤。

本发明还相应提供了一种存储介质，其中存储有一个或多个程序，包含本发明提供的多相机运动目标三维轨迹重建程序，以及其它支撑其工作的程序如相机标定程序、目标检测程序、运算加速程序库等，以实现如上所述的无需精确时空同步的多相机运动目标三维轨迹重建方法的步骤。

Claims (2)

1.一种无需精确时空同步的多相机运动目标三维轨迹重建方法，其特征在于，包括以下步骤：

1)在运动目标的观测场地四周部署若干观测相机，对各个观测相机进行标定，获取各观测端相机的内参以及畸变参数；

2)观测运动目标，记录下运动目标在各个观测端相机视野中的移动轨迹以及移动轨迹开始时间；

3)根据移动轨迹开始时间裁剪各个移动轨迹数据，确保各个移动轨迹数据的起始时间保持一致；认定无法同时被多个观测相机观测到的移动轨迹点为无效观测点，移除无效观测点；

4)对每个观测相机观测到的移动轨迹进行样条函数拟合，以全部的移动轨迹点为输入，拟合出一个以时间t为自变量、以移动轨迹点为输出的曲线函数；选定任意一个观测相机为参考，使所有其他观测相机与参考相机两两进行时间同步参数标定以及运动参数标定；其中，所述的步骤4)使用来自于第k号观测相机的移动轨迹点拟合得到的样条曲线函数为s_k(t)，使用来自于第g号观测相机的移动轨迹点拟合得到的样条曲线函数为s_g(t)，在第k号观测相机的时间轴上第i时刻观测到的轨迹点表示为sk(t_i)，第g号观测端的时间轴上的第j时刻观测到的轨迹点表示为s_k(t_j)；i时刻与j时刻由两个时间同步参数关联，j＝β+ρi，其中参数β表示第k号观测相机时间轴与第g号观测相机时间轴起始时间的差异，参数ρ表示第k号观测相机与第g号观测相机时间轴的观测帧率的比值，通过相机对极几何约束构建两个相机上的观测结果关联为s_k(i)Fs_g(β+ρi)＝0，其中F是需要求解的相机之间的基础矩阵；形成优化问题

其中N代表选取N个不同的时刻，距离d(x,l)表示二维点x到二维直线l的最短距离；求解优化问题，得到基础矩阵F以及时间同步参数β和ρ；随后对基础矩阵F进行奇异值分解求出第k号观测相机与第g号观测相机的运动参数，包括相对旋转矩阵R以及相对平移向量t；

5)通过时间同步参数，对于参考相机获得的运动轨迹上任意一点，寻找其在另一个观测相机获得的运动轨迹上的对应点，计算当前点在参考相机坐标系下的深度，确定所述当前点的三维坐标；在参考相机的运动轨迹上选取选取若干点或遍历所有点，获得的三维轨迹称为初始三维轨迹，与参考观测相机一起求解出初始三维轨迹的观测相机称为初始观测对；对初始三维轨迹进行样条拟合计算，产生一个以时间为自变量的三维轨迹曲线样条函数，获得任意时间的三维轨迹内插结果；其他观测相机通过时间同步参数，找到自己记录的运动轨迹与参考观测相机的运动轨迹之间的对应关系，使用多点透视算法计算出其他观测相机相对于参考端相机的运动参数，使用这个运动参数与时间同步参数进行三角测量计算，得到更多的三维轨迹点，新的三维轨迹点与之前的三维轨迹点放在一起进行样条曲线拟合，得到更优的运动目标轨迹；其中，所述其他观测相机为除所述参考相机以外的其他相机；

6)用三维轨迹点的重投影误差为目标函数，构造一个以各观测相机的运动参数、时间同步参数、三维轨迹点位置为目标优化变量的优化问题，以步骤5)的求解结果为优化变量的初始值，使用高斯牛顿法进行求解，得到优化之后的三维目标运动轨迹、各观测相机时间同步参数、以及各观测端相机运动参数。

2.根据权利要求1所述的无需精确时空同步的多相机运动目标三维轨迹重建方法，其特征在于，所述的步骤2)中观测相机在运动目标离开视野之后打包运动目标的移动轨迹数据，以及移动轨迹数据的记录开始时间，一起发送给计算端设备。