CN108288294A - 一种3d相机群的外参标定方法 - Google Patents

Abstract

本发明公开了一种3D相机群的外参标定方法，其可以解决现有相机标定技术中操作不方便、精度低、鲁棒性差等问题，包括如下步骤：S1、3D相机群内参的标定；S2、相机对的外参标定；S3、利用行人检测校准相机群外参。本发明操作简单、精度高、鲁棒性好，与现有技术相对比其优势较为明显，适合市场推广。

Description

一种3D相机群的外参标定方法

技术领域

本发明涉及一种相机标定技术，特别是涉及一种3D相机群的外参标定方法。

背景技术

相机标定是机器视觉检测、摄影几何测量等中最为关键的部分，相机标定的目的是通过从相机获取的二维图像信息出发，计算出物体的三维位置、形状等几何信息。从而获取二维图像上的点与空间物体表面点的相对应关系。这种关系是由相机成像的几何模型决定的，这些模型的参数称为相机参数，主要包括内部参数和外部参数。相机标定就是计算这些参数的过程。

目前在计算机视觉和摄影测量领域常用的相机标定方法有：Tsai两步法标定法、张正友平面标定法、基于交比不变性的相机标定方法、基于非测量镜头畸变矫正的标定方法。这些标定方法中有的是基于特定的实验条件如形状、尺寸已知的标定参照物求取相机模型的参数，有不依赖于标定参照物，仅利用相机在运动过程中周围环境的图像与图像之间的对应关系对相机进行标定。但传统的相机标定方法往往存在标定过程繁琐、参数耦合、实时性较差、标定精度有限、仅适用于背景比较简单的场景。

针对目前相机标定方法存在的精度低、实时性较差、标定过程繁琐、鲁棒性差等问题，本发明提出一种3D相机群的外参标定方法，其可以有效的改善相机标定的结果。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种3D相机群的外参标定方法，其可以解决现有相机标定技术中操作不方便、精度低、鲁棒性差等问题。

为实现上述目的，本发明提供了一种3D相机群的外参标定方法，包括如下步骤：

S1、3D相机群内参的标定；

S2、相机对的外参标定；

S3、利用行人检测校准相机群外参。

作为本发明的进一步改进，S1、3D相机群内参的标定：包括如下步骤：

标定相机的内参数矩阵，内参数矩阵的参数主要包括：相机焦距、光学中心和镜头畸变系数；

准备标定图片，打印一张棋盘格，并将其贴在平板上，确保板面是平坦的，不然会影响后续的校准；

对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片，并从每幅图像中取十个特征点来进行相机的标定；

把被取的十个点的世界坐标(齐次坐标)进行转置，把多个角度拍摄的图片的单应性矩阵求解并优化，进而得到相机的内参矩阵。

作为本发明的进一步改进，S2、相机对的外参标定，包括如下步骤：

与内参标定不同，外参标定一次涉及所有的相机，首先是让标定板在相机视野内以一定速度移动，利用深度相机获取标定图像，之后对相机和标定板的姿态进行全局优化；

将相机摆放在标定板的周围，相邻的两台相机构成一个相机对；

由于标定板不能同时被多台相机完整的拍摄到，假定同一时刻标定板只能被相邻的2个相机的视野同时完整的覆盖；

当相机和PC机被设置好，在相机视野内移动标定板，并拍摄多幅图像；

根据两台摄像头获取的图像，实时的估计两相机之间的相对位姿，并画出其参考坐标轴；

每一次标定板进入新的相机视野时，同时另一台相机已经被校正过，新相机的姿态会被估计并且添加到可视化的进程中；

待到所有的相机已经全部被标定过，将标定板放到地平面上，通过此操作，来标定地平面与各相机之间的位置关系；

相机的姿势和棋盘在世界坐标系下的位置一起进行了优化，随着时间的推移相机会收集更多的帧，为参数的优化添加了更多的限制；

假设B是棋盘格(在参考系下),是棋盘格上设置的角点，C＝{C₁，C₂﹒﹒﹒C_N}是相机群组。

根据以上标记，假设已经执行了k步获取步骤，我们很容易列举在获取的数据上加的限制；

相机群的姿态表示成(^wC_n，n＝1…N)，相对于世界坐标系来说，每个相机的第k步是相同的；

在世界坐标系统下第k步棋盘格的位姿表示成^wB_k，必须保持不变；因此误差函数e可表示成：

上述公式中，e_cam是可以根据图像数据计算出来的误差，σcam是归一化因子，u_nk是指标函数：在步骤k时，如果摄像头C_n看到棋盘B，其值为1，否则就等于0；

误差函数e_cam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点。角点的重投影误差可以计算为：

其中repr_C()是二维平面上的点重投影到三维空间的投影函数。

作为本发明的进一步改进，在校准期间以恒定的时间间隔重复优化上述步骤，并且实时的更新其优化结果；

作为本发明的进一步改进，S3、利用行人检测校准相机群外参，包括如下步骤：

假设只有一个人行走在相机的视野范围内，用不同的颜色代表行人在不同相机下的运动轨迹；

由于只有一个人行走在视野内，所以相同时间的不同运动点应该是一致的，通过校正人的运动轨迹来校准相机群的外参数标定结果。

本发明的有益效果是：与现有技术相比本发明具有实时性好，操作简单，精度高、鲁棒性好等优点，此外本发明加入了行人检测作为相机参数的校正，进一步优化了相机的参数的标定结果。

附图说明

图1是本发明一种3D相机群的外参标定方法具体实施方式的流程图。

图2是本发明一种3D相机群的外参标定方法具体实施方式的矫正前示意图。

图3是本发明一种3D相机群的外参标定方法具体实施方式的矫正后示意图。

图4是本发明一种3D相机群的外参标定方法具体实施方式的架构图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

本实施例需要用到的硬件设备包括：用于相机群标定的标定板和相机群，还有用于接受平面棋盘格图像并显示平面棋盘格图像的显示器。

一种3D相机群的外参标定方法，包括如下步骤：

S1、相机内参的标定：

S1.1将相机接通电源并通过USB接口连接到电脑上，打印棋盘格，并将棋盘格贴在平板上，保证棋盘格表面足够的平坦，这样一张简单的标定板就制作好了；

S1.2将标定板放在相机视野中，控制打开相机，开始拍摄棋盘格图像进行相机标定；

S1.3将相机朝多个不同方向移动，从多个视角拍摄标定板图像，为了得到准确的相机参数，提出两点建议：

(1)拍摄时，主光轴与标定板成60度以下。

(2)多次拍摄调整角度。

S1.4检测图像特征点，本发明将Harris角点作为图像特征点，角点是梯度变化为极大值的点。角点的详细检测过程如下：

利用水平、竖直差分算子对图像每个像素进行滤波以求得Ix、Iy，进而求得像素点n中四个元素的关联矩阵：

(1，此处代表公式的编号，下同)

其中，

其中，Ix，Iy分别是水平和垂直方向的方向导数。

对像素点n中的四个元素进行平滑滤波，得到新的m。在此，利用离散二维零均值高斯滤波器对n的四个元素进行平滑。离散二维零均值高斯函数为：

为了得到更为精确的角点位置，需要对检测到的Harris角点坐标进行亚像素级求精。

S1.5匹配图像特征点。通过检测得到的Harris角点，可以得到一个N×N的焦点网格，对角点进行一定规则的顺序编号。如果图像中检测到的角点数量与棋盘格设定的焦点数量不一样，则需要对图像进行进一步的滤波处理后返回

S1.6重新检测角点。对图像角点网格进行遍历，然后同时与棋盘格图像做匹配。

S1.7畸变矫正。现实中，相机在拍摄的过程中会产生径向畸变；如果直接使用发生畸变的图像进行相机标定，那么标定结果必然是不准确的。因此，在标定之前必须对图像进行畸变校正。畸变校正的过程是就是通过加入一个畸变因子，从而建立理想针孔模型成像像素坐标(u，v)与实际像素坐标(x，y)之间的关系：

其中δ_x(x,y)，δ_y(x,y)是径向畸变和切向畸变的线性畸变值，它与像素点在图像中的位置有关：

其中，k1、k2是描述需要标定的两个径向畸变系数，p1，p2为需要标定的两个切向畸变系数，他们描述了畸变矩阵D，D＝[k1,k2,p1,p2]。

利用理想针孔投影模型建立图像坐标之间的关系，从而标定出相机的内部参数。本发明将标定板所在的平面当作z＝0的世界坐标系，所以标定板上的角点的世界坐标X_i＝[x_i,y_i,0]^T，所以相机理想针孔投影模型为：

其中r1,r2,r3分别为旋转矩阵R的三个列向量。S是一个比例系数，通过上述方程计算得到：[x_n,y_n,0]^T为点P在世界坐标系下的坐标；R和t分别为世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量；K为相机内部参数矩阵；(u0,v0)为图像平面的主点坐标；a，β分别为图像在u轴和v轴的焦距参数；γ为图像扭曲参数，表示图像两坐标的轴偏斜度。

令m＝[u v 1]，M＝[xn yn 1]^T，H＝[h1h2h3]＝K[r1r2 0],那么，上式可以表示为：sm＝HM；

矩阵H为单应矩阵，表示两个平面之间的对应关系。根据旋转列向量r1,r2的单位正交性，得到如下约束方程：

每次拍摄的图像代入上式，即可求解出单应矩阵H，矩阵K以及畸变矩阵D。

S2、相机对的外参标定。

在开始校准之前，应该打印最大的棋盘。棋盘格越大，跟踪时的误差就越小。粘贴棋盘格的板子在半英寸或更厚点，因为校准过程中棋盘格的任何弯曲或移位都会降低跟踪性能。

将相机群摆放在被测物体周围，相邻的两台相机作为一个相机对，两相机的视野需要一定的重叠，可以根据棋盘格的距离而定，确保棋盘格可以同时完整的出现在两台相机的视野当中。覆盖棋盘，使其不能被相机识别。

棋盘格尽可能靠近将被校准的相机，且棋盘格相对于正在校准的相机的倾斜量尽量小，一旦棋盘格放置好，打开棋盘格切尽可能保持棋盘格静止，并以最少的倾斜度显示给校准的相机和一个要校准的相机。

在相机跟踪空间内移动棋盘格，当一对相机看到棋盘格时，会实时的估计两者之间的相对位置。

每当新的相机出现，它将会与已经校准过的相机同时看到图像，估计新的相机姿态并将其加到可视化的进程中。

所有相机被校准完后，还需要校准地平面，将标定板放在地面上，确保至少有一台相机可以看到棋盘，之后保存校准结果。

接下来详细介绍本发明中对相机和棋盘格姿态的全局优化。

由于棋盘格能够同时被两相机看到，随着时间的推移可以收集更多的帧，可以添加到该优化当中。

令B是参考帧下的标定板，是标定板上的角点(棋盘格坐标系下)，为一组相机。

根据上述叙述，假设我们已经执行到第K步，我们很容易的列举获取数据所施加的限制。

每个相机(^wC_n，n＝1…N)相对于世界坐标系W的姿态在每个步骤K是相同的。

相对于世界坐标系来说，每个棋盘格的姿态在步骤K是不变的。所以在优化框架中的误差函数e可以表示为：

上式中，e_cam是可以在图像数据上计算出来的误差，σ_cam是归一化因子。u_nk是指标函数：在步骤k时，如果摄像头C_n看到棋盘B，其值为1，否则就等于0。

误差函数e_cam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点。角点的重投影误差可以计算为：

其中repr_C()是二维平面上的点重投影到三维空间的投影函数。

该优化步骤在校准期间以恒定的时间间隔重复执行，并将其结果实时的更新到可视化的进程中。

当所有相机校准完毕后，将校准结果保存。此时，生成包含相机之间的相对转换关系。第一次转换是将地面参照系(世界)与第一台校准相机连接起来。

地平面方程和世界参考框架是通过将所有相机校准后在地面上放置棋盘来决定的。由于棋盘远离每台相机，估计的地平面可能会出现不可忽视的旋转。为了减轻这种旋转，我们可以将棋盘放在地面上不同的位置，然后通过向算法中添加新的几何约束来让所有检测到的棋盘都位于同一平面上。

固定棋盘可以移动的平面п，则棋盘姿态可以通过相对于平面п的参考帧(即)的2D变换来定义。这个变换包括一个平移矩阵(t_x,t_y)和一个2D旋转θ。

因此，让我们通过其参考框架来定义平面，使得xy平面在定义的平面上，z轴是定义平面的法线。第K步棋盘的姿态可以表示成：

2D变换通过乘以一个矩阵转换成3D变换。

其中，

最后可以通过将(10)代入(8)来优化棋盘和平面的姿态。

S3、利用行人检测进行外参标定的校准。

在跟踪范围内，每个相机的FOV与另一个相机的FOV重叠，人的整个身体是在跟踪框架内的，头和脚也必须在视野内。每个相机的FOV尽可能与地平面齐平。

在进行校准细化时，只有一个人在空间中，且不能沿相同的方向走同一条路径，如果发生上述情况，将会影响校准的精度。利用来自所有相机的人的检测轨迹并进行对齐，来改进相机外参标定校准的结果。

人的行动轨迹用D_i来表示，并将来自不同相机的轨迹表示成不同的颜色，每一个轨迹点都有一个不同的时间标签，行人轨迹和外参标定结果在同一参考框架下。

之后根据具有同一时间标签的不同的行人轨迹点理应重合，因为只有一个人出现在相机的视野中。利用这个约束，实现外参的标定校准流程。

具体程序段截取如下：

世界坐标在地板上，Z是地平面的法线，WarpInTime是一种扭曲检测轨迹的方法，为了用Z轴代替时间轴。作为用于对齐所有检测云的参考云，AverageCloud是用来计算在X-Y时间空间不同轨迹的平均值。对齐用的是ICPTOAveCloud中的迭代最近点(ICP)算法，对齐迭代重复Niter次，同时减少相应点之间允许的最大距离，以便更精细地进行配准。变换方法将估计的变换应用与检测云，而ProjectToGround方法计算在这种情况下，给定平面上的点云投影，即地平面。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种3D相机群的外参标定方法，其特征在于，包括以下步骤：

S1、3D相机群内参的标定；

S2、相机对的外参标定；

S3、利用行人检测校准相机群外参。

2.根据权利要求书1所述的3D相机群的外参标定方法，其特征在于，S1、3D相机群内参的标定：包括如下步骤：

标定相机的内参数矩阵，内参数矩阵的参数主要包括：相机焦距、光学中心和镜头畸变系数；

准备标定图片，打印一张棋盘格，并将其贴在平板上，确保板面是平坦的，不然会影响后续的校准；

对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片，并从每幅图像中取至少十个特征点来进行相机的标定。

3.根据权利要求书1所述的3D相机群的外参标定方法，其特征在于，

S2、相机对的外参标定，包括如下步骤：

与内参标定不同，外参标定一次涉及所有的相机，首先是让标定板在相机视野内以一定速度移动，利用深度相机获取标定图像，之后对相机和标定板的姿态进行全局优化；

将相机摆放在标定板的周围，相邻的两台相机构成一个相机对；

由于标定板不能同时被多台相机完整的拍摄到，假定同一时刻标定板只能被相邻的2个相机的视野同时完整的覆盖；

当相机和PC机被设置好，在相机视野内移动标定板，并拍摄多幅图像；

根据两台摄像头获取的图像，实时的估计两相机之间的相对位姿，并画出其参考坐标轴；

每一次标定板进入新的相机视野时，同时另一台相机已经被校正过，新相机的姿态会被估计并且添加到可视化的进程中；

待到所有的相机已经全部被标定过，将标定板放到地平面上，通过此操作，来标定地平面与各相机之间的位置关系；

相机的姿势和棋盘在世界坐标系下的位置一起进行了优化，随着时间的推移相机会收集更多的帧，为参数的优化添加了更多的限制；

假设B是棋盘格，是棋盘格上设置的角点，C＝{C₁，C₂﹒﹒﹒C_N}是相机群组；

根据以上标记，假设已经执行了k步获取步骤，我们很容易列举在获取的数据上加的限制；

相机群的姿态表示成相对于世界坐标系来说，每个相机的第k步是相同的；

在世界坐标系统下第k步棋盘格的位姿表示成必须保持不变；因此误差函数e可表示成：

上述公式中，e_cam是可以根据图像数据计算出来的误差，σ_cam是归一化因子，u_nk是指标函数：在步骤k时，如果摄像头C_n看到棋盘B，其值为1，否则就等于0；

误差函数e_cam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点，角点的重投影误差可以计算为：

其中repr_C()是二维平面上的点重投影到三维空间的投影函数；

在校准期间以恒定的时间间隔重复优化上述步骤，并且实时的更新其优化结果。

4.根据权利要求书1或2所述的3D相机群的外参标定方法，其特征在于，S1、3D相机群内参的标定，包括如下步骤：

S1.1将相机接通电源并通过USB接口连接到电脑上；

制作标定板：打印棋盘格，并将棋盘格贴在平板上，保证棋盘格表面足够的平坦，并将标定板放在相机视野中，打开相机，开始拍摄棋盘格图像进行相机标定；

S1.2对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片；

S1.3检测拍摄到的图像的特征点，本发明将Harris角点作为图像特征点，角点是梯度变化为极大值的点；

S1.4匹配图像特征点，通过检测得到的Harris角点，可以得到一个N×N的焦点网格，对角点按顺序进行编号；

如果图像中检测到的角点数量与棋盘格设定的焦点数量不一样，则需要对图像进行进一步的滤波处理后返回S1.3重新检测角点；

S1.5畸变矫正，畸变校正的过程是就是通过加入一个畸变因子，从而建立理想针孔模型成像像素坐标(u，v)与实际像素坐标(x，y)之间的关系：

其中δ_x(x,y)，δ_y(x,y)是径向畸变和切向畸变的线性畸变值，它与像素点在图像中的位置有关：

其中，k₁、k₂是描述需要标定的两个径向畸变系数，p₁，p₂为需要标定的两个切向畸变系数，他们描述了畸变矩阵D，D＝[k₁,k₂,p₁,p₂]；

S1.6利用理想针孔投影模型建立图像坐标之间的关系，从而标定出相机的内部参数，将标定板所在的平面当作z＝0的世界坐标系，所以标定板上的角点的世界坐标X_i＝[x_i,y_i,0]^T，所以相机理想针孔投影模型为：

其中r₁,r₂,r₃分别为旋转矩阵R的三个列向量，S是一个比例系数，通过上述方程计算得到：[x_n,y_n,0]^T为点P在世界坐标系下的坐标；R和t分别为世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量；K为相机内部参数矩阵；(u₀,v₀)为图像平面的主点坐标；α，β分别为图像在u轴和v轴的焦距参数；γ为图像扭曲参数，表示图像两坐标的轴偏斜度；

令m＝[u v 1]，M＝[x_n y_n 1]^T，H＝[h₁ h₂ h₃]＝K[r₁ r₂ 0],那么，上式可以表示为：sm＝HM；矩阵H为单应矩阵，表示两个平面之间的对应关系，根据旋转列向量r1,r2的单位正交性，得到如下约束方程：

每次拍摄的图像代入上式，即可求解出单应矩阵H，矩阵K以及畸变矩阵D。

5.根据权利要求书4所述的3D相机群的外参标定方法，其特征在于，S1.2中还包括如下步骤：

S1.2.1拍摄时，两幅标定板的位置不要平行放置且图像平面与标定板平面之间的夹角应不小于15°。

6.根据权利要求书4所述的3D相机群的外参标定方法，其特征在于，S1.2.2标定时拍摄的图片不少于5幅。

7.根据权利要求书4所述的3D相机群的外参标定方法，其特征在于，S1.3中Harris角点的详细检测过程如下：

S1.3.1利用水平、竖直差分算子对图像每个像素进行滤波以求得I_x、I_y，进而求得像素点n中四个元素的关联矩阵：

其中，

其中，Ix，Iy分别是水平和垂直方向的方向导数；

S1.3.2利用离散二维零均值高斯滤波器对n的四个元素进行平滑，离散二维零均值高斯函数为：

8.根据权利要求书1或2所述的3D相机群的外参标定方法，其特征在于，S2、相机对的外参标定，包括如下步骤：

S2.1将相机群摆放在标定板周围，确保标定板可以同时出现在两台相机的视野中，相邻的两台相机被称为一个相机对，在相机跟踪空间内移动棋盘格，当一对相机看到棋盘格时，会实时的估计两者之间的相对位置，每当新的相机出现，它将会与已经校准过的相机同时看到图像，估计新的相机姿态并将其加到可视化的进程中；

S2.2在所有相机被校准完后，将标定板放在地面上，通过这个操作，来校准地平面相对于每个相机的位置；

S2.3由于棋盘格能够同时被两相机看到，随着时间的推移可以收集更多的帧，可以添加到该优化当中；

令B是参考帧下的标定板，是标定板上的角点，为一组相机；

根据上述叙述，假设我们已经执行到第K步，我们很容易的列举获取数据所施加的限制，每个相机(^wC_n，n＝1…N)相对于世界坐标系W的姿态在每个步骤K是相同的，相对于世界坐标系来说，每个棋盘格的姿态在步骤K是不变的，所以在优化框架中的误差函数e可以表示为：

上式中，e_cam是可以在图像数据上计算出来的误差，σ_cam是归一化因子，u_nk是指标函数：在步骤k时，如果摄像头C_n看到棋盘B，其值为1，否则就等于0；

误差函数e_cam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点，角点的重投影误差可以计算为：

其中repr_C()是二维平面上的点重投影到三维空间的投影函数；

该优化步骤在校准期间以恒定的时间间隔重复执行，并将其结果实时的更新到可视化的进程中；

S2.4当所有相机校准完毕后，将校准结果保存，此时，生成包含相机之间的相对转换关系；

第一次转换是将地面参照系与第一台校准相机连接起来，地平面方程和世界坐标系是通过将所有相机校准后在地面上放置棋盘来决定的。

9.根据权利要求书8所述的3D相机群的外参标定方法，其特征在于，将棋盘放在地面上不同的位置，然后通过向算法中添加新的几何约束来让所有检测到的棋盘都位于同一平面上，其具体步骤如下：

固定棋盘可以移动的平面п，则棋盘姿态可以通过相对于平面п参考系的2D变换来定义，这个变换包括一个平移矩阵(t_x,t_y)和一个2D旋转θ；

通过其参考框架来定义平面，使得xy平面在定义的平面上，z轴是定义平面的法线，第K步棋盘的姿态可以表示成：

2D变换通过乘以一个矩阵转换成3D变换；

其中，

最后可以通过将公式(10)代入公式(8)来优化棋盘和平面的姿态。

10.根据权利要求书1所述的3D相机群的外参标定方法，其特征在于，S3、利用行人检测校准相机群外参，包括如下步骤：

S3.1假设只有一个人在相机跟踪空间内行走，利用来自所有相机的人的检测轨迹并进行对齐，来改进相机外参标定校准的结果；

人的行动轨迹用D_i来表示，并将来自不同相机的轨迹表示成不同的颜色，每一个轨迹点都有一个不同的时间标签，行人轨迹和外参标定结果在同一参考框架下；

S3.2根据具有同一时间标签的不同的行人轨迹点理应重合，因为只有一个人出现在相机的视野中，利用这个约束，实现外参的标定校准流程。