CN113012238A - 一种多深度相机快速标定与数据融合的方法 - Google Patents

Abstract

本发明提供一种多深度相机快速标定与数据融合的方法，属于3D视觉技术领域。本发明标定物的结构为：以一个正方体为基础，在所述正方体四个侧面和顶面分别居中布置了一个金字塔结构，所述金字塔结构包含多个平面，每一个面相对平面的夹角大于90度，以保证深度相机均能获得每个面的信息，将面的数据进行拟合，得出面的相交线。每个相机获得的相交线空间坐标与实际标定物匹配，从而实现相机外部参数的空间标定。本发明以一个主相机数据为基准，分组采集数据，以动态匹配拟合，采用匹配公共区域点云消除误差的方法进行数据融合，大大降低因被测物移动而使多相机之间的数据误差，提高了数据融合的精度。

Description

一种多深度相机快速标定与数据融合的方法

技术领域

本发明涉及3D视觉技术领域，尤其涉及一种多深度相机标定与数据融合的方法。

背景技术

深度相机是近年来发展的新型测量成像技术，这类相机在给出视野中彩色图像同时，给出三维点云数据，这些点云数据表示被测场景中的空间信息(x,y,z)，通过这些点云数据，可以得出视野场景中被测物的3D数据。为了获得一个物体全方位的3D数据，通常采用多个相机，从不同角度和方位得到该物体的3D数据，然后将数据融合，获得被测物的三维数据。但每个相机得到的数据都是对应于该相机的空间位置而言，要将这些数据融合一体，就必须知道每个相机的空间位置(空间坐标+方向)，这就是一个多相机的标定问题。常见的深度相机标定，需要采集一个标定物，或具有特征的目标摆放在多个方位的数据，然后进行数据计算，获得相机的坐标参数。虽然标定物可以简单，但操作复杂耗时，应用不便。

在标定好多相机系统后，每个相机所采集的3D数据就可以融合起来，形成被测物多方位的3D数据，形成该物体的3D模型。然而，现在的深度相机中，一大类是采用投射光斑或网格到被测目标上，然后通过成像分析来获得3D数据。因此，具有光斑干扰的相机不能同时开启，需要分时打开，逐个采集数据，这样就在成像过程中每个相机的数据采集都需要一点时间，如几分之一秒；所以多个相机并不能同时完成数据采集。当被测物有运动时，相机采集的数据就会有误差。另外，当标定的相机参数不够准确，或在标定后，相机的位置或方向有变化，也会导致数据融合的误差，也就是多个相机采集的数据不能准确的拼接在一起。一个误差现象就是两个相邻的相机，有被测物同一区域的交叉的数据，在融合后，交叉的数据不能重合。

发明内容

本发明提出一种多深度相机快速标定与数据融合的方法，解决应用中多深度相机的标定问题，和被测物有运动时，相机采集数据不能同步，导致数据融合误差的问题。

本发明提供的技术方案如下：

一种多深度相机快速标定方法，只需要标定物在一个位置的数据采集，实现所有相机的标定，包括如下步骤：

将相机分别正对标定物的四个侧面和顶面，使所述标定物位于多个所述相机确定的中间，每个相机能够对标定物的对应特征面获得数据，在所述标定物静止的情况下，每个所述相机采集数据，对采集的数据进行分析，提取特征面和交线，以此标定出每个相机的空间坐标。

优选的，所述标定物的结构为：以一个方体为基础，在所述方体四个侧面和顶面分别居中布置了一个金字塔结构，所述金字塔结构包含多个面，每一个面相对平面的夹角均大于90度。

优选的，所述多深度相机标定方法，包括如下步骤：

S1：对每个相机采集的点云数据，采用随机一致性抽样(RANSAC)算法提取标定物的每个面的数据集，求出平面参数；

S2：根据平面参数求出各个平面之间之间交线，可以是一条或多条；

S3：根据交线的数据，计算出相机与标定物的坐标对应关系；以一个相机为基准坐标，计算出其他每个相机的相对坐标，表达为一个变换矩阵；

S4：根据获得的坐标变换，将所有相机的数据拟合，获得标定物的三维数据模型，与标定物的实际参数比较，计算数据模型误差及标准差。

S5：从采集的数据中重新选择，获得更新的变换矩阵，再重复S4，进行迭代循环，获得误差达到要求的那一组坐标变换矩阵作为最终的计算结果。

一种多深度相机快速标定与数据融合的方法，其特征在于，以一个主相机(基准相机)数据为基准，分组进行数据采集，采用识别公共区域点云进行动态匹配拟合，迭代消除误差的方法进行。

优选的，所述多深度相机数据融合的方法，采用相机配对采集的方法实现两个相机近似同步(间隔时间很短)的数据采集，然后以目标上的标记，找出一个相机的基准坐标，实现不同相机的数据匹配融合，包括如下步骤：

S1：目标被测物在基准相机面(实现例为顶部相机)标记三个或更多的标记点，该标记点易被相机识别和定位；

S2：每一个相机分别与基准相机配对采集；

S3：处理每对相机的数据，首先从基准相机数据中识别标记点，利用聚类算法计算中心坐标，建立每对数据的坐标系；

S4：将每对相机的数据进行坐标变换，修正因为目标可能有位移导致的误差，

进行数据匹配融合。

通过采用以上技术方案，达到如下技术效果：

本发明以一个具有金字塔特征面的标定物，实现多深度相机的一次性快速标定，具有简单易用的优点；采用一个主相机的数据为基准，对其他相机数据融合时采用匹配拟合的方法，提高标定的精度。在实际成像时，采用相机分组的方法，解决深度相机相互干扰，不能同步采集的问题，并以特征点的提取法，获得每对相机数据的坐标系，然后进行多相机的坐标换算和匹配，有效的解决多相机数据采集不同步，而被测目标有运动导致的数据融合问题，降低匹配误差，提高融合精度。

附图说明

图1是本发明检测过程结构示意图；

图2是图像形成过程示意图；

图3是标定物及标定原理示意图；

图4是交点坐标示意图；

图5是被测物测量时标记方法示意图；

图6是融合后的3D图像示意图。

具体实施方式

一种多深度相机快速标定与数据融合的方法，其特征在于，以一个特制的标定物，只需在一个位置采集数据即完成标定；以一个主相机数据为基准，分组进行数据采集，对其他相机数据融合时进行动态匹配拟合。

一种多深度相机快速标定方法，包括如下步骤：

将相机分别正对标定物的四个侧面和顶面，使所述标定物位于多个所述相机确定的视野范围内，在所述标定物静止的情况下，多个所述相机轮流采集数据，连续采集多轮后，停止采集，完成标定。

优选的，所述标定物的结构为：以一个正方体为基础，在所述正方体四个侧面和顶面分别居中布置了一个金字塔结构，所述金字塔结构的四个面完全相同，每一个面相对平面的夹角均大于90度，如106°。

优选的，所述多深度相机标定方法，包括如下步骤：

S1：采用随机一致性抽样算法提取标定物正对相机的每一个面的点云，求出平面参数；

S2：根据平面参数求出各个平面之间彼此的交点坐标；

S3：求出相机坐标系、标定物在各个相机中的局部坐标系的变换关系，此关系为一个齐次坐标变换矩阵，并求出逆矩阵；

S4：根据获得的坐标变换，将所有相机的数据拟合，获得标定物的三维数据模型，与标定物的实际参数比较，计算数据模型误差及标准差；

S5：从采集的数据中重新选择，获得更新的变换矩阵，，重复步骤S4，进行迭代循环，选择误差达到要求的那一组位置变化关系作为最终的计算结果。

一种多深度相机数据融合的方法，其特征在于，采用匹配公共区域点云，迭代消除误差的方法进行。

优选的，所述多深度相机数据融合的方法，包括如下步骤：

S1：目标被测物顶部标记三个或更多的标记点，该标记点易被相机识别和定位；

S2：每一个侧面相机分别与顶部相机配对采集；

S3：处理每对相机的数据，首先从顶部相机数据中识别标记点，利用聚类算法计算中心坐标，建立每对数据的坐标系；

S4：将每对相机的数据进行坐标变换，修正因为目标可能有位移导致的误差，

进行数据匹配融合。

下面通过的实施例与本发明的技术方案进一步说明。

如图1所示，为了提高数据融合的精度，本发明以一个主相机即顶部相机camera4的数据为基准，对其他相机数据融合时就行动态匹配拟合的方法，能大大降低多相机之间的数据误差，提高融合精度。图2中A为camera1采集的图像，B为camera2采集的图像，C为camera1和camera2采集信息融合后的图像，D为多相机融合后得到的模型。

实施例1快速标定

标定物及其位置如图3所示，标定物在一个正方体的基础上，五个面分别居中布置了一个金字塔形状的形状，金字塔的四个面完全相同，每一个面相对平面夹角为106度。

标定时，首先将标定物放置于5个相机(camera0、camera1、camera2、camera3、camera4)所确定的中间，标定物的每个面正对相机，在标定物静止的情况下，5个相机轮流采集数据，每一轮每个相机轮流采集一次，重复多轮，再进行标定计算，完成标定。

原理说明如下：

a)系统自身确定一个缺损的局部坐标系，如下所示：局部坐标系的y轴正向指向camera0(相机0)，z轴正向指向camera5(相机5)，x轴正向指向camera1(相机1)，camera2(相机2)和camera3(相机3)分别正对正立方体的其他两个面，各个轴的方向向量通过将金字塔四个面的方向向量相加得到，原点处于标定块正方体中心(如图3所示)。

b)单个相机处理一副点云时，首先采用随机一致性抽样算法(RANSAC)提取出正对相机的标定块的有效点云，去除环境干扰，如图3所示；再提取出分别属于不同平面的点云，并求出平面参数(A_i,B_i,C_i,D_i)，为一个矢量，i代表不同的面，i＝0、1、2、3、4，一共5组，金字塔的4个面，和基准面；

c)根据求出的5组平面参数，求出各个平面之间彼此的交线坐标，可以通过计算多个面相交的特征点来确定，如图4所示。

特征交点坐标包括：

1)金字塔四个斜面相交所确定的顶点p₀(中间点)，求解如下超定方程组即可计算出：

A₁*x+B₁*y+C₁*z+D₁＝0

A₂*x+B₂*y+C₂*z+D₂＝0

A₃*x+B₃*y+C₃*z+D₃＝0

A₄*x+B₄*y+C₄*z+D₄＝0

2)金字塔四个斜面与基准面交叉的四个交点p₁、p₂、p₃、p₄，通过解如下四个方程组即可得到：

A₀*x+B₀*y+C₀*z+D₀＝0

A₁*x+B₁*y+C₁*z+D₁＝0

A₃*x+B₃*y+C₃*z+D₃＝0

A₀*x+B₀*y+C₀*z+D₀＝0

A₁*x+B₁*y+C₁*z+D₁＝0

A₄*x+B₄*y+C₄*z+D₄＝0

A₀*x+B₀*y+C₀*z+D₀＝0

A₂*x+B₂*y+C₂*z+D₂＝0

A₄*x+B₄*y+C₄*z+D₄＝0

A₀*x+B₀*y+C₀*z+D₀＝0

A₂*x+B₂*y+C₂*z+D₂＝0

A₃*x+B₃*y+C₃*z+D₃＝0

f)金字塔的方向向量可以通过将其四组斜面的方向向量相加再归一化，取得方向向量V；如果为相机0，则此时的局部坐标系y轴方向向量为Vy；

再取四个平面中方向向量x分量最小的两个平面方向向量v1、v2(x分量从大到小排列)，求取x轴方向向量：Vx＝v1 x v2；

再求取z轴方向向量：Vz＝Vx x Vy；

P₀点沿着方向向量V移动一定距离(正方体相对面的金字塔尖的距离d，预先设定)，即可得到局部坐标系的原点:p₀+0.5*v*d

g)针对其他四个相机采取和步骤e中类似的方法，分别得到标定块在各个相机中的局部坐标系参数；

h)针对各个相机分别求出相机坐标系和标定块局部坐标系的变换关系，此关系为一个齐次坐标变换矩阵，并求出逆矩阵；

i)求出各个相机到标定块的变换关系后，即可求出相机0和其他四个相机的相对位置关系，以相机1为例：相机1到标定块的位置关系为齐次坐标变换矩阵M_1c，标定块到相机0的位置关系为齐次坐标变换矩阵M_c0，则相机1到相机0的位置关系为：M₁₀＝M_1c*M_c0。

j)求出相机0和其他四个相机的位置关系后，将步骤c中求出的5个交点坐标(分别在1-4的相机坐标系内)，变换得到在相机0下的坐标，并计算变换得到的点到面向相机0的面的点(步骤c得到)的距离，再比较与模型实际距离，得到误差e。

k)5个相机分别从采集的数据里选出一组数据，重复b)～j)步骤，比较交点与模型实际距离，得到误差，最后选出误差达到要求的那一组的位置关系作为最终结果。

实施例2动态匹配-融合

针对被测物体在测量时无法完全静止，而扫描仪各个相机采集数据时，有相互干扰的相机不能同时启用，需要分时进行，导致各个相机采集到的数据并不是目标在固定一个位置的同步数据。即便在标定完全准确的情况下，都会导致数据融合误差，针对这一问题，本发明提出一种综合相机的RBG彩色图像和深度数据的匹配方法，降低多相机点云融合误差的方法。

原理说明：

a)在这个应用例中，以顶部相机4为基准相机，也可以选择其他四个相机作为基准相机。

b)在被测目标顶部面对相机4的一面贴三个红色标记圆点，这些圆点容易被相机4采集的RGB图像识别，如图5所示。

c)将相机4与其他相机逐个进行配对工作，如相机0，测量目标时，相机0和相机4同步工作，此时相机4采集的点云记为cloud40，相机0采集的点云记为cloud0；两个相机的数据采集时差尽量小(如5ms以内)，这样使两个相机的数据为目标在同一位置。接着相机1和相机4、相机2和相机4、相机3和相机4同步工作，完成数据采集，此时采集的点云记为cloud41和cloud1、cloud42和cloud2、cloud43和cloud3；此时一轮数据完成采集。

d)对每组采集到的数据，对相机4的数据进行处理，对于单幅点云，如cloud40，首先根据颜色信息，提取带有红色信息的点，再利用聚类算法，计算出每组点的中心坐标。

e)这三个点组成一个三角形的面，并以此形成一个坐标系；第一个点p0作为坐标原点o，即o＝p；p0到p1的方向向量v1作为x轴方向向量Vx，计算公式为：Vx＝p1-p0；p0到p2的方向向量v2与v1叉乘即可得到y轴方向向量Vy，计算公式为：Vy＝v1 x v2；Vx和Vy叉乘即可得到z轴方向向量Vz，计算公式为：Vz＝Vx x Vy；至此完成一幅点云的坐标系建立；

h)点云数据匹配。在得到每组数据中基准相机4的坐标系后，将相机0，1，2，3的数据进行匹配。例如，以cloud40为基准，计算cloud41坐标系变换到cloud40坐标系的齐次变换矩阵M₁，并将cloud41按照齐次变换矩阵M₁₀进行变换，得到cloud41tmp，再利用迭代最近邻算法(ICP算法)对cloud41tmp和cloud40进行匹配，得到齐次变换矩阵M₂，将两次计算出的矩阵相乘可以得到最终齐次变换矩阵M₁₀’＝M₂*M₁；

i)对cloud42、cloud43重复步骤h，得到齐次变换矩阵M₂₀’、M₃₀’；

j)修正点云。在进行点云匹配时，以cloud0为基准，并对相机1-4采集的数据(其中相机4使用数据cloud40)，根据已经标定出的相机位置关系相机1到相机0的位置变换矩阵为M₁₀，相机2到相机0的位置变换矩阵为M₂₀，相机3到相机0的位置变换矩阵为M₃₀，相机4到相机0的位置变换关系为M₄₀，进行刚体变换；再将刚体变换后的cloud1、cloud2、cloud3，再乘以M₁₀、M₂₀、M₃₀，完成修正，具体计算过程如下式：

对于cloud1中的每个点p_i进行如下变换：

p_i＝M₁₀*M₁₀’*p_i

对于cloud2中的每个点p_i进行如下变换：

p_i＝M₂₀*M₂₀’*p_i

对于cloud3中的每个点p_i进行如下变换：

p_i＝M₃₀*M₃₀’*p_i

再将变换后的cloud1、cloud2、cloud3和cloud0合并到一起即可，如图6所示。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种多深度相机快速标定与数据融合的方法，其特征在于，以一个主相机数据为基准，分组采集数据，以动态匹配拟合方法实现多相机的数据融合。

2.根据权利要求1所述的多深度相机快速标定方法，其特征在于，只需标定物在一个位置的数据采集，实现所有相机的标定，包括如下步骤：

使所述标定物位于每个所述相机的视野范围内，每个相机能够对标定物的对应特征面获得数据，在所述标定物静止的情况下，每个所述相机采集数据，对采集的数据进行分析，提取特征面和交线交点，以此标定出每个相机的空间坐标。

3.根据权利要求2所述的多深度相机快速标定方法，其特征在于，所述标定物的结构为：以一个方体为基础，在所述方体四个侧面和顶面分别居中布置了一个金字塔结构，所述金字塔结构包含多个面，每一个面相对平面的夹角均大于90度。

4.根据权利要求2所述的多深度相机快速标定方法，其特征在于，包括如下步骤：

S1：对每个相机采集的点云数据，采用随机一致性抽样算法提取标定物的每个面的数据集，求出平面参数；

S2：根据平面参数，求出相邻平面之间交线和交点，可以是一条或多条；

S3：根据交线的数据，计算出相机与标定物的坐标对应关系；以一个相机为基准坐标，计算出其他每个相机的相对坐标，表达为一个变换矩阵；

S4：根据获得的坐标变换，将所有相机的数据拟合，获得标定物的三维数据模型，与标定物的实际参数比较，计算数据模型误差及标准差；

S5：从采集的数据中重新选择，获得更新的变换矩阵，再重复S4，进行迭代循环，获得误差达到要求的那一组坐标变换矩阵作为最终的计算结果。

5.根据权利要求2所述的多深度相机数据融合的方法，其特征在于，采用匹配公共区域点云，迭代消除误差的方法进行。

6.根据权利要求5所述的多深度相机数据融合的方法，其特征在于，采用相机配对采集的方法实现两个相机近似同步的数据采集，然后以目标上的标记，找出一个相机的基准坐标，实现不同相机的数据匹配融合，具体包括如下步骤：

S1：目标被测物顶部标记三个或更多的标记点，该标记点易被相机识别和定位；

S2：每一个侧面相机分别与基准相机配对采集；

S3：处理每对相机的数据，首先从基准相机数据中识别标记点，利用聚类算法计算中心坐标，建立每对数据的坐标系；

S4：将每对相机的数据进行坐标变换，修正因为目标可能有位移导致的误差，进行数据匹配融合。

Images