CN102364299A - 一种多个结构光投影三维型面测量头的标定技术 - Google Patents

Abstract

一种多个结构光投影三维型面测量头的标定技术发明公开了一种对多个不同方位的结构光投影三维型面测量头进行标定的技术，可用于结构光投影的物体型面的快速无标贴测量，属于光学测量技术领域。该发明只需设计具有多个标定图案的平面的标定物，无需制作成高精度的各面几何关系已知的立体靶标，通过近景摄影测量技术可求得标定物各平面之间的几何参数，将其升级为了立体靶标，减少了直接加工和维护高精度立体靶标的难度。利用该技术能使多个结构光投影三维型面测量头实现从不同视角的免标贴测量，自动实现不同方位扫描得到的点云统一到一个坐标系下，不仅有效的避免了拼接带来的误差累积，而且能缩短对物体全貌三维重建的时间。

Description

一种多个结构光投影三维型面测量头的标定技术

技术领域

本发明涉及一种物体型面光学测量系统的标定方法，一种多个基于结构光与双目视觉的测量头的标定方法,可用于结构光投影的物体型面的快速无标贴测量，属于光学测量技术领域。 

背景技术

本专利的结构光投影三维型面测量头的系统硬件包括视觉传感器，三角架，PC机以及数据线等。其中视觉传感器由两个摄像机，一个数字投影仪构成，两摄像机以一定的角度被固定在水平支架上，投影仪放置于两个摄像机之间。2个CCD摄像机构成双目立体视觉系统，投影仪投射编码结构光，其目的是为了在被测物表而增加特征信息，以便于匹配。整个视觉传感器架在可以伸缩的三角架上。测量头的三维测量原理是是基于双目视觉的三角测量原理，摄像机的光学模型均采用针孔模型，单测量头的摄像机的内外参数及多测量头之间的几何参数都需要标定。如何实现这些参数的精确标定，以满足三维测量的基本要求，对于保证三维测量的精度和可靠性具有至关重要的意义。 

目前，单个结构光投影三维型面测量头的标定技术在三维重建中广泛得到应用，其主要涉及到相机标定方法基本上都是平面标定和标定块标定的方法。由于结构光投影三维型面测量头的测量范围由镜头景深，CCD面阵大小，靶标的尺寸标定范围，以及每次投射结构光的范围和被测物体几何形状等因素的限制，当测量大尺寸物体时，几乎无法只通过一次扫描就得出完整的被测物体三维形貌。为了得到物体的全貌三维信息，在测量过程中围绕被测对象把测量头定位在不同方位，以获取被测对象各子区域曲面片的三维信息，然后将不同视角下得到的局部点云数据进行配准和拼接，消除其间的大量冗余数据，得到被测对象的完整三维形貌信息。这通常都需要借助于在测量区域布局人工标帖，通过提取各个视图中的公共标记点实现多视测量数据坐标系的统一，而拼接是在标记点提取、标定、匹配、重建的基础上进行的，势必会引入标记点提取、标定、匹配等误差累积，同时，多次拼接的坐标系转换也会引入误差累积。因此，拼接后的误差远远大于单次测量精度，利用拼接实现物体整体的重建很难保证高精度的重建效果，同时多次拼接降低测量的快速性，尤其对于大型物体面型的测量。 

为了消除重建后拼接的累积误差，同时也为了加快测量速度，可用两个或多个测量头对被测物体从不同位置同时进行测量，这时便需要对多个测量头之间的几何参数进行标定，即对多个测量头上的各个摄像机之间的几何参数进行标定。目前传统的多个测量头的标定都是采用加工精度很高的立体靶标进行标定，立体靶标的大小需要与测量视场基本相当。对于大型被测物，体积大的高精度立体靶标存在加工难度大、费用高的缺点，所以多个结构光投影三维型面测量头的测量技术未能在生产实际中广泛应用。 

为解决这种大型物体测量问题，C. Reich提出的集成近景摄影测量与编码结构光测量技术的曲面三维测量方法，该方法采用近景摄影获得工件表面的全局标志点构建大型物体型面的骨架点模型，采用编码结构光测量技术得到点云坐标，然后采用结构光投影三维型面测量头从不同视角对物体面型依次进行局部密集扫描，再对扫描获得的大型物面的局部点云进行基于骨架点模型的自动拼接，形成完整的工件模型。该方法能解决多视点云相邻拼接无法解决的误差累积问题，测量精度较高，而且测量方便经济，能获得大型复杂面型的完整的三维稠密点云。基于该种技术的商用系统已在国内外出现，如德国GOM公司的TRTOP摄影测量系统和ATOS光栅扫描系统，以及国内的张德海、刘建伟等也实现了集成近景摄影测量与编码结构光测量技术的大尺寸工业视觉测量系统。该方法成为大型复杂面型测量的主要三维光学测量方法。但是该方法的主要缺点是测量头多次扫描大型物体型面的测量速度很慢，同时该方法仍然需要在被测物体表面粘帖人工标记，故其实际应用中存有很大的限制。 

目前，国内外有很多针对多摄像机的标定算法，但对摄像机位置的摆放都有一定要求。多数情况下，这些多摄像机之间都需要看到多个公共区域的特征点才能完成标定。而本发明要求多个测量头遍布视场四周，分别测量物体的不同部分，因此摄像机所能看见的公共区域很少，常用的多摄像机标定算法中的标定物无法满足本发明中多个结构光投影三维型面测量头的标定要求。 

发明内容

为了克服现有技术的不足和缺陷，本发明提出了一种多个结构光投影三维型面测量头的标定技术，也将近景摄影测量与编码结构光测量技术进行了集成，与C. Reich提出方法不同的是：本发明中近景摄影测量技术不是用于测量区域的标记点重构，而是用于将未知几何关系的标定物转化为立体靶标，用于对多个测量头的标定。多个测量头经过标定，就可以直接将多个测量头从不同测量视角测得的三维点云统一到一个坐标系下，这样无需拼接便能实现对物体整体的三维重建。该发明不仅缩短了对物体三维重建的时间，而且不用在被测物体上粘贴任何标记点，因此可满足更多的工业需求。此外，该发明可以实现拼接难以完成的测量，如曲率较大的物体内外侧及薄壁工件的整体重建等。 

由于多个结构光投影三维型面测量头的标定技术需要设计一种适应于该多测量头标定的立体靶标，但制作一个精确的立体靶标的成本比较高，适用性不强。因此，如何设计一套有效实用的集多个结构光投影三维型面测量头为一体的测量系统，及如何设计制作简便、经济适用的标定物是本发明的核心内容。 

本发明公开了一种利用自制的多平面标定物对多个结构光投影三维型面测量头进行外部几何参数标定的算法，可实现把均匀摆放在被测物体周围的多个测量头所扫描的点云统一到一个坐标系下，完成对物体整体的快速三维重建。 

首先，本发明以张正友的平板标定算法为基础，设计了具有多个平面的标定物。该标定物不需要直接加工为一个高精度的立体靶标，设计时只需保证各个平面的平整度，减少了靶标制作的难度和费用。本发明中，所设计的标定物需要至少具有与待标定的测量头的个数相当的平面数，每个测量头由与其正对的标定物相应的平面来标定。具体标定步骤如下。 

（1）将标定物转化为立体靶标。标定物加工后，标定物各面之间的几何参数关系未知。在标定物各个平面上粘贴各个标记点关系已知的标定图案，通过近景拍照摄影测量算法计算各个平面坐标系之间的几何参数（可以用旋转平移矩阵表示），将其升级为立体靶标。 

（2）标定单个测量头。对于单个测量头来说，要进行三维重建，首先需要对左右相机进行标定。可采用张正友平板标定算法，在多测量头标定前，把标定物放入场景中，使每个靶标平面正对一个测量头进行双目视觉的平板标定。 

（3）多测量头标定。进行多测量头标定的目的是求得每个测量头坐标系之间的几何参数。测量头坐标系可以建立在测量头的左摄像机或者右摄像机坐标系上。通过将第一步中已经求得各平面旋转平移关系的立体靶标放入场景中进行标定，以实现各测量头坐标系的统一。 

（4）多视测量三维点云的融合。将各测量头从不同视角测得的三维点云通过多测量头标定求得的几何参数统一转换到一个坐标系下后，便达到了多测量头对物体实现整体重建的目的。 

本发明利用多个结构光投影三维型面测量头在物体周围的不同位置对物体进行同时测量，通过自制设计的标定物实现对多个测量头上各个摄像机坐标系的统一，无需拼接便能实现对物体的整体三维重建，避免了多次拼接带来的误差累积，提高了测量精度,减少了测量时间。同时，亦能实现部分拼接难以完成的测量，如复杂面型物体的整体快速重建。此外，还避免了在物体上粘贴标记点，且能更好的完成物体细节的测量以及单个测量头无法实现的高曲率物体的拼接等。本发明中立体靶标的实现是通过近景拍照摄影测量算法完成，与直接高精度加工的立体靶标相比节约了成本，且加工方便易实现。因此，本发明具有一定的实用价值。 

具体实施方式

标定物和场景的设计

本发明针对不同数量光学测量头的标定，分别设计了多个具有不同标定平面个数的多面体。例如针对两测量头、三测量头及四测量头的标定可以设计成分别至少具有两个平面的平板标定物、三个平面的三角柱体标定物和四个平面的长方体标定物，如图1所示。标定物的大小则依据测量视场的大小而定。

如图1所示的测量场景中均是把测量头均匀分布在立体标定物周围，各光学测量头摆放的方位需与标定物的各个标定平面正对。还可将各标定平面设计成与水平面成一定角度的标定物，以保证朝下倾斜的测量头标定时能正对每个标定平面。另外，标定物的每个面上都粘贴有标志点，标志点可以设计圆心，也可以设计棋盘格，其中每个相邻圆心或棋盘格每个相邻角点的横纵向距离为已知。标定平面上标定图案的设计示例如图2所示。 

标定物设计好之后，需通过近景摄影测量重建算法求解各个面上标志点的三维坐标，进而通过坐标系转换求解标定物上每个平面坐标系之间的旋转平移关系，将其升级为立体靶标。由于近景摄影测量重建能达到很高的精度，如美国GSI公司的V-STARS产品测量精度可以达到0.005mm/m，因此利用该方法实现的的几何参数亦能达到较高的精度，满足立体靶标。算法流程如图3所示。 

根据图3所示的流程图，现将具体的求解步骤归纳如下。 

（1）布置场景：将标定物摆放在视场内，周围摆放一定数量的编码点，十字靶标和放置标杆，由此可知视场中的非编码点即标定物上的标志点，如图2中标定图案的圆心或角点。编码标志点作为相机定向的关键，非编码点主要是用于测量，而已知的标杆长度用于恢复三维重建得到的三维场景结构与真实场景结构的比例系数。 

（2）相机自标定：对手持拍照测量的相机进行自标定，利用分层自标定的方法，对标定物的一个标定平面、编码标记、十字靶标和标杆拍摄至少3幅图片。对图像序列做射影标定，即根据图像对应点得到射影重建，并计算出射影意义下的摄像机投影矩阵。然后进行仿射标定，即在所恢复的射影空间中，确定无穷远平面的位置，把射影空间升级到仿射空间。最后在仿射重建的基础上，进一步通过绝对二次曲线和相机内参数之间具有的约束关系，定出仿射参数(即无穷远平而方程)和摄像机内参数，确定绝对二次曲线(面)像的方程并计算出内参数。最后用LM优化进行优化求精，完成相机内参数和畸变参数的最优估计。 

（3）拍摄图片，畸变矫正。 

1）按照近景摄影测量的要求，围绕标定物拍摄多张标定物和编码点的图片。要求图像与图像之间应该有至少5个编码公共点，同一非编码点至少在3幅图像上成像。 

2）利用畸变参数对图片进行畸变校正，然后提取圆心，区分编码点和非编码点。 

3）根据每个平面周围的编码点信息，把各个平面的非编码点区分开。 

4）根据标定物上标志点的设计图案，对各个平面的非编码点进行排序编码。 

（4）对每幅图片进行相对定向和绝对定向，对标志点进行重建。 

1）利用标定物周围的编码点，对每幅图片进行相对定向和绝对定向。相对定向指的是一个相机坐标系相对于另一个相机坐标系的几何位置关系。而绝对定向指的是所有摄像机坐标系在一个统一的坐标系下的位置和方位信息。绝对定向的统一坐标系建立在拍摄第一张图片时的摄像机坐标系下，简称第一摄像机坐标系，如图4所示。 

2）利用定向结果和编码结果，对标定物上的点进行重建，并通过步骤1）绝对定向得到的旋转平移转换矩阵将标定物上所有标志点的三维坐标转换到第一摄像机坐标系。 

（5）求解标定物各个平面坐标系转换关系。 

1）首先在标定物各个平面上建立坐标系，标定平面坐标系建立的示例如图2所示，

坐标轴设在标定平面的左上角，轴线通过图2中的纵向和横向的圆心或角点。 

2）由于在近景摄影测量重建算法中已算出每个标志点的三维坐标，又由于各个面的标志点之间的距离已知，因此，便可得到每个标志点在各平面坐标系中的三维坐标，因此就可以得到各个平面坐标系相对摄影测量坐标系的转换矩阵，如式（1）所示。 

                                       

为点在某一标定平面坐标系中的坐标，

为点在第一摄像机坐标系中的坐标，通过SVD分解，便能求得各个平面坐标系相对于世界坐标系的转换矩阵

，

中包括旋转矩阵和平移矩阵，如式（2）所示。

                      

假设标定物任意一面为a面，另一面为b面，a面上的坐标系和b面上的坐标系与第一摄像机坐标系之间的转换矩阵分别为

和，则标定物a面相对b面的转换矩阵

如式（3）所示。

                              

得到标定物了上各个平面坐标系之间的转换矩阵之后，标定物便升级为了立体靶标。

多测量头标定步骤

确定了立体靶标各个平面坐标系的转换关系之后，便可对多测量头进行标定，如图5所示，左边为多测量头标定的示意图，右边为算法流程。现把具体步骤归纳如下。

1）根据测量视场的大小按图1所示的关系放置好各个测量头，同时根据待测物体的特征及测量要求调整好测量头的倾斜角度。 

2）首先针对测量头的数目放置相应的立体靶标于视场中，利用立体靶标上各个平面的标定图案对单测量头上的双目视觉系统进行标定。 

①    标定每一个测量头时，用测量头上左右相机同时拍摄n（n≥3）组不同摆放位置的靶标图片。 

②    利用亚像素边界检测及最小二乘拟合的方法实现对圆心的提取或利用HARRIS算法实现对棋盘格角点的提取，排序后得到各个点在图像坐标系中的坐标。 

③    定义各点在相应的标定物平面坐标系上的三维坐标，三维坐标和图像坐标的对应关系如式（4）所示，其中

是图像坐标的齐次坐标形式，

是各点在相应的标定物平面坐标系上的三维坐标的齐次坐标形式，为一任意的非零尺度因子。利用张正友的平板标定算法就可得到各个测量头的摄像机的内参数

及摄像机的外参数。对待测物体进行结构光扫描匹配后，便能实现对各点的三维重建。 

                               

             

3）对单个测量头进行双目标定之后，就可进行多测量头的标定。

①    保持立体靶标的每个面正对一个测量头，调整各标定平面相对测量头的位置，然后利用各测量头的左右相机分别拍摄n（n≥3）组图片，拍摄时需注意，各测量头的拍摄需同步进行，即各测量头拍摄每一组图片时，标定物需相对所有测量头固定不动，待一组拍完之后，适当调整标定物位置，继续拍摄下一组。 

②    对各个测量头摄像机拍摄的图片利用张正友平板标定的方法求解出靶标各平面上坐标系与相应的测量头坐标系之间的旋转平移矩阵。测量头坐标系可定义在测量头的某一个摄像机坐标系下。 

③    假设将其中一个测量头坐标系设为世界坐标系，即所有测量头测得的点云最终将转换到该坐标系下，则需求解其他所有测量头坐标系相对该测量头坐标系的几何参数。可利用立体靶标各个面之间的转换矩阵及上一步求得的各摄像机坐标系相对各靶标平面的转换矩阵作为已知条件来进行坐标转换求解。如图5所示，若定义测量头1上的坐标系为世界坐标系，标定测量头1所对应标定物的一面为

面，又定义测量头2正对标定物

面进行标定，

为面相对面的转换矩阵，

为

面相对测量头1的转换矩阵，

 为

面相对测量头2的转换矩阵，则测量头2相对测量头1的转换矩阵可通过式（5）求得。 

                              

    

4）为了使标定精度更高，可进行多次重复测量，取平均值作为最终的结果。因此，可分别让标定物上不同的面正对不同的测量头，重复步骤2的标定。由此，便可多次 利用标定物上不同面去标定同一个测量头，多次计算出各测量头坐标系相对世界坐标系的旋转平移矩阵，然后对其求取平均值，把平均值作为对多个测量头的标定的最终结果。

一旦对多个测量头标定后，各个测量头的相对位置以及每个测量头上左右相机之间的相对位置都不能再发生改变，可取出标定物，将待测物体放入摆放标定物的位置，让各个测量头分别同时测量物体的局部区域，各个测量头测量的点云保存在各测量头坐标系下。最后利用标定结果，即各测量头坐标系相对世界坐标系的旋转平移矩阵，直接通过坐标变换将各个测量头所测量的点云统一到世界坐标系下，得到物体完整的三维重建结果。 

附图如下 

图1：多测量头标定物及测量场景示意图；

图2：标定物平面上标志点图案示意图；

图3：求解标定物各面转换关系流程图；

图4：利用近景摄影测量重建标定物上各标志点三维坐标； 

图5：多光学测量头标定简图及算法流程。 

Claims (2)

1.本专利是针对多个不同视角的结构光投影三维型面测量头对待测物进行同时测量时所设计的一种多个结构光投影三维型面测量头的标定技术，其特征在于所述方法包括如下步骤： 设计具有多个平面构成的立体标定物，标定物各面之间的几何参数关系未知，利用近景摄影测量技术可以求得各平面的几何参数关系，将标定物升级为一个立体靶标；根据被测物体的特征及测量要求，放入立体靶标，摆放好多个测量头，使立体靶标的多个标定平面正对多个测量头进行标定，根据已经求得的立体靶标各平面的几何参数关系可以求得各测量头坐标系之间的坐标转换关系。

2.利用上述方法完成标定后，保持各测量头相对位置不变，取出标定物，放入待测物体，待测物体及周围无需粘贴人工标贴，每个测量头单独测量物体局部的点云，然后利用立体靶标对多个测量头标定求得的各个测量头坐标系之间的转换关系，直接把各个测量头所测得的点云统一到一个坐标系下，快速实现对物体全貌的三维重建。

Images