CN106584090B - 基于结构光三维测量系统的工件装配方法 - Google Patents

Abstract

本发明提供一种基于结构光三维测量系统的工件装配方法，在根据本发明的基于结构光三维测量系统的工件装配方法中，待装配工件上的连接孔的分布点云P1为连接件在待装配工件上的理论装配位置，锪窝的分布点云P3为连接件在待装配工件上的实际装配位置，根据连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H将连接孔的位置与锪窝的位置对应，即是将理论装配位置和实际装配位置对应，从而将待装配工件上的理论装配位置的连接件类型投影到实际装配位置上，提高了连接件装配到待装配工件上的连接孔的装配效率并减少发生错误的可能性。

Description

基于结构光三维测量系统的工件装配方法

技术领域

本发明涉及结构光三维测量系统，尤其涉及一种基于结构光三维测量系统的工件装配方法。

背景技术

目前大型复杂结构的组装仍旧主要依赖工人查阅设计图纸与装配手册进行安装。因此工人们在装配过程中，需要反复查看装配手册，寻找待装配工件上的每个连接孔对应的连接件型号，因此导致现有的装配过程十分繁琐枯燥，时间成本高。而且在工人查阅手册过程中，可能发生错误，将错误的连接件装配在连接孔里，造成待装配工件不可恢复的损伤，使得装配质量下降。

为解决装配过程中工人反复查阅设计图纸导致的装配过程繁琐、耗时长、易发生错误的问题，需要提出一种可以直接将连接件型号投影到待装配工件上的所需装配的位置的工件装配方法。

发明内容

鉴于现有技术存在的缺陷，本发明的目的在于提供一种基于结构光三维测量系统的工件装配方法，该方法能提高装配效率并减少发生错误的可能性。

为了实现上述目的，本发明提供了一种基于结构光三维测量系统的工件装配方法，包括步骤：

S1：搭建包括相机、投影仪、支架以及计算机的结构光三维测量系统，相机与投影仪均固定于支架上，使得相机与投影仪的相对位置固定；

S2：利用计算机导入待装配工件的三维模型，根据待装配工件的三维模型得到待装配工件上的所有连接孔的连接孔信息，待装配工件上共有N_h个连接孔，将各连接孔的连接孔信息转化为各连接孔的分布点云P1，其中各连接孔的连接孔信息包括各连接孔的三维坐标和各连接孔对应的连接件型号，则各连接孔的分布点云P1包括各连接孔的三维坐标和各连接孔对应的连接件型号；

S3：利用结构光三维测量系统基于N_P步相移法测量原理得到与步骤S2中的待装配工件上的连接孔对应的在结构光三维测量系统中的所有锪窝的三维点云P2，其中所有锪窝的三维点云P2包括所有锪窝的三维坐标，共有N_g个锪窝，其中，N_g≤N_h；

S4：根据步骤S3中得到的待装配工件上的所有锪窝的三维点云P2，利用点云聚类提取算法，对所有锪窝的三维点云P2，将属于同一锪窝的点归为一组，并计算各锪窝的点云的重心坐标，从而得到待装配工件上的N_g个锪窝的分布点云P3，N_g个锪窝的分布点云P3包括N_g个锪窝的重心坐标；

S5：对待装配工件上的各连接孔的分布点云P1，配准对应位置的锪窝的分布点云P3，获得N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H；

S6：根据步骤S2中得到的N_h个连接孔的分布点云P1、步骤S4中得到的N_g个锪窝的分布点云P3以及步骤S5中得到的N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，得到N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标；

S7：根据步骤S6中得到的N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标，将各连接孔的连接件型号信息投影给对应位置的锪窝。

本发明的有益效果如下：

在根据本发明的基于结构光三维测量系统的工件装配方法中，待装配工件上的连接孔的分布点云P1为连接件在待装配工件上的理论装配位置，锪窝的分布点云P3为连接件在待装配工件上的实际装配位置，根据连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H将连接孔的位置与锪窝的位置对应，即是将理论装配位置和实际装配位置对应，从而将待装配工件上的理论装配位置的连接件类型投影到实际装配位置上，提高了连接件装配到待装配工件上的连接孔的装配效率并减少发生错误的可能性。

附图说明

图1是根据本发明的基于结构光三维测量系统的工件装配方法中的结构光三维测量系统的示意图；

图2是根据本发明的基于结构光三维测量系统的工件装配方法中的正弦条纹模板图像组中的一张图像。

其中，附图标记说明如下：

1相机

2投影仪

3支架

4计算机

具体实施方式

下面参照附图来详细说明根据本发明的基于结构光三维测量系统的工件装配方法。

参照图1和图2，本发明的基于结构光三维测量系统的工件装配方法包括步骤：

S1：搭建包括相机1、投影仪2、支架3以及计算机4的结构光三维测量系统，相机1与投影仪2均固定于支架3上，使得相机1与投影仪2的相对位置固定；

S2：利用计算机4导入待装配工件的三维模型，根据待装配工件的三维模型得到待装配工件上的所有连接孔的连接孔信息，待装配工件上共有N_h个连接孔，将各连接孔的连接孔信息转化为各连接孔的分布点云P1，其中各连接孔的连接孔信息包括各连接孔的三维坐标和各连接孔对应的连接件型号，则各连接孔的分布点云P1包括各连接孔的三维坐标和各连接孔对应的连接件型号；

S3：利用结构光三维测量系统基于N_P步相移法测量原理得到与步骤S2中的待装配工件上的连接孔对应的在结构光三维测量系统中的所有锪窝的三维点云P2，其中所有锪窝的三维点云P2包括所有锪窝的三维坐标，共有N_g个锪窝，其中，N_g≤N_h；

S4：根据步骤S3中得到的待装配工件上的所有锪窝的三维点云P2，利用点云聚类提取算法，对所有锪窝的三维点云P2，将属于同一锪窝的点归为一组，并计算各锪窝的点云的重心坐标，从而得到待装配工件上的N_g个锪窝的分布点云P3，N_g个锪窝的分布点云P3包括N_g个锪窝的重心坐标；

S5：对待装配工件上的各连接孔的分布点云P1，配准对应位置的锪窝的分布点云P3，获得N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H；

S6：根据步骤S2中得到的N_h个连接孔的分布点云P1、步骤S4中得到的N_g个锪窝的分布点云P3以及步骤S5中得到的N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，得到N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标；

S7：根据步骤S6中得到的N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标，将各连接孔的连接件型号信息投影给对应位置的锪窝。

在根据本发明的基于结构光三维测量系统的工件装配方法中，待装配工件上的连接孔的分布点云P1为连接件在待装配工件上的理论装配位置，锪窝的分布点云P3为连接件在待装配工件上的实际装配位置，根据连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H将连接孔的位置与锪窝的位置对应，即是将理论装配位置和实际装配位置对应，从而将待装配工件上的理论装配位置的连接件类型投影到实际装配位置上，提高了连接件装配到待装配工件上的连接孔的装配效率并减少发生错误的可能性。

在这里补充说明的是，步骤S2中根据待装配工件的三维模型得到待装配工件上的所有连接孔的连接孔信息，从而转化为连接孔的分布点云P1，得到的连接孔的分布点云P1是连接件在待装配工件上的理论装配位置，步骤S3中利用结构光三维测量系统基于N_P步相移法测量原理得到的在结构光三维测量系统中的所有锪窝的三维点云P2是连接件在待装配工件上的实际装配位置，将连接孔的连接件类型投影到对应锪窝的位置则是将待装配工件上的理论装配位置对应到实际装配位置上。

步骤S5中获得N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H时，因为N_g≤N_h，可能得到的是N_h个连接孔中的一部分连接孔与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，从而先得到N_h个连接孔中的一部分连接孔的分布点云P1在结构光三维测量系统中的位置坐标，因为待装配工件上的N_h个连接孔的相对位置关系是确定的，则通过N_h个连接孔中的一部分连接孔的分布点云P1在结构光三维测量系统中的位置坐标可得到N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标。

步骤S4中根据步骤S3中得到的待装配工件上的所有锪窝的三维点云P2，利用点云聚类提取算法，对所有锪窝的三维点云P2，将属于同一锪窝的点归为一组，并计算各锪窝的点云的重心坐标，从而得到待装配工件上的N_g个锪窝的分布点云P3，这种方法为常规方法，根据该算法，可以将锪窝的三维点云P2分成不同的组，其中将点之间的距离小于设定阈值的点划分为一组，识别为一个锪窝，分组完成后，对于每一组的锪窝点云，计算点云的重心坐标，加入到锪窝的分布点云中，从而形成锪窝的分布点云P3，实现过程为：

1.所有锪窝的三维点云P2共有N_P2个点，对所有锪窝的三维点云P2，建立聚类组集合A和待处理点序列B；

2.对所有锪窝的三维点云P2中每个点a_i2∈P2，i2＝1,...,N_P2，进行如下

操作：

2.1将所有锪窝的三维点云P2中每个点a_i2加入到待处理点序列B中；

2.2对待处理点序列B中的每个点a_i2，在所有锪窝的三维点云P2中搜索与a_i2距离小于所设阈值r_d的所有点，构成点集合B_i'₂，点集合B_i'₂中共有N_B个点；

2.3对点集合B_i'₂中的每个点k1＝1,...,N_B，判断是否被处理过，如果没有，则将加入到待处理点序列B中；

2.4当待处理点序列B中的每个点都被处理过后，将待处理点序列B加入到聚类组集合A中，得到一个锪窝点云，并将待处理点序列B设置为空集；

3.当所有锪窝的三维点云P2中的每个点a_i2均被处理并被加入到聚类组集合C中，算法结束，每处理一次得到的一个聚类组集合C即为一组锪窝点云，从而构成N_g个锪窝的分布点云P3。

具体可参见Radu Bogdan Rusu的论文“Semantic 3D Object Maps for EverydayManipulation in Human Living Environments[D].TechnischeMünchen,2009.”。

在根据本发明的基于结构光三维测量系统的工件装配方法中，步骤S3中利用结构光三维测量系统基于N_P步相移法测量原理得到与步骤S2中的待装配工件上的连接孔对应的在结构光三维测量系统中的所有锪窝的三维点云P2包括步骤：

S31：对结构光三维测量系统进行标定，得到投影仪2的内参矩阵K_P、相机1的内参矩阵K_C以及相机1与投影仪2之间的转换矩阵[R_CP|t_CP]，其中，R_CP和t_CP分别为旋转矩阵和平移向量；

S32：将待装配工件设置在投影仪2与相机1的公共视场区域内，使投影仪2投影的图像能投射到待装配工件的表面上，且相机1能拍摄到待装配工件，用计算机4生成高频正弦条纹模板图像组和低频正弦条纹模板图像组，高频正弦条纹模板图像组和低频正弦条纹模板图像组均有N_p张图像，高频正弦条纹模板图像组中的图像的条纹频率为f_h，低频正弦条纹模板图像组中的图像的条纹频率为f_l，f_h＞f_l，利用投影仪2分别依次将高频正弦条纹模板图像组和低频正弦条纹模板图像组中的图像投射到待装配工件的表面上并用相机1拍摄待装配工件，分别得到第一图像组和第二图像组；

S33：根据步骤S32中得到的第一图像组和第二图像组，得到待装配工件表面上的各像素点在相机1的图像坐标系下的坐标(u_c,v_c)；

S34：根据步骤S32中得到的第一图像组和第二图像组，计算得到各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，表达为：

其中，c_kh为第一图像组中的第k张图像在坐标(u_c,v_c)处的灰度值，c_ku为第二张图像组中的第k张图像在坐标(u_c,v_c)处的灰度值；

S35：根据步骤S34中得到的各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，计算得到各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs表达为：

其中，[*]为取整符号，T_u为低频正弦条纹模板图像组中的图像的条纹周期；T_h为高频正弦条纹模板图像组中的图像的条纹周期；

S36，根据步骤S35中得到的各像素点在相机1的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs，得到各像素点在投影仪2的图像坐标系下的横坐标值u_p；

S37：各像素点在相机1坐标系下的坐标记为(X_C,Y_C,Z_C)，各像素点在相机1坐标系下的坐标(X_C,Y_C,Z_C)和其对应的在相机1的图像坐标系下的坐标(u_c,v_c)满足第一等式：

各像素点在投影仪坐标系下的坐标记为(X_P,Y_P,Z_P)，各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在投影仪2的图像坐标系下的坐标(u_p,v_p)满足第二等式：

各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在相机1坐标系下的坐标(X_C,Y_C,Z_C)满足第三等式：

根据第一等式、第二等式和第三等式计算得到各像素点在相机1投影仪坐标系下的三维坐标(X_P,Y_P,Z_P)，即得到所有锪窝的三维点云P2。

在这里补充说明的是，步骤S31中对结构光三维测量系统进行标定是常规方法，将标定用的标定板(未示出)放置于投影仪2和相机1的视场范围内，标定板(未示出)上设置有多个标志点，多次改变标定板(未示出)的位姿，可得到不同位姿下的标定板(未示出)上的多个标志点在世界坐标系下的坐标，利用投影仪2将测量用的模板图像投射到不同位姿下的标定板(未示出)上并用相机1拍摄标定板(未示出)，利用计算机4处理用相机1拍摄得到的图像，根据从相机1拍摄得到的图像得到标定板上的多个标志点在相机的图像坐标系下的坐标和强度值，根据标定板上的多个标志点的强度值解码得到标定板上的多个标志点的相位，进而计算得到标定板上的多个标志点在投影仪的图像坐标系下的坐标，根据得到的标定板上的多个标志点在世界坐标系下的坐标、标定板上的多个标志点在相机的图像坐标系下的坐标以及标定板上的多个标志点在投影仪的图像坐标系下的坐标利用OpenCV或者Matlab相机双目标定工具箱即可得到投影仪2的内参矩阵K_P、相机1的内参矩阵K_C、投影仪2和相机1之间的转换矩阵[R_CP|t_CP]。其中，世界坐标系是指原点在标定板(未示出)的左上角的坐标系，坐标单位是毫米(mm)；相机坐标系是指原点在相机光心的坐标系，坐标单位是毫米(mm)；相机的图像坐标系是指原点在相机成像平面上的图像的左上角的坐标系，坐标单位是像素(pixel)；投影仪坐标系是指原点在投影仪光心的坐标系，坐标单位是毫米(mm)；投影仪的图像坐标系是指原点在投影仪成像平面上的图像的左上角的坐标系坐标单位是像素(pixel)；投影仪2的内参矩阵K_P和相机1的内参矩阵K_C分别包括投影仪2和相机1的水平方向和竖直方向的焦距、图像的主点，表达了相机坐标系和投影仪坐标系分别与相机的图像坐标系和投影仪的图像坐标系之间的变换。投影仪2和相机1之间的转换矩阵[R_CP|t_CP]包括旋转矩阵R_CP和平移向量t_CP，表达了投影仪坐标系和相机坐标系之间的变换。对结构光三维测量系统进行标定具体可参见Chen Rui的论文“Rui Chen,Jing Xu,Heping Chen,Jianhua Su,Zonghua Zhang,Ken Chen.Accurate calibration method for camera andprojector in fringe patterns measurement system[J].Applied Optics,2016,55(16):4293-4300.”。

在根据本发明的基于结构光三维测量系统的工件装配方法中，步骤S5包括步骤：

S51：分别计算N_h个连接孔的分布点云P1中的各点Q与N_g个锪窝的分布点云P3中的各点Q的特征向量

L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]，

其中，t^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的第j个特征点集合的距离平均值；θ^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的第j个特征点集合内的所有特征点与点Q连线的夹角的平均值；τ^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的各特征点集合内的重心位置G^(j)所构成的集合{G^(j)}内相邻两个重心位置G^(j)和G^(j+1)与点Q所成向量的夹角，j＝1,2,...,N，i＝1,2,...,N_h；

S52：在各连接孔的分布点云P1中随机选择N_C个点得到点集合{C}，在N_g个锪窝的分布点云P3中，寻找与点集合{C}对应的点集合{D}，根据各连接孔的分布点云P1中的点集合{C}和N_g个锪窝的分布点云P3中的与点集合{C}对应的点集合{D}，计算得到各连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，从而得到N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H。

在根据本发明的基于结构光三维测量系统的工件装配方法中，步骤S51中的各连接孔的分布点云P1中的各点Q与各锪窝的分布点云P3中的各点Q的特征向量L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]的计算过程包括步骤：

S511：对第i个连接孔的分布点云P1或第i个锪窝的分布点云P3中的一点Q，在分布点云内搜索与点Q距离在(0,Nr]内的所有特征点，建立特征点集合r为设定的距离分辨率，为正实数；N为设定的范围系数，为正整数，为满足下式的第j个特征点集合：

j＝1,2,...,N，dist()为计算两个三维空间点的几何距离的函数；

S512：对第j个特征点集合通过下式计算距离平均值t^(j)：

其中n^(j)为第j个特征点集合中的特征点总数；

S513：对第j个特征点集合通过下式计算集合内n^(j)个特征点与点Q连线的夹角的平均值θ^(j)：

其中，angle()为计算两个三维空间向量的夹角的函数，为点Q与集合内第l个特征点所成向量；

S514：对第j个特征点集合通过下式计算重心位置G^(j)：

其中，为点Q与重心位置G^(j)所成向量；

S515：对各特征点集合的重心位置G^(j)所构成的集合{G^(j)}，计算集合{G^(j)}内相邻两个重心位置G^(j)和G^(j+1)与点Q所成向量的夹角τ^(j)：

其中，当j＝N时，τ^(N)＝0；

S516：对N个特征点集合进行步骤S512至S515，建立第i个连接孔的分布点云P1或第i个锪窝的分布点云P3中的点Q的特征向量L_Q：L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]，从而得到N_h个连接孔的分布点云P1中的各点Q与N_g个锪窝的分布点云P3中的各点Q的特征向量

L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]。

在根据本发明的基于结构光三维测量系统的工件装配方法中，步骤S52具体包括步骤：

S521：在第i个连接孔的分布点云P1中随机选择N_C个点得到点集合{C}，对于点集合{C}中的每一点c_q，q＝1,...,N_C，点c_q的特征向量为在N_g个锪窝的分布点云P3中，搜寻与每一点c_q的特征向量距离σ_cd最小的点d_q，组成点集合{D}，点集合{D}作为点集合{C}的对应点集合；

S522：根据步骤S521中得到的点集合{C}和点集合{D}，计算得第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD；

S523：根据步骤S522中得到的第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD，计算第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3的配准误差

式中ERROR()为计算两点云相差程度的函数；

S524：重复步骤S521至S523M次，选择M次中配准误差最小的H_CD，作为第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的粗略转换矩阵H_COR；

S525：根据步骤S524中得到的粗略转换矩阵H_COR，对第i个连接孔的分布点云P1进行转换，获得估计点云P_COR：P_COR＝H_COR·P1

S526：利用迭代最近点ICP算法计算估计点云P_COR与对应位置的锪窝的分布点云P3之间的转换矩阵H_ICP，进而计算第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的转换矩阵H：H＝H_ICP·H_COR，从而得到N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H。

在这里补充说明的是，步骤522中根据步骤S521中得到的点集合{C}和点集合{D}，计算得第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD的方法的实现过程为：

对点集合{C}＝{c_q}与点集合{D}＝{d_q},其中点集合{C}＝{c_q}中的点的数量N_C与点集合{D}＝{d_q}中的点的数量N_D相同，并且序号相同的点相互对应，即：c_q与d_q对应；点集合{C}＝{c_q}与点集合{D}＝{d_q}之间的转换矩阵H_CD＝[R_CD|t_CD]即为第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD＝[R_CD|t_CD]，其中R_CD为旋转矩阵，t_CD为平移向量；转换矩阵H_CD＝[R_CD|t_CD]的计算过程如下：

1.利用下式计算点集合{C}＝{c_q}与点集合{D}＝{d_q}的重心位置c_g和d_g：

2.将点集合{C}＝{c_q}与点集合{D}＝{d_q}中的所有点减去重心位置如下

式：

c_q＝c_q-c_g，d_q＝d_q-d_g

3.点集合{C}＝{c_q}与点集合{D}＝{d_q}转换后的误差函数E为：

4.令J的奇异值分解(Sigular Value Decomposition，简称SVD)矩阵分解为U和V，则当R_CD＝VU^T时，误差函数E最小，求出旋转矩阵R_CD；

5.则平移向量t_CD计算为：t_CD＝q_g-R_CDp_g

以及步骤S526中利用迭代最近点ICP算法计算估计点云P_COR与对应位置的锪窝的分布点云P3之间的转换矩阵H_ICP的方法的实现过程为：

(1)对估计点云P_COR中的每一个点，在锪窝的分布点云P3中寻找与其距离最近的点，作为对应点，构成点集合

(2)利用奇异值分解矩阵方法计算估计点云P_COR与点集合之间的转换矩阵H_K；

(3)利用转换矩阵H_K对估计点云P_COR进行转换，即：P_COR＝H_KP_COR；

(4)重复步骤(1)至(3)，直到估计点云P_COR与点集合之间转换后的误差小于设定的阈值，则最终的转换矩阵H为之前进行n1次转换得到的所有转换矩阵H_K1,...,H_Kn1-1,H_Kn1的乘积，即为：

H＝H_Kn1×H_Kn1-1×…×H_K1

计算得第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD的方法以及步骤S526中利用迭代最近点ICP算法计算点云P_COR与对应位置的锪窝的分布点云P3之间的转换矩阵H_ICP的方法具体可参见Paul J的论文“Method for registration of3-D shapes.Robotics-DLtentative.International Society for Optics andPhotonics,1992.”。

在根据本发明的基于结构光三维测量系统的工件装配方法中，在N_g个锪窝的分布点云P3中，搜寻与点c_q的特征向量距离σ_cd最小的点d_q的计算过程为：

N_g个锪窝的分布点云P3中的每一点e的特征向量为计算N_g个锪窝的分布点云P3中的每一点e与点c_q的特征向量距离σ_cd，表达为：

其中，a_t,a_θ,a_τ为权重系数；

比较N_g个锪窝的分布点云P3中的每一点e的特征向量距离σ_cd，特征向量距离σ_cd最小的点e即为与点c_q对应的点d_q。

Claims (6)

1.一种基于结构光三维测量系统的工件装配方法，包括步骤：

S1：搭建包括相机(1)、投影仪(2)、支架(3)以及计算机(4)的结构光三维测量系统，相机(1)与投影仪(2)均固定于支架(3)上，使得相机(1)与投影仪(2)的相对位置固定；

S2：利用计算机(4)导入待装配工件的三维模型，根据待装配工件的三维模型得到待装配工件上的所有连接孔的连接孔信息，待装配工件上共有N_h个连接孔，将各连接孔的连接孔信息转化为各连接孔的分布点云P1，其中各连接孔的连接孔信息包括各连接孔的三维坐标和各连接孔对应的连接件型号，则各连接孔的分布点云P1包括各连接孔的三维坐标和各连接孔对应的连接件型号；

S3：利用结构光三维测量系统基于N_P步相移法测量原理得到与步骤S2中的待装配工件上的连接孔对应的在结构光三维测量系统中的所有锪窝的三维点云P2，其中所有锪窝的三维点云P2包括所有锪窝的三维坐标，共有N_g个锪窝，其中，N_g≤N_h；

S4：根据步骤S3中得到的待装配工件上的所有锪窝的三维点云P2，利用点云聚类提取算法，对所有锪窝的三维点云P2，将属于同一锪窝的点归为一组，并计算各锪窝的点云的重心坐标，从而得到待装配工件上的N_g个锪窝的分布点云P3，N_g个锪窝的分布点云P3包括N_g个锪窝的重心坐标；

S5：对待装配工件上的各连接孔的分布点云P1，配准对应位置的锪窝的分布点云P3，获得N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H；

S6：根据步骤S2中得到的N_h个连接孔的分布点云P1、步骤S4中得到的N_g个锪窝的分布点云P3以及步骤S5中得到的N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，得到N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标；

S7：根据步骤S6中得到的N_h个连接孔的分布点云P1在结构光三维测量系统中的位置坐标，将各连接孔的连接件型号信息投影给对应位置的锪窝。

2.根据权利要求1所述的基于结构光三维测量系统的工件装配方法，其特征在于，步骤S3中利用结构光三维测量系统基于N_P步相移法测量原理得到与步骤S2中的待装配工件上的连接孔对应的在结构光三维测量系统中的所有锪窝的三维点云P2包括步骤：

S31：对结构光三维测量系统进行标定，得到投影仪(2)的内参矩阵K_P、相机(1)的内参矩阵K_C以及相机(1)与投影仪(2)之间的转换矩阵[R_CP|t_CP]，其中，R_CP和t_CP分别为旋转矩阵和平移向量；

S32：将待装配工件设置在投影仪(2)与相机(1)的公共视场区域内，使投影仪(2)投影的图像能投射到待装配工件的表面上，且相机(1)能拍摄到待装配工件，用计算机(4)生成高频正弦条纹模板图像组和低频正弦条纹模板图像组，高频正弦条纹模板图像组和低频正弦条纹模板图像组均有N_p张图像，高频正弦条纹模板图像组中的图像的条纹频率为f_h，低频正弦条纹模板图像组中的图像的条纹频率为f_l，f_h＞f_l，利用投影仪(2)分别依次将高频正弦条纹模板图像组和低频正弦条纹模板图像组中的图像投射到待装配工件的表面上并用相机(1)拍摄待装配工件，分别得到第一图像组和第二图像组；

S33：根据步骤S32中得到的第一图像组和第二图像组，得到待装配工件表面上的各像素点在相机(1)的图像坐标系下的坐标(u_c,v_c)；

S34：根据步骤S32中得到的第一图像组和第二图像组，计算得到各像素点在相机(1)的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，表达为：

其中，c_kh为第一图像组中的第k张图像在坐标(u_c,v_c)处的灰度值，c_ku为第二张图像组中的第k张图像在坐标(u_c,v_c)处的灰度值；

S35：根据步骤S34中得到的各像素点在相机(1)的图像坐标系下的坐标(u_c,v_c)处的投影仪高频相对相位φ_h和低频相对相位φ_u，计算得到各像素点在相机(1)的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs表达为：

其中，[*]为取整符号，T_u为低频正弦条纹模板图像组中的图像的条纹周期；T_h为高频正弦条纹模板图像组中的图像的条纹周期；

S36，根据步骤S35中得到的各像素点在相机(1)的图像坐标系下的坐标(u_c,v_c)处的投影仪绝对相位φ_abs，得到各像素点在投影仪(2)的图像坐标系下的横坐标值u_p；

S37：各像素点在相机(1)坐标系下的坐标记为(X_C,Y_C,Z_C)，各像素点在相机(1)坐标系下的坐标(X_C,Y_C,Z_C)和其对应的在相机(1)的图像坐标系下的坐标(u_c,v_c)满足第一等式：

各像素点在投影仪坐标系下的坐标记为(X_P,Y_P,Z_P)，各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在投影仪(2)的图像坐标系下的坐标(u_p,v_p)满足第二等式：

各像素点在投影仪坐标系下的坐标(X_P,Y_P,Z_P)和其对应的在相机(1)坐标系下的坐标(X_C,Y_C,Z_C)满足第三等式：

根据第一等式、第二等式和第三等式计算得到各像素点在相机(1)投影仪坐标系下的三维坐标(X_P,Y_P,Z_P)，即得到所有锪窝的三维点云P2。

3.根据权利要求1所述的基于结构光三维测量系统的工件装配方法，其特征在于，步骤S5包括步骤：

S51：分别计算N_h个连接孔的分布点云P1中的各点Q与N_g个锪窝的分布点云P3中的各点Q的特征向量

L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]，

其中，t^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的第j个特征点集合的距离平均值；θ^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的第j个特征点集合内的所有特征点与点Q连线的夹角的平均值；τ^(j)为各连接孔的分布点云P1或各锪窝的分布点云P3中的各特征点集合内的重心位置G^(j)所构成的集合{G^(j)}内相邻两个重心位置G^(j)和G^(j+1)与点Q所成向量的夹角，j＝1,2,...,N，i＝1,2,...,N_h；

S52：在各连接孔的分布点云P1中随机选择N_C个点得到点集合{C}，在N_g个锪窝的分布点云P3中，寻找与点集合{C}对应的点集合{D}，根据各连接孔的分布点云P1中的点集合{C}和N_g个锪窝的分布点云P3中的与点集合{C}对应的点集合{D}，计算得到各连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H，从而得到N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H。

4.根据权利要求3所述的基于结构光三维测量系统的工件装配方法，其特征在于，步骤S51中的各连接孔的分布点云P1中的各点Q与各锪窝的分布点云P3中的各点Q的特征向量

L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]的计算过程包括步骤：

S511：对第i个连接孔的分布点云P1或第i个锪窝的分布点云P3中的一点Q，在分布点云内搜索与点Q距离在(0,Nr]内的所有特征点，建立特征点集合r为设定的距离分辨率，为正实数；N为设定的范围系数，为正整数，为满足下式的第j个特征点集合：

j＝1,2,...,N，dist()为计算两个三维空间点的几何距离的函数；

S512：对第j个特征点集合通过下式计算距离平均值t^(j)：

其中n^(j)为第j个特征点集合中的特征点总数；

S513：对第j个特征点集合通过下式计算集合内n^(j)个特征点与点Q连线的夹角的平均值θ^(j)：

其中，angle()为计算两个三维空间向量的夹角的函数，为点Q与集合内第l个特征点所成向量；

S514：对第j个特征点集合通过下式计算重心位置G^(j)：

其中，为点Q与重心位置G^(j)所成向量；

S515：对各特征点集合的重心位置G^(j)所构成的集合{G^(j)}，计算集合{G^(j)}内相邻两个重心位置G^(j)和G^(j+1)与点Q所成向量的夹角τ^(j)：

其中，当j＝N时，τ^(N)＝0；

S516：对N个特征点集合进行步骤S512至S515，建立第i个连接孔的分布点云P1或第i个锪窝的分布点云P3中的点Q的特征向量L_Q：L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]，从而得到N_h个连接孔的分布点云P1中的各点Q与N_g个锪窝的分布点云P3中的各点Q的特征向量

L_Q＝[t⁽¹⁾,t⁽²⁾,…t^(N),θ⁽¹⁾,θ⁽²⁾,…,θ^(N),τ⁽¹⁾,τ⁽²⁾,…,τ^(N)]。

5.根据权利要求3所述的基于结构光三维测量系统的工件装配方法，其特征在于，步骤S52具体包括步骤：

S521：在第i个连接孔的分布点云P1中随机选择N_C个点得到点集合{C}，对于点集合{C}中的每一点c_q，q＝1,...,N_C，点c_q的特征向量为在N_g个锪窝的分布点云P3中，搜寻与每一点c_q的特征向量距离σ_cd最小的点d_q，组成点集合{D}，点集合{D}作为点集合{C}的对应点集合；

S522：根据步骤S521中得到的点集合{C}和点集合{D}，计算得第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD；

S523：根据步骤S522中得到的第i个连接孔的分布点云P1和对应位置的锪窝的分布点云P3的转换矩阵H_CD，计算第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3的配准误差

式中ERROR()为计算两点云相差程度的函数；

S524：重复步骤S521至S523M次，选择M次中配准误差最小的H_CD，作为第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的粗略转换矩阵H_COR；

S525：根据步骤S524中得到的粗略转换矩阵H_COR，对第i个连接孔的分布点云P1进行转换，获得估计点云P_COR：P_COR＝H_COR·P1

S526：利用迭代最近点ICP算法计算估计点云P_COR与对应位置的锪窝的分布点云P3之间的转换矩阵H_ICP，进而计算第i个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的转换矩阵H：H＝H_ICP·H_COR，从而得到N_h个连接孔的分布点云P1与对应位置的锪窝的分布点云P3之间的位置转换矩阵H。

6.根据权利要求5所述的基于结构光三维测量系统的工件装配方法，其特征在于，在N_g个锪窝的分布点云P3中，搜寻与点c_q的特征向量距离σ_cd最小的点d_q的计算过程为：

N_g个锪窝的分布点云P3中的每一点e的特征向量为计算N_g个锪窝的分布点云P3中的每一点e与点c_q的特征向量距离σ_cd，表达为：

其中，a_t,a_θ,a_τ为权重系数；

比较N_g个锪窝的分布点云P3中的每一点e的特征向量距离σ_cd，特征向量距离σ_cd最小的点e即为与点c_q对应的点d_q。