CN110411340B - 一种3d视觉检测装置及方法 - Google Patents

Abstract

本发明公开了一种3D视觉检测装置及方法，包括：3D相机、倾角传感器、基准材料、安装材料、图像处理系统、控制端、安装机构；3D相机和倾角传感器与图像处理系统连接；图像处理系统安装在控制端上；控制端把图像处理系统计算得到的自由度数值输出给安装机构，为安装提供视觉引导；本发明通过利用3D相机获取安装材料和基准材料的三维点云模型，倾角传感器修正相机的位姿，通过点云分割、拟合等得到安装材料和基准材料的平面拟合方程，分析两者的相对位姿关系，为安装提供视觉引导，达到高效、精准完成一系列的安装工序，弥补传统检测方法精度不足、稳定性差，还可以简化工序流程的同时提高作业自动化水平，降低成本，提高操作便捷性。

Description

一种3D视觉检测装置及方法

技术领域

本发明属于建材安装领域，具体涉及一种3D视觉检测装置及方法。

背景技术

现在建筑行业中的材料安装作业主要由人工完成，需要满足一定的平整度和垂直度的安装标准，因此建材安装对安装操作人员的经验及技巧有较高要求。人工操作的主要缺陷是人力成本高、耗时长、自动化程度低，且作业危险性高。

为了解决上述缺陷，目前市场上采用2D视觉检测方法，通过检测建材安装的二维参数、对比度等进行安装位姿修正。2D视觉方法的主要缺陷在于受外部光照和颜色变化影响较大，测量精度易受照明条件影响；单台2D相机无法获取待安装材料的空间坐标信息，需要多台相机配合，成本较高，结构复杂；与待安装的材料低一致性等。

目前市场上尚未出现成熟的自动化安装设备，与之配套的视觉检测方法也较少，而实现板材的自动化安装需要在多个维度上进行位姿调整，在完成初步的安装作业后还需要对安装材料进行拼接等一系列的工序，拼接等工序也需要满足多维度的对齐调整。

所以，提供一种测量精度高、稳定性好、性价比高的视觉检测方法对建材安装等一系列的作业中的位姿调整尤为重要。

发明内容

基于此，本发明提供的技术方案旨在解决现有技术中建材安装作业中对安装位姿调整的视觉检测方法精度不足、稳定性差的问题，本发明采用单个的宽视野3D相机和倾角传感器，通过图像处理和分析获得所有位姿关系的参数，为建材安装机构提供视觉引导，达到高效、精准安装材料的目的，提高视觉检测精度和稳定性。

本发明提供一种3D视觉检测装置，包括：

3D相机、倾角传感器、基准材料、安装材料、图像处理系统、控制端、安装机构。

优选地，3D相机和倾角传感器与图像处理系统连接。

优选地，3D相机用于获取基准材料和安装材料的三维点云模型。

优选地，倾角传感器用于获取相机当前位姿状态，对相机进行位姿修正，以补偿因地面不平整造成相机位姿变化引起的测量误差。

优选地，基准材料为已安装的板材，用于安装基准参考。

优选地，安装材料为待安装的板材。

优选地，图像处理系统安装在控制端上，用于对3D相机采集得到的三维点云模型进行点云分割和平面拟合，获取基准材料和安装材料的平面方程，分析相对位姿关系，计算安装所需自由度的数值。

优选地，控制端把图像处理系统计算得到的自由度数值输出给安装机构，为安装提供视觉引导。

优选地，安装机构接收所需自由度数值对安装材料进行安装作业。

优选地，利用3D相机获取初始点云I，记录此时的倾角传感器示数，根据示数对相机位姿进行相对修正；

利用图像处理系统对修正后的点云I′进行点云分割，获取分别对应基准材料和安装材料的聚类点云P_L和P_R，分别对聚类点云P_L和P_R进行平面拟合，获得分别对应基准材料和安装材料的平面方程；

图像处理系统得到两材料的平面方程后利用平面参数分析两板材的相对位姿关系，计算安装所需自由度包括俯仰角度、倾斜角度以及前后距离等的值，控制端把若干个自由度数值输出至安装机构，安装机构根据接收到的数值进行安装作业。

本发明提供一种3D视觉检测方法，包括：

S1.获取3D相机基准位姿，设置倾角传感器零点；

S2.利用3D相机获取初始点云I，记录此时倾角传感器示数，根据示数对相机位姿进行相对修正，得到修正后的点云I′；

S3.利用图像处理系统对点云进行分割，获得分别对应基准材料和安装材料的聚类点云P_L和P_R；

S4.分别对聚类点云P_L和P_R进行平面拟合，得到分别对应基准材料和安装材料的平面方程；

S5.利用平面方程的平面参数分析基准材料和安装材料的相对位姿关系，计算若干个自由度的数值，把若干个自由度数值输出给安装机构，安装机构根据视觉检测的引导进行安装作业。

优选地，基准材料为已安装材料，用于安装基准参考，安装材料为待安装材料。

优选地，步骤S1包括：

利用3D相机拍摄安装平面获取当前点云，调整3D相机和倾角传感器的位姿，使得安装平面的点云数据拟合的平面与水平面垂直，设置该位姿状态为倾角传感器的零点。

优选地，点云分割使用点云聚类算法，具体步骤包括：

S31.对点云I′进行初步的滤波和降采样处理，得到点云N，分别建立空点列P、Q，把所述点云N中索引号为0的点p₀放入所述点列Q；

S32.对所述点列Q建立新索引，取出所述点列Q中索引号为0的点p₀′，在所述点云N中搜索到点p₀′距离小于d所有的点，形成新的点集合M；

S33.遍历所述集合M所有的点，判断所遍历的点是否在所述点列Q中，若不在所述点列Q中，则把该点放入所述点列Q，若存在于所述点列Q，则不放入；

S34.把所述点p₀′从所述点列Q中移除，并放入所述点列P；

S35.重复步骤S32至S34，直至所述点列Q为空，至此输出一聚类点云P；

S36.将所述点云N中尚未聚类的点组成新的点云L，针对所述点云L，重复步骤S31-S35，直至所有的点均聚类完成，从而得到多个聚类点云Pi，其中i表示输出顺序，取值范围为(1，j)，j取值为聚类运算的总次数；

S37.获取所有所述聚类点云Pi中点的数目，剔除点数过小的类，并取出点数最大的两个聚类点云，分析所述两个聚类点云的位置关系，确定所述基准材料和所述安装材料对应的点云，使所述基准材料对应的点云为所述聚类点云P_L，所述安装材料对应的点云为所述聚类点云P_R。

优选地，步骤S31进一步包括：

以安装材料与相机的距离范围为滤波范围，滤除在该范围外的点云数据。

优选地，步骤S31还包括：

降采样为按照点云中点的索引顺序每十个点取一个点，降采样率设为10％。

优选地，步骤S4包括：

S41.遍历所述点云中所有的点，其中点的坐标设为(x，y，z)，计算其中x最大值x_max，x最小值x_min，y最大值y_max，y最小值y_min；

S42.根据步骤S41的计算结果选取感兴趣区域范围，其中x_上限＝(x_max-x_min)*0.8+x_min，x_下限＝(x_max-x_min)*0.2+x_min，y_上限＝(y_max-y_min)*0.8+y_min，y_下限＝(y_max-y_min)*0.2+y_min，取出选中的感兴趣区域范围内的点云；

S43.对步骤S42选取出的感兴趣区域范围内的点云，使用最小二乘法进行平面拟合，得到对应的平面方程；

S44.针对聚类点云P_L和P_R，分别进行步骤S41至S43的操作。

优选地，步骤S43包括：

一般地平面方程可表示为ax+by-z+c＝0，最小二乘法为寻找一组最优参数(a，b，-1，c)，使得点云中所有的点到该平面距离平方和为最小，即求解最优参数(a，b，-1，c)；

设X为点云中x坐标矩阵，Y为点云中y坐标矩阵，Z为点云中z坐标矩阵,则有如式(1)-(2)所示，

aX+bY+c＝Z (1)

令

为待求取的平面参数矩阵，A＝[X Y 1]为点云x和y坐标矩阵，则有如式(3)所示，

Am＝Z (3)

求解平面参数矩阵如式(4)-(6)所示，

A^TAm＝A^TZ (4)

(A^TA)^-1A^TAm＝(A^TA)^-1A^TZ (5)

m＝(A^TA)^-1A^TZ (6)

其中A^T为A的转置矩阵，(A^TA)^-1为A^TA的广义逆矩阵；

根据前述的式(1)-(6)分别对安装材料和基准材料的平面方程的平面参数进行求解。

优选地，步骤S5包括：

分析基准材料和安装材料的相对位姿关系，设安装材料的平面方程a₁x+b₁y+c₁z+d₁＝0，基准材料的平面方程为a₂x+b₂y+c₂z+d₂＝0，利用两材料的平面参数计算俯仰角度、倾斜角度和两板材前后距离的数值，把计算结果输出给安装机构。

优选地，俯仰角度的计算包括：

获取安装材料的平面法向量(a₁，b₁，c₁),基准材料的竖直平面法向量(0,0,1)；

把获取得到的两个平面法向量向YOZ平面投影，即安装材料的投影法向量为n₁＝(b₁,c₁)，基准材料的竖直平面投影法向量为n₂＝(0,1)；

利用投影法向量计算投影向量夹角

根据n₁×n₂结果计算夹角α正负号，如果n₁×n₂的数值结果大于零则α取正号，否则α取负号。最终输出俯仰角度计算结果α。

优选地，倾斜角度的计算包括：

获取安装材料的平面法向量(a₁，b₁，c₁)，基准材料的平面法向量(a₂，b₂，c₂)；

把两个平面法向量向XOZ平面投影，即安装材料的投影法向量为n₃＝(a₁,c₁)，基准材料法向量为n₄＝(a₂,c₂)；

计算投影向量夹角

根据n₃×n₄结果计算夹角β正负号，如果n₃×n₄的数值结果大于零则β取正号，否则β取负号，最终输出倾斜角度计算结果β。

优选地，两材料前后距离的计算包括：

获取安装材料的平面法向量(a₁，b₁，c₁)，基准材料的平面法向量(a₂，b₂，c₂)，分别计算安装材料和基准材料的平面法向量的模|n₁₁|和|n₂₁|；

计算安装材料和基准材料的夹角，若夹角小于0.05°则认为两材料平行，进行前后距离计算，如果大于0.05°则认为不平行，不进行计算；

计算安装材料和基准材料前后距离

输出材料前后距离d。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供了一种3D视觉检测装置及方法，包括3D相机、倾角传感器、基准材料、安装材料、图像处理系统、控制端和安装机构；利用单个的3D相机获取基准材料和安装材料的三维点云模型，倾角传感器对相机位姿进行修正，图像处理系统使用点云聚类算法对三维点云模型分割得到对应基准材料和安装材料的聚类点云，使用最小二乘法进行平面拟合分别得到基准材料和安装材料的平面方程，利用平面参数计算材料的俯仰角度、倾斜角度、两材料的前后距离等自由度数值，控制端把计算结果输出到安装机构引导其进行安装作业；解决了现阶段视觉检测方法精度不足和稳定性差的问题；通过分析板材的所有位姿关系参数大大提高了检测精度；另外本发明中使用3D相机，由3D相机内置的结构光提供照明，无需外部打光且抗外部光干扰，减少了外部光照条件对测量的影响，测量稳定性大大提高；使用单个的3D相机便能实现检测，使结构简化，大大降低了人力物力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1：本发明提供的一种实施例中3D相机拍摄初始点云示意图；

图2：本发明提供的一种实施例中使用点云聚类算法进行分割后得到的待安装板材及已安装板材的聚类点云示意图；

图3a：本发明提供的一种实施例中俯仰角度计算示意图；

图3b：本发明提供的一种实施例中倾斜角度计算示意图；

图3c：本发明提供的一种实施例中两PC墙板前后距离计算示意图；

图4：本发明提供的另一个实施例的实施流程示意图；

图5：本发明提供的另一个实施例的实施流程示意图；

其中，左图为已安装板材的聚类点云，右图为待安装板材的聚类点云。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图3c，本发明实施例提供一种适用于PC墙板安装的3D视觉检测装置，其装置结构包括：宽视野3D相机、倾角传感器、PC墙板A、PC墙板B、图像处理系统、控制电脑、墙板安装机构。

优选地，宽视野3D相机与倾角传感器连接。

优选地，3D相机用于获取墙板A和墙板B的三维点云模型。

优选地，倾角传感器用于获取相机当前位姿状态，对相机进行位姿修正，以补偿因地面不平整造成相机位姿变化引起的测量误差。

优选地，PC墙板A为已安装的墙板，用于安装基准参考。

优选地，PC墙板B为待安装的墙板。

优选地，图像处理系统安装在控制电脑上，用于对3D相机采集得到的三维点云模型进行分割和平面拟合，获取PC墙板A和PC墙板B的平面方程，分析两墙板的相对位姿关系，计算安装所需自由度的数值。

优选地，控制电脑把图像处理系统计算得到的自由度数值输出给安装机构，为安装提供视觉引导。

优选地，墙板安装机构接收所需自由度数值对PC墙板B进行安装作业。

S101.获取3D相机基准位姿，设置倾角传感器零点；

S102.利用3D相机获取初始点云I，记录此时倾角传感器示数，根据示数对相机位姿进行相对修正，得到修正后的点云I′；

S103.利用图像处理系统对点云进行分割，获得对应墙板A和墙板B的聚类点云P_L和P_R；

S104.分别对聚类点云P_L和P_R进行平面拟合，得到对应墙板A和墙板B的平面方程；

S105.利用平面方程的平面参数分析墙板A和墙板B的相对位姿关系，计算若干个自由度的数值，控制电脑把若干个自由度数值输出给安装机构，墙板安装机构根据视觉检测的引导进行墙板安装作业。

优选地，步骤S101包括：

利用3D相机拍摄安装平面获取当前点云，调整3D相机和倾角传感器的位姿，使得安装平面的点云数据拟合的平面与水平面垂直，设置该位姿状态为倾角传感器的零点。

优选地，步骤S103包括：

根据墙板点云I′的深度信息对点云进行滤波，得到滤波后的点云I″；

对点云I″进行降采样，得到点云N；

对点云N使用点云聚类算法进行点云分割，获得对应墙板A和墙板B的聚类点云P_L和P_R。

优选地，滤波进一步包括：

以墙板B与相机的距离范围为滤波范围，滤除在该范围外的点云数据。

优选地，降采样进一步包括：

按照点云中点的的索引顺序每十个点取一个点，降采样率设为10％。

优选地，点云聚类算法进行点云分割进一步包括：

S1031.输入点云N，分别建立空点列P、Q，把点云N中索引号为0的点p₀放入点列Q；

S1032.对点列Q建立新索引，取出点列Q中索引号为0的点p₀′，在点云N中搜索到点p₀′距离小于d所有的点，把所有点形成新的点集合M；

S1033.遍历集合M所有的点，判断所遍历的点是否在点列Q中，若不在点列Q中，则把该点放入点列Q，若存在于点列Q，则不放入；

S1034.把点p₀′从点列Q中移除，并放入点列P；

S1035.重复步骤S1032至S1034，直至点列Q为空，至此输出一聚类点云P；

S1036.将点云N中尚未聚类的点组成新的点云L,针对新的点云L，重复步骤S1031-S1035，直至所有的点均聚类完成，从而得到多个聚类点云P_i，其中i表示输出顺序，取值范围为(1,j)，j取值为聚类运算的总次数；

S1037.获取所有聚类点云P_i中点的数目，剔除点数过小的类，并取出点数最大的两个聚类点云；

S1038.分析步骤S1037中取出的两个聚类点云的位置关系，确定墙板A和墙板B对应的点云，使墙板A对应的点云为P_L，墙板B对应的点云为P_R，如图2所示，本发明实施例中对墙板的安装顺序为从左至右，则图2中的左图表示已安装墙板A的聚类点云P_L，右图表示待安装墙板B的聚类点云P_R。

优选地，步骤S104包括：

S1041.遍历点云中所有的点，其中点的坐标设为(x，y，z)，计算其中x最大值x_max，x最小值x_min，y最大值y_max，y最小值y_min；

S1042.根据步骤S1041的计算结果选取感兴趣区域范围，其中x_上限＝(x_max-x_min)*0.8+x_min，x_下限＝(x_max-x_min)*0.2+x_min，y_上限＝(y_max-y_min)*0.8+y_min，y_下限＝(y_max-y_min)*0.2+y_min，取出选中的感兴趣区域范围内的点云；

S1043.对步骤S1042选取出的感兴趣区域范围内的点云，使用最小二乘法进行平面拟合，得到对应的平面方程；

S1044.针对两墙板的聚类点云P_L和P_R，分别进行步骤S1041至S1043的操作。

优选地，步骤S1043包括：

设X为点云中x坐标矩阵，Y为点云中y坐标矩阵，Z为点云中z坐标矩阵，则有如式(1)-(2)所示，

aX+bY+c＝Z (1)

令

为待求取的平面参数矩阵，A＝[X Y 1]为点云x和y坐标矩阵，则有如式(3)所示，

Am＝Z (3)

求解平面参数矩阵如式(4)-(6)所示，

A^TAm＝A^TZ (4)

(A^TA)^-1A^TAm＝(A^TA)^-1A^TZ (5)

m＝(A^TA)^-1A^TZ (6)

其中A^T为A的转置矩阵，(A^TA)^-1为A^TA的广义逆矩阵；

根据前述的式(1)-(6)分别对安装材料和基准材料的平面方程的平面参数进行求解。

优选地，步骤S105包括：

分析墙板A和墙板B的相对位姿关系，设墙板B的平面方程a₁x+b₁y+c₁z+d₁＝0，墙板A的平面方程为a₂x+b₂y+c₂z+d₂＝0，利用两墙板的平面参数计算俯仰角度、倾斜角度和两墙板前后距离的数值，把计算结果输出给墙板安装机构。

优选地，如图3a所示，计算俯仰角度包括：

获取墙板B的平面法向量(a₁，b₁，c₁),墙板A的竖直平面法向量(0,0,1)；

把获取的两个平面法向量向YOZ平面投影，即墙板B的投影法向量为n₁＝(b₁,c₁)，墙板A的竖直平面投影法向量为n₂＝(0,1)；

利用投影法向量计算投影向量夹角

根据n₁×n₂结果计算夹角α正负号，如果n₁×n₂的数值结果大于零则α取正号，否则α取负号。最终输出墙板俯仰角度计算结果α，。

优选地，如图3b所示，计算倾斜角度包括：

获取墙板B的平面法向量(a₁，b₁，c₁)，墙板A的平面法向量(a₂，b₂，c₂)；

把获取的两个平面法向量向XOZ平面投影，即墙板B的投影法向量为n₃＝(a₁,c₁)，墙板A法向量为n₄＝(a₂,c₂)；

计算投影向量夹角

根据n₃×n₄结果计算夹角β正负号，如果n₃×n₄的数值结果大于零则β取正号，否则β取负号，最终输出墙板倾斜角度计算结果β。

优选地，如图3c所示，计算两墙板的前后距离包括：

获取墙板B的平面法向量(a₁，b₁，c₁)，墙板A的平面法向量(a₂，b₂，c₂)，分别计算墙板B和墙板A的平面法向量的模|n₁₁|和|n₂₁|；

计算墙板B和墙板A的夹角，若夹角小于0.05°则认为两墙板平行，进行前后距离计算，如果大于0.05°则认为不平行，不进行计算；

计算墙板B和墙板A前后距离

输出墙板前后距离d。

控制电脑把前述计算得到的俯仰角度、倾斜角度、前后距离的结果输出给墙板安装机构，安装机构根据计算结果对待安装墙板B进行安装作业。

以上只是本发明的一个实施例，下面介绍本发明的另一实施例。

请参阅图4，本发明实施例提供一种适用于刚性板材安装的3D视觉检测方法，包括：

S201.获取3D相机基准位姿，设置倾角传感器零点；

S202.利用3D相机获取初始点云I，记录此时倾角传感器示数，根据示数对相机位姿进行相对修正，得到修正后的点云I′；

S203.利用图像处理系统对点云进行分割，获得分别对应板材A和板材B的聚类点云P_L和P_R；

S204.分别对聚类点云P_L和P_R进行平面拟合，得到分别对应板材A和板材B的平面方程；

S205.利用平面方程的平面参数分析板材A和板材B的相对位姿关系，计算若干个自由度的数值，控制台把若干个自由度数值输出给安装机构，安装机构根据视觉检测的引导进行安装作业。

优选地，板材A为已安装板材，用于安装基准参考，板材B为待安装板材。

优选地，步骤S201包括：

利用3D相机拍摄安装平面获取当前点云，调整3D相机和倾角传感器的位姿，使得安装平面的点云数据拟合的平面与水平面垂直，设置该位姿状态为倾角传感器的零点。

优选地，步骤S203包括：

根据点云I′的深度信息对点云进行滤波，得到滤波后的点云I″；

对点云I″进行降采样，得到点云N；

对点云N使用点云聚类算法进行点云分割，获得对应板材A和板材B的聚类点云P_L和P_R。

优选地，滤波进一步包括：

以板材B与相机的距离范围为滤波范围，滤除在该范围外的点云数据。

优选地，降采样进一步包括：

按照点云中点的索引顺序每十个点取一个点，降采样率设为10％。

优选地，点云聚类算法进行点云分割进一步包括：

S2031.输入点云N，分别建立空点列P、Q，把点云N中索引号为0的点p₀放入点列Q；

S2032.对点列Q建立新索引，取出点列Q中索引号为0的点p₀′，在点云N中搜索到点p₀′距离小于d所有的点，把所有点形成新的点集合M；

S2033.遍历集合M所有的点，判断所遍历的点是否在点列Q中，若不在点列Q中，则把该点放入点列Q，若存在于点列Q，则不放入；

S2034.把点p₀′从点列Q中移除，并放入点列P；

S2035.重复步骤S2032至S2034，直至点列Q为空，至此输出一聚类点云P；

S2036.将点云N中尚未聚类的点组成新的点云L,针对新的点云L，重复步骤S20331-S20335，直至所有的点均聚类完成，从而得到多个聚类点云P_i，其中i表示输出顺序，取值范围为(1,j)，j取值为聚类运算的总次数；

S2037.获取所有聚类点云P_i中点的数目，剔除点数过小的类，并取出点数最大的两个聚类点云；

S2038.分析步骤S2037中取出的两个聚类点云的位置关系，确定板材A和板材B对应的点云，使板材A对应的点云为P_L，板材B对应的点云为P_R，一般地若板材从左向右安装，则板材B在板材A的右边，则步骤S20337中，相对位置在右边的为板材B的点云，左边的为板材A的点云；若板材从右向左安装，则相反。

优选地，步骤S204包括：

S2041.遍历点云中所有的点，其中点的坐标设为(x，y，z)，计算其中x最大值x_max，x最小值x_min，y最大值y_max，y最小值y_min；

S2042.根据步骤S2041的计算结果选取感兴趣区域范围，其中x_上限＝(x_max-x_min)*0.8+x_min，x_下限＝(x_max-x_min)*0.2+x_min，y_上限＝(y_max-y_min)*0.8+y_min，y_下限＝(y_max-y_min)*0.2+y_min，取出选中的感兴趣区域范围内的点云；

S2043.对步骤S2042选取出的感兴趣区域范围内的点云，使用最小二乘法进行平面拟合，得到对应的平面方程；

S2044.针对聚类点云P_L和P_R，分别进行步骤S2041至S2043的操作。

优选地，步骤S2043包括：

设X为点云中x坐标矩阵，Y为点云中y坐标矩阵，Z为点云中z坐标矩阵，则有如式(1)-(2)所示，

aX+bY+c＝Z (1)

令

为待求取的平面参数矩阵，A＝[X Y 1]为点云x和y坐标矩阵，则有如式(3)所示，

Am＝Z (3)

求解平面参数矩阵如式(4)-(6)所示，

A^TAm＝A^TZ (4)

(A^TA)^-1A^TAm＝(A^TA)^-1A^TZ (5)

m＝(A^TA)^-1A^TZ (6)

其中A^T为A的转置矩阵，(A^TA)^-1为A^TA的广义逆矩阵，

根据前述的式(1)-(6)分别对板材B和板材A的平面方程的平面参数进行求解。

优选地，步骤S205包括：

分析板材A和板材B的相对位姿关系，设板材B的平面方程a₁x+b₁y+c₁z+d₁＝0，板材A的平面方程为a₂x+b₂y+c₂z+d₂＝0，利用两板材的平面参数计算俯仰角度、倾斜角度和两板材前后距离的数值，把计算结果输出给安装机构。

优选地，计算俯仰角度包括：

获取板材B的平面法向量(a₁，b₁，c₁),板材A的竖直平面法向量(0,0,1)；

把步骤S511获取的两个平面法向量向YOZ平面投影，即板材B的投影法向量为n₁＝(b₁,c₁)，板材A的竖直平面投影法向量为n₂＝(0,1)；

利用投影法向量计算投影向量夹角

根据n₁×n₂结果计算夹角α正负号，如果n₁×n₂的数值结果大于零则α取正号，否则α取负号。最终输出俯仰角度计算结果α。

优选地，计算倾斜角度包括：

获取板材B的平面法向量(a₁，b₁，c₁)，板材A的平面法向量(a₂，b₂，c₂)；

把步骤S20521获取的两个平面法向量向XOZ平面投影，即板材B的投影法向量为n₃＝(a₁,c₁)，板材B法向量为n₄＝(a₂,c₂)；

计算投影向量夹角

根据n₃×n₄结果计算夹角β正负号，如果n₃×n₄的数值结果大于零则β取正号，否则β取负号，最终输出倾斜角度计算结果β。

优选地，计算两板材的前后距离包括：

获取板材B的平面法向量(a₁，b₁，c₁)，板材A的平面法向量(a₂，b₂，c₂)，分别计算板材B和板材A的平面法向量的模|n₁₁|和|n₂₁|；

计算板材B和板材A的夹角，若夹角小于0.05°则认为两板材平行，进行前后距离计算，如果大于0.05°则认为不平行，不进行计算；

计算板材B和板材A前后距离

输出板材前后距离d。

控制台把前述的俯仰角度、倾斜角度和板材前后距离输出至板材安装机构，安装机构根据计算结果对板材进行安装作业。

下面介绍本发明的另一实施例，本发明的技术方案还可以应用于安装后续的一系列工序，进行全局的视觉引导，消除局部视觉引导引起的累计误差，简化工序流程的同时提高了作业自动化水平，降低人力物力成本，本发明实施例提供一种适用于墙板安装全局对齐的3D视觉检测装置，区别于局部对齐的方法，本实施例可以消除相邻墙板对齐的累计误差，简化工序流程，其装置结构包括：宽视野3D相机、倾角传感器、横梁、待安装墙板、图像处理系统、控制电脑、墙板安装机构。

优选地，宽视野3D相机与倾角传感器固定在一起。

优选地，3D相机用于获取横梁和待安装墙板的三维点云模型。

优选地，倾角传感器用于获取相机当前位姿状态，对相机进行位姿修正，以补偿因地面不平整造成相机位姿变化引起的测量误差。

优选地，横梁作为参考，用于墙板安装对齐基准。

优选地，图像处理系统安装在控制电脑上，用于对3D相机采集得到的三维点云模型进行分割和平面拟合，获取横梁和待安装墙板的平面方程，分析横梁和待安装墙板的相对位姿关系，计算安装所需自由度的数值。

优选地，控制电脑把图像处理系统计算得到的自由度数值输出给安装机构，为安装提供视觉引导。

优选地，墙板安装机构接收所需自由度数值对待安装墙板进行安装作业。

请参阅图5，

S301.获取3D相机基准位姿，设置倾角传感器零点；

S302.利用3D相机获取初始点云I，记录此时倾角传感器示数，根据示数对相机位姿进行相对修正，得到修正后的点云I′；

S303.利用图像处理系统对点云进行分割，获得分别对应横梁和待安装墙板的聚类点云P_L和P_R；

S304.分别对聚类点云P_L和P_R进行平面拟合，得到对应横梁和待安装墙板的平面方程；

S305.利用平面方程的平面参数分析横梁和待安装墙板的相对位姿关系，计算若干个自由度的数值，控制电脑把若干个自由度数值输出给安装机构，墙板安装机构根据视觉检测的引导进行墙板安装作业。

优选地，步骤S301包括：

利用3D相机拍摄安装平面获取当前点云，调整3D相机和倾角传感器的位姿，使得安装平面的点云数据拟合的平面与水平面垂直，设置该位姿状态为倾角传感器的零点。

优选地，步骤S303包括：

根据墙板点云I′的深度信息对点云进行滤波，得到滤波后的点云I″；

对点云I″进行降采样，得到点云N；

对点云N使用点云聚类算法进行点云分割，获得对应横梁和待安装墙板的聚类点云P_L和P_R。

优选地，滤波进一步包括：

以墙板与相机的距离范围为滤波范围，滤除在该范围外的点云数据。

优选地，降采样进一步包括：

按照点云中点的索引顺序每十个点取一个点，降采样率设为10％。

优选地，点云聚类算法进行点云分割包括：

S3031.横梁总处于一固定高度，以该固定高度为分割点，先把点云N分割成两部分，该固定高度以上为包含横梁的点云P_A，以下为包含待安装墙板的点云P_B；

S3032.针对步骤S3031初步分割后的点云P₁，建立空点列P、Q，把点云N中索引号为0的点p₀放入点列Q；

S3033.对点列Q建立新索引，取出点列Q中索引号为0的点p₀′，在点云P_A中搜索到点p₀′距离小于d所有的点，形成新的点集合M；

S3034.遍历集合M所有的点，判断所遍历的点是否在点列Q中，若不在点列Q中，则把该点放入点列Q，若存在于点列Q，则不放入；

S3035.把点p₀′从点列Q中移除，并放入点列P；

S3036.重复步骤S3033至S3035，直至点列Q为空，至此输出一聚类点云P；

S3037.将点云P_B中尚未聚类的点组成新的点云L,针对新的点云L，重复步骤S3032-S3035，直至所有的点均聚类完成，从而得到多个聚类点云P_i，其中i表示输出顺序，取值范围为(1,j)，j取值为聚类运算的总次数，获取所有聚类点云P_i中点的数目，剔除点数过小的类；

S3038.对点云P_B重复步骤S3032至S3033的操作；

S3039.针对包含横梁的点云P_A得到的多个聚类点云，其中点云数目最多的即为横梁点云P_L，针对包含待安装墙板的点云P_B，取出点数最大的两个聚类点云，分析取出的两个聚类点云的位置关系，本发明实施例中对墙板的安装顺序为从左至右，则相对位置在左的表示已安装墙板的聚类点云，相对位置在右的表示待安装墙板的聚类点云P_R。

优选地，步骤S304包括：

S3041.遍历点云中所有的点，其中点的坐标设为(x,y,z)，计算其中x最大值x_max，x最小值x_min，y最大值y_max，y最小值y_min；

S3042.根据步骤S1041的计算结果选取感兴趣区域范围，其中x_上限＝(x_max-x_min)*0.8+x_min，x_下限＝(x_max-x_min)*0.2+x_min，y_上限＝(y_max-y_min)*0.8+y_min，y_下限＝(y_max-y_min)*0.2+y_min，取出选中的感兴趣区域范围内的点云；

S3043.对步骤S3042选取出的感兴趣区域范围内的点云，使用最小二乘法进行平面拟合，得到对应的平面方程；

S3044.针对横梁和待安装墙板的聚类点云P_L和P_R，分别进行步骤S3041至S3043的操作。

优选地，步骤S3043包括：

设X为点云中x坐标矩阵，Y为点云中y坐标矩阵，Z为点云中z坐标矩阵，则有如式(1)-(2)所示，

aX+bY+c＝Z (1)

令

为待求取的平面参数矩阵，A＝[X Y 1]为点云x和y坐标矩阵，则有如式(3)所示，

Am＝Z (3)

求解平面参数矩阵如式(4)-(6)所示，

A^TAm＝A^TZ (4)

(A^TA)^-1A^TAm＝(A^TA)^-1A^TZ (5)

m＝(A^TA)^-1A^TZ (6)

其中A^T为A的转置矩阵，(A^TA)^-1为A^TA的广义逆矩阵；

根据前述的式(1)-(6)，分别对横梁和待安装墙板的平面参数进行求解。

优选地，步骤S305包括：

分析横梁和待安装墙板的相对位姿关系，设待安装墙板的平面方程a₁x+b₁y+c₁z+d₁＝0，横梁的平面方程为a₂x+b₂y+c₂z+d₂＝0，利用两者的平面参数计算俯仰角度、倾斜角度和两者前后距离的数值，把计算结果输出给墙板安装机构。

优选地，计算俯仰角度包括：

获取待安装墙板的平面法向量(a₁，b₁，c₁),横梁的竖直平面法向量(0,0,1)；

把步骤S40511获取的两个平面法向量向YOZ平面投影，即待安装墙板的投影法向量为n₁＝(b₁,c₁)，横梁的竖直平面投影法向量为n₂＝(0,1)；

利用投影法向量计算投影向量夹角

根据n₁×n₂结果计算夹角α正负号，如果n₁×n₂的数值结果大于零则α取正号，否则α取负号。最终输出两者俯仰角度计算结果α，。

优选地，计算倾斜角度包括：

获取待安装墙板的平面法向量(a₁，b₁，c₁)，横梁的平面法向量(a₂，b₂，c₂)；

把步骤S40521获取的两个平面法向量向XOZ平面投影，即待安装墙板的投影法向量为n₃＝(a₁,c₁)，横梁法向量为n₄＝(a₂,c₂)；

计算投影向量夹角

根据n₃×n₄结果计算夹角β正负号，如果n₃×n₄的数值结果大于零则β取正号，否则β取负号，最终输出墙板倾斜角度计算结果β。

优选地，计算两者的前后距离包括：

获取待安装墙板的平面法向量(a₁，b₁，c₁)，横梁的平面法向量(a₂，b₂，c₂)，分别计算待安装墙板和横梁的平面法向量的模|n₁₁|和|n₂₁|；

计算待安装墙板和横梁的夹角，若夹角小于0.05°则认为两者平行，进行前后距离计算，如果大于0.05°则认为不平行，不进行计算；

计算待安装墙板和横梁前后距离

输出前后距离d。

控制电脑把前述计算得到的俯仰角度、倾斜角度、前后距离的结果输出给墙板安装机构，安装机构根据计算结果对待安装墙板进行安装作业。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种3D视觉检测装置，其特征在于，包括：3D相机、倾角传感器、基准材料、安装材料、图像处理系统、控制端、安装机构；

所述3D相机和所述倾角传感器与图像处理系统连接；所述3D相机用于获取所述基准材料和所述安装材料的三维点云模型；所述倾角传感器用于获取所述3D相机当前位姿状态，对所述3D相机进行位姿修正，以补偿所述3D相机位姿变化引起的测量误差；所述图像处理系统安装在所述控制端上；利用所述图像处理系统进行点云分割，获取分别对应所述基准材料和所述安装材料的聚类点云，对所述聚类点云进行拟合，获得分别对应所述基准材料和所述安装材料的平面拟合方程；针对所述聚类点云，在所述平面拟合之前分别进行感兴趣区域范围选取；所述控制端把所述图像处理系统计算得到的自由度数值输出给所述安装机构，为安装提供视觉引导；所述安装机构接收所述自由度数值对安装材料进行安装作业。

2.根据权利要求1所述的3D视觉检测装置，其特征在于，所述图像处理系统对所述3D相机采集得到的所述三维点云模型进行点云分割、拟合，分析相对位姿关系，计算所述自由度数值。

3.根据权利要求1所述的3D视觉检测装置，其特征在于，所述基准材料为已安装的材料，用于安装基准参考；所述安装材料为待安装的材料。

4.根据权利要求1所述的3D视觉检测装置，其特征在于，利用所述3D相机获取初始点云，记录此时的倾角传感器示数，根据所述示数对所述3D相机位姿进行相对修正；所述图像处理系统得到所述拟合方程后利用方程参数分析所述两材料的相对位姿关系，计算所述自由度数值，所述控制端把所述自由度数值输出至所述安装机构，所述安装机构根据接收到的所述若干个自由度数值进行安装作业。

5.一种3D视觉检测方法，其特征在于，所述3D视觉检测方法包括以下步骤：

S1.获取3D相机基准位姿，设置倾角传感器零点；

S2.利用所述3D相机获取初始点云I，记录此时所述倾角传感器示数，根据所述示数对所述3D相机位姿进行相对修正，得到点云I′；

S3.利用图像处理系统对所述点云I′进行点云分割，获得分别对应基准材料和安装材料的聚类点云；

S4.分别对步骤S3获取的所述两个聚类点云进行平面拟合，得到分别对应所述基准材料和所述安装材料的平面方程；其中，针对所述聚类点云，在所述平面拟合之前分别进行感兴趣区域范围选取；

S5.利用所述平面方程的方程参数分析所述基准材料和所述安装材料的相对位姿关系，计算自由度的数值，引导安装机构进行安装作业。

6.根据权利要求5所述的3D视觉检测方法，其特征在于，步骤S1包括：利用所述3D相机拍摄安装平面获取当前点云，调整所述3D相机和所述倾角传感器的位姿，使得所述安装平面的所述点云数据拟合的平面与水平面垂直，设置当前位姿状态为所述倾角传感器的零点。

7.根据权利要求5所述的3D视觉检测方法，其特征在于，所述点云分割使用点云聚类算法，所述点云聚类算法包括以下步骤：

S31.对点云I′进行初步的滤波和降采样处理，得到点云N，分别建立空点列P、Q，把所述点云N中索引号为0的点p0放入所述点列Q；

S32.对所述点列Q建立新索引，取出所述点列Q中索引号为0的点p0′，在所述点云N中搜索到点p0′距离小于d所有的点，形成新的点集合M；

S33.遍历所述集合M所有的点，判断所遍历的点是否在所述点列Q中，若不在所述点列Q中，则把该点放入所述点列Q，若存在于所述点列Q，则不放入；

S34.把所述点p0′从所述点列Q中移除，并放入所述点列P；

S35.重复步骤S32至S34，直至所述点列Q为空，至此输出一聚类点云P；

S36.将所述点云N中尚未聚类的点组成新的点云L，针对所述点云L，重复步骤S31-S35，直至所有的点均聚类完成，从而得到多个聚类点云Pi，其中i表示输出顺序，取值范围为(1，j)，j取值为聚类运算的总次数；

S37.获取所有所述聚类点云Pi中点的数目，剔除点数过小的类，并取出点数最大的两个聚类点云，分析所述两个聚类点云的位置关系，确定所述基准材料和所述安装材料对应的点云，使所述基准材料对应的点云为所述聚类点云PL，所述安装材料对应的点云为所述聚类点云PR。

8.根据权利要求5所述的3D视觉检测方法，其特征在于，所述感兴趣区域范围的选取包括：针对所述聚类点云PL和PR，分别对所述两个聚类点云中的所有点遍历，其中点坐标设为设为(x，y)，分别计算x最大值xmax，x最小值xmin，y最大值ymax，y最小值ymin，范围上下限的选取为x上限＝(xmax-xmin)*0.8+xmin，x下限＝(xmax-xmin)*0.2+xmin，y上限＝(ymax-ymin)*0.8+ymin，y下限＝(ymax-ymin)*0.2+ymin。

9.根据权利要求5所述的3D视觉检测方法，其特征在于，所述平面拟合使用最小二乘法。

10.根据权利要求5所述的3D视觉检测方法，其特征在于，所述自由度进一步包括：俯仰角度、倾斜角度、所述两材料的前后距离。

Images