CN117474919B - 基于重建后的工件三维模型的工业质检方法、系统 - Google Patents

Abstract

本发明提供一种基于重建后的工件三维模型的工业质检方法、系统，所述方法包括：根据工件位置获取初始位置，对初始位置进行扫描；对工件在不同高度上进行面片扫描；通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，以切换扫描模式；如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则以顶部扫描模式对工件进行扫描；对点云面片数据进行拼接、缺失点检查、补偿；存储的点云面片数据，进行工件三维模型重建。本发明不依赖于工件的CAD模型即可实现工件三维模型重建，且整个方案具备通用性，在扫描过程中还实时根据扫描结果对扫描装置的扫描模式进行切换，从而可以获得完整、精细的工件模型，进而可以提高工业质检效率。

Description

基于重建后的工件三维模型的工业质检方法、系统

技术领域

本发明涉及检测技术领域，具体涉及一种基于重建后的工件三维模型的工业质检方法、基于重建后的工件三维模型的工业质检系统。

背景技术

在工业质检领域中，为了提高检测效率，可以通过扫描工件表面获取工件点云数据，根据点云数据进行工件三维模型重建，根据重建的三维模型进行质检。

现有技术中，大多采用手持式激光扫描仪获取复杂零件表面点云，采用商业软件进行三维模型重建。该方案有两个明显的缺陷：1、手持式扫描仪需要贴相当数量的标签点，且扫描结果不具备零件的位置信息，因为无法确定零件上的那些区域已经扫描过，经常造成零件上很多区域重复扫描，造成扫描点云太过密集，生成文件过大，增加后期处理负担，另外也容易出现部分区域没有扫描到，造成得到的零件模型文件部分区域缺失；2、后期需要在机器人坐标系下进行标定，而且在后期标定时准确性难以保证。

相关技术中，为了提高重建效率和准确性，提出一种基于工件的理论模型（例如CAD模型，计算机辅助设计模型）生成合适的扫描点，对零件进行扫描和重建，最后获得完整的模型重建的方法。然而，该方式存在以下问题：1、工件的理论模型获取困难，例如工件没有设计模型或碍于保密等原因无法提供；2、待重建工件存在磨损、缺失、变形等情况下，采用理论模型对零件进行重建，导致重建模型与当前模型不匹配；3、对于不同类型的零件模型需要重新生成扫描的方法，不具有通用性。

发明内容

为解决上述技术问题，本发明的第一个目的在于提出一种基于重建后的工件三维模型的工业质检方法。

本发明的第二个目的在于提出一种基于重建后的工件三维模型的工业质检系统。

本发明采用的技术方案如下：

本发明第一方面的实施例提出了一种基于重建后的工件三维模型的工业质检方法，基于拍摄装置进行工件三维模型重建，所述拍摄装置包括：机械臂、点云获取装置和旋转载台，所述点云获取装置安装在所述机械臂的末端，所述工件置于所述旋转载台上，所述方法包括以下步骤：对所述点云获取装置和所述机械臂进行手眼标定，对所述机械臂与旋转载台上进行标定；根据工件位置获取初始位置，控制点云获取装置对所述初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据所述点云质心更新扫描位姿；控制所述点云获取装置对所述工件在不同高度上进行面片扫描；通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，所述扫描模式包括：预测扫描模式和边缘扫描模式；对扫描结果进行水平闭环检查和高度判断；如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制所述点云获取装置以顶部扫描模式对工件进行扫描；根据标定结果和迭代最近点算法，对所述点云获取装置获取的点云面片数据进行拼接；对拼接后的点云面片数据进行缺失点检查；对所述缺失点进行补偿；缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建，根据重建后的工件三维模型进行工业质检。

本发明上述提出的基于重建后的工件三维模型的工业质检方法还可以具有如下附加技术特征：

根据本发明的一个实施例，在通过比较相邻两片点云面片数据对扫描结果进行增长性检查之前，还包括：对所述点云获取装置获取的点云面片数据行质量检查；如果质量检查不通过，则调整所述点云获取装置的位姿、曝光参数，直至所述点云面片数据质量检查通过。

根据本发明的一个实施例，通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，具体包括：计算当前高度上相邻两片点云面片数据的公有部分占新扫描位置的点云面片数据的百分比；如果所述百分比大于第一预设阈值，则切换所述点云获取装置的扫描模式。

根据本发明的一个实施例，所述点云获取装置工以预测扫描模式对工件进行扫描时：

获取当前点云面片数据的数据点集P，在点云获取装置的坐标系下，根据点云的分辨率，将当前点云面片数据的数据点集P划分为N条数据线；将每条数据线拟合成对应的二次曲线，并向点云获取装置所在坐标系的某一方向延伸 fov_length/2的距离，以得到预测点集Q，其中，fov_length为点云获取装置拍摄矩形块的长度范围；从当前点云面片数据的数据点集P中获取与所述预测点集Q相邻fov_length/2的数据点，将该数据点与所述预测点集Q组合生成新的数据面片点集Q1；计算所述新的数据面片点集Q1的点云的质心，作为点云获取装置扫描的中心点；计算所述新的数据面片点集Q1每个点的法向量的算术平均，得到平均点云法向量作为点云获取装置扫描的姿态。

根据本发明的一个实施例，所述点云获取装置以边缘扫描模式对工件进行扫描时：获取上一次点云获取装置的扫描位置；选择预测方向上的边界点中心点K作为新扫描位置，并保持扫描的姿势不变，根据扫描位置/>和所述边界点中心点K计算新扫描位置和上一次扫描位置的转换关系/>；获取机械臂末端绕旋转轴旋转任意角度θ的转换方程/>；根据/>、/>和/>获取点云获取装置新的扫描点位。

根据本发明的一个实施例，所述点云获取装置以顶部扫描模式对工件进行扫描时，获取点云获取装置上一轮扫描时的扫描位置，将/>向上平移fov_width/2的高度，同时将点云获取装置的姿态绕Y轴向下偏转预设角度，获取旋转后的点云获取装置的位姿/>；根据/>和/>获取顶部的扫描位姿/>。

根据本发明的一个实施例，对拼接后的点云面片数据进行缺失点检查，具体包括：将拼接后的点云面片数据进行滤波；根据滤波后的点云面片数据建立k-d树，搜索每个点在预设半径内的其他点作为邻居点，并记录邻居点的数量；根据邻居点的数量对点云面片数据进行顺序排序后，将排名前20%的点取出，作为缺失点。

根据本发明的一个实施例，对所述缺失点进行补偿，具体包括：对缺失点做基于欧式距离的聚类，将位置近似的点作为同一类；将每一类点云的质心点作为补偿扫描位置；计算聚类中每个点的法向量做算术平均，得到平均点云法向量，将所述平均点云法向量作为补偿扫描方向；根据所述补偿扫描位置和所述扫描方向对所述缺失点进行补偿。

根据本发明的一个实施例，所述点云获取装置为面3D（三维）扫描仪。

本发明第二方面的实施例提出了一种基于重建后的工件三维模型的工业质检系统，基于拍摄装置进行工件三维模型重建，所述拍摄装置包括：机械臂、点云获取装置和旋转载台，所述点云获取装置安装在所述机械臂末端，所述工件置于所述旋转载台上，所述系统包括：标定模块，所述标定模块用于对所述点云获取装置和所述机械臂进行手眼标定，对所述机械臂与旋转载台上进行标定；更新模块，所述更新模块用于根据工件位置获取初始位置，控制点云获取装置对所述初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据所述点云质心更新扫描位姿；扫描模块，所述扫描模块用于控制所述点云获取装置对所述工件在不同高度上进行面片扫描；第一切换模块，所述第一切换模块用于通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，所述扫描模式包括：预测扫描模式和边缘扫描模式；判断模块，所述判断模块用于对扫描结果进行水平闭环检查和高度判断；第二切换模块，所述第二切换模块用于如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制所述点云获取装置以顶部扫描模式对工件进行扫描；拼接模块，所述拼接模块用于根据标定结果和迭代最近点算法，对所述点云获取装置获取的点云面片数据进行拼接；补偿模块，所述补偿模块用于对拼接后的点云面片数据进行缺失点检查，对所述缺失点进行补偿；重建模块，所述重建模块用于缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建；质检模块，所述质检模块用于根据重建后的工件三维模型进行工业质检。

本发明的有益效果：

本发明不依赖于工件的CAD模型即可实现工件三维模型重建，且整个方案具备通用性，对于不同类型的工件均适用，在重建过程中，整体扫描过程分为初始扫描和补偿扫描阶段，初始扫描是对零件先进行一个大致的雏形扫描，补偿阶段则针对初始的扫描结果寻找缺失、遗漏的部分，并进行多轮的补偿实现对零件的完整扫描，在扫描过程中还实时根据扫描结果对扫描装置的扫描模式进行切换，交替完成扫描，从而可以获得完整、精细的工件模型，进而可以提高工业质检效率。

附图说明

图1是根据本发明一个实施例的基于重建后的工件三维模型的工业质检方法的流程图；

图2是根据本发明一个具体示例的基于重建后的工件三维模型的工业质检方法的过程图；

图3是根据本发明一个实施例的基于重建后的工件三维模型的工业质检系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中，基于拍摄装置进行工件三维模型重建，拍摄装置包括：机械臂、点云获取装置、伺服以及旋转载台。本发明中，认为拍摄装置的各个部件都按照设计要求正确安装，以机械臂所在的坐标系为准，部分都能够正常工作。工件放置在旋转载台上。

点云获取装置可以为3D面扫描仪，扫描后可获得一小块长方体范围内的规则的点云数据，其外形为长方体，本身为右手坐标系： X为长方体的高边方向，Y为长方体的长边方向，Z方向为长方体宽边方向，与扫描方向一致。参数如下：

a)工作距离(mm)：镜头下端到物体表面的距离，此时为能拍摄到物体表面点云的距离，记作working_distance

b) 视野长度(mm)：拍摄矩形块的长度范围,对应自身坐标Y方向，记作fov_length。

c) 视野宽度(mm)：拍摄矩形块的宽度范围，对应自身坐标X方向，记作fov_width。

d) 视野深度(mm)：拍摄矩形块的深度范围，对应自身坐标Z方向，记作fov_depth。

e) 分辨率（mm）：点云数据点与点之间的距离，越小点云越密集，记为d_resolution。

图1是根据本发明一个实施例的基于重建后的工件三维模型的工业质检方法的流程图，如图1所示，该方法包括以下步骤：

S1，对点云获取装置和机械臂进行手眼标定，对机械臂与旋转载台进行标定。

具体地，将点云获取装置固定安装至机械臂末端（TCP），确保在移动时两者的相对位置关系不会改变，使用手眼标定的办法对两者进行标定，可以得到从点云获取装置坐标系到机械臂末端坐标系的转换关系。/>为点云获取装置坐标系下的点云坐标，/>为在机械臂底座坐标系下的点云坐标。/>表示从机械臂末端TCP的坐标系到机械臂底座坐标系的转换关系，可以通过机械臂的说明书获得。 由此可以得到获取的点云获取装置到机械臂坐标系的转换关系：/>。根据该转换关系对点云获取装置和机械臂进行手眼标定。

在实际应用时，工件会放置在旋转载台上，在某些机械臂难以到达的位置则需要通过载台旋转来调整姿态。因此，需要计算旋转载台在机械臂底座坐标系下的位置，以及旋转轴。

在点云获取装置已经做好标定的前提下，将球状标定物固定在旋转载台上，每隔固定角度θ进行旋转，并对球状物进行扫描，获得点云面片数据P _i ，直至载台旋转一周，共采集N次，N为正整数。每个点云面片均是球面的一部分，因此，对每个点云面片数据P _i 拟合球心，可得在不同转角下的球心位置，这些球心的位置构成三维空间中的一个圆面，通过计算球心和圆面的法向，即可获得需要的圆心C(a，b，c)和旋转轴向量()。 从而可以得到将机械臂末端TCP绕旋转轴旋转任意角度θ后的转换方程

由此可以得到考虑选择载台的情况下，获取到的点云数据（点云面片数据）到机械臂坐标系的转换关系如下：。根据该转换关系对机械臂与旋转载台上进行标定。

S2，根据工件位置获取初始位置，控制点云获取装置对初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据点云质心更新扫描位姿。

具体地，由于没有可以参考的CAD模型，因此需要提供初始位置做初始化。初始位置通常放置在工件的左下角处，仅需能扫描到部分数据即可。对初始位置进行扫描之后，得到初始的点云数据，计算点云的质心center。不改变扫描姿态的情况下，将点云获取装置平移至计算的质心位置，以更新扫描位姿，获得更多的数据。

S3，控制点云获取装置对工件在不同高度上进行面片扫描。

具体地，每个高度上均进行水平闭环扫描，当前高度水平闭环扫描完成后，上升高度进行下一高度的水平闭环扫描。

S4，通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换点云获取装置的扫描模式，扫描模式包括：预测扫描模式和边缘扫描模式。

具体地，点云获取装置的扫描模式初始为预测扫描模式，预测扫描模式下，仅需要提供一个初始的扫描位置，在获取到相应的点云面片数据时，会根据当前获得的数据在某一个方向上预测下一次拍摄的位置和姿态。由于单一方向上的预测方式，在某些情况下会遇到瓶颈，从而无法获得新的数据。因此，切换使用边缘扫描模式，基于之前的扫描位置通过载台的旋转调整工件的姿态来获得新的数据。当获得足够多的新数据时，重新切换回预测模式进行扫描，交替完成扫描。

根据本发明的一个实施例，通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换点云获取装置的扫描模式，具体包括：计算当前高度上相邻两片点云面片数据的公有部分占新扫描位置的点云面片数据的百分比；如果百分比大于第一预设阈值（例如（80%）），意味着在新的扫描位置上没有获得足够的新数据，当前模式可能陷入了瓶颈，则切换点云获取装置的扫描模式，如果当前为预测扫描模式，则切换为边缘扫描模式，如果当前为边缘扫描模式，则切换为预测扫描模式。

S5，对扫描结果进行水平闭环检查和高度判断。

S6，如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制点云获取装置以顶部扫描模式对工件进行扫描。

具体地，基于预测模式和边缘模式的切换，可以获得在某一高度上，零件360°的扫描结果。因此，需要在水平和高度方向进行判断，当对零件的某一高度进行多次的扫描过后，需要判断是否闭环，避免重复扫描，闭环检查即判断扫描点是否回到了最初的扫描位置，数据是否实现闭环，避免重复扫描。如果已经实现闭环，则需要抬升高度，进行新高度下的扫描。如果判定已经回到了最初的扫描位置，则上升高度，判断在高度方向上是否有足够多的新数据。如果满足条件，则并没有到达零件的顶部位置；如果不满足条件，则可能已经到达了零件的顶部位置，需要更换成为顶部的扫描模式。

顶部扫描结束后，完成工件的初始扫描过程，初始扫描是对零件先进行一个大致的雏形扫描。

下面结合具体的实施例描述预测扫描模式、边缘扫描模式和顶部扫描模式的具体工作过程。

根据本发明的一个实施例，点云获取装置工以预测扫描模式对工件进行扫描时：获取当前点云面片数据的数据点集P，在点云获取装置的坐标系下，根据点云的分辨率，将当前点云面片数据的数据点集P划分为N条数据线，其中，N为正整数且，fov_width为点云获取装置拍摄矩形块的宽度范围，/>为点云的分辨率；将每条数据线拟合成对应的二次曲线，并向点云获取装置所在坐标系的某一方向（例如Y方向）延伸 fov_length/2的距离，以得到预测点集Q，其中，fov_length为点云获取装置拍摄矩形块的长度范围；从当前点云面片数据的数据点集P中获取与预测点集Q相邻fov_length/2的数据点，将该数据点与预测点集Q组合生成新的数据面片点集Q1；计算新的数据面片点集Q1的点云的质心，作为点云获取装置扫描的中心点；计算新的数据面片点集Q1每个点的法向量的算术平均，得到平均点云法向量作为点云获取装置扫描的姿态。

由此，可以得到点云获取装置新的扫描点的位置和姿态，通过转换关系可以得到机械臂的姿态。

可以理解，在获得预测点集Q，取与预测点集Q相邻fov_length/2的数据点组合，获得新的数据面片点集Q1，作为对下一次拍照点可能覆盖的区域的预测，保留原有的数据点是为了保证数据面片之间的重叠区域，保证后面数据拼接的准确性。

根据本发明的一个实施例，点云获取装置以边缘扫描模式对工件进行扫描时：获取上一次点云获取装置的扫描位置；选择预测方向上的边界点中心点K作为新扫描位置，并保持扫描的姿势不变，根据扫描位置/>和边界点中心点K计算新扫描位置和上一次扫描位置的转换关系/>；获取机械臂末端绕旋转轴旋转任意角度θ后的转换方程；根据/>、/>和/>获取点云获取装置新的扫描点位，其中，/>。

可以理解，如果，K=(x2，y2，z2)，则。

根据本发明的一个实施例，点云获取装置以顶部扫描模式对工件进行扫描时：获取点云获取装置上一轮扫描时的扫描位置，将/>向上平移fov_width/2的高度，同时将点云获取装置的姿态绕Y轴向下偏转预设角度（例如45°），获取旋转后的点云获取装置的位姿/>；根据/>和/>获取顶部的扫描位姿/>，其中，。

S7，根据标定结果和迭代最近点算法，对点云获取装置获取的点云面片数据进行拼接。

具体地，基于之前的标定过程和和数据的转换方式，将每次扫描的数据转换到同一的机械臂坐标系底下。基于标定的结果和每次扫描数据之间的重复区域，利用迭代最近点算法（Iterative Closest Point ，ICP），得到转换至拼接位置的转换矩阵，将数据片两两拼接在一起。 可得到最终的将扫描仪数据点/>转换到统一机械臂坐标系下的正确拼接位置的转换方程/>：。

S8，对拼接后的点云面片数据进行缺失点检查。

根据本发明的一个实施例，对拼接后的点云面片数据进行缺失点检查，具体包括：将拼接后的点云面片数据进行滤波；根据滤波后的点云面片数据建立K-D树，搜索每个点在预设半径内的其他点作为邻居点，并记录邻居点的数量；根据邻居点的数量对点云面片数据进行顺序排序后，将排名前20%的点取出，作为为缺失点。

S9，对缺失点进行补偿。

根据本发明的一个实施例，对缺失点进行补偿，具体包括：对缺失点做基于欧式距离的聚类，将位置近似的点作为同一类；将每一类点云的质心点作为补偿扫描位置；计算聚类中每个点的法向量做算术平均，得到平均点云法向量，将平均点云法向量作为补偿扫描方向；根据补偿扫描位置和扫描方向对缺失点进行补偿。

具体地，欧式距离聚类算法是一种基于欧氏距离的聚类算法，其思想是将样本空间中距离比较近的样本点归为一类，距离较远的样本点归为不同的类，欧氏距离是指在n维空间中两个点之间的距离。

欧式距离聚类算法主要包括以下步骤：

1、初始化：将每个样本点看作一个聚类。2、计算相邻聚类之间的距离，通常采用单链接（single linkage）或者完全链接（complete linkage）方法计算距离。3、合并距离最近的两个聚类，形成一个新的聚类。4、重复步骤2和3，直到所有的样本点都被聚为一个类或达到预设的聚类数目。

S10，缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建。

S11，根据重建后的工件三维模型进行工业质检。

具体地，获取新的缺失点后，重新控制机械臂进行扫描，得到所有的新数据后，重复上述的点云拼接、缺失点获取、缺失点补偿等过程。同时，记录每一轮K-D树计算的点云邻居的均值，当两轮的均值小于设定阈值/>，即/>，/>为第i轮点云邻居的均值，/>为第（i+1）轮点云邻居的均值，即可认为获得了足够的数补偿，缺失点补偿结束，存储点云面片数据。如此即可通过多轮的扫描，获得完整的数据模型。

步骤S7-S10为补偿扫描过程，将已经扫描好的数据片拼接起来，获取一个大致的零件点云模型。通过寻找遗漏，缺失部分的边界轮廓，重新生成新的补偿扫描点，扫描并补偿，不断的补充点云模型。经过多次的补偿后，即可获得完整的精细的模型。

由于扫描位置是基于现有数据的预测，因此有可能并非能够一次达到最好的扫描位姿，因此需要对每次扫描的结果进行额外的质量检查，对不满足的位姿进行调整并重新拍照。

根据本发明的一个实施例，在通过比较相邻两片点云面片数据对扫描结果进行增长性检查之前，还包括：对点云获取装置获取的点云面片数据行质量检查；如果质量检查不通过，则调整点云获取装置的位姿、曝光参数，直至点云面片数据质量检查通过。

具体地，在更新扫描位姿，计算扫描到点云面片数据的数据点数量A，和标准情况下的数据点S进行比较。（ 将扫描到的数据点在点云获取装置坐标系下,投影至X-Y平面，标准状况下的数据点数量 S = fov_length/d_resolution * fov_width/d_resolution）。如果Q/S的百分比数量很少，则可能是由于零件表面材料反光等因素导致点云面片数据质量检查不通过，因此，可以调整点云获取装置的位姿、曝光时间和曝光率等参数，直至点云面片数据质量检查通过。

为使本领域技术人员更清楚地理解本发明，下面结合图2的示例来描述本发明实施例上述的基于拍摄装置的工件三维模型重建方法的过程图。如图2所示，该过程包括以下步骤：

对点云获取装置和机械臂进行手眼标定，对机械臂与旋转载台进行标定（S101）完成后，进行初始位置扫描，根据初始位置扫描结果更新扫描位姿（S102-S103）。然后控制点云获取装置进行对工件在不同高度上进行面片扫描，再对扫描的点云面片数据行质量检查（S104-S105），如果质量检查不通过，则调整点云获取装置的位姿、曝光参数直至点云面片数据质量检查通过（S106）。质量检查通过后，对扫描结果进行增长性检查（S107），根据增长性检查结果控制点云获取装置的工作模式在预测扫描模式和边缘扫描模式中切换，如果扫描结果满足增长性条件，则控制点云获取装置的工作在预测扫描模式，如果不满足，则控制点云获取装置的工作在边缘扫描模式（S108-S109），同时每次扫描后判断是否扫描数据实现闭环且扫描高度到达工件的顶部位置（S110），如果否，则返回步骤S104，如果是，则控制点云获取装置以顶部扫描模式对工件进行扫描（S111）。顶部扫描结束后，对点云获取装置获取的点云面片数据进行拼接、缺失点检查和缺失点补偿（S112-114），缺失点补偿结束，存储所获取的点云面片数据（S115）。由此，根据存储的点云面片数据即可进行工件三维模型重建，根据重建后的工件三维模型进行工业质检即可。

综上所述，根据本发明实施例的基于拍摄装置的工件三维模型重建方法，不依赖于工件的CAD模型即可实现工件三维模型重建，且整个方案具备通用性，对于不同类型的工件均适用，在重建过程中，整体扫描过程分为初始扫描和补偿扫描阶段，初始扫描是对零件先进行一个大致的雏形扫描，补偿阶段则针对初始的扫描结果寻找缺失、遗漏的部分，并进行多轮的补偿实现对零件的完整扫描，在扫描过程中还实时根据扫描结果对扫描装置的扫描模式进行切换，交替完成扫描，从而可以获得完整、精细的工件模型，进而可以提高工业质检效率。

与上述的基于重建后的工件三维模型的工业质检方法相对应，本发明还提出一种基于重建后的工件三维模型的工业质检系统。由于本发明的系统实施例与上述的方法实施例相对应，对于系统实施例中未披露的细节可参见上述的方法实施例，本发明中不再进行赘述。

基于拍摄装置进行工件三维模型重建，拍摄装置包括：机械臂、点云获取装置和旋转载台，点云获取装置安装在机械臂末端，工件置于旋转载台上，图3是根据本发明一个实施例的基于重建后的工件三维模型的工业质检系统的方框示意图，如图3所示，该系统包括：标定模块100、更新模块200、扫描模块300、第一切换模块400、判断模块500、第二切换模块600、拼接模块700、补偿模块800、重建模块900和质检模块1000。

其中，标定模块100用于对点云获取装置和机械臂进行手眼标定，对机械臂与旋转载台上进行标定；更新模块200用于根据工件位置获取初始位置，控制点云获取装置对初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据点云质心更新扫描位姿；扫描模块300用于控制点云获取装置对工件在不同高度上进行面片扫描；第一切换模块400用于通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换点云获取装置的扫描模式，扫描模式包括：预测扫描模式和边缘扫描模式；判断模块500用于对扫描结果进行水平闭环检查和高度判断；第二切换模块600用于如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制点云获取装置以顶部扫描模式对工件进行扫描；拼接模块700用于根据标定结果和迭代最近点算法，对点云获取装置获取的点云面片数据进行拼接；补偿模块800用于对拼接后的点云面片数据进行缺失点检查，对缺失点进行补偿；重建模块900用于缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建，质检模块1000用于根据重建后的工件三维模型进行工业质检。

根据本发明的一个实施例，上述的基于拍摄装置的工件三维模型重建系统还包括：质量检查模块，所述质量检测模块用于在通过比较相邻两片点云面片数据对扫描结果进行增长性检查之前，对所述点云获取装置获取的点云面片数据行质量检查；如果质量检查不通过，则调整所述点云获取装置的位姿、曝光参数，直至所述点云面片数据质量检查通过。

根据本发明实施例的基于重建后的工件三维模型的工业质检系统，不依赖于工件的CAD模型即可实现工件三维模型重建，且整个方案具备通用性，对于不同类型的工件均适用，在重建过程中，整体扫描过程分为初始扫描和补偿扫描阶段，初始扫描是对零件先进行一个大致的雏形扫描，补偿阶段则针对初始的扫描结果寻找缺失、遗漏的部分，并进行多轮的补偿实现对零件的完整扫描，在扫描过程中还实时根据扫描结果对扫描装置的扫描模式进行切换，交替完成扫描，从而可以获得完整、精细的工件模型，进而可以提高工业质检的效率。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于重建后的工件三维模型的工业质检方法，其特征在于，基于拍摄装置进行工件三维模型重建，所述拍摄装置包括：机械臂、点云获取装置和旋转载台，所述点云获取装置安装在所述机械臂的末端，所述工件置于所述旋转载台上，所述方法包括以下步骤：

对所述点云获取装置和所述机械臂进行手眼标定，对所述机械臂与旋转载台进行标定；

根据工件位置获取初始位置，控制点云获取装置对所述初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据所述点云质心更新扫描位姿；

控制所述点云获取装置对所述工件在不同高度上进行面片扫描；

通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，所述扫描模式包括：预测扫描模式和边缘扫描模式；

对扫描结果进行水平闭环检查和高度判断；

如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制所述点云获取装置以顶部扫描模式对工件进行扫描；

根据标定结果和迭代最近点算法，对所述点云获取装置获取的点云面片数据进行拼接；

对拼接后的点云面片数据进行缺失点检查；

对所述缺失点进行补偿；

缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建；

根据重建后的工件三维模型进行工业质检。

2.根据权利要求1所述的基于重建后的工件三维模型的工业质检方法，其特征在于，在通过比较相邻两片点云面片数据对扫描结果进行增长性检查之前，还包括：

对所述点云获取装置获取的点云面片数据行质量检查；

如果质量检查不通过，则调整所述点云获取装置的位姿、曝光参数，直至所述点云面片数据质量检查通过。

3.根据权利要求1所述的基于重建后的工件三维模型的工业质检方法，其特征在于，通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，具体包括：

计算当前高度上相邻两片点云面片数据的公有部分占新扫描位置的点云面片数据的百分比；

如果所述百分比大于第一预设阈值，则切换所述点云获取装置的扫描模式。

4.根据权利要求3所述的基于重建后的工件三维模型的工业质检方法，其特征在于，所述点云获取装置工以预测扫描模式对工件进行扫描时：

获取当前点云面片数据的数据点集P，在点云获取装置的坐标系下，根据点云的分辨率，将当前点云面片数据的数据点集P划分为N条数据线；

将每条数据线拟合成对应的二次曲线，并向点云获取装置所在坐标系的某一方向延伸fov_length/2的距离，以得到预测点集Q，其中，fov_length为点云获取装置拍摄矩形块的长度范围；

从当前点云面片数据的数据点集P中获取与所述预测点集Q相邻fov_length/2的数据点，将该数据点与所述预测点集Q组合生成新的数据面片点集Q1；

计算所述新的数据面片点集Q1的点云的质心，作为点云获取装置扫描的中心点；

计算所述新的数据面片点集Q1每个点的法向量的算术平均，得到平均点云法向量作为点云获取装置扫描的姿态。

5.根据权利要求3所述的基于重建后的工件三维模型的工业质检方法，其特征在于，所述点云获取装置以边缘扫描模式对工件进行扫描时：

获取上一次点云获取装置的扫描位置；

选择预测方向上的边界点中心点K作为新扫描位置，并保持扫描的姿势不变，根据扫描位置和所述边界点中心点K计算新扫描位置和上一次扫描位置的转换关系/>；

获取机械臂末端绕旋转轴旋转任意角度θ后的转换方程；

根据、/>和/>获取点云获取装置新的扫描点位。

6.根据权利要求3所述的基于重建后的工件三维模型的工业质检方法，其特征在于，所述点云获取装置以顶部扫描模式对工件进行扫描时，

获取点云获取装置上一轮扫描时的扫描位置，将/>向上平移fov_width/2的高度，同时将点云获取装置的姿态绕Y轴向下偏转预设角度，获取旋转后的点云获取装置的位姿/>；

根据和/>获取顶部的扫描位姿。

7.根据权利要求1所述的基于重建后的工件三维模型的工业质检方法，其特征在于，对拼接后的点云面片数据进行缺失点检查，具体包括：

将拼接后的点云面片数据进行滤波；

根据滤波后的点云面片数据建立K-D树搜索每个点在预设半径内的其他点作为邻居点，并记录邻居点的数量；

根据邻居点的数量对点云面片数据进行顺序排序后，将排名前20%的点取出，作为为缺失点。

8.根据权利要求1所述的基于重建后的工件三维模型的工业质检方法，其特征在于，对所述缺失点进行补偿，具体包括：

对缺失点做基于欧式距离的聚类，将位置近似的点作为同一类；

将每一类点云的质心点作为补偿扫描位置；

计算聚类中每个点的法向量做算术平均，得到平均点云法向量，将所述平均点云法向量作为补偿扫描方向；

根据所述补偿扫描位置和所述扫描方向对所述缺失点进行补偿。

9.根据权利要求1-8中任一项所述的基于重建后的工件三维模型的工业质检方法，其特征在于，所述点云获取装置为面3D扫描仪。

10.一种基于重建后的工件三维模型的工业质检系统，其特征在于，基于拍摄装置进行工件三维模型重建，所述拍摄装置包括：机械臂、点云获取装置和旋转载台，所述点云获取装置安装在所述机械臂末端，所述工件置于所述旋转载台上，所述系统包括：

标定模块，所述标定模块用于对所述点云获取装置和所述机械臂进行手眼标定，对所述机械臂与旋转载台上进行标定；

更新模块，所述更新模块用于根据工件位置获取初始位置，控制点云获取装置对所述初始位置进行扫描，根据初始位置的点云数据获取点云质心，根据所述点云质心更新扫描位姿；

扫描模块，所述扫描模块用于控制所述点云获取装置对所述工件在不同高度上进行面片扫描；

第一切换模块，所述第一切换模块用于通过比较当前高度上相邻两片点云面片数据对扫描结果进行增长性检查，根据增长性检查结果切换所述点云获取装置的扫描模式，所述扫描模式包括：预测扫描模式和边缘扫描模式；

判断模块，所述判断模块用于对扫描结果进行水平闭环检查和高度判断；

第二切换模块，所述第二切换模块用于如果扫描数据实现闭环且扫描高度到达工件的顶部位置，则控制所述点云获取装置以顶部扫描模式对工件进行扫描；

拼接模块，所述拼接模块用于根据标定结果和迭代最近点算法，对所述点云获取装置获取的点云面片数据进行拼接；

补偿模块，所述补偿模块用于对拼接后的点云面片数据进行缺失点检查，对所述缺失点进行补偿；

重建模块，所述重建模块用于缺失点补偿结束，存储点云面片数据，根据存储的点云面片数据进行工件三维模型重建；

质检模块，所述质检模块用于根据重建后的工件三维模型进行工业质检。