CN109532021A - 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法 - Google Patents

Abstract

本发明公开了一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法。搭建包含数字光栅投影仪、CMOS相机的结构光检测系统，计算相机坐标系和CAD模型坐标系的变换矩阵；在打印机打印的过程逐层检测并去除无效点得到拍摄点云，将CAD模型的标准点云变换到相机坐标系下生成变换点云，根据打印层高和单层厚度对变换点云进行切片得到切片点云，通过计算切片点云和拍摄点云间的欧氏距离，判断打印是否存在线性异常点；同时提取拍摄点云顶层点云，计算顶层点云的法向量，判断是否存在线性异常点。本发明能实时检测打印过程是否发生错误，及时反馈，减少不必要的材料损耗，可用于检测打印制品内部孔隙、气孔等，保证精确打印制品的机械性能。

Description

基于结构光线性异常点的3D打印熔积缺陷逐层检测方法

技术领域

本发明涉及计算机视觉及工业自动化检测技术，具体一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法。

背景技术

3D打印技术又称增材制造是工业4.0时代最具发展前景的制造技术之一，其实基于三维CAD模型数据，通过增加材料逐层制造的方式，采用直接制造与相应数学模型完全一致的三维物理实体模型的制造方法。具有数字制造、降维制造、堆积制造、直接制造、快速制造的特点和优势。

3D打印制造过程由于打印参数设置、喷头温度不稳定等，都可能会引起打印产品表面出现凸起、翘边无法与其他零件装配组合；打印件内部由于打印材料不均匀、出丝速度与填充速度不匹配等，出现微小气孔和缺陷，打印过程热量分布难以控制，材料冷却不充分，造成打印件产生缺陷，降低零件强度，导致打印制品次品件的出现，从而增加整体的成本。

目前国内对于3D打印机故障行检测尚处于萌芽阶段。对于3D打印机实时检测的方式主要为以下几种。利用光电传感器，采用光耦传感器检测信号，根据打印材料的遮挡效应检测打印机是否正常工作，该方法只能检测断丝、堵头、挤丝机构异常等严重故障。利用红外光谱分析3D打印过程进行实时检测，采用可移动的红外光谱分析仪，通过对比监测点的红外光谱和设计样本的标准光谱，该方法用于检测打印物体所用材料的准确度，适用于多材料的复合打印，无法对打印精度加以检测。基于声发射传感器对打印过程实时检测，利用声发射传感器检测材料中声发射源所激发的应力波，对打印件进行无损检测，声发射信号具有高频特性，增加了采集信号的数据量，增大后期信号处理与存储负担，不利于实时检测。

采用三维结构光对打印物体投射数字光栅，通过对相位信息解包裹求解得到点云逐渐成为一种三维测量的新方式，该方法用于3D打印缺陷检测可不受温度及缺陷的形状、方位以及表面纹理的影响，不仅能精确获取打印零件的轮廓特征，还能获取每层缺陷的深度信息，利于缺陷的提取和重建；

本专利分别从外部轮廓和内部填充对打印件进行逐层检测，利用数字结构光获取打印件每层点云，对重建点云及模型线性异常点进行匹配分，可以提高打印三维实体的质量以及打印产品良品的成功率。

发明内容

本发明为解决复杂3D打印制品实时缺陷检测的不足，提出一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，可用于对复杂3D打印制品打印过程中实时逐层检测，保证打印效果。

本发明的技术方案如下：

步骤1)，将数字光栅投影仪、CMOS相机置于3D打印机上方合适位置，采用二维平面靶标标定法，计算相机坐标系和CAD模型坐标系的变换矩阵；相机坐标系是以相机光心为坐标系中心建立的三维笛卡尔坐标系。

步骤2)，导入打印零件的CAD模型，设置打印参数，打印参数包括喷头温度、压力、送丝速度和打印层厚，3D打印机在打印过程当中每打印完一层通过数字光栅投影仪投影光栅图案、再通过CMOS相机拍摄单层图像生成原始点云，对原始点云进行直通滤波去除无效干扰点得到拍摄点云；

无效干扰点是指打印区域以外的点。利用直通滤波设置Z方向的安全距离值去除干扰点，排除非顶层平面点引起的干扰，提高顶层平面分割的成功率，同时去除大量干扰点提高采样一致算法的效率，Z方向是指垂直于3D打印平面向下的方向。

步骤3)，将CAD模型生成的标准点云通过变换矩阵变换到相机坐标系下生成变换点云，根据打印高度和层厚对变换点云进行切片得到切片点云；

步骤4)，设置距离缺陷阈值和角度缺陷阈值并根据距离缺陷阈值和角度缺陷阈值逐层检测缺陷：

针对切片点云中的每个点作为切片点，从拍摄点云找到距离最近的点作为拍摄点，求取切片点与拍摄点之间的距离，将切片点与拍摄点之间的距离与距离缺陷阈值比较提取外轮廓异常点，对外轮廓异常点进行欧式聚类获取打印物体表面缺陷；

利用采样一致方法从拍摄点云中提取顶层点云，计算顶层点云每个点的法向量，将顶层点云每个点的法向量的Z方向分量与角度缺陷阈值反余弦函数值比较，提取内部异常点，对内轮廓异常点进行欧式聚类获取打印物体内部缺陷。

所述的步骤4)中利用采样一致方法从拍摄点云提取顶层点云具体为：

针对拍摄点云，预设匹配基元为平面，采用随机采样方法拟合匹配基元的平面并进行多次处理获得不同的平面模型，计算平面模型中的点数量，选取点数量最多的平面模型作为最优平面，将最优平面中的点作为顶层点云从拍摄点云中提取出来。采样一致方法能够准确提取顶层点云同时不破坏顶层可能存在的缺陷。

所述的步骤3)具体是：

3.1)将CAD模型生成标准点云；

提取打印零件的CAD模型的三角形面片的顶点坐标和法向量转化为点云数据，再调用点云库PCL中的点云网格采样库pcl_mesh_sampling，使用可视化工具库VTK(VisuliZation Toolkit)读取并在打印零件的标准CAD模型均匀采样然后生成标准点云。

3.2)根据打印高度H设置Z方向的切片范围为(H-iL,H-(i+1)L)并选取切片点云，其中：i表示打印层序数，L为预设打印层高，H表示打印高度；打印高度H计算为：

H＝n×L

其中，n表示打印层总数。

对CAD模型点云进行切片比较，可以避免底层标准点的重复比较，显著提高异常打印点搜索效率。

所述的步骤4)具体是：

4.1)设置距离缺陷阈值提取表面缺陷：针对切片点云中的每个点，从标准点云找到距离最近的点，求取两个点之间的距离并作判断：若距离小于缺陷阈值，则切片点云中的该点为正常打印点；若距离大于等于缺陷阈值，则切片点云中的该点为异常打印点；

比较的实质是将切片点云和拍摄点云进行比较，计算切片点云中的点到对应拍摄点云上的点之间的欧氏距离，得到每个模型点云到实际拍摄点云的偏差。

4.2)设置角度缺陷阈值提取内部缺陷：针对精配准顶层点云中的每个点的法向量Z轴方向分量，与角度缺陷阈值的反余弦函数值进行比较：若Z轴分量大于反余弦函数值，则顶层点云中的该点为正常顶层点；若Z轴分量小于反余弦函数值，则顶层点云中的该点为异常顶层点；

异常打印点、异常顶层点统称为线性异常点。

比较的实质是将切片点云和拍摄点云进行比较，计算切片点云中的点到对应拍摄点云上的点之间的欧氏距离，得到每个模型点云到实际拍摄点云的偏差。

4.3)对异常打印点和异常顶层点进行欧式聚类，获得聚类结果，每个类代表一个缺陷，计算每个类中所有点的重心坐标作为缺陷的位置，从而获取打印零件表面的各个缺陷位置和缺陷个数。

所述的步骤4)中顶层点云每个点的法向量计算具体是：

采用基于局部表面拟合的方法，假设顶层点云的采样平面处光滑，对顶层点云中的每个点p获取与其最相近的k个最近相邻点，然后针对顶层点云中的每个点p计算一个最小二乘意义上的局部平面P，其中k的选择需要根据点云密度加以优选：若选择过小，会导致计算得到的局部平面具有较大不确定性，降低法向量的准确性；若选择过大，会降低算法的运行速度，同时失去局部平面的意义。局部平面P表述如下：

其中：n表示平面P的法向量，d表示平面P到坐标原点的距离，k表示与顶层点云中的每个点p的最近相邻点的总数，i表示最近相邻点的序号，p_i表示顶层点云中的每个点p的局部平面。

平面P经过k个最近相邻点的质心p′,同时法向量n满足||n||＝1，因此对顶层点云中的每个点p法向量的求解转化为对半正定协方差矩阵M进行特征值分解，对应于M最小特征值的特征向量可被当做p的法向量，表示为：

其中：k表示与顶层点云中的每个点p的最近相邻点的总数，i表示最近相邻点的序号，p′表示最近相邻点的质心，T表示表示矩阵的转置。

本方法通过步骤4对切片点云、拍摄点云的特殊处理融合了光栅投影获取打印零件表面信息、点云数据预处理方法、结合距离、角度阈值判断和基于欧式聚类的缺陷区域提取进行实时3D打印逐层缺陷检测。

本发明的有益效果：

本发明采用三维结构光对打印件投射正弦数字光栅，通过相位信息解包裹求解得到点云，通过对重构点云特征提取实时检测3D打印过程是否存在熔积缺陷，该方法用于3D打印检测可不受温度及缺陷的形状、方位以及表面纹理的影响，不仅能精确获取打印零件的轮廓特征，还能获取每层缺陷的深度信息；利用解包裹得到的每层点云与标准CAD模型采样点云进行匹配提取线性异常点，可以提高打印三维实体的质量以及打印产品良品的成功率。

综合来说，本发明缺陷检测精度高，光栅投影覆盖范围广，检测全面效率高，对环境要求低，可满足实际工业应用需求。

附图说明

图1为本发明实施例方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，按照本发明发明内容的完整方法实施的实施例及其实施过程如下：

第一步，搭建结构光检测系统：包括数字光栅投影仪、计算机、CMOS相机和平台，打印零件置于3D打印机上方，数字光栅投影仪连接计算机，数字光栅投影仪和相机分别置于3D打印机上方的两侧，数字光栅投影仪的镜头和CMOS相机的镜头均朝向3D打印机打印平台中心区域。采用基于张正友的二维平面靶标标定法，计算相机坐标系和CAD模型坐标系的变换矩阵；相机坐标系是以相机光心为坐标系中心建立的三维笛卡尔坐标系。

本步骤中，已知相机坐标系相对于3D打印机基座固定，在打印机喷头末端固定标定板，在相机可见区域内移动，记录标定板相对打印机的移动以及相机在标定板坐标系下的位姿，计算得到相机相对于打印机喷头的坐标变换。打印机喷头坐标系即为CAD模型坐标系。

第二步，打印模型提取拍摄点云：将CAD模型导入ReplicatorG中，根据打印材料设置打印参数，如：喷头温度、压力，送丝速度，打印层厚等。相机拍摄打印零件生成逐层打印件表面点云：在单层打印完成之后拍摄零件得到原始点云，本发明将点云数据.xyZ文件格式转换为.pcd文件格式利于PCL(PointCloud Library)对点云数进行直通滤波处理，去除无效干扰点得到拍摄点云：根据打印区域的范围，去除XZ平面上的非打印零件区域的点，在减少点云数量提高后续处理效率的同时，提高算法的鲁棒性；

无效干扰点是指打印区域以外的点。利用直通滤波设置Z方向的安全距离值去除干扰点，排除非顶层平面点引起的干扰，提高顶层平面分割的成功率，同时去除大量干扰点提高采样一致算法的效率，Z方向是指垂直于3D打印平面向下的方向。

第三步，获取切片点云：将用于打印的目标三维模型，转换为标准stl格式。提取3D模型的三角形面片的顶点坐标和法向量，转化为点云数据，再调用PCL中的pcl_mesh_sampling点云采样库，使用VTK(VisuliZation Toolkit)可视化工具库读取模型，在3D模型平面均匀地采样点然后生成标准点云，选取合适体素栅格边长使点云密度合适既满足缺陷检测精度要求，又具备效率较高的优点。

将CAD模型生成的标准点云与第一步获取的变换矩阵相乘，变换到相机坐标系下生成变换点云，根据打印高度H设置Z方向的切片范围为(H-iL,H-(i+1)L)并选取切片点云，其中：i表示打印层序数，L为预设打印层高，H表示打印高度；打印高度H计算为：

H＝n×L

其中，n表示打印层总数。

对标准CAD模型点云进行切片比较，可以避免底层标准点的重复比较，显著提高异常打印点搜索效率。

第四步，逐层检测缺陷：

设置距离缺陷阈值和角度缺陷阈值，

针对切片点云中的每个点作为切片点，从拍摄点云找到距离最近的点作为拍摄点，求取切片点与拍摄点之间的距离，将切片点与拍摄点之间的距离与距离缺陷阈值比较提取外轮廓异常点，对外轮廓异常点进行欧式聚类获取打印物体表面缺陷；

利用采样一致方法从拍摄点云中提取顶层点云，计算顶层点云每个点的法向量，将顶层点云每个点的法向量的Z方向分量与角度缺陷阈值反余弦函数值比较，提取内部异常点，对内轮廓异常点进行欧式聚类获取打印物体内部缺陷。

第四步的步骤具体为：

4.1)设置距离缺陷阈值提取表面缺陷；

针对切片点云中的每个点，从标准点云找到距离最近的点，求取两个点之间的距离并作判断：若距离小于缺陷阈值，则切片点云中的该点为正常打印点；若距离大于等于缺陷阈值，则切片点云中的该点为异常打印点；

比较的实质是将切片点云和拍摄点云进行比较，计算切片点云中的点到对应拍摄点云上的点之间的欧氏距离，得到每个模型点云到实际拍摄点云的偏差。

4.2)设置角度缺陷阈值提取内部缺陷；

计算顶层点云每个点的法向量：利用PCL(Point Cloud Library)中计算法向量的类，选择合适近邻点个数k，利用最小二乘求得局部平面，计算得到该点的法向量，并保存为PointNormal格式包括点云XYZ数据以及点对应法向量和曲率。

针对精配准顶层点云中的每个点的法向量Z方向分量，与角度缺陷阈值的反余弦函数值进行比较：若Z方向分量大于反余弦函数值，则顶层点云中的该点为正常顶层点；若Z方向分量小于反余弦函数值，则顶层点云中的该点为异常顶层点；

比较的实质是将提取得到的顶层点云平面度转换为可以直观度量的法向量，利用法向量在Z方向分量与预设角度阈值的反余弦函数值比较，快速提取打印填充区域可能出现的缺陷；

4.3)对异常打印点和异常顶层点进行欧式聚类，设置近邻类间距以及最小聚类点数，将离散异常点作为噪声点滤除，将密集异常点附上同一标签聚为一类。获得聚类结果，每个类代表一个缺陷，计算每个类中所有点的重心坐标作为缺陷的位置，从而获取打印零件表面的各个缺陷位置和缺陷个数。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，其特征在于：

步骤1)，将数字光栅投影仪、CMOS相机置于3D打印机上方合适位置，采用二维平面靶标标定法，计算相机坐标系和CAD模型坐标系的变换矩阵；

步骤2)，导入打印零件的CAD模型，设置打印参数，打印参数包括喷头温度、压力、送丝速度和打印层厚，3D打印机在打印过程当中每打印完一层通过数字光栅投影仪投影光栅图案、再通过CMOS相机拍摄单层图像生成原始点云，对原始点云进行直通滤波去除无效干扰点得到拍摄点云；

步骤3)，将CAD模型生成的标准点云通过变换矩阵变换到相机坐标系下生成变换点云，根据打印高度和层厚对变换点云进行切片得到切片点云；

步骤4)，设置距离缺陷阈值和角度缺陷阈值并根据距离缺陷阈值和角度缺陷阈值逐层检测缺陷：

4.a)针对切片点云中的每个点作为切片点，从拍摄点云找到距离最近的点作为拍摄点，求取切片点与拍摄点之间的距离，将切片点与拍摄点之间的距离与距离缺陷阈值比较提取外轮廓异常点，对外轮廓异常点进行欧式聚类获取打印物体表面缺陷；

4.b)利用采样一致方法从拍摄点云中提取顶层点云，计算顶层点云每个点的法向量，将顶层点云每个点的法向量的Z方向分量与角度缺陷阈值反余弦函数值比较，提取内部异常点，对内轮廓异常点进行欧式聚类获取打印物体内部缺陷。

2.根据权利要求1所述的一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，其特征在于：所述的步骤4)中利用采样一致方法从拍摄点云提取顶层点云具体为：针对拍摄点云，预设匹配基元为平面，采用随机采样方法拟合匹配基元的平面并进行多次处理获得不同的平面模型，计算平面模型中的点数量，选取点数量最多的平面模型作为最优平面，将最优平面中的点作为顶层点云从拍摄点云中提取出来。

3.根据权利要求1所述的一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，其特征在于：所述的步骤3)具体是：

3.1)将CAD模型生成标准点云；

3.2)根据打印高度H设置Z方向的切片范围为(H-iL,H-(i+1)L)并选取切片点云，其中：i表示打印层序数，L为预设打印层高，H表示打印高度；打印高度H计算为：

H＝n×L

其中，n表示打印层总数。

4.根据权利要求1所述的一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，其特征在于：所述的步骤4)具体是：

4.1)设置距离缺陷阈值提取表面缺陷：针对切片点云中的每个点，从标准点云找到距离最近的点，求取两个点之间的距离并作判断：若距离小于缺陷阈值，则切片点云中的该点为正常打印点；若距离大于等于缺陷阈值，则切片点云中的该点为异常打印点；

4.2)设置角度缺陷阈值提取内部缺陷：针对精配准顶层点云中的每个点的法向量Z轴方向分量，与角度缺陷阈值的反余弦函数值进行比较：若Z轴分量大于反余弦函数值，则顶层点云中的该点为正常顶层点；若Z轴分量小于反余弦函数值，则顶层点云中的该点为异常顶层点；

4.3)对异常打印点和异常顶层点进行欧式聚类，获得聚类结果，每个类代表一个缺陷，计算每个类中所有点的重心坐标作为缺陷的位置，从而获取打印零件表面的各个缺陷位置和缺陷个数。

5.根据权利要求1所述的一种基于结构光线性异常点的3D打印熔积缺陷逐层检测方法，其特征在于：所述的步骤4)中顶层点云每个点的法向量计算具体是：采用基于局部表面拟合的方法，假设顶层点云的采样平面处光滑，对顶层点云中的每个点p获取与其最相近的k个最近相邻点，然后针对顶层点云中的每个点p计算一个最小二乘意义上的局部平面P，局部平面P计算如下：

其中：n表示平面P的法向量，d表示平面P到坐标原点的距离，k表示与顶层点云中的每个点p的最近相邻点的总数，i表示最近相邻点的序号，p_i表示顶层点云中的每个点p的局部平面；

平面P经过k个最近相邻点的质心p′，同时法向量n满足||n||＝1，对顶层点云中的每个点p法向量的求解转化为对半正定协方差矩阵M进行特征值分解，对应于半正定协方差矩阵M最小特征值的特征向量被当做顶层点云中的每个点p的法向量，计算为：

其中，k表示与顶层点云中的每个点p的最近相邻点的总数，i表示最近相邻点的序号，p′表示最近相邻点的质心，T就是矩阵转置。