CN109242828B - 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 - Google Patents
基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 Download PDFInfo
- Publication number
- CN109242828B CN109242828B CN201810916556.3A CN201810916556A CN109242828B CN 109242828 B CN109242828 B CN 109242828B CN 201810916556 A CN201810916556 A CN 201810916556A CN 109242828 B CN109242828 B CN 109242828B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- points
- point
- standard
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000010363 phase shift Effects 0.000 title claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007639 printing Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010146 3D printing Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 239000012071 phase Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000005477 standard model Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000006247 magnetic powder Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000496 acne Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- 238000009616 inductively coupled plasma Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明公开了一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法。根据待测物体的标准CAD模型3D打印待测物体，投射标准正弦数字光栅到待测物体表面，拍摄条纹图像预处理获得拍摄点云；根据待测物体的标准CAD模型生成标准点云；计算拍摄点云的快速点特征直方图，进行随机采样一致变换获得粗配准点云；采用迭代最近点方式对粗配准点云进行处理获得精配准点云；提取异常点并欧式聚类，获取缺陷的位置和缺陷个数；采用点云生长方法从缺陷的位置生长出缺陷区域点云，对缺陷区域点云进行三维重建。本发明缺陷检测精度高，光栅投影覆盖范围广，检测全面效率高，对环境要求低，可满足实际工业应用需求。
Description
技术领域
本发明涉及计算机视觉及工业自动化检测技术，具体一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法。
背景技术
3D打印技术又称增材制造是工业4.0时代最具发展前景的制造技术之一。3D打印材料经历了固-液-固两次相变，常会出现以下缺陷：打印材料强度不足引起的空洞和裂缝，填充、挤出速度不匹配引起的疙瘩、凸起等，3D打印制品多为结构复杂、尺寸精度要求较高的零件，因此研究一种高效的3D打印塑料制品质量检测系统就显得尤为重要。
现有的3D打印制品质量检测多沿用传统的无损检测方法，主要有以下四类：超声波检测、射线检测、磁粉检测、渗透检测。超声波检测利用材料及缺陷的声学性能差异对超声波传播波形反射情况和穿透时间的能量变化来检验材料内部是否存在缺陷，常用于检测厚度较大的零件检验，该方法对于检测技术难度大，对待测物体表面要求平滑，对体积性缺陷由于其缺陷反射面较小检出率不高。射线检测利用X射线或γ射线在穿透被测物各部分时强度衰减的不同，检测被测物体中的缺陷，常用于检测内部缺陷，该方法检测速度较慢，只宜探测气孔、夹渣、缩孔等体积性缺陷。磁粉检测通过对被测物体施加磁场使其磁化，在表面缺陷处会有磁力线逸处形成漏磁场，该方法对铁磁性材料表面检测灵敏度高，对被测件表面光滑度要求高，对检测人员的技术要求高，检测范围小速度慢。渗透检测在被测物体表面涂含有荧光染料的渗透剂，在毛细作用下渗入缺陷，利用显像剂显示缺陷形貌。该方法不适用于多孔材料，对检测人员的经验要求高，检测效率较低。
针对3D打印件形状复杂，打印材料类型多等特点，传统的无损检测方式无法有效精确地对其进行检测。光栅投影法具有非接触性、量程广、测量速度快、测量精度及自动化程度高、测量环境要求低等优点，已经成为工业检测领域最有发展潜力的方法之一。光栅投影法将被编码的光栅投影到被测物体表面，光栅受到物体表面高度调制，可根据相位变化获取三维信息，更适用于具有CAD标准模型的3D打印制品的三维缺陷检测。
本发明利用光栅投影四步相移法获取待测3D打印件表面点云数据基础上，本发明对获取数据首先进行预处理，去除无效背景点、离群噪点、模型内稠密点；对处理过的重构点云配准到标准CAD模型坐标系下，设置缺陷异常点阈值，基于欧式聚类的方式去除飞点提取密集异常点并求取类内重心，基于点云生长获取缺陷点云并对其进行三维重建标注在相应的缺陷位置。
发明内容
本发明为解决复杂3D打印制品缺陷检测的不足，提出一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法，能用复杂3D打印制品的三维缺陷检测。
如图2所示，本发明的技术方案包括以下步骤：
步骤1)，获取待测物体表面点云及点云预处理阶段：
根据待测物体的标准CAD模型3D打印出待测物体，将待测物体放置在桌面上，投射多幅不同初始相位的标准正弦数字光栅到待测物体表面，通过CCD相机连续拍摄物体表面被投射标准正弦数字光栅后的条纹图像，利用反正切函数对条纹图像进行求解得到相位值，将所求的相位值进行解包裹反求得到待测物体的表面点云，然后进行预处理获得拍摄点云；
步骤2)，获取标准点云阶段：提取待测物体的标准CAD模型的三角形面片的顶点坐标和法向量，在三角形面片上采样生成所需密度的标准点云；
步骤3)，粗配准阶段：计算拍摄点云的快速点特征直方图，在标准点云中找到与快速点特征直方图相似的点，进行随机采样一致变换获得粗配准点云；
步骤4)，精配准阶段：粗配准点云和标准点云大致重合，采用迭代最近点方式(ICP)对粗配准点云进行处理获得精配准点云；
上述步骤1-4是将拍摄点云配准到标准点云的坐标系。
步骤5)，提取缺陷阶段：设置缺陷阈值遍历提取异常点，用异常点进行欧式聚类，计算每个类中所有点的重心坐标作为缺陷的位置，获取待测物体表面的各个缺陷位置和缺陷个数；采用点云生长方法从缺陷的位置生长出缺陷区域点云，对缺陷区域点云进行三维重建。
本方法融合了光栅投影获取待测物体表面信息、点云数据前处理方法、基于快速点特征直方图和ICP的点云配准方法和基于欧式聚类的缺陷区域提取进行3D打印制品缺陷检测。
所述的步骤1)具体是获取平面模型采用采样一致的方法提取背景平面点云加以去除；对保留下的点云进行体素下采样滤波，降低点云密度；最后进行统计滤波，通过搜寻近邻点数和离群阈值去除离群噪点。
所述的步骤1)中，进行预处理获得拍摄点云，具体是对待测物体的表面点云依次进行基于随机采样一致性的背景点云分割、体素栅格下采样滤波、统计滤波去除离群噪点，实现对拍摄得到待测物体表面点云进行无效背景点以及离群噪点去除并降低密度的操作：
1.2)针对待测物体的表面点云，以桌面背景作为基元，预设桌面背景的基元平面形状及平面误差阈值，采用随机采样方法拟合桌面背景的基元平面形状并进行多次处理获得不同的平面模型，计算平面模型中的点数量，选取点数量最多的平面模型作为最优平面，将最优平面中的点作为无效背景点从待测物体的表面点云中去除，这样处理能够提高后续点云处理效率和精度；
1.3)对去除无效背景点后的点云进行体素下采样处理，根据待测物体大小生成体素单元，以体素下采样中每个体素单元的所有点的重心代替覆盖体素单元内所有点，这样能保留表面形状特征的同时降低点云密度；
1.4)对体素下采样后的点云进行统计滤波，设置搜寻近邻点数和离群阈值，遍历点云中的所有点，采用以下方式针对每个点进行处理：建立以点为球心、以离群阈值为球半径的球体，球体内的点数量和搜寻近邻点数进行比较：若点数小于搜寻近邻点数，则将该点视为离群噪点，进行去除；若点数大于等于搜寻近邻点数，则将该点不视为离群噪点，进行保留；最终保留得到的为拍摄点云。
上述步骤对原始点云进行以上三步预处理，背景点去除，去除桌面点云引起的干扰；统计滤波去除离群点，提高后续配准精度以及缺陷检测的效果；体素下采样滤波，降低点云密度，提高点云处理效率。
所述的离群阈值为设备精度、环境因素引起的允许误差。
所述步骤2)中，提取待测物体的标准CAD模型的三角形面片的顶点坐标和法向量转化为点云数据，再调用点云库PCL中的点云网格采样库pcl_mesh_sampling，使用可视化工具库VTK(Visulization Toolkit)读取并在待测物体的标准CAD模型均匀采样然后生成点云。根据采样的体素栅格大小调整生成的点云密度。
所述的步骤3)具体是：
3.1)从拍摄点云P中任意选择s个点作为样本点，同时使得s个样本点任意两个点之间的距离均大于预先设定的最小阈值dmin；
3.2)根据所有样本点的每个点p与其在拍摄点云P中近邻的其他点之间的关系，计算简化点特征直方图(SPFH)，根据距离权重计算获得样本点的快速点特征直方图(FPFH)；
3.3)将标准点云中的点和样本点进行随机匹配：
3.3.1)对于每个样本点，在标准点云找到满足与快速点特征直方图(FPFH)相似的其中一个点作为匹配点，由所有样本点与其各自对应的匹配点构成一组对应点组，计算一组对应点组中所有样本点与其对应的匹配点之间的刚体变换矩阵，再计算用刚体变换矩阵对拍摄点云进行变换获得的点云结果和标准点云之间的距离差，进而采用以下公式计算获得度量误差：
式中，H(li)表示第i组对应点组的度量误差，||li||表示距离差，ml为预设比较阈值，li为第i组对应点组获得的点云结果和标准点云之间的距离。
所述的距离差为从用刚体变换矩阵对拍摄点云进行变换获得的点云结果中的点与其在标准点云中最近的点之间的距离。
3.3.2)重复上述步骤3.3.1)进行多次，即进行随机匹配多次，获得多组对应点组及其度量误差，再计算度量误差和函数
其中n表示对应点组的总组数，i表示对应点组的组序数；取度量误差和函数最小的对应点组对应的刚体变换矩阵对拍摄点云进行变换作为粗配准点云。
本发明的步骤3)能在获得快速点特征直方图之后，利用点云数据旋转不变的特征，在初始配准阶段引入采样一致性初始配准算法(SAC-IA)，保持相同的对应关系中进行大量的采样，SAC-IA得到变换矩阵进行粗匹配。上述这样方式处理能提高采样的均匀性，使算法更加稳定。
所述的步骤4)具体是：采用迭代最近点方式(ICP)对粗配准点云进行处理，使得粗配准点云靠近标准点云并获得旋转矩阵R和平移矩阵T，再采用以下公式将粗配准点云配准到标准点云的坐标系下，获得精配准点云：
Q＝RP+T
其中，R表示旋转矩阵，是一个3*3的旋转矩阵，用于对粗配准点云进行旋转变换，T表示平移矩阵，是一个1*3的平移矩阵，用于对粗配准点云进行平移变换，P表示粗配准点云，Q表示精配准点云。
采用迭代最近点方式(ICP)对粗配准点云进行处理，使得粗配准点云靠近标准点云并获得旋转矩阵R和平移矩阵T，具体是：采用点对点的欧氏距离找寻对应点，即针对粗配准点云中的每一个点从标准点云中寻找欧氏距离最近的点，以最近的点替代真实对应点，基于最小二乘法不断迭代至最小误差，根据点及其最近的点的转换关系将粗配准点云的相机坐标配准到标准点云的CAD模型坐标下，采用奇异值分解法(SVD)求解坐标变换获得旋转矩阵R和平移矩阵T。
所述的步骤5)具体是：
5.1)设置缺陷阈值遍历提取异常点；
针对精配准点云中的每个点，从标准点云找到距离最近的点，求取两个点之间的距离并作判断：若距离小于缺陷阈值，则精配准点云中的该点为正常点；若距离大于等于缺陷阈值，则精配准点云中的该点为异常点；
比较的实质是将精配准点云和标准点云进行比较，计算精配准点云中的点到对应标准点云上的点之间的欧氏距离，得到每个点相对标准数据的偏差。
5.2)对异常点进行欧式聚类，获得聚类结果，每个类代表一个缺陷，类的个数即为缺陷的个数，计算每个类中所有点的重心坐标作为缺陷的位置，从而获取待测物体表面的各个缺陷位置和缺陷个数；
5.3)采用点云生长方法从缺陷的位置生长出缺陷区域点云，对缺陷区域点云进行三维重建，完成缺陷检测，提高缺陷检测可视化效果。
本发明的有益效果：
本发明在检测3D打印制品检测系统中采用数字光栅投影多步相移法，对待测3D打印物体表面点云进行三维重构，对异常点云欧式聚类，可以单次识别、定位3D打印制品所有缺陷，测量精度高、成本低、对测量物体无损。
综合来说，本发明缺陷检测精度高，光栅投影覆盖范围广，检测全面效率高，对环境要求低，可满足实际工业应用需求。
附图说明
图1为本发明实施例的结构光检测系统结构图；
图2为本发明方法流程图；
图3为本发明实验步骤1中采用四步相移法拍摄的原始点云结果图；
图4为本发明实验步骤1中原始点云经过预处理的拍摄点云结果图；
图5为本发明实验步骤2中标准CAD模型生成的标准点云结果图；
图6为本发明实验步骤5模型缺陷检测的的结果图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
具体实施采用结构光检测系统，如图1所示，结构光检测系统包括投影仪、计算机、CCD相机和平台，待测物体置于平台上，投影仪连接计算机，投影仪和相机分别置于待测物体上方的两侧，投影仪的镜头和CCD相机的镜头均朝向待测物体；待测物体放置在桌面上，计算机中发出输入光栅模式的信号，输入到投影仪中产生条纹光栅作为光栅光源照射到待测物体和桌面上，投影方向和待测物体不垂直，通过CCD相机采集条纹光栅照射到待测物体和桌面后的图像。投影仪将条纹光栅投射在待测物体上，待测物体使条纹光栅发生畸变，相机拍摄畸变条纹，由计算机解相位后重构物体表面点云。
如图2所示，本发明的实施例及其实施过程包含以下步骤：
第一步拍摄畸变条纹获取重构点云并进行预处理，包括利用数字光栅投影设备投射不同初始相位的标准正弦数字光栅，通过CCD相机连续拍摄4幅经过调制的条纹图像，利用反正切函数求解得带相位值，将所求相位值解包裹反求待测物体表面点云，拍摄得到的待测物体表面点云如图3所示，点云密度合适，能清晰反映待测物体表面特征，能用于物体表面缺陷检测。点云对反求得到的点云数据基于随机采样一致性的背景点云分割、体素栅格下采样滤波、统计滤波去除离群噪点，拍摄得到点云。
本发明将点云数据.xyz文件格式转换为.pcd文件格式利于PCL(Point CloudLibrary)对点云数据进行处理。由于设备精度，环境因素等，使得利用影像密集匹配生成的点云中含有大量的冗余点和噪声信息，对于生成数字表面模型(DSM)的质量和速度造成严重影响。
本发明优选地使用三种高效、准确的前处理方式，去除冗余点和噪声信息。首先采用的是基于随机采样一致性的背景点云分割，针对待测物体的表面点云，以桌面背景作为基元，预设桌面背景的基元平面形状及平面误差阈值0.001m，采用随机采样方法拟合桌面背景的基元平面形状并进行多次处理获得不同的平面模型，计算平面模型中的点数量，选取点数量最多的平面模型作为最优平面，将最优平面中的点作为无效背景点从待测物体的表面点云中去除，避免桌面点云引起的干扰，提高后续点云处理效率和精度；对去除无效背景点后的点云进行体素下采样，设置体素栅格大小0.001m(根据点云密度和处理效率选取)以体素下采样中每个体素单元的所有点的重心代替覆盖体素单元内所有点，这样能保留表面形状特征的同时降低点云密度；对体素下采样后的点云进行统计滤波，设置搜寻近邻点数10、离群阈值判据0.002m(依据点云密度选取)，去除明显离群噪点。
遍历点云中的所有点，采用以下方式针对每个点进行处理：建立以点为球心、以离群阈值为球半径的球体，球体内的点数量和搜寻近邻点数进行比较：若点数小于搜寻近邻点数，则将该点视为离群噪点，进行去除；若点数大于等于搜寻近邻点数，则将该点不视为离群噪点，进行保留；最终保留得到的为拍摄点云如图4所示，去除干扰点，点云密度均匀，有利于提高后续配准和缺陷检测精度。
第二步获取标准点云：将用于打印的目标三维模型，转换为标准stl格式。提取3D模型的三角形面片的顶点坐标和法向量，转化为点云数据，再调用PCL中的pcl_mesh_sampling点云采样库，使用VTK(Visulization Toolkit)可视化工具库读取模型，在3D模型平面均匀地采样点然后生成标准点云，如图5所示。标准CAD模型采样获取标准点云实施例中选取体素栅格边长为0.001m，点云密度合适既满足缺陷检测精度要求，又具备效率较高的优点。
第三步待测物体拍摄点云粗配准，以拍摄点云作为源点集，标准CAD模型生成的标准点云作为目标点集，首先利用的是基于快速点特征直方图的点云粗配准：1.为每个查询点p计算它自身和它的邻居之间的关系，简化点特征直方图(SPFH)；2.对于每一点重新确定它k邻居并使用相邻的SPFH值来加权最终的快速点特征直方图(FPFH)。对于不同待测物体的尺寸和点云密度，所设置的邻域半径对于最终的配准效果会产生直接影响。选择迭代效果最佳的结果作为粗配准结果。
第四步经过快速点特征直方图粗配准之后，待配准的两片点云已经大致重合，但是仍然存在偏差，配准的精度也比较低，为了提高配准精度，本发明采用基于迭代最近点的精配准，计算点对点的欧氏距离，以距离最小来近似替代真实对应点，基于最小二乘法不断迭代，设置最近点迭代中止条件：最大迭代次数100、两次变换矩阵之间差值1e-10以及均方误差0.2，达到任意一个标准迭代停止。
将相机坐标配准到CAD模型坐标系下，采用奇异值分解法(SVD)求解坐标变换，将源点集配准到目标点集的坐标系下。配准精度满足点云缺陷提取的精度要求。
N为正确点对个数，R、T分别为旋转、平移矩阵，e为所求均方差。
第五步提取异常点云重建缺陷轮廓：将拼接点云配准到标准模型的三维坐标系下，对待测物体重建点云和标准模型点云匹配之后，将点云数据和CAD数据模型进行比较，其比较的实质是计算重建点到对应标准模型的欧氏距离，得到每个点相对标准数据的偏差。若区域性的重建点云数据与标准模型偏差超过预设的偏差阈值，将其定义为缺陷。
欧式聚类实施中设置近邻类间距为0.005m，聚类最少点数为20。
提取异常点设置近邻类间距0.005m以及聚类最少点数20，将区域异常点聚类，离散异常点作为噪声点滤除。计算类内重心坐标，以缺陷重心为核心，采用基于点云生长的方法，根据点云法向量夹角阈值提取缺陷区域，对提取点云三维重建置于实际位置，提高缺陷检测可视化效果，检测结果如图6所示，图右侧竖列表示缺陷深度对应的不同颜色，左侧模型上存在3处缺陷，分别是模型上侧翘边、左下角缺口以及右下侧凹坑，缺陷数量、位置以及形状检测准确。
本文以风力发电机叶桨连接器模型进行实例验证，对于存在缺陷的3D打印模型进行检测，对于缺陷的形状、尺寸以及位置都能够准确检测。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (4)
1.一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法，其特征在于：
步骤1)，获取待测物体表面点云及点云预处理阶段：根据待测物体的标准CAD模型3D打印出待测物体，将待测物体放置在桌面上，投射多幅不同初始相位的标准正弦数字光栅到待测物体表面，通过CCD相机连续拍摄物体表面被投射标准正弦数字光栅后的条纹图像，利用反正切函数对条纹图像进行求解得到相位值，将所求的相位值进行解包裹反求得到待测物体的表面点云，然后进行预处理获得拍摄点云；
步骤2)，获取标准点云阶段：提取待测物体的标准CAD模型的三角形面片的顶点坐标和法向量，在三角形面片上采样生成所需密度的标准点云；
步骤3)，粗配准阶段：计算拍摄点云的快速点特征直方图，在标准点云中找到与快速点特征直方图相似的点，进行随机采样一致变换获得粗配准点云；
步骤4)，精配准阶段：采用迭代最近点方式(ICP)对粗配准点云进行处理获得精配准点云；
步骤5)，提取缺陷阶段：设置缺陷阈值遍历提取异常点，用异常点进行欧式聚类，计算每个类中所有点的重心坐标作为缺陷的位置，获取待测物体表面的各个缺陷位置和缺陷个数；采用点云生长方法从缺陷的位置生长出缺陷区域点云，对缺陷区域点云进行三维重建；
所述的步骤1)中，进行预处理获得拍摄点云，具体是：
1.2)针对待测物体的表面点云，以桌面背景作为基元，预设桌面背景的基元平面形状，采用随机采样方法拟合桌面背景的基元平面形状并进行多次处理获得不同的平面模型，计算平面模型中的点数量，选取点数量最多的平面模型作为最优平面，将最优平面中的点作为无效背景点从待测物体的表面点云中去除；
1.3)对去除无效背景点后的点云进行体素下采样处理，以体素下采样中每个体素单元的所有点的重心代替覆盖体素单元内所有点；
1.4)对体素下采样后的点云进行统计滤波，设置搜寻近邻点数和离群阈值，遍历点云中的所有点，采用以下方式针对每个点进行处理：建立以点为球心、以离群阈值为球半径的球体，球体内的点数量和搜寻近邻点数进行比较：若点数小于搜寻近邻点数，则将该点视为离群噪点，进行去除；若点数大于等于搜寻近邻点数，则将该点不视为离群噪点，进行保留；最终保留得到的为拍摄点云；
所述的步骤5)具体是：
5.1)设置缺陷阈值遍历提取异常点：针对精配准点云中的每个点，从标准点云找到距离最近的点，求取两个点之间的距离并作判断：若距离小于缺陷阈值，则精配准点云中的该点为正常点；若距离大于等于缺陷阈值，则精配准点云中的该点为异常点；
5.2)对异常点进行欧式聚类，获得聚类结果，每个类代表一个缺陷，计算每个类中所有点的重心坐标作为缺陷的位置，从而获取待测物体表面的各个缺陷位置和缺陷个数；
5.3)采用点云生长方法从缺陷的位置生长出缺陷区域点云，对缺陷区域点云进行三维重建，完成缺陷检测。
2.根据权利要求1所述的一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法，其特征在于：所述步骤2)中，提取待测物体的标准CAD模型的三角形面片的顶点坐标和法向量转化为点云数据，再调用点云库PCL中的点云网格采样库pcl_mesh_sampling，使用可视化工具库VTK(Visulization Toolkit)读取并在待测物体的标准CAD模型均匀采样然后生成点云。
3.根据权利要求1所述的一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法，其特征在于：所述的步骤3)具体是：
3.1)从拍摄点云P中任意选择s个点作为样本点，同时使得s个样本点任意两个点之间的距离均大于预先设定的最小阈值dmin；
3.2)根据所有样本点的每个点p与其在拍摄点云P中近邻的其他点之间的关系，计算获得快速点特征直方图(FPFH)；
3.3)将标准点云中的点和样本点进行随机匹配：
3.3.1)对于每个样本点，在标准点云找到满足与快速点特征直方图(FPFH)相似的其中一个点作为匹配点，由所有样本点与其各自对应的匹配点构成一组对应点组，计算一组对应点组中所有样本点与其对应的匹配点之间的刚体变换矩阵，再计算用刚体变换矩阵对拍摄点云进行变换获得的点云结果和标准点云之间的距离差，进而采用以下公式计算获得度量误差：
式中，H(li)表示第i组对应点组的度量误差，||li||表示距离差，ml为预设比较阈值，li为第i组对应点组获得的点云结果和标准点云之间的距离；
3.3.2)重复上述步骤3.3.1)进行多次，获得多组对应点组及其度量误差，再计算度量误差和函数
其中n表示对应点组的总组数，i表示对应点组的组序数；取度量误差和函数最小的对应点组对应的刚体变换矩阵对拍摄点云进行变换作为粗配准点云。
4.根据权利要求1所述的一种基于光栅投影多步相移法的3D打印制品三维缺陷检测方法，其特征在于：所述的步骤4)具体是：采用迭代最近点方式(ICP)对粗配准点云进行处理，使得粗配准点云靠近标准点云并获得旋转矩阵R和平移矩阵T，再采用以下公式将粗配准点云配准到标准点云的坐标系下，获得精配准点云：
Q＝RP+T
其中，R表示旋转矩阵，T表示平移矩阵，P表示粗配准点云，Q表示精配准点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916556.3A CN109242828B (zh) | 2018-08-13 | 2018-08-13 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916556.3A CN109242828B (zh) | 2018-08-13 | 2018-08-13 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242828A CN109242828A (zh) | 2019-01-18 |
| CN109242828B true CN109242828B (zh) | 2022-04-19 |
Family
ID=65070311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810916556.3A Active CN109242828B (zh) | 2018-08-13 | 2018-08-13 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242828B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781739A (zh) * | 2019-03-04 | 2019-05-21 | 杭州晶耐科光电技术有限公司 | 汽车漆面表面外观缺陷全自动检测系统及方法 |
| CN110009602B (zh) * | 2019-03-08 | 2020-08-11 | 唐山百川智能机器股份有限公司 | 一种紧固件是否松动的检测方法 |
| CN111833286A (zh) * | 2019-03-26 | 2020-10-27 | 深圳中科飞测科技有限公司 | 点云处理方法及其系统、检测方法及其系统、可读介质 |
| WO2020202496A1 (ja) * | 2019-04-03 | 2020-10-08 | 日本電気株式会社 | 表面異常検知装置、及びシステム |
| CN111353997B (zh) * | 2019-04-11 | 2022-10-28 | 南京理工大学 | 一种基于条纹投影的实时三维面型缺陷检测方法 |
| CN110033447B (zh) * | 2019-04-12 | 2022-11-08 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN110599446B (zh) * | 2019-07-26 | 2022-06-17 | 深圳供电局有限公司 | 隔离开关合闸位置判别方法 |
| CN110672632A (zh) * | 2019-09-24 | 2020-01-10 | 江西交通职业技术学院 | 一种隧道病害识别方法 |
| CN111311576B (zh) * | 2020-02-14 | 2023-06-02 | 易思维（杭州）科技有限公司 | 基于点云信息的缺陷检测方法 |
| CN111709934B (zh) * | 2020-06-17 | 2021-03-23 | 浙江大学 | 一种基于点云特征对比的注塑叶轮翘曲缺陷检测方法 |
| CN111551567B (zh) * | 2020-07-02 | 2021-06-25 | 厦门大学 | 一种基于条纹投影的物体表面缺陷检测方法及系统 |
| CN112233248B (zh) * | 2020-10-19 | 2023-11-07 | 广东省计量科学研究院（华南国家计量测试中心） | 基于三维点云的表面平整度的检测方法、系统及介质 |
| CN112489025A (zh) * | 2020-12-07 | 2021-03-12 | 南京钢铁股份有限公司 | 一种连铸坯表面凹坑缺陷识别方法 |
| CN112581457B (zh) * | 2020-12-23 | 2023-12-12 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| CN112946069A (zh) * | 2020-12-31 | 2021-06-11 | 广东工业大学 | 双光束激光作用的海工钢构件超声波衰减特性检测方法 |
| CN112651965B (zh) * | 2021-01-14 | 2023-11-07 | 成都铁安科技有限责任公司 | 一种车轮踏面缺陷三维检测方法及其系统 |
| CN113096094A (zh) * | 2021-04-12 | 2021-07-09 | 成都市览图科技有限公司 | 三维物体表面缺陷检测方法 |
| CN113245149A (zh) * | 2021-05-26 | 2021-08-13 | 飓蜂科技(苏州)有限公司 | 一种胶量闭环控制的点胶方法及装置 |
| CN113537141B (zh) * | 2021-08-03 | 2023-10-03 | 山东大学 | 一种堤坝管涌和滑坡病害快速检测方法及系统 |
| CN113610054A (zh) * | 2021-08-27 | 2021-11-05 | 广州慧瞳科技有限公司 | 一种水下结构病害深度检测方法、系统、装置及存储介质 |
| CN114663403B (zh) * | 2022-03-25 | 2022-11-18 | 北京城建设计发展集团股份有限公司 | 基于密集扫描数据的预制构件拼装面局部缺陷识别方法 |
| CN115035081B (zh) * | 2022-06-23 | 2024-03-01 | 西安交通大学 | 一种基于工业ct的金属内部缺陷危险源定位方法及系统 |
| CN115420753A (zh) * | 2022-08-25 | 2022-12-02 | 哈尔滨工业大学 | 基于路面纹理测量的污染物分布状况测量方法 |
| CN115390051B (zh) * | 2022-10-27 | 2023-03-24 | 深圳煜炜光学科技有限公司 | 激光雷达标定方法、装置、设备及存储介质 |
| CN115526892B (zh) * | 2022-11-29 | 2023-03-03 | 南方电网数字电网研究院有限公司 | 基于三维重建的图像缺陷去重检测方法和装置 |
| CN115830015B (zh) * | 2023-02-09 | 2023-04-25 | 深圳市威祥五金制品有限公司 | 基于计算机视觉的五金冲压配件质量检测方法 |
| CN115816834B (zh) * | 2023-02-20 | 2023-04-25 | 常熟理工学院 | 用于打印机打印质量实时监测的方法及系统 |
| CN115953400B (zh) * | 2023-03-13 | 2023-06-02 | 安格利(成都)仪器设备有限公司 | 基于三维点云物体表面的腐蚀坑自动检测方法 |
| CN116342671B (zh) * | 2023-05-23 | 2023-08-08 | 第六镜科技(成都)有限公司 | 点云与cad模型配准方法、装置、电子设备和存储介质 |
| CN116309759B (zh) * | 2023-05-25 | 2023-08-15 | 南京信息工程大学 | 一种基于快速三角特征直方图的点云粗配准方法 |
| CN116664575B (zh) * | 2023-07-31 | 2023-11-03 | 厦门微图软件科技有限公司 | 一种基于点云配准的缺陷检测方法、装置以及设备 |
| CN117557553A (zh) * | 2023-12-28 | 2024-02-13 | 中核武汉核电运行技术股份有限公司 | 一种核电站管道焊缝检测方法及装置 |
| CN117494534B (zh) * | 2024-01-03 | 2024-03-22 | 南京航空航天大学 | 一种基于点云与有限元分析的飞机蒙皮修配方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104330052A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 外差式三频不等步相移解相位方法 |
| CN104539928A (zh) * | 2015-01-05 | 2015-04-22 | 武汉大学 | 一种光栅立体印刷图像合成方法 |
| CN107460477A (zh) * | 2017-07-26 | 2017-12-12 | 西安交通大学 | 一种用于受损件的单测头扫描和修复装置及方法 |
| CN107590825A (zh) * | 2017-07-31 | 2018-01-16 | 东南大学 | 一种基于sfm的点云孔洞修补方法 |
| CN107607040A (zh) * | 2017-08-11 | 2018-01-19 | 天津大学 | 一种适用于强反射表面的三维扫描测量装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200413694A (en) * | 2003-01-17 | 2004-08-01 | Xsense Technology Corp | Three-dimensional scanning system and its method |
-
2018
- 2018-08-13 CN CN201810916556.3A patent/CN109242828B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104330052A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 外差式三频不等步相移解相位方法 |
| CN104539928A (zh) * | 2015-01-05 | 2015-04-22 | 武汉大学 | 一种光栅立体印刷图像合成方法 |
| CN107460477A (zh) * | 2017-07-26 | 2017-12-12 | 西安交通大学 | 一种用于受损件的单测头扫描和修复装置及方法 |
| CN107590825A (zh) * | 2017-07-31 | 2018-01-16 | 东南大学 | 一种基于sfm的点云孔洞修补方法 |
| CN107607040A (zh) * | 2017-08-11 | 2018-01-19 | 天津大学 | 一种适用于强反射表面的三维扫描测量装置及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 3D Point Cloud Analysis for Detection and Characterization of Defects on Airplane Exterior Surface;Igor Jovancevic等;《Journal of Nondestructive Evaluation》;20171031;第36卷(第4期);1-17 * |
| Colorful 3-D Imaging Using an Infrared Dammann Grating;Shengbin Wei等;《IEEE Transactions on Industrial Informatics》;20160211;第12卷(第4期);1641-1648 * |
| 光栅投影三维人体测量系统标定方法与应用研究;刘泽源;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20130115(第01期);I138-1760 * |
| 基于从运动中恢复结构的三维点云孔洞修补算法研究;曾露露等;《光学学报》;20180207;第38卷(第06期);131-137 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242828A (zh) | 2019-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242828B (zh) | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 | |
| CN112581457B (zh) | 一种基于三维点云的管道内表面检测方法及装置 | |
| CN109345620B (zh) | 融合快速点特征直方图的改进icp待测物体点云拼接方法 | |
| CN109532021B (zh) | 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法 | |
| CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
| CN109615654B (zh) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 | |
| CN109556540A (zh) | 一种非接触式基于3d图像的物体平面度检测方法、计算机 | |
| Bertin et al. | Digital stereo photogrammetry for grain-scale monitoring of fluvial surfaces: Error evaluation and workflow optimisation | |
| CN111207693A (zh) | 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法 | |
| Zhao et al. | Region-based online flaw detection of 3D printing via fringe projection | |
| CN111968224A (zh) | 船舶3d扫描点云数据处理方法 | |
| CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| Shaheen et al. | Characterisation of a multi-view fringe projection system based on the stereo matching of rectified phase maps | |
| Lee et al. | A new approach to detect surface defects from 3D point cloud data with surface normal Gabor filter (SNGF) | |
| Hafeez et al. | The effect of patterns on image-based modelling of texture-less objects | |
| Morgan | Data fusion for additive manufacturing process inspection | |
| Rianmora et al. | Structured light system-based selective data acquisition | |
| Zhao et al. | Binocular vision measurement for large-scale weakly textured ship hull plates using feature points encoding method | |
| Dong et al. | Research on 3D model reconstruction based on a sequence of cross-sectional images | |
| Zheng et al. | Three-dimensional defects detection of high-voltage cable joint based on iterative residual fitting | |
| Song et al. | Multi-angle 3D measurement of small workpieces using EDMS algorithm | |
| Peng et al. | Using triangle-based cubic interpolation in generation of object-adaptive fringe pattern | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| Uyanik et al. | A method for determining 3D surface points of objects by a single camera and rotary stage | |
| CN111797557B (zh) | 一种基于图像处理的砂尘几何特征提取及三维重构的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |