CN115861274A

CN115861274A - 一种融合三维点云与二维图像的裂缝检测方法

Info

Publication number: CN115861274A
Application number: CN202211669879.XA
Authority: CN
Inventors: 赵永胜; 刘云松; 李栋; 周亚强; 姚佳茹
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2022-12-25
Filing date: 2022-12-25
Publication date: 2023-03-28

Abstract

本发明公开了一种融合三维点云与二维图像的裂缝检测方法，该方法包括：通过三维激光扫描仪获取航空叶片磨锻件表面裂缝的点云信息，同时通过相机获得航空叶片磨锻件表面细小裂缝的图像特征；利用openCV的阈值分割算法分割工件裂缝，利用Delaunay三角网加上alphashape进行边缘的提取，并对裂缝宽度进行计算；基于点云模型得到深度图像，计算临近区域的深度均值，对整幅深度图像进行滤波；将滤波后的深度图像与原始深度图像相减，遍历各像素点的深度差值，将处理后的二维图像灰度图与标记过的三维点云深度图进行求并集操作，求取最终缺陷区域，将两次宽度结果求平均值，作为最终裂缝宽度。本方法融合三维点云与二维图像，测算出裂缝的大小和位置。

Description

一种融合三维点云与二维图像的裂缝检测方法

技术领域

本发明涉及航空叶片磨锻件的细小裂缝检测领域，具体涉及一种融合三维点云与二维图像的航空叶片磨锻件细小裂缝检测方法。

背景技术

在航空零部件的加工过程中，加工质量的好坏，直接影响整个产品的稳定性，而在加工过程中，会存在很多加工缺陷，其中细小裂缝尤其影响产品的性能与整体安全性，甚至影响后续装配流程，并且在使用过程中易受外界因素影响，从而增大缺陷体积。并且做这些缺陷出现位置随机不易检查，容易漏检、误检。

为了评估航空叶片磨锻件的加工质量，需要对锻造加工后的航空叶片磨锻件进行缺陷检测，现有的缺陷检测方法主要有人工检测、视觉检测等方法：人工检测的缺点在于成本较高，检测结果容易受到检测人员的疲劳或疏忽等因素影响：视觉检测能够实现自动化检测，但是由于图像对比度差、噪点多，常见的缺陷检测方法存在以下问题：均值滤波-着重对缺陷区域的边缘滤波，对于缺陷区域的中间部分滤波效果差，因此识别率低、准确度差：中值滤波、高斯滤波和双边滤波-着重对缺陷区域的四个角点进行滤波，对于缺陷区域的中间部分同样滤波效果不佳，虽然相对于均值滤波准确度有所提高，但依然存在漏检、误检的问题，同时算法复杂、耗时长。同时，在识别过程中，单独利用二维图像或者让三维点云进行识别和计算都有其短板，尤其是在边缘识别方面三维深度图易受噪点影响，而二维图像对深度的计算不如三维深度图，计算准确性差，因此研究一种融合三维点云与二维图像的航空叶片磨锻件细小裂缝检测方法显得十分重要。

发明内容

本发明是采取以下技术手段实现的，一种融合三维点云与二维图像的航空叶片磨锻件细小裂缝检测方法：

步骤一、利用三维激光扫描仪扫描磨锻件，得到磨锻件的三维点云模型，并利用点云信息生成深度图像；

步骤二、利用相机拍摄整个构建的二维图像；

步骤三、将磨锻件的二维图像灰度化，转换为灰度图。利用openCV的图像分割算法，将得到的灰度图进行分割。之后使用Delaunay三角网加上alpha shape进行边缘的提取。先利用中轴变换计算出裂缝的骨架线，再使用正交骨架算法计算裂缝宽度W，作为裂缝的宽度信息；

步骤四、采用以下方式对深度图像滤波：从深度图像的中选择一个像素点，以这个点为中心、框选出深度图像中的一个区域，将框选区域记为待处理选区，待处理选区的尺寸根据缺陷尺寸的经验信息设置；

再以待处理选区为中心区域，查找与其位置衔接的邻接区域：将邻接区域内各像素点的深度值取平均，得到深度均值：所述深度值为像素点在原始深度图像中的深度值；将待处理选区中心位置处的像素点的深度值替换成所述深度均值，以此对待处理选区的中心像素点滤波；遍历深度图像的各个像素点，采用相同的滤波处理方式，完成对整幅深度图像滤波；

步骤五、得到滤波后的深度图像后，计算滤波后图像与原始深度图像的深度差值，并对深度差值求绝对值，记录深度差绝对值的最大值H，作为裂缝的深度信息，同时标记深度差绝对值大于预设值a的像素点，标记为缺陷区域内的点；

步骤六、将标记后的二维灰度图与标记后的深度图进行配准对齐，将缺陷部分区域进行求并集，将合并后的区域记为最终缺陷区域，将最终缺陷区域在二维灰度图上进行标记，利用步骤三的算法，再次求取新标记的缺陷的宽度，将两次宽度求取平均值，作为最终裂缝宽度结果。

本方法具有快速、便捷、准确的特点，适用于航空叶片磨锻件微小裂缝的识别、测量。

附图说明

图1为具体实施方式中的裂缝点云信息；

图2为具体实施方式中裂缝区域阈值分割结果；

图3为具体实施方式中边缘提取结果。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

由于现有技术中大型复合材料毛坯工件模型重建自动化水平低、采集数据波动大、数据处理速度慢。本发明通过测量场景布置-测量路径规划-自动化测量-点云预处理-曲面重建的步骤，采用回转工装与测量机器人联动的方式，能够实现大型复合材料毛坯件表面的自动化全覆盖测量，解决传统手工测量获取大型毛坯工件表面数据质量不稳定的问题，并在测量过程采用全局定位相机捕捉标记点空间坐标信息，扫描仪在扫描时将获取的多帧点云数据根据标记点的空间位置进行拼接，这样避免了在毛坯工件表面布置标记点，保证了毛坯工件表面的成型精度，同时利用点云数据处理时，通过非均匀简化算法，保留毛坯件表面特征信息的情况下，精简了点云数据量，提高了后续点云数据处理的速度及模型重建效率。

下面通过实施例对本发明的方案进行详细说明。

具体实施案例

一种融合三维点云与二维图像的航空叶片磨锻件细小裂缝检测方法，包括以下步骤：

步骤二、利用相机拍摄整个构建的二维图像；

步骤三、利用Python将磨锻件的二维图像灰度化，转换为灰度图。

其中，灰度值gray的确定使用RGB中的加权平均值作为gray；

gray＝0.229×R+0.578×G+0.114×B

同时也可以使用Python直接调用openCV函数：

gray＝cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

之后利用openCV的阈值分割算法，将得到的灰度图进行分割。阈值的分割的核心就是如何选取阈值，选取正确的阈值时分割成功的关键。可以使用手动设置阈值，也可以采用直方图技术法、熵算法自动选取全局阈值，也可以采用自适应阈值算法自动选取局部阈值。通过对比发现，信息熵算法确定的阈值能够更精确的提取出本文磨锻件的缺陷特征，具有更好的表现。

假设信源符号u有N种取值，记为：

u₁,u₂,...,u_N

且每一种信源出现的概率，记为：

p₁,p₂,...,p_N

那么该信源符号的信息熔记为：

图像也可以看作一种信源，把信息焰的概念带入图像就是，图像的信息摘越大(信息量大)，所包含的细节越多，图像就越清晰。假设输入图像为I,代表归一化的图像灰度直方图，那么对于8位图可以看成由256个灰度符号，且每一个符号出现的概率为normHistI组成的信源，其中0<k<255。利用如下步骤计算阈值：

首选计算I的累加概率直方图，又称零阶累积矩，记为

计算各个灰度级的熵，记为

计算使f(t)＝f1(t)+f2(t)最大化的t值，该值即为得到的阔值，即

thresh＝arg_tmax(f(t))

再以待处理选区为中心区域，查找与其位置衔接的邻接区域：将邻接区域内各像素点的深度值取平均，得到深度均值：所述深度值为像素点在原始深度图像中的深度值；将待处理选区中心位置处的像素点的深度值替换成所述深度均值，以此对待处理选区的中心像素点滤波；遍历深度图像的各个像素点，采用相同的滤波处理方式，完成对整幅深度图像滤波：

步骤五、得到滤波后的深度图像后，计算滤波后图像与原始深度图像的深度差值，并对深度差值求绝对值，记录深度差绝对值的最大值H，作为裂缝的深度信息，同时标记深度差绝对值大于预设值a的像素点，标记为缺陷区域内的点；标记出缺陷区域内的各个点，获得缺陷区域位置。

具体实施的时候，对于待处理选区以及临接区域的选择，可以采用下面的两种方式来进行设置：

方式一：待处理选区为矩形区域；

邻接区域包括与待处理选区在上、下和/或左、右方向上位置衔接的多个子区域，或者邻接区域为待处理选区的八邻域。由于缺陷通常为0.3～2.5mm，因此待处理选区的单个边长取0.3mm～2.5mm：邻接区域内单个子区域的面积为待处理选区面积的0.8～1.2倍。为了便于解算，更优选实施为，待处理选区尺寸(10～30像素)×(10～30像素)，邻接区域为待处理选区的八邻域，八个子区域的面积均与待处理选区面积一致。

方式二：待处理选区为圆形区域：其半径取值0.3mm～2.5mm；邻接区域为：与待处理选区相同几何中心的圆形或矩形区域、其面积为待处理选区面积的1.2～2倍。

步骤六、将标记后的二维灰度图与标记后的深度图进行配准对齐，将缺陷部分区域进行求并集，将合并后的区域记为最终缺陷区域，将最终缺陷区域在二维灰度图上进行标记，利用步骤三的算法，使用Delaunay三角网加上alpha shape进行边缘的提取，先利用中轴变换计算出裂缝的骨架线，再使用正交骨架算法计算裂缝宽度W，作为裂缝的宽度信息，以此求取新标记的缺陷的宽度，将两次宽度求取平均值，作为最终裂缝宽度结果。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述内容很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims

1.一种融合三维点云与二维图像的裂缝检测方法，其特征在于，包括以下步骤：

S1、点云数据获取与处理；利用三维激光扫描仪扫描磨锻件，得到磨锻件的三维点云模型，并利用点云信息生成深度图像；

S2、二维图像获取；利用相机拍摄整个构建的二维图像；

S3、基于二维图像的缺陷区域计算；将磨锻件的二维图像灰度化，转换为灰度图；利用openCV的图像分割算法，将得到的灰度图进行分割；之后使用Delaunay三角网加上alphashape进行边缘的提取；先利用中轴变换计算出裂缝的骨架线，再使用正交骨架算法计算裂缝宽度W，作为裂缝的宽度信息；

S4、深度图滤波；采用以下方式对深度图像滤波：从深度图像的中选择一个像素点，以这个点为中心、框选出深度图像中的一个区域，将框选区域记为待处理选区，待处理选区的尺寸根据缺陷尺寸的经验信息设置；

S5、基于三维深度图的缺陷区域计算；得到滤波后的深度图像后，计算滤波后图像与原始深度图像的深度差值，并对深度差值求绝对值，记录深度差绝对值的最大值H，作为裂缝的深度信息，同时标记深度差绝对值大于预设值a的像素点，标记为缺陷区域内的点；

S6、融合缺陷区域求取；将标记后的二维灰度图与标记后的深度图进行配准对齐，将缺陷部分区域进行求并集，将合并后的区域记为最终缺陷区域，将最终缺陷区域在二维灰度图上进行标记，利用步骤三的算法，再次求取新标记的缺陷的宽度，将两次宽度求取平均值，作为最终裂缝宽度结果。

2.根据权利要求1所述的一种融合三维点云与二维图像的裂缝检测方法，其特征在于，S3中，首先利用了磨锻件的二维图像进行缺陷区域的识别与分割：将磨锻件的二维图像选择合适的方法进行灰度化，利用openCV算法，在选取阈值以后，快速精确地分割出裂缝区域，进一步在二维灰度图上面使用Delaunay三角网加上alpha shape进行边缘的提取，用中轴变换计算出裂缝的骨架线，再使用正交骨架算法计算裂缝宽度W，作为裂缝的宽度信息。

3.根据权利要求1所述的一种融合三维点云与二维图像的裂缝检测方法，其特征在于，S4所述的方法同时对三维点云信息进行处理，得到磨锻件的深度图对深度图进行滤波和求取差值，得出裂缝深度与裂缝位置。

4.根据权利要求1所述的一种融合三维点云与二维图像的裂缝检测方法，其特征在于，S6中，将二维处理与三维处理的结果图进行配准匹配融合二维图像处理与三维点云处理得到的结果，求取缺陷面积的最大值，进而再次求取裂缝宽度，再将两次结果求取平均值后，达到最终目的。