CN106872476A - 一种基于线结构光的铸造类工件表面质量检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于线结构光的铸造类工件表面质量检测方法与系统，利用线结构光和成像单元对工件扫描获得工件的三维点云，通过对工件原始三维模型切片和对工件三维点云平面矢量化得到原始三维模型与待检测工件的二维轮廓数据，将得到的二维轮廓数据进行旋转、移动、拟合预等操作后逐层计算相似度，标注相似度较低的部分，并计算两者的整体相似度。相对于现有技术，本发明能够以自动化的、可量化的无伤检测方法检测铸造类工件存在的问题，克服人工检测存在效率低下、检测不全面、无法量化等问题。

Description

一种基于线结构光的铸造类工件表面质量检测方法与系统

背景技术

随着制造业的智能化水平不断提高，对物体测量方法的精确度、效率以及自动化程度提出了越来越高的要求。铸造类工件有着较高的残、废品率，尤其是铸造类工件表面，常出现夹沙、砂眼、渣孔、缩孔、缺肉，肉瘤等缺陷。人工检测存在效率低下、检测不全面、无法量化等问题。

发明内容

本发明为解决上述技术问题，提供一种基于线结构光的铸造类工件表面质量检测方法与系统，能够以自动化的、可量化的方法检测铸造类工件存在的问题。

为解决上述技术问题，本发明采用如下技术方案：

一种基于线结构光的工件表面质量检测系统，其特征在于包括：PC端上位机、以及作为线结构光三维重建装置的下位机；下位机用于检测得到工件的三维点云数据，主要包括CCD工业相机、线结构激光发生器、主控制器、旋转扫描工作台；旋转扫描工作台与传送装置对接，工件被传送装置传送进入旋转扫描工作台旋转被扫描采集数据后再回到传送装置上而离开；线结构激光发生器用于发射激光照射到工件上；CCD工业相机摄像头用于捕捉图像数据；主控制器用于控制旋转扫描工作台旋转一定角度，并对捕捉的图像数据进行处理得到工件表面轮廓线，然后将扫描得到的轮廓线发送给上位机进行后续的处理。

上述技术方案中，所述工件为铸造类工件。

一种基于线结构光的铸造类工件表面质量检测方法，其特征在于包括如下步骤：

1)工件被传送进入旋转扫描工作台，工件在工作台上旋转一周后回到传送带上离开；

2)下位机将步骤1)过程获得的3D点云数据发送到上位机中，上位机对点云数据进行滤波处理，去掉高频噪声；

3)滤波后的数据分两种分析方式同时进行处理：表面轮廓线分析和3D模型相似度分析；通过两种方式找出工件存在的问题部分并选择进行缺陷标注或直接进行缺陷程度计算；

4)进行缺陷程度计算，并与用户设定的缺陷程度进行对比，若高于设定的缺陷程度，则标注工件不合格，留待工作人员处理，否则标注工件合格，顺利通过。

上述技术方案中，步骤3)中具体包括如下两个同时进行的分析步骤：

3.1)表面轮廓线分析：检测工件是否存在砂眼、渣孔、夹砂之类较小的缺陷，如存在较小的缺陷则进行缺陷标注；如不存在较小的缺陷，则直接转入第4)步进行3D模型相似度分析后的缺陷程度计算；

3.2)3D模型相似度分析：

上位机先根据工件3D点云数据进行三维模型重建，并分别计算重建后模型的体积以及工件原始数字模型体积，将重建后模型的体积与原始数字模型体积进行对比，若两者体积相差小于预设阈值，则直接转入步骤4)进行缺陷程度计算；若两者体积相差大于预设阈值，则认定模型存在缺肉、肉瘤之类较大的缺陷，之后对该存在较大的缺陷的工件的点云进行3D模型相似度分析，找出缺陷的具体位置。

上述技术方案中，步骤3.1)表面轮廓线分析分为中心亚像素提取、轮廓折点提取与分析、和轮廓断点提取与分析三个步骤,首先进行中心亚像素提取，获取经过梯度重心法变换后的图像；

当提取后图像轮廓线表现为折点时进行轮廓折点提取与分析；通过分析轮廓线的一阶导数值变化情况，可以找到轮廓线中的折点，再通过计算折点距离去除工件自身结构的干扰，找出工件表面的凸点或凹陷缺陷；

当提取后图像轮廓线表现为断点时进行轮廓断点提取与分析，得到断点后对断点间的距离进行计算，距离较小的认定为砂眼、气孔、渣孔之类的铸造缺陷，断点较大的认定为工件自身结构轮廓上的断线。

综上，本发明的系统可以实现对工件表面质量的检测并以数值和图形的形式显示出来，可用于铸造行业实现铸件表面质量的自动化检测。系统采用的是计算原始三维模型和工件三维点云的相似度以分析工件表面质量的方法。该方法利用线结构光和成像单元对工件扫描获得工件的三维点云，通过对工件原始三维模型切片和对工件三维点云平面矢量化得到原始三维模型与待检测工件的二维轮廓数据，将得到的二维轮廓数据进行旋转、移动、拟合预等操作后逐层计算相似度，标注相似度较低的部分，并计算两者的整体相似度。相对于现有技术，本发明能够以自动化的、可量化的无伤检测方法检测铸造类工件存在的问题，克服人工检测存在效率低下、检测不全面、无法量化等问题。

附图说明

图1为本发明基于线结构光的铸造类工件表面质量检测方法流程图。

图2为本发明下位机工作原理图。

图3为下位机工作流程图。

图4为表面轮廓线分析的流程图。

图5为光条中心线亚像素提取效果图；左边是经二值化和滤噪后获得的图像，右边是经过梯度重心法变换后获得的图像。

图6为本发明计算工件3D点云产生的模型的体积原理示意图。

图7为本发明的3D模型相似度分析过程流程图。

具体实施方式

本发明基于线结构光的铸造类工件表面质量检测方法主要分为下位机检测部分和上位机分析、比对两个部分。整体的工作流程如图1，包括如下步骤：

1)工件由传送带进入旋转扫描工作台，工件在工作台上旋转一周后回到传送带上离开；

2)下位机将步骤1)过程获得的3D点云数据发送到上位机中，上位机对点云数据进行滤波处理，去掉高频噪声；

3)滤波后的数据分两种分析方式同时进行处理：表面轮廓线分析和3D模型相似度分析；通过两种方式找出工件存在的问题部分并选择进行缺陷标注或直接进行缺陷程度计算；

4)进行缺陷程度计算，并与用户设定的缺陷程度进行对比，若高于设定的缺陷程度，则标注工件不合格，留待工作人员处理，否则标注工件合格，顺利通过。

上述技术方案中，步骤3)中具体包括如下两个同时进行的分析步骤：

3.1)表面轮廓线分析：检测工件是否存在砂眼、渣孔、夹砂之类较小的缺陷，如存在较小的缺陷则进行缺陷标注；如不存在较小的缺陷，则直接转入第4)步进行3D模型相似度分析后的缺陷程度计算；

3.2)3D模型相似度分析：

上位机先根据工件3D点云数据进行三维模型重建，并分别计算重建后模型的体积以及工件原始数字模型体积，将重建后模型的体积与原始数字模型体积进行对比，若两者体积相差小于预设阈值，则直接转入步骤4)进行缺陷程度计算；若两者体积相差大于预设阈值，则认定模型存在缺肉、肉瘤之类较大的缺陷，之后对该存在较大的缺陷的工件的点云进行3D模型相似度分析，找出缺陷的具体位置。

上述技术方案中，步骤3.1)表面轮廓线分析分为中心亚像素提取、轮廓折点提取与分析、和轮廓断点提取与分析三个步骤,首先进行中心亚像素提取，获取经过梯度重心法变换后的图像；

当提取后图像轮廓线表现为折点时进行轮廓折点提取与分析；通过分析轮廓线的一阶导数值变化情况，可以找到轮廓线中的折点，再通过计算折点距离去除工件自身结构的干扰，找出工件表面的凸点或凹陷缺陷；

当提取后图像轮廓线表现为断点时进行轮廓断点提取与分析，得到断点后对断点间的距离进行计算，距离较小的认定为砂眼、气孔、渣孔之类的铸造缺陷，断点较大的认定为工件自身结构轮廓上的断线。

下面对基于线结构光的铸造类工件表面质量检测系统进行介绍，该系统主要包括：作为线结构光三维重建装置的下位机，以及PC端上位机。下位机用于检测得到工件的三维点云数据。硬件结构如图2，主要由CCD工业相机、线结构激光发生器、主控制器、旋转扫描工作台构成。

下位机工作流程如图3所示。线结构激光发生器发射激光照射到工件上，摄像头捕捉图像数据，进行处理，得到工件表面轮廓线，主控制器控制旋转扫描工作台旋转一定角度，重复以上步骤，直到旋转扫描工作台旋转满一周，结束本次扫描。主控制器将扫描得到的轮廓线发送给上位机进行后续的处理。

上位机部分介绍

上位机通过分析处理下位机传来的三维点云数据，对工件进行三维重建，并通过对重建后的模型进行分析得出工件的表面质量并对有缺陷的部分进行标注，最终计算工件整体的表面质量，并以数值的形式展示出来，提供一个量化的数据表示工件表面质量。

工件表面质量分析分为两种：

表面轮廓线分析：用于找寻砂眼、渣孔、夹砂等较小的缺陷问题；表面轮廓线分析的流程图如图4所示。

体积计算与3D模型相似度分析：用于找寻缺肉、肉瘤等较大的缺陷。

其中，表面轮廓线分析分为中心亚像素提取、折点提取与分析和断点提取与分析三个部分。

(1)、中心亚像素提取

目前光条中心线亚像素提取有很多种方法，第1类是基于光带灰度极大值附近区域灰度拟合曲线的极大值位置法，第2类是灰度拟合曲线的灰度重心法。此处参考了华中科技大学吴家勇博士的论文--基于梯度重心法的线结构光中心亚像素提取方法，其核心思想是首先寻找当前行光带中心的粗略位置，确定光带粗略范围并对该区域图像低通滤波和幂次变换，再用自适应阈值法确定光带边界的度阈值，便可计算光带中心位置。经过中心亚像素的提取，在CCD获取的像图中，激光条只占一个像素宽度，极大的减小了误差。如图5，左边是经二值化和滤噪后获得的图像，右边是经过梯度重心法变换后获得的图像。

(2)、轮廓断点分析

铸造类工件自身的特点决定了正常情况下其表面很少出现直径较小的孔，通常这些孔都是砂眼、气孔、渣孔等铸造缺陷，线结构光照射到这些小孔后，由于成像相机与线结构光发生器存在一定的角度，小孔部分会出现结构光断掉的情况。为避免工件自身结构轮廓上的断线的干扰，这里在得到断点后对断点间的距离进行计算，距离较小的认定为铸造缺陷，断点较大的认定为工件自身结构轮廓上的断线。

(3)、轮廓折点分析

当铸造类工件的表面出现凸点或凹陷时，在线结构光的照射下，会在相机中呈现出一个个“凸包”，凸包的两侧在轮廓线上表现为折点，在数学特征上表现为一阶导数为零或者一阶导数发生突变。通过分析轮廓线的一阶导数值变化情况，可以找到轮廓线中的折点。再通过计算折点距离去除工件自身结构的干扰，找出工件表面的缺陷。

体积分析与3D模型相似度分析

对于缺肉、肉瘤等较大的缺陷，轮廓分析无法有效地判断，为了解决这类缺陷的判断，本发明采用了工件体积分析+3D模型相似度分析的方法进行分析。

工件体积分析

为了从总体上分析工件是否存在较大的缺陷，首先需要对工件进行体积分析，分析的方法为计算工件3D点云产生的模型的体积与原始数字模型的体积，计算两者体积的差值，若相差较大，则认定为工件存在缺肉、肉瘤等体积较大的缺陷。计算工件3D点云产生的模型的体积方法如下，参考图6的计算工件3D点云产生的模型的体积原理。

如图6中左侧为工件，线结构光照射工件，相机拍摄工件，经过滤波、中心亚像素提取，得到右图中的轮廓线L1。从上到下以轮廓线上两点间的距离δ获得点P11、P12、P13…P1n，这些点到中心线(即相机坐标系中旋转载物台的旋转轴心)的距离分别为d11、d12、d13…d1n。每次获得轮廓线后旋转载物台旋转设定角度ω，采用同样的方式获取轮廓线L2,L3…Lm,直到旋转载物台旋转一周。则工件的3D点云产生的模型的体积

式中，

m为载物台旋转一周获得的轮廓线数量，通常m＞150,

n为每个轮廓线上点的数量，通常n＞100,

ω为旋转载物台每次旋转的角度，

δ为轮廓线上两点间的距离，通常δ＜1mm,

d为轮廓线上点到中心线的距离,

i为轮廓线的叠加标，1≤i≤m,

j为轮廓线上点的叠加标，1≤j≤n。

工件原始数字模型体积计算方法如下：

先进行模型切片，由于原始模型文件采用的是三角表示法，为了计算模型的体积，需要对模型进行切片操作，确定模型每一层的轮廓。这里选用的切片算法是北京航空航天大学交通科学与工程大学王素的论文——STL模型的分层临接排序快速切片算法。在得到工件每一层的轮廓后，通过逐层积分的方式得到整个原始数字模型的体积。

工件3D模型相似度分析

在通过工件体积分析确认工件存在较大的缺陷后，可以通过工件3D模型相似度分析找出工件缺陷的具体位置，工件3D模型相似度分析过程如图7所示。

以模型与工作台的接触面最为基准面进行分析：

工件点云从下至上按照逐层分割开，将三维模型分割为2D层轮廓，以下简称点云层轮廓。

工件数字模型用STL模型的分层临接排序快速切片算法进行切片，得到原始数字模型的层轮廓。以下简称模型层轮廓。

对得到的所有层轮廓求其最小外接圆，并记录圆心位置。

逐层计算点云层轮廓与模型层轮廓外接圆圆心的距离，并通过最小二乘法找到二者最优的重合点。

按照“最大模”的原则，逐层提取层轮廓的特征向量。

逐层计算点云层轮廓与模型层轮廓特征向量的夹角，并通过最小二乘法找到两者最优的重合角度。

逐层分析点云层轮廓与模型层轮廓，计算层缺陷(即点云层轮廓相较于模型层轮廓多出来和少掉的部分)。

将得到的层缺陷逐层积分，得到缺陷的三维信息。

废品次品的判断

通过以上两种算法，可以分析出工件的缺陷以及缺陷的具体位置，按照用户在上位机中设置的规则(允许的缺陷种类、缺陷量、缺陷位置等)，分析工件是否符合要求，从而判断工件是否合格。

Claims (5)

1.一种基于线结构光的工件表面质量检测系统，其特征在于包括：PC端上位机、以及作为线结构光三维重建装置的下位机；下位机用于检测得到工件的三维点云数据，主要包括CCD工业相机、线结构激光发生器、主控制器、旋转扫描工作台；旋转扫描工作台与传送装置对接，工件被传送装置传送进入旋转扫描工作台旋转被扫描采集数据后再回到传送装置上而离开；线结构激光发生器用于发射激光照射到工件上；CCD工业相机摄像头用于捕捉图像数据；主控制器用于控制旋转扫描工作台旋转一定角度，并对捕捉的图像数据进行处理得到工件表面轮廓线，然后将扫描得到的轮廓线发送给上位机进行后续的处理。

2.根据权利要求1所述基于线结构光的工件表面质量检测系统，其特征在于所述工件为铸造类工件。

3.一种采用权利要求1-2之一所述基于线结构光的铸造类工件表面质量检测方法，其特征在于包括如下步骤：

1）工件被传送进入旋转扫描工作台，工件在工作台上旋转一周后回到传送带上离开；

2）下位机将步骤1）过程获得的3D点云数据发送到上位机中，上位机对点云数据进行滤波处理，去掉高频噪声；

3）滤波后的数据分两种分析方式同时进行处理：表面轮廓线分析和3D模型相似度分析；通过两种方式找出工件存在的问题部分并选择进行缺陷标注或直接进行缺陷程度计算；

4）进行缺陷程度计算，并与用户设定的缺陷程度进行对比，若高于设定的缺陷程度，则标注工件不合格，留待工作人员处理，否则标注工件合格，顺利通过。

4.根据权利要求3所述工件表面质量检测方法，其特征在于：

步骤3）中具体包括如下两个同时进行的分析步骤：

3.1）表面轮廓线分析：检测工件是否存在砂眼、渣孔、夹砂之类较小的缺陷，如存在较小的缺陷则进行缺陷标注；如不存在较小的缺陷，则直接转入第4）步进行3D模型相似度分析后的缺陷程度计算；

3.2）3D模型相似度分析：

上位机先根据工件3D点云数据进行三维模型重建，并分别计算重建后模型的体积以及工件原始数字模型体积，将重建后模型的体积与原始数字模型体积进行对比，若两者体积相差小于预设阈值，则直接转入步骤4）进行缺陷程度计算；若两者体积相差大于预设阈值，则认定模型存在缺肉、肉瘤之类较大的缺陷，之后对该存在较大的缺陷的工件的点云进行3D模型相似度分析，找出缺陷的具体位置。

5.根据权利要求4所述工件表面质量检测方法，其特征在于：

步骤3.1）表面轮廓线分析分为中心亚像素提取、轮廓折点提取与分析、和轮廓断点提取与分析三个步骤,首先进行中心亚像素提取，获取经过梯度重心法变换后的图像；

当提取后图像轮廓线表现为折点时进行轮廓折点提取与分析；通过分析轮廓线的一阶导数值变化情况，可以找到轮廓线中的折点，再通过计算折点距离去除工件自身结构的干扰，找出工件表面的凸点或凹陷缺陷；

当提取后图像轮廓线表现为断点时进行轮廓断点提取与分析，得到断点后对断点间的距离进行计算，距离较小的认定为砂眼、气孔、渣孔之类的铸造缺陷，断点较大的认定为工件自身结构轮廓上的断线。