CN110389127B - 一种金属陶瓷零件识别及表面缺陷检测系统和方法 - Google Patents

Abstract

本发明公开了一种金属陶瓷零件识别及表面缺陷检测系统和方法。该系统包括检测装置和与检测装置相连的上位机，检测装置工作桌面、支架、环形光源、工业相机，底座通过型材固定架安装有竖直型材，竖直型材通过光源调节杆安装有环形光源，竖直型材上安装有位于光源调节杆上方的水平型材，水平型材上安装有位于环形光源正上方的工业相机，被测零件置于工作桌面且位于环形光源正下方；工业相机与上位机相连，在上位机中有一套集成算法的交互软件，该软件可利用相机回传图像进行零件识别和表面缺陷检测。本发明能够使用机器视觉的方法对金属陶瓷零件进行快速准确识别，并检测其表面的擦伤、划痕和凹痕缺陷，可以很好适应平移、旋转、尺度和光照变化。

Description

一种金属陶瓷零件识别及表面缺陷检测系统和方法

技术领域

本发明属于机器视觉识别和检测领域，具体涉及一种金属陶瓷零件识别及表面缺陷检测系统和方法。

背景技术

中国制造发展非常迅速，具有产量大、品种广的特点。因此，在零件表面存在瑕疵缺陷是往往不可避免的。使用金属陶瓷材料制成的零件由于熔点高、重量轻、硬度大，常用于飞机导弹的关键部位。在此类零件的生产制造过程中，识别出零件并及时发现其表面存在的瑕疵缺陷能够避免将不良零件用于整个机械系统的装配中，从而消除因零件本身制造问题产生的系统故障。

传统的人工检测方法受限于人的主观评价和精力，存在不稳定、不可靠和速度慢的缺点。并且金属陶瓷表面相对粗糙，使用涡流、超声等无损检测方法会存在灵敏度不高，检测精度不佳等问题，因此无法很好地运用到基于此种材料的零件表面缺陷检测中，更不能实现对零件的识别。

发明内容

为了解决背景技术中存在的问题，本发明提供了一种金属陶瓷零件识别及表面缺陷检测系统和方法，能利用机器视觉的方法获取大量金属陶瓷零件表面信息，在此基础上进行零件的识别以及表面缺陷的检测，具有高效、稳定、准确等优点。配合传送带等自动零件运输方式，还能实现识别检测的自动化，提升工业制造水平。

本发明采用的技术方案如下：

一、一种金属陶瓷零件识别及表面缺陷检测系统

本发明包括检测装置和与检测装置相连的上位机，检测装置包括工作桌面、支架、环形光源和工业相机，支架主要由竖直型材、水平型材、型材固定架和底座组成，底座置于工作桌面，底座通过型材固定架安装有竖直型材，竖直型材通过光源调节杆安装有环形光源，竖直型材通过六角螺栓和六角螺母安装有位于光源调节杆上方的水平型材，水平型材通过相机连接片安装有位于环形光源正上方的工业相机，被测零件置于工作桌面且位于环形光源正下方；工业相机与上位机相连，通过网络电缆实现工业相机与上位机的通讯。

根据检测环境的不同进行相应机构位置的调节，保证相机采集到高质量原始图像。通过调节水平型材位置控制工业相机高度以适应检测视场和现场的需求；通过调节光源调节杆高度使得环形光源在不进入视场前提下保证被测零件周围光强的均匀性。

二、采用上述金属陶瓷零件识别及表面缺陷检测系统的检测方法

包括以下步骤：

步骤1：在工业相机视场大小不满足被检测要求时，利用双圆图和霍夫圆检测并进行距离映射的方法对工业相机的视场大小进行自动标定，通过上位机控制工业相机采集被测零件的原始图像；通过调节工业相机镜头光圈或通过上位机对原始图像进行亮度处理，以保证原始图像不会过曝或过暗；

步骤2：从原始图像中提取主体目标后得到主体目标灰度图像，主体目标为原始图像中的被测零件；

步骤3：对主体目标灰度图像中的被测零件进行零件识别；

步骤4：对主体目标灰度图像进行零件表面缺陷检测，缺陷检测包括擦伤缺陷检测、划痕缺陷检测和凹痕缺陷。

所述步骤1中对工业相机的视场大小进行自动标定的方法具体为：将两个圆心实际距离已知的双圆图放置于相机视场范围内，利用霍夫圆检测方法检测出两个圆，并计算两个圆心之间的像素距离，根据圆心实际距离和像素距离确定的拟合曲线获得标定系数，通过标定系数实现视场大小的自动标定。

所述步骤2具体为：

2.1)将原始图像转到HSV颜色空间，并提取其中的色调通道后得到色调通道图；

2.2)然后分别使用大津算法和三角形算法对色调通道图进行二值化处理，在经大津算法处理得到的二值化图像和经三角形算法处理得到的二值化图像中选取灰度均值更小的二值化图像作为后续操作的图像输入；

2.3)将灰度均值更小的二值化图像进行闭运算处理以消除图像背景中的前景噪点，并对二值化图像中像素进行连通域标记与合并，在合并后的连通域中提取最大连通域作为主体目标粗掩膜，通过漫水填充法填补粗掩膜中的背景噪点，并利用开运算平滑粗掩膜边缘从而得到主体目标精细掩膜；

2.4)将原始图像转化为原始灰度图像，利用主体目标精细掩膜在原始灰度图像中提取出主体目标，从而得到获得主体目标区域的主体目标灰度图像。

所述步骤3具体为：

3.1)计算主体目标灰度图像的7个不变Hu矩和主体目标占整个图像的面积占比，从而获得8维特征向量，将8维特征向量取绝对值并对数化，再与步骤1得到的标定系数相乘后作为支持向量机训练的特征数据；

3.2)将工业相机采集的所有原始图像进行零件类别的标记，将标记后的图像分为训练样本和测试样本，将训练样本和测试样本经步骤2和步骤3.1)处理后得到的所有特征数据组合为特征矩阵，将组合特征矩阵输入径向基核函数的支持向量机进行训练得到零件识别模型；

3.3)将步骤3.1)的特征数据输入步骤3.2)的零件识别模型进行判别得到零件类别，完成主体目标灰度图像的零件识别。

所述步骤4中的擦伤缺陷检测具体为：

4.1.1)通过阈值化处理提取主体目标灰度图像中的擦伤缺陷区域，阈值化方法中的自动阈值采用下述模型计算得到：

T_auto＝alogV²-klogA+c

其中，T_auto表示计算得到的自动阈值，V表示灰度图像的灰度均值，A表示主体目标占整个图像的面积占比，c表示常数项；

4.1.2)计算步骤4.1.1)提取的所有擦伤缺陷区域的面积和长宽比，根据设定的面积阈值和长宽比阈值筛选得到真实擦伤缺陷区域，并标记于原始图像中；

所述步骤4中的划痕缺陷检测具体为：

4.2.1)通过对原始图像分别进行灰度处理和滤波处理得到原始灰度图像和均值滤波图像，将原始灰度图像减去均值滤波图像得到包含断裂划痕区域的高维空间图；

4.2.3)除去高维空间图中的真实擦伤缺陷区域和主体目标的外轮廓，然后使用中值滤波的方法除去高维空间图中的噪点，并采用膨胀形态学方法将断裂划痕区域进行连通，最后将连通的粗划痕经过图像细化操作得到最终划痕区域，并标记于原始彩图中；

所述步骤4中的凹痕缺陷检测具体为：

4.3.1)将工业相机采集的所有原始图像进行凹痕缺陷标记，将标记有凹痕缺陷的图像作为正样本，将未标记有凹痕缺陷的图像作为负样本；

4.3.2)提取正样本和负样本中图像的HOG特征，将正样本和负样本的HOG特征输入支持向量机中训练得到凹痕缺陷检测模型；

4.3.3)提取步骤1采集的原始图像的HOG特征，将原始图像的HOG特征输入凹痕缺陷检测模型得到凹痕缺陷区域，根据设定的置信权重从模型检测得到的凹痕缺陷区域标出实际凹痕缺陷区域。

提取图像的HOG特征的方法如下：

步骤1：将图像进行灰度处理得到灰度图像

步骤2：采用Gamma校正法对图像进行颜色空间的归一化

步骤3：计算图像中每个像素的梯度；

步骤4：将图像划分成多个成小cells；

步骤5：统计每个cell的梯度直方图，得到每个cell的特征；

步骤6：将2*2个cell组成一个块block，串联一个块block内所有cell的特征并利用向量二范数进行归一化，即可得到该块block的HOG特征；

步骤7：串联图像中所有块的HOG特征，记得到该图像的HOG特征。

HOG特征提取的参数如下：检测窗口为64*64方形窗口，块尺寸16*16，块步长为1个cell尺寸大小，取10维直方图，最后获得共1960维维特征向量。

本发明的有益效果是：

1)本发明设计了一套光源、相机三维位置可调节的机械装置，能够为识别检测算法提供高质量的采集图像。

2)本发明的机械装置配合位于上位机中的稳定、安全、便捷的交互软件，能够非常方便快速地进行金属陶瓷零件识别和表面擦伤、划痕、凹痕缺陷的检测，并适应视场大小和环境光照的变化。配合传送带等自动运输方式，可以实现生产制造过程的高效自动化，为关键机械装备的装配提供前提保障。

附图说明

图1为本发明检测装置工作状态结构示意图；

图2为本发明检测装置另一个角度结构示意图；

图3为本发明交互软件主要功能示意图；

图4为本发明主体目标提取的流程图；

图5为本发明金属陶瓷零件识别流程图；

图6为本发明金属陶瓷零件表面缺陷检测流程图；

图中：工业相机1，相机镜头2，光源调节杆3，环形光源4，被测零件5，工作桌面6，底座7，六角螺钉8，型材固定架9，光源连接片10，竖直型材11，角码12，六角螺母13，六角螺栓14，水平型材15，相机连接片16。

具体实施方式

下面将结合附图和具体实施例对本发明进行详细说明。

如图1和图2所示，本发明检测系统的检测装置包括工作桌面6、支架、环形光源4和工业相机1，支架主要由竖直型材11、水平型材15、型材固定架9和底座7组成，底座7置于工作桌面，底座7通过型材固定架9安装有竖直型材11，底座7与型材固定架9通过六角螺钉8连接，实现整套装置的平稳静置，型材固定架9再通过六角螺栓14和六角螺母13与竖直型材11连接。竖直型材11通过光源调节杆3安装有环形光源4，竖直型材11通过六角螺栓14和六角螺母13安装有位于光源调节杆3上方的水平型材15，并通过角码12支撑固定。水平型材15通过相机连接片16安装有位于环形光源4正上方的工业相机1，被测零件5置于工作桌面6且位于环形光源4正下方；工业相机1与上位机相连，通过网络电缆实现工业相机1与上位机的通讯。

采用上述检测装置，根据条件的不同进行相应机构位置的调节，保证相机能采集到高质量原始图像。当被检测零件5过大而无法保证其周围光照均匀时，在环形光源4不会进入相机视场的前提条件下，可以降低光源连接片10的位置，控制被检测零件5周围的光强均匀性。同样，当相机视场不满足被检测要求时，可以拧开角码12上的六角螺母13，调节水平型材15的高度，从而调节视场至适合状态。

交互软件位于与工业相机1相连接的上位机中，利用此软件可以获取相机回传图像并进行金属陶瓷零件识别和检测等操作。如图3所示，交互软件主要包括相机操控、识别检测和图像操控三大模块。

具体实施例：

步骤1：通过相机操控模块采集原始RGB彩图

先后点击相机操控模块中的打开相机和开始采集按钮，并从多相机选择下拉列表中选中需要使用的相机编号，可以实时接收并显示相机回传原始图像。调节镜头光圈或使用软件曝光调控功能进行原始图像亮度处理，以保证得到的原始图像不会过曝或过暗。如果相机视场在上次系统使用后存在较大的变化，可以使用相机标定功能，利用双圆图和霍夫圆检测并进行距离映射的方法实现视场大小的自动标定，并将标定系数写入本地配置文件方便调用。完成上述操作后，便可以在上位机中调用高质量原始RGB彩图。

步骤2：如图4所示，为了提升识别和检测的精度，从原始图像中提取主体目标

通过交互软件获取到原始彩图，转化为HSV颜色空间并提取其中的色调通道，使用融合大津算法和三角形算法的阈值化方法进行主体目标的提取。分别使用大津算法和三角形算法进行二值化操作，计算二值化后的图像灰度均值，取均值较小的结果作为后续步骤的输入。利用闭运算形态学方法消除背景中的前景噪点，并提取图像的最大连通域，可以得到目标粗掩膜。对粗掩膜采用漫水填充的方法填补掩膜中的背景噪点，并利用开运算的方法平滑掩膜边缘，得到目标精细掩膜，利用此掩膜便可以提取出主体目标灰度图像。

步骤3：对主体目标灰度图像中的被测零件进行零件识别；

如图5所示，计算主体目标灰度图像的7个不变Hu矩和主体目标面积占比形成8维特征向量，对此向量取绝对值并对数化，再乘上标定系数即可作为支持向量机输入的特征数据。在零件识别前必须保证有提前训练保存下来的模型，模型训练流程为虚线标识的方向，将所有训练图像的8维特征向量组合为一个特征矩阵，放入径向基核函数的支持向量机中进行训练，训练结束后将模型文件保存至本地。而进行零件识别时只需从本地读入模型文件，对输入的8维特征向量进行判别即可得到零件识别结果。

步骤4：如图6所示，对主体目标灰度图像进行零件表面缺陷检测，缺陷检测包括擦伤缺陷检测、划痕缺陷检测和凹痕缺陷检测；

擦伤缺陷检测：由于擦伤缺陷在灰度空间的图像中往往表现为密集分布且灰度值高于周围的密集分布区域，可以使用阈值化的方法进行缺陷区域的提取。如果直接使用固定阈值会使得算法不具有光照不变性和尺度适应性。根据实验拟合出阈值自动计算模型，即

T_auto＝alogV²-klogA+c

其中，T_auto代表计算得到的自动阈值，V代表灰度图像的灰度均值，A代表主体目标图像面积占比。自动计算出阈值后，会存在一些噪点，通过面积、长宽比等特征筛选，可以得到真实擦伤区域，并标记在原始彩图中；

划痕缺陷检测：划痕缺陷检测采用高频空间细化方法。利用原始图像的灰度图像减去均值滤波图像得到高维空间图，并除去擦伤区域和主体目标外轮廓防止误检。使用中值滤波的方法除去高维空间图中的噪点并采用膨胀形态学方法将断裂划痕进行连通。为了让划痕标记更接近于真实值，对连通粗划痕使用图像细化的方法得到最终检测到的划痕区域，并标记在原始彩图中；

凹痕缺陷检测：凹痕缺陷由于不具备明显的特征，采用方向梯度直方图结合支持向量回归二分类的方法进行检测，此流程同样需要有预先训练的模型，在图6中用虚线标识。将工业相机采集的所有原始图像进行凹痕缺陷标记，将标记有凹痕缺陷的图像作为正样本，将未标记有凹痕缺陷的图像作为负样本，保持正样本数量和负样本数量为1:4的比例；提取正样本和负样本中图像的方向梯度直方图特征，将正样本和负样本的方向梯度直方图特征输入支持向量机中训练得到凹痕缺陷检测模型，支持向量回归选择线性核函数和0.1的惩罚因子；将原始图像的HOG特征输入凹痕缺陷检测模型得到凹痕缺陷区域，根据置信权重标出检测到的凹痕缺陷区域。

方向梯度直方图使用10维直方图代替常规的9维直方图，检测窗口使用64×64方形窗口，可以得到最佳检测效果。

在正常情况下，通过上述流程即可完成零件的识别及表面缺陷检测。而当本地模型文件不存在或者零件类别发生修改时，需要利用图3所示的图像操控模块进行模型文件的创建或更新。当需要建立零件类库或是临时保存图像时，可以使用图像保存功能，将回传图像保存至相应本地文件中，通过使用零件类显示功能可以打开文件资源管理器对本地图像进行预览。当需求零件类别增加时，使用零件类添加功能可以在本地创建新的零件类库，而当某些零件不再需要用于识别检测时，使用零件类删除功能可以永久删除此类零件所有资料。此模块使得数据管理非常便捷。

采用上述交互软件，配合检测装置，可以让使用者非常方便地实现相机控制、识别检测和零件管理等目标。进一步的，本发明实现了光照、尺度、平移和旋转的不变性，可以在视场大小和环境发生一定程度变化的情况下仍然保持较好的识别检测效果。

以上所述仅为本发明的一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。

Claims (4)

1.一种使用金属陶瓷零件识别及表面缺陷检测系统的检测方法，所述方法采用的金属陶瓷零件识别及表面缺陷检测系统包括检测装置和与检测装置相连的上位机，检测装置包括工作桌面(6)、支架、环形光源(4)和工业相机(1)，支架主要由竖直型材(11)、水平型材(15)、型材固定架(9)和底座(7)组成，底座(7)置于工作桌面，底座(7)通过型材固定架(9)安装有竖直型材(11)，竖直型材(11)通过光源调节杆(3)安装有环形光源(4)，竖直型材(11)通过六角螺栓(14)和六角螺母(13)安装有位于光源调节杆(3)上方的水平型材(15)，水平型材(15)通过相机连接片(16)安装有位于环形光源(4)正上方的工业相机(1)，被测零件(5)置于工作桌面(6)且位于环形光源(4)正下方；工业相机(1)与上位机相连，通过网络电缆实现工业相机(1)与上位机的通讯；

通过调节水平型材(15)位置控制工业相机(1)高度；通过调节光源调节杆(3)高度使得环形光源(4)在不进入视场前提下保证被测零件(5)周围光强的均匀性；

其特征在于，包括以下步骤：

步骤1：利用双圆图和霍夫圆检测的方法对工业相机的视场大小进行自动标定，通过上位机控制工业相机采集被测零件的原始图像；

步骤2：从原始图像中提取主体目标后得到主体目标灰度图像，主体目标为原始图像中的被测零件；

步骤3：对主体目标灰度图像中的被测零件进行零件识别；

步骤4：对主体目标灰度图像进行零件表面缺陷检测，缺陷检测包括擦伤缺陷检测、划痕缺陷检测和凹痕缺陷；

所述步骤4中的擦伤缺陷检测具体为：

4.1.1)通过阈值化处理提取主体目标灰度图像中的擦伤缺陷区域，阈值化方法中的自动阈值采用下述模型计算得到：

T_auto＝alogV²-klogA+c

其中，T_auto表示计算得到的自动阈值，V表示灰度图像的灰度均值，A表示主体目标占整个图像的面积占比，c表示常数项；

4.1.2)计算步骤4.1.1)提取的所有擦伤缺陷区域的面积和长宽比，根据设定的面积阈值和长宽比阈值筛选得到真实擦伤缺陷区域，并标记于原始图像中；

所述步骤4中的划痕缺陷检测具体为：

4.2.1)通过对原始图像分别进行灰度处理和滤波处理得到原始灰度图像和均值滤波图像，将原始灰度图像减去均值滤波图像得到包含断裂划痕区域的高维空间图；

4.2.3)除去高维空间图中的真实擦伤缺陷区域和主体目标的外轮廓，然后使用中值滤波的方法除去高维空间图中的噪点，并采用膨胀形态学方法将断裂划痕区域进行连通，最后将连通的粗划痕经过图像细化操作得到最终划痕区域，并标记于原始彩图中；

所述步骤4中的凹痕缺陷检测具体为：

4.3.1)将工业相机采集的所有原始图像进行凹痕缺陷标记，将标记有凹痕缺陷的图像作为正样本，将未标记有凹痕缺陷的图像作为负样本；

4.3.2)提取正样本和负样本中图像的HOG特征，将正样本和负样本的HOG特征输入支持向量机中训练得到凹痕缺陷检测模型；

4.3.3)提取步骤1采集的原始图像的HOG特征，将原始图像的HOG特征输入凹痕缺陷检测模型得到凹痕缺陷区域，根据设定的置信权重从模型检测得到的凹痕缺陷区域标出实际凹痕缺陷区域。

2.根据权利要求1所述使用金属陶瓷零件识别及表面缺陷检测系统的检测方法，其特征在于，所述步骤1中对工业相机的视场大小进行自动标定的方法具体为：将两个圆心实际距离已知的双圆图放置于相机视场范围内，利用霍夫圆检测方法检测出两个圆，并计算两个圆心之间的像素距离，根据圆心实际距离和像素距离确定的拟合曲线获得标定系数，通过标定系数实现视场大小的自动标定。

3.根据权利要求1所述使用金属陶瓷零件识别及表面缺陷检测系统的检测方法，其特征在于，所述步骤2具体为：

2.1)将原始图像转到HSV颜色空间，并提取其中的色调通道后得到色调通道图；

2.2)然后分别使用大津算法和三角形算法对色调通道图进行二值化处理，在经大津算法处理得到的二值化图像和经三角形算法处理得到的二值化图像中选取灰度均值更小的二值化图像作为后续操作的图像输入；

2.3)将灰度均值更小的二值化图像进行闭运算处理以消除图像背景中的前景噪点，并对二值化图像中像素进行连通域标记与合并，在合并后的连通域中提取最大连通域作为主体目标粗掩膜，通过漫水填充法填补粗掩膜中的背景噪点，并利用开运算平滑粗掩膜边缘从而得到主体目标精细掩膜；

2.4)将原始图像转化为原始灰度图像，利用主体目标精细掩膜在原始灰度图像中提取出主体目标，从而得到获得主体目标区域的主体目标灰度图像。

4.根据权利要求1所述使用金属陶瓷零件识别及表面缺陷检测系统的检测方法，其特征在于，所述步骤3具体为：

3.1)计算主体目标灰度图像的7个不变Hu矩和主体目标占整个图像的面积占比，从而获得8维特征向量，将8维特征向量取绝对值并对数化，再与步骤1得到的标定系数相乘后作为支持向量机训练的特征数据；

3.2)将工业相机采集的所有原始图像进行零件类别的标记，将标记后的图像分为训练样本和测试样本，将训练样本和测试样本经步骤2和步骤3.1)处理后得到的所有特征数据组合为特征矩阵，将组合特征矩阵输入径向基核函数的支持向量机进行训练得到零件识别模型；

3.3)将步骤3.1)的特征数据输入步骤3.2)的零件识别模型进行判别得到零件类别，完成主体目标灰度图像的零件识别。

Images