CN116051460A - 基于机器视觉的钎焊金刚石磨头磨损在线检测方法 - Google Patents

Abstract

本发明涉及机器视觉测量技术领域，特别是一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，包括：步骤1，建立磨头图像采集站；步骤2，磨削数据获取；步骤3，磨头磨损图像获取；步骤4，磨头局部图像获取；步骤5，磨头磨损图像处理；步骤6，钎焊金刚石磨头已磨损磨粒提取；步骤7，根据磨头磨损情况生成图像样本标签；步骤8，根据深度学习有监督多类别分类方法，将生成训练集和测试集；步骤9，搭建神经网络，设置损失函数，对样本进行训练、优化和测试，完成磨头磨损检测系统。本以机器视觉为基础的磨头磨损测量方法相对于人工检测和声发射检测具有更高的测量准确度，检测时间更短，并且减少了人工参与的流程，节省了成本。

Description

基于机器视觉的钎焊金刚石磨头磨损在线检测方法

技术领域

本发明涉及机器视觉测量技术领域，特别是一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法。

背景技术

钎焊金刚石磨头作为一种磨削工具广泛用于碳纤维、陶瓷、大理石、蓝宝石等硬脆性材料加工领域。磨削时，磨头磨损的状态直接影响着磨削的精度和表面质量，如果不能及时发现，将会造成产品的报废甚至造成人身安全事故。基于机器视觉的钎焊金刚石磨头的磨损检测可以有效提高生产效率与精度，减少人工参与流程，减少产品报废率。目前，磨头的磨损检测方法有人工检测与声发射检测，人工检测法不仅失误率高，而且大大增加了成本和停机检测时间，声发射检测法又容易受到外部环境的干扰，实现性较差。

发明内容

本发明为了有效的解决上述背景技术中的问题，提出了一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法。

具体技术方案如下；

1.一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于，包括以下步骤：

步骤1，建立磨头图像采集站：以亚龙YL-596型数控加工中心为平台，软件IDE采用pycharm，图像处理深度学习框架TensorFlow，kistler测力仪采集磨削过程的磨削力，Φ10mm直径钎焊金刚石磨头为验证对象，建立磨头图像采集系统。

步骤2，磨削数据获取：采集磨削过程中的磨削数据，包括磨削转速、磨削进给、磨削量和磨削力。

步骤3，磨头磨损图像获取：根据现场环境通过调节LED光源，调节相机焦距，获取磨头整张清晰图像；

步骤4，磨头局部图像获取：对获取的磨头整张图像进行局部区域提取；

步骤5，磨头磨损图像处理：依据图像去噪、图像灰度化处理、图像二值化处理、图像形态学运算等方法对磨头磨损图像进行处理；

步骤6，钎焊金刚石磨头已磨损磨粒提取：对磨粒图像按照轮廓面积大小分割，使用图像一阶矩的方法对磨粒轮廓中心进行标记计数，并画出外接矩形，通过预设值阈值对磨头磨损进行检测；

步骤7，根据磨头磨损情况生成图像样本标签；

步骤8，根据深度学习有监督多类别分类方法，将生成训练集和测试集；

步骤9，搭建神经网络，设置损失函数，对样本进行训练,，优化，测试，完成磨头磨损检测系统。

优选地，所述步骤1中，采用亚龙YL-596型数控加工中心为平台，机床操作系统为FANUC Series 0i，软件IDE采用pycharm，Python语言，图像处理包采用OpenCV，检测对象为某品牌Φ10mm直径钎焊金刚石磨头，建立磨头图像采集站。

优选地，所述步骤2中，在数控加工中心上使用Φ10mm直径钎焊金刚石磨头磨削碳纤维板，转速3000r/min，进给700mm/min，磨削量0.2mm，进行磨削工作，根据磨削力的大小拍摄磨头图像，记录磨削力和图像数据。

优选地，所述步骤3中，选用海康视觉CCD相机、环形光源、6mm焦距镜头，相机支架作为图像采集设备，根据现场密封环境调节工业LED灯亮度合适，使磨头位于光源聚焦点，调节相机镜头焦距使图像清晰，拍摄图像，使用pycharm软件中的OpenCV图像处理包，imread函数读取图像，并使用reshape函数重置图像大小。

优选地，所述步骤4中，基于磨头磨粒均匀无规则分布原理，将磨头圆周等分为三部分，采用OpenCV中的Rect(int X,int Y,int W,int H)函数对整张图像进行局部区域分割提取，其中X为图像矩阵左上角x坐标，Y为图像矩阵左上角y坐标，W为局部图像矩形的宽度，H为局部图像矩形的高度，得到磨头局部图像，以局部区域图像代替整张图像对磨头磨损情况进行说明。

优选地，所述步骤5中，采用3×3高斯卷积核对磨头磨粒图像进行去噪，原理如下：

一维高斯分布函数为：

其中，u表示均值，σ表示标准差。

之后进行卷积核计算，结果如下：

0.075	0.124	0.075
			0.124	0.204	0.124
0.075	0.124	0.075

使用此卷积核对磨头磨粒图像进行卷积去噪。

采用Gamma矫正灰度化，gamma取值0.45对图像进行灰度化处理，原理如下：

伽马变换本质上是对图像矩阵中的每个值进行幂运算，0<γ<1时，拉伸图像中灰度级较低的区域，压缩灰度级较高的区域，增加图像对比度；γ>1时，拉伸图像中灰度级较高的区域，压缩灰度级较低的区域；

自适应阈值二值化处理图像，设置阈值为80，当阈值大于80时，像素值调整为255，阈值小于80时，像素值调整为0；

采用5×5的卷积核对图像形态学处理，形态学开运算先腐蚀再膨胀去除磨粒图像毛刺，形态学闭运算先膨胀再腐蚀去除微小不相关信息，原理如下：

形态学运算公式为：

优选地，所述步骤6中，对磨头图像进行findcontours函数磨粒轮廓查找：

遍历查找到轮廓进行中心点标记并计数，公式如下：

对单颗磨粒图像画出外接矩形，设置调节阈值，筛选出阈值内的磨粒数量并标记出，根据符合阈值内的已磨损磨粒数量判断磨头磨损情况。

优选地，所述步骤7中，根据磨头磨损情况，生成3种样本标签，分别为：0号标签代表未达到磨损值，1号标签代表已达到磨损值，2号标签代表超过磨损值。

优选地，所述步骤8中，将步骤7中生成的样本标签进行区分，按照9:1，8:2，7:3的比例将样本分为训练集和测试集。

优选地，所述步骤9中，搭建4个卷积层、4个BN层、1个池化层，3个全连接层组成的神经网络，对模型进行训练，卷积公式如下：

前向传播调用Relu激活函数，优化目标使用交叉熵，对训练完成后的模型进行测试集测试，完成磨头磨损检测系统。

与现有技术相比，本发明的有益效果是：相对于现有技术，本以机器视觉为基础的磨头磨损测量方法相对于人工检测和声发射检测具有更高的测量准确度，检测时间更短，并且减少了人工参与的流程，节省了成本；通过图像矩的方法对已磨损磨粒进行标记计数，结果更加直观，可直接根据阈值判断磨头是否磨损；本发明通过局部图像对磨头磨损情况进行说明，使用一台相机就能完成磨损检测任务，大量节约了检测成本；通过深度学习方法完成磨头磨损图像检测系统，能够自动化识别磨头磨损状态。

附图说明

图1是本发明的流程图；

图2是本发明的磨头整张图；

图3是本发明的磨头局部图；

图4a-图4d是本发明的图像处理过程图；

图5a-图5c是本发明的磨粒轮廓标记图像；

图6a-图6c是本发明的训练数据图。

具体实施方式

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。

下面结合附图及较佳实施例详细说明本发明的具体实施方式。包括以下步骤：步骤1，如附图2所示，获取不同磨削转速、进给、磨削量下的磨头磨损图像，本次以转速3000r/min，进给700mm/min，磨削量为0.2mm，当磨削声音明显增大，磨削力明显增强时，采集磨头磨损RGB图像。建立图像初始数据库IMG00，使用pycharmIED，OpenCV图像处理包中的imread函数读取磨头磨损图像，读取后的图像为3通道3072×2048像素BGR彩色图像，for循环遍历每一张图像，对每张图像进行resize函数调整图像大小为1600×1200，imwrite函数将图像保存到IMG01数据库。

步骤2，基于磨头磨粒均匀无规则分布原理，磨头在进行磨削工作时，圆周范围内是均匀工作，所以磨头的圆周磨粒是均匀磨损的，即磨头的局部区域磨损即可代表磨头整个磨损。使用OpenCV中的Rect函数，遍历for循环对IMG01中的每张磨头磨损图像进行局部区域提取，局部图像大小为600×400如附图3所示，将局部图像保存到IMG02数据库。

步骤3，对每张局部图像进行高斯去噪，采用OpenCV中的GaussianBlur函数，降低图像获取和环境产生的噪声，高斯分布函数为：

其中，u表示均值，σ表示标准差。

使用此函数计算3×3像素大小的高斯卷积核为：

0.075	0.124	0.075
			0.124	0.204	0.124
0.075	0.124	0.075

对每张局部图像使用此卷积核对图像进行卷积。

对去噪后的图像进行gamma校正灰度化，gamma取值0.45，拉伸图像中灰度级较低的区域，压缩灰度级较高的区域，使图像颜色差更明显，如图4a所示。

对图像进行自适应阈值二值化操作，将图像转换为黑白图像，使图像特征更容易提取，采用OpenCV中的threshold函数，调用cv2.THRESH_BINARY_INV方法转换图像，灰度化转换为二值化阈值选用80像素值，大于80像素值的像素调整为255，小于80的像素值调整为0，调整后的图像如图4b所示；

形态学腐蚀公式为：形态学膨胀公式为：采用5×5的卷积核对图像进行形态学开预算处理，先腐蚀再膨胀，去除孤立的微小点、毛刺；形态学闭运算先膨胀再腐蚀，填平小孔，弥合小缝隙，去除无意义的干扰信息，使磨粒信息更明显，如附图4c和4d所示，保存处理后的图像到数据库IMG03。

步骤4，读取数据库IMG03中的图像，设置计数器PID＝0，对每张图像进行阈值判断，设置磨粒轮廓面积阈值下限为100，上限为700，采用OpenCV中的findContours函数对处理后的局部图像进行轮廓查找，采用drawContours函数画出查找到的每一个边缘轮廓，for循环遍历查找到的磨粒轮廓，设置轮廓面积阈值为100-700个像素点，统计并标记出阈值范围内的磨粒轮廓数量，当轮廓面积小于100或者大于700时，轮廓为图像边缘信息和不磨损磨粒，不对其进行统计，remove函数删除图像，当已磨损磨粒数量处于60-100范围内时，说明磨头达到剧烈磨损条件，不可以继续使用，此时，将图像保存到已磨损数据库IMG05；当已磨损磨粒小于60时，未达到磨损条件，磨头可继续使用，将图像保存到未磨损数据库IMG04；当已磨损磨粒大于100时，说明磨头处于剧烈磨损阶段已经使用一段时间，此时应检测产品表面质量和尺寸是否和预期一致，将图像保存到过磨损数据库IMG06。

步骤5，根据步骤4中的磨头未磨损、已磨损与过磨损情况设置模型标签为：0代表未磨损，1代表已磨损，2代表过磨损，将图像数据库IMG04,IMG05,IMG06按照9:1，8:2，7:3的比例分为训练集和测试集，对此三组数据进行模型训练和测试。

步骤6，创建深度学习训练项目Project，创建类函数conv3，搭建4个卷积层、4个BN层、1个池化层，3个全连接层组成的神经网络，组成次序分别为：卷积层conv1，输入图像为3×640×480，采用3×3的卷积核对图像进行卷积操作，输出图像大小为12×299×199；BN层bn1，输入图像大小为12×299×199，输出图像大小为24×149×99；之后依次为卷积层conv2，BN层bn2，卷积层conv3，BN层bn3，池化层maxpooling，卷积层conv4，BN层bn4，全连接层fc1，全连接层fc2，全连接层fc3，其中全连接层fc3为输出向量，对模型进行训练，前向传播调用Relu激活函数，优化目标使用交叉熵，学习率迭代step_size大小为100，设置每100个epoch变为原来的0.1倍，开始对三组训练集和测试集进行训练，对训练完成后的模型进行测试集测试，训练结果如图6所示，可以看出模型训练后的识别正确率达到0.92，损失函数为0.2，可加大图像数据库来提高此正确率，随机输入10张磨头磨损后的图像，对训练后的模型进行验证，完成磨头磨损检测系统。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于，包括以下步骤：

步骤1，建立磨头图像采集站：以亚龙YL-596型数控加工中心为平台，软件IDE采用pycharm，图像处理深度学习框架TensorFlow，kistler测力仪采集磨削过程的磨削力，Φ10mm直径钎焊金刚石磨头为验证对象，建立磨头图像采集系统；

步骤2，磨削数据获取：采集磨削过程中的磨削数据，包括磨削转速、磨削进给、磨削量和磨削力；

步骤3，磨头磨损图像获取：根据现场环境通过调节LED光源，调节相机焦距，获取磨头整张清晰图像；

步骤4，磨头局部图像获取：对获取的磨头整张图像进行局部区域提取；

步骤5，磨头磨损图像处理：依据图像去噪、图像灰度化处理、图像二值化处理、图像形态学运算等方法对磨头磨损图像进行处理；

步骤6，钎焊金刚石磨头已磨损磨粒提取：对磨粒图像按照轮廓面积大小分割，使用图像一阶矩的方法对磨粒轮廓中心进行标记计数，并画出外接矩形，通过预设值阈值对磨头磨损进行检测；

步骤7，根据磨头磨损情况生成图像样本标签；

步骤8，根据深度学习有监督多类别分类方法，将生成训练集和测试集；

步骤9，搭建神经网络，设置损失函数，对样本进行训练,，优化，测试，完成磨头磨损检测系统。

2.根据权利要求1所述的基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤1中，采用亚龙YL-596型数控加工中心为平台，机床操作系统为FANUCSeries 0i，软件IDE采用pycharm，Python语言，图像处理包采用OpenCV，检测对象为某品牌Φ10mm直径钎焊金刚石磨头，建立磨头图像采集站。

3.根据权利要求1所述的基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤2中，在数控加工中心上使用Φ10mm直径钎焊金刚石磨头磨削碳纤维板，转速3000r/min，进给700mm/min，磨削量0.2mm，进行磨削工作，根据磨削力的大小拍摄磨头图像，记录磨削力和图像数据。

4.根据权利要求1所述的一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤3中，选用海康视觉CCD相机、环形光源、6mm焦距镜头，相机支架作为图像采集设备，根据现场密封环境调节工业LED灯亮度合适，使磨头位于光源聚焦点，调节相机镜头焦距使图像清晰，拍摄图像，使用pycharm软件中的OpenOV图像处理包，imread函数读取图像，并使用reshape函数重置图像大小。

5.根据权利要求1所述的基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤4中，基于磨头磨粒均匀无规则分布原理，将磨头圆周等分为三部分，采用OpenOV中的Rect(int X，int Y，int W，int H)函数对整张图像进行局部区域分割提取，其中X为图像矩阵左上角x坐标，Y为图像矩阵左上角y坐标，W为局部图像矩形的宽度，H为局部图像矩形的高度，得到磨头局部图像，以局部区域图像代替整张图像对磨头磨损情况进行说明。

6.根据权利要求1所述的基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤5中，采用3×3高斯卷积核对磨头磨粒图像进行去噪，原理如下：

一维高斯分布函数为：

其中，u表示均值，σ表示标准差。

之后进行卷积核计算，结果如下：

使用此卷积核对磨头磨粒图像进行卷积去噪。

采用Gamma矫正灰度化，gamma取值0.45对图像进行灰度化处理，原理如下：

伽马变换本质上是对图像矩阵中的每个值进行幂运算，0<γ<1时，拉伸图像中灰度级较低的区域，压缩灰度级较高的区域，增加图像对比度；γ>1时，拉伸图像中灰度级较高的区域，压缩灰度级较低的区域；

自适应阈值二值化处理图像，设置阈值为80，当阈值大于80时，像素值调整为255，阈值小于80时，像素值调整为0；

采用5×5的卷积核对图像形态学处理，形态学开运算先腐蚀再膨胀去除磨粒图像毛刺，形态学闭运算先膨胀再腐蚀去除微小不相关信息，原理如下：

形态学运算公式为：

7.根据权利要求1所述的一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤6中，对磨头图像进行findcontours函数磨粒轮廓查找：f(i，j-1)＝0，f(i，j)＝1

f(i，j)＞＝1，f(i，j+1)＝0

遍历查找到的轮廓，根据图像矩原理对图像轮廓进行中心点标记并计数，公式如下：

对单颗磨粒图像画出外接矩形，设置调节阈值，筛选出阈值内的磨粒数量并标记出，根据符合阈值内的已磨损磨粒数量判断磨头磨损情况。

8.根据权利要求1所述的一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤7中，根据磨头磨损情况，生成3种样本标签，分别为：0号标签代表未达到磨损值，1号标签代表已达到磨损值，2号标签代表超过磨损值。

9.根据权利要求1所述的一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤8中，将步骤7中生成的样本标签进行区分，按照9：1，8：2，7：3的比例将样本分为训练集和测试集。

10.根据权利要求1所述的一种基于机器视觉的钎焊金刚石磨头磨损在线检测方法，其特征在于：所述步骤9中，搭建4个卷积层、4个BN层、1个池化层，3个全连接层组成的神经网络，对模型进行训练，卷积公式如下：

前向传播调用Relu激活函数，优化目标使用交叉熵，对训练完成后的模型进行测试集测试，完成磨头磨损检测系统。

Images