CN111300144A - 基于图像处理的刀具磨损状态自动检测方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的刀具状态检测方法。本方法通过布置在机床侧壁主轴附近空余区域的图像采集设备，实时获取到刀具每次切削后的表面状态图片，在对图片进行区域裁剪、灰度处理、去噪及信号加强的基础上，通过卷积神经网络搭建的刀具状态检测模型实现对刀具的状态检测分类，再将预测结果通过TCP/IP协议输送到数控系统的相关宏变量中，以便用于数控加工程序的控制或换刀程序的控制。本发明通过简单的图像采集设备显微镜，在机获得刀具图像，无需拆卸刀具即可进行磨损状态检测，检测速度快并且不影响加工过程，降低了生产成本。利用卷积神经网络技术实现对刀具磨损状态的检测，符合实际工人经验的判断，所得结果与人为判断相似。

Description

基于图像处理的刀具磨损状态自动检测方法

技术领域

本发明涉及机械加工刀具状态监测领域以及图像技术处理领域，特别涉及一种基于图像处理的刀具磨损状态自动检测方法。

背景技术

在工件的加工过程中刀具不可避免的会存在磨损现象，其磨损状态往往直接影响着工件的表面质量和精度。如果刀具磨损程度过大或者破损没有被车间工人及时的发现，那么将会导致工件质量不合格，甚至会使得加工过程出现中断，引起工件的报废甚至是机床的损坏，对企业造成巨大的经济损失。

目前，刀具磨损状态的检测方法主要分为两类：第一类为直接检测法，如光学法、放射法等，直接检测法通常是对刀具磨损图片进行状态分析，但传统的方法往往需要通过暂停加工拆卸刀具来拍摄图片对图片进行分析判断，这样做容易延长加工时间，降低生产效率。第二类为间接测量法，如通过对刀具振动信号、声发射信号、主轴振动信号等信号的分析间接的判断刀具的磨损状态。在以往的磨损检测中，往往是依靠刀具的加工时间或者是给一把刀具额定的加工次数，在不同的工况时，即使同一把刀具也会出现各种各样的磨损差异，凭借加工时间和加工次数来判断会导致刀具的浪费或者是工件的浪费。如今所常用的间接测量法不具有直观性，无法直观看到刀具状态，即使出现误判也无法进行人为比对。本方法为在机检测，无需拆卸刀具，在每次加工完成后，利用加工间隙将刀具移动到固定位置处暂停两秒拍摄图片，在退刀的过程中根据采集的刀具图片进行磨损状态判断。

随着卷积神经网络CNN的发展，深度学习在解决诸如图像目标识别等很多问题方面都表现出色。本发明旨在提出一种基于图像处理的刀具磨损状态自动检测方法。实现对刀具状态的自动诊断，较于传统检测方法，本发明的优势在于安装方便、抗干扰能力强，只需在机床侧壁主轴附近空余区域安装显微镜便可进行图片采集，安装位置与机床加工无干涉影响，相比于间接测量法中所需的传感器设备，本方案只需一套显微镜设备，成本更低。再结合神经网络技术的良好特性，诊断的准确率较高并且可在加工过程中在机检测，无需拆卸刀具、中断加工过程，判断结果还可自动反馈到数控系统中，用于加工程序和换刀动作的控制。

发明内容

本发明的技术解决问题是：克服了间接测量法中传感器设备成本高昂、监测方法缺乏直观性，直接检测法中现场光线、刀具安装角度影响、切屑干扰、采集图片或监测状态时需要中断加工过程拆卸刀具等不足。提供一种基于卷积神经网络的图像处理方法，针对复杂工业背景下存在监控难度大、检测效率低的情况下，利用卷积神经网络识别图像技术，实现了对刀具的状态检测，且具有准确率高、可视性好等特点，可以很好的替代人工识别刀具所完成的工作，减少了工业生产的时间。

本发明技术解决方案为：一种基于图像处理的刀具磨损状态自动检测方法，其特征在于：将显微镜安装在靠近机床主轴侧壁，利用卡座安装在机床侧壁，显微镜与卡座通过自主设计的连接件紧密连接，选择合适的安装角度拍摄刀具，显微镜镜头朝下且具有防护罩防止切屑溅入。通过布置在机床侧壁主轴附近空余区域的图像采集设备显微镜，实时获取到刀具每次切削后的表面状态图片，用显微镜放大刀具刀尖部分，再进行拍摄。通过对图片进行区域裁剪、灰度处理、去噪及信号加强的基础上，通过卷积神经网络(CNN)搭建的刀具状态检测模型实现对刀具的状态检测分类，最后将刀具状态预测模型中得到的输出结果通过TCP/IP协议自动发送到数控系统的相关宏变量中，以便用于数控加工程序或换刀程序的控制。

实现步骤如下：

(1)将图像采集设备安装在靠近机床主轴的侧壁，利用卡座实现采集设备与机床的紧密连接，根据卡座连接处的圆孔直径和采集设备连接处的圆孔直径，自定义设计加工出了柱状连接件实现两者的紧密连接。首先将卡座安装于机床主轴侧壁，位置安放在和机床运动无干涉处，将显微镜与卡座的连接部分用自定义设计的连接件连接。显微镜安装时，镜头朝下，镜头处装有防护罩，既保证了拍摄角度又防止加工过程中切屑溅入。每次切削后，刀具会根据所设置的G代码指令，停留在距离显微镜40mm处两秒，通过显微镜放大刀具刀尖部分再进行拍摄实现采集图像目标；

(2)基于图像采集设备显微镜所拍摄到的刀具图片，对图片进行预处理，为减小图片中其他因素的干扰以及增强提取特征，分别采用裁剪、灰度、限制对比度等方法对图片进行处理，使得图片尺寸匹配于所搭建的卷积神经网络模型；

(3)对图片进行预处理后，将处理好的图片输入到已经预先训练好的卷积神经网络模型中，卷积神经网络模型包含了5个卷积层，每个卷积层后分别跟了一个最大池化层，之后再接一个卷积层，三个全连接层以及一个输出层。通过模型的预测即可得到输入图像的刀具状态，分别为初期磨损、正常磨损、严重磨损；

(4)将刀具状态预测模型中得到的输出结果通过TCP/IP协议自动发送到数控系统的相关宏变量中，其中宏变量参数值0代表了刀具的初期磨损，参数值1代表了刀具的正常磨损，参数值2代表了刀具的严重磨损，以便用于数控加工程序或换刀程序的控制；

所述步骤(1)中，选用的图像采集设备为Dino-Lite显微镜，型号为AM7013MT，将显微镜通过连接件固定在卡座，卡座安置于靠近机床主轴的机床侧壁，安装位置与机床运动无干涉影响，显微镜安装时，镜头朝下，镜头处装有防护罩，既保证了拍摄角度又防止加工过程中切屑溅入。通过调整每次加工完成后刀具的退刀位置与拍摄刀具的最佳角度，确定显微镜与刀具的距离为40mm±0.5mm，相应放大倍数为50倍。在机床加工程序中，增加退刀至显微镜处并暂停两秒的G代码，便于采集图像数据以及实现自动拍摄功能。

所述步骤(2)中，对图像采集设备显微镜所拍摄到的图片进行预处理，显微镜采集到的图片尺寸为2592x1944，加工过程中刀具的磨损主要集中在刀尖处，即采集图片的中心区域，同时为了减小图片其他区域的干扰因素，采取对图片进行裁剪处理。裁剪区域为矩形，利用opencv中的自带裁剪函数，选取矩形左上角与右下角点坐标分别为(1023,790)、(1580,1400)便可完成裁剪。将裁剪后的图片进行灰度处理，统一转换成分辨率为512x512的图片，为加强磨损特征提高接下来的预测精度，采用限制对比度自适应直方图均衡化CLAHE算法进行图片增强，设置图片颜色对比度的阈值为2，选取像素均衡化网格大小为(16,16)。经过预处理后的图片再直接输入到卷积神经网络模型中。

所述步骤(3)中，训练用于预测刀具不同状态的卷积神经网络模型结构及过程如下，输入层为预处理后的图片训练集，网络的前五层每一层都由一个卷积层和一个最大池化层组成，卷积层的卷积核(filter)大小均为3x3矩阵，每个卷积核包含9个需要训练的参数，卷积核数量每一层递增，填充方式为SAME，步长为1。最大池化层的核尺寸为2x2，数量与相对应的卷积层中卷积核的数量一致，步长为2，无所需训练的参数，

经过一层卷积层后的图片维度公式为

经过一层池化层后的图片维度公式为

其中N代表了输出图片的尺寸，W代表了输入图片的尺寸，F代表了核尺寸，S代表了步长，P是为了让输入输出图片尺寸保持一致。

因此每经过一层，图片的维数均会减半。经历了前五层图片尺寸变为16x16，再经历一层卷积核大小为16x16的卷积层后将数据平铺转换成列特征向量作为全连接层的输入，然后进入三层全连接层，每一层全连接层的参数个数为上一层的神经元结点数m与当前层结点数n的乘积再加上n个偏置参数，即m*n+n，最终进入输出层，输出层的输出为n个神经元，组成向量Z＝[z₁,z₂,…z_n],n代表输出的刀具状态类别数。将向量Z通过softmax激活函数可得到向量A；

a₁+a₂+…+a_n＝1 (4)

a_i代表了激活后向量A中的第i个值，z_i代表相对应的输出向量Z中所对应的值.

所述步骤(3)中，将所得的向量A输入到交叉熵损失函数中计算loss值；

loss＝-∑_iy_ilna_i (5)

a_i代表了输出层组成向量的第i个输出值，y_i表示真实的分类结果。

所述步骤(3)中，利用Adam算法进行梯度下降求解交叉熵损失函数的最小值来训练CNN网络，即通过反向传播算法对权重参数进行偏导求解并不断的更新权重参数；

所述步骤(3)中，经过指定迭代次数后，将训练好的CNN模型进行保存，将处理好的图片输入到已经预先训练好的卷积神经网络模型中，通过模型即可得到输入图像的刀具状态，分别为初期磨损、正常磨损、严重磨损；

所述步骤(4)中，将步骤(3)中得到的刀具状态通过TCP/IP协议自动发送到数控系统的相关宏变量中，其中宏变量参数值0代表了刀具的初期磨损，参数值1代表了刀具的正常磨损，参数值2代表了刀具的严重磨损，以便用于数控加工程序或换刀程序的控制。

本发明技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本方法在机获得刀具图像，无需拆卸刀具即可进行磨损状态检测，检测速度快并且不影响加工过程。通过简单的图像采集设备，降低了生产成本。利用卷积神经网络技术实现对刀具磨损状态的检测，符合实际工人经验的判断，所得结果与人为判断相似。

附图说明

图1是图像采集系统与机床连接示意图

图2是刀具状态检测过程的操作流程图

图3是图片预处理效果示意图

图4是卷积神经网络训练模型示意图

图5是测试集下的ROC曲线

具体实施方案

本发明的优选实施例结合附图详述如下：

参见图1，显微镜与机床连接示意图，1为主轴卡盘，2为卡座，卡座与机床侧壁通过螺钉相连，机床加工时床身的振动对卡座的位置无影响。3为连接杆，连接卡座与显微镜连接件，4为显微镜连接件，连接连接杆与显微镜，5为图像采集设备Dinolite显微镜，6为机床的旋转刀架，7为刀具。首先将卡座安装于机床主轴侧壁，位置固定在与机床运动无干涉的地方，根据显微镜自带的紧固件与卡座本身的连接部分，自定义设计连接杆，用于连接卡座和显微镜。显微镜镜头朝下，并且镜头处有防护罩，既保证了拍摄角度符合要求又保证了切屑不会溅入。每次刀具完成切削后，刀具会根据所设置的G代码指令，停留在距离图像采集设备40mm处两秒，由显微镜对刀具的刀尖部分进行放大处理，然后再实现拍摄，实现采集图像目标。整个拍摄过程与加工过程无时间冲突，拍摄与分析均在退刀的过程中即可完成；

参见图3，输入刀具状态分类模型前图片的预处理方法如下，(a)是图像采集设备拍摄到的完整图片，由于加工过程中刀具的磨损主要集中在刀尖处，即采集图片的中心区域，同时为了减小图片其他区域的干扰因素，采取对图片进行裁剪处理。裁剪区域为矩形，利用opencv中的自带裁剪函数，选取矩形左上角与右下角点坐标分别(1023,790)、(1580,1400)为便可完成裁剪，(b)是裁剪后的图片，将裁剪后的图片进行灰度处理，(c)是灰度处理后的图片，将处理后的图片统一转换成分辨率为512x512的图片，为加强磨损特征提高接下来的预测精度，采用限制对比度自适应直方图均衡化CLAHE算法进行图片增强，设置图片颜色对比度的阈值为2，选取像素均衡化网格大小为(16,16)，(d)是将增强后的图片，将预处理后的图片输送到已经训练好的刀具状态检测模型中。

参见图4，刀具状态分类模型训练过程如下：

输入层为预处理后的图片训练集，图片的分辨率统一为512x512，网络的前五层每一层都由一个卷积层和一个最大池化层组成，卷积层的卷积核(filter)大小均为3x3矩阵，每个卷积核包含9个需要训练的参数，卷积核数量每一层递增，数量分别为32、64、128、256、512，填充方式为SAME，步长为1。最大池化层的核尺寸为2x2，数量与相对应的卷积层中卷积核的数量一致，步长为2，无所需训练的参数，

经过一层卷积层后的图片维度公式为

经过一层池化层后的图片维度公式为

其中N代表了输出图片的尺寸，W代表了输入图片的尺寸，F代表了核尺寸，S代表了步长，P是为了让输入输出图片尺寸保持一致。

因此每经过一层，图片的维数均会减半。经历了前五层图片尺寸变为16x16，再经历一层卷积核大小为16x16的卷积层后将数据平铺转换成列特征向量作为全连接层的输入，然后进入三层全连接层，每一层神经元结点数分别为128、64、32，每一层全连接层的参数个数为上一层的神经元结点数m与当前层结点数n的乘积再加上n个偏置参数，即m*n+n，最终进入输出层，输出层的输出为3个神经元，组成向量Z＝[z₁,z₂,z₃]^T,3代表输出的刀具状态类别数。将向量Z通过softmax激活函数可得到向量A＝[a₁,a₂,a₃]^T；

a₁+a₂+a₃＝1 (9)

a_i代表了激活后向量A中的第i个值，z_i代表相对应的输出向量Z中所对应的值.

将所得的向量A输入到交叉熵损失函数中计算loss值；

loss＝-∑_iy_ilna_i (10)

a_i代表了输出层组成向量的第i个输出值，y_i表示真实的分类结果。

利用Adam算法进行梯度下降求解交叉熵损失函数的最小值来训练CNN网络，即通过反向传播算法对权重参数进行偏导求解并不断的更新权重参数，所需训练参数个数如下表；

经过指定迭代次数后，将训练好的CNN模型进行保存。

利用保存好的模型对测试集图片进行测试，得到测试集的精度为0.99，图5为相应测试集下所对应的ROC曲线，ROC曲线越靠近左上角，模型的准确性就越高。

参见图2，刀具状态检测的具体操作方法是：

通过显微镜图像采集设备拍摄刀具表面状态图片。

对所拍摄的图片进行预处理。

将预处理后的图片输入到刀具状态检测模型，得到不同状态的概率输出。

刀具状态类别	初期磨损	正常磨损	严重磨损
				概率	0.12	0.55	0.32

可得到概率最高的刀具状态为正常磨损，并将正常磨损作为预测值通过TCP/IP协议传输到数控系统的相关宏变量中，所对应的宏变量参数值为1，加工程序可以继续执行，无需换刀。

提供以上的实例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像处理的刀具磨损状态自动检测方法，其特征在于：将显微镜安装在靠近机床主轴侧壁，利用卡座安装在机床侧壁，显微镜与卡座通过自主设计的连接件紧密连接；通过布置在机床侧壁主轴附近空余区域的显微镜，实时获取到刀具每次切削后的表面状态图片，用显微镜放大刀具刀尖部分再进行拍摄，在对图片进行区域裁剪、灰度处理、去噪及信号加强的基础上，通过卷积神经网络搭建的刀具状态检测模型实现对刀具的状态检测分类；再将预测结果通过TCP/IP协议输送到数控系统的相关宏变量中，以便用于数控加工程序的控制或换刀程序的控制；其操作步骤为：

第一步，将图像采集设备安装在靠近机床主轴的侧壁，利用卡座实现采集设备与机床的紧密连接，根据卡座连接处的圆孔直径和采集设备显微镜连接处的圆孔直径，自定义设计加工出了柱状连接件实现两者的紧密连接；首先将卡座安装在机床主轴侧壁，位置安放在和机床运动无干涉处，将显微镜与卡座的连接部分用自定义设计的连接件连接；显微镜安装时，镜头朝下，镜头处装有防护罩，既保证了拍摄角度又防止加工过程中切屑溅入；每次切削后，刀具会根据所设置的G代码指令，停留在距离图像采集设备40mm±0.5mm处两秒，通过显微镜放大刀具刀尖部分再进行拍摄实现采集图像目标；

第二步，基于图像采集设备显微镜所拍摄到的刀具图片，对图片进行预处理，为减小图片中其他因素的干扰以及增强提取特征，分别采用裁剪、灰度、限制对比度等方法对图片进行处理，使得图片尺寸匹配于所搭建的卷积神经网络模型；

第三步，对图片进行预处理后，将处理好的图片输入到已经预先训练好的卷积神经网络模型中，卷积神经网络模型包含了5个卷积层，每个卷积层后分别跟了一个最大池化层，之后再接一个卷积层，三个全连接层以及一个输出层；通过模型的预测即可得到输入图像的刀具状态，分别为初期磨损、正常磨损、严重磨损；

第四步，将刀具状态预测模型中得到的输出结果通过TCP/IP协议自动发送到数控系统的相关宏变量中，其中宏变量参数值0代表了刀具的初期磨损，参数值1代表了刀具的正常磨损，参数值2代表了刀具的严重磨损，以便用于数控加工程序或换刀程序的控制。

2.根据权利要求1所述的基于图像处理的刀具磨损状态自动检测方法，其特征在于：所述的第一步具体操作如下：

选用的图像采集设备为Dino-Lite显微镜，型号为AM7013MT，将显微镜通过连接件固定在卡座上，卡座安置在靠近机床主轴的机床侧壁，安装位置与机床运动无干涉影响，显微镜安装时，镜头朝下，镜头处装有防护罩，既保证了拍摄角度又防止加工过程中切屑溅入；通过调整每次加工完成后刀具的退刀位置与拍摄刀具的最佳角度，确定显微镜与刀具的距离为40mm±0.5mm，相应放大倍数为50倍；在机床加工程序中，增加退刀至显微镜处并暂停两秒的G代码，便于采集图像数据以及实现自动拍摄功能。

3.根据权利要求1所述的基于图像处理的刀具磨损状态自动检测方法，其特征在于：所述的第二步具体操作如下：

采集设备拍摄的图片格式为分辨率2592x1944的jpg图片，加工过程中刀具的磨损主要集中在刀尖处，同时为减小图片其他区域的干扰因素，对图片进行裁剪处理，刀具磨损图片的主要特征提取在于磨损区域、磨损量、磨损形式，因此，可将裁剪后的图片进行灰度处理，转换成灰度图，为了实现接下来的模型预，必须将输入图片的维数统一，将所有的图片转换成512x512分辨率，为使磨损的特征清晰便于提取，采用限制对比度自适应直方图均衡化CLAHE算法进行图片增强，经过预处理后的图片再直接输入到卷积神经网络模型中。

4.根据权利要求1所述的基于图像处理的刀具磨损状态自动检测方法，其特征在于：所述的第三步训练卷积神经网络模型具体步骤如下：

步骤1：将训练集输入搭建的卷积神经网络模型，网络的前五层每一层都由一个卷积层和一个最大池化层组成，卷积层的卷积核大小均为3x3矩阵，每个卷积核包含9个需要训练的参数，卷积核数量每一层递增，填充方式为SAME，步长为1；最大池化层的核尺寸为2x2，数量与相对应的卷积层中卷积核的数量一致，步长为2；

经过一层卷积层后的图片维度公式为

经过一层池化层后的图片维度公式为

其中N代表了输出图片的尺寸，W代表了输入图片的尺寸，F代表了核尺寸，S代表了步长，P是为了让输入输出图片尺寸保持一致；

因此每经过一层，图片的维数均会减半；经历了前五层图片尺寸变为16x16，再经历一层卷积核大小为16x16的卷积层后将数据平铺转换成列特征向量作为全连接层的输入，然后进入三层全连接层，每一层全连接层的参数个数为上一层的神经元结点数m与当前层结点数n的乘积再加上n个偏置参数，即m*n+n，最终进入输出层，输出层的输出为3个神经元，组成向量Z＝[z₁,z₂,z₃]^T；通过softmax激活函数得到向量A＝[a₁,a₂,a₃]^T，分别对应的是初期磨损、正常磨损、严重磨损的概率；

a₁+a₂+…+a_n＝1 (4)

a_i代表了激活后向量A中的第i个值，z_i代表相对应的输出向量Z中所对应的值；

步骤2：将所得的向量A输入到交叉熵损失函数中计算loss值；

loss＝-∑_iy_ilna_i (5)

a_i代表了输出层激活向量的第i个输出值，y_i表示真实的分类结果；

步骤3：利用Adam算法进行梯度下降求解交叉熵损失函数的最小值来训练CNN网络，即通过反向传播算法对权重参数进行偏导求解并不断的更新权重参数；

步骤4：经过指定迭代次数后，将训练好的CNN模型进行保存，将采集到的图片进行预处理后送入模型，模型即可输出判断结果。

5.根据权利要求1所述的基于图像处理的刀具磨损状态自动检测方法，其特征在于：所述的第四步中检测刀具状态具体操作如下：

将卷积神经网络模型对图片的预测结果输送到数控系统中，预测结果由刀具磨损检测系统通过TCP/IP协议传输到数控系统的相关宏变量中，其中宏变量参数值0代表了刀具的初期磨损，参数值1代表了刀具的正常磨损，参数值2代表了刀具的严重磨损，以便用于数控加工程序或换刀程序的控制。

Images