CN112884717A - 实时工件表面检测与刀具寿命预测的系统及方法 - Google Patents

Abstract

本发明提供实时工件表面检测与刀具寿命预测的系统及方法，通过图像采集模块采集到CNC设备加工完成的工件图像数据并传送至边缘网关，边缘网关部署工件表面检测模块和刀具寿命预测模块，工件表面检测模块对采集到的图像数据进行特征提取以及表面检测，刀具寿命预测模块通过特征提取后的图片数据进行实时刀具寿命预测，预测结果传送至云端，并且在运维网页实时显示相关内容。间接利用工件精度实时反映刀具当前的寿命状态，相比于通过检测刀具的工作次数或工作时间的方法更具有准确性与时效性，相比于采集多种刀具的传感器信号进行分析，此方法更简易直观，还可以直接完成对产品的质检，及时挑出加工次品或废品。

Description

实时工件表面检测与刀具寿命预测的系统及方法

技术领域

本发明专利涉及边缘计算和数控机床技术领域，特别是涉及一种基于边缘计算的实时工件表面检测与刀具寿命预测的系统及方法。

背景技术

在金属加工制造中，准确检测刀具状态可以为行业带来巨大的效益，提高加工的安全性和稳定性。如果不能够准确的预测刀具的状态，往往会增加企业加工产品的次品率，浪费大量资金，企业进购刀具的考量也会受到影响。刀具寿命的影响因素非常多，无法从一个方面就判断出。大多数企业都采用计时或计数的方法来预测刀具寿命，但每把刀的真实状态并不都能准确预测，导致刀具寿命减少与次品率上升。

云计算在带给大家便利的同时也可以更节省成本，云端用户也可以轻松获得高质量服务。但云计算也伴随着需要一台设备处理大量数据的问题，导致服务并不理想，当大量的数据都上传云端，数据传输速率会变低，实时性较差，不能满足工业领域对实时性有较高的要求。

发明内容

本发明基于现有的技术缺陷，提出一种实时工件表面检测与刀具寿命预测的系统及方法，基于边缘计算，用于解决工业领域刀具寿命预测准确率低和云端数据实时性不佳的问题，提高工业领域刀具寿命预测准确率，改善云端数据实时性，节省制造刀具的材料，使其适用于工业领域。

为了实现上述目的，本发明提出的实时工件表面检测与刀具寿命预测的系统，该系统包括有图像采集模块、工件表面检测模块、刀具寿命预测模块、边缘网关、云端服务平台及运维网页；图像采集模块实时采集CNC车床刀具加工出来的工件的图像，且图像采集模块将采集到的图像数据传送至边缘网关，边缘网关部署工件表面检测模块和刀具寿命预测模块；工件表面检测模块对采集到的图像数据进行特征提取以及表面检测，刀具寿命预测模块通过特征提取后的图片数据进行实时刀具寿命预测，边缘网关还将实时采集的图片数据、工件检测结果和刀具寿命预测结果上传到云端服务平台，实时显示在运维网页上。

为了实现上述目的，本发明提出的实时工件表面检测与刀具寿命预测的方法，该方法采用上述的基于边缘计算的实时工件表面检测与刀具寿命预测的系统进行实时检测和预测，包括以下步骤：

S1：将图像采集模块在现场实时采集从CNC车床刀具加工出来的工件的图像，并实时将采集到的图像传送至边缘网关；

S2：云端服务平台部署工件表面检测模块和刀具寿命预测模块至边缘网关，并通过云端服务平台控制模块的启停；

S3：图像数据经过边缘网关送入工件表面检测模块进行特征提取以及实时工件表面检测；

S4：图像经过特征提取和检测后所得的数据载入刀具寿命预测模块，对一段时间的图像进行分析推理，对未来一段时间刀具的寿命情况与设定的刀具使用寿命的加工工件精度进行比较，从而预测刀具的剩余使用寿命，由边缘网关将实时采集的图像数据、工件检测结果和刀具寿命预测结果上传云端数据库；

S5：将步骤S3得到的数据显示在设备的物模型属性并存于云端数据库中，云端数据库经过数据筛选与聚合编写成数据分析API，用于运维看板的实时数据分析显示；

S6：运维人员通过运维看板能实时监测各个CNC车床刀具预测寿命的结果，根据数据分析结果对故障或者潜在故障的刀具进行维护。

上述方案中，图像采集模块包括工业相机、镜头与光源，且工业相机、镜头与光源一同安装固定在工业机械手上。

上述方案中，工件表面检测模块利用图像增强算法对采集的图片进行图像增强，结合边缘检测算子对图片进行边缘提取，最后导入深度神经网络CNN模型中进行特征提取与表面检测。

上述方案中，刀具寿命预测模块利用工件表面检测模块所提取的特征，输入到长短期记忆人工神经网络LSTM模型中进行时序刀具寿命预测。

上述方案中，CNN主要包括输入层、卷积层、池化层与全连接层，卷积层使用卷积核对输入数据进行卷积处理，输出特征映射，每个卷积核输出一层神经元矩阵，称为特征映射，卷积的过程描述如下：

其中l表示第l-th层的卷积层，

是第l层的输出，

是第l-th层的输入；

表示权重矩阵，

是偏置，

是特征映射的第j-th次卷积区域，

是激活函数；池层通常在卷积层完成卷积后使用；它通过池核对输入特征向量进行降采样，并在实现数据降维的同时进一步突出提取的特征； 池化操作一般分为两种：最大池化和意义池化；池化的一般表达式是：

其中

表示输入，

是池函数，

是乘法偏置，b是加性偏置，

是激活函数。

上述方案中，长短期记忆人工神经网络LSTM模型主要包括了遗忘层、输入层、单元候选层和输出层；遗忘层包括sigmoid激活函数σ在细胞状态 C _t-1之前[0,1]的区间内返回一个值，而0表示状态未被激活，所有信息都被遗忘，1表示相反；遗忘层的输入为x _t 和h _t-1，所以遗忘层的方程可以表示为：

其中x _t 是当前时刻t的输入，h _t-是前一个时刻的隐藏状态；σ是乙状结肠函数；W _f 是遗忘层Sigmoid函数的权重；[]表示级联操作； b _f 是遗忘层Sigmoid函数的偏置参数；输入层决定单元状态需要吸收一些新的信息； 首先，Sigmoid函数σ层，这意味着一些值需要在输入门中更新；然后，tanh层的双曲正切函数创建一个矩阵作为附加到单元状态的替代；输入层的输入也是x _t 和h _t-1，所以输入层的方程可以描述为：

其中 W _i 是输入层中Sigmoid函数的权重；W _C 是输入层中TANH函数的权重； b _i 是输入层中Sigmoid函数的偏置参数； b _C 是输入层中TANH函数的偏置参数；第三层为候选层，可将之前的状态C _t-1更新为当前状态 C _t ,，可表示为：

最后一层是输出层，它的输出取决于获得新的单元格状态；首先，将确定Sigmoid功能层哪些部分的细胞状态需要更新；然后，可以使用tanh函数处理单元格状态，使值在区间（-1,1）内，乘以Sigmoid层的输出，以确定最终输出；输出层的方程可以描述如下：

。

本发明的有益效果在于：间接利用CNC设备加工完成的工件精度实时反映刀具当前的寿命状态，相比于通过检测刀具的工作次数或工作时间的方法更具有准确性与时效性，相比于采集多种刀具的传感器信号进行分析，此方法更简易直观，还可以直接完成对产品的质检，及时挑出加工次品或废品。

附图说明：

图1为本发明提供的实时工件表面检测与刀具寿命预测系统的框架示意图；

图2为本发明提供的实时工件表面检测与刀具寿命预测方法的流程示意图。

具体实施方式：

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

参阅图1所示，是本发明的系统框架示意图。本发明有关一种实时工件表面检测与刀具寿命预测的系统，基于边缘计算，该系统包括有图像采集模块10、工件表面检测模块21、刀具寿命预测模块22、边缘网关20、云端服务平台30及运维网页40。图像采集模块10实时采集CNC车床刀具加工出来的工件的图像，图像采集模块包括工业相机、镜头与光源并一同安装固定在工业机械手上，方便采集图像。图像采集模块10实时将采集到的图像数据传送至边缘网关20，边缘网关20中部署工件表面检测模块21和刀具寿命预测模块22。工件表面检测模块对采集到的图像数据进行特征提取以及表面检测，刀具寿命预测模块通过特征提取后的图片数据进行实时刀具寿命预测，边缘网关20还将实时采集的图片数据、工件检测结果和刀具寿命预测结果上传到云端服务平台30，实时显示在运维网页40上。本发明可实现利用CNC设备加工完成的工件精度实时反映刀具当前的寿命状态，相比于通过检测刀具的工作次数或工作时间的方法更具有准确性与时效性，相比于采集多种刀具的传感器信号进行分析，此方法更简易直观，还可以直接完成对产品的质检，及时挑出加工次品或废品。

参阅图2所示，本发明还提供一种基于边缘计算的实时工件表面检测与刀具寿命预测的方法，该方法采用上述的基于边缘计算的实时工件表面检测与刀具寿命预测的系统进行实时检测和预测，包括以下步骤：

S1：将图像采集模块在现场实时采集从CNC车床刀具加工出来的工件的图像，并实时将采集到的图像传送至边缘网关；

S2：云端服务平台部署工件表面检测模块和刀具寿命预测模块至边缘网关，并通过云端服务平台控制模块的启停；

S3：图像数据经过边缘网关送入工件表面检测模块进行特征提取以及实时工件表面检测；

S4：图像经过特征提取和检测后所得的数据载入刀具寿命预测模块，对一段时间的图像进行分析推理，对未来一段时间刀具的寿命情况与设定的刀具使用寿命的加工工件精度进行比较，从而预测刀具的剩余使用寿命，由边缘网关将实时采集的图像数据、工件检测结果和刀具寿命预测结果上传云端数据库；

S5：将步骤S3得到的数据显示在设备的物模型属性并存于云端数据库中，云端数据库经过数据筛选与聚合编写成数据分析API，用于运维看板的实时数据分析显示；

S6：运维人员通过运维看板能实时监测各个CNC车床刀具预测寿命的结果，根据数据分析结果对故障或者潜在故障的刀具进行维护。

其中，步骤1所述的图像采集模块由工业相机、镜头与光源构成并一同安装固定在工业机械手，可方便采集，获得准确、清晰的工件图像。步骤2所述的工件表面检测模块利用图像增强算法对采集的图片进行图像增强，结合边缘检测算子对图片进行边缘提取，最后导入深度神经网络CNN模型中进行特征提取与表面检测。所述的深度神经网络CNN模型主要包括输入层、卷积层、池化层与全连接层。卷积层使用卷积核对输入数据进行卷积处理，输出特征映射。每个卷积核输出一层神经元矩阵，称为特征映射。卷积的过程描述如下：

其中l表示第l-th层的卷积层，

是第l层的输出，

是第l-th层的输入；

表示权重矩阵，

是偏置，

是特征映射的第j-th次卷积区域，

是激活函数。池层通常在卷积层完成卷积后使用。它通过池核对输入特征向量进行降采样，并在实现数据降维的同时进一步突出提取的特征。 池化操作一般分为两种：最大池化和意义池化。池化的一般表达式是：

其中

表示输入，,

是池函数，

是乘法偏置，b是加性偏置，

是激活函数。步骤2所述的刀具寿命预测模块利用工件表面检测模块所提取的特征，输入到长短期记忆人工神经网络LSTM模型中进行时序刀具寿命预测。所述的长短期记忆人工神经网络LSTM模型主要包括了遗忘层、输入层、单元候选层和输出层。遗忘层包括sigmoid激活函数σ在细胞状态 C _t-1之前[0,1]的区间内返回一个值，而0表示状态未被激活，所有信息都被遗忘，1表示相反。遗忘门的输入为x _t 和h _t-1，所以遗忘层的方程可以表示为：

其中x _t 是当前时刻t的输入，h _t-是前一个时刻的隐藏状态。σ是Sigmoid函数；W _f 是遗忘层Sigmoid函数的权重；[]表示级联操作； b _f 是遗忘层Sigmoid函数的偏置参数。输入层决定单元状态需要吸收一些新的信息。 首先，Sigmoid函数σ层，这意味着一些值需要在输入中更新。然后，tanh层的双曲正切函数创建一个矩阵作为附加到单元状态的替代。输入层的输入也是x _t 和h _t-1，所以输入层的方程可以描述为：

其中 W _i 是输入层中Sigmoid函数的权重；W _C 是输入层中TANH函数的权重； b _i 是输入层中Sigmoid函数的偏置参数； b _C 是输入层中TANH函数的偏置参数。第三层为候选层，可将之前的状态C _t-1更新为当前状态 C _t ,，可表示为：

最后一层是输出层，它的输出取决于获得新的单元格状态。首先，将确定Sigmoid功能层哪些部分的细胞状态需要更新。然后，可以使用tanh函数处理单元格状态，使值在区间（-1,1）内，乘以Sigmoid层的输出，以确定最终输出。输出层的方程可以描述如下：

本发明用于对CNC机床设备刀具加工出来的工件进行实时图像采集；通过对图像的处理分析，能够反映出加工工件的精度与刀具设备的寿命状态，从而能够在短期内预测刀具是否会故障，从而发出警告，避免了因为没有及时替换刀具设备而导致加工了而大量残次品的情况；从长期来看，还能预测设备剩余寿命，使得运维人员能够及时更换和维修设备。基于边缘计算，利用深度学习网络对采集到的图像进行处理分析，实时检测工件表面的精度进行质检，同时对设备刀具进行预测性维护。

本发明能做到在相当准确率前提之下，能预测刀具设备未来短期的运行状态，从而针对潜在问题的刀具进行维修与更换，从而避免故障刀具加工出残次品的情况发生，也能够提高对刀具设备的使用率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.实时工件表面检测与刀具寿命预测的系统，其特征在于，该系统包括有图像采集模块、工件表面检测模块、刀具寿命预测模块、边缘网关、云端服务平台及运维网页；图像采集模块实时采集CNC车床刀具加工出来的工件的图像，且图像采集模块将采集到的图像数据传送至边缘网关，边缘网关部署工件表面检测模块和刀具寿命预测模块；工件表面检测模块对采集到的图像数据进行特征提取以及表面检测，刀具寿命预测模块通过特征提取后的图片数据进行实时刀具寿命预测，边缘网关还将实时采集的图片数据、工件检测结果和刀具寿命预测结果上传到云端服务平台，实时显示在运维网页上。

2.实时工件表面检测与刀具寿命预测的方法，其特征在于，该方法采用上述的基于边缘计算的实时工件表面检测与刀具寿命预测的系统进行实时检测和预测，包括以下步骤：

S1：将图像采集模块在现场实时采集从CNC车床刀具加工出来的工件的图像，并实时将采集到的图像传送至边缘网关；

S2：云端服务平台部署工件表面检测模块和刀具寿命预测模块至边缘网关，并通过云端服务平台控制模块的启停；

S3：图像数据经过边缘网关送入工件表面检测模块进行特征提取以及实时工件表面检测；

S4：图像经过特征提取和检测后所得的数据载入刀具寿命预测模块，对一段时间的图像进行分析推理，对未来一段时间刀具的寿命情况与设定的刀具使用寿命的加工工件精度进行比较，从而预测刀具的剩余使用寿命，由边缘网关将实时采集的图像数据、工件检测结果和刀具寿命预测结果上传云端数据库；

S5：将步骤S3得到的数据显示在设备的物模型属性并存于云端数据库中，云端数据库经过数据筛选与聚合编写成数据分析API，用于运维看板的实时数据分析显示；

S6：运维人员通过运维看板能实时监测各个CNC车床刀具预测寿命的结果，根据数据分析结果对故障或者潜在故障的刀具进行维护。

3.根据权利要求2所述的实时工件表面检测与刀具寿命预测的方法，其特征在于，图像采集模块包括工业相机、镜头与光源，且工业相机、镜头与光源一同安装固定在工业机械手上。

4.根据权利要求2所述的实时工件表面检测与刀具寿命预测的方法，其特征在于，工件表面检测模块利用图像增强算法对采集的图片进行图像增强，结合边缘检测算子对图片进行边缘提取，最后导入深度神经网络CNN模型中进行特征提取与表面检测。

5.根据权利要求2所述的实时工件表面检测与刀具寿命预测的方法，其特征在于，刀具寿命预测模块利用工件表面检测模块所提取的特征，输入到长短期记忆人工神经网络LSTM模型中进行时序刀具寿命预测。

6.根据权利要求4所述的实时工件表面检测与刀具寿命预测的方法，其特征在于，CNN模型主要包括输入层、卷积层、池化层与全连接层，卷积层使用卷积核对输入数据进行卷积处理，输出特征映射，每个卷积核输出一层神经元矩阵，称为特征映射，卷积的过程描述如下：

其中l表示第l-th层的卷积层，

是第l层的输出，

是第l-th层的输入；

表示权重矩阵，

是偏置，

是特征映射的第j-th次卷积区域，

是激活函数；池层通常在卷积层完成卷积后使用；它通过池核对输入特征向量进行降采样，并在实现数据降维的同时进一步突出提取的特征； 池化操作一般分为两种：最大池化和意义池化；池化的一般表达式是：

其中

表示输入，

是池函数，

是乘法偏置，b是加性偏置，

是激活函数。

7.根据权利要求5所述的实时工件表面检测与刀具寿命预测的方法，其特征在于，长短期记忆人工神经网络LSTM模型主要包括了遗忘层、输入层、单元候选层和输出层；遗忘层包括sigmoid激活函数σ在细胞状态 C _t-1之前[0,1]的区间内返回一个值，而0表示状态未被激活，所有信息都被遗忘，1表示相反；遗忘层的输入为x _t 和h _t-1，所以遗忘层的方程可以表示为：

其中x _t 是当前时刻t的输入，h _t-是前一个时刻的隐藏状态；σ是乙状结肠函数；W _f 是遗忘层Sigmoid函数的权重；[]表示级联操作； b _f 是遗忘层Sigmoid函数的偏置参数；输入层决定单元状态需要吸收一些新的信息； 首先，Sigmoid函数σ层，这意味着一些值需要在输入门中更新；然后，tanh层的双曲正切函数创建一个矩阵作为附加到单元状态的替代；输入层的输入也是x _t 和h _t-1，所以输入层的方程可以描述为：

其中 W _i 是输入层中Sigmoid函数的权重；W _C 是输入层中TANH函数的权重； b _i 是输入层中Sigmoid函数的偏置参数； b _C 是输入层中TANH函数的偏置参数；第三层为候选层，可将之前的状态C _t-1更新为当前状态 C _t ,，可表示为：

最后一层是输出层，它的输出取决于获得新的单元格状态；首先，将确定Sigmoid功能层哪些部分的细胞状态需要更新；然后，可以使用tanh函数处理单元格状态，使值在区间（-1,1）内，乘以Sigmoid层的输出，以确定最终输出；输出层的方程可以描述如下：

。

Images