CN115035120B - 基于物联网的机床控制方法及系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于物联网的机床控制方法及系统。本发明该方法在获取刀具表面图像后处理得到刀具表面灰度图像，并以灰度图像中的易磨损区域为感兴趣区域，在感兴趣区域中确定刀具轮廓线上何处发生了刀具缺失及缺失面积大小，并计算虽未发生缺失但承受了与缺失区域一样的破坏性外力的刀具区域的纹理复杂度，来表征不平整度，以刀具整体缺失面积和不平整度表征刀具损坏程度，预测刀具剩余寿命，根据刀具的剩余寿命为机床分配任务，完成机床控制。本发明该方法对刀具缺损区域进行了准确识别与精确的缺损程度计算，可根据所得刀具整体缺损程度值完成刀具状态的高效、准确识别，从而准确完成生产过程中的机床调度控制。

Description

基于物联网的机床控制方法及系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于物联网的机床控制方法及系统。

背景技术

数控机床是一种装有程序控制的自动化机床，其加工精度高，具有稳定的加工质量、具有高度柔性，生产率高，机床自动化程度高，可以减轻劳动强度。而数控机床在加工中，其刀具的状态尤为关键，不论是刀具刀口部分因磨损而部分缺失，还是刀口部分表面因磨损而不平整，均会直接影响对加工工件的加工质量，非正常的刀具状态，也即较大程度的刀具磨损，将引起各种加工质量问题，故对机床刀具的实时状态进行准确检测尤为重要。

传统对机床刀具状态检测是人工检测，通过检测人员肉眼观察判断刀具是否还处于正常磨损程度之内，并判断是否可继续使用。但这种检测方法低效且因依靠检测人员经验而不准确，所以现有技术中出现了采集刀具图像进行刀具状态判断的方法。

采集刀具图像进行刀具状态判断的常见方法，包括将所采集刀具图像输入神经网络进行判断，以及根据所采集刀具图像判断图像轮廓后与标准的或者说新的刀具轮廓进行对比进行状态判断。不过，直接采集刀具图像输入神经网络，因输入的图像数据繁杂，没有突出表征刀具形状特点的相关特征量，故计算量大且准确度不高；采集刀具图像得到刀具轮廓进行比对的方法，需要所拍摄的刀具角度与标准的或者说新的刀具轮廓获取时的拍摄角度完全一致，难以实现且只要有略微的拍摄角度差异便会导致对刀具状态的判断准确度下降。

所以，现有通过图像处理技术判断机床刀具状态的方法，存在低效且不准确的问题，导致无法准确判断机床刀具剩余寿命而合理、准确地完成机床控制。

发明内容

本发明提供了一种基于物联网的机床控制方法及系统，用以解决现有技术无法高效、准确地完成机床控制的问题，所采用的技术方案具体如下：

本发明的一种基于物联网的机床控制方法，包括以下步骤：

采集刀具表面图像，对刀具表面图像进行灰度化处理得到刀具表面灰度图像；

在刀具表面灰度图像中进行边缘识别，得到当前的刀具轮廓线，对刀具轮廓线进行直线检测，确定长度大于设定长度的线段，将所述长度大于设定长度的线段所在的直线作为刀具特征线，并将所述刀具特征线以及刀具表面灰度图像的边界所围成的区域作为感兴趣区域；

计算刀具轮廓线上任一轮廓像素点与对应的刀具特征线之间的偏离距离，将偏离距离大于零的轮廓像素点作为缺损像素点，将连续的缺损像素点连接，得到缺损曲线；

根据缺损曲线在与其对应的刀具特征线上的投影长度，计算刀具缺损区域的面积；

在所有缺损像素点中任取一缺损像素点，过该缺损像素点作与该缺损像素点对应的刀具特征线的垂线，将垂线上处于感兴趣区域内的像素点所组成的区域作为该缺损像素点的关联区域，计算该缺损像素点的关联区域的纹理复杂度，将所有缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度；

根据所述刀具缺损区域的面积以及所述刀具的总体纹理复杂度，得到刀具的整体磨损程度值，将刀具的整体磨损程度值输入训练好的神经网络得到刀具的剩余寿命，根据各个机床上刀具的剩余寿命以及各个待加工工件的所需加工时长，为各个机床分配任务；

所述设定长度根据刀具表面图像的尺寸以及刀具的实际参数确定；所述对应的刀具特征线，是轮廓像素点或缺损曲线在刀具未发生缺损时所位于的刀具特征线。

本发明的有益效果为：

本发明在所获取的刀具表面灰度图像中确定感兴趣区域后，在感兴趣区域中通过比对刀具当前轮廓线与表征刀具未磨损情况下刃口所在位置的刀具特征线之间的具体偏差，确定了刀具轮廓线上何处发生了刀具缺失以及缺失的面积大小，并计算虽未发生缺失但承受了与缺失区域一样的破坏性外力的刀具区域的纹理复杂度，从而表征不平整度，以刀具整体缺失面积和不平整度表征刀具的损坏程度，得到刀具的整体磨损程度值，将该值输入训练好的神经网络后便可得到准确的刀具剩余寿命预测值，根据刀具的剩余寿命预测值，便可在加工生产过程中对机床进行合理的待加工工件分配，降低刀具的磨损对零件生产的影响，提高加工质量。本发明该方法对刀具缺损区域进行了准确识别与精确的缺损程度计算，可根据所得刀具整体缺损程度值准确判断机床刀具剩余寿命，从而高校、准确地完成加工生产过程中的机床控制。

进一步的，所述偏离距离为：

其中，R为轮廓像素点与对应的刀具特征线之间的偏离距离，

为刀具轮廓线上轮廓像素点的坐标，a为轮廓像素点对应的刀具特征线的斜率，b为轮廓像素点对应的刀具特征线的截距。

进一步的，所述刀具缺损区域的面积为：

其中，N为因刀具缺损而在刀具轮廓线上所形成的缺损曲线的总数，

为第i条缺损曲线，

为第i条缺损曲线所对应的刀具特征线，

为第i条缺损曲线在其对应的刀具特征线上的投影长度。

进一步的，所述计算该缺损像素点的关联区域的纹理复杂度，将所有缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度的具体过程为：

在所有的M个缺损像素点中取第

个缺损像素点，在第

个缺损像素点的关联区域所包含的G个像素点中取第j个像素点为中心像素点，计算中心像素点的8邻域像素点的灰度均值

，与中心像素点的灰度值

组成点对（

，

），G个像素点共可得到W种点对，由此可计算所有的M个缺损像素点中，第

个缺损像素点的关联区域的纹理复杂度：

其中，

为第

个缺损像素点的关联区域的纹理复杂度，W表示第

个缺损像素点的关联区域中所形成的点对的种类，

表示第

个缺损像素点的关联区域中所形成的所有种点对中第k种点对的分布概率，

表示第

个缺损像素点的关联区域中所形成的所有种点对中第k种点对出现的频数，G表示第

个缺损像素点的关联区域中所形成的点对的总数，W≤G；

将所有的M个缺损像素点中各个缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度：

其中，Q为刀具的总体纹理复杂度。

进一步的，所述刀具的整体磨损程度值为：

其中，E为刀具的整体磨损程度值，

与

分别为刀具的总体纹理复杂度以及刀具缺损区域的面积的权重系数。

本发明的一种基于物联网的机床控制系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述基于物联网的机床控制方法的步骤。

附图说明

图1是本发明的基于物联网的机床控制方法的流程图；

图2是本发明的基于物联网的机床控制系统的示意图；

图3是本发明的刀具表面灰度图像。

具体实施方式

本发明整体构思为：在以工业相机采集刀具表面图像并处理得到刀具表面灰度图像后，将表面灰度图像中刀具的具易磨损体区域作为感兴趣区域，由于刀具具有特定结构，所以在对感兴趣区域进行边缘识别后继续进行直线检测，确定表征刀具特定结构的特征线，计算当前刀具的感兴趣区域中刀具轮廓边缘上任意一点与刀具特征线之间是否存在偏离，存在偏离的轮廓边缘部分即为因刀具某些部分缺失而轮廓变形部分，并可根据每一点与刀具特征线之间的偏离距离，得到整个缺失区域的面积；同时，刀具上那些与缺失区域接触待加工工件的同一部分但接触时间不同的未缺失区域，虽然未发生结构缺失，但也会因磨损缺失发生的瞬间而导致其表面不平整，所以，本发明同时计算了与缺失区域对应的未缺失区域内刀具表面的纹理复杂程度，来表征该区域的表面不平整度。最终，本发明以计算所得缺失区域的面积大小以及对应未缺失区域的纹理复杂程度，高效、准确地得到了刀具损坏程度的大小，并预测得到了刀具剩余寿命，以所得各个机床上的刀具剩余寿命完成了对加工生产过程中各个机床的控制。

下面结合附图及实施例，对本发明的一种基于物联网的机床控制方法与系统进行详细说明。

方法实施例：

本发明的一种基于物联网的机床控制方法实施例，其整体流程如图1所示，具体过程如下：

1、采集刀具表面图像，获取刀具表面灰度图像。

如附图2所示，采用高分辨率工业相机，以固定时间间隔拍摄机床主轴上刀具表面图像，将所采集的RGB图像通过加权灰度化处理得到刀具表面灰度图像。

由于所采集的刀具原始图像存在噪声，影响后续刀具损坏程度的计算，所以本实施例在采集到刀具表面图像后，采用中值滤波后高斯双边滤波的方法处理图像噪声；且由于图像经去噪处理后会出现边界模糊的情况，故再对刀具表面图像进行直方图均衡化处理。

至此，便可得到处理后的刀具表面灰度图像，如附图3所示。

2、在刀具表面灰度图像中定位具体的刀具易磨损区域，将刀具易磨损区域作为感兴趣区域。

本实施例中的刀具为铣刀，对如附图3所示的铣刀的结构进行分析可知，铣刀整体包括如图中线段A1、A2以及A3所示的侧刃部分，以及如图中线段B所示的底刃部分，底刃和侧刃部分的相对位置关系固定，也即铣刀整体包括着相对位置关系固定的线段组，该种固定关系不论在何种具体结构的刀具上都存在，且不受到刀具磨损状态变化的影响，故本发明中将这些具有相对位置不变性的线段组定义为刀具特征线，通过刀具特征线可以快速定位刀具切削刃，确定刀具易磨损区域并对应确定本实施例要分析的刀具表面灰度图像中的感兴趣区域。

确定刀具表面灰度图像中的感兴趣区域的具体过程为：

对刀具表面灰度图像进行canny算子检测，确定刀具表面灰度图像中的轮廓线，所确定的刀具轮廓线即为刀具当前实际的侧刃以及底刃轮廓线。再对轮廓线进行霍夫直线检测，确定长度大于设定长度的线段，也即附图3中所示A1、A2、A3以及B线段，这些线段所在直线，即为刀具的特征线。由此便确定了刀具特征线以及刀具经使用磨损后刀刃实际的轮廓线，也即刀具轮廓线。

将刀具特征线与刀具表面灰度图像边界所围成的区域作为感兴趣区域，对应到附图3中也即线段A1所在直线、线段B所在直线以及刀具表面灰度图像的右侧和下侧边界所围成的区域。

本实施例中所选取的设定长度，根据所拍摄的刀具表面图像的尺寸以及刀具的实际参数确定。

当然，关于感兴趣区域的确定，在其它实施例中还可以采用现有的其它方法来确定感兴趣区域，比如，由于刀具部分相较于刀具表面灰度图像中背景部分的灰度值存在较大差异，所以可直接在刀具表面灰度图像中进行前景检测，将前景区域作为感兴趣区域，并同样对刀具表面灰度图像进行边缘检测，确定刀具当前实际的侧刃以及底刃轮廓线。

以及，在其它实施例中，还可以采用现有的其它边缘检测方法确定刀具表面灰度图像中的轮廓线，以及采用现有的其它直线检测方法在轮廓线中确定长度大于设定长度的线段。

3、在感兴趣区域中计算刀具损坏程度，根据刀具损坏程度预测刀具剩余寿命，根据刀具剩余寿命进行机床控制。

在所确定的感兴趣区域中分析刀具缺失的程度以及不平整程度。

（a）计算刀具缺失程度。

如附图3所示，在刀具轮廓线上选取任意一轮廓像素点Z，并确定与轮廓像素点Z距离最近的刀具轮廓线上大于设定长度的线段，假设该线段所在刀具特征线为y=ax+b，则容易确定的是，若轮廓像素点Z处未发生刀具缺失，则轮廓像素点Z在刀具特征线y=ax+b上，而即使轮廓像素点Z处发生了刀具缺失，该处缺失也是从刀具特征线y=ax+b开始发生的，所以称该刀具特征线y=ax+b是轮廓像素点Z对应的刀具特征线。

计算轮廓像素点Z与对应的刀具特征线之间的偏离距离R：

其中，

为刀具轮廓线上任意一轮廓像素点Z的坐标，a为轮廓像素点Z对应的刀具特征线的斜率，b为轮廓像素点Z对应的刀具特征线的截距。

容易确定的是，当R>0时，则代表轮廓像素点Z处发生了刀具缺失，且偏离距离R越大，则代表缺失越严重，将此时的轮廓像素点Z记为缺损像素点。

计算刀具轮廓线上所有轮廓像素点对应的偏离距离R，并找出偏离距离R大于0的轮廓像素点，从而确定轮廓线上的所有M个缺损像素点。在所有缺损像素点中找到连续的缺损像素点，并将连续的缺损像素点连接起来得到缺损曲线，则一共得到N条缺损曲线。

与确定轮廓像素点Z对应的刀具特征线一样，N条缺损曲线中的任意一条缺损曲线，都是因为其对应的刀具特征线发生了缺损而形成的，N条缺损曲线中第i条缺损曲线对应的刀具特征线，即为刀具轮廓线上距离第i条缺损曲线最近的且大于设定长度的线段所在的直线。

假设第i条缺损曲线为

，且缺损曲线

在其对应的刀具特征线

上的投影长度为

，则可计算刀具缺损区域的面积S：

其中，N为因刀具缺损而在刀具轮廓线上所形成的缺损曲线的总数，

为第i条缺损曲线，

为第i条缺损曲线所对应的刀具特征线，

为第i条缺损曲线在其对应的刀具特征线上的投影长度。

（b）计算刀具不平整程度。

刀具发生缺失时，不但其缺失部分受到了会对刀具造成损伤的外力，实际上在沿着切割方向看，刀具缺失部分之后的部分也会受到该种对刀具造成损伤的外力，该部分虽然未发生结构缺失，但往往已产生了不平整缺陷。

过M个缺损像素点中的第

个缺损像素点作该缺损像素点对应刀具特征线的垂线，将该垂线上在感兴趣区域内的像素点作为第

个缺损像素点的关联区域，并假设关联区域中共有G个像素点。在第

个缺损像素点的关联区域中取第j个像素点为中心像素点，计算中心像素点的8邻域像素点的灰度均值，与中心像素点的灰度值组成点对（

，

），

表示该缺损像素点的关联区域中第j个像素点的灰度值，

表示第j个像素点的8邻域像素点的灰度均值，由于该缺损像素点的关联区域中存在灰度值相同的像素点，且各个像素点的8邻域像素点的灰度均值之间也存在相同的可能，所以在该缺损像素点的关联区域中存在某两个点对完全相同的情况，所以G个像素点共可形成W种点对，W≤G。

假设W种点对中第k种点对(

，

出现的频数为

，则第k种点对的分布概率为

，并进一步可得第

个缺损像素点的关联区域的纹理复杂度

：

其中，

为第

个缺损像素点的关联区域的纹理复杂度，W表示缺损像素点的关联区域中所形成的点对的种类，

表示缺损像素点的关联区域中所形成的所有种点对中第k种点对的分布概率，

表示缺损像素点的关联区域中所形成的所有种点对中第k种点对出现的频数，G表示缺损像素点的关联区域中所形成的点对的总数，以及缺损像素点的关联区域中像素点的总数。

则M个缺损像素点的关联区域的总体纹理复杂度，也即刀具的总体纹理复杂度Q为：

纹理复杂度Q越大，说明磨损区域的纹理越复杂，像素点的灰度级分布越复杂，该区域的不平整度越大。

（c）根据刀具缺失程度和不平整度，确定刀具整体磨损程度。

根据所得表征刀具缺失程度的刀具缺损区域面积S，以及表征刀具不平整度的纹理复杂度Q，可得到刀具的整体磨损程度值E：

其中，E为刀具的整体磨损程度值，

与

为权重系数，本发明中设置

，在其它实施例中也可根据具体需求进行调整设置，Q为刀具的总体纹理复杂度，S为刀具缺损区域面积，公式中的Q与S均进行了归一化处理。

至此，得到了刀具的整体磨损程度值E。

（d）根据刀具的整体磨损程度预测刀具剩余使用寿命，从而完成生产加工过程中的机床控制。

将所得刀具的整体磨损程度值E输入训练好的神经网络，得到未来某一时刻下的刀具整体磨损程度值E'，当预测所得未来某一时刻下的刀具整体磨损程度值E'大于设定磨损程度阈值，则认为刀具在该未来时刻寿命结束，当前时刻到该未来时刻所经历的时长，即为刀具当前的剩余寿命。

所述设定磨损程度阈值，根据对刀具状态的要求确定；神经网络的训练为公知常识，此处不再赘述。

至此，得到了刀具的实时磨损情况以及剩余寿命。基于物联网获取各个机床上刀具的实时磨损情况以及剩余寿命，并同时获取各个待加工工件的所需加工时间，根据各个机床上刀具的剩余寿命合理的为各个机床分配任务，降低刀具的磨损对零件生产的影响，使生产效率达到最高。

系统实施例：

本发明的一种基于物联网的机床控制系统实施例，其整体结构如图2所示，包括机械臂、工业相机以及与工业相机无线连接的PC，其中PC包括存储器和处理器，处理器和存储器之间通过内部总线完成相互间的通信。

处理器可以为CPU、微处理器MCU、可编程逻辑器件FPGA等处理装置。

存储器可为利用电能方式存储信息的各式存储器，RAM、ROM等；利用磁能方式存储

信息的各式存储器，例如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘等；利用光学方式存储信息的各式存储器，例如CD、DVD等。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等。

处理器可以调用存储器中的逻辑指令，以实现一种基于物联网的机床控制方法，该方法已在方法实施例中进行了详细介绍，此处不再赘述。

本系统实施例中所述系统包括了机械臂以及工业相机，在其它实施例中，可以不包括机械臂或者不包括工业相机，也可同时不包括机械臂和工业相机，而只包括存储器和处理器。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于物联网的机床控制方法，其特征在于，包括以下步骤：

采集刀具表面图像，对刀具表面图像进行灰度化处理得到刀具表面灰度图像；

在刀具表面灰度图像中进行边缘识别，得到当前的刀具轮廓线，对刀具轮廓线进行直线检测，确定长度大于设定长度的线段，将所述长度大于设定长度的线段所在的直线作为刀具特征线，并将所述刀具特征线以及刀具表面灰度图像的边界所围成的区域作为感兴趣区域；

计算刀具轮廓线上任一轮廓像素点与对应的刀具特征线之间的偏离距离，将偏离距离大于零的轮廓像素点作为缺损像素点，将连续的缺损像素点连接，得到缺损曲线；

根据缺损曲线在与其对应的刀具特征线上的投影长度，计算刀具缺损区域的面积；

在所有缺损像素点中任取一缺损像素点，过该缺损像素点作与该缺损像素点对应的刀具特征线的垂线，将垂线上处于感兴趣区域内的像素点所组成的区域作为该缺损像素点的关联区域，计算该缺损像素点的关联区域的纹理复杂度，将所有缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度；

根据所述刀具缺损区域的面积以及所述刀具的总体纹理复杂度，得到刀具的整体磨损程度值，将刀具的整体磨损程度值输入训练好的神经网络得到刀具的剩余寿命，根据各个机床上刀具的剩余寿命以及各个待加工工件的所需加工时长，为各个机床分配任务；

所述设定长度根据刀具表面图像的尺寸以及刀具的实际参数确定；所述对应的刀具特征线，是轮廓像素点或缺损曲线在刀具未发生缺损时所位于的刀具特征线；

所述刀具缺损区域的面积为：

其中，N为因刀具缺损而在刀具轮廓线上所形成的缺损曲线的总数，

为第i条缺损曲线，

为第i条缺损曲线所对应的刀具特征线，

为第i条缺损曲线在其对应的刀具特征线上的投影长度；

所述计算该缺损像素点的关联区域的纹理复杂度，将所有缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度的具体过程为：

在所有的M个缺损像素点中取第

个缺损像素点，在第

个缺损像素点的关联区域所包含的G个像素点中取第j个像素点为中心像素点，计算中心像素点的8邻域像素点的灰度均值

，与中心像素点的灰度值

组成点对（

，

），G个像素点共可得到W种点对，由此可计算所有的M个缺损像素点中，第

个缺损像素点的关联区域的纹理复杂度：

其中，

为第

个缺损像素点的关联区域的纹理复杂度，W表示第

个缺损像素点的关联区域中所形成的点对的种类，

表示第

个缺损像素点的关联区域中所形成的所有种点对中第k种点对的分布概率，

表示第

个缺损像素点的关联区域中所形成的所有种点对中第k种点对出现的频数，G表示第

个缺损像素点的关联区域中所形成的点对的总数，W≤G；

将所有的M个缺损像素点中各个缺损像素点的关联区域的纹理复杂度求和，得到刀具的总体纹理复杂度：

其中，Q为刀具的总体纹理复杂度。

2.根据权利要求1所述的基于物联网的机床控制方法，其特征在于，所述偏离距离为：

其中，R为轮廓像素点与对应的刀具特征线之间的偏离距离，

为刀具轮廓线上轮廓像素点的坐标，a为轮廓像素点对应的刀具特征线的斜率，b为轮廓像素点对应的刀具特征线的截距。

3.根据权利要求1所述的基于物联网的机床控制方法，其特征在于，所述刀具的整体磨损程度值为：

其中，E为刀具的整体磨损程度值，

与

分别为刀具的总体纹理复杂度以及刀具缺损区域的面积的权重系数。

4.一种基于物联网的机床控制系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1~3任意一项所述基于物联网的机床控制方法的步骤。

Images