CN116188413A - 基于大数据的工件表面损伤检测系统 - Google Patents

Abstract

本发明公开了一种基于大数据的工件表面损伤检测系统，包括数据处理平台、边缘计算模块、摄像头模块、结果输出模块以及控制器，所述摄像头模块和所述结果输出模块分别与所述控制器电连接，所述边缘计算模块的一端与所述控制器电连接，所述边缘计算模块的另一端与所述数据处理平台基于公网通信连接。本发明从工件表面实时图像中提取目标工件图像，并对目标工件图像执行目标检测操作，输出表示未检测出工件表面损伤的第一检测结果或者输出表示工件表面损伤的位置信息的第二检测结果，这有利于对加工设备所输出的工件品质评判，从而有利于优化调控该加工设备装置的运作，从而有利于保障加工设备运作的高效性。

Description

基于大数据的工件表面损伤检测系统

技术领域

本发明涉及金属加工技术领域，尤其涉及一种基于大数据的工件表面损伤检测系统。

背景技术

专利CN115017944A公开了一种工件加工状态的检测方法、装置和电子设备。其中，在检测工件对应的加工状态时，可以先获取工件加工过程中加工设备的目标参考信号，并根据目标参考信号，确定工件对应的目标加工状态。

专利CN212331322U公开了一种全自动多方位加工的加工设备，该设备可进行工件输送，并在输送过程中防止回流；且同时对工件的侧部以及端部进行加工，提高加工效率。

上述技术方案中，主要是涉及工件加工的自动化设备，但是未对工件品质评判，不利于优化调控相关加工设备的运作，从而不利于保障加工设备的高效性。

可见，如何设计一款能对输出的工件品质评判的检测系统，是亟需解决的技术问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于大数据的工件表面损伤检测系统，有利于对工件品质的评判。

为了解决上述技术问题，本发明公开了一种基于大数据的工件表面损伤检测系统，包括数据处理平台、边缘计算模块、摄像头模块、结果输出模块以及控制器，所述摄像头模块和所述结果输出模块分别与所述控制器电连接，所述边缘计算模块的一端与所述控制器电连接，所述边缘计算模块的另一端与所述数据处理平台基于公网通信连接，所述控制器执行的控制步骤包括：

所述控制器获取所述摄像头模块拍摄到的工件表面实时图像；

所述控制器从所述工件表面实时图像中提取出目标工件图像；

所述控制器将所述目标工件图像传输至所述边缘计算模块，并触发所述边缘计算模块对所述目标工件图像基于卷积神经网络对所述目标工件图像执行关于工件表面损伤的目标检测操作；

所述控制器将所述边缘计算模块的所述目标检测操作的检测结果通过所述结果输出模块输出，其中，所述检测结果包括表示未检测出工件表面损伤的第一检测结果或者表示工件表面损伤的位置信息的第二检测结果。

可见，本发明的基于大数据的工件表面损伤检测系统，从工件表面实时图像中提取目标工件图像，并对目标工件图像执行目标检测操作，输出表示未检测出工件表面损伤的第一检测结果或者输出表示工件表面损伤的位置信息的第二检测结果，这有利于对加工设备所输出的工件品质评判，从而有利于优化调控该加工设备装置的运作，从而有利于保障加工设备运作的高效性。

作为一种可选的实施方式，本发明中，当所述边缘计算模块完成所述目标检测操作并得到检测结果为第二检测结果时，在所述控制器将所述边缘计算模块的所述目标检测操作的检测结果通过所述结果输出模块输出之前，所述边缘计算模块执行的步骤包括：

所述边缘计算模块对所述数据处理平台发送核验请求，触发所述数据处理平台执行对所述边缘计算模块执行的所述目标检测操作的核验操作；

当所述核验操作的结果表示所述第二检测结果异常时，所述数据处理平台对所述边缘计算模块发送检测结果重置指令，使得所述边缘计算模块将当前的检测结果重置为第一检测结果。

作为一种可选的实施方式，本发明中，所述控制器从所述工件表面实时图像中提取出目标工件图像，具体包括：

所述控制器对所述工件表面实时图像基于滤波算法执行边缘检测的操作，确定出所述工件表面实时图像中的目标工件外廓边缘；

所述控制器以所述目标工件外廓边缘的外接矩形框作为边界，使得所述目标工件图像从所述工件表面实时图像中分离出来。

作为一种可选的实施方式，本发明中，基于所述滤波算法执行边缘检测的过程包括：

对工件表面实时图像数据f(x,y)进行卷积处理，得到数字图像数据t(x,y)如下：

t(x,y)＝T(x,y)×f(x,y)

式中，x、y分别表示图像中的像素点的横坐标和纵坐标；

以及，T(x,y)的表达式如下：

式中，σ为函数T(x,y)分布参数,n、r为经验系数，r∈(0,π],n>0；

求取数字图像数据t(x,y)中的目标工件图像外廓边缘点的集合G(x,y)如下：

作为一种可选的实施方式，本发明中，σ取值确定过程包括：

构建σ与所述数字图像数据之间的模型如下：

Q_i＝I_iσ_k+b_k

式中，σ_k表示某特征向量在数字图像数据F的图像区域I_i的函数T(x,t)的分布参数，Q_i表示图像区域I_i经过卷积处理后的图像区域，b_k表示卷积处理过程中的偏置量；

构建评判函数E如下：

式中，P_i表示卷积处理后的先验图像区域，ε为正则化参数，ε∈(0,1)；

求取使得评判函数E收敛时的σ_k的值，其中，σ∈{σ_k}。

作为一种可选的实施方式，本发明中，所述特征向量对应的图像特征为灰度值、对比度、亮度当中的其中一个或多个图像特征融合而成的融合特征。

作为一种可选的实施方式，本发明中，所述边缘计算模块对所述目标工件图像基于卷积神经网络对所述目标工件图像执行关于工件表面损伤的目标检测操作，具体包括：

所述边缘计算模块对所述目标工件图像执行网格化处理，将所述目标工件图像划分为若干个图像尺寸大小相同的网格图像；

所述边缘计算模块对于所述网格图像基于经过训练的深度卷积神经网络以工件表面损伤图像作为检测目标执行目标检测的操作；

当所述目标检测的操作的结果表示所述网格图像中包括检测目标时，所述边缘计算模块将所述网格图像标记为目标网格图像，

所述边缘计算模块将在所述目标工件图像中的相邻的目标网格图像所组成图像区域标记为目标图像区域，

所述边缘计算模块求取所述目标图像区域的标记图像位置，并以所述标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果；

当所述目标检测的操作的结果表示全部的网格图像均未包括检测目标时，所述边缘计算模块得到第一检测结果。

作为一种可选的实施方式，本发明中，所述边缘计算模块求取所述目标图像区域的标记图像位置，并以所述标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果，包括：

所述边缘计算模块确定所述目标图像区域中的各个目标网格图像的图像中心的像素点；

所述边缘计算模块根据各个目标网格图像的图像中心的像素点，确定所述目标图像区域的标记图像位置，如下：

式中，x_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，x_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标；

式中，y_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，y_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于大数据的工件表面损伤检测系统的结构示意图；

图2是本发明实施例的控制器执行的控制步骤的流程图；

图3是图2所示的步骤S102的子步骤的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开的一种基于大数据的工件表面损伤检测系统，如图1所示，包括数据处理平台、边缘计算模块、摄像头模块、结果输出模块以及控制器，摄像头模块和结果输出模块分别与控制器电连接，边缘计算模块的一端与控制器电连接，边缘计算模块的另一端与数据处理平台基于公网通信连接。

其中，如图2所示，控制器执行的控制步骤包括：

S101、控制器获取摄像头模块拍摄到的工件表面实时图像。可选的，该摄像头模块可以安装在工件加工设备上，便于拍摄在加工过程和/或加工完成后的工件表面实时图像。

S102、控制器从工件表面实时图像中提取出目标工件图像。摄像头模块拍摄到的工件表面实时图像中通常包括有目标工件图像、用于对目标工件固定的夹具图像、用于加工目标工件的刀具等，为了减少表面实时图像中除了目标工件图像之外的其他图像的干扰，从而有利于对于工件表面质量评判的高效性，需要从中提取出目标工件图像。

S103、控制器将目标工件图像传输至边缘计算模块，并触发边缘计算模块对目标工件图像基于卷积神经网络对目标工件图像执行关于工件表面损伤的目标检测操作。

S104、控制器将边缘计算模块的目标检测操作的检测结果通过结果输出模块输出。其中，检测结果包括表示未检测出工件表面损伤的第一检测结果或者表示工件表面损伤的位置信息的第二检测结果。

可选的，对于该检测系统所针对的工件表面损伤，可以包括机床、数控加工设备等金属加工设备对工件加工时所产生的工件表面损伤(如，缺边、缺角、划痕等)。

本发明的基于大数据的工件表面损伤检测系统，从工件表面实时图像中提取目标工件图像，并对目标工件图像执行目标检测操作，输出表示未检测出工件表面损伤的第一检测结果或者输出表示工件表面损伤的位置信息的第二检测结果，这有利于对加工设备所输出的工件品质评判，从而有利于优化调控该加工设备装置的运作，从而有利于保障加工设备运作的高效性。

为了进一步提高工件表面损伤检测的严谨性，当边缘计算模块完成目标检测操作并得到检测结果为第二检测结果时，在控制器将边缘计算模块的目标检测操作的检测结果通过结果输出模块输出之前，边缘计算模块对数据处理平台发送核验请求，触发数据处理平台执行对边缘计算模块执行的目标检测操作的核验操作。

数据处理平台具备能够满足运算量、数据量较大的复杂数据处理任务的计算资源，数据处理平台针对该边缘计算模块执行的核验操作过程中，可以根据该边缘计算模块在进行目标检测操作中所得到的若干个过程参量(或者预设的目标检测任务的若干个节点对应的值)进行校验，有利于该工件表面损伤检测系统当中工作任务与资源之间的合理配置，有利于提高该系统的运行效率。

可选的，当上述过程参量的校验结果与数据处理平台预存的结果不匹配时，该数据处理平台可以确定该边缘计算模块得到的第二检测结果异常。当核验操作的结果表示第二检测结果异常时，数据处理平台对边缘计算模块发送检测结果重置指令，使得边缘计算模块将当前的检测结果重置为第一检测结果。

可选的，步骤S102对目标工件图像提取的过程可以通过“先局部后整体”的方式，以有利于目标工件图像从工件表面实时图像中准确区分。那么，该步骤可以先确定目标工件外廓边缘，然后根据外廓边缘确定边界，以区分出目标工件图像，如图3所示，具体包括以下操作：

S1021、控制器对工件表面实时图像基于滤波算法执行边缘检测的操作，确定出工件表面实时图像中的目标工件外廓边缘。

S1022、控制器以目标工件外廓边缘的外接矩形框作为边界，使得目标工件图像从工件表面实时图像中分离出来。

进一步可选的，步骤S1021中，基于滤波算法执行边缘检测的过程包括：

对工件表面实时图像数据f(x,y)进行卷积处理，得到数字图像数据t(x,y)如下：

t(x,y)＝T(x,y)×f(x,y)

式中，x、y分别表示图像中的像素点的横坐标和纵坐标。

以及，T(x,y)的表达式如下：

式中，σ为函数T(x,y)分布参数,n、r为经验系数，r∈(0,π],n>0。特别地，n可以取2，r可以取π。

求取数字图像数据t(x,y)中的目标工件图像外廓边缘点的集合G(x,y)如下：

上述基于滤波算法执行边缘检测的过程中，首先对工件表面实时图像进行卷积处理，可以有针对性性地筛选出具有目标工件边缘图像的数字图像数据，然后对该数字图像数据求二阶导，并求取该二阶导为0的像素点即目标工件图像外廓边缘点，那么，目标工件图像外廓边缘点的集合即为边缘检测的结果。

进一步可选的，σ可以根据该数字图像数据中的图像区域而确定(即不同的图像区域取值可能是不同的)，这有利于提高在数字图像数据中筛选出具有目标工件边缘图像的有效性。具体而言，σ取值确定过程包括：

构建σ与数字图像数据之间的模型如下：

Q_i＝I_iσ_k+b_k

式中，σ_k表示某特征向量(可选的，该特征向量对应的图像特征可以为灰度值、对比度、亮度当中的其中一个或多个图像特征融合而成的融合特征。)在数字图像数据F的图像区域I_i的函数T(x,y)的分布参数，Q_i表示图像区域I_i经过卷积处理后的图像区域，b_k表示卷积处理过程中的偏置量；

构建评判函数E如下：

式中，P_i表示卷积处理后的先验图像区域，ε为正则化参数，ε∈(0,1)；

求取使得评判函数E收敛时的σ_k的值，其中，σ∈{σ_k}。

上述确定σ的过程中，评判函数E的值可以表示图像区域I_i经过卷积处理后的图像区域Q_i与其所对应的先验图像区域P_i之间的差距(或者接近程度)，以若干个图像区域I_i作为测试集，若干个图像区域P_i作为验证集，将I_i、P_i、ε(可以取0.1)、b_k(可以先取0)代入评价函数E中，经过多次迭代，使得评判函数E收敛，并确定σ_k，那么σ的值可以在σ_k组成的集合当中选取。

可选的，步骤S103中，边缘计算模块对目标工件图像基于卷积神经网络对目标工件图像执行关于工件表面损伤的目标检测操作过程中，可以先对目标工件图像网格化划分，对网格图像执行目标检测操作，确定出目标网格图像，并根据目标图像区域确定出工件表面损伤的位置信息，具体包括：

边缘计算模块对目标工件图像执行网格化处理，将目标工件图像划分为若干个图像尺寸大小相同的网格图像；

边缘计算模块对于网格图像基于经过训练的深度卷积神经网络以工件表面损伤图像作为检测目标执行目标检测的操作；

当目标检测的操作的结果表示网格图像中包括检测目标时，边缘计算模块将网格图像标记为目标网格图像，

边缘计算模块将在目标工件图像中的相邻的目标网格图像所组成图像区域标记为目标图像区域，

边缘计算模块求取目标图像区域的标记图像位置，并以标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果；

当目标检测的操作的结果表示全部的网格图像均未包括检测目标时，边缘计算模块得到第一检测结果。

进一步可选的，边缘计算模块求取目标图像区域的标记图像位置，并以标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果的步骤中，可以基于目标图像区域中的各个目标网格图像的中心像素点的坐标来确定标记图像位置(即工件表面损伤的图像位置)，可以具体包括以下操作：

边缘计算模块确定目标图像区域中的各个目标网格图像的图像中心的像素点；

边缘计算模块根据各个目标网格图像的图像中心的像素点，确定目标图像区域的标记图像位置，如下：

式中，x_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，x_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标；

式中，y_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，y_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标。

最后应说明的是：本发明实施例公开的一种基于大数据的工件表面损伤检测系统中，所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述的实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (8)

1.一种基于大数据的工件表面损伤检测系统，其特征在于，包括数据处理平台、边缘计算模块、摄像头模块、结果输出模块以及控制器，所述摄像头模块和所述结果输出模块分别与所述控制器电连接，所述边缘计算模块的一端与所述控制器电连接，所述边缘计算模块的另一端与所述数据处理平台基于公网通信连接，所述控制器执行的控制步骤包括：

所述控制器获取所述摄像头模块拍摄到的工件表面实时图像；

所述控制器从所述工件表面实时图像中提取出目标工件图像；

所述控制器将所述目标工件图像传输至所述边缘计算模块，并触发所述边缘计算模块对所述目标工件图像基于卷积神经网络对所述目标工件图像执行关于工件表面损伤的目标检测操作；

所述控制器将所述边缘计算模块的所述目标检测操作的检测结果通过所述结果输出模块输出，其中，所述检测结果包括表示未检测出工件表面损伤的第一检测结果或者表示工件表面损伤的位置信息的第二检测结果。

2.根据权利要求1所述的基于大数据的工件表面损伤检测系统，其特征在于，当所述边缘计算模块完成所述目标检测操作并得到检测结果为第二检测结果时，在所述控制器将所述边缘计算模块的所述目标检测操作的检测结果通过所述结果输出模块输出之前，所述边缘计算模块对所述数据处理平台发送核验请求，触发所述数据处理平台执行对所述边缘计算模块执行的所述目标检测操作的核验操作；

当所述核验操作的结果表示所述第二检测结果异常时，所述数据处理平台对所述边缘计算模块发送检测结果重置指令，使得所述边缘计算模块将当前的检测结果重置为第一检测结果。

3.根据权利要求2所述的基于大数据的工件表面损伤检测系统，其特征在于，所述控制器从所述工件表面实时图像中提取出目标工件图像，具体包括：

所述控制器对所述工件表面实时图像基于滤波算法执行边缘检测的操作，确定出所述工件表面实时图像中的目标工件外廓边缘；

所述控制器以所述目标工件外廓边缘的外接矩形框作为边界，使得所述目标工件图像从所述工件表面实时图像中分离出来。

4.根据权利要求3所述的基于大数据的工件表面损伤检测系统，其特征在于，基于所述滤波算法执行边缘检测的过程包括：

对工件表面实时图像数据f(x，y)进行卷积处理，得到数字图像数据t(x，y)如下：

t(x，y)＝T(x，y)×f(x，y)

式中，x、y分别表示图像中的像素点的横坐标和纵坐标；

以及，T(x，y)的表达式如下：

式中，σ为函数T(x，y)分布参数，n、r为经验系数，r∈(0，π]，n＞0；

求取数字图像数据t(x，y)中的目标工件图像外廓边缘点的集合G(x，y)如下：

5.根据权利要求4所述的基于大数据的工件表面损伤检测系统，其特征在于，σ取值确定过程包括：

构建σ与所述数字图像数据之间的模型如下：

Q_i＝I_iσ_k+b_k

式中，σ_k表示某特征向量在数字图像数据F的图像区域I_i的函数T(x，y)的分布参数，Q_i表示图像区域I_i经过卷积处理后的图像区域，b_k表示卷积处理过程中的偏置量；

构建评判函数E如下：

式中，P_i表示卷积处理后的先验图像区域，ε为正则化参数，ε∈(0，1)；

求取使得评判函数E收敛时的σ_k的值，其中，σ∈{σ_k}。

6.根据权利要求5所述的基于大数据的工件表面损伤检测系统，其特征在于，所述特征向量对应的图像特征为灰度值、对比度、亮度当中的其中一个或多个图像特征融合而成的融合特征。

7.根据权利要求1所述的基于大数据的工件表面损伤检测系统，其特征在于，所述边缘计算模块对所述目标工件图像基于卷积神经网络对所述目标工件图像执行关于工件表面损伤的目标检测操作，具体包括：

所述边缘计算模块对所述目标工件图像执行网格化处理，将所述目标工件图像划分为若干个图像尺寸大小相同的网格图像；

所述边缘计算模块对于所述网格图像基于经过训练的深度卷积神经网络以工件表面损伤图像作为检测目标执行目标检测的操作；

当所述目标检测的操作的结果表示所述网格图像中包括检测目标时，所述边缘计算模块将所述网格图像标记为目标网格图像，

所述边缘计算模块将在所述目标工件图像中的相邻的目标网格图像所组成图像区域标记为目标图像区域，

所述边缘计算模块求取所述目标图像区域的标记图像位置，并以所述标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果；

当所述目标检测的操作的结果表示全部的网格图像均未包括检测目标时，所述边缘计算模块得到第一检测结果。

8.根据权利要求7所述的基于大数据的工件表面损伤检测系统，其特征在于，所述边缘计算模块求取所述目标图像区域的标记图像位置，并以所述标记图像位置表示检测出的工件表面损伤的位置信息，得到第二检测结果，包括：

所述边缘计算模块确定所述目标图像区域中的各个目标网格图像的图像中心的像素点；

所述边缘计算模块根据各个目标网格图像的图像中心的像素点，确定所述目标图像区域的标记图像位置，如下：

/>

式中，x_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，x_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标；

式中，y_o表示目标图像区域的标记图像位置的横坐标，m表示目标图像区域中的目标网格图像的数量，i表示目标图像区域中的某个目标网格图像的排序，y_i表示目标图像区域中的第i个目标网格图像的中心位置的像素点的横坐标。

Images