CN117764947A - 基于端边协同的热轧带钢表面缺陷检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于端边协同的热轧带钢表面缺陷检测系统及方法，属于表面检测技术领域。本发明的表面缺陷训练框架通过云端节点对已有的训练集进行训练，训练得出的图像识别模型自动分发到表面检测框架的各节点上；云端节点不断检测训练集是否有更新，如果有，云端节点根据训练参数重新进行训练，并将得出的新模型再次下发替换之前的模型；所述的表面信息采集框架通过嵌入式设备获取热轧带钢的图像信息，通过模块选择算法选择是在本地预测热轧带钢图片，还是上传到边缘服务器上预测。本发明设计了一种适合热轧带钢表面检测环境下的云+边缘服务器+嵌入式设备的三层资源架构，充分考虑数据的时延问题，加快任务响应速度。

Description

基于端边协同的热轧带钢表面缺陷检测系统及方法

技术领域

本发明涉及热轧带钢表面检测技术领域，尤其涉及一种基于端边协同的热轧带钢表面缺陷检测系统及方法。

背景技术

热轧带钢作为主要的钢铁产品之一，具有高强度、耐蚀、低温韧性等性能。但在热轧带钢的实际生产环境中，由于原材料质量，设备性能和加工技术等多因素影响，热轧带钢制造过程中可能出现各类表面缺陷，包括但不限于斑点、裂纹、划痕、点状缺陷、水滴状缺陷等。这些缺陷都会对产品的外观品质、耐腐蚀特性乃至疲劳强度构成潜在威胁。早期的缺陷识别算法对小目标缺陷的检测能力比较差，比如检测不出裂纹，凹坑等一些细节上的缺陷。因此，如何高效检测出热轧带钢的表面缺陷显得尤为重要。

传统的热轧带钢一般是通过生产环境中的摄像头对热轧带钢表面图片进行采集，然后将图片传输到云服务器上，云服务器通过强大的图像处理能力分析出图片对应的缺陷信息。由于热轧带钢采集需要多个摄像头配合，所以采集时会产生大量实时数据。这些数据不断传输到云服务器上，等待数据处理结果。在数据处理等待和传输过程中,需要增加一定的等待延迟，这与热轧带钢表面检测快速响应的业务需求，形成了矛盾。

经检索，专利申请号202210087345.X，申请日为2022年1月25日，发明创造名称为：基于云边端协同的工件表面粗糙度在线检测方法及系统，该申请案利用智能粗糙度检测装置采集工件表面图像，并分别上传至云平台和智能终端；云平台构建粗糙度等级识别模型，并根据智能粗糙度检测装置采集的数据对模型进行训练，获得最优的粗糙度等级识别模型；智能终端利用云平台获取的最优粗糙度等级识别模型进行粗糙度等级识别，并将识别结果发送至智能粗糙度检测装置。该申请案采用云边端协同架构，形成了由“智能粗糙度检测装置数据实时采集”、“云平台计算与模型更新”、“智能终端推理”的分布式粗糙度检测方法，但该申请案并未考虑任务时延问题，任务的传输成本较高，任务响应速度相对较低。

发明内容

1.发明要解决的技术问题

面对热轧带钢表面检测高效的响应业务需求，本发明提供了一种基于端边协同的热轧带钢表面缺陷检测系统及方法，本发明设计了一种适合热轧带钢表面检测环境下的云+边缘服务器+嵌入式设备的三层资源架构，充分考虑数据的时延问题。在满足热轧带钢缺陷检测准确率的前提下减低检测时延，减少任务的传输成本，加快任务响应速度。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的基于端边协同的热轧带钢表面缺陷检测系统，包括表面信息采集框架、表面缺陷训练框架和表面检测框架；

所述的表面缺陷训练框架通过云端节点对已有的训练集进行训练，训练得出的图像识别模型自动分发到表面检测框架的各节点上；云端节点不断检测训练集是否有更新，如果有，云端节点根据训练参数重新进行训练，并将得出的新模型再次下发替换之前的模型；

所述的表面信息采集框架通过嵌入式设备的输入设备来获取热轧带钢的图像信息，嵌入式设备获取热轧带钢图像信息后通过模块选择算法选择是在本地预测热轧带钢图片，还是上传到边缘服务器上预测，再接收边缘服务器预测结果；最后嵌入式设备将热轧带钢图片和热轧带钢预测结果发送至电脑端。

本发明的基于端边协同的热轧带钢表面缺陷检测方法，包括如下步骤：

步骤1、PC端将热轧带钢表面缺陷训练集上传到云端；

步骤2、云端节点对已有的训练集进行预处理，并根据设定参数进行训练，得到最后的训练模型；

步骤3、云端节点将训练出的模型分发到表面检测框架的各节点上，嵌入式设备或边缘服务器利用已经训练好的模型进行热轧带钢表面缺陷检测；

步骤4、云端节点不断检测是否有上传新的训练集和训练请求，如果有，再次根据参数重新训练并生成新模型，然后下发并替换之前的模型；

步骤5、嵌入式设备的输入设备获取热轧带钢的图像信息并对图像进行预处理；

步骤6、嵌入式设备通过资源感知模块得到各节点的性能参数；

步骤7、嵌入式设备通过模块选择算法，利用感知的性能参数，判断图片在本地预测还是上传到边缘服务器预测；

步骤8、如果嵌入式设备选择在本地进行预测，则直接调用模型进行预测；如果选择在边缘端节点预测，则先将图片数据通过http协议传输到边缘端节点，待图片预测完成后，再将结果返回到嵌入式设备；

步骤9、嵌入式设备将在本地和在边缘端的图片预测信息整合并发送到PC端，并在PC端的系统可视化界面上显示。

更进一步地，步骤6中，嵌入式设备通过Flask机制触发K8S集群中的资源文件获取程序，得到K8S集群的配置文件并通过Python的psutil模块和kubernetes模块结合K8S中的metrics监控组件，得到集群中所有节点的性能参数。

更进一步地，所述性能参数包括所有节点的CPU个数、CPU利用率、cpu计算能力、内存大小以及内存利用率。

更进一步地，步骤7中，嵌入式设备通过模块选择算法，利用感知的性能参数，通过公式运算，得到嵌入式设备以及边缘服务器K8S各节点的打分情况，根据分数高低，最终确定是在嵌入式设备进行预测，还是上传到边缘服务器进行预测。

更进一步地，嵌入式设备拍摄新图片并进行预处理后，资源感知模块获取嵌入式设备cpu利用率cpu_per，设置阈值y，当cpu_per小于y时，图片直接在嵌入式设备进行预测，否则将根据嵌入式设备和边缘服务器的具体情况来判断。

更进一步地，根据下式分别对嵌入式设备和边缘端节点进行打分：

[cpu_num*(1-cpu_per)*cpu_cap]*80％+[mem_num*(1-mem_per)]*20％

式中，cpu_num表示cpu个数，cpu_cap表示cpu计算能力，mem_num表示内存大小，mem_per表示内存利用率，cpu_per表示cpu利用率。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明首先建立了云+边缘服务器+嵌入式设备的三层资源架构，在此架构中通过云端节点训练模型并分发到热轧带钢表面检测框架的各节点上，以便于嵌入式设备或边缘服务器利用已经训练好的模型进行热轧带钢表面缺陷检测。通过资源感知模块得到各节点的性能参数以及模块选择算法对嵌入式设备的任务做出卸载决策，来判断任务是需要卸载到边缘端还是直接在本地执行，进而来降低任务时延，该方法可以有效的保证工业应用的服务质量(Quality of Service,QoS)。

(2)本发明构建的云+边缘服务器+嵌入式设备的三层资源架构，对热轧带钢表面缺陷的识别由嵌入式设备加边缘服务器协同完成，通过模块选择算法计算最优卸载策略，将任务卸载到工业设备一端的边缘服务器或直接在本地执行，对大量的数据尤其是一些时延敏感的任务，将在上面得到快速的处理。通过这种方式，网络的负载也会显著降低，进一步降低数据处理的延迟。

(3)本发明的嵌入式设备通过资源感知模块和模块选择算法，能更有效的确定任务的卸载位置，云端节点会不断检测训练集是否有更新，如果有，云边端协同框架中的云端节点会根据系统可视化管理员界面指定的训练参数重新进行训练，并将得出的新模型再次下发替换之前的模型，通过自动更新模型解决云端节点在线学习问题。

附图说明

图1是本发明的基于端边协同的热轧带钢表面缺陷检测方法的流程图；

图2是本发明的基于端边协同的热轧带钢表面缺陷检测系统的框架图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图2，本实施例的基于端边协同的热轧带钢表面缺陷检测系统，包括热轧带钢表面信息采集框架、热轧带钢表面缺陷训练框架和热轧带钢表面检测框架。

所述热轧带钢表面缺陷训练框架包括云端服务器。热轧带钢表面缺陷训练框架让云端节点对已有的训练集进行训练，训练得出的图像识别模型自动分发到热轧带钢表面检测框架的各节点上。云端节点不断检测训练集是否有更新，如果有，热轧带钢表面缺陷训练框架中的云端节点根据训练参数重新进行训练，并将得出的新模型再次下发替换之前的模型。所述热轧带钢表面信息采集框架包括：摄像头、串口数据线、无线网通信模块。热轧带钢表面信息采集框架通过嵌入式设备的摄像头等输入设备来获取热轧带钢的图像信息。嵌入式设备获取热轧带钢图像信息后通过模块选择算法选择是在本地预测热轧带钢图片还是上传到边缘服务器上预测再接收边缘服务器预测结果，最后嵌入式设备将热轧带钢图片和热轧带钢预测结果发送至电脑端。所述边端协同部分包括：树莓派、Jetson nano、边缘端节点服务器。

随着嵌入式设备算力的提升，一些服务器上的应用也可以在嵌入式设备上实现。嵌入式设备可以在获取钢板图片的同时对图片进行处理和分析，无需将数据传送到云服务器,等待数据处理结果。当嵌入式设备处理能力不足时，可以将数据传送至靠近嵌入式设备的边缘服务器，让边缘服务器对图片进行处理和分析。嵌入式设备加边缘服务器的端边协同可以显著缩短数据传输的链路，减少数据传输所需要的时间，从而缩短整体系统的时延。

本发明能够极大缓解当前嵌入式设备算力不足、云计算延迟高以及图像识别模型不能主动更新等问题。结合图1，本发明的热轧带钢表面缺陷检测方法，具体步骤如下：

步骤1、PC端将热轧带钢表面缺陷训练集打包成NPZ文件上传到云端。具体而言：

将已有训练图片至少分成2个类别，每个类别都有多张该类别的图片。通过手工的方式将所得图片部分数据集进行分类，将分类后的数据集按一定比例分为训练集与测试集。通过打包文件将训练所需要的图片打包成NPZ文件；然后通过Flask机制，将训练所需要的NPZ文件通过HTTP的方式上传到云端节点。

步骤2、云端节点对已有的训练集进行预处理，并根据设定训练轮数、学习率等参数进行训练，得到最后的训练模型。具体而言：

首先设定好训练图片种类、训练轮数、每轮训练图片数量、图像训练中正确率等相关参数并命令云端节点开始进行训练；

在云端节点进行训练时，每轮训练都会生成一个训练模型，并且在训练模型生成后，会通过其他照片对该训练模型进行测试以计算出该轮训练模型的正确率，训练完成后云端节点会选择准确率最高的模型作为此次训练产生的模型，保存在指定文件夹内并可以用于对未训练的图片进行预测，判断其类别。

步骤3、云端节点将训练出的模型分发到热轧带钢表面检测框架的各节点上，即把当前新模型文件下发到热轧带钢表面检测框架各节点的指定文件里，以便于嵌入式设备或边缘服务器利用已经训练好的模型进行热轧带钢表面缺陷检测，若之前有模型将替换旧模型。

步骤4、云端节点不断检测是否有上传新的训练集和训练请求，如果有，云端节点再次根据参数重新训练并生成新模型，然后下发并替换之前的模型。

步骤5、云端节点训练结束后，嵌入式设备(如树莓派或Jetson nano)的摄像头等设备获取热轧带钢的图像信息，每拍摄一张图片嵌入式设备就会调用图片预处理程序，将图片规定为64*64*1大小并进入预测准备阶段。

步骤6、在步骤5的基础上，嵌入式设备通过资源感知模块得到各节点的性能参数，包括CPU利用率、内存利用率等。具体而言：

当嵌入式设备开始进行预测功能且得到预处理后的图片信息后，嵌入式设备通过Flask机制触发K8S集群中的资源文件获取程序，得到K8S集群的配置文件并通过Python的psutil模块和kubernetes模块结合K8S中的metrics监控组件可以得到集群中所有节点的CPU个数、CPU计算能力以及CPU利用率，内存大小以及内存利用率等参数。

步骤7、嵌入式设备通过模块选择算法，利用感知的参数，最终判断图片在本地预测还是上传到边缘服务器预测。具体而言：

嵌入式设备通过模块选择算法，结合所获取到的CPU参数以及内存参数，通过公式运算，最终得到嵌入式设备以及边缘端这些k8s节点的打分情况，根据分数高低，最终确定是在嵌入式设备进行预测，还是上传到边缘端进行预测。

所述模块选择算法：

在工业场景下，嵌入式设备摄像头每隔一段时间会从热轧带钢流水线上拍摄一张图片，虽然要尽可能将所有的图片都在本地进行预处理和预测，得到图片预测结果。但嵌入式设备运算能力不足以满足所有图片都在本地预测。当本地处于繁忙时，图片会被上传到边缘服务器预测，由边缘端返回预测结果。此处，本发明为嵌入式设备设置一个阈值，通过资源感知模块得到的参数进行计算后得到的结果如果小于这个阈值，那么就直接在本地进行预测；否则会通过预先设定好的算法来进行结点打分，将最终结果排序，然后把图片上传到分数最高的结点进行预测。

当嵌入式设备拍摄新图片并进行预处理后，资源感知模块获取嵌入式设备cpu利用率为cpu_per，本发明为cpu_per设置一个阈值y为50％，当cpu_per小于y时，图片直接在嵌入式设备进行预测。否则将根据嵌入式设备和边缘端的具体情况来判断。

本发明设置cpu个数为cpu_num，cpu的计算能力为cpu_cap，内存的大小为mem_num,内存的利用率为mem_per，根据公式分别对嵌入式设备和边缘端节点进行打分，公式为：[cpu_num*(1-cpu_per)*cpu_cap]*80％+[mem_num*(1-mem_per)]*20％。

嵌入式设备保存所有节点的分数，并对分数进行排序，嵌入式设备将选择排序后分数最高的节点上传图片信息，进行预测。

步骤8、如果嵌入式设备选择在本地进行预测，则嵌入式设备直接调用云端节点下发的模型对预处理过的图片信息进行预测；嵌入式设备对卷积神经网络模型进行训练并输出训练好的模型；

如果选择在边缘端节点预测，嵌入式设备通过HTTP访问的方式将处理过的图片信息发送给边缘服务器，边缘服务器接收到图片数据后，通过云端节点下发的模型和嵌入式设备发送的图片信息进行预测。边缘服务器将数据输入卷积神经网络模型中，神经网络的输出结果为此次预测的结果并将结果通过HTTP访问的方式将结果返回给嵌入式设备。

图片训练与预测使用的是基于pytorch框架的YOLOV5目标检测算法。

步骤9、嵌入式设备在得到嵌入式设备预测程序所预测的图片的结果后，将预测图片ID、预测图片名称、预测图片类别、预测路径、预测时间、预测图片大小作为最后结果通过HTTP链接返回到PC端。

嵌入式设备在得到边缘端预测程序所预测的图片的结果后，将预测图片ID、预测图片名称、预测图片类别、预测路径、预测时间、预测图片大小作为最后结果通过HTTP链接返回到PC端。

实施例2

结合图1，本实施例的基于端边协同的热轧带钢表面缺陷检测方法，包括以下步骤：

PC端通过文件打包程序将训练所需要的图片打包成NPZ文件。训练图片为：包含至少31个类别，每个类别都有多张该类别的图片。通过手工标签的方式将所得图片部分数据集进行标签化处理，将标签后的数据集按一定比例分为训练集train与测试集test。

PC端将NPZ文件上传到云端，云端根据训练图片种类、训练轮数、每轮训练图片数量、图像训练中正确率等相关参数对图像进行训练，获得图片训练后得到的模型并存放在云端节点设备指定位置上，云端设备训练完成后会自动把训练生成的模型分发到其他设备上。

嵌入式设备使用opencv库调用摄像头模块对嵌入式设备所需要采集的热轧带钢进行图片信息的采集。摄像头放在能清晰地采集到冷轧钢板的图像的位置上，嵌入式设备定时从摄像头截取一张热轧带钢图片。

嵌入式设备采集完图片后，将图片进行二进制转化处理并通过资源感知模块获取K8S集群各节点的参数并将参数输入到模块选择算法内获得图片预测的位置。如果模块选择算法选择本地进行图片的预测，则将处理过的图片数据输入卷积神经网络模型中，神经网络的输出结果为此次预测的结果。如果选择在边缘服务器进行图片的预测，则将处理过的图片数据再次进行json化处理，然后通过HTTP访问的方式将数据上传到边缘端服务器，边缘端服务器将HTTP传输的图片数据过输入卷积神经网络模型中，神经网络的输出结果为此次预测的结果并返回预测结果。嵌入式设备得到边缘端节点服务器返回的结果并将预测结果保存。

嵌入式设备在得到预测的图片的结果后，将预测图片ID、预测图片名称、预测图片类别、预测路径、预测时间、预测图片大小作为最后结果通过HTTP链接返回到PC端显示。

本发明提高了对热轧带钢识别预测的响应速度和可靠性。同时也能够保证当某个设备预测模块出现异常时，其他设备可以协助进行预测，防止了因为一个设备出现错误导致所有图片无法预测的问题。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (10)

1.基于端边协同的热轧带钢表面缺陷检测系统，其特征在于：包括表面信息采集框架、表面缺陷训练框架和表面检测框架；

所述的表面缺陷训练框架通过云端节点对已有的训练集进行训练，训练得出的图像识别模型自动分发到表面检测框架的各节点上；云端节点不断检测训练集是否有更新，如果有，云端节点根据训练参数重新进行训练，并将得出的新模型再次下发替换之前的模型；

所述的表面信息采集框架通过嵌入式设备的输入设备来获取热轧带钢的图像信息，嵌入式设备获取热轧带钢图像信息后通过模块选择算法选择是在本地预测热轧带钢图片，还是上传到边缘服务器上预测，再接收边缘服务器预测结果；最后嵌入式设备将热轧带钢图片和热轧带钢预测结果发送至电脑端。

2.一种利用权利要求1所述系统进行热轧带钢表面缺陷检测的方法，其特征在于，包括如下步骤：

步骤1、PC端将热轧带钢表面缺陷训练集上传到云端；

步骤2、云端节点对已有的训练集进行预处理，并根据设定参数进行训练，得到最后的训练模型；

步骤3、云端节点将训练出的模型分发到表面检测框架的各节点上，嵌入式设备或边缘服务器利用已经训练好的模型进行热轧带钢表面缺陷检测；

步骤4、云端节点不断检测是否有上传新的训练集和训练请求，如果有，再次根据参数重新训练并生成新模型，然后下发并替换之前的模型；

步骤5、嵌入式设备的输入设备获取热轧带钢的图像信息并对图像进行预处理；

步骤6、嵌入式设备通过资源感知模块得到各节点的性能参数；

步骤7、嵌入式设备通过模块选择算法，利用感知的性能参数，判断图片在本地预测还是上传到边缘服务器预测；

步骤8、如果嵌入式设备选择在本地进行预测，则直接调用模型进行预测；如果选择在边缘端节点预测，则先将图片数据通过http协议传输到边缘端节点，待图片预测完成后，再将结果返回到嵌入式设备；

步骤9、嵌入式设备将在本地和在边缘端的图片预测信息整合并发送到PC端，并在PC端的系统可视化界面上显示。

3.根据权利要求2所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤2需要设定的参数包括训练图片种类、训练轮数、每轮训练图片数量、图像训练准确率。

4.根据权利要求3所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤6中，嵌入式设备通过Flask机制触发K8S集群中的资源文件获取程序，得到K8S集群的配置文件并通过Python的psutil模块和kubernetes模块结合K8S中的metrics监控组件，得到集群中所有节点的性能参数。

5.根据权利要求4所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤6中，所述性能参数包括所有节点的CPU个数、CPU利用率、cpu计算能力、内存大小以及内存利用率。

6.根据权利要求5所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤7中，嵌入式设备通过模块选择算法，利用感知的性能参数，通过公式运算，得到嵌入式设备以及边缘服务器K8S各节点的打分情况，根据分数高低，最终确定是在嵌入式设备进行预测，还是上传到边缘服务器进行预测。

7.根据权利要求6所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：嵌入式设备拍摄新图片并进行预处理后，资源感知模块获取嵌入式设备cpu利用率cpu_per，设置阈值y，当cpu_per小于y时，图片直接在嵌入式设备进行预测，否则将根据嵌入式设备和边缘服务器的具体情况来判断。

8.根据权利要求7所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：根据下式分别对嵌入式设备和边缘端节点进行打分：

[cpu_num*(1-cpu_per)*cpu_cap]*80％+[mem_num*(1-mem_per)]*20％

式中，cpu_num表示cpu个数，cpu_cap表示cpu计算能力，mem_num表示内存大小，mem_per表示内存利用率，cpu_per表示cpu利用率。

9.根据权利要求8所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤8中图片训练与预测使用基于pytorch框架的YOLOV5目标检测算法。

10.根据权利要求9所述的基于端边协同的热轧带钢表面缺陷检测方法，其特征在于：步骤9所述图片预测信息包括预测图片ID、预测图片名称、预测图片类别、预测路径、预测时间、预测图片大小。