CN113129284A - 一种基于5g云边协同的外观检测方法及实现系统 - Google Patents

Abstract

本发明涉及一种基于5G云边协同的外观检测方法及实现系统，检测方法包括：1)边缘子节点收集数据并判断数据是否符合生产要求；2)边缘子节点获取待进行检测的产品的型号，并反馈给任务子节点；3)任务子节点利用云中心下发的训练好的目标检测模型获取图像中产品轮廓范围以及产品轮廓范围内的标注目标；4)任务子节点判定进行检测的产品与边缘子节点反馈的一维码对应的产品是否相对应；5)将判断结果与图像上传云中心进行存储，完成产品外观检测。本发明提出了相对泛化的工厂生产线产品外观检测系统，可以在绝大多数产品的外观检测中进行应用，该检测方法的分类准确率高，且具有计算资源利用率高，设备部署简单等优点。

Description

一种基于5G云边协同的外观检测方法及实现系统

技术领域

本发明涉及一种基于5G云边协同的外观检测方法及实现系统，属于目标检测与5G应用技术领域。

背景技术

在现代工业产线的工业产品制造完成之后，正式封装入库之前，为了保证所生产产品外观符合质量标准，产品附件全部添加正确，需要对产品进行检测。在质量检测中，最传统的方式还是人工检测的方法，另外，还有传统算法当中的模板匹配算法以及机器学习等方式。

人工检测方式，顾名思义，主要是通过人工对检测目标识别的方式来确定产品外观的质量。但是随着人工成本的增加，工人不能长时间保持注意力存在一定的误判以及无法保持产线运转的流畅性等的因素，此种方式已逐渐被淘汰。

随着工业自动化技术的普及，为了适用自动化的流程，开始采用机器智能图像检测的方式来完成质量的检测，检测方式主要为模板匹配的方式。模板匹配有分为了两个类型，第一个方式是将整个合格的产品图像作为模板，将其与现场采集到的进行匹配，在匹配度达到一定比例之后就将其判断为正；另一种匹配方式是首先确定需要检测的关键部位并制作关键部位的合格样本的模板，而后将识别主体切割出来，再将各个关键部位的模板与切割后的图像进行模板匹配，检测图像中是否含有关键部位。第一种方式的算法复杂度最低，最好实现，在性能较差的主机上也会有比较快速的识别，但识别准确率较差；第二种方式算法复杂度稍低，同时需要在检测前做大量的图像预处理，实现难度有比较大的提升，同时也在识别率方面有明显的提升。模板匹配算法在主机性能受限时，可以作为一种比较理想的方式，但是在准确率方面相对来说很多情况下没有达到工业生产的要求。

机器学习是另一种常用的检测方式，该方式将空调的外观检测问题转化为图像的分类问题，利用机器学习中的一系列分类方法来对图像进行分类，从而得出检测结果，主流方式有KNN、SVM、BP神经网络、CNN和迁移学习等的方式。KNN全称为K最近邻(K-NearstNeighbor)分类算法,基本思想是如果一个样本在特征空间中的k个最近邻样本的大多数属于某一种类别，则该样本也属于该类别；SVM全称为支持向量机(SupportVectorMachine)，是用于对于数据进行二元分类的广义线性分类器，利用非线性函数，将样本数据从低维空间映射到高维空间中，主要任务是求解最大边距超平面以此用来对数据样本进行分类；BP神经即反向传播神经网络(Back-propagation NeuronNetWork),是最传统的神经网络。BP神经网络的学习过程由正向传播和反向传播构成。样本由输入层传入，经隐藏层后传入输出层，由于实际输出与期望输出之间存在误差，所以需要进行反向传播，将输出以某种方式通过隐藏层反向传播到输入层，并将误差分配给各个隐藏层，从而获得各层的误差信号，以此对权重进行修正。BP神经网络在分类领域有一定的局限性，它需要较长的训练时间同时容易陷入局部最小值。借鉴BP神经网络的思想，卷积神经网络(Convolutional Neural Networks,CNN)开始广泛应用，并成为深度学习的代表算法之一。CNN输入层可以处理多维数据，并使用梯度下降算法进行学习，同时在隐含层中包含了卷积层、池化层和全连接层等结构，根据结构不同又产生了各种不同的神经网络算法，这一系列算法对计算量要求极大，不同算法在不同任务上的性能存在很大差异，在具体问题上需要进行具体设计。

但是，在实际应用中，现有中国专利文献CN112113933A，主要设计了进行烟包外观检测的具体装置，包括：第一相机，朝向外转塔盒模与熨烫烟包顶端透明质的烙铁之间的缝隙；第二相机，朝向内转塔盒模与熨烫烟包底端透明质的烙铁之间的缝隙；第三相机，朝向转塔盒模的烟包入口；编码器，设置在推爪轴上；处理器，用于在通过编码器检测到推爪在推送烟包时，先输出控制信号使第一相机、第二相机透过转塔盒模与烙铁之间的缝隙对烟包的顶端、底端进行连续拍照，使第三相机对烟包的侧端拍照，然后对第一相机、第二相机拍摄的图片进行拼装处理，最后根据拼装后的图片以及第三相机拍摄的图片判断烟包的透明是否合格；但是该专利提供的装置的适用性极窄。又如中国专利文献CN112287716A，公开了目标检测及跟踪方法及装置，主要是设计了目标检测的跟踪方法，并未对其在具体领域的应用提出方案。

发明内容

针对现有技术的不足，本发明提供了一种基于5G云边协同的外观检测方法及实现系统。

本发明基于5G和边云协同设计了完整的产品外观质量检测方法及实现系统，提供了基于目标检测对产线进行实时视频检测的完整方案，边云协同的检测方案和模型更新方案，在满足时间要求以及提升分类准确率的前提下，对产品的外观关键信息进行准确识别，对产品附加零部件进行准确定位，并在视频中实时将识别到的目标标出，将检测结果实时在本地端与云中心进行可视化；该检测方法的分类准确率高，且具有计算资源利用率高，设备部署简单等优点。

术语解释：

1、Yolov3模型，共由75层卷积层(Conv)构成，卷积层主要作用是提取输入图像的特征，每层卷积层之后会有一层BN层(Batch Normalization)用作对卷积层后的矩阵进行标准化，目的是为了加快网络的训练和收敛速度，控制梯度，防止过拟合，BN层后连接激活层(LeakyReLU为具体的激活函数)用于增加结构的非线性，增强神经网络的表达能力。在整体结构中，每隔两层卷积层会进行跳跃连接(残差网络)，极大缓解深层神经网络中的神经网络退化的问题，从而做到更深层次的训练，同时结构中加入FPN结构(特征图金字塔网络)以在多个特征层面上实现了对目标的预测。

2、K-means聚类算法，其主要作用是将相似的样本自动归到一个类别中。算法步骤为给定K值，确定K个初始类的中心点(一般中心点从已有样本中随机选取或按某种特定方式选取)；将其它样本按照最近邻原则分到这K个类别当中；重新求取每个类别的中心点(求取期望)并更新中心点；迭代进行上述步骤直至中心点位置基本不再变化或达到指定迭代次数。

本发明的技术方案为：

一种基于5G云边协同的外观检测方法，该方法包括：

1)边缘子节点收集生产环境数据和工业检测实时数据，并判断生产环境数据和工业检测实时数据是否符合生产要求；

2)边缘子节点获取待进行检测产品的一维码，确认待进行检测的产品的型号，并将产品的型号反馈给任务子节点；

3)任务子节点实时获取产线上待检测产品的实时视频，任务子节点利用云中心节点下发的训练好的目标检测模型对实时视频进行抽帧检测，对于每一帧图像，图像输入目标检测模型，获取图像中产品轮廓范围以及产品轮廓范围内的标注目标；

4)任务子节点判定进行检测的产品与边缘子节点反馈的一维码对应的产品是否相对应，即判断在步骤3)获取的产品轮廓范围之内，是否含有所有应有的标注目标；

若产品轮廓范围内所有标注目标齐全，则产品合格，任务子节点控制产线正常进行生产；

若产品轮廓范围内未含有全部标注目标或含有多余标注目标，则产品不合格，任务子节点控制产线剔除该产品；

经步骤3)已生成标注目标的检测结果，根据边缘子节点反馈的一维码已获得生产的该产品在合格的情况下应含有哪些目标，此时需要判断在步骤3)获取的产品轮廓范围之内，是否含有所有应有的目标。例如：针对产品的包装，需要判定品牌标志，合格标志，生产日期喷码以及附带于外包装上的赠品是否均在外包装轮廓之内。

5)将步骤4)得到的判断结果与步骤3中获取的图像上传云中心节点进行存储，完成产品外观检测。

根据本发明优选的，步骤1)中，所述生产环境数据包括环境温湿度、环境烟雾浓度、音频信号和人体红外信号，环境中的人体红外信号用于确定环境中是否有人为干扰；

所述工业检测实时数据包括视频信号、产线的速度信号和产线的加速度信号。

根据本发明优选的，步骤1)中，当生产环境数据和工业检测实时数据符合生产要求时，则进行步骤2)；

当生产环境数据和工业检测实时数据不符合生产要求时，若不合格因素为产线的速度信号或产线的加速度信号超过设定的范围，则边缘子节点将自动进行处理，并继续监测生产环境和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求；

若不合格因素为机械故障或生产环境空气中出现有毒物质等无法自动处理的情况，则需边缘子节点自动报警，由专业人员进行处理后，再继续生产并收集生产环境数据和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求。

根据本发明优选的，在云中心节点，目标检测模型的训练过程，具体为：

a、收集历史数据，构建训练数据集；具体过程为：

先按机器型号对已收集到的产品在产线上的图像进行分类；

然后采用矩形框对分类好的图像进行标注，即标注每一产品型号需要检测的部位；

再将不同检测部位的信息做成统一化命名的标签，使得标签包含该部位在图像的位置；

最后，运用K-means聚类算法对矩形框进行分类，分析标注用的矩形框的尺寸，得到训练数据集；

b、在云中心节点，先使用训练数据集对目标检测模型训练，再检测目标检测模型是否符合准确度与时延要求：

若不符合要求，则调整目标检测模型的结构、目标检测模型的参数和输入目标检测模型的数据大小，再继续训练调整后的目标检测模型，直至满足要求准确度与时延为止；

若符合要求，则将训练好的目标检测模型下发到任务子节点中。

根据本发明优选的，步骤a中，运用K-means聚类算法对矩形框进行分类的具体过程为：

用矩形框的长和宽来表示矩形框的大小，将长和宽分别作为平面直角坐标系中的坐标，比如，可以将其写作(20,40)或(25,35)等一对坐标的形式，根据该思想，则将标注产生的矩形框转换为坐标系中一对坐标的形式；针对标注产生的矩形框的坐标：

1)给定K值，K为正整数，确定K个初始类的中心点，中心点从已有坐标样本中随机选取或按某种特定方式选取；

2)分别计算每个坐标样本到K个中心点的欧式平方距离，将坐标样本划分入欧式平方距离最小的类别当中；

3)通过求取每个类别中样本点的期望值，更新每个类别的中心点；

4)迭代进行上述步骤2)和步骤3)，直至中心点位置基本不再变化或达到指定迭代次数,从而得到训练数据集。

采用K-means聚类算法的主要目的是对标注产生的矩形框进行聚类分析，确定矩形框的普遍大小范围并将其作为训练初始时预选框的大小，从而使得对目标边界的预测更加准确，损失函数收敛更快，提高模型准确度，降低训练时间。

根据本发明优选的，所述外观检测方法还包括：6)在云中心节点，对上传的步骤4)得到的判断结果与步骤3中获取的图像进行整理和存储，实现对训练数据集的更新；然后利用更新的训练数据集对目标检测模型进行更新；具体为：

6-1：每一个被检测的产品在云中心节点存储一幅图像，即在检测到产品的一维码以及完整的边框时，截取一帧图像，将该帧图像作为该产品型号检测图像上传到云中心节点进行存储；每个产品都上传一幅图像的一个重要目的是对每一台生产的产品都要对其外观进行备份，以便日后的溯源工作，6-2便是对图像进行复检，而后判断是否要将其归入训练数据集；

6-2、使用训练好的目标检测模型对上传的图像进行重新检测，获取矩形框中的各个标注目标的置信度；

当所有标注目标的置信度大于90％时，将检测到的目标转换为标准标签，并将含有某一型号全部特征的图像转为训练数据集的一部分，对训练数据集进行更新；

当所有标注目标的置信度小于等于90％时，对图像不做任何处理；

6-3、当训练数据集中积攒5-10个不同型号产品的图像，且每个型号累计200幅以上图像时，在云中心节点启动目标检测模型的训练；在每个训练周期后测试目标检测模型性能，性能测试包括测试该模型在数据测试集上在检测的目标置信度大于0.25或大于0.5的情况下，同种类不同型号的产品检测的查准率与查全率，确定矩形框检测结果与标注结果的交并集之比具体限制下的总体mAP和不同种类标注标签的AP值，其中主要参考mAP值进行更新，若测试结果显示某次模型的性能明显优于现有模型，则实行对目标检测模型下发的功能，更新云中心节点和边缘端的目标检测模型。

对目标检测模型的更新，能提高模型检测的准确性；能够实现对同类新产品的检测。在系统建设之初采取一般的标注与训练方式得到模型用于产品的外观检测。但是由于数据量的问题，模型的准确率没有达到最优，因此在产线外观检测过程中，在云中心节点收到检测结果图像后，重新检测图像，并将有极高置信度的目标自动生成目标标签，而后将图像归类到样本数据集中对模型进行继续训练，以此种半监督的方式不断更新模型，提高模型的准确性。产线产品并不是一成不变的，随时会有新的需求，新的型号的产品需要生产，而这种型号的产品若是之前并未生产过，则模型亦需要更新来增加对新型号产品的检测能力，此种更新便是以半监督的形式在云中心节点实现。

一种基于5G云边协同的外观检测系统，用于实现上述外观检测方法，该外观检测系统包括云中心节点、若干个边缘子节点和若干个任务子节点，

边缘子节点形成若干个集群，每个集群中的边缘子节点之间相互连接，且同一集群中的边缘子节点与同一个任务子节点相连接，任务子节点分别与云中心节点相连接；

边缘子节点用于实时采集生产环境数据以及工业检测实时数据，然后判断采集的数据是否符合生产要求；同时采集产品的一维码，获取待进行检测的产品的型号，并将产品的型号反馈给任务子节点；

任务子节点用于对与其相连的边缘子节点进行任务调度，实时监控边缘子节点的运行状态，若任务子节点监控到边缘子节点负载过高，则将任务进行分流或直接转由任务子节点进行任务的执行；同时，采集产线上待检测产品的实时视频，然后利用云中心节点下发的训练好的目标检测模型对实时视频进行抽帧检测；最后将外观检测结果与采集的数据上传云中心节点；

云中心节点用于对任务子节点传输到云中心节点的产品的图像和外观检测结果进行存储备份，对目标检测模型进行训练，以及对目标检测模型进行更新。

根据本发明优选的，每条产线上设置若干个边缘子节点，边缘子节点为树莓派，树莓派通过驱动摄像头、速度传感器、红外传感器、温度传感器和湿度传感器采集环境数据以及工业检测实时数据。

根据本发明优选的，每条产线上设置一或两个任务子节点，任务子节点为带有NVIDIARTX20及RTX30系列显卡的计算机。

根据本发明优选的，云中心节点为高性能服务器，所述高性能服务器为NVIDIADGX系列或组装后带有NVIDIA深度学习计算卡的服务器。可进行深度学习的高性能服务器。

根据本发明优选的，边缘子节点上安装有5G芯片模组，通过5G芯片模组将采集到的数据传输到任务子节点。从而保证时延与带宽要求。

根据本发明优选的，任务子节点上安装有5G芯片模组，通过5G芯片模组将外观检测结果与采集的图像传输到云中心节点。从而保证时延与带宽要求。

本发明的有益效果为：

1.本发明提供的基于5G云边协同的外观检测方法及实现系统在实际项目应用中，取得了非常突出的效果；本发明提出了相对泛化的工厂生产线产品外观检测系统，可以在绝大多数产品的外观检测中进行应用。

2.本发明以5G和云边协同的方式实现目标检测，大大降低了检测延时，使得复杂模型在工厂中的应用成为可能；提出了云中心存储与训练-边缘端检测-云中心动态更新-模型下发的边云协同更新机制，大大提高了模型的准确性；对于简单类型的检测，可取得了99％以上的准确率；对于较为复杂的检测，在用本发明技术方案后准确率亦维持在85％以上。

附图说明

图1是本发明提供的一种基于5G云边协同的外观检测系统示意图；

图2a是Yolov3模型的结构示意图；

图2b是Yolov3模型中DBL的结构示意图；

图2c是Yolov3模型中n层残差网络Resn的结构示意图；

图3是本发明提供的一种基于5G云边协同的外观检测方法的流程图；

图4是针对一种型号的机器，外观检测的输出结果示意图；

图5是针对另一种型号的机器，外观检测的输出结果示意图；

图6是采用K-means聚类算法对某一机器型号的矩形框进行聚类的结构示意图；

图7是标注图像时的界面示意图。

1、云中心节点，2、任务子节点，3、边缘子节点。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于5G云边协同的外观检测方法，如图3所示，该方法包括：

1)边缘子节点3收集生产环境数据和工业检测实时数据，并判断生产环境数据和工业检测实时数据是否符合生产要求；

步骤1)中，所述生产环境数据包括环境温湿度、环境烟雾浓度、音频信号和人体红外信号，环境中的人体红外信号用于确定环境中是否有人为干扰；

所述工业检测实时数据包括视频信号、产线的速度信号和产线的加速度信号。

步骤1)中，当生产环境数据和工业检测实时数据符合生产要求时，则进行步骤2)；

当生产环境数据和工业检测实时数据不符合生产要求时，若不合格因素为产线的速度信号或产线的加速度信号超过设定的范围，则边缘子节点3将自动进行处理，并继续监测生产环境和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求；

若不合格因素为机械故障或生产环境空气中出现有毒物质等无法自动处理的情况，则需边缘子节点3自动报警，由专业人员进行处理后，再继续生产并收集生产环境数据和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求。

2)边缘子节点3获取待进行检测产品的一维码，确认待进行检测的产品的型号，并将产品的型号反馈给任务子节点2；

3)任务子节点2连接工业相机模组，在固定位置实时获取产线上待检测产品的实时视频，任务子节点2利用云中心节点1下发的训练好的目标检测模型对实时视频进行抽帧检测，对于每一帧图像，图像输入目标检测模型，获取图像中产品轮廓范围以及产品轮廓范围内的标注目标；

目标检测模型输入为图像，输出为三维矩阵，该矩阵经过转化后可以形成在原图上的检测结果，图4和图5即为对空调外机检测后的输出。为了保护企业隐私，图像中的标注目标进行了打马赛克的处理，图4和图5作为检测后输出的结果图像样例，准确的标记出了该机器外观需要检测的关键部位，包括保护网是否安装正确，多个品牌标志是否张贴正确。

其中，在云中心节点1，目标检测模型的训练过程，具体为：

a、收集历史数据，构建训练数据集；具体过程为：

先按机器型号对已收集到的产品在产线上的图像进行分类；

然后采用矩形框对分类好的图像进行标注，即标注每一产品型号需要检测的部位；

具体标注示例如图7所示，可用专门的标注软件对图像进行标注。在确定好需要检测的部位以及命名规范后，以图7为例，确定要检测的关键部位为5个，且将5个关键部位标签分别命名为“net2”，“logo_an”,“logo_blue2”,“logo_DC”和“logo_small”后，在软件中将不同部位在图像中的位置用矩形框框出，图7即为标注过程中的图形。在所有目标用矩形框选定之后对标注进行保存，标注不会在原图像上留下任何标记，而是生成与图像同名的.xml文件，.xml文件中会包含图像的通道数，图像像素大小，图像保存位置，各种不同的标注标签以及标注标签在图像上的所在位置(所在位置用两组像素坐标表示，分别代表矩形框的起始位置以及终止位置)。

再将不同检测部位的信息做成统一化命名的标签，使得标签包含该部位在图像的位置；

最后，运用K-means聚类算法对矩形框进行分类，分析标注用的矩形框的尺寸，得到训练数据集；

步骤a中，运用K-means聚类算法对矩形框进行分类的具体过程为：

用矩形框的长和宽来表示矩形框的大小，将长和宽分别作为平面直角坐标系中的坐标，比如，可以将其写作(20,40)或(25,35)等一对坐标的形式，根据该思想，则将标注产生的矩形框转换为坐标系中一对坐标的形式；针对标注产生的矩形框的坐标：

1)给定K值，K为正整数，确定K个初始类的中心点，中心点从已有坐标样本中随机选取或按某种特定方式选取；

2)分别计算每个坐标样本到K个中心点的欧式平方距离，将坐标样本划分入欧式平方距离最小的类别当中；

3)通过求取每个类别中样本点的期望值，更新每个类别的中心点；

4)迭代进行上述步骤2)和步骤3)，直至中心点位置基本不再变化或达到指定迭代次数,从而得到训练数据集。

K-means算法原理在前面已有所介绍，采用该算法的主要目的是对目标先验框(即标注产生的矩形框)进行聚类分析，确定矩形框的普遍大小范围并将其作为训练初始时预选框的大小，从而使得对目标边界的预测更加准确，损失函数收敛更快，提高模型准确度，降低训练时间。

图6是对多个产品外观进行标注后用K-means算法对标注形成的矩形框进行聚类之后的结果。其中横、纵坐分别表示矩形框的长和宽，此处选择K＝9进行聚类，即会形成9个类别中心点，图中即为9个带边缘的点，在训练过程中会将这9个矩形框的大小作为目标检测过程中初始预选框的大小。

b、在云中心节点1，先使用训练数据集对目标检测模型训练，再检测目标检测模型是否符合准确度与时延要求：目标检测模型在工业产品外观检测领域相对应用较少，在纯算法准确度方面没有准确界限，准确度要求是指调整模型使准确度尽可能高，时延要求对于不同产品与产线有着不同的要求；例如，小件型产品由于生产线速度较快，则需要时延极低的模型；而对于大型工业产品，由于产线较慢，时延不敏感，可以采用时延较高但准确率更高的模型；

若不符合要求，则调整目标检测模型的结构、目标检测模型的参数和输入目标检测模型的数据大小，再继续训练调整后的目标检测模型，直至满足要求准确度与时延为止；

若符合要求，则将训练好的目标检测模型下发到任务子节点2中。

本实施例中采用的目标检测模型为Yolov3模型，如图2a所示，Yolov3模型结构：Yolov3模型，共由75层卷积层(Conv)构成，卷积层主要作用是提取输入图像的特征，每层卷积层之后会有一层BN层(Batch Normalization)，BN层后连接激活层(LeakyReLU为具体的激活函数)。在整体结构中，每隔两层卷积层会进行跳跃连接(残差网络)，从而做到更深层次的训练，同时结构中加入FPN结构(特征图金字塔网络)，在降维到一定程度后对网络进行上采样，并将上采样结果与原该维度结果进行融合，实现在其他维度的预测。

图2a中的输入为标准的RGB图像，而后每个模块之间的连接表示数据的传输并不进行其他操作，其中DBL和Resn的详细说明在图2b和图2c中有详细解释。其他结构中，add表示矩阵相加，相加的矩阵维度必须保持一致，而concat表示矩阵的拼接，矩阵的前两个维度必须保持一致。Yolov3最终的输出为3个三维矩阵，矩阵维度为13×13×n，26×26×n和52×52×n，其中在检测标签种类为4种时，n＝27，具体计算公式为n＝3×(标注标签种类+5)，每一个矩阵代表一个维度下的检测结果，输出矩阵中包括类别置信度和检测到的矩形框位置及置信度。

如图2b所示，DBL代表卷积层、批归一化层和激活层依次连接。

Resn表示n层残差网络，Resn的结构如图2c所示，首先对Resn输入的矩阵进行零填充，便于对矩阵边缘进行滤波和保持矩阵维度，而后对Zeropadding层的输出进行DBL操作，DBL结构如图2b所示，而后DBL层的输出在继续经过两层DBL计算后与两层之前的输出进行相加，即为残差计算，而后n个残差计算依次相连，则构成了Resn。

模型训练输入的数据是图像和相应的标签文件，训练是为了确定深层多维度矩阵的参数，即模型参数，检测部分即加载模型参数，而后输入待检测图像，得到输出，通过输出确定检测结果。

模型更新主要是针对模型内矩阵参数的更新而对于模型的修正包含有很多方面，例如对模型结构的改变，对训练图像结构的改变，对模型输出维度的改变等等。

4)任务子节点2判定进行检测的产品与边缘子节点3反馈的一维码对应的产品是否相对应，即判断在步骤3)获取的产品轮廓范围之内，是否含有所有应有的标注目标；

若产品轮廓范围内所有标注目标齐全，则产品合格，任务子节点2控制产线正常进行生产；

若产品轮廓范围内未含有全部标注目标或含有多余标注目标，则产品不合格，任务子节点2控制产线剔除该产品；

经步骤3)已生成标注目标的检测结果，根据边缘子节点3反馈的一维码已获得生产的该产品在合格的情况下应含有哪些目标，此时需要判断在步骤3)获取的产品轮廓范围之内，是否含有所有应有的目标。例如：针对产品的包装，需要判定品牌标志，合格标志，生产日期喷码以及附带于外包装上的赠品是否均在外包装轮廓之内。

5)将步骤4)中产品是否合格的结果与步骤3中获取的图像上传云中心节点1进行存储，完成产品外观检测。

实施例2

根据实施例1提供的一种基于5G云边协同的外观检测方法，区别之处在于：

所述外观检测方法还包括：6)在云中心节点1，对上传的步骤4)得到的判断结果与步骤3中获取的图像进行整理和存储，实现对训练数据集的更新；然后利用更新的训练数据集对目标检测模型进行更新；具体为：

6-1：每一个被检测的产品在云中心节点1存储一幅图像，即在检测到产品的一维码以及完整的边框时，截取一帧图像，将该帧图像作为该产品型号检测图像上传到云中心节点1进行存储；每个产品都上传一幅图像的一个重要目的是对每一台生产的产品都要对其外观进行备份，以便日后的溯源工作，6-2便是对图像进行复检，而后判断是否要将其归入训练数据集；

6-2、使用训练好的目标检测模型对上传的图像进行重新检测，获取矩形框中的各个标注目标的置信度；

当所有标注目标的置信度大于90％时，将检测到的目标转换为标准标签，并将含有某一型号全部特征的图像转为训练数据集的一部分，对训练数据集进行更新；

当所有标注目标的置信度小于等于90％时，对图像不做任何处理；

6-3、当训练数据集中积攒5-10个不同型号产品的图像，且每个型号累计200幅以上图像时，在云中心节点1启动目标检测模型的训练；在每个训练周期后测试目标检测模型性能，性能测试包括测试该模型在数据测试集上在检测的目标置信度大于0.25或大于0.5的情况下，同种类不同型号的产品检测的查准率与查全率，确定矩形框检测结果与标注结果的交并集之比具体限制下的总体mAP和不同种类标注标签的AP值，其中主要参考mAP值进行更新，若测试结果显示某次模型的性能明显优于现有模型，则实行对目标检测模型下发的功能，更新云中心节点1和边缘端的目标检测模型。

对目标检测模型的更新，能提高模型检测的准确性；能够实现对同类新产品的检测。在系统建设之初采取一般的标注与训练方式得到模型用于产品的外观检测。但是由于数据量的问题，模型的准确率没有达到最优，因此在产线外观检测过程中，在云中心收到检测结果图像后，重新检测图像，并将有极高置信度的目标自动生成目标标签，而后将图像归类到样本数据集中对模型进行继续训练，以此种半监督的方式不断更新模型，提高模型的准确性。产线产品并不是一成不变的，随时会有新的需求，新的型号的产品需要生产，而这种型号的产品若是之前并未生产过，则模型亦需要更新来增加对新型号产品的检测能力，此种更新便是以半监督的形式在云中心实现。

实施例3

一种基于5G云边协同的外观检测系统，用于实现实施例1或2提供的外观检测方法，如图1所示，该外观检测系统包括云中心节点1、若干个边缘子节点3和若干个任务子节点2，

边缘子节点3形成若干个集群，每个集群中的边缘子节点3之间相互连接，且同一集群中的边缘子节点3与同一个任务子节点2相连接，任务子节点2分别与云中心节点1相连接；

边缘子节点3用于实时采集生产环境数据以及工业检测实时数据，然后判断采集的数据是否符合生产要求；同时采集产品的一维码，获取待进行检测的产品的型号，并将产品的型号反馈给任务子节点2；

任务子节点2用于对与其相连的边缘子节点3进行任务调度，实时监控边缘子节点3的运行状态，若任务子节点2监控到边缘子节点3负载过高，则将任务进行分流或直接转由任务子节点2进行任务的执行；同时，采集产线上待检测产品的实时视频，然后利用云中心节点1下发的训练好的目标检测模型对实时视频进行抽帧检测；最后将外观检测结果与采集的数据上传云中心节点1；

云中心节点1用于对任务子节点2传输到云中心节点1的产品的图像和外观检测结果进行存储备份，对目标检测模型进行训练，以及对目标检测模型进行更新。

每条产线上设置若干个边缘子节点3，边缘子节点3为树莓派，树莓派通过驱动摄像头、速度传感器、红外传感器、温度传感器和湿度传感器采集环境数据以及工业检测实时数据。

每条产线上设置一或两个任务子节点2，任务子节点2为带有NVIDIARTX20及RTX30系列显卡的计算机。

云中心节点1为高性能服务器，所述高性能服务器为NVIDIADGX系列或组装后带有NVIDIA深度学习计算卡的服务器。可进行深度学习的高性能服务器。

边缘子节点3上安装有5G芯片模组，通过5G芯片模组将采集到的数据传输到任务子节点2。从而保证时延与带宽要求。

任务子节点2上安装有5G芯片模组，通过5G芯片模组将外观检测结果与采集的图像传输到云中心节点1。从而保证时延与带宽要求。

Claims (10)

1.一种基于5G云边协同的外观检测方法，其特征在于，该方法包括：

1)边缘子节点收集生产环境数据和工业检测实时数据，并判断生产环境数据和工业检测实时数据是否符合生产要求；

2)边缘子节点获取待进行检测产品的一维码，确认待进行检测的产品的型号，并将产品的型号反馈给任务子节点；

3)任务子节点实时获取产线上待检测产品的实时视频，任务子节点利用云中心节点下发的训练好的目标检测模型对实时视频进行抽帧检测，对于每一帧图像，图像输入目标检测模型，获取图像中产品轮廓范围以及产品轮廓范围内的标注目标；

4)任务子节点判定进行检测的产品与边缘子节点反馈的一维码对应的产品是否相对应，即判断在步骤3)获取的产品轮廓范围之内，是否含有所有应有的标注目标；

若产品轮廓范围内所有标注目标齐全，则产品合格，任务子节点控制产线正常进行生产；

若产品轮廓范围内未含有全部标注目标或含有多余标注目标，则产品不合格，任务子节点控制产线剔除该产品；

5)将步骤4)得到的判断结果与步骤3中获取的图像上传云中心节点进行存储，完成产品外观检测。

2.根据权利要求1所述的一种基于5G云边协同的外观检测方法，其特征在于，步骤1)中，所述生产环境数据包括环境温湿度、环境烟雾浓度、音频信号和人体红外信号；

所述工业检测实时数据包括视频信号、产线的速度信号和产线的加速度信号。

3.根据权利要求1所述的一种基于5G云边协同的外观检测方法，其特征在于，步骤1)中，当生产环境数据和工业检测实时数据符合生产要求时，则进行步骤2)；

当生产环境数据和工业检测实时数据不符合生产要求时，若不合格因素为产线的速度信号或产线的加速度信号超过设定的范围，则边缘子节点将自动进行处理，并继续监测生产环境和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求；

若不合格因素为机械故障或生产环境空气中出现有毒物质，则需边缘子节点自动报警，由专业人员进行处理后，再继续生产并收集生产环境数据和工业检测实时数据，然后再判定生产环境数据和工业检测实时数据符合生产要求。

4.根据权利要求1所述的一种基于5G云边协同的外观检测方法，其特征在于，在云中心节点，目标检测模型的训练过程，具体为：

a、收集历史数据，构建训练数据集；具体过程为：

先按机器型号对已收集到的产品在产线上的图像进行分类；

然后采用矩形框对分类好的图像进行标注，即标注每一产品型号需要检测的部位；

再将不同检测部位的信息做成统一化命名的标签，使得标签包含该部位在图像的位置；

最后，运用K-means聚类算法对矩形框进行分类，分析标注用的矩形框的尺寸，得到训练数据集；

b、在云中心节点，先使用训练数据集对目标检测模型训练，再检测目标检测模型是否符合准确度与时延要求：

若不符合要求，则调整目标检测模型的结构、目标检测模型的参数和输入目标检测模型的数据大小，再继续训练调整后的目标检测模型，直至满足要求准确度与时延为止；

若符合要求，则将训练好的目标检测模型下发到任务子节点中。

5.根据权利要求1所述的一种基于5G云边协同的外观检测方法，其特征在于，步骤a中，运用K-means聚类算法对矩形框进行分类的具体过程为：

用矩形框的长和宽来表示矩形框的大小，将长和宽分别作为平面直角坐标系中的坐标，则将标注产生的矩形框转换为坐标系中一对坐标的形式；针对标注产生的矩形框的坐标：

1)给定K值，K为正整数，确定K个初始类的中心点，中心点从已有坐标样本中随机选取；

2)分别计算每个坐标样本到K个中心点的欧式平方距离，将坐标样本划分入欧式平方距离最小的类别当中；

3)通过求取每个类别中样本点的期望值，更新每个类别的中心点；

4)迭代进行上述步骤2)和步骤3)，直至中心点位置基本不再变化或达到指定迭代次数,从而得到训练数据集。

6.根据权利要求1-5任一项所述的一种基于5G云边协同的外观检测方法，其特征在于，所述外观检测方法还包括：6)在云中心节点，对上传的步骤4)得到的判断结果与步骤3中获取的图像进行整理和存储，实现对训练数据集的更新；然后利用更新的训练数据集对目标检测模型进行更新；具体为：

6-1：每一个被检测的产品在云中心节点存储一幅图像，即在检测到产品的一维码以及完整的边框时，截取一帧图像，将该帧图像作为该产品型号检测图像上传到云中心节点进行存储；

6-2、使用训练好的目标检测模型对上传的图像进行重新检测，获取矩形框中的各个标注目标的置信度；

当所有标注目标的置信度大于90％时，将检测到的目标转换为标准标签，并将含有某一型号全部特征的图像转为训练数据集的一部分，对训练数据集进行更新；

当所有标注目标的置信度小于等于90％时，对图像不做任何处理；

6-3、当训练数据集中积攒5-10个不同型号产品的图像，且每个型号累计200幅以上图像时，在云中心节点启动目标检测模型的训练；在每个训练周期后测试目标检测模型性能，若测试结果显示某次模型的性能明显优于现有模型，则实行对目标检测模型下发的功能，更新云中心节点和边缘端的目标检测模型。

7.一种基于5G云边协同的外观检测系统，其特征在于，用于实现如权利要求1-6所述的外观检测方法，该外观检测系统包括云中心节点、若干个边缘子节点和若干个任务子节点，

边缘子节点形成若干个集群，每个集群中的边缘子节点之间相互连接，且同一集群中的边缘子节点与同一个任务子节点相连接，任务子节点分别与云中心节点相连接；

边缘子节点用于实时采集生产环境数据以及工业检测实时数据，然后判断采集的数据是否符合生产要求；同时采集产品的一维码，获取待进行检测的产品的型号，并将产品的型号反馈给任务子节点；

任务子节点用于对与其相连的边缘子节点进行任务调度，实时监控边缘子节点的运行状态，若任务子节点监控到边缘子节点负载过高，则将任务进行分流或直接转由任务子节点进行任务的执行；同时，采集产线上待检测产品的实时视频，然后利用云中心节点下发的训练好的目标检测模型对实时视频进行抽帧检测；最后将外观检测结果与采集的数据上传云中心节点；

云中心节点用于对任务子节点传输到云中心节点的产品的图像和外观检测结果进行存储备份，对目标检测模型进行训练，以及对目标检测模型进行更新。

8.根据权利要求7所述的一种基于5G云边协同的外观检测系统，其特征在于，每条产线上设置若干个边缘子节点，边缘子节点为树莓派，树莓派通过驱动摄像头、速度传感器、红外传感器、温度传感器和湿度传感器采集环境数据以及工业检测实时数据。

9.根据权利要求7所述的一种基于5G云边协同的外观检测系统，其特征在于，每条产线上设置一或两个任务子节点，任务子节点为带有NVIDIARTX20及RTX30系列显卡的计算机；

云中心节点为高性能服务器，所述高性能服务器为NVIDIADGX系列或组装后带有NVIDIA深度学习计算卡的服务器。

10.根据权利要求7所述的一种基于5G云边协同的外观检测系统，其特征在于，边缘子节点上安装有5G芯片模组，通过5G芯片模组将采集到的数据传输到任务子节点；

任务子节点上安装有5G芯片模组，通过5G芯片模组将外观检测结果与采集的图像传输到云中心节点。

Images