CN112837282A - 一种基于云边协同和深度学习的小样本图像缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于云边协同和深度学习的小样本图像缺陷检测方法，涉及工业协同制造领域。包括以下步骤：数据采集与预处理，训练图像识别算法，云边协同。利用图像裁剪、数据增强、模型集成、迁移学习、两阶段训练等一系列方法的集合解决工业场景中缺陷样本数量过少的问题。将云边协同框架引入缺陷检测系统，系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行更新，使网络的准确率在运行过程中得到持续提升。通过云边协同体系将网络的训练和推理分离，在云端执行网络的训练，在边缘侧执行网络的推理，降低了对现场设备性能的要求。

Description

一种基于云边协同和深度学习的小样本图像缺陷检测方法

技术领域

本发明涉及工业协同制造领域，尤其涉及一种基于云边协同和深度学习的小样本图像缺陷检测方法。

背景技术

在工业产品的制造过程中，由于生产工艺的缺陷或人为因素，产品表面可能会产生划痕、裂纹、孔洞等缺陷，这些缺陷极大的降低了工业产品的质量，影响了产品的正常使用。对于这些有质量问题的工业产品，需要在出厂之前将其筛选出来。为了筛选出有问题的产品，目前大部分工厂会派质检员进行质量检查。但是人工检查的效率非常低下，检测精度也不高。在长时间工作后，工人疲劳的工作状态会使检测准确率进一步降低，增添了不稳定因素。

近些年来随着机器视觉技术的快速发展，有很多研究者正在尝试将机器视觉技术应用到产品的质量检测中去。基本思路是在现场加装摄像头拍摄产品表面图像，然后利用图像处理技术自动进行产品表面的缺陷检测。主要可以分为以下两种方案：

第一种是采用传统图像检测方法，通过观察缺陷图片的特点，设计相应的算法，提取图片中某种具体的缺陷。具体的操作流程是先对图像边界进行提取，去除不必要的背景信息；再对图像进行分割，提取出潜在的缺陷存在区域；然后利用合适的滤波器滤去噪声；最后使用边缘检测算法提取缺陷。这种方法的识别准确率较低，而且只能针对某种特定场景下的特定缺陷进行检测。目前除了较为简单的场景基本不会使用。

第二种是使用基于深度学习的图像检测方法。深度学习是近年来人工智能领域中一个重要的研究热点，它的出现使计算机实现了一定程度上的智能化。深度学习的主要思想是通过人工给计算机搭建一个类似人脑神经结构的深度学习网络，使机器获得一定的学习能力。通过人工搭建的深度学习网络，计算机能自主学习样本数据的内在规律和表示层次，并获得对同类型样本数据的分析和判断能力。基于深度学习的图像检测方法首先需要选择合适的深度学习网络，其次需要大量标定好缺陷种类的图片对网络进行训练，使其获得学习的能力。训练完成之后，若给网络输入同样类型的照片，它就能自主判断这张图片内的缺陷种类。

虽然基于深度学习网络的图像识别技术已经得到了充分的研究，但是当这项技术应用到表面缺陷检测这一场景中时，还是会遇到很多尚未解决的问题。

第一、样本数量过少。工业产品产生缺陷是一个小概率事件，因此不会有太多的缺陷样本以供深度学习网络进行训练，能够采集到的大多数是没有缺陷的正样本。但是深度学习网络的精度又是和样本数据的数量和质量紧密联系的。训练深度学习网络需要大量的图片，这与极小的样本数量产生了矛盾。此外，不同缺陷的出现概率也不同，这就导致了不同种类缺陷样本的数量不均匀，同样也会对网络训练产生影响。

第二、缺乏后续的更新。在缺陷检测这一场景中，缺陷样本会在使用过程中源源不断得产生，如果能利用这些在检测过程中得到的新样本对网络进行优化，将使网络的性能得到极大的提升。但是现有的方法一般是提前将网络训练好并直接部署在工业现场，而不考虑后续对网络的优化。

第三、设备性能受限。随着目前深度学习网络的层数逐渐加深、参数逐渐增多，网络的训练将会耗费越来越多的算力，对计算设备的性能要求也会越来越高。但是由于成本的限制，一般情况下，厂家不会在工业现场部署大量性能较强的计算设备。所以现有的深度学习网络可能无法在现场直接运行。

因此，本领域的技术人员致力于开发一种基于云边协同和深度学习的小样本图像缺陷检测方法。在只有少量缺陷样本的情况下依然能训练出高准确率的深度学习模型；在云边协同体系下，缺陷检测系统能在运行过程中利用新得到的缺陷样本对深度学习网络进行动态更新，持续提高网络的准确率；将网络的训练和推理过程分离，降低了对现场设备性能的要求。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是工业现场直接采集到的缺陷样本数量过少，不同种类的缺陷样本数量不均匀；现有缺陷检测算法缺少后续的更新，可扩展性低，没有合理利用后续得到的新缺陷样本；工业现场设备性能受限。

为实现上述目的，本发明提供了一种基于云边协同和深度学习的小样本图像缺陷检测方法，包括以下步骤：

步骤1、数据采集与预处理：利用数据增强扩大缺陷样本数量；

步骤2、训练图像识别算法：在训练阶段使用迁移学习的方法，通过模型集成的方法将多个网络进行集成；

步骤3、云边协同：系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行不断训练更新，网络的训练和推理分离。

进一步地，所述步骤1包括以下步骤：

步骤1.1、图像采集；

步骤1.2、图像存储；

步骤1.3、图像调整；

步骤1.4、数据增强；

步骤1.5、自动标注与数据集分割。

进一步地，所述步骤2包括以下步骤：

步骤2.1、选择网络；

步骤2.2、网络优化；

步骤2.3、模型集成；

步骤2.4、迁移学习与微调。

进一步地，所述步骤3包括以下步骤：

步骤3.1、动态更新；

步骤3.2、离线推理；

步骤3.3、扩展优化。

进一步地，所述步骤1.3图像调整包括以下步骤：

步骤1.3.1、适当调整图片亮度、对比度、锐度；

步骤1.3.2、裁剪图片；

步骤1.3.3、将图片通过加框的方式调整为正方形；

步骤1.3.4、缩放。

进一步地，所述步骤1.4数据增强的方法包括随机上下平移、随机左右平移、随机角度晃动、随机角度旋转、随机亮度变化、加入随机分布的噪点。

进一步地，所述步骤1.5标注图片使用的编码包括整数编码、one-hot编码。

进一步地，所述步骤2.1选择网络，包括EfficientNet、ResNet、DenseNet、RCNN、YOLO。

进一步地，所述步骤2.3模型集成，使用多个网络分别单独对图片进行分类，通过投票的方式得到最后的分类结果。

进一步地，所述步骤2.4迁移学习与微调，利用成熟的数据集或者类似的缺陷数据集先对目标模型进行训练，使网络获得初始权重；再利用采集到的缺陷数据集对所述网络进行调整，获得最终的网络权重。

在本发明的较佳实施方式中，利用图像裁剪、数据增强、模型集成、迁移学习、两阶段训练等一系列方法的集合解决工业场景中缺陷样本数量过少的问题。将云边协同框架引入缺陷检测系统，系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行更新，使网络的准确率在运行过程中得到持续提升。通过云边协同体系将网络的训练和推理分离，在云端执行网络的训练，在边缘侧执行网络的推理，降低了对现场设备性能的要求。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

1.相对于一般的深度学习方法，针对工业场景中常见的缺陷样本太少的问题对算法进行改进，在只有少量缺陷样本的情况下依然能训练出高准确率的深度学习模型。

2.在云边协同体系下，缺陷检测系统能在运行过程中利用新得到的缺陷样本对深度学习网络进行动态更新，持续提高网络的准确率。

3.引入了云边协同体系，将网络的训练和推理过程分离，降低了对现场设备性能的要求。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的待解决的问题与解决方案；

图2是本发明的一个较佳实施例的系统流程图；

图3是本发明的一个较佳实施例的深度学习网络结构图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明针对缺陷检测中可能碰到的缺陷样本过少以及现场设备性能受限等问题，设计了一种基于云边协同和深度学习的小样本图像缺陷检测方法。如图1所示。涉及工业物联网，边缘计算，工业协同制造，深度学习，图像识别领域。

其中，为了解决缺陷样本过少的问题，本发明在图像预处理阶段加入了数据增强模块用于生成大量的缺陷样本；在训练阶段使用迁移学习的方法降低网络对数据量的需求；在网络结构方面，通过模型集成的方法将多个分类器进行集成，通过投票的方式得到最后的分类结果，提高了总体的识别准确率和单个网络的容错率。

引入云边协同体系以进行算法的动态更新，提高系统的可扩展性。云边协同是指云端，边缘侧相互协作的体系。在使用算法进行缺陷检测的过程中，会发现新的缺陷样本。边缘侧能缓存这些样本并定时发送给云端。云端收集到一定数量的样本后会执行数据增强，再结合之前的数据集重新训练网络，并将新网络下载至边缘侧。虽然网络的准确率在开始部署时可能不是很高，但是通过在使用过程中不断结合新得到的样本进行更新，使其最终达到较高的准确率。

云边协同体系同样能解决现场设备性能受限的问题。云端拥有强大的算力，但是因为不处于工业现场，传输数据有一定延迟。边缘侧和终端同在工业现场，传输数据较快，但是任务处理能力有限。通过合理利用二者的优点，将任务进行合理分配。把深度学习算法的训练和推理阶段拆分开来，由云端执行对算力消耗较大的网络训练，将算力消耗较小的结果推理和预处理放到边缘侧执行。

图2是系统流程图，本发明设计的基于云边协同和深度学习的小样本图像缺陷检测方法主要包括以下步骤：

步骤一：数据采集与预处理，该步骤主要可以分为以下五步：

S1，图像采集

用于缺陷图像检测的深度学习网络需要大量的图片进行训练。一般来说，图片的数量越多、质量越好，那么训练出来的网络识别准确率越高。所以在训练网络之前，需要采集尽可能多的图片数据。这些图片数据应该包含网络所要识别的各种缺陷。同时，这些图片的拍摄角度，光照环境，以及其他的拍摄条件应该和系统运行时的拍摄条件基本一致。在工业现场中，一般通过架设工业面阵相机对被识别物体进行拍摄，同时需要配合使用环形光源或穹顶光源保证被识别物体表面明亮但不会有强烈的反光。

S2，图像存储

在采集到产品表面图片之后，需要对图片进行整理，按照编号进行存储。根据事先制定的标准，人工判断拍摄图片中是否带有缺陷以及缺陷的类型，并根据分类结果将图片放入相应的存储位置，形成缺陷样本库，以便后续在网络训练过程中能快速提取所需类型的图片。

S3，图像调整

在工业现场中采集到的图片一般质量不高，如果直接进行训练会使网络的准确率较低。因此需要对图片本身进行一定的处理。第一、适当调整图片本身的亮度、对比度、锐度等，使缺陷部分更加突出，缺陷的边缘更加明显。第二、裁剪图片。在拍摄过程中，为了保证视野，一般会将被识别物体全部拍摄进去，但是缺陷一般只占被识别物体表面很小的面积。如果直接使用这些图片进行训练会使网络学到很多无关的特征。因此通过裁剪的方式先将原图中的缺陷部分用矩形框提取出来，丢弃无用的背景部分，初步分离出原图中的前景和背景。第三、将裁剪图片通过加框的方式调整为正方形。因为深度学习网络对输入图像的尺寸有要求，而且一般是正方形，如果直接缩放矩形图片会导致长宽比例失调而导致图片失真。所以需要通过加框的方式将短的一边加长，把图片修饰为正方形。第四、缩放。将图片调整为深度学习网络需要的输入尺寸。

S4，数据增强

数据增强技术是为了解决在深度学习过程中用于训练的数据过少而对原始数据进行处理来获取更多数据的方法。通过对原始图片进行随机上下平移、左右平移，随机角度晃动、旋转，随机亮度变化，加入随机分布的噪点等方法，快速生成一批与原图类似，但是画面表现差异巨大的缺陷图片，扩大了缺陷样本的数量。在生成新样本后，需要保证每种缺陷类型的图片数量基本一致。所以应在生成新样本前记录当前各个类型缺陷样本的数量，并计算出相应的生成比例，再执行上述过程完成缺陷样本的扩充。因为对原始图片的调整是在一定范围内的随机过程，所以生成的图片在极端情况下可能无法使用，需要在生成后对数据集进行检查，剔除不满足要求的图片。

S5，自动标注与数据集分割

标注图片，即标明图片内是否包含缺陷，以及缺陷的类型。缺陷的类型需要事先约定转换关系，这里使用整数编码。比如无缺陷对应整数’0’，缺口对应整数’1’，凹陷对应整数’2’，以此类推。建立多个以缺陷类型命名的文件夹，并将缺陷图片放置于对应的文件夹内。通过数据增强的图片由于是基于原始图片产生的，可以在生成前设置存储位置，使其位于同一个文件夹，免去了重新标注的工作量。编写程序，遍历缺陷样本库下所有以缺陷名字命名的文件夹，此时文件夹里的图片即是训练所需要的图片，而对应的标注可以直接通过子文件夹名获取。最后，生成由图片路径和缺陷类型组成的数据集。

在训练过程中，不会将所有图片都拿来训练，一般需要将数据集分成三个部分：训练集、验证集和测试集。训练集用于对网络进行训练，验证集用于在一个训练世代后对网络进行评估并调整部分参数，测试集用于在训练完全结束后测试网络的准确率。分割前，需要随机打乱数据集，之后按照7:2:1的比例划分训练集、验证集和测试集。

步骤二：图像识别算法，图3是深度学习网络结构图，该步骤主要可以分为以下四步：

S1，选择网络

如果没有判别缺陷位置的特殊需求，一般选择图像分类网络。本选择EfficientNet作为主干网络进行分类。EfficientNet的ImageNet top1 accurarcy以及ImageNet top5 accurarcy分别达到了84.3和97.0，远超同类的图像分类网络，并且参数量也非常少。它主要通过同时调整网络深度、宽度、输入图片的分辨率对基线网络进行适当缩放达到超高的准确率。EfficientNet根据规模大小分成了B0-B7共八种规格，通过在轻量化和准确率之间进行权衡，选择其中的B2,B3,B4进行训练。

S2，网络优化

EfficientNet作为一个图像分类网路，可以将分为两个部分，第一部分是网络前端的特征提取部分，这个部分用于提取输入图像的特征，将其转化为语义信息。第二部分是后端的分类部分，这个部分一般由全连接层组成，用于根据提取的特征判断输入图片的类型。EfficientNet的分类部分为了保证泛化性，提供了1000多个分类的类别，但是在一般的缺陷检测中，分类的要求远没有那么高，只需要区分出少数几种缺陷类型即可。那么可以去掉原先较为笨重的分类部分，重新设计全连接层，将分类器的输出数量调整为所需要识别的缺陷类型的数量。

S3，模型集成

虽然EfficientNet识别的准确率很高，但是为了降低漏检率，可以通过模型集成的方式再次提升算法的性能。模型集成的思想是使用多个网络分别单独对图片进行分类，最后的结果由各个网络“投票”得出。本发明选择EfficientNet B2,B3,B4三种网络进行集成。当使用网络对图片进行分类时，会先让三种网络分别给出对应的结果，如果有两个网络的判定结果相同，那么就将该结果作为算法最终的输出结果。

S4，迁移学习与微调

迁移学习是指让计算机把其他领域习得的知识和方法迁移到样本数据不那么多的领域，这样，计算机也可以“举一反三”，而不必在每个领域都依赖大量样本从头学起。这种方法非常适合解决样本数量不够的问题。利用成熟的数据集或者类似的缺陷数据集先对目标模型进行训练，使网络获得初始权重。再利用采集到的缺陷数据集对网络进行调整，获得最终的网络权重。

此外，在训练过程中使用微调的方法提高网络收敛的速度。分类网络的特征提取部分的参数一般是类似的，所以可以将训练过程分成两步。第一步，冻结网络的特征提取部分，只训练后面的分类器，使用较大的学习率，将网络的损失函数迅速收敛到一个较小的数值。第二步，解冻特征提取部分的后几层网络，和分类器一起训练，使用较小的学习率，将损失函数进一步下降，直至稳定到一个最小值附近，停止训练。

深度学习网络的训练是分多个世代进行的，每个世代都会使用一部分图片进行训练。由于缺陷样本数量较小，世代数量应设置成较小值，减少过拟合。在最后几个世代，网络准确率可能会在某个区间内徘徊，所以最后得到的网络并不一定是准确率最高的网络。因此，在每个世代训练结束后需要保存模型文件，并选择其中准确率最高的网络模型进行后续的推理。

步骤三：云边协同，该步骤主要可以分为以下三步：

S1，动态更新

当采集到新的缺陷样本时，边缘设备会对缺陷图片进行存储。当存储的图片达到一定数量时，边缘设备会将缓存的图片上传至云服务器。云服务器首先利用之前的预处理技术和数据增强技术生成一批新的缺陷样本，并结合已有的样本重新训练深度学习网络，因为网络的准确率和训练数据的数量在一定区间内成正比，所以定期更新网络可以提高网络的准确率。在训练完成后，利用测试集对模型的准确率进行测试，若和上一个网络之间的准确率差异达到一定的阈值，就将新网络下载至边缘设备，以供其更好地完成缺陷识别任务。

S2，离线推理

深度学习网络的训练需要消耗大量的算力资源，但是利用深度学习网络进行图像分类却不需要，因此可以将网络的训练和推理过程人工分离开来，将网络的训练部分放在云端，同时样本数据的存储也放在云端，这样能提高训练的效率。在云端将网络训练好后，将网络下载至现场的边缘设备，边缘设备使用训练好的网络进行缺陷检测。将训练和推理分别在云服务器和边缘设备上进行，也能充分地利用二者的差异化特性，使系统整体更加高效。

S3，扩展优化

当有性能更好的网络模型可以使用时，可以在云服务器上利用存储的样本直接进行训练，并将训练好的网络文件下载至边缘设备进行缺陷检测。而不需要添加或更换任何设备，也不需要更改边缘设备上的缺陷检测算法，只需要将载入的网络文件进行修改即可。利用云服务器集中式的特性，也可以进行缺陷成因的分析、可视化等操作。

步骤一的S5不一定要使用文中所示的整数编码，也可以使用one-hot编码。

步骤二的S1中所使用的网络也可以是其他图像分类网络，如ResNet,DenseNet等等，也可以是目标检测网络，如RCNN，YOLO等等。

终端-边缘侧-云端的划分只是为了说明每个部分的功能。在实际使用中，终端和边缘侧可能合并成同一个设备，比如带摄像头的平板电脑。云端的服务器也有可能不是传统意思上的云服务器，只要是相对边缘侧高性能的计算设备即可。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，包括以下步骤：

步骤1、数据采集与预处理：利用数据增强扩大缺陷样本数量；

步骤2、训练图像识别算法：在训练阶段使用迁移学习的方法，通过模型集成的方法将多个网络进行集成；

步骤3、云边协同：系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行不断训练更新，网络的训练和推理分离。

2.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1、图像采集；

步骤1.2、图像存储；

步骤1.3、图像调整；

步骤1.4、数据增强；

步骤1.5、自动标注与数据集分割。

3.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1、选择网络；

步骤2.2、网络优化；

步骤2.3、模型集成；

步骤2.4、迁移学习与微调。

4.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1、动态更新；

步骤3.2、离线推理；

步骤3.3、扩展优化。

5.如权利要求2所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1.3图像调整包括以下步骤：

步骤1.3.1、适当调整图片亮度、对比度、锐度；

步骤1.3.2、裁剪图片；

步骤1.3.3、将图片通过加框的方式调整为正方形；

步骤1.3.4、缩放。

6.如权利要求2所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1.4数据增强的方法包括随机上下平移、随机左右平移、随机角度晃动、随机角度旋转、随机亮度变化、加入随机分布的噪点。

7.如权利要求2所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1.5标注图片使用的编码包括整数编码、one-hot编码。

8.如权利要求3所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤2.1选择网络，包括EfficientNet、ResNet、DenseNet、RCNN、YOLO。

9.如权利要求3所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤2.3模型集成，使用多个网络分别单独对图片进行分类，通过投票的方式得到最后的分类结果。

10.如权利要求3所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤2.4迁移学习与微调，利用成熟的数据集或者类似的缺陷数据集先对目标模型进行训练，使网络获得初始权重；再利用采集到的缺陷数据集对所述网络进行调整，获得最终的网络权重。

Images