CN112634237A

CN112634237A - 一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统

Info

Publication number: CN112634237A
Application number: CN202011558112.0A
Authority: CN
Inventors: 鲍光海; 林善银; 高小庆
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2020-12-25
Filing date: 2020-12-25
Publication date: 2021-04-09

Abstract

本发明涉及一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统。收集长竹条表面缺陷图像，并分类建立长竹条表面缺陷数据库；将长竹条表面缺陷数据库划分为训练集和测试集，基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练，得到训练后的长竹条表面缺陷检测模型；输入待测长竹条图像，通过长竹条表面缺陷检测模型进行表面缺陷检测，获得检测结果。本发明可以同时预测多个目标的类别和位置，做到端对端识别，不需要过多的特征提取方法，直接用CNN实现回归问题，能够较好的将背景区域与目标分离。

Description

一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统

技术领域

本发明涉及深度学习技术应用领域，特别是一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统。

背景技术

随着国家节能减排政策的推进和人们环保意识的不断增强，利用竹子资源为生产原材料的竹产业成为全球公认的绿色产业。竹材代替木材使用，可以广泛应用在竹子家具、竹制建材、竹制日用品和竹制工艺品等领域，竹产业的经济价值逐渐被人们所重视。

我国是全球最大的竹制品出口国，竹产业的生产规模、质量和数量都遥遥领先其他国家。不过，我国竹产业起始于20世纪90年代，到目前仅经历了二十多年的发展，生产模式和加工技术仍不完善。竹制品的加工过程比较复杂，毛竹先经过截断、剖分、刨光等工序处理为长竹条，再经过分拣、碳化、干燥、涂胶和压板处理后形成竹板，最后才将竹板加工成竹制品。

由于生长环境的原因，导致竹子本身存在虫眼、节苦和节眼缺陷。竹子在上述的加工过程中，由于竹条的形状、大小和厚薄不同，导致加工过程会产生凹片、裂片和竹青等缺陷。竹条在储存过程中也可能出现染片缺陷。

在竹制品加工环节，竹板拼接是一个重要的生产环节。但竹材的缺陷严重影响着竹制品的质量和外观。为了保证竹制品的质量，需要进行竹条分拣工作，将有缺陷的竹条挑出，分拣完再对没有缺陷的竹条进行涂胶压板等工序。

由于没有成熟的设备，只能靠人工分拣，这样的生产方式不仅效率低，而且由于工人分拣标准很难统一，竹条分拣效果难以保证。该过程需要耗费大量的时间和精力，人工成本非常高，工人们挑选全靠肉眼观察，个体差异和视觉疲劳等原因会导致竹条分拣效果变差。

为了解决竹产业表面缺陷人工分拣遇到的难题，已经有研究将机器视觉算法运用在竹条表面缺陷检测中来。机器视觉系统一般通过相机将目标信息转换为数字图像，然后通过数字处理系统对图像的像素分布、位置信息、形态大小和像素值等信息进行运算，从而输出想要的缺陷判断结果，继而驱动分拣装置代替人工进行分拣操作。

目前已有的基于机器视觉的竹条图像缺陷识别算法主要针对缺陷的形状(边缘、轮廓)和纹理特征进行提取识别，虽然能够达到一定的检测识别作用，但是在实际使用中，受竹条图像背景及外界环境变化的影响较大，缺陷检测的准确性和可靠性大大降低。因此，有必要采用一种能够高效快速地提取竹条缺陷特征的方法来处理大量的竹片表面图片，并运用一种高精度的检测算法来识别检测竹片表面图片中缺陷类别及位置。

YOLO是一种实时的目标检测算法。目前，在工业领域中利用目标检测进行缺陷检测，在众多算法中YOLO系列算法成为主流，它是一个兼备检测速度和准确率的算法。这个算法首先是由Redmon在2015年提出，引起了较大的反响，后面不断更新，在2017年CVPR上提出了YOLOv2，2018又提出YOLOv3检测算法。YOLOv3算法可以同时预测多个目标的类别和位置，做到端对端识别，不需要过多的特征提取方法，直接用卷积神经网络(CNN)实现回归问题，能够较好的将背景区域与目标分离。由于该算法的实时性和准确性的特点，受到各种工业检测的追捧，已经成为工业检测算法的主流。

发明内容

本发明的目的在于提供一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统，该方法及系统可以同时预测多个目标的类别和位置，做到端对端识别，不需要过多的特征提取方法，直接用CNN实现回归问题，能够较好的将背景区域与目标分离。

为实现上述目的，本发明的技术方案是：一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，

收集长竹条表面缺陷图像，并分类建立长竹条表面缺陷数据库；

将长竹条表面缺陷数据库划分为训练集和测试集，基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练，得到训练后的长竹条表面缺陷检测模型；

输入待测长竹条图像，通过长竹条表面缺陷检测模型进行表面缺陷检测，获得检测结果。

在本发明一实施例中，所述长竹条表面缺陷数据库的建立过程如下：

对每一张采集的长竹条表面缺陷图像进行标注处理，利用(xmin，ymin，xmax，ymax)表示长竹条表面缺陷所在位置的边界框坐标，(xmin，ymin)和(xmax，ymax)分别为边界框的左上和右下顶点的坐标；若一张图像中包含多个缺陷，则标注出对应数量的边界框；

考虑到长竹条表面缺陷图像样本数量少的情况，需进行数据增广，以增加长竹条表面缺陷图像样本。

在本发明一实施例中，所述长竹条表面缺陷图像标注处理的过程是在每一张采集的长竹条表面缺陷图像中标出长竹条表面缺陷位置和种类名称并且以TXT格式保存。

在本发明一实施例中，所述数据增广的方式包括：

(1)随机缩放：将图片进行随机放大或者缩小；

(2)随机旋转：将图片按照中点随机旋转；

(3)图像平移：把图像沿任意方向平移若干个像素点；

(4)图像对称：随机让图像在水平或者垂直方向翻转；

(5)图像亮度变换：将图像的亮度在原亮度的预定倍数之间变换。

在本发明一实施例中，所述长竹条表面缺陷图像的收集来自竹条加工厂，并选取不同批次的长竹条作为对象，长竹条长度为2米，每类缺陷长竹条各500根，而后将长竹条的缺陷部分置于图像采集装置相机下方，对不同的长竹条缺陷进行拍摄，得到长竹条表面缺陷图像。

在本发明一实施例中，长竹条表面缺陷图像的竹条缺陷包括凹片、虫眼、节苦、节眼、染片、裂片和竹青。

在本发明一实施例中，所述YOLOv3网络采用的基础网络为Darknet-53网络，输入图片尺寸为640×640，Darknet-53网络中隐层的激活函数为Mish激活函数，Darknet-53网络的交叉熵损失函数为Focal Loss损失函数；YOLOv3网络中预测框的回归损失函数为CIoU损失函数，锚框Anchor的参数是先通过对长竹条表面缺陷数据库中标注后的长竹条表面缺陷图像进行K-means聚类后来确定。

在本发明一实施例中，所述基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练的过程中，网络优化器算法采用Adam算法。

在本发明一实施例中，所述基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练的过程中，选用是精度Precision、召回率Recall和F1-score三种评估指标来选择最优目标检测模型参数。

本发明还提供了一种基于YOLOv3改进网络的长竹条表面缺陷检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

相较于现有技术，本发明具有以下有益效果：

相较于人工缺陷分拣来说，本发明基于YOLOv3改进网络的长竹条缺陷检测方法实现了竹条缺陷的快速自动识别，极大地提高了竹产业的生产加工效率，节约了劳动力成本，明显改善了长竹条分拣质量。

相较于目前已有的基于机器视觉的竹条图像缺陷识别算法，本发明基于YOLOv3改进网络的长竹条缺陷检测方法将机器视觉算法和深度学习算法相结合，其中机器视觉算法用于图像的预处理，而图像特征的提取和缺陷分类则依赖的是深度学习中的YOLOv3改进网络。本发明方法使得竹条缺陷检测不受图像背景和外界环境的干扰和影响，能够准确快速地进行多种缺陷检测和分类，并能实现缺陷在图像中的准确定位。

附图说明

图1为本发明缺陷检测方法流程图。

图2为竹条缺陷。

图3为本发明网络训练结果。

图4为本发明算法流程图。

图5为本发明实际竹条缺陷测试效果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，

以下为本发明的具体实现过程。

本发明结合机器视觉与深度学习设计了一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，对缺陷进行标注和识别，用来代替人工来进行检测。表面缺陷检测流程如图1所示。

首先，收集长竹条表面缺陷图像，并分类建立数据库。然后将数据库划分为训练集和测试集，利用其进行目标检测模型的训练。加载训练好的模型，对每张竹条图像进行表面缺陷检测，最后获得检测结果。各步骤的详细内容如下：

1、竹片缺陷可以分为以下7类：凹片、虫眼、节苦、节眼、染片、裂片和竹青，分别如图2(a-g)所示。

2、长竹条表面缺陷数据库的构造

长竹条表面数据采集自竹条加工厂，为了提高模型的表面缺陷检测准确率，

选取不同批次的长竹条作为对象，长竹条长度为2米，每类缺陷长竹条各500根。将长竹条的缺陷部分置于图像采集装置相机下方，对不同的竹条缺陷进行拍摄。

需要对每一张采集的原始图像进行标注处理，生成保存标注结果的TXT文件。数据的标注是指在图片中标出竹条表面缺陷位置和种类名称并且以TXT格式保存，用于深度神经网络训练过程中反向传播中的损失值计算以及验证检测精度。利用(xmin，ymin，xmax，ymax)表示缺陷所在位置的边界框坐标，(xmin，ymin)和(xmax，ymax)分别为边界框的左上和右下顶点的坐标。若一副图像中包含多个缺陷，则标注出对应数量的边界框。

在长竹条表面缺陷检测中，由于部分缺陷样本采集的数量较少，导致样本不均匀，进而导致训练效果较差。为了防止模型过拟合，需要对图片进行过采样和数据增广，使得竹条缺陷样本保持平衡，这样训练的模型具有较好的鲁棒性。过采样就是将类别较少的样本进行复制，数据增广的具体措施如下：

(1)随机缩放：将图片进行随机放大或者缩小，比例为0.9～1.1。

(2)随机旋转：将图片按照中点随机旋转，角度为(-20°，20°)。

(3)图像平移：把图像沿任意方向平移[0，20]个像素点。

(4)图像对称：随机让图像在水平或者垂直方向翻转。

(5)图像亮度变换：是图像的亮度在0.8～1.5倍之间变换。

数据集中包括了凹片、虫眼、节苦、节眼、染片、裂片、竹青七种缺陷，并且通过数据增广增加样本量，在图片数据增广的同时对应的TXT文件里的坐标也要做相应改变。

3、YOLOv3网络的改进

本发明采用的是YOLOv3网络构架，希望在不改变YOLO网络思想的同时，进行优化。本发明采用的基础网络依旧是Darknet-53，由于图片中竹条部分的占比较少，而且缺陷也较小，所以采用640×640的图片输入尺寸。为了提高网络效果，在以下方面进行改进：

(1)激活函数的改进

平滑的激活函数更有利于信息的学习，能使网络得到更好的准确率和泛化性，所以将Darknet-53网络中隐层的LeakyRelu激活函数换成Mish激活函数：

Mish(x)＝x tanh(ln(1+e^x))

(2)分类损失函数的改进

由于竹条表面缺陷图像中缺陷所占像素较少。导致目标检测损失易被大量负样本左右。所以将原来的交叉熵损失函数替换为Focal Loss损失函数：

式中CE为交叉熵损失函数，FL为Focal Loss损失函数，α为权重因子，γ为动态缩放因子。在公式中加入权重因子α，能够让正样本的权重变大，负样本部分权重变小。动态缩放因子γ是一个学习的参数，能够自动降低样本的损失。

(3)回归损失函数的改进

在YOLOv3中预测框的回归损失函数为IoU损失函数，虽然在目标检测领域比较流行，但是随着深度学习的发展，逐渐发现IoU有很突出的缺点：一是在真实框与预测框完全不相交的时候，IoU损失始终为1，没有给出任何优化方向。二是IoU无法精确的反应两者的重合度状况。所以将IoU损失函数替换为CIoU损失函数：

式中，ρ²(b,b^gt)和c分别代表了两个距离，一个是预测框与真实框中心点之间的欧式距离，另一个是包含预测框和真实框的最小闭包区域的对角线距离。通过在重叠面积、中心点间距和长宽比上做了改进，效果较好。

(4)锚框Anchor的参数的改进

在YOLOv3网络中，作者采用对多尺度特征进行目标检测的策略，利用三个YOLO检测层对特征图检测。并在每个尺寸特征图上都有三个尺寸的锚框Anchor来预测边界框坐标。YOLO作者的锚框Anchor的参数是通过对VOC数据集通过K-means聚类算法计算得出，为了提高竹条表面缺陷检测成功率，本发明对竹条标注图像进行重新K-means聚类，结果如表1所示：

表1锚框参数

4、YOLOv3改进网络的训练

在网络训练过程中，网络优化器的选择尤为重要，常用的网络优化器有SDG和Adam。在相比SGD而言，在面对小数据集的时候Adam收敛更快能够自适应学习率，而SGD在大数据集的时候收敛效果更好，但是学习率的选择较为麻烦，竹条数据集属于小数据集，本发明选择Adam作为优化器算法。

g_t＝△_θJ(θ_t-1)

其中，g_t表示第t步时的梯度，Adam在分母位置累积了历史梯度平方，梯度越频繁更新，则分母越大，则步长就会变小，做到自适应调节。

目标检测领域通常使用均值平均精度(Mean Average Precision，MAP)作为评价模型性能的指标。但是在长竹条表面缺陷检测中，主要是区分缺陷类别。所以本发明采用的评估模型性能的指标是精度(Precision)、召回率(Recall)和F1-score。正常在评估模型时，F1-Score得分越高则代表模型的性能越好。

训练结果如图3所示。本发明提出的改进版的网络模型使用CIoU替代YOLOv3中的IoU。Box Loss是衡量定位性能的指标，使用CIoU其Loss数值更接近0，并且下降更快，说明定位性能更好。由两图对比，明显可以看出，通过使用同一个竹条表面缺陷数据集进行训练，训练过程波动表小，收敛速度变快。网络中的Precision、mAP@0.5、Recall和F1-Score等模型评价参数，均优于原YOLOv3模型算法。

5、YOLOv3改进网络的测试

YOLO网络的核心思想就是把任务化为回归问题，利用整张图片作为输入，直接在输出层输出预测框的位置和类别，算法流程如图4所示。这样的检测框架使得YOLOv3在图像目标检测的速度上有了很大提升，而且背景错误率低，可以实现实时的目标检测。实际竹条缺陷测试效果如图5(a-g)所示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims

1.一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，

2.根据权利要求1所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述长竹条表面缺陷数据库的建立过程如下：

对每一张采集的长竹条表面缺陷图像进行标注处理，利用（xmin，ymin，xmax，ymax）表示长竹条表面缺陷所在位置的边界框坐标，（xmin，ymin）和（xmax，ymax）分别为边界框的左上和右下顶点的坐标；若一张图像中包含多个缺陷，则标注出对应数量的边界框；

3.根据权利要求2所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述长竹条表面缺陷图像标注处理的过程是在每一张采集的长竹条表面缺陷图像中标出长竹条表面缺陷位置和种类名称并且以TXT格式保存。

4.根据权利要求2所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述数据增广的方式包括：

（1）随机缩放：将图片进行随机放大或者缩小；

（2）随机旋转：将图片按照中点随机旋转；

（3）图像平移：把图像沿任意方向平移若干个像素点；

（4）图像对称：随机让图像在水平或者垂直方向翻转；

（5）图像亮度变换：将图像的亮度在原亮度的预定倍数之间变换。

5.根据权利要求1所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述长竹条表面缺陷图像的收集来自竹条加工厂，并选取不同批次的长竹条作为对象，长竹条长度为2米，每类缺陷长竹条各500根，而后将长竹条的缺陷部分置于图像采集装置相机下方，对不同的长竹条缺陷进行拍摄，得到长竹条表面缺陷图像。

6.根据权利要求5所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，长竹条表面缺陷图像的竹条缺陷包括凹片、虫眼、节苦、节眼、染片、裂片和竹青。

7.根据权利要求1所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述YOLOv3网络采用的基础网络为Darknet-53网络，输入图片尺寸为640×640，Darknet-53网络中隐层的激活函数为Mish激活函数，Darknet-53网络的交叉熵损失函数为Focal Loss损失函数；YOLOv3网络中预测框的回归损失函数为CIoU损失函数，锚框Anchor的参数是先通过对长竹条表面缺陷数据库中标注后的长竹条表面缺陷图像进行K-means聚类后来确定。

8.根据权利要求1所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练的过程中，网络优化器算法采用Adam算法。

9.根据权利要求1所述的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法，其特征在于，所述基于YOLOv3网络，利用训练集和测试集进行目标检测模型的训练的过程中，选用是精度Precision、召回率Recall和F1-score三种评估指标来选择最优目标检测模型参数。

10.一种基于YOLOv3改进网络的长竹条表面缺陷检测系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-9所述的方法步骤。