CN109544533A - 一种基于深度学习的金属板缺陷检测和度量方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：1)建立并训练基于深度学习目标检测的多级联缺陷检测器；2)利用所述多级联缺陷检测器进行金属板缺陷检测；3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。与现有技术相比，本发明具有提高缺陷检测的正确率和精确度、节省了大量的人力资源等优点。

Description

一种基于深度学习的金属板缺陷检测和度量方法

技术领域

本发明涉及一种缺陷检测方法，尤其是涉及一种基于深度学习的金属板缺陷检测和度量方法。

背景技术

金属板带是汽车、机械制造、化工、航空航天和造船等行业不可缺少的原材料。且随着我国工业化水平的不断发展，对金属板带表面质量的要求也越来越高，但是由于工艺或其它各种原因致使金属板表面产生各种缺陷。而这些的存在会很大程度影响机器、仪器的使用性能和寿命，因此及时检测金属板带表面缺陷，对缺陷进行严重程度评价具有很大的实际价值。

传统的金属板缺陷检测方法，主要是通过人眼观察或者借助于一些辅助机器观察，但是产品的优良还是主要依赖于行业专家的经验判断，缺乏统一的标准，需要大量的相关专业的人力，且效率比较低。

随着计算机技术、尤其是图像处理技术的发展，越来越多的领域中开始使用图像处理技术来帮助工作。目前，将深度学习目标检测技术应用于金属板缺陷检测，还处于初步计算，大多数应用也只是简单的将标准，单一的深度学习目标检测算法，如一种基于FasterR_CNN网络的金属板带表面缺陷检测方法及装置和一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置。这些方法存在一个公共的问题是，单一检测算法很难在所有的缺陷检测上面都表现的很好。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的金属板缺陷检测和度量方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：

1)建立并训练基于深度学习目标检测的多级联缺陷检测器；

2)利用所述多级联缺陷检测器进行金属板缺陷检测；

3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。

进一步地，所述多级联缺陷检测器由多个目标检测模型串联或并联而成。

进一步地，所述目标检测模型包括faster RCNN模型、yolov3模型和/或SSD模型。

进一步地，所述多级联缺陷检测器的训练过程包括：

步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注；

步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；

步骤S103，以所述训练样本集作为所述多级联缺陷检测器中各目标检测模型的输入，分别训练各目标检测模型；

步骤S104，在满足训练结束条件后保存各目标检测模型的参数。

进一步地，所述步骤2)中，多个目标检测模型串联时，仅在多个目标检测模型同时在同一个位置上检测到缺陷时，判定该位置存在缺陷；

多个目标检测模型并联时，只要其中一个目标检测模型发现缺陷即判定存在缺陷。

进一步地，所述步骤2)中，多个目标检测模型串联时，对多个目标检测模型的结果进行融合后，判定缺陷的种类和位置。

进一步地，所述融合包括缺陷概率融合和缺陷位置融合。

进一步地，所述步骤2)中，在检测到缺陷时，多级联缺陷检测器输出缺陷的种类和位置，所述位置以矩形框表示，表示方法为P(x,y,w,h)，其中x,y为矩形左上角坐标，w,h为矩形的宽和高。

进一步地，所述步骤3)中，利用棋盘格标定法度量缺陷的物理大小具体为：

将网格大小为dx的棋盘格放在与金属板相同的位置，使用特征点检测方法检测每个棋盘格的像素平均距离dw，从而计算得到每个像素的物理距离pix：

pix＝dx*dw

根据检测到的缺陷位置，计算缺陷对应的物理大小，具体计算公式如下：

Pw＝w*pix

Ph＝h*pix

其中，Pw、Ph分别为缺陷的宽和高。

进一步地，该方法还包括步骤：

4)根据缺陷的物理大小判断产品是否合格，若是，则输出结果，若否，则采集产品其他角度图像，返回步骤2)，直至产品所有角度照片均检测合格。

本发明提出了一种基于多种深度学习目标检测级联的缺陷检测器，并且结合相应的度量方法，在检测出缺陷的同时，给出缺陷的物理尺寸。与现有技术相比，本发明具有以如下有益效果：

第一，本发明采用了多种深度学习目标检测级联的结构，用户可以根据需要使用其中一种或者多种检测器级联对金属板图像进行检测。适应避免虚报，避免漏检等多种需求，且采用多个模型检测结果融合有利于提高缺陷检测的正确率和精确度，在一定程度上解决了单一算法无法对所有缺陷都适用的问题。

第二，使用相机标定的方法，直接计算得到缺陷的物理尺寸大小，更有利于对缺陷的评价提供量化指标，避免人眼判断指标不统一的问题，同时节省了大量的人力资源。

第三、本发明适用于焊渣、辊印、污渍、划痕、孔洞等各种缺陷检测问题，由于采用多种检测算法级联，适用范围更加广泛，同时检测的精度更高。

附图说明

图1为本发明目标检测模型训练过程的示意图；

图2为对金属板产品进行缺陷检测和度量的过程示意图；

图3为本发明在各种缺陷检测应用上的效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种基于深度学习的金属板缺陷检测和度量方法，该方法包括以下步骤：

1)建立并训练基于深度学习目标检测的多级联缺陷检测器；

2)利用所述多级联缺陷检测器进行金属板缺陷检测；

3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。

本发明采用的是多种深度学习目标检测算法级联检测器，目标检测算法包括但不限于faster RCNN、yolov3、SSD算法。

下面以faster RCNN算法为例介绍检测器训练过程，其他两种算法训练过程类似。如图1所示，单个目标检测模型的训练过程包括：

步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注，标注方法为使用矩形框对缺陷位置进行标注并记录其种类；

步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；

步骤S103，以所述训练样本集作为Faster RCNN目标检测模型的输入进行训练，本实施例中，可使用的主干网路包括但不限于Resnet、VGG等；

步骤S104，在满足训练结束条件后保存各目标检测模型的参数。

基于上述训练过程，在各目标检测模型训练完成后，可以根据需要使用其中一种或者多种检测器级联对金属板图像进行检测。如为了避免检测器虚报，可采用串联结构，只有多个检测同时在同一个位置上，检测到缺陷时，才认定该区域存在缺陷，然后再对多个检测器的结果进行融合，确定缺陷的位置和类型，若为了避免存在漏检的情形，可以采用并联结构，只要其中一个检测器发现缺陷即认为存在缺陷。

采用串联结构时，对多个检测器的结果进行融合的方式可以根据具体的需求进行设置，包括判断是否为瑕疵的概率融合和坐标位置的融合。概率融合的方式具体可选择：

1)将几个检测的概率相乘，例如串联方式为第一检测器的认为是瑕疵的概率为0.2，第二个检测器的认为是瑕疵的概率为0.9，那么综合概率为0.2*0.9＝0.18，然后若最终概率大于0.5则为瑕疵，若小于0.5则为合格，这样做主要是防止误报；

2)采用求平均的方法，这样最终概率为(0.2+0.9)＝0.55，为不合格，这个做法比较适中；

3)求所有检测概率的最大值，只要最大值>0.5，则判为瑕疵，这样做的目标可以防止漏检。

坐标位置的融合的方式具体可选择：

1)取概率最大的位置坐标为最终瑕疵的位置坐标；

2)对几个位置坐标取平均值。

在检测到缺陷时，多级联缺陷检测器输出缺陷的种类和位置，所述位置以矩形框表示，表示方法为P(x,y,w,h)，其中x,y为矩形左上角坐标，w,h为矩形的宽和高。

在获得训练好的多级联缺陷检测器后，利用测试图像进行测试，测试过程如衅2所示，包括：

步骤S201，进行相机标定，将网格大小为dx的棋盘格放在与金属板相同的位置，使用特征点检测方法检测每个棋盘格的像素平均距离dw，从而计算得到每个像素的物理距离pix：

pix＝dx*dw (1)

步骤S202，采集进行测试的产品图像；

步骤S203，利用多级联缺陷检测器进行金属板缺陷检测；

步骤S204，在检测到缺陷时，度量缺陷的物理大小，具体计算公式如下：

Pw＝w*pix (2)

Ph＝h*pix (3)

其中，Pw、Ph分别为缺陷的宽和高；

步骤S205，判断产品是否合格，若是，则执行步骤S206，若否，则执行步骤S207；

步骤S206，判断是否需要继续采图，若是，则返回步骤S202，采集另一角度的产品图像，若否，则执行步骤S207；

步骤S207，结束，并输出检测结果。

上述过程中，同一个产品会采集多个角度的照片，只要其中一个角度的照片发现有瑕疵，那么这个产品就判为不合格，不需要再采集另外角度的照片了，只有所有角度的照片都合格，这个产品才是合格的。

在对未知图像进行缺陷检测及度量时，采用上述测试过程进行处理。

基于上述方法可实现一种基于深度学习的金属板缺陷检测及度量装置。

同时为了验证本发明在各种缺陷检测应用上的效果，本实施例选取了焊渣、脏污、划痕、凹坑等多种缺陷进行检测，检测效果如图3所示，其中，(a)为划痕，(b)为脏污，(c)为凹坑，(d)为焊渣。

为了验证本发明的性能，在另一实施例在目标检测公开数据集(COCO)上进行了实验，检测结果如表1所示。

表1 COCO数据集的实验数据

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于深度学习的金属板缺陷检测和度量方法，其特征在于，该方法包括以下步骤：

1)建立并训练基于深度学习目标检测的多级联缺陷检测器；

2)利用所述多级联缺陷检测器进行金属板缺陷检测；

3)在检测到缺陷时，利用棋盘格标定法度量缺陷的物理大小。

2.根据权利要求1所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述多级联缺陷检测器由多个目标检测模型串联或并联而成。

3.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述目标检测模型包括faster RCNN模型、yolov3模型和/或SSD模型。

4.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述多级联缺陷检测器的训练过程包括：

步骤S101，采集带有缺陷的金属板图像，对所述金属板图像进行分类和标注；

步骤S102，以所述金属板图像和对应的标注文件作为训练样本集；

步骤S103，以所述训练样本集作为所述多级联缺陷检测器中各目标检测模型的输入，分别训练各目标检测模型；

步骤S104，在满足训练结束条件后保存各目标检测模型的参数。

5.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述步骤2)中，多个目标检测模型串联时，仅在多个目标检测模型同时在同一个位置上检测到缺陷时，判定该位置存在缺陷；

多个目标检测模型并联时，只要其中一个目标检测模型发现缺陷即判定存在缺陷。

6.根据权利要求2所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述步骤2)中，多个目标检测模型串联时，对多个目标检测模型的结果进行融合后，判定缺陷的种类和位置。

7.根据权利要求6所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述融合包括缺陷概率融合和缺陷位置融合。

8.根据权利要求1所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述步骤2)中，在检测到缺陷时，多级联缺陷检测器输出缺陷的种类和位置，所述位置以矩形框表示，表示方法为P(x,y,w,h)，其中x,y为矩形左上角坐标，w,h为矩形的宽和高。

9.根据权利要求8所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，所述步骤3)中，利用棋盘格标定法度量缺陷的物理大小具体为：

将网格大小为dx的棋盘格放在与金属板相同的位置，使用特征点检测方法检测每个棋盘格的像素平均距离dw，从而计算得到每个像素的物理距离pix：

pix＝dx*dw

根据检测到的缺陷位置，计算缺陷对应的物理大小，具体计算公式如下：

Pw＝w*pix

Ph＝h*pix

其中，Pw、Ph分别为缺陷的宽和高。

10.根据权利要求1所述的基于深度学习的金属板缺陷检测和度量方法，其特征在于，该方法还包括步骤：

4)根据缺陷的物理大小判断产品是否合格，若是，则输出结果，若否，则采集产品其他角度图像，返回步骤2)，直至产品所有角度照片均检测合格。