CN106934800A - 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 - Google Patents
一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN106934800A CN106934800A CN201710110597.9A CN201710110597A CN106934800A CN 106934800 A CN106934800 A CN 106934800A CN 201710110597 A CN201710110597 A CN 201710110597A CN 106934800 A CN106934800 A CN 106934800A
- Authority
- CN
- China
- Prior art keywords
- metal plate
- image
- defect
- yolo9000
- rectangle frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置，能够提高金属板带表面缺陷检测的准确率。方法包括：采集用于训练YOLO9000网络的金属板带表面的图像；对采集到的所述金属板带表面的图像进行数据增强；将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取矩形框的坐标与矩形框所包含缺陷的种类；根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。本发明适用于机器视觉技术领域。
Description
技术领域
本发明涉及机器视觉技术领域，特别是指一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置。
背景技术
金属板带是汽车、机械制造、化工、航空航天和造船等行业不可缺少的原材料。金属板带表面缺陷是指金属板带在生产加工的过程中，由于工艺或其它各种原因致使金属板带表面局部区域物理或化学性质不均匀。常见的金属板带表面缺陷有辊印、污渍、划痕、孔洞、漏涂、凹陷、气泡、异物、剥落等。表面缺陷是原子活性较高的部位，常常成为金属腐蚀的始发处，表面缺陷的存在会大大降低零件的抗疲劳强度，有损零件表面的质量，影响机器、仪器的使用性能和寿命，影响其最终产品的性能和质量。因此及时检测金属板带表面缺陷，对缺陷进行严重程度评价，对于提高表面质量和产品经济效益有着重要意义。
随着我国工业化水平的不断发展，对金属板带表面质量的要求也越来越高，如何快速准确地检测出表面缺陷成为金属板带轧制过程中非常关键的一个环节。目前主流的表面缺陷检测技术均为以图像处理为基础的机器视觉技术，基本分为两步：
(1)先对通过工业相机获得的图像进行处理，然后提取特征，这一步的方法主要有统计法、结构法、频谱法、模型法等四类，其中使用较为广泛的是统计法与频谱法[2]；
(2)通过训练好的分类器，对(1)提取的特征进行分类，目前使用较多的分类器有BP神经网络，SVM等。
但这些方法均存在着缺陷和非缺陷区域之间的低对比度，噪音和细微缺陷的相似性，检测速度慢和识别精度低等难题，无法满足工业生产的准确性和实时性要求。
发明内容
本发明要解决的技术问题是提供一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置，以解决现有技术所存在的无法满足工业生产的准确性和实时性要求的问题。
为解决上述技术问题，本发明实施例提供一种基于YOLO9000网络的金属板带表面缺陷检测方法，包括：
采集用于训练YOLO9000网络的金属板带表面的图像；
对采集到的所述金属板带表面的图像进行数据增强；
将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
进一步地，所述对采集到的所述金属板带表面的图像进行数据增强包括：
通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
进一步地，所述将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类包括：
将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
进一步地，在根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练之前，所述方法还包括：
根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
进一步地，所述根据实时采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练包括：
根据生成的数据集对YOLO9000网络进行训练。
本发明实施例还提供一种基于YOLO9000网络的金属板带表面缺陷检测装置，包括：
采集模块，用于采集用于训练YOLO9000网络的金属板带表面的图像；
增强模块，用于对采集到的所述金属板带表面的图像进行数据增强；
获取模块，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
训练模块，用于根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
检测模块，用于实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
进一步地，所述增强模块，用于通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
进一步地，所述获取模块包括：
标注单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注；
获取单元，用于获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
生成单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
进一步地，所述装置还包括：
编号模块，用于根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
进一步地，所述训练模块，用于根据生成的数据集对YOLO9000网络进行训练。
本发明的上述技术方案的有益效果如下：
上述方案中，采集用于训练YOLO9000网络的金属板带表面的图像；对采集到的所述金属板带表面的图像进行数据增强；将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位，不仅满足了工业生产实时检测金属板带表面缺陷的需求，还能提高金属板带表面缺陷检测的准确率。
附图说明
图1为本发明实施例提供的基于YOLO9000网络的金属板带表面缺陷检测方法的流程示意图；
图2为本发明实施例提供的YOLO9000网络的工作原理示意图；
图3为本发明实施例提供的实时采集到的待检测的金属板带表面图像；
图4为本发明实施例提供的基于YOLO9000网络的金属板带表面缺陷检测方法检测后的效果图；
图5为本发明实施例提供的基于YOLO9000网络的金属板带表面缺陷检测装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的无法满足工业生产的准确性和实时性要求的问题，提供一种基于YOLO9000网络的金属板带表面缺陷检测方法及装置。
实施例一
参看图1所示，本发明实施例提供的基于YOLO9000网络的金属板带表面缺陷检测方法，包括：
S101，采集用于训练YOLO9000网络的金属板带表面的图像；
S102，对采集到的所述金属板带表面的图像进行数据增强；
S103，将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
S104，根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
S105，实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
本发明实施例所述的基于YOLO9000网络的金属板带表面缺陷检测方法，采集用于训练YOLO9000网络的金属板带表面的图像；对采集到的所述金属板带表面的图像进行数据增强；将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位，不仅满足了工业生产实时检测金属板带表面缺陷的需求，还能提高金属板带表面缺陷检测的准确率。
本实施例中，为了更好地理解基于YOLO9000网络的金属板带表面缺陷检测方法，先对YOLO9000网络的工作原理进行说明，如图2所示：
A11，YOLO9000网络先将输入图像分成S×S个方格(如图2(a)所示)。
A12，在每个方格中预测n个bounding box(边界方框)与每个bounding box是所需检测目标的confidence(置信度)(如图2(b)所示)，将confidence定义为其中，Pr(Object)指的是每个bounding box中包含检测目标的概率，指的是预测的bounding box和输入图像标签中所给出的框的重叠率。因此对于每个bounding box有五个输出(x,y,w,h,c)，x和y代表每个bounding box的中心点坐标，w和h分别代表每个bounding box的宽和高，c代表confidence。
本实施例中，需要说明的是对于每个bounding box在计算置信度时，算出其对于每个缺陷种类的置信度，具体的：
H1、对于训练数据，在输入YOLO9000网络前，需要对其加标签(矩形框中心点坐标，宽和高，缺陷种类)，这时无需计算置信度，但需对矩形框中的缺陷进行分类；
H2、对于训练数据，在输入YOLO9000网络后，会根据步骤A12算出置信度，然后计算损失函数值(损失函数用来计算YOLO9000网络计算出的五个参数与自己标注的五个参数之间的差距)，通过反向传播来调整权重，对于前四个参数直接加减然后通过损失函数计算即可，对于最后一个参数，权重的调整使得正确缺陷种类的置信度升高，非正确缺陷种类的置信度降低；
H3、对于实时采集的数据，也就是开始应用时采集到的数据，在输入YOLO9000网络后，也会算出五个参数(矩形框中心点坐标，宽和高，置信度)，将这五个数据通过损失函数计算后，会得到使损失函数值最低的bounding box，也就是最后需要的分类框，即检测结果，但这时并不会进行反向传播来调整权重。
A13，对于每一个方格，预测其包含某一类检测目标的条件概率Pr(Classi|Object)(如图2(c)所示)，Pr(Classi|Object)的含义是在假定某一方格包含有所需检测目标的情况下，所包含的检测目标是第i类检测目标的概率。
A14，然后将A12与A13得到的置信度进行结合，通过下列公式得出每个boundingbox对于每个具体类别的置信度：
再通过损失函数的计算得出最终对于每个检测目标的定位框(如图2(d)所示)。
在前述基于YOLO9000网络的金属板带表面缺陷检测方法的具体实施方式中，进一步地，所述对采集到的所述金属板带表面的图像进行数据增强包括：
通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
本实施例中，可以通过工业相机采集用于训练YOLO9000网络的金属板带表面的图像，并对采集的金属板带表面的图像通过翻转、平移等策略进行数据增强。
本实施例中，数据增强是在数据集中数据过少或数据难以获得的情况下，对已有的数据集通过翻转平移等策略进行扩大，得到的数据集包括原先的数据和增强后的数据。同一物体，在不同的角度和不同的背景下观察，得到的图像可能完全不同，计算机可能无法正确识别这些图像，因此对图像进行镜像翻转和水平移动，可以使数据集中包括同一张图片在不同角度不同位置的各种数据。
在前述基于YOLO9000网络的金属板带表面缺陷检测方法的具体实施方式中，进一步地，所述将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类包括：
将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
本实施例中，将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，取所述矩形框的坐标与所述矩形框所包含缺陷的种类(具体的：获取每个矩形框的五个参数，所述矩形框的五个参数包括：矩形框的中心点坐标(所述中心点坐标为二维坐标)，矩形框的宽度与高度，以及矩形框所包含缺陷的种类)，将采集到的所述金属板带表面的图像及数据增强后得到的图像、这五个参数生成文本文件，文本文件中包括每张图片中所有矩形框的五个参数，从而得到数据集，根据生成的数据集对YOLO9000网络进行训练，其中，数据集包括全部的图像与文本文件。
本实施例中，所述数据集包括三部分，第一部分是训练集，用来训练YOLO9000网络；第二部分部分是验证集，用来调整YOLO9000网络超参数；第三部分是测试集，用来衡量网络性能。
本实施例中，对于每个bounding box在计算置信度时，会算出其对于每个缺陷种类的置信度。在前述基于YOLO9000网络的金属板带表面缺陷检测方法的具体实施方式中，进一步地，在根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练之前，所述方法还包括：
根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
本实施例中，根据要检测的缺陷类别(例如辊印、污渍、划痕、孔洞、漏涂、凹陷、气泡、异物、剥落等)，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
本实施例中，当应用训练好的YOLO9000网络检测金属板带表面缺陷时，需实时采集待检测的金属板带表面图像金属板带表面缺陷，再根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位，本实施例提供的基于YOLO9000网络的金属板带表面缺陷检测方法，能够快速准确的检测出金属板带表面的缺陷，对于各种类型的缺陷均有较高的准确率，检测结果均可达到百分之九十五以上的准确率，对于部分类别的缺陷甚至可以达到百分之百的准确率，图3与图4分别是实时采集的待检测的金属板带表面图像与使用本实施例提供的基于YOLO9000网络的金属板带表面缺陷检测方法检测后的效果图。
本实施例中，可以在金属板带生产线上架设工业相机以便实时采集待检测的金属板带表面图像，将工业相机与计算机连接，每当工业相机采集到待检测的金属板带表面图像并传输到计算机时，训练好的YOLO9000网络可以实现对图像的实时处理，将图像中的缺陷用矩形框标注出来并输出。
实施例二
本发明还提供一种基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式，由于本发明提供的基于YOLO9000网络的金属板带表面缺陷检测装置与前述基于YOLO9000网络的金属板带表面缺陷检测方法的具体实施方式相对应，该基于YOLO9000网络的金属板带表面缺陷检测装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于YOLO9000网络的金属板带表面缺陷检测方法具体实施方式中的解释说明，也适用于本发明提供的基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
参看图5所示，本发明实施例还提供一种基于YOLO9000网络的金属板带表面缺陷检测装置，包括：
采集模块11，用于采集用于训练YOLO9000网络的金属板带表面的图像；
增强模块12，用于对采集到的所述金属板带表面的图像进行数据增强；
获取模块13，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
训练模块14，用于根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
检测模块15，用于实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
本发明实施例所述的基于YOLO9000网络的金属板带表面缺陷检测装置，采集用于训练YOLO9000网络的金属板带表面的图像；对采集到的所述金属板带表面的图像进行数据增强；将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位，不仅满足了工业生产的实时性需求，还能提高表面缺陷检测的准确率。
在前述基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式中，进一步地，所述增强模块，用于通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
在前述基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式中，进一步地，所述获取模块包括：
标注单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注；
获取单元，用于获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
生成单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
在前述基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式中，进一步地，所述装置还包括：
编号模块，用于根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
在前述基于YOLO9000网络的金属板带表面缺陷检测装置的具体实施方式中，进一步地，所述训练模块，用于根据生成的数据集对YOLO9000网络进行训练。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于YOLO9000网络的金属板带表面缺陷检测方法，其特征在于，包括：
采集用于训练YOLO9000网络的金属板带表面的图像；
对采集到的所述金属板带表面的图像进行数据增强；
将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
2.根据权利要求1所述的基于YOLO9000网络的金属板带表面缺陷检测方法，其特征在于，所述对采集到的所述金属板带表面的图像进行数据增强包括：
通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
3.根据权利要求1所述的基于YOLO9000网络的金属板带表面缺陷检测方法，其特征在于，所述将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类包括：
将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
4.根据权利要求1所述的基于YOLO9000网络的金属板带表面缺陷检测方法，其特征在于，在根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练之前，所述方法还包括：
根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
5.根据权利要求3所述的基于YOLO9000网络的金属板材表面缺陷检测方法，其特征在于，所述根据实时采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练包括：
根据生成的数据集对YOLO9000网络进行训练。
6.一种基于YOLO9000网络的金属板带表面缺陷检测装置，其特征在于，包括：
采集模块，用于采集用于训练YOLO9000网络的金属板带表面的图像；
增强模块，用于对采集到的所述金属板带表面的图像进行数据增强；
获取模块，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
训练模块，用于根据采集到的所述金属板带表面的图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO9000网络进行训练；
检测模块，用于实时采集待检测的金属板带表面图像，根据训练好的YOLO9000网络和实时采集到的待检测的金属板带表面图像，实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位。
7.根据权利要求6所述的基于YOLO9000网络的金属板带表面缺陷检测装置，其特征在于，所述增强模块，用于通过翻转、平移策略对采集到的所述金属板带表面的图像进行数据增强。
8.根据权利要求6所述的基于YOLO9000网络的金属板带表面缺陷检测装置，其特征在于，所述获取模块包括：
标注单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像中的缺陷部分用矩形框进行标注；
获取单元，用于获取所述矩形框的中心点坐标，所述矩形框的宽度、高度，及所述矩形框所包含缺陷的种类；
生成单元，用于将采集到的所述金属板带表面的图像及数据增强后得到的图像、获取的所述矩形框的中心点坐标、所述矩形框的宽度与高度、及所述矩形框所包含缺陷的种类生成数据集。
9.根据权利要求6所述的基于YOLO9000网络的金属板带表面缺陷检测装置，其特征在于，所述装置还包括：
编号模块，用于根据要检测的缺陷类别，修改YOLO9000网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
10.根据权利要求8所述的基于YOLO9000网络的金属板材板带表面缺陷检测装置，其特征在于，所述训练模块，用于根据生成的数据集对YOLO9000网络进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710110597.9A CN106934800B (zh) | 2017-02-28 | 2017-02-28 | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710110597.9A CN106934800B (zh) | 2017-02-28 | 2017-02-28 | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106934800A true CN106934800A (zh) | 2017-07-07 |
| CN106934800B CN106934800B (zh) | 2020-04-07 |
Family
ID=59424224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710110597.9A Active CN106934800B (zh) | 2017-02-28 | 2017-02-28 | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106934800B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944505A (zh) * | 2017-12-19 | 2018-04-20 | 青岛科技大学 | 一种金属失效类型自动化判断方法 |
| CN108399398A (zh) * | 2018-03-22 | 2018-08-14 | 武汉云衡智能科技有限公司 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
| CN109064462A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习的钢轨表面缺陷检测方法 |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109087281A (zh) * | 2018-07-02 | 2018-12-25 | 北京百度网讯科技有限公司 | 显示屏外围电路检测方法、装置、电子设备及存储介质 |
| CN109460753A (zh) * | 2018-05-25 | 2019-03-12 | 江南大学 | 一种检测水上漂浮物的方法 |
| CN109580656A (zh) * | 2018-12-24 | 2019-04-05 | 广东华中科技大学工业技术研究院 | 基于动态权重组合分类器的手机导光板缺陷检测方法及系统 |
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN110009617A (zh) * | 2019-04-02 | 2019-07-12 | 浙江大学 | 一种轴类件在线质量检测方法 |
| CN110210401A (zh) * | 2019-06-03 | 2019-09-06 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种弱光下的目标智能检测方法 |
| CN110276754A (zh) * | 2019-06-21 | 2019-09-24 | 厦门大学 | 一种表面缺陷检测方法、终端设备及存储介质 |
| CN110598815A (zh) * | 2019-09-17 | 2019-12-20 | 西南科技大学 | 一种基于uhf无源rfid的金属结构健康检测方法 |
| CN111428723A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 字符识别方法及装置、电子设备、存储介质 |
| CN113033554A (zh) * | 2021-03-23 | 2021-06-25 | 成都国铁电气设备有限公司 | 一种实时在线检测锚固螺栓缺陷的方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104614380A (zh) * | 2013-11-04 | 2015-05-13 | 北京兆维电子(集团)有限责任公司 | 一种板带表面质量检测系统和方法 |
-
2017
- 2017-02-28 CN CN201710110597.9A patent/CN106934800B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104614380A (zh) * | 2013-11-04 | 2015-05-13 | 北京兆维电子(集团)有限责任公司 | 一种板带表面质量检测系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| JOSEPH REDMON ET AL: "YOLO9000: Better, Faster, Stronger", 《EPRINT ARXIV:1612.08242》 * |
| LI YI ET AL: "An End‐to‐End Steel Strip Surface Defects Recognition System Based on Convolutional Neural Networks", 《STEEL RESEARCH INTERNATIONAL》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944505A (zh) * | 2017-12-19 | 2018-04-20 | 青岛科技大学 | 一种金属失效类型自动化判断方法 |
| CN108399398A (zh) * | 2018-03-22 | 2018-08-14 | 武汉云衡智能科技有限公司 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
| CN109460753A (zh) * | 2018-05-25 | 2019-03-12 | 江南大学 | 一种检测水上漂浮物的方法 |
| CN109460753B (zh) * | 2018-05-25 | 2021-05-14 | 江南大学 | 一种检测水上漂浮物的方法 |
| CN109087281A (zh) * | 2018-07-02 | 2018-12-25 | 北京百度网讯科技有限公司 | 显示屏外围电路检测方法、装置、电子设备及存储介质 |
| CN109064462A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习的钢轨表面缺陷检测方法 |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109580656A (zh) * | 2018-12-24 | 2019-04-05 | 广东华中科技大学工业技术研究院 | 基于动态权重组合分类器的手机导光板缺陷检测方法及系统 |
| CN109580656B (zh) * | 2018-12-24 | 2021-01-15 | 广东华中科技大学工业技术研究院 | 基于动态权重组合分类器的手机导光板缺陷检测方法及系统 |
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN109859171B (zh) * | 2019-01-07 | 2021-09-17 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN110009617A (zh) * | 2019-04-02 | 2019-07-12 | 浙江大学 | 一种轴类件在线质量检测方法 |
| CN110210401A (zh) * | 2019-06-03 | 2019-09-06 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种弱光下的目标智能检测方法 |
| CN110210401B (zh) * | 2019-06-03 | 2022-10-21 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种弱光下的目标智能检测方法 |
| CN110276754A (zh) * | 2019-06-21 | 2019-09-24 | 厦门大学 | 一种表面缺陷检测方法、终端设备及存储介质 |
| CN110276754B (zh) * | 2019-06-21 | 2021-08-20 | 厦门大学 | 一种表面缺陷检测方法、终端设备及存储介质 |
| CN110598815B (zh) * | 2019-09-17 | 2022-03-25 | 西南科技大学 | 一种基于uhf无源rfid的金属结构健康检测方法 |
| CN110598815A (zh) * | 2019-09-17 | 2019-12-20 | 西南科技大学 | 一种基于uhf无源rfid的金属结构健康检测方法 |
| CN111428723A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 字符识别方法及装置、电子设备、存储介质 |
| CN113033554A (zh) * | 2021-03-23 | 2021-06-25 | 成都国铁电气设备有限公司 | 一种实时在线检测锚固螺栓缺陷的方法 |
| CN113033554B (zh) * | 2021-03-23 | 2022-05-13 | 成都国铁电气设备有限公司 | 一种实时在线检测锚固螺栓缺陷的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106934800B (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106934800A (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
| CN106952250A (zh) | 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN109886298A (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
| CN109727229B (zh) | 虚焊检测方法及装置 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN106875373A (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
| US11315229B2 (en) | Method for training defect detector | |
| CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
| CN117250208B (zh) | 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
| CN106770333B (zh) | 一种bga缺陷自动检测方法 | |
| Mizuno et al. | Development of visual egg inspection system for poultry farmer using CNN with deep learning | |
| CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
| CN111028250A (zh) | 一种实时智能验布方法及系统 | |
| CN113793321B (zh) | 基于机器视觉的铸件表面缺陷动态检测方法及装置 | |
| CN112862826B (zh) | 一种表面缺陷检测任务的正常样本无损生成方法 | |
| CN109685008A (zh) | 一种实时的视频目标检测方法 | |
| CN114354491A (zh) | 一种基于机器视觉的dcb陶瓷基板缺陷检测方法 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| CN108181315B (zh) | 一种基于图像处理的饼干损伤检测装置及检测方法 | |
| Rale et al. | Comparison of different ANN techniques for automatic defect detection in X-Ray images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |