CN117036259A - 一种基于深度学习的金属板材表面缺陷检测方法 - Google Patents

一种基于深度学习的金属板材表面缺陷检测方法 Download PDF

Info

Publication number
CN117036259A
CN117036259A CN202310932067.8A CN202310932067A CN117036259A CN 117036259 A CN117036259 A CN 117036259A CN 202310932067 A CN202310932067 A CN 202310932067A CN 117036259 A CN117036259 A CN 117036259A
Authority
CN
China
Prior art keywords
image
metal plate
deep learning
surface defects
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310932067.8A
Other languages
English (en)
Inventor
吴晨
章良
周洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Hongerde Metal Products Co ltd
Original Assignee
Suzhou Hongerde Metal Products Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Hongerde Metal Products Co ltd filed Critical Suzhou Hongerde Metal Products Co ltd
Priority to CN202310932067.8A priority Critical patent/CN117036259A/zh
Publication of CN117036259A publication Critical patent/CN117036259A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明公开了一种基于深度学习的金属板材表面缺陷检测方法,包括以下步骤,步骤1、对待检测的金属板材进行数据采集,获取覆盖整个金属板材的表面图像并制作训练集;步骤2、构建YOLOV5目标检测模型,并利用训练集训练构建的模型。该基于深度学习的金属板材表面缺陷检测方法,通过对金属板材表面图像进行灰度化、降噪,能够提高图像的整体质量,增强细节,使图像更清晰、更易于分析和理解,保持图像的完整性,改善图像质量、增强对比度、提高测量准确性、改善图像处理和分析,提高图像的展示效果,并且能够使得图像特征更加明显,方便处理和分析,从而能够清晰地提取金属板材表面缺陷的特征点,进而更好地对缺陷进行分类。

Description

一种基于深度学习的金属板材表面缺陷检测方法
技术领域
本发明属于金属检测技术领域,具体涉及一种基于深度学习的金属板材表面缺陷检测方法。
背景技术
金属板材表面缺陷检测从人工检测到现在的机器视觉检测,共经历多年的发展,按时间的先后顺序大致可以分为非自动化检测、自动化检测和机器/计算机视觉检测共三个阶段。目前采用涡流、红外和漏磁等检测技术实现的检测系统只适用于某些要求不高的应用场合,其检测原理的局限性导致可检出的缺陷种类和缺陷定量描述参数极为有限,无法综合评估产品的表面质量状。
自动金属板材表面缺陷检测技术(Automaticsurfacedefectdetection,ASDD)已引起了学术界越来越多的关注。欧洲国家由于在光电技术上的传统优势,很快形成了以英国、德国为领先的发展格局。这一时期的缺陷检测方法主要采用涡流检测法、红外检测法和漏磁检测法等。例如Ohkubo等人提出了一种检测系统,该系统使用激光作为扫描光源,12面反射棱镜和柱面镜作为光学系统,并使用光电倍增管接收检测系统。此外,Liu等人提出了涡流检测理论,并成功地将涡流检测技术应用于金属钡的检测,开启了涡流检测在金属表面缺陷检测中应用的研究热潮。Choudhary等人开发了连铸坯表面缺陷在线自动检测系统,这引发了表面缺陷红外检测的研究热潮。但这些方法受自身检测原理的限制,不能检出所有类型的缺陷,在很多场合不能直接使用。
现阶段,基于深度学习的利用计算机视觉技术的缺陷检测技术分两种类型:缺陷分类和缺陷目标检测。其中缺陷分类任务只需要判别图像是否包含某类缺陷;而目标检测任务还需要寻找图像中存在缺陷的位置,并给出缺陷的类型,现在检测技术难以检测形态特征不固定,缺陷类型不易分类的缺陷,为此,我们提出了一种基于深度学习的金属板材表面缺陷检测方法。
发明内容
为解决上述背景技术中提出的问题。本发明提供了一种基于深度学习的金属板材表面缺陷检测方法。
为实现上述目的,本发明提供如下技术方案:一种基于深度学习的金属板材表面缺陷检测方法,包括以下步骤,
步骤1、对待检测的金属板材进行数据采集,获取覆盖整个金属板材的表面图像并制作训练集;
步骤2、构建YOLOV5目标检测模型,并利用训练集训练构建的模型;
步骤3、对金属板材的表面图像进行预处理,以金属板材的边界点为原点构建平面坐标系,并对金属板材进行区域划分;
步骤4、利用训练好的YOLOV5目标检测模型处理相机实时采集到的金属板材图像,确定金属板材图像在金属板材表面的平面坐标区域;
步骤5、确定缺陷位置坐标后调整相机位置,对金属板材表面缺陷进行不同角度的拍照,随后对图像进行分割操作和缺陷特征提取。
本发明一个较佳实施例中,步骤1中,训练集的制作方法,包括以下步骤,
步骤1.1、通过摄像模块对金属板材的表面进行图像采集,构成样本数据,并对样本数据进行整理和标注;
步骤1.2、将样本数据进行分类,将图像进行数据增强,生成更多的训练样本,形成训练集;
步骤1.3、利用labelme软件对训练集进行标注。
本发明一个较佳实施例中,步骤3中,对图像的预处理包括灰度化处理、噪声去除和图像增强。
本发明一个较佳实施例中,所述灰度化处理方法为平均法、加权平均法、最大值法和最小值法中任一种,优选的选用加权平均法。
本发明一个较佳实施例中,所述灰度值的计算方法为:灰度值=0.2989*红色通道值+0.5870*绿色通道值+0.1140*-蓝色通道值。
本发明一个较佳实施例中,所述噪声去除,能够采用自适应中值滤波方法算法对图像中的高斯噪声和椒盐噪声进行去除,优选地选用3*3、5*5或7*7的中值滤波器,并对图像中的每个像素,将其周围的邻域像素按照滤波器尺寸进行排序,然后取排序后的中值作为该像素的新值,重复这个过程,直到对图像中的所有像素都进行了处理。
本发明一个较佳实施例中,所述图像增强能够采用改进的基于形态学的图像增强算法,优选的通过emphasize算子实现图像增强。
本发明一个较佳实施例中,步骤5中,采用双三次插值算子与最大类间方差法结合的方法对图像进行了二值化处理,并选用形态学开操作技术对二值化处理后图像进行图像中金属板材表面缺陷提取。
本发明一个较佳实施例中,对形态学处理后的二值图像进行连通域划分,计算图像中板材缺陷的面积、缺陷伸长度及板材损伤程度的特征值,得到图像中叶片缺陷特点。
本发明一个较佳实施例中,图像的预处理还包括去模糊化处理,优选的对采集的样本图像进行图像去模糊化处理选用退化传递函数的去除运动模糊方法即维纳滤波法。
本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:
1、该基于深度学习的金属板材表面缺陷检测方法,通过对金属板材表面图像进行灰度化、降噪,能够提高图像的整体质量,增强细节,使图像更清晰、更易于分析和理解,保持图像的完整性,改善图像质量、增强对比度、提高测量准确性、改善图像处理和分析,提高图像的展示效果,并且能够使得图像特征更加明显,方便处理和分析,从而能够清晰地提取金属板材表面缺陷的特征点,进而更好地对缺陷进行分类。
2、该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行灰度化处理,能够使得图像处理和分析更加高效,可以减少计算和存储的成本,并且使得图像处理和分析更加高效,可以减少计算和存储的成本,灰度图像只需要一个通道来表示亮度信息,相比于彩色图像,它的存储空间和传输带宽要求更低,同时通过灰度化处理,可以使得图像特征更加明显,从而方便后续的噪声去除和图像增强处理。
3、该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行分割和对图像中金属板材表面缺陷特征进行特征提取,可以将缺陷的面积、缺陷伸长度及板材损伤程度转化为具体的特征值,方便计算图像之间的相似度或距离,从而找到与查询图像相似的图像或将图像分为不同的类别。
4、该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行降噪处理,降噪可以减少图像中的随机噪点,从而使图像更加清晰和可辨认,能够有助于观察和分析样本的细节和结构,还可以减少图像中的噪点干扰,使样本的边缘和细节更加清晰和突出,能够有助于提高图像的对比度,使样本的结构和特征更易于分析和理解,并且在进行图像分割、特征提取、目标识别等任务时,降噪可以减少噪点引起的误差和干扰,提高处理和分析的准确性和可靠性。
具体实施方式
现在结合实施例对本发明作进一步详细地说明。
一种基于深度学习的金属板材表面缺陷检测方法,包括以下步骤,
步骤1、对待检测的金属板材进行数据采集,获取覆盖整个金属板材的表面图像并制作训练集;
步骤1中,训练集的制作方法,包括以下步骤,
步骤1.1、通过摄像模块对金属板材的表面进行图像采集,构成样本数据,并对样本数据进行整理和标注;
步骤1.2、将样本数据进行分类,将图像进行数据增强,生成更多的训练样本,形成训练集;
步骤1.3、利用labelme软件对训练集进行标注。
步骤2、构建YOLOV5目标检测模型,并利用训练集训练构建的模型;
步骤3、对金属板材的表面图像进行预处理,以金属板材的边界点为原点构建平面坐标系,并对金属板材进行区域划分;
步骤4、利用训练好的YOLOV5目标检测模型处理相机实时采集到的金属板材图像,确定金属板材图像在金属板材表面的平面坐标区域;
步骤5、确定缺陷位置坐标后调整相机位置,对金属板材表面缺陷进行不同角度的拍照,随后对图像进行分割操作和缺陷特征提取。
该基于深度学习的金属板材表面缺陷检测方法,通过对金属板材表面图像进行灰度化、降噪,能够提高图像的整体质量,增强细节,使图像更清晰、更易于分析和理解,保持图像的完整性,改善图像质量、增强对比度、提高测量准确性、改善图像处理和分析,提高图像的展示效果,并且能够使得图像特征更加明显,方便处理和分析,从而能够清晰地提取金属板材表面缺陷的特征点,进而更好地对缺陷进行分类。
步骤3中,对图像的预处理包括灰度化处理、噪声去除和图像增强,图像的预处理还包括去模糊化处理,优选的对采集的样本图像进行图像去模糊化处理选用退化传递函数的去除运动模糊方法即维纳滤波法。
灰度化处理方法为平均法、加权平均法、最大值法和最小值法中任一种,优选的选用加权平均法,灰度值的计算方法为:灰度值=0.2989*红色通道值+0.5870*绿色通道值+0.1140*-蓝色通道值;该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行灰度化处理,能够使得图像处理和分析更加高效,可以减少计算和存储的成本,并且使得图像处理和分析更加高效,可以减少计算和存储的成本,灰度图像只需要一个通道来表示亮度信息,相比于彩色图像,它的存储空间和传输带宽要求更低,同时通过灰度化处理,可以使得图像特征更加明显,从而方便后续的噪声去除和图像增强处理。
噪声去除,能够采用自适应中值滤波方法算法对图像中的高斯噪声和椒盐噪声进行去除,优选的选用3*3、5*5或7*7的中值滤波器,并对图像中的每个像素,将其周围的邻域像素按照滤波器尺寸进行排序,然后取排序后的中值作为该像素的新值,重复这个过程,直到对图像中的所有像素都进行了处理;该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行降噪处理,降噪可以减少图像中的随机噪点,从而使图像更加清晰和可辨认,能够有助于观察和分析样本的细节和结构,还可以减少图像中的噪点干扰,使样本的边缘和细节更加清晰和突出,能够有助于提高图像的对比度,使样本的结构和特征更易于分析和理解,并且在进行图像分割、特征提取、目标识别等任务时,降噪可以减少噪点引起的误差和干扰,提高处理和分析的准确性和可靠性。
图像增强能够采用改进的基于形态学的图像增强算法,优选的通过emphasize算子实现图像增强。
步骤5中,采用双三次插值算子与最大类间方差法结合的方法对图像进行了二值化处理,并选用形态学开操作技术对二值化处理后图像进行图像中金属板材表面缺陷提取;对形态学处理后的二值图像进行连通域划分,计算图像中板材缺陷的面积、缺陷伸长度及板材损伤程度的特征值,得到图像中叶片缺陷特点;该基于深度学习的金属板材表面缺陷检测方法,通过对图像进行分割和对图像中金属板材表面缺陷特征进行特征提取,可以将缺陷的面积、缺陷伸长度及板材损伤程度转化为具体的特征值,方便计算图像之间的相似度或距离,从而找到与查询图像相似的图像或将图像分为不同的类别。
本发明提供了一种基于深度学习的金属板材表面缺陷检测方法,包括以下步骤,
步骤1、对待检测的金属板材进行数据采集,获取覆盖整个金属板材的表面图像并制作训练集;
步骤2、构建YOLOV5目标检测模型,并利用训练集训练构建的模型;
步骤3、对金属板材的表面图像进行预处理,以金属板材的边界点为原点构建平面坐标系,并对金属板材进行区域划分;
步骤4、利用训练好的YOLOV5目标检测模型处理相机实时采集到的金属板材图像,确定金属板材图像在金属板材表面的平面坐标区域;
步骤5、确定缺陷位置坐标后调整相机位置,对金属板材表面缺陷进行不同角度的拍照,随后对图像进行分割操作和缺陷特征提取。
在本发明的描述中,需要理解的是,术语“第一”“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,术语“一个实施例”“一些实施例”“实施例”“示例”“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。

Claims (10)

1.一种基于深度学习的金属板材表面缺陷检测方法,其特征在于,包括以下步骤,
步骤1、对待检测的金属板材进行数据采集,获取覆盖整个金属板材的表面图像并制作训练集;
步骤2、构建YOLOV5目标检测模型,并利用训练集训练构建的模型;
步骤3、对金属板材的表面图像进行预处理,以金属板材的边界点为原点构建平面坐标系,并对金属板材进行区域划分;
步骤4、利用训练好的YOLOV5目标检测模型处理相机实时采集到的金属板材图像,确定金属板材图像在金属板材表面的平面坐标区域;
步骤5、确定缺陷位置坐标后调整相机位置,对金属板材表面缺陷进行不同角度的拍照,随后对图像进行分割操作和缺陷特征提取。
2.根据权利要求1所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:步骤1中,训练集的制作方法,包括以下步骤,
步骤1.1、通过摄像模块对金属板材的表面进行图像采集,构成样本数据,并对样本数据进行整理和标注;
步骤1.2、将样本数据进行分类,将图像进行数据增强,生成更多的训练样本,形成训练集;
步骤1.3、利用labelme软件对训练集进行标注。
3.根据权利要求1所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:步骤3中,对图像的预处理包括灰度化处理、噪声去除和图像增强。
4.根据权利要求3所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:所述灰度化处理方法为平均法、加权平均法、最大值法和最小值法中任一种,优选的选用加权平均法。
5.根据权利要求3所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:所述灰度值的计算方法为:灰度值=0.2989*红色通道值+0.5870*绿色通道值+0.1140*-蓝色通道值。
6.根据权利要求3所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:所述噪声去除,能够采用自适应中值滤波方法算法对图像中的高斯噪声和椒盐噪声进行去除,优选的选用3*3、5*5或7*7的中值滤波器,并对图像中的每个像素,将其周围的邻域像素按照滤波器尺寸进行排序,然后取排序后的中值作为该像素的新值,重复这个过程,直到对图像中的所有像素都进行了处理。
7.根据权利要求3所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:所述图像增强能够采用改进的基于形态学的图像增强算法,优选的通过emphasize算子实现图像增强。
8.根据权利要求1所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:步骤5中,采用双三次插值算子与最大类间方差法结合的方法对图像进行了二值化处理,并选用形态学开操作技术对二值化处理后图像进行图像中金属板材表面缺陷提取。
9.根据权利要求8所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:对形态学处理后的二值图像进行连通域划分,计算图像中板材缺陷的面积、缺陷伸长度及板材损伤程度的特征值,得到图像中叶片缺陷特点。
10.根据权利要求3所述的一种基于深度学习的金属板材表面缺陷检测方法,其特征在于:图像的预处理还包括去模糊化处理,优选地对采集的样本图像进行图像去模糊化处理选用退化传递函数的去除运动模糊方法即维纳滤波法。
CN202310932067.8A 2023-07-27 2023-07-27 一种基于深度学习的金属板材表面缺陷检测方法 Pending CN117036259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310932067.8A CN117036259A (zh) 2023-07-27 2023-07-27 一种基于深度学习的金属板材表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310932067.8A CN117036259A (zh) 2023-07-27 2023-07-27 一种基于深度学习的金属板材表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN117036259A true CN117036259A (zh) 2023-11-10

Family

ID=88621835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310932067.8A Pending CN117036259A (zh) 2023-07-27 2023-07-27 一种基于深度学习的金属板材表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117036259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635615A (zh) * 2024-01-26 2024-03-01 深圳市常丰激光刀模有限公司 基于深度学习实现冲孔模具的缺陷检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635615A (zh) * 2024-01-26 2024-03-01 深圳市常丰激光刀模有限公司 基于深度学习实现冲孔模具的缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
US11221107B2 (en) Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN110161035B (zh) 基于图像特征与贝叶斯数据融合的结构表面裂缝检测方法
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN111369516B (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
US10453195B2 (en) Method of detecting tissue area of interest in digital pathology imaging by executing computer-executable instructions stored on a non-transitory computer-readable medium
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
Daniel et al. Automatic road distress detection and analysis
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN117036259A (zh) 一种基于深度学习的金属板材表面缺陷检测方法
JP2004045356A (ja) 表面欠陥検出方法
CN112613456A (zh) 一种基于多帧差分图像累积的小目标检测方法
CN109544535B (zh) 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统
Huang et al. Mango surface defect detection based on HALCON
Balasubramani et al. Defect identification in casting surface using image processing techniques
Guo et al. Fault diagnosis of power equipment based on infrared image analysis
CN115601379A (zh) 一种基于数字图像处理的表面裂纹精确检测技术
CN112581424B (zh) 一种光学元件表面与亚表面缺陷的分类提取方法
Chong et al. Fabric Defect Detection Method Based on Projection Location and Superpixel Segmentation
Mustapha et al. Crack Detection on Surfaces Using Digital Image Processing
CN112330633B (zh) 基于自适应带通滤波的跨接线胶带破损故障图像分割方法
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination