CN115205288A - 工业缺陷检测方法和装置 - Google Patents

工业缺陷检测方法和装置 Download PDF

Info

Publication number
CN115205288A
CN115205288A CN202211112688.3A CN202211112688A CN115205288A CN 115205288 A CN115205288 A CN 115205288A CN 202211112688 A CN202211112688 A CN 202211112688A CN 115205288 A CN115205288 A CN 115205288A
Authority
CN
China
Prior art keywords
image
replacement
industrial
defect
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211112688.3A
Other languages
English (en)
Other versions
CN115205288B (zh
Inventor
王克贤
赵何
张志琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhiyun Tiangong Technology Co ltd
Original Assignee
Jiangsu Zhiyun Tiangong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhiyun Tiangong Technology Co ltd filed Critical Jiangsu Zhiyun Tiangong Technology Co ltd
Priority to CN202211112688.3A priority Critical patent/CN115205288B/zh
Publication of CN115205288A publication Critical patent/CN115205288A/zh
Application granted granted Critical
Publication of CN115205288B publication Critical patent/CN115205288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种工业缺陷检测方法和装置,其中,所述方法包括以下步骤:获取待检测工件的工业图像;分类标注工业图像中的缺陷,其中,工业图像中的缺陷分为无争议缺陷和有争议缺陷;计算工业图像中的有争议缺陷的数量;采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷;根据处理后的工业图像构建工业缺陷检测模型;根据工业缺陷检测模型对待检测工件进行缺陷检测。本发明能够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的精确率和召回率。

Description

工业缺陷检测方法和装置
技术领域
本发明涉及缺陷检测技术领域,具体涉及一种工业缺陷检测方法和一种工业缺陷检测装置。
背景技术
随着深度学习技术的不断发展,也越来越多地应用于工业领域,尤其是工业缺陷检测领域。已知的是,深度学习技术在工业缺陷检测领域的应用,需要依赖于深度学习检测模型,而影响深度学习检测模型的precision(精确率)和recall(召回率)的关键是用于模型训练的工业数据。
然而,当前的工业数据集与coco、imagesNet等公开数据集相比,其准确性较低,主要是因为在工业数据缺陷标注的过程中,存在较多通过图片人眼难以精准辨别的缺陷,因此在缺陷标注的过程中,往往出现过标(不是缺陷但是标注为缺陷)的情况,从而导致训练的模型的precision和recall较低,影响到模型的落地周期。
目前行业内用来解决工业数据过标的方式,主要是采用人工根据实物上是否有缺陷,来确定图片上是否有缺陷,只在图片上标注实物上有的缺陷。但是,在实际生产过程中,对于轻微的缺陷,由于客户认定标准的不同,部分轻微缺陷会被客户认为是良好,不需要检出,部分轻微缺陷会被客户认为是不合格,需要检出,这就导致标注员在标注这类缺陷时出现混乱,从而使数据集的准确性变低。
发明内容
本发明为解决上述技术问题,提供了一种工业缺陷检测方法,能够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的精确率和召回率。
本发明采用的技术方案如下:
一种工业缺陷检测方法,包括以下步骤:获取待检测工件的工业图像;分类标注所述工业图像中的缺陷,其中,所述工业图像中的缺陷分为无争议缺陷和有争议缺陷;计算所述工业图像中的有争议缺陷的数量;采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷;根据所述处理后的工业图像构建工业缺陷检测模型;根据所述工业缺陷检测模型对所述待检测工件进行缺陷检测。
根据本发明的一个实施例,所述有争议缺陷包括环境影响因素导致的缺陷。
根据本发明的一个实施例,所述采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷,具体包括以下步骤:获取所述有争议缺陷的外接矩形;根据所述外接矩形在所述工业图像上截取多个待置换图像,其中,每个所述待置换图像与所述有争议缺陷的大小相同;采用所述感知哈希算法计算不同待置换图像之间的图像差异值;根据所述图像差异值从所述多个待置换图像中选取第一置换图像和第二置换图像;获取所述第一置换图像的第一置换外接矩形和所述第二置换图像的第二置换外接矩形;计算所述第一置换外接矩形与所述无争议缺陷的外接矩形的第一最大交并比和所述第二置换外接矩形与所述无争议缺陷的外接矩形的第二最大交并比;根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷。
根据本发明的一个实施例,所述根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷,具体包括以下步骤:判断所述第一最大交并比和所述第二最大交并比是否为零;若所述第一最大交并比和所述第二最大交并比均为零,则根据所述第一置换外接矩形和所述第二置换外接矩形在所述工业图像上分别截取第一置换外接矩形图像和第二置换外接矩形图像,并采用所述图像加权融合算法处理所述第一置换外接矩形图像和所述第二置换外接矩形图像以置换所述有争议缺陷外接矩形的图像;若所述第一最大交并比和所述第二最大交并比均不为零,则将所述有争议缺陷外接矩形的图像像素值全部置零;若所述第一最大交并比或所述第二最大交并比为零,则根据最大交并比为零的置换外接矩形在所述工业图像上截取第三置换外接矩形图像,并采用所述第三置换外接矩形图像置换所述有争议缺陷外接矩形的图像。
根据本发明的一个实施例,所述最大交并比采用下列公式计算:
Figure 100002_DEST_PATH_IMAGE001
其中,A表示所述第一置换外接矩形或所述第二置换外接矩形,B表示所述无争议缺陷的外接矩形。
一种工业缺陷检测装置,包括:获取模块,所述获取模块用于获取待检测工件的工业图像;标注模块,所述标注模块用于分类标注所述工业图像中的缺陷,其中,所述工业图像中的缺陷分为无争议缺陷和有争议缺陷;统计模块,所述统计模块用于计算所述工业图像中的有争议缺陷的数量;置换模块,所述置换模块用于采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷;建模模块,所述建模模块用于根据所述处理后的工业图像构建工业缺陷检测模型;检测模块,所述检测模块用于根据所述工业缺陷检测模型对所述待检测工件进行缺陷检测。
根据本发明的一个实施例,所述有争议缺陷包括环境影响因素导致的缺陷。
根据本发明的一个实施例,所述置换模块具体用于:获取所述有争议缺陷的外接矩形;根据所述外接矩形在所述工业图像上截取多个待置换图像,其中,每个所述待置换图像与所述有争议缺陷的大小相同;采用所述感知哈希算法计算不同待置换图像之间的图像差异值;根据所述图像差异值从所述多个待置换图像中选取第一置换图像和第二置换图像;获取所述第一置换图像的第一置换外接矩形和所述第二置换图像的第二置换外接矩形;计算所述第一置换外接矩形与所述无争议缺陷的外接矩形的第一最大交并比和所述第二置换外接矩形与所述无争议缺陷的外接矩形的第二最大交并比;根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述的工业缺陷检测方法。
一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据上述的工业缺陷检测方法。
本发明的有益效果:
1)、本发明能够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的precision(精确率)和recall(召回率);
2)、本发明通过采用感知哈希算法和图像加权融合算法,能够避免置换后的工业图像与原工业图像存在较大背景差异;
3)、本发明通过采用最大交并比确定用于置换有争议缺陷所在位置的图像,能够避免置换后的工业图像中出现新的有争议缺陷。
附图说明
图1为本发明实施例的工业缺陷检测方法的流程图;
图2为本发明一个实施例的采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷的过程;
图3为本发明实施例的工业缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例的工业缺陷检测方法的流程图。
如图1所示,本发明实施例的工业缺陷检测方法,包括以下步骤:
S1,获取待检测工件的工业图像。
具体地,可通过工业相机获取待检测工件的工业图像。
S2,分类标注工业图像中的缺陷,其中,工业图像中的缺陷分为无争议缺陷和有争议缺陷。
具体地,可根据客户的缺陷认定标准对工业图像中的缺陷进行分类标注,例如可将工业图像中的缺陷分为无争议缺陷,例如划痕、R角、C件、碰伤、异色,以及有争议缺陷,即环境因素导致的缺陷,例如工件表面附着的毛絮、沙粒导致工业图像中存在的缺陷。
S3,计算工业图像中的有争议缺陷的数量。
具体地,可统计工业图像中的有争议缺陷的总数,并可对有争议缺陷打上特殊标注类别uncertain。
S4,采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷。
具体地,可先获取有争议缺陷的外接矩形,然后可根据有争议缺陷的外接矩形在工业图像上截取多个待置换图像,其中,每个待置换图像与有争议缺陷的大小相同,进而可采用感知哈希算法计算不同待置换图像之间的图像差异值,并可根据图像差异值从多个待置换图像中选取第一置换图像和第二置换图像,然后可获取第一置换图像的第一置换外接矩形和第二置换图像的第二置换外接矩形,并可计算第一置换外接矩形与无争议缺陷的外接矩形的第一最大交并比和第二置换外接矩形与无争议缺陷的外接矩形的第二最大交并比,最后可根据图像加权融合算法、第一最大交并比、第二最大交并比、第一置换外接矩形和/或第二置换外接矩形处理置换有争议缺陷。
更具体地,可判断第一最大交并比和第二最大交并比是否为零,其中,若第一最大交并比和第二最大交并比均为零,则根据第一置换外接矩形和第二置换外接矩形在工业图像上分别截取第一置换外接矩形图像和第二置换外接矩形图像,并采用图像加权融合算法处理第一置换外接矩形图像和第二置换外接矩形图像以置换有争议缺陷外接矩形的图像;若第一最大交并比和第二最大交并比均不为零,则将有争议缺陷外接矩形的图像像素值全部置零;若第一最大交并比或第二最大交并比为零,则根据最大交并比为零的置换外接矩形在工业图像上截取第三置换外接矩形图像,并采用第三置换外接矩形图像置换有争议缺陷外接矩形的图像。
下面将结合图2举例说明的本发明实施例的采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷,其中,可定义工业图像中的有争议缺陷的总数为n。
如图2所示,本发明实施例的采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷的过程,包括以下步骤:
S401,获取第l个有争议缺陷uncertain的外接矩形,其中,l=(1,2,...,n);
S402,以第l个有争议缺陷uncertain的外接矩形为中心,在其上、下、左、右分别截取第一待置换图像img1、第二待置换图像img2、第三待置换图像img3和第四待置换图像img4,其中,第一待置换图像img1、第二待置换图像img2、第三待置换图像img3和第四待置换图像img4与第l个有争议缺陷uncertain的大小相同;
S403,采用感知哈希算法计算第一待置换图像img1和第二待置换图像img2之间的图像差异值value1,以及第三待置换图像img3和第四待置换图像img4之间的图像差异值value2;
S404,比较图像差异值value1与图像差异值value2;
S405,若图像差异值value1小于图像差异值value2,则选取第一待置换图像img1和第二待置换图像img2分别作为第一置换图像和第二置换图像,若图像差异值value1大于图像差异值value2,则选取第三待置换图像img3和第四待置换图像img4分别作为第一置换图像和第二置换图像;
S406,获取第一置换图像的第一置换外接矩形box1和第二置换图像的第二置换外接矩形box2;
S407,计算第一置换外接矩形box1与无争议缺陷的外接矩形的第一最大交并比IOU1,以第二置换外接矩形box2与无争议缺陷的外接矩形的第二最大交并比IOU2,其中,第一最大交并比IOU1或第二最大交并比IOU2可采用下列公式计算:
Figure DEST_PATH_IMAGE002
其中,A表示第一置换外接矩形box1或第二置换外接矩形box2,B表示无争议缺陷的外接矩形;
S408,判断第一最大交并比IOU1和第二最大交并比IOU2是否为零;
S409,若第一最大交并比IOU1和第二最大交并比IOU2均为零,则根据第一置换外接矩形box1和第二置换外接矩形box2在工业图像上分别截取第一置换外接矩形图像img-c1和第二置换外接矩形图像img-c2,并可采用图像加权融合算法将第一置换外接矩形图像img-c1和第二置换外接矩形图像img-c2融合为最终置换外接矩形图像img-c,然后可将最终置换外接矩形图像img-c覆盖第l个有争议缺陷uncertain所在位置,并执行步骤S412;
S410,若第一最大交并比IOU1和第二最大交并比IOU2均不为零,则将第l个有争议缺陷uncertain所在位置的图像像素值全部置零,并执行步骤S412;
S411,若第一最大交并比IOU1或第二最大交并比IOU2为零,则根据最大交并比为零的置换外接矩形在工业图像上截取第三置换外接矩形图像img-c3,并采用第三置换外接矩形图像img-c3覆盖第l个有争议缺陷uncertain所在位置,并执行步骤S412;
S412,判断l是否大于等于n,若不是,则l+1并返回步骤S401,若是,则结束工业图像的处理。
需要说明的是,图2是举例说明一个工业图像的处理过程,通过重复图2所示的处理过程,可完成待检测工件的所有工业图像的处理。
S5,根据处理后的工业图像构建工业缺陷检测模型。
具体地,可将处理后的所有工业图像按照7:2:1的比例进行分配,以得到70%训练集、20%验证集和10%测试集,并可采用训练集对R-CNN缺陷检测模型进行训练,并可将训练得到的R-CNN缺陷检测模型在验证集上计算mPA指标,mPA为计算每一类分类正确的像素点数和该类的所有像素点数的比例然后求平均,mPA公式为:
Figure DEST_PATH_IMAGE003
其中,k为图像分割任务总缺陷类别数,
Figure DEST_PATH_IMAGE004
表示将i类缺陷类别预测为i类,
Figure DEST_PATH_IMAGE005
表 示将i类缺陷类别预测为j类。如果mPA大于实际生产需要的值,则表示模型训练完成,从而 可得到本发明的工业缺陷检测模型。
S6,根据工业缺陷检测模型对待检测工件进行缺陷检测。
具体地,可将上述步骤得到的测试集输入训练得到的工业缺陷检测模型中,以实现待检测工件的缺陷检测。
本发明的有益效果如下:
1)、本发明能够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的precision(精确率)和recall(召回率);
2)、本发明通过采用感知哈希算法和图像加权融合算法,能够避免置换后的工业图像与原工业图像存在较大背景差异;
3)、本发明通过采用最大交并比确定用于置换有争议缺陷所在位置的图像,能够避免置换后的工业图像中出现新的有争议缺陷。
对应上述实施例的工业缺陷检测方法,本发明还提出一种工业缺陷检测装置。
如图3所示,本发明实施例的工业缺陷检测装置,包括获取模块10、标注模块20、统计模块30、置换模块40、建模模块50和检测模块60。其中,获取模块10用于获取待检测工件的工业图像;标注模块20用于分类标注工业图像中的缺陷,其中,工业图像中的缺陷分为无争议缺陷和有争议缺陷;统计模块30用于计算工业图像中的有争议缺陷的数量;置换模块40用于采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷;建模模块50用于根据处理后的工业图像构建工业缺陷检测模型;检测模块60用于根据工业缺陷检测模型对待检测工件进行缺陷检测。
在本发明的一个实施例中,获取模块10可为工业相机,获取模块10,即工业相机可用于获取待检测工件的工业图像。
在本发明的一个实施例中,标注模块20可具体用于根据客户的缺陷认定标准对工业图像中的缺陷进行分类标注,例如可将工业图像中的缺陷分为无争议缺陷,例如划痕、R角、C件、碰伤、异色,以及有争议缺陷,即环境因素导致的缺陷,例如工件表面附着的毛絮、沙粒导致工业图像中存在的缺陷。
在本发明的一个实施例中,统计模块30可用于统计工业图像中的有争议缺陷的总数,并可对有争议缺陷打上特殊标注类别uncertain。
在本发明的一个实施例中,置换模块40可具体用于获取有争议缺陷的外接矩形,然后可根据有争议缺陷的外接矩形在工业图像上截取多个待置换图像,其中,每个待置换图像与有争议缺陷的大小相同,进而可采用感知哈希算法计算不同待置换图像之间的图像差异值,并可根据图像差异值从多个待置换图像中选取第一置换图像和第二置换图像,然后可获取第一置换图像的第一置换外接矩形和第二置换图像的第二置换外接矩形,并可计算第一置换外接矩形与无争议缺陷的外接矩形的第一最大交并比和第二置换外接矩形与无争议缺陷的外接矩形的第二最大交并比,最后可根据图像加权融合算法、第一最大交并比、第二最大交并比、第一置换外接矩形和/或第二置换外接矩形处理置换有争议缺陷。
更具体地,置换模块40可用于判断第一最大交并比和第二最大交并比是否为零,其中,若第一最大交并比和第二最大交并比均为零,则根据第一置换外接矩形和第二置换外接矩形在工业图像上分别截取第一置换外接矩形图像和第二置换外接矩形图像,并采用图像加权融合算法处理第一置换外接矩形图像和第二置换外接矩形图像以置换有争议缺陷外接矩形的图像;若第一最大交并比和第二最大交并比均不为零,则将有争议缺陷外接矩形的图像像素值全部置零;若第一最大交并比或第二最大交并比为零,则根据最大交并比为零的置换外接矩形在工业图像上截取第三置换外接矩形图像,并采用第三置换外接矩形图像置换有争议缺陷外接矩形的图像。
下面将结合图2举例说明的本发明实施例的置换模块40用于采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷的过程,其中,可定义工业图像中的有争议缺陷的总数为n。
如图2所示,本发明实施例的置换模块40用于采用感知哈希算法和图像加权融合算法处理置换工业图像中的所有有争议缺陷的过程,包括以下步骤:
S401,获取第l个有争议缺陷uncertain的外接矩形,其中,l=(1,2,...,n);
S402,以第l个有争议缺陷uncertain的外接矩形为中心,在其上、下、左、右分别截取第一待置换图像img1、第二待置换图像img2、第三待置换图像img3和第四待置换图像img4,其中,第一待置换图像img1、第二待置换图像img2、第三待置换图像img3和第四待置换图像img4与第l个有争议缺陷uncertain的大小相同;
S403,采用感知哈希算法计算第一待置换图像img1和第二待置换图像img2之间的图像差异值value1,以及第三待置换图像img3和第四待置换图像img4之间的图像差异值value2;
S404,比较图像差异值value1与图像差异值value2;
S405,若图像差异值value1小于图像差异值value2,则选取第一待置换图像img1和第二待置换图像img2分别作为第一置换图像和第二置换图像,若图像差异值value1大于图像差异值value2,则选取第三待置换图像img3和第四待置换图像img4分别作为第一置换图像和第二置换图像;
S406,获取第一置换图像的第一置换外接矩形box1和第二置换图像的第二置换外接矩形box2;
S407,计算第一置换外接矩形box1与无争议缺陷的外接矩形的第一最大交并比IOU1,以第二置换外接矩形box2与无争议缺陷的外接矩形的第二最大交并比IOU2,其中,第一最大交并比IOU1或第二最大交并比IOU2可采用下列公式计算:
Figure DEST_PATH_IMAGE006
其中,A表示第一置换外接矩形box1或第二置换外接矩形box2,B表示无争议缺陷的外接矩形;
S408,判断第一最大交并比IOU1和第二最大交并比IOU2是否为零;
S409,若第一最大交并比IOU1和第二最大交并比IOU2均为零,则根据第一置换外接矩形box1和第二置换外接矩形box2在工业图像上分别截取第一置换外接矩形图像img-c1和第二置换外接矩形图像img-c2,并可采用图像加权融合算法将第一置换外接矩形图像img-c1和第二置换外接矩形图像img-c2融合为最终置换外接矩形图像img-c,然后可将最终置换外接矩形图像img-c覆盖第l个有争议缺陷uncertain所在位置,并执行步骤S412;
S410,若第一最大交并比IOU1和第二最大交并比IOU2均不为零,则将第l个有争议缺陷uncertain所在位置的图像像素值全部置零,并执行步骤S412;
S411,若第一最大交并比IOU1或第二最大交并比IOU2为零,则根据最大交并比为零的置换外接矩形在工业图像上截取第三置换外接矩形图像img-c3,并采用第三置换外接矩形图像img-c3覆盖第l个有争议缺陷uncertain所在位置,并执行步骤S412;
S412,判断l是否大于等于n,若不是,则l+1并返回步骤S401,若是,则结束工业图像的处理。
需要说明的是,图2是举例说明一个工业图像的处理过程,通过重复图2所示的处理过程,可完成待检测工件的所有工业图像的处理。
在本发明的一个实施例中,建模模块50可具体用于将处理后的所有工业图像按照7:2:1的比例进行分配,以得到70%训练集、20%验证集和10%测试集,并可采用训练集对R-CNN缺陷检测模型进行训练,并可将训练得到的R-CNN缺陷检测模型在验证集上计算mPA指标,mPA为计算每一类分类正确的像素点数和该类的所有像素点数的比例然后求平均,mPA公式为:
Figure DEST_PATH_IMAGE007
其中,k为图像分割任务总缺陷类别数,
Figure DEST_PATH_IMAGE008
表示将i类缺陷类别预测为i类,
Figure DEST_PATH_IMAGE009
表 示将i类缺陷类别预测为j类。如果mPA大于实际生产需要的值,则表示模型训练完成,从而 可得到本发明的工业缺陷检测模型。
在本发明的一个实施例中,检测模块60可具体用于将建模模块50得到的测试集输入训练得到的工业缺陷检测模型中,以实现待检测工件的缺陷检测。
本发明的有益效果如下:
1)、本发明能够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的precision(精确率)和recall(召回率);
2)、本发明通过采用感知哈希算法和图像加权融合算法,能够避免置换后的工业图像与原工业图像存在较大背景差异;
3)、本发明通过采用最大交并比确定用于置换有争议缺陷所在位置的图像,能够避免置换后的工业图像中出现新的有争议缺陷。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现上述实施例的工业缺陷检测方法。
根据本发明实施例的计算机设备,够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的precision(精确率)和recall(召回率),并且通过采用感知哈希算法和图像加权融合算法,能够避免置换后的工业图像与原工业图像存在较大背景差异,此外,通过采用最大交并比确定用于置换有争议缺陷所在位置的图像,能够避免置换后的工业图像中出现新的有争议缺陷。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述的工业缺陷检测方法。
根据本发明实施例的计算机设备,够根据客户需要置换待检测工件中的有争议缺陷,从而避免缺陷标注过程中的过标,以保证缺陷标注的准确性,进而确保模型的precision(精确率)和recall(召回率),并且通过采用感知哈希算法和图像加权融合算法,能够避免置换后的工业图像与原工业图像存在较大背景差异,此外,通过采用最大交并比确定用于置换有争议缺陷所在位置的图像,能够避免置换后的工业图像中出现新的有争议缺陷。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种工业缺陷检测方法,其特征在于,包括以下步骤:
获取待检测工件的工业图像;
分类标注所述工业图像中的缺陷,其中,所述工业图像中的缺陷分为无争议缺陷和有争议缺陷;
计算所述工业图像中的有争议缺陷的数量;
采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷;
根据所述处理后的工业图像构建工业缺陷检测模型;
根据所述工业缺陷检测模型对所述待检测工件进行缺陷检测。
2.根据权利要求1所述的工业缺陷检测方法,其特征在于,所述有争议缺陷包括环境影响因素导致的缺陷。
3.根据权利要求1所述的工业缺陷检测方法,其特征在于,所述采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷,具体包括以下步骤:
获取所述有争议缺陷的外接矩形;
根据所述外接矩形在所述工业图像上截取多个待置换图像,其中,每个所述待置换图像与所述有争议缺陷的大小相同;
采用所述感知哈希算法计算不同待置换图像之间的图像差异值;
根据所述图像差异值从所述多个待置换图像中选取第一置换图像和第二置换图像;
获取所述第一置换图像的第一置换外接矩形和所述第二置换图像的第二置换外接矩形;
计算所述第一置换外接矩形与所述无争议缺陷的外接矩形的第一最大交并比和所述第二置换外接矩形与所述无争议缺陷的外接矩形的第二最大交并比;
根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷。
4.根据权利要求3所述的工业缺陷检测方法,其特征在于,所述根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷,具体包括以下步骤:
判断所述第一最大交并比和所述第二最大交并比是否为零;
若所述第一最大交并比和所述第二最大交并比均为零,则根据所述第一置换外接矩形和所述第二置换外接矩形在所述工业图像上分别截取第一置换外接矩形图像和第二置换外接矩形图像,并采用所述图像加权融合算法处理所述第一置换外接矩形图像和所述第二置换外接矩形图像以置换所述有争议缺陷外接矩形的图像;
若所述第一最大交并比和所述第二最大交并比均不为零,则将所述有争议缺陷外接矩形的图像像素值全部置零;
若所述第一最大交并比或所述第二最大交并比为零,则根据最大交并比为零的置换外接矩形在所述工业图像上截取第三置换外接矩形图像,并采用所述第三置换外接矩形图像置换所述有争议缺陷外接矩形的图像。
5.根据权利要求3所述的工业缺陷检测方法,其特征在于,所述最大交并比采用下列公式计算:
Figure DEST_PATH_IMAGE001
其中,A表示所述第一置换外接矩形或所述第二置换外接矩形,B表示所述无争议缺陷的外接矩形。
6.一种工业缺陷检测装置,其特征在于,包括:
获取模块,所述获取模块用于获取待检测工件的工业图像;
标注模块,所述标注模块用于分类标注所述工业图像中的缺陷,其中,所述工业图像中的缺陷分为无争议缺陷和有争议缺陷;
统计模块,所述统计模块用于计算所述工业图像中的有争议缺陷的数量;
置换模块,所述置换模块用于采用感知哈希算法和图像加权融合算法处理置换所述工业图像中的所有有争议缺陷;
建模模块,所述建模模块用于根据所述处理后的工业图像构建工业缺陷检测模型;
检测模块,所述检测模块用于根据所述工业缺陷检测模型对所述待检测工件进行缺陷检测。
7.根据权利要求6所述的工业缺陷检测装置,其特征在于,所述有争议缺陷包括环境影响因素导致的缺陷。
8.根据权利要求6所述的工业缺陷检测装置,其特征在于,所述置换模块具体用于:
获取所述有争议缺陷的外接矩形;
根据所述外接矩形在所述工业图像上截取多个待置换图像,其中,每个所述待置换图像与所述有争议缺陷的大小相同;
采用所述感知哈希算法计算不同待置换图像之间的图像差异值;
根据所述图像差异值从所述多个待置换图像中选取第一置换图像和第二置换图像;
获取所述第一置换图像的第一置换外接矩形和所述第二置换图像的第二置换外接矩形;
计算所述第一置换外接矩形与所述无争议缺陷的外接矩形的第一最大交并比和所述第二置换外接矩形与所述无争议缺陷的外接矩形的第二最大交并比;
根据所述图像加权融合算法、所述第一最大交并比、所述第二最大交并比、所述第一置换外接矩形和/或所述第二置换外接矩形处理置换所述有争议缺陷。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现根据权利要求1-5中任一项所述的工业缺陷检测方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1-5中任一项所述的工业缺陷检测方法。
CN202211112688.3A 2022-09-14 2022-09-14 工业缺陷检测方法和装置 Active CN115205288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211112688.3A CN115205288B (zh) 2022-09-14 2022-09-14 工业缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211112688.3A CN115205288B (zh) 2022-09-14 2022-09-14 工业缺陷检测方法和装置

Publications (2)

Publication Number Publication Date
CN115205288A true CN115205288A (zh) 2022-10-18
CN115205288B CN115205288B (zh) 2023-01-03

Family

ID=83573117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211112688.3A Active CN115205288B (zh) 2022-09-14 2022-09-14 工业缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN115205288B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109640A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203990A (zh) * 2017-04-02 2017-09-26 南京汇川图像视觉技术有限公司 一种基于模板匹配与图像质量评估的标贴破损检测方法
CN111415339A (zh) * 2020-03-17 2020-07-14 广东工业大学 一种复杂纹理工业产品图像缺陷检测方法
CN112347292A (zh) * 2020-11-09 2021-02-09 常州微亿智造科技有限公司 缺陷标注方法和装置
US20220207687A1 (en) * 2020-12-31 2022-06-30 Hon Hai Precision Industry Co., Ltd. Method of detecting and classifying defects and electronic device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203990A (zh) * 2017-04-02 2017-09-26 南京汇川图像视觉技术有限公司 一种基于模板匹配与图像质量评估的标贴破损检测方法
CN111415339A (zh) * 2020-03-17 2020-07-14 广东工业大学 一种复杂纹理工业产品图像缺陷检测方法
CN112347292A (zh) * 2020-11-09 2021-02-09 常州微亿智造科技有限公司 缺陷标注方法和装置
US20220207687A1 (en) * 2020-12-31 2022-06-30 Hon Hai Precision Industry Co., Ltd. Method of detecting and classifying defects and electronic device using the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
V.V. VORONIN等: "Fast texture and structure image reconstruction using the perceptual hash", 《PROCEEDINGS VOLUME 8655, IMAGE PROCESSING: ALGORITHMS AND SYSTEMS XI》 *
尹逊帅: "高铁轨道表面缺陷的机器视觉检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109640A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法
CN116109640B (zh) * 2023-04-13 2023-08-18 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法

Also Published As

Publication number Publication date
CN115205288B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111311542B (zh) 一种产品质量检测方法及装置
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
WO2017092427A1 (zh) 一种电子元件定位方法及装置
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN113112480B (zh) 视频场景变换检测方法、存储介质和电子设备
CN111369523B (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
CN104053984A (zh) 图像检查方法和图像检查装置
US20130170756A1 (en) Edge detection apparatus, program and method for edge detection
CN111862097A (zh) 微小缺陷检出率的数据增强方法和装置
US20230214989A1 (en) Defect detection method, electronic device and readable storage medium
CN115205288B (zh) 工业缺陷检测方法和装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN116309409A (zh) 一种焊缝缺陷检测方法、系统和存储介质
CN112634201B (zh) 目标检测方法、装置和电子设备
CN112132131A (zh) 量筒液位识别方法和装置
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN113837204A (zh) 一种孔洞形状识别方法、计算机设备及存储介质
JP6874864B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113689431B (zh) 工业产品外观缺陷检测方法和装置
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
JP6818263B2 (ja) 破面解析装置および破面解析方法
CN113256607B (zh) 缺陷检测方法和装置
CN115249316A (zh) 工业缺陷检测方法和装置
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
RU2519005C1 (ru) Способ допускового контроля печатных плат

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant