CN114862776A - 一种产品表面缺陷检测方法、装置、计算机设备及介质 - Google Patents

一种产品表面缺陷检测方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114862776A
CN114862776A CN202210426408.XA CN202210426408A CN114862776A CN 114862776 A CN114862776 A CN 114862776A CN 202210426408 A CN202210426408 A CN 202210426408A CN 114862776 A CN114862776 A CN 114862776A
Authority
CN
China
Prior art keywords
detected
image
product
defective
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210426408.XA
Other languages
English (en)
Inventor
王旭
李婷婷
匡国文
廖亚樵
夏靖然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202210426408.XA priority Critical patent/CN114862776A/zh
Publication of CN114862776A publication Critical patent/CN114862776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于缺陷品检测技术领域,公开了一种产品表面缺陷检测方法、装置、计算机设备及介质,该方法包括:获取待检测图像,待检测图像为待检测产品表面的图像;将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像;通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置。本申请能够提升产品表面缺陷的检测效果。

Description

一种产品表面缺陷检测方法、装置、计算机设备及介质
技术领域
本申请涉及缺陷品检测技术领域,尤其涉及一种产品表面缺陷检测方法、装置、计算机设备及介质。
背景技术
表面缺陷是影响产品品质的重要一环,因此对其检测非常重要。开始的时候,对产品表面缺陷检测主要靠人工目视检测,效率低且准确率差;目前,经常采用机器视觉智能检测方法,该方法利用图像采集设备获得产品表面图像,基于深度学习技术对获取到图像的处理分析,能够实现对缺陷的检测和定位,满足生产线产品的品质检测。其中,深度学习包括有监督学习和无监督学习。
然而,由于带缺陷的异常样本数量比例很少,难以满足有监督学习的模型训练对于样本的需求,导致基于有监督学习的表面缺陷检测方法无法检测出样本中未出现过的未知缺陷,影响缺陷检测效果;而现有的基于无监督学习的表面缺陷检测方法,尽管摆脱了对缺陷样本的要求,但是仅靠输入信息和训练好的模型权值,检测效果欠佳。综上,现有技术存在缺陷检测效果差的问题。
发明内容
本申请提供了一种产品表面缺陷检测方法、装置、计算机设备及介质,能够提高产品表面缺陷的检测效果。
第一方面,本申请实施例提供了一种产品表面缺陷检测方法,该方法包括:
获取待检测图像,待检测图像为待检测产品表面的图像;
将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像;
通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置。
在其中一个实施例中,该方法还包括:
获取训练样品图像集,训练样品图像集中包括待检测产品表面的多张原始无缺陷样本图像;
获取待检测产品表面对应的模板;
通过训练样品图像集中的每张原始无缺陷样本图像结合模板对深度神经网络模型进行训练,以得到预先训练好的深度神经网络模型。
在其中一个实施例中,通过训练样品图像集中的每张原始无缺陷样本图像结合模板对深度神经网络模型进行训练,包括:
对原始无缺陷样本图像添加噪声,得到原始无缺陷样本图像对应的有缺陷样本图像;
将有缺陷样本图像输入深度神经网络模型,深度神经网络模型根据模板和有缺陷样本图像生成有缺陷样本图像对应的重构无缺陷样本图像;
根据重构无缺陷样本图像和原始无缺陷样本图像的对比结果,对深度神经网络模型进行调整,以实现对深度神经网络模型的训练。
在其中一个实施例中,获取待检测产品表面对应的模板,包括:
确定训练样品图像集中的多张原始无缺陷样本图像对应的待检测产品表面,并获取待检测产品表面的标识信息;
获取待检测产品表面的标识信息对应的标准无缺陷图像,将标准无缺陷图像设为待检测产品表面对应的模板。
在其中一个实施例中,通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置,包括:通过对比待检测图像与重构无缺陷图像,判断待检测图像中的待检测产品表面是否存在缺陷;在待检测图像中的待检测产品表面存在缺陷时,获取待检测图像中的待检测产品表面的缺陷位置。
在其中一个实施例中,在获取待检测图像中的待检测产品表面的缺陷位置之后,该方法还包括:在待检测图像中标记待检测产品表面的缺陷位置。
第二方面,本申请实施例提供了一种产品表面缺陷检测装置,该装置包括:
待检测图像获取模块,用于获取待检测图像,待检测图像为待检测产品表面的图像。
重构无缺陷图像生成模块,用于将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像。
缺陷位置获取模块,用于通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置。
在其中一个实施例中,该装置还包括:
训练样品图像集获取模块,用于获取训练样品图像集,训练样品图像集中包括待检测产品表面的多张原始无缺陷样本图像。
模板获取模块,用于获取待检测产品表面对应的模板。
网络模型训练模块,用于通过训练样品图像集中的每张原始无缺陷样本图像结合模板对深度神经网络模型进行训练,以得到预先训练好的深度神经网络模型。
第三方面,本申请实施例提供了一种计算机设备,包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行如上述任一实施例的产品表面缺陷检测方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一实施例的产品表面缺陷检测方法的步骤。
综上,与现有技术相比,本申请提供的技术方案带来的有益效果至少包括:
本申请提供的一种产品表面缺陷检测方法,可以获取待检测图像,待检测图像为待检测产品表面的图像;并将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像,本方法将模板引入到重构无缺陷图像的生成过程中,可以提升深度神经网络模型的生成图像效果,使得重构无缺陷图像与产品表面的标准无缺陷图像尽可能相似,从而降低环境、复杂表面等情况对产品表面缺陷检测造成的影响,达到提高检测精度的效果;再通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置,此处通过采用生成的重构无缺陷图像与待检测图像进行特征对比,可以更好地检测出神经网络模型的训练样本数据中未包含的各类未知缺陷,进一步提高产品表面缺陷的检测效果。上述方法可以利用预先训练好的深度神经网络模型生成待检测图像对应的重构无缺陷图像,并通过引入模板提升生成图像效果,从而提高了检测精度,并通过将重构无缺陷图像与待检测图像进行对比来检测产品表面缺陷,能够更好地对未知缺陷进行检测,能够提高对产品表面缺陷的检测效果。
附图说明
图1为本申请一个示例性实施例提供的产品表面缺陷检测方法的流程图。
图2为本申请一个示例性实施例提供的深度神经网络模型获取步骤的流程图。
图3为本申请一个示例性实施例提供的深度神经网络模型训练步骤的流程图。
图4为本申请又一个示例性实施例提供的产品表面缺陷检测方法的流程图。
图5为本申请一个示例性实施例提供的产品表面缺陷检测装置的结构图。
图6为本申请一个示例性实施例提供的深度神经网络模型获取模块的结构图。
图7为本申请又一个示例性实施例提供的产品表面缺陷检测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,本申请实施例提供了一种产品表面缺陷检测方法,该方法可以适用于工业/民用产品表面缺陷检测,比如可用于检测电子元器件表面是否存在划痕、管脚是否缺失损坏等问题,以执行主体是终端为例,该方法可以包括以下步骤:
步骤S01,获取待检测图像,待检测图像为待检测产品表面的图像。
其中,待检测产品表面可以是产品线上输送的产品的其中一个表面,通常利用图像采集装置获取待检测产品的表面图像。
具体地,终端可以通过图像采集装置实时获取产品线上输送的产品的表面图像作为待检测图像,也可以通过图像采集装置获取某条产品线上一段时间内输送的多个产品的表面图像创建待检测图像集,再从该待检测图像集中随机选取一张图像作为待检测图像;在实际应用时,上述终端可为安装在产品线上的缺陷检测设备,该缺陷检测设备既可以本身包括图像采集装置,也可以通过数据线与外设的图像采集装置相连接;上述图像采集装置可以采用设于产品线上方/侧面的摄像头或照相机。
步骤S02,将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像。
其中,深度神经网络模型可以采用生成式网络模型,该生成式网络模型可以包括编码器、模板融合模块及解码器;在实际应用过程中,采用的生成式网络模型可以采用常见的大型生成式网络模型,比如GAN、VAE、AE等深度网络模型;同时,预设的模板为待检测产品表面的标准无缺陷图像,在人工质检时,一般会为质检人员配备完好的样品以供参考,如果遇到未见过的缺陷或者其他难以判断的情况,就可以通过对比参考模板来判断是否为缺陷产品,上述标准无缺陷图像可以采用待检测产品表面的一个标准完好样品的图像。
具体地,终端可以将获取到的待检测图像输入预先训练好的生成式网络模型的编码器(已训练),经过编码后输入到模板融合模块,该模板融合模块引入模板作为参考信息,基于模板对编码后的待检测图像进行重构,然后通过解码器(已训练)输出待检测图像对应的重构无缺陷图像;可见在本步骤中,终端可以通过预先训练好的生成式网络模型根据预设的模板对待检测图像进行重构,生成待检测图像对应的重构无缺陷图像。
步骤S03,通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置。
其中,重构无缺陷图像为待检测图像经过预先训练好的生成式网络模型基于模板重构得到的无缺陷图像,通过将该重构无缺陷图像和待检测图像进行特征对比,就可以确定待检测产品表面的缺陷位置。
具体地,终端可以将待检测图像与重构无缺陷图像通过常见的图像差异检测算法进行特征对比,获取待检测图像中的待检测产品表面的缺陷位置;具体实施时,可以采用的图像差异检测算法包括但不局限于特征空间的差异性算法、像素间的差异性算法或不确定性估计补偿算法,例如LBP(Local Binary Pattern,局部二值模式)算法,LBP算法具有旋转不变性和灰度不变性等优点,可用来提取图像的局部的纹理特征,属于特征空间的差异性算法。
在一些实施方式中,步骤S03具体可以包括以下步骤:
通过对比待检测图像与重构无缺陷图像,判断待检测图像中的待检测产品表面是否存在缺陷;在待检测图像中的待检测产品表面存在缺陷时,获取待检测图像中的待检测产品表面的缺陷位置。
具体实施时,终端在待检测图像中的待检测产品表面不存在缺陷时,可以将待检测图像标记为合格,由于此时不存在缺陷,也就无需获取缺陷位置。
上述实施例中提供的一种产品表面缺陷检测方法,可以获取待检测图像,待检测图像为待检测产品表面的图像;并将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像,本方法将模板引入到重构无缺陷图像的生成过程中,可以提升深度神经网络模型的生成图像效果,使得重构无缺陷图像与产品表面的标准无缺陷图像尽可能相似,从而降低环境、复杂表面等情况对产品表面缺陷检测造成的影响,达到提高检测精度的效果;再通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置,此处通过采用生成的重构无缺陷图像与待检测图像进行特征对比,可以更好地检测出神经网络模型的训练样本数据中未包含的各类未知缺陷,进一步提高产品表面缺陷的检测效果。上述方法可以利用预先训练好的深度神经网络模型生成待检测图像对应的重构无缺陷图像,并通过引入模板提升生成图像效果,从而提高了检测精度,并通过将重构无缺陷图像与待检测图像进行对比来检测产品表面缺陷,能够更好地对未知缺陷进行检测,能够提高对产品表面缺陷的检测效果。
在一些实施例中,为了得到预先训练好的深度神经网络模型,需要对深度神经网络模型进行训练,请参见图2,上述方法还包括深度神经网络模型获取步骤,该深度神经网络模型获取步骤可以包括以下步骤:
步骤S11,获取训练样品图像集,训练样品图像集中包括待检测产品表面的多张原始无缺陷样本图像。
其中,原始无缺陷样本图像可以为待检测产品表面无缺陷的样品图像,即待检测产品表面图像的正常样本,训练样品图像集用于对未训练过的深度神经网络模型进行训练。
具体地,获取待检测产品表面的大量原始无缺陷样本图像作为训练样品图像集。
在实际应用中,带缺陷的异常样本通常数量很少,因此,本步骤中选取待检测产品表面的大量原始无缺陷样本图像构建训练样品图像集,适用于有大量正常样本的情况,使得训练数据的获取更加简单方便。
步骤S12,获取待检测产品表面对应的模板。
其中,待检测产品表面对应的模板为上述实施例中步骤S02中预设的模板,即待检测产品表面的标准无缺陷图像,不同的待检测产品表面对应的模板不同。
具体地,确定训练样品图像集对应的待检测产品表面,然后获取该待检测产品表面对应的模板。
在本步骤中,该模板用于对未训练过的深度神经网络模型进行训练,以得到训练好的深度神经网络模型,后续训练好的深度神经网络模型用于对待检测产品表面进行缺陷检测,使用的模板与训练时使用的模板相同。
步骤S13,通过训练样品图像集中的每张原始无缺陷样本图像结合模板对深度神经网络模型进行训练,以得到预先训练好的深度神经网络模型。
其中,对于深度神经网络模型的限定可以参见上述实施例中步骤S02中的预先训练好的深度神经网络模型,但本步骤S13为模型获取步骤,主要为对未训练的深度神经网络模型进行训练,以得到训练好的深度神经网络模型;该深度神经网络模型为生成式网络模型。
具体地,将训练样品图像集中的各张原始无缺陷样本图像依次输入生成式网络模型,并将模板也输入该生成式网络模型,从而结合原始无缺陷样本图像和模板对生成式网络模型进行训练,以得到预先训练好的生成式网络模型。
上述实施例中,该产品表面缺陷检测方法通过引入模板进行模型训练,可以提升模型的生成图像效果,且引入的模板作为待检测产品表面无缺陷样本的参考信息,还可以降低模型训练难度;此外,使用的训练样本图像为无缺陷样本,使得获取训练数据更为方便,适用于大量正常样本的情况,在实际应用中适用范围更广。
在上述实施例的一些实施方式中,请参见图3,步骤S13为深度神经网络模型训练步骤,步骤S13可以包括以下步骤:
步骤S131,对原始无缺陷样本图像添加噪声,得到原始无缺陷样本图像对应的有缺陷样本图像。
其中,添加噪声可以使用现有技术中常见的图像添加噪声方法,可以包括但不限于椒盐噪声、高斯噪声、遮盖(mask)等。
步骤S132,将有缺陷样本图像输入深度神经网络模型,深度神经网络模型根据模板和有缺陷样本图像生成有缺陷样本图像对应的重构无缺陷样本图像。
步骤S133,根据重构无缺陷样本图像和原始无缺陷样本图像的对比结果,对深度神经网络模型进行调整,以实现对深度神经网络模型的训练。
其中,重构无缺陷样本图像和原始无缺陷样本图像的对比结果可以为两者之间的差异程度,该对比结果可以通过损失函数计算得到。
具体地,终端可以通过损失函数计算有缺陷样本图像对应的重构无缺陷样本图像与原始无缺陷样本图像之间的差异程度,以获取深度神经网络模型的权值梯度,并根据获取到的权值梯度对深度神经网络模型进行调整,从而得到训练好的深度神经网络模型。
上述实施方式中,该产品表面缺陷检测方法可以通过对原始无缺陷样本图像添加噪声得到有缺陷样本图像,从而解决了实际应用中带缺陷的异常样本数量少,难以获取足够有缺陷样本的问题;同时在深度神经网络模型的图像生成过程中引入模板作为参考信息,不仅可以降低模型训练难度,提升生成图像效果,还能够降低训练样本与实际生产的产品分布存在偏差对模型训练效果的影响,能够训练出检测精度更高的深度神经网络模型,从而提高缺陷检测效果。
在实际应用时,对于每一类产品,往往是针对性地训练一套网络模型,难以实现通用。为了提高本方法的通用性,在上述实施例的一些实施方式中,步骤S12可以包括以下步骤:
确定训练样品图像集中的多张原始无缺陷样本图像对应的待检测产品表面,并获取待检测产品表面的标识信息。
获取待检测产品表面的标识信息对应的标准无缺陷图像,将标准无缺陷图像设为待检测产品表面对应的模板。
其中,由于训练样品图像集中的所有训练样品图像为同一个待检测产品表面的原始无缺陷样本图像,根据这些原始无缺陷样本图像可以确定该训练样品图像集对应的待检测产品表面;待检测产品表面的标识信息可以是用于指示待检测产品表面的任何一种信息,比如产品名称、产品编号、产品型号及指定检测表面等信息中的一种或多种组合,例如:待检测产品表面、产品名称+指定检测表面、产品型号+指定检测表面等。
具体地,终端可以确定训练该训练样品图像集对应的待检测产品表面,然后根据待检测产品表面的标识信息获取该待检测产品表面对应的标准无缺陷图像,将该标准无缺陷图像作为该待检测产品表面对应的模板,该模板就是预先训练好的深度神经网络模型在进行产品表面缺陷检测的过程中使用的预设的模板,而在对深度神经网络模型的训练过程中,针对目前无监督学习模型生成图片效果不理想问题,深度神经网络模型可以基于引入的该模板对训练样品图像进行重构,以提升生成图像效果,得到与待检测产品表面的标准模板相似度高的重构无缺陷图像,可以避免环境、复杂表面等对产品表面缺陷检测造成的影响,使得本方法对于外观结构复杂元件仍能够适用,并具备一定的跨产品检测通用性。
上述实施方式中,该方法可以根据不同的待检测产品更换相应的模板,通过将不同的模板引入网络模型的训练和检测,能够提高深度神经网络模型的通用性,从而缓解缺陷检测难以跨产品线通用的问题。
请参见图4,在一些实施例中,为了更直观地观察产品表面缺陷,在步骤S03之后,该方法还包括:步骤S04,在待检测图像中标记待检测产品表面的缺陷位置。
在本实施例中,可以在待检测图像中对待检测产品表面的缺陷位置进行标记,并将标记好的待检测图像在显示器上进行显示,以便质检人员更直观地观察或了解检测到的缺陷。
请参见图5,本申请另一些实施例提供了一种产品表面缺陷检测装置,该装置包括:
待检测图像获取模块101,用于获取待检测图像,待检测图像为待检测产品表面的图像。
重构无缺陷图像生成模块102,用于将待检测图像输入预先训练好的深度神经网络模型,预先训练好的深度神经网络模型根据预设的模板和待检测图像生成待检测图像对应的重构无缺陷图像,模板为待检测产品表面的标准无缺陷图像。
缺陷位置获取模块103,用于通过对比待检测图像与重构无缺陷图像,获取待检测图像中的待检测产品表面的缺陷位置。
在一些实施例中,请参见图6,该装置还包括深度神经网络模型获取模块,该深度神经网络模型获取模块包括:
训练样品图像集获取模块111,用于获取训练样品图像集,训练样品图像集中包括待检测产品表面的多张原始无缺陷样本图像。
模板获取模块112,用于获取待检测产品表面对应的模板。
网络模型训练模块113,用于通过训练样品图像集中的每张原始无缺陷样本图像结合模板对深度神经网络模型进行训练,以得到预先训练好的深度神经网络模型。
在一些实施例中,网络模型训练模块113,包括:
噪声添加单元,用于对原始无缺陷样本图像添加噪声,得到原始无缺陷样本图像对应的有缺陷样本图像。
重构无缺陷样本图像生成单元,用于将有缺陷样本图像输入深度神经网络模型,深度神经网络模型根据模板和有缺陷样本图像生成有缺陷样本图像对应的重构无缺陷样本图像。
网络模型训练单元,用于根据重构无缺陷样本图像和原始无缺陷样本图像的对比结果,对深度神经网络模型进行调整,以实现对深度神经网络模型的训练。
在一些实施例中,模板获取模块112具体用于确定训练样品图像集中的多张原始无缺陷样本图像对应的待检测产品表面,并获取待检测产品表面的标识信息;获取待检测产品表面的标识信息对应的标准无缺陷图像,将标准无缺陷图像设为待检测产品表面对应的模板。
在一些实施例中,缺陷位置获取模块103具体用于通过对比待检测图像与重构无缺陷图像,判断待检测图像中的待检测产品表面是否存在缺陷;在待检测图像中的待检测产品表面存在缺陷时,获取待检测图像中的待检测产品表面的缺陷位置。
在一些实施例中,请参见图7,该装置还包括:缺陷位置标记模块104,用于在待检测图像中标记待检测产品表面的缺陷位置。
本实施例中提供的关于产品表面缺陷检测装置的具体限定,可以参见上文中关于产品表面缺陷检测方法的实施例,于此不再赘述。上述产品表面缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供了一种计算机设备,该计算机设备可以包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。当计算机程序被处理器执行时,处理器执行如上述任一实施例的产品表面缺陷检测方法的步骤。
本实施例中提供的计算机设备的工作过程、工作细节和技术效果,可以参见上文中关于产品表面缺陷检测方法的实施例,于此不再赘述。
本申请实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一实施例的产品表面缺陷检测方法的步骤。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例中提供的计算机可读存储介质的工作过程、工作细节和技术效果,可以参见上文中关于产品表面缺陷检测方法的实施例,于此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种产品表面缺陷检测方法,其特征在于,所述方法包括:
获取待检测图像,所述待检测图像为待检测产品表面的图像;
将所述待检测图像输入预先训练好的深度神经网络模型,所述预先训练好的深度神经网络模型根据预设的模板和所述待检测图像生成所述待检测图像对应的重构无缺陷图像,所述模板为所述待检测产品表面的标准无缺陷图像;
通过对比所述待检测图像与所述重构无缺陷图像,获取所述待检测图像中的待检测产品表面的缺陷位置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取训练样品图像集,所述训练样品图像集中包括所述待检测产品表面的多张原始无缺陷样本图像;
获取所述待检测产品表面对应的所述模板;
通过所述训练样品图像集中的每张所述原始无缺陷样本图像结合所述模板对深度神经网络模型进行训练,以得到所述预先训练好的深度神经网络模型。
3.根据权利要求2所述的方法,其特征在于,所述通过所述训练样品图像集中的每张所述原始无缺陷样本图像结合所述模板对深度神经网络模型进行训练,包括:
对所述原始无缺陷样本图像添加噪声,得到所述原始无缺陷样本图像对应的有缺陷样本图像;
将所述有缺陷样本图像输入所述深度神经网络模型,所述深度神经网络模型根据所述模板和所述有缺陷样本图像生成所述有缺陷样本图像对应的重构无缺陷样本图像;
根据所述重构无缺陷样本图像和所述原始无缺陷样本图像的对比结果,对所述深度神经网络模型进行调整,以实现对所述深度神经网络模型的训练。
4.根据权利要求3所述的方法,其特征在于,所述获取所述待检测产品表面对应的所述模板,包括:
确定所述训练样品图像集中的所述多张原始无缺陷样本图像对应的待检测产品表面,并获取所述待检测产品表面的标识信息;
获取所述待检测产品表面的标识信息对应的标准无缺陷图像,将所述标准无缺陷图像设为所述待检测产品表面对应的所述模板。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述通过对比所述待检测图像与所述重构无缺陷图像,获取所述待检测图像中的待检测产品表面的缺陷位置,包括:
通过对比所述待检测图像与所述重构无缺陷图像,判断所述待检测图像中的待检测产品表面是否存在缺陷;
在所述待检测图像中的待检测产品表面存在缺陷时,获取所述待检测图像中的待检测产品表面的缺陷位置。
6.根据权利要求5所述的方法,其特征在于,在所述获取所述待检测图像中的待检测产品表面的缺陷位置之后,所述方法还包括:在所述待检测图像中标记所述待检测产品表面的缺陷位置。
7.一种产品表面缺陷检测装置,其特征在于,所述装置包括:
待检测图像获取模块,用于获取待检测图像,所述待检测图像为待检测产品表面的图像;
重构无缺陷图像生成模块,用于将所述待检测图像输入预先训练好的深度神经网络模型,所述预先训练好的深度神经网络模型根据预设的模板和所述待检测图像生成所述待检测图像对应的重构无缺陷图像,所述模板为所述待检测产品表面的标准无缺陷图像;
缺陷位置获取模块,用于通过对比所述待检测图像与所述重构无缺陷图像,获取所述待检测图像中的待检测产品表面的缺陷位置。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
训练样品图像集获取模块,用于获取训练样品图像集,所述训练样品图像集中包括所述待检测产品表面的多张原始无缺陷样本图像;
模板获取模块,用于获取所述待检测产品表面对应的所述模板;
网络模型训练模块,用于通过所述训练样品图像集中的每张所述原始无缺陷样本图像结合所述模板对深度神经网络模型进行训练,以得到所述预先训练好的深度神经网络模型。
9.一种计算机设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN202210426408.XA 2022-04-22 2022-04-22 一种产品表面缺陷检测方法、装置、计算机设备及介质 Pending CN114862776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210426408.XA CN114862776A (zh) 2022-04-22 2022-04-22 一种产品表面缺陷检测方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210426408.XA CN114862776A (zh) 2022-04-22 2022-04-22 一种产品表面缺陷检测方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114862776A true CN114862776A (zh) 2022-08-05

Family

ID=82632660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210426408.XA Pending CN114862776A (zh) 2022-04-22 2022-04-22 一种产品表面缺陷检测方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114862776A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311272A (zh) * 2022-10-11 2022-11-08 江苏添鸣器械科技有限公司 一种铝箔表面缺陷识别方法
CN115661160A (zh) * 2022-12-29 2023-01-31 成都数之联科技股份有限公司 一种面板缺陷检测方法及系统及装置及介质
CN115661161A (zh) * 2022-12-29 2023-01-31 成都数联云算科技有限公司 零件的缺陷检测方法、装置、存储介质、设备及程序产品
CN115690101A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116883399A (zh) * 2023-09-06 2023-10-13 内蒙古晶环电子材料有限公司 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311272A (zh) * 2022-10-11 2022-11-08 江苏添鸣器械科技有限公司 一种铝箔表面缺陷识别方法
CN115661160A (zh) * 2022-12-29 2023-01-31 成都数之联科技股份有限公司 一种面板缺陷检测方法及系统及装置及介质
CN115661161A (zh) * 2022-12-29 2023-01-31 成都数联云算科技有限公司 零件的缺陷检测方法、装置、存储介质、设备及程序产品
CN115690101A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116883399A (zh) * 2023-09-06 2023-10-13 内蒙古晶环电子材料有限公司 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备

Similar Documents

Publication Publication Date Title
CN114862776A (zh) 一种产品表面缺陷检测方法、装置、计算机设备及介质
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN108734690B (zh) 一种视觉缺陷检测设备及其检测方法
US10997711B2 (en) Appearance inspection device
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN110796637A (zh) 图像缺陷检测模型的训练、测试方法、装置及存储介质
US20190118226A1 (en) Sorting system
CN109086876B (zh) 设备的运行状态检测方法、装置、计算机设备和存储介质
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN115641332B (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
CN110136116B (zh) 一种注塑泵缺陷检测方法、装置、设备及存储介质
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN109300127B (zh) 缺陷检测方法、装置、计算机设备及存储介质
CN113793333B (zh) 应用于工业质检的缺陷图片生成方法及装置
CN115272961A (zh) 基于人工智能的vr设备预警监测方法及系统
CN113554630A (zh) 芯片表面缺陷检测方法、系统、计算机设备和存储介质
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN115077425A (zh) 一种基于结构光三维视觉的产品检测设备及方法
CN111124896B (zh) 一种主次峰值比计算算法的蜕变测试系统
CN109410241A (zh) 图像区域生长算法的蜕变测试方法
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
CN111553431A (zh) 图片清晰度检测方法、装置、计算机设备及存储介质
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN109447968A (zh) 图像区域生长算法的蜕变测试系统
Ulutas et al. Split-brain autoencoder approach for surface defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination