CN114842014B - 基于密度估计的缺陷检测方法、装置、设备及存储介质 - Google Patents

基于密度估计的缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114842014B
CN114842014B CN202210777726.0A CN202210777726A CN114842014B CN 114842014 B CN114842014 B CN 114842014B CN 202210777726 A CN202210777726 A CN 202210777726A CN 114842014 B CN114842014 B CN 114842014B
Authority
CN
China
Prior art keywords
feature
defect
interpolation
density
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210777726.0A
Other languages
English (en)
Other versions
CN114842014A (zh
Inventor
刘清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshizhi Technology Co ltd
Original Assignee
Shenzhen Xinshizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinshizhi Technology Co ltd filed Critical Shenzhen Xinshizhi Technology Co ltd
Priority to CN202210777726.0A priority Critical patent/CN114842014B/zh
Publication of CN114842014A publication Critical patent/CN114842014A/zh
Application granted granted Critical
Publication of CN114842014B publication Critical patent/CN114842014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于密度估计的缺陷检测方法、装置、计算机设备及计算机可读存储介质，其中，所述方法包括：获取待检测产品的目标检测图像；获取目标检测图像的缺陷特征；对缺陷特征进行插值处理，以获取至少一个插值特征，插值特征为缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取对应的密度特征；计算与每一个密度特征对应的梯度信息，获取对应的梯度结果图，对梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取目标检测图像中的缺陷区域，作为缺陷检测结果。采用本发明，可以在缺陷样本不足的情况下，提高缺陷检测的准确性。

Description

基于密度估计的缺陷检测方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于密度估计的缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
在工业领域的缺陷检测场景中，缺陷样本的个数相对于正常样本的数量来说较少，尤其是部分类别的缺陷出现的概率很低，各类缺陷之间的数量也存在很大的不平衡性。这就导致了，如果采用通用的基于大量训练样本的方式，进行模型训练，可能会存在训练样本不足的情况，从而导致训练完成的模型可能存在缺陷检测的精度不足的情况。
发明内容
基于此，有必要针对上述问题，提出了一种基于密度估计的缺陷检测方法、装置、计算机设备及计算机可读存储介质。
在本发明的第一部分，提供了一种基于密度估计的缺陷检测方法，其特征在于，所述方法包括：
获取待检测产品的目标检测图像；
基于预设的特征提取算法，获取所述目标检测图像的缺陷特征；
对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；
计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。
可选的，所述预设的特征提取算法为预设的分类卷积网络；
所述基于预设的特征提取算法，获取所述目标检测图像的缺陷特征的步骤，还包括：通过预设的分类卷积网络，提取所述目标检测图像的全连接层特征作为所述缺陷特征。
可选的，所述对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征的步骤，还包括：
对所述缺陷特征feat_test进行n次插值处理，以获取所述缺陷特征feat_test在n个尺寸下的插值特征
Figure DEST_PATH_IMAGE002
，其中，第i次插值对应的尺度大小是通过公式
Figure DEST_PATH_IMAGE004
计算得到的，其中，/>
Figure DEST_PATH_IMAGE006
表示第i次插值的尺度大小，inputH表示目标检测图像的高度；n为预设的插值次数，所述缺陷特征feat_test在n个尺寸下的插值特征构成插值特征集/>
Figure DEST_PATH_IMAGE008
。
可选的，所述基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征，还包括：
对所述至少一个插值特征进行特征整合处理，得到与所述至少一个插值特征对应的整合特征；
将所述至少一个整合特征输入到预设的密度估计算法，获取每一个整合特征对应的密度特征。
可选的，所述对所述至少一个插值特征进行特征整合处理，得到与所述至少一个插值特征对应的整合特征的步骤，还包括：
对所述插值特征集
Figure 512768DEST_PATH_IMAGE008
按照如下公式
Figure DEST_PATH_IMAGE010
进行特征整合处理以得到整合特征集GF_test，其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或者是softmax操作；
所述将所述至少一个整合特征输入到预设的密度估计算法，获取每一个整合特征对应的密度特征的步骤，还包括：
对整合特征集GF_test进行m次随机排列操作，得到特征集合
Figure DEST_PATH_IMAGE012
；
对于特征集合Pt中的每一个特征
Figure DEST_PATH_IMAGE014
，基于预设的密度估计算法，通过公式
Figure DEST_PATH_IMAGE016
计算特征
Figure DEST_PATH_IMAGE018
对应的密度特征/>
Figure DEST_PATH_IMAGE020
，其中，split函数表示矩阵分割函数，对指定维度进行指定大小的矩阵分割，FC函数表示全连接层操作函数，exp函数为以e为底的指数函数，NL函数表示激活函数操作，Concat函数表示维度拼接操作；
其中，至少一个密度特征构成密度特征集
Figure DEST_PATH_IMAGE022
。
可选的，所述计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图的步骤，还包括：
基于至少一个密度特征，获取梯度集
Figure DEST_PATH_IMAGE024
；
按照公式
Figure DEST_PATH_IMAGE026
基于梯度集Grad确定梯度结果图G，其中，R函数表示矩阵重新定义形状大小的操作，B表示高斯平滑操作，mean表示求均值操作，abs表示求绝对值操作。
所述对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域的步骤，还包括：
基于预设的梯度阈值，对所述梯度结果图G进行二值化处理；
对于二值化处理之后的梯度结果图进行连通区域的提取，获取缺陷区域，将所述获取得到的缺陷区域作为所述目标检测图像中的缺陷区域。
可选的，所述方法还包括：
获取训练图像集，所述训练图像集包括至少一个不包含缺陷的训练图像；
基于预设的特征提取算法，提取所述训练图像的训练特征；
对所述训练特征进行插值处理，以获取与所述训练特征对应的至少一个插值训练特征，所述插值训练特征为所述训练特征在不同尺寸下进行插值处理得到的插值特征；
基于预设的密度估计算法，分别获取与至少一个插值训练特征对应的密度训练特征；
计算每一个插值训练特征对应的矩阵特征值，基于密度训练特征和矩阵特征值计算损失值，基于损失值对所述至少一个训练图像进行分类处理，基于分类处理之后的训练图像对预设的缺陷检测网络进行训练，以得到训练完成的缺陷检测网络。
在本发明的第二部分，提供了一种基于密度估计的缺陷检测装置，包括：
图像获取模块，用于获取待检测产品的目标检测图像；
特征提取模块，用于基于预设的特征提取算法，获取所述目标检测图像的缺陷特征；
密度估计模块，用于对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；
缺陷检测模块，用于计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。
在本发明的第三部分，提供了一种计算机设备，所述计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如上述第一方面所述的基于密度统计的缺陷检测方法的步骤。
在本发明的第四部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如上述第一方面所述的基于密度统计的缺陷检测方法的步骤。
采用本发明实施例，具有如下有益效果：
采用了上述基于密度估计的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，对于缺陷样本较少的工业缺陷检测场景中，对于需要进行检测的待检测产品的检测图像，按照预设的特征提取算法提取对应的缺陷特征，然后对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。也就是说，通过本发明实施例，通过计算检测图像的密度统计信息，定位密度统计的差异信息，从而来进行缺陷的检测，在不需要对缺陷样本进行大量收集的情况下，实现对缺陷的检测，提高缺陷检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中一种基于密度估计的缺陷检测方法的流程示意图；
图2为一个实施例中缺陷检测网络的模型训练过程的流程示意图；
图3为一个实施例中上述基于密度估计的缺陷检测方法的实现示意图；
图4为一个实施例中一种基于密度估计的缺陷检测装置的结构示意图；
图5为一个实施例中运行上述基于密度估计的缺陷检测方法的计算机的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中，提供了一种基于密度估计的缺陷检测方法，该方法的执行可以是在工业场景，例如在产品线，通过在产品线上设置摄像头来采集产品线上的产品的图像，然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类，以将良品与次品进行区分。
在本实施例中，基于密度估计的缺陷检测方法的实现可以是基于与采集待检测产品的图像的摄像头连接的计算机设备，该计算机设备可以是产品线的控制设备，也可以是与产品线连接的服务器，在本实施例中不做限定。
其中，对于缺陷样本较少导致缺陷检测精度不足的应用场景下，可以利用上述基于密度估计的缺陷检测方法，对需要进行检测的待检测产品对应的目标检测图像进行密度估计，然后基于预先训练完成的缺陷检测网络来定位密度统计的差异信息，从而实现对缺陷的检测，在不需要对缺陷样本进行大量收集的情况下，实现对缺陷的检测，提高缺陷检测的精度。
具体的，请参见图1，图1给出了基于密度估计的缺陷检测方法的流程示意图。具体的，上述基于密度估计的缺陷检测方法包括如图1所示的步骤：
步骤S101：获取待检测产品的目标检测图像。
待检测产品可以是产品线上或者其他工业应用场景下需要进行缺陷检测的产品。
对于待检测产品的目标检测图像，可以是通过设置在待检测产品周围的摄像装置采集到的包含待检测产品的图像。
步骤S102：基于预设的特征提取算法，获取所述目标检测图像的缺陷特征。
针对每张目标检测图像，在进行缺陷检测时，首先需要提取图像中的图像特征，在本实施例中，从目标检测图像中提取的图像特征为缺陷特征，用于表征目标检测图像对应的待检测产品是否存在缺陷。在一个具体的实施例中，从目标检测图像中提取缺陷特征可以是通过任意的特征提取算法实现的，也可以是通过预先训练好的卷积神经网络或该网络的一层或多层实现的，在本实施例中不做限定。
需要说明的是，在本实施例中，目标检测图像的缺陷特征还可以是提取到的目标检测图像的图像特征，而这个图像特征中并不包含缺陷，在这里统一称为缺陷特征。
在一个具体的实施例中，上述基于预设的特征提取算法，获取所述目标检测图像的缺陷特征的步骤，还可以是，通过预设的分类卷积网络，提取所述目标检测图像的全连接层特征作为所述缺陷特征feat_test。
步骤S103：对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征。
为了对缺陷特征进行密度统计，在本实施例中，首先需要对缺陷特征进行插值处理，以扩展相应的缺陷特征。具体的，对缺陷特征feat_test进行n次插值处理，以获取缺陷特征feat_test在n个尺寸下的插值特征
Figure DEST_PATH_IMAGE028
，其中，第i次插值对应的尺度大小是通过公式
Figure DEST_PATH_IMAGE030
计算得到的，其中，
Figure DEST_PATH_IMAGE032
表示第i次插值的尺度大小，inputH表示目标检测图像的高度；n为预设的插值次数，缺陷特征feat_test在n个尺寸下的插值特征构成插值特征集
Figure DEST_PATH_IMAGE034
。
步骤S104：基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征。
其中，对所述至少一个插值特征进行特征整合处理，得到与所述至少一个插值特征对应的整合特征；将所述至少一个整合特征输入到预设的密度估计算法，获取每一个整合特征对应的密度特征。
具体实施中，对所述插值特征集
Figure 984901DEST_PATH_IMAGE034
按照如下公式
Figure DEST_PATH_IMAGE036
进行特征整合处理以得到整合特征集GF_test，其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或者是softmax操作；
对整合特征集GF_test进行m次随机排列操作，得到特征集合
Figure DEST_PATH_IMAGE038
；/>
对于特征集合Pt中的每一个特征
Figure DEST_PATH_IMAGE040
，基于预设的密度估计算法，通过公式
Figure DEST_PATH_IMAGE042
计算特征
Figure DEST_PATH_IMAGE044
对应的密度特征/>
Figure DEST_PATH_IMAGE046
，其中，split函数表示矩阵分割函数，对指定维度进行指定大小的矩阵分割，FC函数表示全连接层操作函数，exp函数为以e为底的指数函数，NL函数表示激活函数操作，Concat函数表示维度拼接操作；
其中，至少一个密度特征构成密度特征集
Figure DEST_PATH_IMAGE048
。
需要说明的是，在本实施例中，步骤S103-S104的实现可以是一密度估计模块实现的，该密度估计模块的输出即为
Figure 748327DEST_PATH_IMAGE048
。
步骤S105：基于预设的缺陷检测网络，计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。
在本实施例中，预设的缺陷检测网络为预先训练完成的缺陷检测网络，其中，包含了多个训练样本得到的密度估计信息，在本实施例中，可以基于缺陷检测网络和密度估计模块输出的包含密度特征的密度特征集
Figure 877957DEST_PATH_IMAGE048
来对当前计算得到的目标检测图像对应的密度特征是否存在密度异常进行比较和估计，从而确定目标检测图像是否存在缺陷。
具体执行中，基于前述计算得到的至少一个密度特征，对预设的缺陷检测网络进行反向传输，以获取梯度集
Figure DEST_PATH_IMAGE050
；然后对梯度集Grad进行处理，以获取对应的梯度结果图G。
具体执行是按照公式
Figure DEST_PATH_IMAGE052
基于梯度集Grad确定梯度结果图G，其中，R函数表示矩阵重新定义形状大小的操作，B表示高斯平滑操作，mean表示求均值操作，abs表示求绝对值操作。
基于预设的梯度阈值，对所述梯度结果图G进行二值化处理；对于二值化处理之后的梯度结果图进行连通区域的提取，获取缺陷区域，将所述获取得到的缺陷区域作为所述目标检测图像中的缺陷区域，从而得到与待检测产品的目标检测图像对应的最终的缺陷检测结果。
上述描述均是基于已经训练完成的缺陷检测网络对需要进行检测的目标检测图像进行缺陷检测，在本实施例中，上述基于密度统计的缺陷检测方法还包括了如何构建缺陷检测网络以及基于训练数据对缺陷检测网络进行训练的相关步骤。
下面对如何对缺陷检测网络进行训练进行阐述。
具体的，对缺陷检测网络进行训练的过程包括如图2所示的如下步骤：
步骤S201：获取训练图像集，所述训练图像集包括至少一个不包含缺陷的训练图像。
这里，不需要获取大量的包含缺陷在内的缺陷样本，可以仅获取不包含缺陷在内的图像作为训练图像，即可进行缺陷检测网络的模型训练。
步骤S202：基于预设的特征提取算法，提取所述训练图像的训练特征。
其中，预设的特征提取算法，可以是分类卷积网络，或者分类卷积网络的全连接层（FC层）函数，从而提取每一张训练图像对应的全连接层的特征作为训练图像的训练特征feat。
步骤S203：对所述训练特征进行插值处理，以获取与所述训练特征对应的至少一个插值训练特征，所述插值训练特征为所述训练特征在不同尺寸下进行插值处理得到的插值特征。
在获取到训练特征之后，需要进一步的的对训练特征feat进行n次插值处理，以获取训练特征feat在不同尺寸下的插值训练特征集
Figure DEST_PATH_IMAGE054
。其中，其中n次插值的大小的计算如下式所示：
Figure DEST_PATH_IMAGE056
其中，
Figure DEST_PATH_IMAGE058
表示第i次插值的尺度大小，inputH表示当前的训练图像的高度。
步骤S204：基于预设的密度估计算法，分别获取与至少一个插值训练特征对应的密度训练特征。
具体执行中，将插值训练特征集
Figure DEST_PATH_IMAGE060
进行特征整合，得到特征GF，特征GF的计算公式如下所示：
Figure DEST_PATH_IMAGE062
其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或者是softmax操作。
然后，将特征GF输入到预设的密度估计算法中，计算图像的密度dense，具体的dense计算包括如下的步骤：
将特征GF进行m次随机排列操作，打乱特征GF原本的特征顺序，得到打乱后的特征集合
Figure DEST_PATH_IMAGE064
；
对特征集合P中的每一个特征
Figure DEST_PATH_IMAGE066
计算对应的密度特征/>
Figure DEST_PATH_IMAGE068
，具体计算公式如下所示：/>
Figure DEST_PATH_IMAGE070
其中，其中split函数表示矩阵分割函数，对指定维度进行指定大小的矩阵分割，FC表示全连接层操作，exp为以e为底的指数函数，NL表示激活函数操作。
在计算得到每一个特征
Figure 334739DEST_PATH_IMAGE066
计算对应的密度特征/>
Figure DEST_PATH_IMAGE072
之后，即可完成密度特征的输出
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE076
。
步骤S205：计算每一个插值训练特征对应的矩阵特征值，基于密度训练特征和矩阵特征值计算损失值，基于损失值对所述至少一个训练图像进行分类处理，基于分类处理之后的训练图像对预设的缺陷检测网络进行训练，以得到训练完成的缺陷检测网络。
对特征集合P中的每一个特征
Figure 281835DEST_PATH_IMAGE066
计算其矩阵特征值（雅可比矩阵的值/>
Figure DEST_PATH_IMAGE078
），得到雅可比集合J，其中/>
Figure DEST_PATH_IMAGE080
，具体的计算公式如下：
Figure DEST_PATH_IMAGE082
。
然后进一步的基于上述计算过程，计算缺陷检测网络对应的模型训练的损失值loss，其具体计算公式如下：
Figure DEST_PATH_IMAGE084
其中，Mean函数为均值计算操作，out_shape1为Out矩阵第2个维度的大小。
然后基于计算得到的损失值，将训练数据集中的训练图像分成不同的batch，训练迭代得到最终的缺陷检测网络，以完成对缺陷检测网络的训练过程。
也就是说，在一个具体的实施例中，如图3所示，上述基于密度估计的缺陷检测方法包括了模型训练以及模型检测两个部分，其中，模型训练包括了对训练图像进行特征提取，然后进行密度评估，然后计算损失函数对缺陷检测网络进行优化，以完成对缺陷检测网络的模型训练；模型检测部分包括了对需要进行缺陷检测的目标检测图像进行图像特征提取，然后进行密度估计，然后基于缺陷检测网络和进行密度估计得到的密度计算梯度，然后进行缺陷检测，从而实现了不需要进行缺陷样本采集的缺陷检测，提高缺陷样本缺少情况下的缺陷检测的准确度。
在另一个实施例中，如图4所示，还提供了一种基于密度统计的缺陷检测装置，所述装置包括：
图像获取模块101，用于获取待检测产品的目标检测图像；
特征提取模块102，用于基于预设的特征提取算法，获取所述目标检测图像的缺陷特征；
密度估计模块103，用于对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；
缺陷检测模块104，用于计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。
在一个可选的实施例中，所述预设的特征提取算法为预设的分类卷积网络；特征提取模块102还用于通过预设的分类卷积网络，提取所述目标检测图像的全连接层特征作为所述缺陷特征。
在一个可选的实施例中，密度估计模块103对所述缺陷特征feat_test进行n次插值处理，以获取所述缺陷特征feat_test在n个尺寸下的插值特征
Figure DEST_PATH_IMAGE086
，其中，第i次插值对应的尺度大小是通过公式/>
Figure DEST_PATH_IMAGE088
计算得到的，其中，/>
Figure DEST_PATH_IMAGE090
表示第i次插值的尺度大小，inputH表示目标检测图像的高度；n为预设的插值次数，所述缺陷特征feat_ test在n个尺寸下的插值特征构成插值特征集/>
Figure DEST_PATH_IMAGE092
。
在一个可选的实施例中，密度估计模块103对所述至少一个插值特征进行特征整合处理，得到与所述至少一个插值特征对应的整合特征；将所述至少一个整合特征输入到预设的密度估计算法，获取每一个整合特征对应的密度特征。
在一个可选的实施例中，密度估计模块103对所述插值特征集
Figure 535487DEST_PATH_IMAGE092
按照如下公式
Figure DEST_PATH_IMAGE094
进行特征整合处理以得到整合特征集GF_test，其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或者是softmax操作。
在一个可选的实施例中，密度估计模块103对整合特征集GF_test进行m次随机排列操作，得到特征集合
Figure DEST_PATH_IMAGE096
；
对于特征集合Pt中的每一个特征
Figure DEST_PATH_IMAGE098
，基于预设的密度估计算法，通过公式
Figure DEST_PATH_IMAGE100
计算特征
Figure DEST_PATH_IMAGE102
对应的密度特征/>
Figure DEST_PATH_IMAGE104
，其中，split函数表示矩阵分割函数，对指定维度进行指定大小的矩阵分割，FC函数表示全连接层操作函数，exp函数为以e为底的指数函数，NL函数表示激活函数操作，Concat函数表示维度拼接操作；
其中，至少一个密度特征构成密度特征集
Figure DEST_PATH_IMAGE106
。
在一个可选的实施例中，缺陷检测模块104还用于基于预设的缺陷检测网络和至少一个密度特征，获取梯度集
Figure DEST_PATH_IMAGE108
；
按照公式
Figure DEST_PATH_IMAGE110
基于梯度集Grad确定梯度结果图G，其中，R函数表示矩阵重新定义形状大小的操作，B表示高斯平滑操作，mean表示求均值操作，abs表示求绝对值操作。
在一个可选的实施例中，缺陷检测模块104还用于基于预设的梯度阈值，对所述梯度结果图G进行二值化处理；对于二值化处理之后的梯度结果图进行连通区域的提取，获取缺陷区域，将所述获取得到的缺陷区域作为所述目标检测图像中的缺陷区域。
如图4所示，上述基于密度统计的缺陷检测装置还包括模型训练模块105，用于：
获取训练图像集，所述训练图像集包括至少一个不包含缺陷的训练图像；
基于预设的特征提取算法，提取所述训练图像的训练特征；
对所述训练特征进行插值处理，以获取与所述训练特征对应的至少一个插值训练特征，所述插值训练特征为所述训练特征在不同尺寸下进行插值处理得到的插值特征；
基于预设的密度估计算法，分别获取与至少一个插值训练特征对应的密度训练特征；
计算每一个插值训练特征对应的矩阵特征值，基于密度训练特征和矩阵特征值计算损失值，基于损失值对所述至少一个训练图像进行分类处理，基于分类处理之后的训练图像对预设的缺陷检测网络进行训练，以得到训练完成的缺陷检测网络。
图5示出了一个实施例中实现上述基于密度估计的缺陷检测方法的计算机设）的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
采用了上述基于密度估计的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，对于缺陷样本较少的工业缺陷检测场景中，对于需要进行检测的待检测产品的检测图像，按照预设的特征提取算法提取对应的缺陷特征，然后对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为所述缺陷检测结果。也就是说，通过本发明实施例，通过计算检测图像的密度统计信息，定位密度统计的差异信息，从而来进行缺陷的检测，在不需要对缺陷样本进行大量收集的情况下，实现对缺陷的检测，提高缺陷检测的精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于密度估计的缺陷检测方法，其特征在于，所述方法包括：
获取待检测产品的目标检测图像；
基于预设的特征提取算法，获取所述目标检测图像的缺陷特征；
对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；
基于预设的缺陷检测网络，计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为缺陷检测结果；
其中，所述对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征的步骤，还包括：
对所述缺陷特征feat_test进行n次插值处理，以获取所述缺陷特征feat_test在n个尺寸下的插值特征
Figure 903012DEST_PATH_IMAGE001
，其中，第i次插值对应的尺度大小是通过公式
Figure 148048DEST_PATH_IMAGE002
计算得到的，其中，
Figure 193364DEST_PATH_IMAGE003
表示第i次插值的尺度大小，inputH表示目标检测图像的高度；n为预设的插值次数，所述缺陷特征feat_test在n个尺寸下的插值特征构成插值特征集
Figure 791836DEST_PATH_IMAGE004
；
所述基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征的步骤，还包括：
对所述插值特征集
Figure 871787DEST_PATH_IMAGE004
按照如下公式
Figure 22146DEST_PATH_IMAGE005
进行特征整合处理以得到整合特征集GF_test，其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或softmax操作；
对整合特征集GF_test进行m次随机排列操作，得到特征集合Pt = {
Figure 554759DEST_PATH_IMAGE006
}；
对于特征集合Pt中的每一个特征
Figure 956921DEST_PATH_IMAGE007
（
Figure 891379DEST_PATH_IMAGE008
），基于预设的密度估计算法，通过公式
Figure 212639DEST_PATH_IMAGE009
计算特征
Figure 232548DEST_PATH_IMAGE007
对应的密度特征
Figure 172822DEST_PATH_IMAGE010
，其中，split函数表示矩阵分割函数对指定维度进行指定大小的矩阵分割以得到变量
Figure 961786DEST_PATH_IMAGE011
或
Figure 719527DEST_PATH_IMAGE012
或
Figure 226731DEST_PATH_IMAGE013
，FC函数表示全连接层操作函数，exp函数为以e为底的指数函数以得到变量
Figure 705117DEST_PATH_IMAGE014
或
Figure 614167DEST_PATH_IMAGE015
，NL函数表示激活函数操作，Concat函数表示维度拼接操作；
其中，至少一个密度特征构成密度特征集o_test= {
Figure 277230DEST_PATH_IMAGE016
}。
2.根据权利要求1所述的基于密度估计的缺陷检测方法，其特征在于，所述预设的特征提取算法为预设的分类卷积网络；
所述基于预设的特征提取算法，获取所述目标检测图像的缺陷特征的步骤，还包括：通过预设的分类卷积网络，提取所述目标检测图像的全连接层特征作为所述缺陷特征。
3.根据权利要求1所述的基于密度估计的缺陷检测方法，其特征在于，所述基于预设的缺陷检测网络，计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图的步骤，还包括：
基于预设的缺陷检测网络和至少一个密度特征，获取梯度集Grad={
Figure 271731DEST_PATH_IMAGE017
}；
按照公式
Figure 553807DEST_PATH_IMAGE018
基于梯度集Grad确定梯度结果图G，其中，R函数表示矩阵重新定义形状大小的操作，B表示高斯平滑操作，mean表示求均值操作，abs表示求绝对值操作；
所述对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域的步骤，还包括：
基于预设的梯度阈值，对所述梯度结果图G进行二值化处理；
对于二值化处理之后的梯度结果图进行连通区域的提取，获取缺陷区域，将所述获取得到的缺陷区域作为所述目标检测图像中的缺陷区域。
4.根据权利要求1所述的基于密度估计的缺陷检测方法，其特征在于，所述方法还包括：
获取训练图像集，所述训练图像集包括至少一个不包含缺陷的训练图像；
基于预设的特征提取算法，提取所述训练图像的训练特征；
对所述训练特征进行插值处理，以获取与所述训练特征对应的至少一个插值训练特征，所述插值训练特征为所述训练特征在不同尺寸下进行插值处理得到的插值特征；
基于预设的密度估计算法，分别获取与至少一个插值训练特征对应的密度训练特征；
计算每一个插值训练特征对应的特征矩阵，基于密度训练特征和特征矩阵计算损失值，基于损失值对所述至少一个训练图像进行分类处理，基于分类处理之后的训练图像对预设的缺陷检测网络进行训练，以得到训练完成的缺陷检测网络。
5.一种基于密度估计的缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测产品的目标检测图像；
特征提取模块，用于基于预设的特征提取算法，获取所述目标检测图像的缺陷特征；
密度估计模块，用于对所述缺陷特征进行插值处理，以获取与所述缺陷特征对应的至少一个插值特征，所述插值特征为所述缺陷特征在不同尺寸下进行插值处理得到的插值特征；基于预设的密度估计算法，分别获取与至少一个插值特征对应的密度特征；
缺陷检测模块，用于计算与每一个密度特征对应的梯度信息，并获取对应的梯度结果图，对所述梯度结果图特征进行二值化处理并对二值化处理结果进行连通区域的提取，以获取所述目标检测图像中的缺陷区域，作为缺陷检测结果；
其中，所述密度估计模块还用于：
对所述缺陷特征feat_test进行n次插值处理，以获取所述缺陷特征feat_test在n个尺寸下的插值特征
Figure 645260DEST_PATH_IMAGE001
，其中，第i次插值对应的尺度大小是通过公式
Figure 682486DEST_PATH_IMAGE019
计算得到的，其中，
Figure 836387DEST_PATH_IMAGE003
表示第i次插值的尺度大小，inputH表示目标检测图像的高度；n为预设的插值次数，所述缺陷特征feat_test在n个尺寸下的插值特征构成插值特征集
Figure 984472DEST_PATH_IMAGE004
；
对所述插值特征集
Figure 664852DEST_PATH_IMAGE004
按照如下公式
Figure 872979DEST_PATH_IMAGE021
进行特征整合处理以得到整合特征集GF_test，其中，Concat函数表示维度拼接操作，Mean函数表示求均值操作，Act表示sigmoid或softmax操作；
对整合特征集GF_test进行m次随机排列操作，得到特征集合Pt = {
Figure 514176DEST_PATH_IMAGE022
}；
对于特征集合Pt中的每一个特征
Figure 200372DEST_PATH_IMAGE007
（
Figure 672942DEST_PATH_IMAGE008
），基于预设的密度估计算法，通过公式
Figure 379867DEST_PATH_IMAGE023
计算特征
Figure 508360DEST_PATH_IMAGE007
对应的密度特征
Figure 732668DEST_PATH_IMAGE010
，其中，split函数表示矩阵分割函数对指定维度进行指定大小的矩阵分割以得到变量
Figure 59744DEST_PATH_IMAGE011
或
Figure 671991DEST_PATH_IMAGE012
或
Figure 350097DEST_PATH_IMAGE013
，FC函数表示全连接层操作函数，exp函数为以e为底的指数函数以得到变量
Figure 581358DEST_PATH_IMAGE014
或
Figure 28520DEST_PATH_IMAGE015
，NL函数表示激活函数操作，Concat函数表示维度拼接操作；其中，至少一个密度特征构成密度特征集o_test= {
Figure 546089DEST_PATH_IMAGE016
}。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如权利要求1至4任一所述的基于密度估计的缺陷检测方法。
7.一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至4任一所述的基于密度估计的缺陷检测方法。
CN202210777726.0A 2022-07-04 2022-07-04 基于密度估计的缺陷检测方法、装置、设备及存储介质 Active CN114842014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210777726.0A CN114842014B (zh) 2022-07-04 2022-07-04 基于密度估计的缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210777726.0A CN114842014B (zh) 2022-07-04 2022-07-04 基于密度估计的缺陷检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114842014A CN114842014A (zh) 2022-08-02
CN114842014B true CN114842014B (zh) 2023-03-24

Family

ID=82574215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210777726.0A Active CN114842014B (zh) 2022-07-04 2022-07-04 基于密度估计的缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114842014B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505781A (zh) * 2021-06-01 2021-10-15 北京旷视科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327889A (ja) * 2004-05-14 2005-11-24 Fujitsu Ltd 欠陥密度の算出方法
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
JP5997039B2 (ja) * 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
US9846929B2 (en) * 2016-03-24 2017-12-19 Hong Kong Applied Science and Technology Research Institute Company Limited Fast density estimation method for defect inspection application
CN107992898B (zh) * 2017-12-14 2019-07-23 哈尔滨工业大学（威海） 一种电子元件焊点缺陷检测方法
CN111968095B (zh) * 2020-08-19 2022-08-02 成都数之联科技股份有限公司 一种产品表面缺陷检测方法及系统及装置及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505781A (zh) * 2021-06-01 2021-10-15 北京旷视科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置

Also Published As

Publication number Publication date
CN114842014A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN113516661B (zh) 基于特征融合的缺陷检测方法及装置
CN111667011B (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
CN109949290B (zh) 路面裂缝检测方法、装置、设备及存储介质
CN108647732B (zh) 一种基于深度神经网络的病理图像分类方法及装置
CN112782743B (zh) 一种车辆定位方法、装置、计算机设备及存储介质
CN110096938B (zh) 一种视频中的动作行为的处理方法和装置
CN111666990A (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及系统
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
CN110866682B (zh) 基于历史数据的地下电缆预警方法和装置
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN112990106B (zh) 水下物体检测方法、装置、计算机设备和存储介质
CN113110961B (zh) 设备异常检测方法、装置、计算机设备及可读存储介质
CN112990107B (zh) 高光谱遥感图像水下目标检测方法、装置及计算机设备
CN114842014B (zh) 基于密度估计的缺陷检测方法、装置、设备及存储介质
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN114882033B (zh) 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN115601293A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN114708214A (zh) 一种烟盒缺陷检测方法、装置、设备及介质
CN114782756B (zh) 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN112257498A (zh) 一种验车码检测模型的构建及检测方法和装置
CN110991473A (zh) 图像样本的特征选择方法、装置、计算机设备及存储介质
CN112633512A (zh) 基于神经网络的数据处理装置、方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant