CN113516661B - 基于特征融合的缺陷检测方法及装置 - Google Patents

基于特征融合的缺陷检测方法及装置 Download PDF

Info

Publication number
CN113516661B
CN113516661B CN202111082785.8A CN202111082785A CN113516661B CN 113516661 B CN113516661 B CN 113516661B CN 202111082785 A CN202111082785 A CN 202111082785A CN 113516661 B CN113516661 B CN 113516661B
Authority
CN
China
Prior art keywords
defect
fusion
feature
target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111082785.8A
Other languages
English (en)
Other versions
CN113516661A (zh
Inventor
刘清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshizhi Technology Co ltd
Original Assignee
Shenzhen Xinshizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinshizhi Technology Co ltd filed Critical Shenzhen Xinshizhi Technology Co ltd
Priority to CN202111082785.8A priority Critical patent/CN113516661B/zh
Publication of CN113516661A publication Critical patent/CN113516661A/zh
Application granted granted Critical
Publication of CN113516661B publication Critical patent/CN113516661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于特征融合的缺陷检测方法、装置、设备及存储介质，其中，所述方法包括：获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；按照预设的特征融合算法，对每张目标检测图像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征；将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。采用本发明实施例，可充分利用每个视场的图像信息，提高缺陷检测的分类精度。

Description

基于特征融合的缺陷检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
在工业缺陷的检测中，通过采集图像来对需要检测的产品进行缺陷检测。在实际使用过程中，都是在产线上预设的位置设置摄像头，以采集图像，并通过图像处理和识别来检测产品是否存在缺陷。但是，目前基于图像的缺陷检测方法，往往忽略了不同视角下的图像信息交互，使用单个视角下的图像，检测精度不高，误判和漏检过高。
发明内容
基于此，在本发明实施例中，提供了一种基于特征融合的缺陷检测的方法、装置、设备以及计算机可读存储介质，可以提高基于图像识别的缺陷检测的准确率。
在本发明的第一部分，提供了一种基于特征融合的缺陷检测方法，包括：
获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；
按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
按照预设的特征融合算法，对每张目标检测图像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征；
将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
可选的，所述按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征的步骤，还包括：
分别将多张目标检测图像输入与该目标检测图像对应的缺陷分类网络，通过该缺陷分类网络的前L-2层获取第一缺陷特征，所述缺陷分类网络包括L层。
可选的，所述按照预设的特征融合算法，对每张目标检测图像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征的步骤，还包括：
分别将每张目标检测图像对应的第一缺陷特征，输入到该目标检测图像对应的缺陷分类网络的第L-1层，以获取第二缺陷特征；
对每张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征；
对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征。
可选的，所述对每张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征的步骤，还包括：
对每张目标检测图像的第二缺陷特征在预设维度上进行融合处理，所述融合处理包括维度拼接、矩阵加法、矩阵逐元素乘法、归一化等操作中的一个或多个。
可选的，所述将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果的步骤，还包括：
将所述目标融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有待定缺陷的置信度；
根据置信度在所有待定缺陷中确定目标缺陷，将所述目标缺陷作为所述缺陷检测结果。
可选的，所述方法还包括：
获取至少一个物体样本的多个样本图像以及对应的缺陷标签作为训练样本；
构建缺陷分类网络，所述缺陷分类网络包括L层，且第L-2层为特征融合处理层；
根据所述训练样本对所述缺陷分类网络进行训练。
可选的，所述方法还包括：
获取至少一个物体测试样本的多个样本测试图像以及对应的缺陷标签作为测试样本；
根据测试样本对缺陷分类网络进行测试，以获取所述缺陷分类网络的分类精度；
在所述分类精度满足预设的精度阈值的情况下，停止对缺陷分类网络的训练。
在本发明的第二部分，提供了一种基于特征融合的缺陷检测装置，包括：
图像采集模块，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；
特征提取模块，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
特征融合模块，用于按照预设的特征融合算法，对每张目标检测像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征；
缺陷分类模块，用于将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
在本发明的第三部分，提供了一种计算机设备，所述计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
在本发明的第四部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
采用本发明实施例，具有如下有益效果：
采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，多张目标检测图像为不同视场下采集的待检测产品的图像；分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行交叉融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类。也就是说，从多视场采集待检测产品的多张图像，然后基于采集到的各个视场的图像进行特征提取以及特征融合得到最终的缺陷特征，然后基于该处理后的缺陷特征来确定待检测产品的最终的目标缺陷，可以充分利用每个视场的缺陷特征以提高缺陷检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中一种基于特征融合的缺陷检测方法的流程示意图；
图2为一个实施例中一种基于特征融合的缺陷检测装置的结构示意图；
图3为一个实施例中运行上述基于特征融合的缺陷检测方法的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中，提供了一种基于特征融合的缺陷检测方法，该方法的执行可以是在工业场景，例如在产品线，通过在产品线上设置摄像头来采集产品线上的产品的图像，然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类，以将良品与次品进行区分。
在本实施例中，基于特征融合的缺陷检测方法的实现可以是基于与采集待检测产品的图像的摄像头连接的计算机设备，该计算机设备可以是产品线的控制设备，也可以是与产品线连接的服务器，在本实施例中不做限定。
具体的，请参见图1，图1给出了基于特征融合的缺陷检测方法的流程示意图。具体的，上述基于特征融合的缺陷检测方法包括如图1所示的步骤：
步骤S101：获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像。
待检测产品可以是产品线上或者其他工业应用场景下需要进行缺陷检测的产品。在本实施例中，对产品缺陷的检测，是基于多视场、多角度、多维度的图像采集进行的，也就是说，产品缺陷的检测不止是基于单一的图像进行检测的，而是多个视场下采集的待检测产品的图像。其中，多个视场可以是从待检测产品的不同视场或不同角度，也可以是摄像头采集图像时的不同的打光方式。待检测产品的多张目标检测图像可以是通过背光打光、正面打光、低角度打光等各种不同的打光方式获取到的不同视场的待检测产品的多张目标检测图像。
步骤S102：按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征。
针对每张目标检测图像，在进行缺陷检测时，首先需要提取图像中的图像特征，在本实施例中，从目标检测图像中提取的图像特征为缺陷特征，用于表征目标检测图像对应的待检测产品是否存在缺陷。在一个具体的实施例中，从目标检测图像中提取缺陷特征可以是通过任意的特征提取算法实现的，也可以是通过预先训练好的卷积神经网络或该网络的一层或多层实现的，在本实施例中不做限定。
在一个具体的实施例中，特征提取以及后续基于提取到的特征进行缺陷检测分类的实现可以是基于一卷积神经网络，该卷积神经网络为预先训练好的缺陷分类网络。该缺陷分类网络包括L层。
对于多张目标检测图像
Figure 964230DEST_PATH_IMAGE001
，其中，
Figure 428840DEST_PATH_IMAGE002
，也就是说，n为目标检测图像的数量，也为多个视场中视场（或者称为场）的数量。在本步骤中，针对n个视场的目标检测图像集合为
Figure 802053DEST_PATH_IMAGE003
，将每一个目标检测图像
Figure 666104DEST_PATH_IMAGE001
分别输入到每一个视场的缺陷分类网络
Figure 90263DEST_PATH_IMAGE004
中，其中
Figure 709463DEST_PATH_IMAGE005
。每一个缺陷分类网络的深度记为集合
Figure 445338DEST_PATH_IMAGE006
，也就是说，缺陷分类网络
Figure 254025DEST_PATH_IMAGE004
包括
Figure 391745DEST_PATH_IMAGE007
层网络。从每一个视场的缺陷分类网络
Figure 181847DEST_PATH_IMAGE004
中提取第
Figure 280384DEST_PATH_IMAGE008
层的输出作为每一个目标检测图像
Figure 751817DEST_PATH_IMAGE001
的第一缺陷特征
Figure 868677DEST_PATH_IMAGE009
，分别记为
Figure 845991DEST_PATH_IMAGE010
，因此，基于第一缺陷特征的特征集合为
Figure 556459DEST_PATH_IMAGE011
。
步骤S103：按照预设的特征融合算法，对每张目标检测图像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征。
步骤S103是对各个视场的特征进行融合处理的过程，可以是基于一特征融合模块实现的。
具体操作中，首先将每一个视场对应的第一缺陷特征，进一步输入每一个视场对应的缺陷分类网络进行进一步的特征提取，以获取第二缺陷特征。即将第一缺陷特征的特征集合为
Figure 425057DEST_PATH_IMAGE012
分别输入到缺陷分类网络
Figure 802949DEST_PATH_IMAGE004
中第
Figure 482323DEST_PATH_IMAGE013
层，以得到对应的第二缺陷特征
Figure 7983DEST_PATH_IMAGE014
。在每一个缺陷分类网络
Figure 555639DEST_PATH_IMAGE004
均进行处理之后第二缺陷特征的集合
Figure 397824DEST_PATH_IMAGE015
。
针对每个视场下的第二缺陷特征，将其与其他n个第二缺陷特征进行交叉融合处理（对每张目标检测图像的第二缺陷特征在预设维度上进行融合处理，所述融合处理包括所述融合处理包括维度拼接、矩阵加法、矩阵逐元素乘法、归一化等操作中的一个或多个），得到融合之后的第一融合特征和第二融合特征；然后对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征。
具体操作中，针对第二缺陷特征，通过如下公式进行计算：
Figure 903891DEST_PATH_IMAGE016
以得到第一融合特征
Figure 448005DEST_PATH_IMAGE017
和第二融合特征
Figure 877981DEST_PATH_IMAGE018
，其对应的第一融合特征的集合为
Figure 699306DEST_PATH_IMAGE019
，第二融合特征的集合为
Figure 235330DEST_PATH_IMAGE020
。其中，
Figure 407685DEST_PATH_IMAGE021
是对同一个特征通过不同的网络之后得到的新的特征进行处理的函数，该函数操作可以是concat或者是加法等操作，concat操作就是将特征按照某一个维度进行拼接；
Figure 375772DEST_PATH_IMAGE022
是对同一个网络中
Figure 441817DEST_PATH_IMAGE023
进行处理的函数，该函数操作可以是concat或者是加法等操作。
然后对第一融合特征的集合
Figure 24108DEST_PATH_IMAGE024
和第二融合特征的集合
Figure 559126DEST_PATH_IMAGE025
进行进一步的融合处理，这里的融合处理操作可以是concat操作，还可以是加法操作。在一个具体的实施例中，可以将第一融合特征的集合
Figure 580172DEST_PATH_IMAGE026
和第二融合特征的集合
Figure 376089DEST_PATH_IMAGE027
合并成目标融合特征（FEAT）：
Figure 4648DEST_PATH_IMAGE028
在其他实施例中，对上述对特征的融合处理还可以是其他的融合处理方式，例如，加法融合，在这里不对融合处理的方式进行任何的限定，可以是按照任意的预设的融合算法进行交叉融合处理，以得到融合之后的特征。
步骤S104：将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
基于前述步骤提取了多张目标检测图像的基于特征融合的目标融合特征，然后就可以基于预设的缺陷分类网络，通过该缺陷分类网络来对目标融合特征进行计算，以得到待检测产品的缺陷检测结果。也就是说，将所述缺陷分类网络的输出作为所述待检测产品的缺陷检测结果。其中，所述缺陷分类网络为卷积神经网络。
在本步骤中，可以是根据目标融合特征，获取待检测产品对应于所有缺陷类别的置信度，然后根据置信度来确定缺陷检测结果，以完成对待检测产品的缺陷检测的分类。在一个具体的实施例中，可以是将目标融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有缺陷类别的置信度；然后根据置信度在每一个待定缺陷中确定目标缺陷，将目标缺陷作为所述缺陷检测结果。
在本步骤中，是将目标融合特征输入缺陷分类网络的第L层，以获取相应的缺陷分类网络输出的缺陷分类结果。因为缺陷的种类中多种，也存在不同等级的缺陷，为了提高缺陷检测的准确性，在本实施例中，缺陷分类网络输出待检测产品对应的一个或多个可能存在的缺陷，然后确定其主要的一个缺陷为目标缺陷。具体的，缺陷分类网络输出待检测产品对应于所有缺陷类别的置信度，该置信度表示待检测产品存在相应的待定缺陷的可能性、或该待定缺陷在待检测产品上的缺陷大小（例如，面积大小等）。在本实施例中，可以是确定置信度最大的待定缺陷为目标缺陷，或者确定置信度超过预设的阈值的一个或多个待定缺陷为目标缺陷。在确定目标缺陷之后将其作为缺陷检测结果，并输出。需要说明的是，在本实施例中，输出的缺陷检测结果不仅可以包含目标缺陷，还可以包含目标缺陷对应的置信度，以帮助相应的检测人员来判断时候需要将该待检测产品作为次品。
需要说明的是，在具体实现中，步骤S103对应的特征融合模块可以是一个独立的模块，在缺陷识别的过程中将其插入至任意的可以完成缺陷识别的卷积神经网络中，以提高基于卷积神经网络对缺陷识别的准确性。例如，将特征融合模块插入至缺陷检测的卷积神经网络的倒数第2层，也就是说，若卷积神经网络有L-1层，将基于注意力机制的特征融合模块插入至缺陷检测的卷积神经网络的倒数第2层，这时候卷积神经网络有L层。然后通过卷积神经网络的前L-2层来获取第一缺陷特征，然后将第一缺陷特征输入到第L-1层的特征融合模块，以获取目标融合特征，并将目标融合特征输入卷积神经网络的第L层来获取最终的缺陷检测结果。在其他实施例中，特征融合模块插入到卷积神经网络中可以是任意层。在另一个实施例中，步骤S102的执行可以是单独的卷积神经网络，然后输入到特征融合模块进行处理，并连接到步骤S104对应的卷积神经网络进行最后的缺陷检测的分类。
在另一个实施例中，在使用相应的卷积神经网络（缺陷分类网络）之前，还需要对相应的缺陷分类网络进行训练和测试。
首先，需要根据实际的应用场景，收集各类缺陷所对应的至少一个物体样本的在不同视场下的多个样本图像以及对应的缺陷标签作为训练样本，并以相同的方式确定测试样本，对各类缺陷建立标签数据，形成训练数据集和测试数据集；然后基于该训练数据集对缺陷分类网络进行训练，并基于测试数据集对缺陷分类网络的检测是否达到预设的精度进行测试。
其次，还需要构建缺陷分类网络的具体网络结构，在选定缺陷分类网络的情况下，将特征融合模块连接到缺陷分类网络中，并确定缺陷分类网络的head，以构建完整的分缺陷分类网络结构。也就是说，缺陷分类网络缺陷分类网络包括L层，且第L-1层为特征融合模块。在构建完缺陷分类网络之后，即可根据训练数据集进行模型的训练，并且在基于测试数据集的分类精度达到预设条件的情况下停止网络训练，并基于训练完成的缺陷分类网络来进行待检测产品的缺陷检测和分类。
在本实施例的另一个方面，还提供了一种基于特征融合的缺陷检测装置。请参见图2，该基于特征融合的缺陷检测装置包括：
图像采集模块101，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；
特征提取模块102，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
特征融合模块103，用于按照预设的特征融合算法，对每张目标检测图像的第一缺陷特征进行预设的融合处理，得到与所述待检测产品对应的目标融合特征；
缺陷分类模块104，用于将目标融合特征输入预设的缺陷分类网络，得到待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
可选的，特征提取模块102还用于分别将多张目标检测图像输入与该目标检测图像对应的缺陷分类网络，通过该缺陷分类网络的前L-2层获取第一缺陷特征，所述缺陷分类网络包括L层。
可选的，特征融合模块103还用于分别将每张目标检测图像对应的第一缺陷特征，输入到该目标检测图像对应的缺陷分类网络的第L-1层，以获取第二缺陷特征；对每张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征；
对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征。
可选的，特征融合模块103还用于对每张目标检测图像的第二缺陷特征在预设维度上进行融合处理，所述融合处理包括包括维度拼接、矩阵加法、矩阵逐元素乘法、归一化等操作中的一个或多个。
可选的，缺陷分类模块104还用于将所述目标融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有缺陷类别的置信度；根据置信度在所有待定缺陷中确定目标缺陷，将所述目标缺陷作为所述缺陷检测结果。
可选的，基于特征融合的缺陷检测装置还包括网络训练模块105，用于获取至少一个物体样本的多个样本图像以及对应的缺陷标签作为训练样本；构建缺陷分类网络，所述缺陷分类网络包括L层，且第L-2层为特征融合处理层；根据所述训练样本对所述缺陷分类网络进行训练。
可选的，网络训练模块105还用于获取至少一个物体测试样本的多个样本测试图像以及对应的缺陷标签作为测试样本；根据测试样本对缺陷分类网络进行测试，以获取所述缺陷分类网络的分类精度；在所述分类精度满足预设的精度阈值的情况下，停止缺陷分类网络的训练。
图3示出了一个实施例中实现上述基于特征融合的缺陷检测方法的计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
采用本发明实施例，具有如下有益效果：
采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，多张目标检测图像为不同视场下采集的待检测产品的图像；分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行交叉融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类。也就是说，从多视场采集待检测产品的多张图像，然后基于采集到的各个视场的图像进行特征提取以及特征融合得到最终的缺陷特征，然后基于该处理后的缺陷特征来确定待检测产品的最终的目标缺陷，可以充分利用每个视场的缺陷特征以提高缺陷检测的精度。
也就是说，从多视场采集待检测产品的多张图像，然后基于采集到的多张图像通过特征融合来获取融合之后的特征，然后基于融合后的缺陷特征来确定待检测产品的最终的目标缺陷。从而可以充分利用卷积神经网络完成特征的提取和缺陷的分类，并且通过特征融合来充分利用每个视场的缺陷特征信息，以提高后续缺陷检测的精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。

Claims (7)

1.一种基于特征融合的缺陷检测方法，其特征在于，所述方法包括：
获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；
分别将多张目标检测图像输入与该目标检测图像对应的缺陷分类网络，通过该缺陷分类网络的前L-2层获取第一缺陷特征，所述缺陷分类网络包括L层；
分别将每张目标检测图像对应的第一缺陷特征，输入到该目标检测图像对应的缺陷分类网络的第L-1层，以获取第二缺陷特征；
对每张目标检测图像的第二缺陷特征，与其他张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征；
对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征；
将所述目标融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有待定缺陷类别的置信度；根据置信度在所有待定缺陷中确定目标缺陷，将所述目标缺陷作为所述缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络；
其中，所述对每张目标检测图像的第二缺陷特征，与其他张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征的步骤，还包括：
通过如下公式进行计算：
Figure FDA0003389437640000011
Figure FDA0003389437640000012
以得到第一融合特征featk和第二融合特征cfk，其对应的第一融合特征的集合为Feat＝{feat0,feat1…,featn-1}，第二融合特征的集合为CF＝{cf0,cf1…,cfn-1}，func0是对同一个特征通过不同的网络之后得到的新的特征进行处理的函数，func1是对同一个网络中
Figure FDA0003389437640000013
进行处理的函数，F＝{f0,f1,f2....fn-1}为第一缺陷特征的特征集合，
Figure FDA0003389437640000014
为第二缺陷特征；
所述对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征的步骤，还包括：
通过公式FEAT＝concat(Feat,CF)计算目标融合特征(FEAT)。
2.根据权利要求1所述的基于特征融合的缺陷检测方法，其特征在于，所述对每张目标检测图像的第二缺陷特征，与其他张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征的步骤，还包括：
对每张目标检测图像的第二缺陷特征在预设维度上进行融合处理，所述融合处理包括维度拼接、矩阵加法、矩阵逐元素乘法、归一化操作中的一个或多个。
3.根据权利要求1所述的基于特征融合的缺陷检测方法，其特征在于，所述方法还包括：
获取至少一个物体样本的多个样本图像以及对应的缺陷标签作为训练样本；
构建缺陷分类网络，所述缺陷分类网络包括L层，且第L-2层为特征融合处理层；
根据所述训练样本对所述缺陷分类网络进行训练。
4.根据权利要求3所述的基于特征融合的缺陷检测方法，其特征在于，所述方法还包括：
获取至少一个物体测试样本的多个样本测试图像以及对应的缺陷标签作为测试样本；
根据测试样本对缺陷分类网络进行测试，以获取所述缺陷分类网络的分类精度；
在所述分类精度满足预设的精度阈值的情况下，停止缺陷分类网络的训练。
5.一种基于特征融合的缺陷检测装置，其特征在于，所述装置包括：
图像采集模块，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的图像；
特征提取模块，用于分别将多张目标检测图像输入与该目标检测图像对应的缺陷分类网络，通过该缺陷分类网络的前L-2层获取第一缺陷特征，所述缺陷分类网络包括L层；
特征融合模块，用于分别将每张目标检测图像对应的第一缺陷特征，输入到该目标检测图像对应的缺陷分类网络的第L-1层，以获取第二缺陷特征；对每张目标检测图像的第二缺陷特征，与其他张目标检测图像的第二缺陷特征进行交叉融合处理，得到融合之后的第一融合特征和第二融合特征；对第一融合特征和第二融合特征进行融合处理，以得到所述目标融合特征；
缺陷分类模块，用于将所述目标融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有待定缺陷类别的置信度；根据置信度在所有待定缺陷中确定目标缺陷，将所述目标缺陷作为所述缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络；
其中，特征融合模块还用于通过如下公式进行计算：
Figure FDA0003389437640000021
Figure FDA0003389437640000022
以得到第一融合特征featk和第二融合特征cfk，其对应的第一融合特征的集合为Feat＝{feat0,feat1…,featn-1}，第二融合特征的集合为CF＝{cf0,cf1…,cfn-1}，func0是对同一个特征通过不同的网络之后得到的新的特征进行处理的函数，func1是对同一个网络中
Figure FDA0003389437640000023
进行处理的函数，F＝{f0,f1,f2…fn-1}为第一缺陷特征的特征集合，
Figure FDA0003389437640000024
为第二缺陷特征；
通过公式FEAT＝concat(Feat,CF)计算目标融合特征(FEAT)。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如权利要求1至4任一所述的基于特征融合的缺陷检测方法。
7.一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至4任一所述的基于特征融合的缺陷检测方法。
CN202111082785.8A 2021-09-15 2021-09-15 基于特征融合的缺陷检测方法及装置 Active CN113516661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111082785.8A CN113516661B (zh) 2021-09-15 2021-09-15 基于特征融合的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082785.8A CN113516661B (zh) 2021-09-15 2021-09-15 基于特征融合的缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN113516661A CN113516661A (zh) 2021-10-19
CN113516661B true CN113516661B (zh) 2022-02-08

Family

ID=78063386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082785.8A Active CN113516661B (zh) 2021-09-15 2021-09-15 基于特征融合的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN113516661B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240926B (zh) * 2021-12-28 2022-12-13 湖南云箭智能科技有限公司 板卡缺陷类别识别方法、装置、设备及可读存储介质
CN114723748B (zh) * 2022-06-06 2022-09-02 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN114782756B (zh) * 2022-06-20 2022-10-04 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN114820619B (zh) * 2022-06-29 2022-11-15 深圳市信润富联数字科技有限公司 块茎类植物分选方法、系统、计算机设备和存储介质
CN114842014B (zh) * 2022-07-04 2023-03-24 深圳新视智科技术有限公司 基于密度估计的缺陷检测方法、装置、设备及存储介质
CN115641330B (zh) * 2022-11-17 2023-06-30 东莞市众嘉印刷有限公司 一种基于图像处理的软性线路板缺陷检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113283507A (zh) * 2021-05-27 2021-08-20 大连海事大学 一种基于多视图的特征融合车辆再识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036495B (zh) * 2014-05-22 2017-01-18 南京航空航天大学 一种焊接缺陷提取方法及焊接缺陷检测方法
US20170277979A1 (en) * 2016-03-22 2017-09-28 Inovision Software Solutions, Inc. Identifying defect on specular surfaces
CN108345911B (zh) * 2018-04-16 2021-06-29 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
US11172192B2 (en) * 2018-12-27 2021-11-09 Waymo Llc Identifying defects in optical detector systems based on extent of stray light
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN111046920A (zh) * 2019-11-22 2020-04-21 中国科学院计算技术研究所 一种训练食品图像分类模型的方法及图像分类方法
CN111627012B (zh) * 2020-05-28 2021-12-21 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法
CN112906816B (zh) * 2021-03-15 2021-11-09 锋睿领创(珠海)科技有限公司 基于光微分与双通道神经网络的目标检测方法和装置
CN113269775B (zh) * 2021-06-11 2022-10-28 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113283507A (zh) * 2021-05-27 2021-08-20 大连海事大学 一种基于多视图的特征融合车辆再识别方法

Also Published As

Publication number Publication date
CN113516661A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516661B (zh) 基于特征融合的缺陷检测方法及装置
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN109034078B (zh) 年龄识别模型的训练方法、年龄识别方法及相关设备
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
US20200193219A1 (en) Discrimination device and machine learning method
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
CN113239975A (zh) 一种基于神经网络的目标检测方法和装置
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN113313169A (zh) 基于深度学习的训练素材智能识别方法、装置和设备
CN113379685A (zh) 一种基于双通道特征比对模型的pcb板缺陷检测方法及装置
CN114882033B (zh) 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN114842014B (zh) 基于密度估计的缺陷检测方法、装置、设备及存储介质
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN114782756B (zh) 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN112465037B (zh) 目标检测方法、装置、计算机设备及存储介质
CN115601293A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN114155412A (zh) 深度学习模型迭代方法、装置、设备及存储介质
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品
CN116843608A (zh) 基于机器视觉的服装缺陷检测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant