CN114782756A - 基于特征融合的缺陷检测方法、装置、设备及存储介质 - Google Patents

基于特征融合的缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114782756A
CN114782756A CN202210699150.0A CN202210699150A CN114782756A CN 114782756 A CN114782756 A CN 114782756A CN 202210699150 A CN202210699150 A CN 202210699150A CN 114782756 A CN114782756 A CN 114782756A
Authority
CN
China
Prior art keywords
feature
fusion
defect
characteristic
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210699150.0A
Other languages
English (en)
Other versions
CN114782756B (zh
Inventor
刘清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshizhi Technology Co ltd
Original Assignee
Shenzhen Xinshizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinshizhi Technology Co ltd filed Critical Shenzhen Xinshizhi Technology Co ltd
Priority to CN202210699150.0A priority Critical patent/CN114782756B/zh
Publication of CN114782756A publication Critical patent/CN114782756A/zh
Application granted granted Critical
Publication of CN114782756B publication Critical patent/CN114782756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于特征融合的缺陷检测方法、装置、设备以及存储介质，其中，所述方法包括：获取待检测产品的多张不同视场下采集的单场图像下的目标检测图像；获取每张目标检测图像的第一缺陷特征；按照预设的单场特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到第一融合特征；按照预设的多场特征融合算法，对第一融合特征进行第二特征融合处理，得到第二融合特征；根据第二融合特征对待检测产品进行缺陷检测，得到缺陷检测结果。另外，本发明实施例还公开了一种基于特征融合的缺陷检测采用本发明，采用本发明实施例，可充分利用每个视场的图像信息，提高缺陷检测的分类精度。

Description

基于特征融合的缺陷检测方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
在工业缺陷的检测中，通过采集图像来对需要检测的产品进行缺陷检测。在实际使用过程中，对同一个待检测物体，会采用多种打光方式组合的方法，获取待检测物体的成像信息，这种方式可以获得不同成像下的缺陷形态，更好的处理多种缺陷的检测。但是，目前基于图像的缺陷检测方法，都是单独的对单个打光方式下的图像进行检测，没有考虑到多个成像下的图像，检测精度不高，误判和漏检过高。
发明内容
基于此，在本发明实施例中，提供了一种基于特征融合的缺陷检测的方法、装置、设备以及计算机可读存储介质，可以提高基于图像识别的缺陷检测的准确率。
在本发明的第一部分，提供了一种基于特征融合的缺陷检测方法，包括：
获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；
按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；
按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；
根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
可选的，所述按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征的步骤，还包括：
对于每一个第一缺陷特征：
对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；
基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；
基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；
基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
可选的，所述对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征的步骤，还包括：
对于第i个第一缺陷特征
Figure 100002_DEST_PATH_IMAGE002
，通过如下公式计算第一缺陷特征
Figure 445065DEST_PATH_IMAGE002
的第一映射特征：
Figure 100002_DEST_PATH_IMAGE004
其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征
Figure 627784DEST_PATH_IMAGE002
的映射特征包括
Figure 100002_DEST_PATH_IMAGE006
。
可选的，所述基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征的步骤，还包括：
对于第i个第一缺陷特征
Figure 610784DEST_PATH_IMAGE002
，通过如下公式计算第j个第一缺陷特征
Figure 100002_DEST_PATH_IMAGE008
对第一缺陷特征
Figure 645474DEST_PATH_IMAGE002
产生的第一更新幅度特征
Figure 100002_DEST_PATH_IMAGE010
，其中，
Figure 100002_DEST_PATH_IMAGE012
：
Figure 100002_DEST_PATH_IMAGE014
其中，avgpool表示自适应平均池化操作，F表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得
Figure 100002_DEST_PATH_IMAGE016
的维度与
Figure 100002_DEST_PATH_IMAGE018
一致，c为
Figure 100002_DEST_PATH_IMAGE020
的特征维度大小。
可选的，所述基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征的步骤，还包括：
通过公式
Figure 100002_DEST_PATH_IMAGE022
计算第i个第一缺陷特征
Figure DEST_PATH_IMAGE024
的第一更新特征
Figure DEST_PATH_IMAGE026
，其中，
Figure DEST_PATH_IMAGE028
包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
可选的，所述基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征的步骤，还包括：
通过公式
Figure DEST_PATH_IMAGE030
计算第i个第一缺陷特征
Figure 100002_DEST_PATH_IMAGE031
的第一融合特征
Figure 100002_DEST_PATH_IMAGE033
，其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与
Figure 180885DEST_PATH_IMAGE031
维度相同的特征。
可选的，所述按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征的步骤，还包括：
对于每一个第一融合特征：
对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；
基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征；
基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
可选的，所述对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征的步骤，还包括：
对于第i个第一融合特征
Figure 100002_DEST_PATH_IMAGE035
，通过如下公式计算第一融合特征
Figure 206610DEST_PATH_IMAGE035
的第二映射特征：
Figure 100002_DEST_PATH_IMAGE037
其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括
Figure 100002_DEST_PATH_IMAGE039
。
可选的，所述基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征的步骤，还包括：
对于第i个第一融合特征
Figure 100002_DEST_PATH_IMAGE041
，通过如下公式计算第一融合特征
Figure 100002_DEST_PATH_IMAGE043
的第二更新幅度特征
Figure 100002_DEST_PATH_IMAGE045
：
Figure 100002_DEST_PATH_IMAGE047
Figure 100002_DEST_PATH_IMAGE049
其中，
Figure 100002_DEST_PATH_IMAGE051
表示其他第一融合特征
Figure 100002_DEST_PATH_IMAGE053
对第i个第一融合特征
Figure 100002_DEST_PATH_IMAGE055
进行更新得到的特征，
Figure 100002_DEST_PATH_IMAGE057
，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
可选的，所述基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征的步骤，还包括：
通过公式
Figure 100002_DEST_PATH_IMAGE059
计算第i个第一融合特征
Figure DEST_PATH_IMAGE061
的第二融合特征
Figure DEST_PATH_IMAGE063
，其中，reshape函数为将矩阵进行维度变换的操作，将
Figure DEST_PATH_IMAGE065
与
Figure DEST_PATH_IMAGE067
的维度保持一致，F函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
可选的，所述根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果的步骤，还包括：
将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
可选的，所述将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果的步骤，还包括：
通过预设的缺陷分类网络，获取与所述待检测产品对应的一个或多个分类标签、以及每一个分类标签对应的置信度；根据置信度，在所述一个或多个分类标签中确定一个分类标签作为所述缺陷检测结果。
在本发明的第二部分，提供了一种基于特征融合的缺陷检测装置，包括：
单场图像获取模块，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；
特征提取模块，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
单场特征增强模块，用于按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；
多场特征融合模块，用于按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；
分类模块，用于根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
在本发明的第三部分，提供了一种计算机设备，所述计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
在本发明的第四部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
采用本发明实施例，具有如下有益效果：
采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；然后分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类；其中，对于单场图像的缺陷特征，需要首先基于单场特征增强算法进行单场图像特征的特征增加处理，然后再进行基于多场特征融合算法进行多场图像特征的融合处理，以充分利用每一个视场下采集到的图像特征的相关信息，从而可以提高缺陷分类的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中一种基于特征融合的缺陷检测方法的流程示意图；
图2为一个实施例中一种单场及多场特征融合处理的流程示意图；
图3为一个实施例中一种基于特征融合的缺陷检测装置的结构示意图；
图4为一个实施例中运行上述基于特征融合的缺陷检测方法的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中，提供了一种基于特征融合的缺陷检测方法，该方法的执行可以是在工业场景，例如在产品线，通过在产品线上设置摄像头来采集产品线上的产品的图像，然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类，以将良品与次品进行区分。
在本实施例中，基于特征融合的缺陷检测方法的实现可以是基于与采集待检测产品的图像的摄像头连接的计算机设备，该计算机设备可以是产品线的控制设备，也可以是与产品线连接的服务器，在本实施例中不做限定。
其中，为了深入的利用各场的信息，提高缺陷分类的准确率，本申请实施例提出的基于特征融合的缺陷检测方法基于单场与多场特征融合算法，对待检测产品采集多张单场的检测图像，然后对于单场的检测图像的缺陷特征，分别进行单场的特征增加以及多场的特征交互融合处理，以充分利用每个视场下的缺陷特征，从而提高基于图像处理的缺陷检测的分类精度。
具体的，请参见图1，图1给出了基于特征融合的缺陷检测方法的流程示意图。具体的，上述基于特征融合的缺陷检测方法包括如图1所示的步骤：
步骤S101：获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像。
待检测产品可以是产品线上或者其他工业应用场景下需要进行缺陷检测的产品。在本实施例中，对产品缺陷的检测，是基于多视场、多角度、多维度的图像采集进行的，也就是说，产品缺陷的检测不止是基于单一的图像进行检测的，而是多个视场下分别采集的待检测产品的图像。其中，多个视场可以是从待检测产品的不同视场或不同角度，也可以是摄像头采集图像时的不同的打光方式。待检测产品的多张目标检测图像可以是通过背光打光、正面打光、低角度打光等各种不同的打光方式获取到的不同视场的待检测产品的多张目标检测图像。
需要说明的是，每一张目标检测图像，均是在一个视场下采集到的单张的图像，也就是说，每一张目标检测图像均为单视场下采集到的单场图像。在本实施例中，对采集到的检测图像的处理，均是基于单场图像进行的。
步骤S102：按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征。
针对每张目标检测图像，在进行缺陷检测时，首先需要提取图像中的图像特征，在本实施例中，从目标检测图像中提取的图像特征为缺陷特征，用于表征目标检测图像对应的待检测产品是否存在缺陷。在一个具体的实施例中，从目标检测图像中提取缺陷特征可以是通过任意的特征提取算法实现的，也可以是通过预先训练好的卷积神经网络或该网络的一层或多层实现的，在本实施例中不做限定。
对于多张目标检测图像
Figure DEST_PATH_IMAGE069
，其中，
Figure DEST_PATH_IMAGE071
，也就是说，n为目标检测图像的数量，也为多个视场中视场（或者称为场）的数量。在本步骤中，针对n个视场的目标检测图像集合为
Figure DEST_PATH_IMAGE073
，将每一个目标检测图像
Figure 975108DEST_PATH_IMAGE069
分别输入到每一个视场特征提取算法中，其中
Figure 580533DEST_PATH_IMAGE071
，获取每一个目标检测图像
Figure 983832DEST_PATH_IMAGE069
的第一缺陷特征
Figure DEST_PATH_IMAGE075
，分别记为
Figure DEST_PATH_IMAGE077
，因此，基于第一缺陷特征的特征集合为
Figure DEST_PATH_IMAGE079
。
步骤S103：按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法。
需要说明的是，在本实施例中，第一特征增强算法为单场特征增强算法，可以是卷积神经网络或分类网络的一层，或者是缺陷分类算法的一个模块（例如，单场特征增强模块）。
具体的，单场特征增强模块对第一缺陷特征的处理如下：
对于每一个第一缺陷特征：对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
具体的，将n个场的第一缺陷特征
Figure DEST_PATH_IMAGE081
输入到单场特征增强模块，并具体执行如下操作。
对于第i个第一缺陷特征
Figure DEST_PATH_IMAGE083
，通过如下公式计算第一缺陷特征
Figure 882256DEST_PATH_IMAGE083
的第一映射特征：
Figure DEST_PATH_IMAGE085
其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征
Figure 839847DEST_PATH_IMAGE083
的映射特征包括
Figure DEST_PATH_IMAGE087
。这里，需要对n个第一缺陷特征分别执行上述步骤，以得到每一个缺陷特征对应的第一映射特征。
然后，进一步的，对于第i个第一缺陷特征
Figure DEST_PATH_IMAGE089
，通过如下公式计算第j个第一缺陷特征
Figure DEST_PATH_IMAGE091
对第一缺陷特征
Figure 422532DEST_PATH_IMAGE089
产生的第一更新幅度特征
Figure DEST_PATH_IMAGE093
，其中，
Figure DEST_PATH_IMAGE095
：
Figure DEST_PATH_IMAGE097
其中，avgpool表示自适应平均池化操作，F表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得
Figure DEST_PATH_IMAGE099
的维度与
Figure DEST_PATH_IMAGE101
一致，c为
Figure DEST_PATH_IMAGE103
的特征维度大小。也就是说，对于每一个第一缺陷特征
Figure DEST_PATH_IMAGE104
，分别计算每一个其他第一缺陷特征
Figure DEST_PATH_IMAGE106
对第一缺陷特征
Figure 290125DEST_PATH_IMAGE104
所产生的第一更新幅度特征
Figure DEST_PATH_IMAGE108
。也就是说，这里会得到
Figure DEST_PATH_IMAGE110
个第一更新幅度特征
Figure DEST_PATH_IMAGE112
。
进一步的，利用自身之外的所有其他场第一缺陷特征对当前的第i个第一缺陷特征
Figure DEST_PATH_IMAGE113
进行更新，得到第i个第一缺陷特征
Figure DEST_PATH_IMAGE115
的第一更新特征
Figure DEST_PATH_IMAGE117
，更新计算如下所示：
Figure DEST_PATH_IMAGE119
其中，
Figure DEST_PATH_IMAGE121
包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
最后，由更新后的第一更新特征
Figure DEST_PATH_IMAGE123
得到单场特征增强模块的输出特征（第一融合特征
Figure DEST_PATH_IMAGE125
），具体计算公式如下所示：
Figure DEST_PATH_IMAGE127
其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与
Figure DEST_PATH_IMAGE129
维度相同的特征。
通过上述步骤，可以通过单场特征增强模块，得到每一个第一缺陷特征
Figure DEST_PATH_IMAGE131
对应的第一融合特征
Figure DEST_PATH_IMAGE133
。从而完成本发明实施例提供的缺陷检测方法的特征融合处理模块中的单场特征增强处理，从而实现了对单场图像的缺陷特征的增强融合处理，以充分利用单场图像的缺陷特征，从而提高后续基于该缺陷特征的缺陷分类精度。
步骤S104：按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法。
需要说明的是，在本实施例中，第二特征融合算法为多场特征融合算法，可以是卷积神经网络或分类网络的一层，或者是缺陷分类算法的一个模块（例如，多场特征融合模块）。
具体的，多场特征融合模块对第一融合特征的处理如下：
对于每一个第一融合特征：对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征；基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
具体的，将第一融合特征
Figure DEST_PATH_IMAGE135
输入到多场特征融合模块，并执行如下操作。
对于第i个第一融合特征
Figure DEST_PATH_IMAGE137
，通过如下公式计算第一融合特征
Figure 764311DEST_PATH_IMAGE137
的第二映射特征：
Figure DEST_PATH_IMAGE139
其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括
Figure DEST_PATH_IMAGE141
。
然后对于第i个第一融合特征
Figure DEST_PATH_IMAGE143
，通过如下公式计算第一融合特征
Figure DEST_PATH_IMAGE145
的第二更新幅度特征
Figure DEST_PATH_IMAGE147
：
Figure DEST_PATH_IMAGE149
其中，
Figure DEST_PATH_IMAGE151
表示其他第一融合特征
Figure DEST_PATH_IMAGE153
对第i个第一融合特征
Figure DEST_PATH_IMAGE155
进行更新得到的特征，
Figure DEST_PATH_IMAGE157
，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
最后，利用
Figure DEST_PATH_IMAGE159
更新
Figure DEST_PATH_IMAGE161
，得到多场特征融合模块的输出第二融合特征
Figure DEST_PATH_IMAGE163
，更新计算如下所示：
Figure DEST_PATH_IMAGE165
其中，reshape函数为将矩阵进行维度变换的操作，将
Figure DEST_PATH_IMAGE167
与
Figure DEST_PATH_IMAGE169
的维度保持一致，F函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
通过上述操作，可以通过上述多场特征融合模块，计算第一融合特征的第二融合特征，从而充分利用多个视场下的单场图像的缺陷特征，并对单场特征增强之后的缺陷特征进行交互融合处理，以进一步充分利用缺陷特征，提高后续基于第二融合特征对应的缺陷检测分类精度。
步骤S105：根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
在通过步骤S103、S104中对单场的目标检测图像的特征进行单场特征增加、以及多场特征融合之后，即可进一步的基于得到的第二融合特征进行缺陷分类检测，以得到待检测产品对应的缺陷检测结果。
基于前述步骤提取了多张目标检测图像的基于单场特征增强以及多场特征融合的第二融合特征，然后就可以基于预设的缺陷分类网络，通过该缺陷分类网络来对第二融合特征进行计算，以得到待检测产品的缺陷检测结果。也就是说，将所述缺陷分类网络的输出作为所述待检测产品的缺陷检测结果。其中，所述缺陷分类网络为卷积神经网络。
在本步骤中，可以是根据第二融合特征，获取待检测产品对应于所有缺陷类别（即为分类标签）的置信度，然后根据置信度来确定缺陷检测结果，以完成对待检测产品的缺陷检测的分类。在一个具体的实施例中，可以是将第二融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有分类标签的置信度；然后根据置信度在每一个分类标签中确定目标分类标签，将目标分类标签作为所述缺陷检测结果。
需要说明的是，上述单场特征增强模块和多场特征融合模块，可以是一个即插即用的模块，加入到现有的对缺陷特征进行分类的分类模型网络框架中，也就是说，可以在网络中间插入一次或多次，也可以只是在分类之前插入进行使用。
在一个具体的实施例中，在上述缺陷分类网络的训练过程中，最终的缺陷分类结果的悬链，需要将多个第二融合特征进行contact操作或者融合操作（例如元素级的加法、乘法操作）之后，输入到缺陷分类网络中进行训练，从而得到分类标签以及对应的置信度信息，并最终根据置信度得到最终的缺陷分类结果。
在一个具体的实施例中，上述基于缺陷融合的缺陷检测方法中，首先需要获取训练数据集和测试数据集：根据实际的应用场景，收集各类缺陷所对应的在多场下的单场图像数据，对各类缺陷建立标签数据，形成训练数据集和测试数据集；然后，构建缺陷分类网络的结构，将单场特征增加模块和多场特征融合模块连接到缺陷分类网络中，紧接着设计缺陷分类网络的分类抱歉，搭建完整的缺陷分类网络框架；并设置卷积神经网络训练超参数，训练模型；在测试数据集上测试模型分类精度，从而完成缺陷分类网络的训练过程。然后在实际的缺陷检测过程中，对于待检测产品采集到的目标检测图像，通过上述连接了单场特征增加模块和多场特征融合模块的缺陷分类网络进行特征融合处理和缺陷分类检测，以获取待检测产品对应的缺陷分类结果。
具体的，请参见图2所示，对于n个视场的特征，通过单场特征增强模块、和多场特征融合模块，获取对应的融合特征，然后基于该融合特征进行缺陷检测，得到缺陷分类结果。
在本发明的另一个实施例中，如图3所示，还提出了一种基于特征融合的缺陷检测装置，
单场图像获取模块101，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；
特征提取模块102，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
单场特征增强模块103，用于按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；
多场特征融合模块104，用于按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；
分类模块105，用于根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
在一个可选的实施例中，单场特征增强模块103还用于对于每一个第一缺陷特征：对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
在一个可选的实施例中，单场特征增强模块103还用于对于第i个第一缺陷特征
Figure DEST_PATH_IMAGE171
，通过如下公式计算第一缺陷特征
Figure 304139DEST_PATH_IMAGE171
的第一映射特征：
Figure DEST_PATH_IMAGE173
其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征
Figure 782525DEST_PATH_IMAGE171
的映射特征包括
Figure DEST_PATH_IMAGE175
。
在一个可选的实施例中，单场特征增强模块103还用于对于第i个第一缺陷特征
Figure 691575DEST_PATH_IMAGE171
，通过如下公式计算第j个第一缺陷特征
Figure DEST_PATH_IMAGE177
对第一缺陷特征
Figure 964425DEST_PATH_IMAGE171
产生的第一更新幅度特征
Figure DEST_PATH_IMAGE179
，其中，
Figure DEST_PATH_IMAGE181
：
Figure DEST_PATH_IMAGE183
其中，avgpool表示自适应平均池化操作，F表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得
Figure DEST_PATH_IMAGE185
的维度与
Figure DEST_PATH_IMAGE187
一致，c为
Figure DEST_PATH_IMAGE189
的特征维度大小。
在一个可选的实施例中，单场特征增强模块103还用于通过公式
Figure DEST_PATH_IMAGE191
Figure DEST_PATH_IMAGE193
计算第i个第一缺陷特征
Figure DEST_PATH_IMAGE195
的第一更新特征
Figure DEST_PATH_IMAGE197
，其中，
Figure DEST_PATH_IMAGE199
包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
在一个可选的实施例中，单场特征增强模块103还用于通过公式计算第i个第一缺陷特征
Figure DEST_PATH_IMAGE201
的第一融合特征
Figure DEST_PATH_IMAGE203
，其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与
Figure 788287DEST_PATH_IMAGE201
维度相同的特征。
在一个可选的实施例中，多场特征融合模块104还用于对于每一个第一融合特征：对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征；基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
在一个可选的实施例中，多场特征融合模块104还用于对于第i个第一融合特征
Figure DEST_PATH_IMAGE204
，通过如下公式计算第一融合特征
Figure 70363DEST_PATH_IMAGE204
的第二映射特征：
Figure DEST_PATH_IMAGE206
其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括
Figure DEST_PATH_IMAGE208
。
在一个可选的实施例中，多场特征融合模块104还用于对于第i个第一融合特征
Figure DEST_PATH_IMAGE210
，通过如下公式计算第一融合特征
Figure DEST_PATH_IMAGE212
的第二更新幅度特征
Figure DEST_PATH_IMAGE214
：
Figure DEST_PATH_IMAGE216
其中，
Figure DEST_PATH_IMAGE218
表示其他第一融合特征
Figure DEST_PATH_IMAGE220
对第i个第一融合特征
Figure DEST_PATH_IMAGE222
进行更新得到的特征，
Figure DEST_PATH_IMAGE224
，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
在一个可选的实施例中，多场特征融合模块104还用于通过公式
Figure DEST_PATH_IMAGE226
Figure DEST_PATH_IMAGE228
计算第i个第一融合特征
Figure DEST_PATH_IMAGE230
的第二融合特征
Figure DEST_PATH_IMAGE232
，其中，reshape函数为将矩阵进行维度变换的操作，将
Figure DEST_PATH_IMAGE234
与
Figure DEST_PATH_IMAGE236
的维度保持一致，F函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
在一个可选的实施例中，分类模块还用于将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
在一个可选的实施例中，分类模块还用于通过预设的缺陷分类网络，获取与所述待检测产品对应的一个或多个分类标签、以及每一个分类标签对应的置信度；根据置信度，在所述一个或多个分类标签中确定一个分类标签作为所述缺陷检测结果。
图4示出了一个实施例中实现上述基于特征融合的缺陷检测方法的计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；然后分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类；其中，对于单场图像的缺陷特征，需要首先基于单场特征增强算法进行单场图像特征的特征增加处理，然后再进行基于多场特征融合算法进行多场图像特征的融合处理，以充分利用每一个视场下采集到的图像特征的相关信息，从而可以提高缺陷分类的精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于特征融合的缺陷检测方法，其特征在于，所述方法包括：
获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；
按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；
按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；
根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
2.根据权利要求1所述的基于特征融合的缺陷检测方法，其特征在于，所述按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征的步骤，还包括：
对于每一个第一缺陷特征：
对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；
基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；
基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；
基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
3.根据权利要求2所述的基于特征融合的缺陷检测方法，其特征在于，所述对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征的步骤，还包括：
对于第i个第一缺陷特征
Figure DEST_PATH_IMAGE002
，通过如下公式计算第一缺陷特征
Figure 521847DEST_PATH_IMAGE002
的第一映射特征：
Figure DEST_PATH_IMAGE004
其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征
Figure 907829DEST_PATH_IMAGE002
的映射特征包括
Figure DEST_PATH_IMAGE006
；
所述基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征的步骤，还包括：
对于第i个第一缺陷特征
Figure 890828DEST_PATH_IMAGE002
，通过如下公式计算第j个第一缺陷特征
Figure DEST_PATH_IMAGE008
对第一缺陷特征
Figure 489300DEST_PATH_IMAGE002
产生的第一更新幅度特征
Figure DEST_PATH_IMAGE010
，其中，
Figure DEST_PATH_IMAGE012
：
Figure DEST_PATH_IMAGE014
其中，avgpool表示自适应平均池化操作，F表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得
Figure DEST_PATH_IMAGE016
的维度与
Figure DEST_PATH_IMAGE018
一致，c为
Figure DEST_PATH_IMAGE020
的特征维度大小。
4.根据权利要求3所述的基于特征融合的缺陷检测方法，其特征在于，所述基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征的步骤，还包括：
通过公式
Figure DEST_PATH_IMAGE022
计算第i个第一缺陷特征
Figure DEST_PATH_IMAGE023
的第一更新特征
Figure DEST_PATH_IMAGE025
，其中，
Figure DEST_PATH_IMAGE027
包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个；
所述基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征的步骤，还包括：
通过公式
Figure DEST_PATH_IMAGE029
计算第i个第一缺陷特征
Figure 615974DEST_PATH_IMAGE023
的第一融合特征
Figure DEST_PATH_IMAGE031
，其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与
Figure 641699DEST_PATH_IMAGE002
维度相同的特征。
5.根据权利要求1所述的基于特征融合的缺陷检测方法，其特征在于，所述按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征的步骤，还包括：
对于每一个第一融合特征：
对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；
基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征；
基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
6.根据权利要求5所述的基于特征融合的缺陷检测方法，其特征在于，所述对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征的步骤，还包括：
对于第i个第一融合特征
Figure 643153DEST_PATH_IMAGE031
，通过如下公式计算第一融合特征
Figure 576474DEST_PATH_IMAGE031
的第二映射特征：
Figure DEST_PATH_IMAGE033
其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括
Figure DEST_PATH_IMAGE035
；
所述基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征的步骤，还包括：
对于第i个第一融合特征
Figure 183036DEST_PATH_IMAGE031
，通过如下公式计算第一融合特征
Figure DEST_PATH_IMAGE037
的第二更新幅度特征
Figure DEST_PATH_IMAGE039
：
Figure DEST_PATH_IMAGE041
其中，
Figure DEST_PATH_IMAGE043
表示其他第一融合特征
Figure DEST_PATH_IMAGE045
对第i个第一融合特征
Figure DEST_PATH_IMAGE047
进行更新得到的特征，
Figure DEST_PATH_IMAGE049
，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个；
所述基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征的步骤，还包括：
通过公式
Figure DEST_PATH_IMAGE051
计算第i个第一融合特征
Figure DEST_PATH_IMAGE053
的第二融合特征
Figure DEST_PATH_IMAGE055
，其中，reshape函数为将矩阵进行维度变换的操作，将
Figure DEST_PATH_IMAGE057
与
Figure DEST_PATH_IMAGE059
的维度保持一致，F函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
7.根据权利要求1所述的基于特征融合的缺陷检测方法，其特征在于，所述根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果的步骤，还包括：
将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络；
其中，所述将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果的步骤，还包括：
通过预设的缺陷分类网络，获取与所述待检测产品对应的一个或多个分类标签、以及每一个分类标签对应的置信度；根据置信度，在所述一个或多个分类标签中确定一个分类标签作为所述缺陷检测结果。
8.一种基于特征融合的缺陷检测装置，其特征在于，所述装置包括：
单场图像获取模块，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；
特征提取模块，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；
单场特征增强模块，用于按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；
多场特征融合模块，用于按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；
分类模块，用于根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如权利要求1至7任一所述的基于特征融合的缺陷检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至7任一所述的基于特征融合的缺陷检测方法。
CN202210699150.0A 2022-06-20 2022-06-20 基于特征融合的缺陷检测方法、装置、设备及存储介质 Active CN114782756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210699150.0A CN114782756B (zh) 2022-06-20 2022-06-20 基于特征融合的缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210699150.0A CN114782756B (zh) 2022-06-20 2022-06-20 基于特征融合的缺陷检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114782756A true CN114782756A (zh) 2022-07-22
CN114782756B CN114782756B (zh) 2022-10-04

Family

ID=82421918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210699150.0A Active CN114782756B (zh) 2022-06-20 2022-06-20 基于特征融合的缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114782756B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106596560A (zh) * 2016-12-14 2017-04-26 江苏大学 一种基于激光传感器阵列的贯流风叶注塑缺料缺陷检测方法与装置
US20200001513A1 (en) * 2017-02-08 2020-01-02 Cryovac, Llc Process for in-line inspection of functional film layer containing detectable component
CN111768386A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN112200178A (zh) * 2020-09-01 2021-01-08 广西大学 基于人工智能的变电站绝缘子红外图像检测方法
CN112801047A (zh) * 2021-03-19 2021-05-14 腾讯科技（深圳）有限公司 缺陷检测方法、装置、电子设备及可读存储介质
CN113469111A (zh) * 2021-07-16 2021-10-01 中国银行股份有限公司 图像关键点检测方法及系统、电子设备、存储介质
CN113487607A (zh) * 2021-09-06 2021-10-08 深圳新视智科技术有限公司 基于多视场图像的缺陷检测方法及装置
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113537414A (zh) * 2021-09-15 2021-10-22 深圳新视智科技术有限公司 锂电池缺陷检测方法、装置、设备及存储介质
CN113570003A (zh) * 2021-09-23 2021-10-29 深圳新视智科技术有限公司 基于注意力机制的特征融合缺陷检测方法及装置
CN113724286A (zh) * 2021-08-09 2021-11-30 浙江大华技术股份有限公司 显著性目标的检测方法、检测设备及计算机可读存储介质
CN113887615A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN113936256A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 一种图像目标检测方法、装置、设备以及存储介质
CN114550021A (zh) * 2022-04-25 2022-05-27 深圳市华汉伟业科技有限公司 基于特征融合的表面缺陷检测方法及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106596560A (zh) * 2016-12-14 2017-04-26 江苏大学 一种基于激光传感器阵列的贯流风叶注塑缺料缺陷检测方法与装置
US20200001513A1 (en) * 2017-02-08 2020-01-02 Cryovac, Llc Process for in-line inspection of functional film layer containing detectable component
CN111768386A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN112200178A (zh) * 2020-09-01 2021-01-08 广西大学 基于人工智能的变电站绝缘子红外图像检测方法
CN112801047A (zh) * 2021-03-19 2021-05-14 腾讯科技（深圳）有限公司 缺陷检测方法、装置、电子设备及可读存储介质
CN113469111A (zh) * 2021-07-16 2021-10-01 中国银行股份有限公司 图像关键点检测方法及系统、电子设备、存储介质
CN113724286A (zh) * 2021-08-09 2021-11-30 浙江大华技术股份有限公司 显著性目标的检测方法、检测设备及计算机可读存储介质
CN113487607A (zh) * 2021-09-06 2021-10-08 深圳新视智科技术有限公司 基于多视场图像的缺陷检测方法及装置
CN113537414A (zh) * 2021-09-15 2021-10-22 深圳新视智科技术有限公司 锂电池缺陷检测方法、装置、设备及存储介质
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113570003A (zh) * 2021-09-23 2021-10-29 深圳新视智科技术有限公司 基于注意力机制的特征融合缺陷检测方法及装置
CN113887615A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN113936256A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 一种图像目标检测方法、装置、设备以及存储介质
CN114550021A (zh) * 2022-04-25 2022-05-27 深圳市华汉伟业科技有限公司 基于特征融合的表面缺陷检测方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张平: "基于深度学习的缺陷检测算法设计及应用", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN114782756B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN113516661B (zh) 基于特征融合的缺陷检测方法及装置
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN114494260B (zh) 对象缺陷检测方法、装置、计算机设备和存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
CN116071650A (zh) 一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法
CN113516651A (zh) 基于残差网络的焊接接头缺陷检测方法及装置
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN110633751A (zh) 车标分类模型的训练方法、车标识别方法、装置及设备
CN111539456B (zh) 一种目标识别方法及设备
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN111598844B (zh) 一种图像分割方法、装置、电子设备和可读存储介质
CN110751061B (zh) 基于sar网络的sar图像识别方法、装置、设备和存储介质
CN114782756B (zh) 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN114882033B (zh) 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN116958604A (zh) 基于输电线路图像匹配方法、装置、介质及设备
CN115860139A (zh) 一种基于深度学习的多尺度船舶目标检测方法
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN115205224A (zh) 自适应特征增强的多源融合视觉检测方法、装置及介质
CN112101322B (zh) 目标物体检测模型、训练方法、物体检测方法和相关设备
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant