CN113570003A - 基于注意力机制的特征融合缺陷检测方法及装置 - Google Patents

基于注意力机制的特征融合缺陷检测方法及装置 Download PDF

Info

Publication number
CN113570003A
CN113570003A CN202111112999.5A CN202111112999A CN113570003A CN 113570003 A CN113570003 A CN 113570003A CN 202111112999 A CN202111112999 A CN 202111112999A CN 113570003 A CN113570003 A CN 113570003A
Authority
CN
China
Prior art keywords
defect
fusion
feature
attention mechanism
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111112999.5A
Other languages
English (en)
Other versions
CN113570003B (zh
Inventor
刘清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshizhi Technology Co ltd
Original Assignee
Shenzhen Xinshizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinshizhi Technology Co ltd filed Critical Shenzhen Xinshizhi Technology Co ltd
Priority to CN202111112999.5A priority Critical patent/CN113570003B/zh
Publication of CN113570003A publication Critical patent/CN113570003A/zh
Application granted granted Critical
Publication of CN113570003B publication Critical patent/CN113570003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于注意力机制的特征融合缺陷检测方法、装置、设备及存储介质,其中,所述方法包括获取待检测产品的在不同视场下的多张目标检测图像,分别提取每张目标检测图像的第一缺陷特征;对第一缺陷特征进行融合处理得到第一融合特征;将第一融合特征输入第一注意力机制模块获取第二缺陷特征;对第二缺陷特征进行融合处理,得到第二融合特征;将第二融合特征输入第二注意力机制模块获取第三缺陷特征;根据第三缺陷特征,计算待检测产品的目标缺陷并输出。采用本实施例,通过结合注意力机制进行多场特征提取,以提高待检测产品的缺陷检测准确率。

Description

基于注意力机制的特征融合缺陷检测方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于注意力机制的特征融合缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
在工业缺陷的检测中,通过采集图像来对需要检测的产品进行缺陷检测。在实际使用过程中,都是在产线上预设的位置设置摄像头,以采集图像,并通过图像处理和识别来检测产品是否存在缺陷。但是,目前的基于图像的缺陷检测方法,往往忽略了不同视角下的图像信息交互,使用单个视角下的图像,检测精度不高,误判和漏检过高。
发明内容
基于此,有必要针对上述问题,提出了一种基于注意力机制的特征融合缺陷检测方法、装置、计算机设备及计算机可读存储介质。
在本发明的第一部分,提供了一种基于注意力机制的特征融合缺陷检测方法,包括:
获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像;
分别提取每张目标检测图像的第一缺陷特征;
对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征;
将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;
对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;
将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;
根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
可选的,所述将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征的步骤,还包括:
将第一融合特征输入第一注意力机制模块,得到多个第一注意力因子,所述第一注意力因子的数量与目标检测图像的数量相同;
根据多张目标检测图像的第一缺陷特征和多个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征。
可选的,所述将第一融合特征输入第一注意力机制模块,得到多个第一注意力因子的步骤,还包括:
按照第一注意力机制模块
Figure 776287DEST_PATH_IMAGE001
计算多个第一注意力因子
Figure 224586DEST_PATH_IMAGE002
,其中,F为第一融合特征,n为目标检测图像的数量;
Figure 269903DEST_PATH_IMAGE004
表示自适应平均值池化操作,ReluSigmoid为激活函数,fc表示全连接层,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
所述根据多张目标检测图像的第一缺陷特征和多个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征的步骤,还包括:
根据第一特征计算公式
Figure 71636DEST_PATH_IMAGE005
计算目标检测图像对应的第二缺陷特征,其中,
Figure 151588DEST_PATH_IMAGE006
表示第i张目标检测图像的第一缺陷特征,
Figure 629843DEST_PATH_IMAGE007
表示第i张目标检测图像的第二缺陷特征,
Figure 162455DEST_PATH_IMAGE008
可选的,所述将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征的步骤,还包括:
将第二融合特征输入第二注意力机制模块,得到多个第二注意力因子,所述第二注意力因子的数量与目标检测图像的数量相同;
根据多个第二注意力因子和第一缺陷特征,计算第三融合特征;
根据第三融合特征和多张目标检测图像第一缺陷特征,按照第二特征计算公式,计算第三缺陷特征。
可选的,所述将第二融合特征输入第二注意力机制模块,得到多个第二注意力因子的步骤,还包括:
根据第二注意力机制模块
Figure 892514DEST_PATH_IMAGE009
计算第二注意力因子
Figure 702338DEST_PATH_IMAGE010
,其中,
Figure 961281DEST_PATH_IMAGE011
为第二融合特征,Softmax为激活函数,
Figure 246769DEST_PATH_IMAGE012
表示卷积操作,
Figure 373994DEST_PATH_IMAGE013
表示维度拼接操作,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
所述根据多个第二注意力因子和第一缺陷特征,计算第三融合特征的步骤,还包括:
根据公式
Figure 162958DEST_PATH_IMAGE014
计算第三融合特征
Figure 858382DEST_PATH_IMAGE015
所述根据第三融合特征和多张目标检测图像第一缺陷特征,按照第二特征计算公式,计算第三缺陷特征的步骤,还包括:
根据第二特征计算公式
Figure 506532DEST_PATH_IMAGE016
计算第三缺陷特征
Figure 47235DEST_PATH_IMAGE017
可选的,所述根据第三缺陷特征,计算待检测产品的目标缺陷的步骤,还包括:
将所述第三缺陷特征输入预设的分类网络,将所述分类网络的输出作为所述待检测产品的目标缺陷,其中,所述分类网络为卷积神经网络。
可选的,所述对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征的步骤,还包括:
对多张目标检测图像的第一缺陷特征,按照预设的融合算法进行特征融合处理,得到第一融合特征;
所述对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征的步骤,还包括:
对多张目标检测图像的第二缺陷特征,按照预设的融合算法进行特征融合处理,得到第二融合特征。
在本发明的第二部分,提供了一种基于注意力机制的特征融合缺陷检测装置,包括:
图像获取模块,用于获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像;
第一缺陷特征提取模块,用于分别提取每张目标检测图像的第一缺陷特征;
第一融合特征提取模块,用于对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征;
第一注意力机制模块,用于将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;
第二融合特征提取模块,用于对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;
第二注意力机制模块,用于将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;
目标缺陷检测模块,用于根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
在本发明的第三部分,提供了一种计算机设备,所述计算机设备包括处理器以及存储器,所述存储器用于存储计算机程序;所述处理器用于根据所述计算机程序执行如上述第一方面所述的基于注意力机制的特征融合缺陷检测方法的步骤。
在本发明的第四部分,提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行如上述第一方面所述的基于注意力机制的特征融合缺陷检测方法的步骤。
采用本发明实施例,具有如下有益效果:
采用了上述基于注意力机制的特征融合缺陷检测方法、装置、计算机设备及计算机可读存储介质之后,在工业场景中,在对待检测产品进行缺陷检测时,首先需要获取待检测产品的多张目标检测图像,多张目标检测图像为不同视场下采集的待检测产品的图像;分别提取每张目标检测图像的第一缺陷特征,对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征,将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
也就是说,从多视场采集待检测产品的多张图像,然后基于采集到的多张图像通过基于注意力机制的特征融合方法对特征进行处理得到最终的缺陷特征,然后基于该处理后的缺陷特征来确定待检测产品的最终的目标缺陷。从而可以充分利用注意力机制进行多场特征融合来对图像中的各类缺陷特征进行充分的利用,以提高缺陷检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种基于注意力机制的特征融合缺陷检测方法的流程示意图;
图2为一个实施例中一种基于注意力机制的特征融合缺陷检测装置的结构示意图;
图3为一个实施例中运行上述基于注意力机制的特征融合缺陷检测方法的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中,提供了一种基于注意力机制的特征融合缺陷检测方法,该方法的执行可以是在工业场景,例如在产品线,通过在产品线上设置摄像头来采集产品线上的产品的图像,然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类,以将良品与次品进行区分。
在本实施例中,基于注意力机制的特征融合缺陷检测方法的实现可以是基于与采集待检测产品的图像的摄像头连接的计算机设备,该计算机设备可以是产品线的控制设备,也可以是与产品线连接的服务器,在本实施例中不做限定。
具体的,请参见图1,图1给出了基于注意力机制的特征融合缺陷检测方法的流程示意图。具体的,上述基于注意力机制的特征融合缺陷检测方法包括如图1所示的步骤:
步骤S101:获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像.
待检测产品可以是产品线上或者其他工业应用场景下需要进行缺陷检测的产品。在本实施例中,对产品缺陷的检测,是基于多视场、多角度、多维度的图像采集进行的,也就是说,产品缺陷的检测不止是基于单一的图像进行检测的,而是多个视场下采集的待检测产品的图像。其中,多个视场可以是从待检测产品的不同视场或不同角度,也可以是摄像头采集图像时的不同的打光方式。待检测产品的多张目标检测图像可以是通过背光打光、正面打光、低角度打光等各种不同的打光方式获取到的不同视场的待检测产品的多张目标检测图像。
步骤S102:分别提取每张目标检测图像的第一缺陷特征。
针对每张目标检测图像,在进行缺陷检测时,首先需要提取图像中的图像特征,在本实施例中,从目标检测图像中提取的图像特征为缺陷特征,用于表征目标检测图像对应的待检测产品是否存在缺陷。在一个具体的实施例中,从目标检测图像中提取缺陷特征可以是通过任意的特征提取算法实现的,也可以是通过预先训练好的卷积神经网络或该网络的一层或多层实现的,在本实施例中不做限定。
步骤S103-S106基于注意力机制的特征融合对特征进行处理的步骤,可以是基于注意力机制的特征融合模块。下面对步骤S103-S106中如何对特征进行处理进行详细的说明。
步骤S103:对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征。
对于多张目标检测图像
Figure 956285DEST_PATH_IMAGE018
,其中,
Figure 947243DEST_PATH_IMAGE019
,也就是说,n为目标检测图像的数量,也为多个视场中视场(或者称为场)的数量。在步骤S102中,针对每一张目标检测图像
Figure 941744DEST_PATH_IMAGE018
,分别提取每一张目标检测图像
Figure 286138DEST_PATH_IMAGE018
对应的第一缺陷特征
Figure 190640DEST_PATH_IMAGE006
,然后在本步骤中,需要针对第一缺陷特征
Figure 227866DEST_PATH_IMAGE006
通过基于注意力机制的特征融合模块对特征进行进一步的操作。
具体的,对于第i个场的特征
Figure 444084DEST_PATH_IMAGE020
,与其他的n-1个场的特征,进行融合操作,以得到第一融合特征F。在一个具体的实施例中,可以是对第i个场的特征
Figure 982381DEST_PATH_IMAGE006
与其他的n-1个场的特征进行concat操作,合并成第一融合特征F。其中,concat计算就是将特征按照某一个维度进行拼接。
在其他实施例中,对第一缺陷特征的融合处理还可以是其他的融合处理方式,例如,加法融合,在这里不对融合处理的方式进行任何的限定,可以是按照任意的预设的融合算法进行融合处理,以得到融合之后的第一融合特征。
步骤S104:将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征。
注意力模块(Attention Module)可以获取全局信息,在图像处理上,可以弥补单纯的通过卷积神经网络来获取图像的特征所存在的对全局信息获取不足的问题。在本实施例中,在步骤S103获取图像特征的基础上,进一步的引入注意力模块以充分利用各视场图像中的缺陷特征,以提高后续缺陷检测的精度。
具体的,引入注意力机制模块,以充分利用各视场图像中的缺陷特征。在本实施例中,引入第一注意力机制模块和第二注意力机制模块,以达到充分利用各视场图像中的缺陷特征的目的。
具体实施中,将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块以获取包含全局信息的第二缺陷特征。
将第一融合特征输入第一注意力机制模块,以计算对应的n个第一注意力因子
Figure 600444DEST_PATH_IMAGE021
,然后根据n个第一注意力因子和n个视场对应的第一缺陷特征
Figure 808572DEST_PATH_IMAGE006
,计算n个目标检测图像对应的第二缺陷特征
Figure 653031DEST_PATH_IMAGE007
将第一融合特征输入第一注意力机制模块,按照第一注意力机制模块
Figure 339227DEST_PATH_IMAGE022
计算多个第一注意力因子
Figure 77376DEST_PATH_IMAGE023
,其中,
Figure 456405DEST_PATH_IMAGE024
表示自适应平均值池化操作,ReluSigmoid为激活函数,fc表示全连接层,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征。也就是说,通过第一注意力机制模块,可以基于n个目标检测图像的融合特征,计算n个第一注意力因子。
然后,根据n张目标检测图像的第一缺陷特征和n个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征
Figure 37428DEST_PATH_IMAGE007
。具体的,根据第一特征计算公式
Figure 527315DEST_PATH_IMAGE025
来分别计算每一张目标检测图像
Figure 995337DEST_PATH_IMAGE018
对应的第二缺陷特征
Figure 545267DEST_PATH_IMAGE007
这样就通过第一注意力机制模块对图像特征进行了第一轮的注意力处理以及特征融合。
步骤S105:对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征。
在本步骤中,需要对第二缺陷特征
Figure 223373DEST_PATH_IMAGE007
进行融合处理,以得到第一融合特征。
具体的,对于第i个场的特征
Figure 516951DEST_PATH_IMAGE007
,与其他的n-1个场的特征,进行融合操作,以得到第二融合特征
Figure 354326DEST_PATH_IMAGE011
。在一个具体的实施例中,可以是对第i个场的特征
Figure 809578DEST_PATH_IMAGE007
与其他的n-1个场的特征进行concat操作,合并成第二融合特征
Figure 974980DEST_PATH_IMAGE011
。其中,concat计算就是将特征按照某一个维度进行拼接。
在其他实施例中,对第二缺陷特征的融合处理还可以是其他的融合处理方式,例如,加法融合,在这里不对融合处理的方式进行任何的限定,可以是按照任意的预设的融合算法进行交叉融合处理,以得到融合之后的第二融合特征。
需要说明的是,第一融合特征和第二融合特征对应的融合处理方式可以是相同的,也可以是不同的。
步骤S106:将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征。
第二注意力机制模块与第一注意力机制模块可以是不同的模块,例如,第一注意力机制模块为注意力子模块,而第二注意力机制模块为重注意力子模块,二者在具体的参数以及计算方面存在不同。
具体实施中,将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块以获取包含全局信息的第三缺陷特征。
将第二融合特征
Figure 947615DEST_PATH_IMAGE011
输入第二注意力机制模块,得到n个第二注意力因子
Figure 514863DEST_PATH_IMAGE026
,然后根据n个第二注意力因子和n张目标检测图像对应的第一缺陷特征
Figure 141016DEST_PATH_IMAGE006
,计算第三融合特征
Figure 930067DEST_PATH_IMAGE015
;根据第三融合特征
Figure 831027DEST_PATH_IMAGE015
和n张目标检测图像对应的第一缺陷特征
Figure 987202DEST_PATH_IMAGE006
,按照第二特征计算公式,计算第三缺陷特征
Figure 925202DEST_PATH_IMAGE017
,也即为基于注意力机制的特征融合模块输出的最终的缺陷特征。
具体的,将第二融合特征
Figure 799617DEST_PATH_IMAGE011
输入第二注意力机制模块,根据第二注意力机制模块
Figure 504268DEST_PATH_IMAGE027
计算第二注意力因子
Figure 905162DEST_PATH_IMAGE028
,其中,Softmax为激活函数,
Figure 138697DEST_PATH_IMAGE012
表示卷积操作,
Figure 500408DEST_PATH_IMAGE013
表示维度拼接操作,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征。
然后根据n个第二注意力因子
Figure 618537DEST_PATH_IMAGE029
和n张目标检测图像对应的第一缺陷特征
Figure 749304DEST_PATH_IMAGE006
,并且基于公式
Figure 153741DEST_PATH_IMAGE030
计算第三融合特征
Figure 392961DEST_PATH_IMAGE015
根据第三融合特征
Figure 908256DEST_PATH_IMAGE015
和n张目标检测图像对应的第一缺陷特征
Figure 159109DEST_PATH_IMAGE006
,按照第二特征计算公式
Figure 875392DEST_PATH_IMAGE031
计算第三缺陷特征
Figure 211695DEST_PATH_IMAGE017
步骤S107:根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
基于前述步骤提取了多张目标检测图像的基于注意力机制的特征融合的第三缺陷特征,然后就可以基预设的分类网络,通过该分类网络来对第三缺陷特征进行计算,以得到待检测产品的目标缺陷。也就是说,将所述分类网络的输出作为所述待检测产品的目标缺陷。其中,所述分类网络为卷积神经网络。
在本步骤中,可以是根据第三缺陷特征,获取待检测产品对应的一个或多个缺陷分类标签,以及对应的置信度,然后根据置信度来确定目标缺陷,以完成对待检测产品的缺陷检测的分类。
需要说明的是,在具体实现中,步骤S103-S106对应的基于注意力机制的特征融合模块可以是一个独立的模块,在缺陷识别的过程中将其插入至任意的可以完成缺陷识别的卷积神经网络中,以提高基于卷积神经网络对缺陷实现的准确性。例如,将基于注意力机制的特征融合模块插入至缺陷检测的卷积神经网络的倒数第2层,也就是说,若卷积神经网络有L-1层,将基于注意力机制的特征融合模块插入至缺陷检测的卷积神经网络的倒数第2层,这时候卷积神经网络有L层。然后通过卷积神经网络的前L-2层来获取第一缺陷特征,然后将第一缺陷特征输入到第L-1层的基于注意力机制的特征融合模块,以获取第三缺陷特征,并将第三缺陷特征输入卷积神经网络的第L层来获取最终的缺陷检测结果。在其他实施例中,基于注意力机制的特征融合模块插入到卷积神经网络中可以是任意层,也可以重复多次的插入到卷积神经网络之中。在另一个实施例中,步骤S102的执行可以是单独的卷积神经网络,然后输入到基于注意力机制的特征融合模块进行处理,并连接到步骤S107对应的卷积神经网络进行最后的缺陷检测的分类。
在另一个实施例中,在使用相应的卷积神经网络之前,还需要对相应的网络进行训练和测试。
首先,需要根据实际的应用场景,收集各类缺陷所对应的多视场的检测图像数据,对各类缺陷建立标签数据,形成训练数据集和测试数据集;然后基于该训练数据集对分类网络进行训练,并基于测试数据集对分类网络的检测是否达到预设的精度进行测试。
其次,还需要构建分类网络的具体网络结构,在选定分类网络的情况下,将基于注意力机制的特征融合模块连接到分类网络中,并确定分类网络的head,以构建完整的分类网络结构。在构建完分类网络之后,即可根据训练数据集进行模型的训练,并且在基于测试数据集的分类进度达到预设条件的情况下停止网络训练,并基于训练完成的分类模型来进行前述基于注意力机制的缺陷检测方法。
在本实施例的另一个方面,还提供了一种基于注意力机制的特征融合缺陷检测装置。请参见图2,该基于注意力机制的特征融合缺陷检测装置包括:
图像获取模块101,用于获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像;
第一缺陷特征提取模块102,用于分别提取每张目标检测图像的第一缺陷特征;
第一融合特征提取模块103,用于对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征;
第一注意力机制模块104,用于将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;
第二融合特征提取模块105,用于对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;
第二注意力机制模块106,用于将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;
目标缺陷检测模块107,用于根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
可选的,第一注意力机制模块104还用于将第一融合特征输入第一注意力机制模块,得到多个第一注意力因子,所述第一注意力因子的数量与目标检测图像的数量相同;根据多张目标检测图像的第一缺陷特征和多个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征。
可选的,第一注意力机制模块104还用于按照第一注意力机制模块
Figure 530681DEST_PATH_IMAGE032
计算多个第一注意力因子
Figure 26254DEST_PATH_IMAGE033
,其中,F为第一融合特征,n为目标检测图像的数量;
Figure 772493DEST_PATH_IMAGE004
表示自适应平均值池化操作,ReluSigmoid为激活函数,fc表示全连接层,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
根据第一特征计算公式
Figure 330513DEST_PATH_IMAGE034
计算目标检测图像对应的第二缺陷特征,其中,
Figure 453190DEST_PATH_IMAGE006
表示第i张目标检测图像的第一缺陷特征,
Figure 554001DEST_PATH_IMAGE007
表示第i张目标检测图像的第二缺陷特征,
Figure 471141DEST_PATH_IMAGE035
可选的,第二注意力机制模块106还用于将第二融合特征输入第二注意力机制模块,得到多个第二注意力因子,所述第二注意力因子的数量与目标检测图像的数量相同;根据多个第二注意力因子和第一缺陷特征,计算第三融合特征;根据第三融合特征和多张目标检测图像第一缺陷特征,按照第二特征计算公式,计算第三缺陷特征。
可选的,第二注意力机制模块106还用于根据第二注意力机制模块
Figure 782037DEST_PATH_IMAGE036
计算第二注意力因子
Figure 567459DEST_PATH_IMAGE037
,其中,
Figure 647411DEST_PATH_IMAGE011
为第二融合特征,Softmax为激活函数,
Figure 1032DEST_PATH_IMAGE012
表示卷积操作,
Figure 409010DEST_PATH_IMAGE013
表示维度拼接操作,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
根据公式
Figure 873490DEST_PATH_IMAGE038
计算第三融合特征
Figure 807948DEST_PATH_IMAGE015
根据第二特征计算公式
Figure 457104DEST_PATH_IMAGE039
计算第三缺陷特征
Figure 477012DEST_PATH_IMAGE017
可选的,目标缺陷检测模块107还用于将所述第三缺陷特征输入预设的分类网络,将所述分类网络的输出作为所述待检测产品的目标缺陷,其中,所述分类网络为卷积神经网络。
可选的,第一融合特征提取模块103还用于对多张目标检测图像的第一缺陷特征,按照预设的融合算法进行特征融合处理,得到第一融合特征;
可选的,第二融合特征提取模块105还用于对多张目标检测图像的第二缺陷特征,按照预设的融合算法进行融合处理,得到第二融合特征。
图3示出了一个实施例中实现上述基于注意力机制的特征融合缺陷检测方法的计算机设备的内部结构图。该计算机设备具体可以是终端,也可以是服务器。如图3所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述方法。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
采用本发明实施例,具有如下有益效果:
采用了上述基于注意力机制的特征融合缺陷检测方法、装置、计算机设备及计算机可读存储介质之后,在工业场景中,在对待检测产品进行缺陷检测时,首先需要获取待检测产品的多张目标检测图像,多张目标检测图像为不同视场下采集的待检测产品的图像;分别提取每张目标检测图像的第一缺陷特征,对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征,将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
也就是说,从多视场采集待检测产品的多张图像,然后基于采集到的多张图像通过注意力机制对特征进行融合处理得到最终的缺陷特征,然后基于该处理后的缺陷特征来确定待检测产品的最终的目标缺陷。从而可以充分利用注意力机制进行多场特征融合来对图像中的各类缺陷特征进行充分的利用,并结合特征融合来获取更为全面以及准确的缺陷特征,以提高后续缺陷检测的精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。

Claims (10)

1.一种基于注意力机制的特征融合的缺陷检测方法,其特征在于,所述方法包括:
获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像;
分别提取每张目标检测图像的第一缺陷特征;
对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征;
将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;
对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;
将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;
根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
2.根据权利要求1所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征的步骤,还包括:
将第一融合特征输入第一注意力机制模块,得到多个第一注意力因子,所述第一注意力因子的数量与目标检测图像的数量相同;
根据多张目标检测图像的第一缺陷特征和多个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征。
3.根据权利要求2所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述将第一融合特征输入第一注意力机制模块,得到多个第一注意力因子的步骤,还包括:
按照第一注意力机制模块
Figure 253811DEST_PATH_IMAGE001
计算多个第一注意力因子
Figure 311897DEST_PATH_IMAGE002
,其中,F为第一融合特征,n为目标检测图像的数量;
Figure 357213DEST_PATH_IMAGE003
表示自适应平均值池化操作,ReluSigmoid为激活函数,fc表示全连接层,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
所述根据多张目标检测图像的第一缺陷特征和多个第一注意力因子,按照第一特征计算公式,分别计算与每个目标检测图像对应的多个第二缺陷特征的步骤,还包括:
根据第一特征计算公式
Figure 18002DEST_PATH_IMAGE004
计算目标检测图像对应的第二缺陷特征,其中,
Figure 488166DEST_PATH_IMAGE005
表示第i张目标检测图像的第一缺陷特征,
Figure 576208DEST_PATH_IMAGE006
表示第i张目标检测图像的第二缺陷特征,
Figure 108820DEST_PATH_IMAGE007
4.根据权利要求3所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征的步骤,还包括:
将第二融合特征输入第二注意力机制模块,得到多个第二注意力因子,所述第二注意力因子的数量与目标检测图像的数量相同;
根据多个第二注意力因子和第一缺陷特征,计算第三融合特征;
根据第三融合特征和多张目标检测图像第一缺陷特征,按照第二特征计算公式,计算第三缺陷特征。
5.根据权利要求4所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述将第二融合特征输入第二注意力机制模块,得到多个第二注意力因子的步骤,还包括:
根据第二注意力机制模块
Figure 714245DEST_PATH_IMAGE008
计算第二注意力因子
Figure 648703DEST_PATH_IMAGE009
,其中,
Figure 907646DEST_PATH_IMAGE010
为第二融合特征,Softmax为激活函数,
Figure 927555DEST_PATH_IMAGE011
表示卷积操作,
Figure 320359DEST_PATH_IMAGE012
表示维度拼接操作,Split函数表示对函数输入进行等间隔分割成若干个相同维度的特征;
所述根据多个第二注意力因子和第一缺陷特征,计算第三融合特征的步骤,还包括:
根据公式
Figure 109323DEST_PATH_IMAGE013
计算第三融合特征
Figure 804747DEST_PATH_IMAGE014
所述根据第三融合特征和多张目标检测图像第一缺陷特征,按照第二特征计算公式,计算第三缺陷特征的步骤,还包括:
根据第二特征计算公式
Figure 187318DEST_PATH_IMAGE015
计算第三缺陷特征
Figure 993600DEST_PATH_IMAGE016
6.根据权利要求1所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述根据第三缺陷特征,计算待检测产品的目标缺陷的步骤,还包括:
将所述第三缺陷特征输入预设的分类网络,将所述分类网络的输出作为所述待检测产品的目标缺陷,其中,所述分类网络为卷积神经网络。
7.根据权利要求1所述的基于注意力机制的特征融合缺陷检测方法,其特征在于,所述对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征的步骤,还包括:
对多张目标检测图像的第一缺陷特征,按照预设的融合算法进行特征融合处理,得到第一融合特征;
所述对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征的步骤,还包括:
对多张目标检测图像的第二缺陷特征,按照预设的融合算法进行特征融合处理,得到第二融合特征。
8.一种基于注意力机制的特征融合缺陷检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测产品的多张目标检测图像,所述多张目标检测图像为不同视场下采集的待检测产品的图像;
第一缺陷特征提取模块,用于分别提取每张目标检测图像的第一缺陷特征;
第一融合特征提取模块,用于对多张目标检测图像的第一缺陷特征进行融合处理,得到第一融合特征;
第一注意力机制模块,用于将第一融合特征输入第一注意力机制模块,通过第一注意力机制模块对第一融合特征进行特征更新,以获取每张目标检测图像对应的第二缺陷特征;
第二融合特征提取模块,用于对多张目标检测图像的第二缺陷特征进行融合处理,得到第二融合特征;
第二注意力机制模块,用于将第二融合特征输入第二注意力机制模块,通过第二注意力机制模块对第二融合特征进行特征更新,以获取第三缺陷特征;
目标缺陷检测模块,用于根据第三缺陷特征,计算待检测产品的目标缺陷并输出。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器有可执行代码,当所述可执行代码在所述处理器上运行以实现如权利要求1至7任一所述的基于注意力机制的特征融合缺陷检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至7任一所述的基于注意力机制的特征融合缺陷检测方法。
CN202111112999.5A 2021-09-23 2021-09-23 基于注意力机制的特征融合缺陷检测方法及装置 Active CN113570003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111112999.5A CN113570003B (zh) 2021-09-23 2021-09-23 基于注意力机制的特征融合缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111112999.5A CN113570003B (zh) 2021-09-23 2021-09-23 基于注意力机制的特征融合缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN113570003A true CN113570003A (zh) 2021-10-29
CN113570003B CN113570003B (zh) 2022-01-07

Family

ID=78174022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111112999.5A Active CN113570003B (zh) 2021-09-23 2021-09-23 基于注意力机制的特征融合缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN113570003B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782756A (zh) * 2022-06-20 2022-07-22 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359592A (zh) * 2018-10-16 2019-02-19 北京达佳互联信息技术有限公司 视频帧的处理方法、装置、电子设备及存储介质
CN110246148A (zh) * 2019-05-27 2019-09-17 浙江科技学院 多模态的深度信息融合和注意力学习的显著性检测方法
US20190311223A1 (en) * 2017-03-13 2019-10-10 Beijing Sensetime Technology Development Co., Ltd. Image processing methods and apparatus, and electronic devices
CN110782420A (zh) * 2019-09-19 2020-02-11 杭州电子科技大学 一种基于深度学习的小目标特征表示增强方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法
CN112070749A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 纸张缺陷检测方法和装置
CN112884856A (zh) * 2021-01-25 2021-06-01 浙江师范大学 基于谱归一化层级式生成对抗网络的文本生成图像方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311223A1 (en) * 2017-03-13 2019-10-10 Beijing Sensetime Technology Development Co., Ltd. Image processing methods and apparatus, and electronic devices
CN109359592A (zh) * 2018-10-16 2019-02-19 北京达佳互联信息技术有限公司 视频帧的处理方法、装置、电子设备及存储介质
CN110246148A (zh) * 2019-05-27 2019-09-17 浙江科技学院 多模态的深度信息融合和注意力学习的显著性检测方法
CN110782420A (zh) * 2019-09-19 2020-02-11 杭州电子科技大学 一种基于深度学习的小目标特征表示增强方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法
CN112070749A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 纸张缺陷检测方法和装置
CN112884856A (zh) * 2021-01-25 2021-06-01 浙江师范大学 基于谱归一化层级式生成对抗网络的文本生成图像方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴华运等: "基于改进型SSD算法的空瓶表面缺陷检测", 《计算机与现代化》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782756A (zh) * 2022-06-20 2022-07-22 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113570003B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN113516661B (zh) 基于特征融合的缺陷检测方法及装置
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN108564127B (zh) 图像转换方法、装置、计算机设备及存储介质
CN110245662B (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109377445B (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN109034086B (zh) 车辆重识别方法、装置及系统
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN113538420A (zh) 基于双摄像和多光源的缺陷检测方法及系统
CN111461211A (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN112926616B (zh) 图像匹配方法和装置、电子设备、计算机可读存储介质
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN114882033B (zh) 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN115861305A (zh) 柔性电路板检测方法、装置、计算机设备及存储介质
CN114782756B (zh) 基于特征融合的缺陷检测方法、装置、设备及存储介质
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN112101322B (zh) 目标物体检测模型、训练方法、物体检测方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant