CN115082434B - 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 - Google Patents

一种基于多源特征的磁芯缺陷检测模型训练方法及系统 Download PDF

Info

Publication number
CN115082434B
CN115082434B CN202210857647.0A CN202210857647A CN115082434B CN 115082434 B CN115082434 B CN 115082434B CN 202210857647 A CN202210857647 A CN 202210857647A CN 115082434 B CN115082434 B CN 115082434B
Authority
CN
China
Prior art keywords
self
feature map
preset number
blocks
imaging picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210857647.0A
Other languages
English (en)
Other versions
CN115082434A (zh
Inventor
吴显德
李军
邹凡
鲁杰
雷明根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202210857647.0A priority Critical patent/CN115082434B/zh
Publication of CN115082434A publication Critical patent/CN115082434A/zh
Application granted granted Critical
Publication of CN115082434B publication Critical patent/CN115082434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法包括：S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：将两个图片进行位置校正，得到校正后的两个图片；将校正后的两个图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；可得到不同成像之间的关系，解决单一成像的局限性；将第一预设数量个融合特征块进行拼接、分块操作，降低缺陷误检和漏检，采用自注意力机制操作和全卷积操作，得到的特征图具有全局性。并且计算得到当前轮的损失值；S102，重复S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

Description

一种基于多源特征的磁芯缺陷检测模型训练方法及系统
技术领域
本发明涉及磁芯缺陷检测技术领域，具体而言，涉及一种基于多源特征的磁芯缺陷检测模型训练方法及系统。
背景技术
常规的磁芯缺陷检测有以下几种方法：一是用单一的成像图片；单一的成像特征均有一定的局限性，二是用多源的成像图片，即同时使用自然光成像图片和红外线成像图片；其中自然光成像具有噪音多现象，容易制作出假的缺陷；红外线成像易受周边温度等影响，多源成像在磁芯缺陷检测十分普遍，但仍然存在以下问题：
（1）没有找到多源成像之间的相关性；
（2）将多源成像分别检测，最后再将结果融合，最后检测出的缺陷目标依旧是根据单一的成像图片进行预测，仅在结果具有多源信息，导致检测的特征层具有局限性、误检率高；
（3）磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高。
针对现有技术中没有找到多源成像之间的相关性、将多源成像分别检测，再将结果融合，导致检测的特征层具有局限性、磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种基于多源特征的磁芯缺陷检测模型训练方法及系统，以解决现有技术中没有找到多源成像之间的相关性、将多源成像分别检测，再将结果融合，导致检测的特征层具有局限性、磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高的问题。
为达到上述目的，一方面，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法，该方法包括：步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。
可选的，所述步骤S1012包括：将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
可选的，所述第一预设数量个融合特征块的计算公式为：
Figure 695784DEST_PATH_IMAGE001
其中，所述
Figure 231676DEST_PATH_IMAGE002
为一个融合特征块；所述
Figure 355490DEST_PATH_IMAGE003
为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
Figure 452890DEST_PATH_IMAGE004
为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；
Figure 927734DEST_PATH_IMAGE005
为一个特征图；
Figure 955733DEST_PATH_IMAGE006
为卷积操作，以使一个通道叠加块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等。
可选的，所述步骤S1013包括：将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。
可选的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。
可选的，所述步骤S1011包括：通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
可选的，所述将所述自然目标框和所述红外目标框进行位置校正包括：将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。
另一方面，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练系统，该系统包括：当前轮训练单元，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：校正子单元，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；融合子单元，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；检测子单元，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；重复训练单元，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。
可选的，所述融合子单元包括：连接模块，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；自注意力机制操作模块，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；卷积操作模块，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
可选的，所述检测子单元包括：
拼接模块，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；第一分块模块，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；第二分块模块，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；第三分块模块，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；融合模块，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。
本发明的有益效果：
本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法采用分块操作，能够有效降低特征损失，提高小目标检出率；多源成像即同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性；在磁芯缺陷检测过程中，采用分块操作，降低目标误检和漏检，采用自注意力机制操作和全卷积操作结合，得到的特征图具有全局性。
附图说明
图1是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练方法的流程图；
图2是本发明实施例提供的得到第一预设数量个融合特征块的流程图；
图3是本发明实施例提供的得到当前轮磁芯缺陷检测模型及损失值的流程图；
图4是本发明实施例提供的得到校正后的自然光成像图片和校正后的红外线成像图片的流程图；
图5是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练系统的结构示意图；
图6是本发明实施例提供的融合子单元的结构示意图；
图7是本发明实施例提供的检测子单元的结构示意图；
图8是本发明实施例提供的校正子单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
常规的磁芯缺陷检测有以下几种方法：一是用单一的成像图片；单一的成像特征均有一定的局限性，二是用多源的成像图片，即同时使用自然光成像图片和红外线成像图片；其中自然光成像具有噪音多现象，容易制作出假的缺陷；红外线成像易受周边温度等影响，多源成像在磁芯缺陷检测十分普遍，但仍然存在以下问题：
（1）没有找到多源成像之间的相关性；
（2）将多源成像分别检测，最后再将结果融合，最后检测出的缺陷目标依旧是根据单一的成像图片进行预测，仅在结果具有多源信息，导致检测的特征层具有局限性、误检率高；
（3）磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高。
因而，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法，图1是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练方法的流程图，如图1所示，该方法包括：
步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；
所述模型训练包括：
步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；
具体的，图4是本发明实施例提供的得到校正后的自然光成像图片和校正后的红外线成像图片的流程图，如图4所示，所述步骤S1011包括：
步骤S10111，通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；
步骤S10112，将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
在一个可选的实施方式中，所述将所述自然目标框和所述红外目标框进行位置校正包括：
将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；
具体的，可以根据红外目标框的宽与高的倾斜角来调整自然框的宽与高的倾斜角，以使两个倾斜角保持一致；或者可以将红外目标框的宽与高的倾斜角、自然目标框的宽与高的倾斜角都调整到一个预设的角度，以使两个倾斜角保持一致。
将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；
具体的，可以根据红外目标框的宽与高的长度来调整自然目标框的宽与高的长度，以使两个目标框的宽相等、两个目标框的高相等；或者可以将红外目标框的宽与高的长度、自然目标框的宽与高的长度都调整到一个预设的长度，以使两个目标框的宽相等、高相等。
将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。
具体的，可以根据红外目标框的四个坐标来调整自然目标框的四个坐标，以使两个目标框的坐标保持一致；或者可以将红外目标框的四个坐标、自然目标框的四个坐标都平移到预设的位置，以使两个目标框的坐标保持一致。若红外目标框与自然目标框平移后，其中红外目标框比自然目标框小一点，此时对红外目标框缺少的地方补白边，即本发明中填充其像素为255。
当自然目标框与红外目标框的倾斜角、宽度、高度、坐标都保持一致后，再将自然光成像图片和红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；
具体的，图2是本发明实施例提供的得到第一预设数量个融合特征块的流程图；如图2所示，所述步骤S1012包括：
步骤S10121，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；
例如：将所述校正后的自然光成像图片分成64块，将所述校正后的红外线成像图片分成64块，所述自然光成像图片为三维结构，分别代表宽（水平方向上）、高（水平方向上）、通道（竖直方向上）；将校正后的自然光成像图片在水平方向上划分，划分成64块，即划分后的64块自然光成像图片块的通道与没有划分时的校正后的自然光成像图片的通道相等。类似的，将校正后的红外线成像图片也如上述一样划分。
将划分后的64块自然光成像图片块与划分后的64块红外线成像图片块一一对应按通道连接，即在通道上进行叠加，例如：将64块自然光成像图片块放在64块红外线成像图片块上一一对应连接或将64块红外线成像图片块放在64块自然光成像图片块上一一对应连接；得到64个通道叠加图片块；该通道叠加图片块的通道大于校正后的自然光成像图片或校正后的红外线成像图片的通道。
步骤S10122，将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
将64个通道叠加图片块进行自注意力机制操作，得到64个特征图（每个特征图中有多个特征值）、并且得到64个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系。
步骤S10123，根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
根据64个特征图中每个特征值的相关性进行卷积操作，以使64个通道叠加图片块的通道压缩，从而使64个通道叠加图片块的通道与校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到64个融合特征块。
具体的，所述第一预设数量个融合特征块的计算公式为：
Figure 451829DEST_PATH_IMAGE001
其中，所述
Figure 703819DEST_PATH_IMAGE002
为一个融合特征块；所述
Figure 416691DEST_PATH_IMAGE003
为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系（即相似度）；
Figure 982802DEST_PATH_IMAGE004
为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；
Figure 346787DEST_PATH_IMAGE005
为一个特征图；
Figure 707361DEST_PATH_IMAGE006
为卷积操作，以使一个通道叠加块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等；
本发明中，通过同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性。
步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；
具体的，图3是本发明实施例提供的得到当前轮磁芯缺陷检测模型及损失值的流程图；如图3所示，所述步骤S1013包括：
步骤S10131，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；
在一个可选的实施方式中，将32个融合特征块进行拼接，得到新的具有多源信息的多源特征图。
步骤S10132，将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；
在一个可选的实施方式中，将所述多源特征图划分为64块，并将64块分别进行自注意力机制操作，得到64个自注意力特征图，将64个自注意力特征图进行融合并进行全卷积操作，得到第一块自注意力特征图。
步骤S10133，将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；
在一个可选的实施方式中，将所述第一块自注意力特征图划分为16块，并将16块分别进行自注意力机制操作，得到16个自注意力特征图，将16个自注意力特征图进行融合并进行全卷积操作，得到第二块自注意力特征图。
步骤S10134，将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；
在一个可选的实施方式中，将所述第二块自注意力特征图划分为4块，并将4块分别进行自注意力机制操作，得到4个自注意力特征图，将4个自注意力特征图进行融合并进行全卷积操作，得到第三块自注意力特征图。
本发明中，因磁芯缺陷比较小，自然光成像图片、红外线成像图片尺度大，所以多源特征图尺度也大，容易造成磁芯缺陷漏检，所以将多源特征图进行分块操作，可以提高小目标检出率，不会造成误检和漏检。进行融合和全卷积操作使磁芯缺陷具有全局性。
步骤S10135，将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。
具体的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：
将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；
将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。
将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到总注意力特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述总注意力特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。
步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。
具体的，当损失值在预设范围内（±0.1%）波动，不再进行模型训练，得到目标磁芯缺陷检测模型。
需要说明的是，本发明中第一预设数量、第二预设数量、第三预设数量、第四预设数量只是为了更好的说明本发明的实施过程所举的一个例子，本发明对此不作限定。
通过本发明，提高了磁芯缺陷检测的准确率，大大降低了错误率；并且保证了磁芯缺陷检测的全局性。
图5是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练系统的结构示意图，如图5所示，该系统包括：
当前轮训练单元201，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；
所述模型训练包括：
校正子单元2011，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；
具体的，图8是本发明实施例提供的校正子单元的结构示意图，如图8所示，所述校正子单元2011包括：
目标框标定模块20111，通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；
目标框校正模块20112，将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
在一个可选的实施方式中，所述将所述自然目标框和所述红外目标框进行位置校正包括：
将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；
具体的，可以根据红外目标框的宽与高的倾斜角来调整自然框的宽与高的倾斜角，以使两个倾斜角保持一致；或者可以将红外目标框的宽与高的倾斜角、自然目标框的宽与高的倾斜角都调整到一个预设的角度，以使两个倾斜角保持一致。
将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；
具体的，可以根据红外目标框的宽与高的长度来调整自然目标框的宽与高的长度，以使两个目标框的宽相等、两个目标框的高相等；或者可以将红外目标框的宽与高的长度、自然目标框的宽与高的长度都调整到一个预设的长度，以使两个目标框的宽相等、高相等。
将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。
具体的，可以根据红外目标框的四个坐标来调整自然目标框的四个坐标，以使两个目标框的坐标保持一致；或者可以将红外目标框的四个坐标、自然目标框的四个坐标都平移到预设的位置，以使两个目标框的坐标保持一致。若红外目标框与自然目标框平移后，其中红外目标框比自然目标框小一点，此时对红外目标框缺少的地方补白边，即本发明中填充其像素为255。
当自然目标框与红外目标框的倾斜角、宽度、高度、坐标都保持一致后，再将自然光成像图片和红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
融合子单元2012，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；
具体的，图6是本发明实施例提供的融合子单元的结构示意图，如图6所示，所述融合子单元2012包括：
连接模块20121，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；
例如：将所述校正后的自然光成像图片分成64块，将所述校正后的红外线成像图片分成64块，所述自然光成像图片为三维结构，分别代表宽（水平方向上）、高（水平方向上）、通道（竖直方向上）；将校正后的自然光成像图片在水平方向上划分，划分成64块，即划分后的64块自然光成像图片块的通道与没有划分时的校正后的自然光成像图片的通道相等。类似的，将校正后的红外线成像图片也如上述一样划分。
将划分后的64块自然光成像图片块与划分后的64块红外线成像图片块一一对应按通道连接，即在通道上进行叠加，例如：将64块自然光成像图片块放在64块红外线成像图片块上一一对应连接或将64块红外线成像图片块放在64块自然光成像图片块上一一对应连接；得到64个通道叠加图片块；该通道叠加图片块的通道大于校正后的自然光成像图片或校正后的红外线成像图片的通道。
自注意力机制操作模块20122，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
将64个通道叠加图片块进行自注意力机制操作，得到64个特征图（每个特征图中有多个特征值）、并且得到64个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系。
卷积操作模块20123，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
根据64个特征图中每个特征值的相关性进行卷积操作，以使64个通道叠加图片块的通道压缩，从而使64个通道叠加图片块的通道与校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到64个融合特征块。
具体的，所述第一预设数量个融合特征块的计算公式为：
Figure 406065DEST_PATH_IMAGE001
其中，所述
Figure 838183DEST_PATH_IMAGE002
为一个融合特征块；所述
Figure 541828DEST_PATH_IMAGE003
为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系（即相似度）；
Figure 338883DEST_PATH_IMAGE004
为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；
Figure 10036DEST_PATH_IMAGE005
为一个特征图；
Figure 498042DEST_PATH_IMAGE006
为卷积操作，以使一个通道叠加块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等。
本发明中，通过同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性。
检测子单元2013，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；
具体的，图7是本发明实施例提供的检测子单元的结构示意图，如图7所示，所述检测子单元2013包括：
拼接模块20131，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；
在一个可选的实施方式中，将32个融合特征块进行拼接，得到新的具有多源信息的多源特征图。
第一分块模块20132，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；
在一个可选的实施方式中，将所述多源特征图划分为64块，并将64块分别进行自注意力机制操作，得到64个自注意力特征图，将64个自注意力特征图进行融合并进行全卷积操作，得到第一块自注意力特征图。
第二分块模块20133，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；
在一个可选的实施方式中，将所述第一块自注意力特征图划分为16块，并将16块分别进行自注意力机制操作，得到16个自注意力特征图，将16个自注意力特征图进行融合并进行全卷积操作，得到第二块自注意力特征图。
第三分块模块20134，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；
在一个可选的实施方式中，将所述第二块自注意力特征图划分为4块，并将4块分别进行自注意力机制操作，得到4个自注意力特征图，将4个自注意力特征图进行融合并进行全卷积操作，得到第三块自注意力特征图。
本发明中，因磁芯缺陷比较小，自然光成像图片、红外线成像图片尺度大，所以多源特征图尺度也大，容易造成磁芯缺陷漏检，所以将多源特征图进行分块操作，可以提高小目标检出率，不会造成误检和漏检。进行融合和全卷积操作使磁芯缺陷具有全局性。
融合模块20135，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。
具体的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：
将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；
将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。
将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到总注意力特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述总注意力特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。
重复训练单元202，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。
具体的，当损失值在预设范围内（±0.1%）波动，不再进行模型训练，得到目标磁芯缺陷检测模型。
需要说明的是，本发明中第一预设数量、第二预设数量、第三预设数量、第四预设数量只是为了更好的说明本发明的实施过程所举的一个例子，本发明对此不作限定。
通过本发明，提高了磁芯缺陷检测的准确率，大大降低了错误率；并且保证了磁芯缺陷检测的全局性。
本发明的有益效果：
本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法采用分块操作，能够有效降低特征损失，提高小目标检出率；多源成像即同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性；在磁芯缺陷检测过程中，采用分块操作，降低目标误检和漏检，采用自注意力机制操作和全卷积操作结合，得到的特征图具有全局性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于多源特征的磁芯缺陷检测模型训练方法，其特征在于，包括：
步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；
所述模型训练包括：
步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；
步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；
步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；
步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型；
其中，所述步骤S1013包括：
将所述第一预设数量个融合特征块进行拼接，得到多源特征图；
将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；
将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；
将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；
将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1012包括：
将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；
将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
3.根据权利要求2所述的方法，其特征在于：
所述第一预设数量个融合特征块的计算公式为：
Figure FDA0003878005780000031
其中，所述Feature为一个融合特征块；所述Q×KT为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
Figure FDA0003878005780000032
为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；
Figure FDA0003878005780000033
为一个特征图；Conv为卷积操作，以使一个通道叠加块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：
将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；
将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。
5.根据权利要求1所述的方法，其特征在于，所述步骤S1011包括：
通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；
将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。
6.根据权利要求5所述的方法，其特征在于，所述将所述自然目标框和所述红外目标框进行位置校正包括：
将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；
将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；
将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。
7.一种基于多源特征的磁芯缺陷检测模型训练系统，其特征在于，包括：
当前轮训练单元，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；
所述模型训练包括：
校正子单元，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；
融合子单元，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；
检测子单元，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；
重复训练单元，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型；
其中，所述检测子单元包括：
拼接模块，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；
第一分块模块，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；
第二分块模块，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；
第三分块模块，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；
融合模块，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。
8.根据权利要求7所述的系统，其特征在于，所述融合子单元包括：
连接模块，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；
自注意力机制操作模块，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
卷积操作模块，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。
CN202210857647.0A 2022-07-21 2022-07-21 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 Active CN115082434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210857647.0A CN115082434B (zh) 2022-07-21 2022-07-21 一种基于多源特征的磁芯缺陷检测模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210857647.0A CN115082434B (zh) 2022-07-21 2022-07-21 一种基于多源特征的磁芯缺陷检测模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN115082434A CN115082434A (zh) 2022-09-20
CN115082434B true CN115082434B (zh) 2022-12-09

Family

ID=83260132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210857647.0A Active CN115082434B (zh) 2022-07-21 2022-07-21 一种基于多源特征的磁芯缺陷检测模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN115082434B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689520A (zh) * 2019-08-26 2020-01-14 浙江华是科技股份有限公司 一种基于ai的磁芯产品缺陷检测系统及方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN112881427A (zh) * 2021-01-13 2021-06-01 四川宇然智荟科技有限公司 可见光和红外热成像的电子元器件缺陷检测装置及方法
CN113822885A (zh) * 2021-11-23 2021-12-21 常州微亿智造科技有限公司 融合多注意力机制的工件缺陷检测方法和装置
CN114119586A (zh) * 2021-12-01 2022-03-01 中国计量大学 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
CN114663344A (zh) * 2021-12-28 2022-06-24 江苏集萃智能光电系统研究所有限公司 一种基于图像融合的列车轮对踏面缺陷识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110334708A (zh) * 2019-07-03 2019-10-15 中国科学院自动化研究所 跨模态目标检测中的差异自动校准方法、系统、装置
CN111784673B (zh) * 2020-06-30 2023-04-18 创新奇智(上海)科技有限公司 缺陷检测模型训练和缺陷检测方法、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689520A (zh) * 2019-08-26 2020-01-14 浙江华是科技股份有限公司 一种基于ai的磁芯产品缺陷检测系统及方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN112881427A (zh) * 2021-01-13 2021-06-01 四川宇然智荟科技有限公司 可见光和红外热成像的电子元器件缺陷检测装置及方法
CN113822885A (zh) * 2021-11-23 2021-12-21 常州微亿智造科技有限公司 融合多注意力机制的工件缺陷检测方法和装置
CN114119586A (zh) * 2021-12-01 2022-03-01 中国计量大学 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
CN114663344A (zh) * 2021-12-28 2022-06-24 江苏集萃智能光电系统研究所有限公司 一种基于图像融合的列车轮对踏面缺陷识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multisensor Image Fusion for Automated Detection of Defects in Printed Circuit Boards;Mengke Li et al;《IEEE SENSORS JOURNAL》;20211015;第21卷(第20期);23390-23399 *
RGB-T Salient Object Detection via Fusing Multi-Level CNN Features;Qiang Zhang et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20200130;第29卷;3321-3335 *
基于人工智能的磁芯产品缺陷检测与分类技术;俞永方 等;《电子技术与软件工程》;20200331(第6期);81-82 *
基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法;朱浩 等;《激光与红外》;20220430;第52卷(第4期);543-551 *

Also Published As

Publication number Publication date
CN115082434A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
CN1491515A (zh) 利用相机校准投影仪的方法
CN104869376B (zh) 视频融合中多图像多像素级别几何校正方法
CN111667398B (zh) 图像处理方法、装置和计算机可读存储介质
CA2220721A1 (en) Texture mapping of photographic images to cad surfaces
JP3882005B2 (ja) 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
CN109257583B (zh) 投影设备图像的无缝拼接方法及系统
EP1548644A1 (en) Image processing device, image processing method, recording medium, and program
CN112118435B (zh) 面向异形金属屏幕的多投影融合方法及系统
CN111445537B (zh) 一种摄像机的标定方法及系统
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN116704048B (zh) 一种双光配准方法
CN106227628A (zh) 一种拼接屏的测试方法和装置
CN115082434B (zh) 一种基于多源特征的磁芯缺陷检测模型训练方法及系统
KR100943719B1 (ko) 다시점 영상의 기하학적 보정 시스템 및 방법
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN112182967B (zh) 一种基于热影仪的光伏组件自动建模方法
CN114007023A (zh) 一种大型车辆全景拼接方法
CN111970538A (zh) 教学视频处理方法与系统
CN103686029B (zh) 一种用于大屏幕多投影系统的视频像素对角插值方法
CN111507245A (zh) 人脸检测的嵌入式系统及检测方法
CN111901578B (zh) 一种多通道洞穴式的投影方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant