CN116109627A - 基于迁移学习和小样本学习缺陷检测方法、装置及介质 - Google Patents
基于迁移学习和小样本学习缺陷检测方法、装置及介质 Download PDFInfo
- Publication number
- CN116109627A CN116109627A CN202310369053.XA CN202310369053A CN116109627A CN 116109627 A CN116109627 A CN 116109627A CN 202310369053 A CN202310369053 A CN 202310369053A CN 116109627 A CN116109627 A CN 116109627A
- Authority
- CN
- China
- Prior art keywords
- defect
- scene
- learning
- information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 302
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000013508 migration Methods 0.000 title claims description 29
- 230000005012 migration Effects 0.000 title claims description 29
- 230000006870 function Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000013526 transfer learning Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000004220 aggregation Methods 0.000 claims abstract description 4
- 230000002776 aggregation Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012512 characterization method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000000379 polymerizing effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims 2
- 238000001228 spectrum Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010226 confocal imaging Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于迁移学习和小样本学习缺陷检测方法、装置及介质，通过在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。能够抑制噪声对图像特征提取的干扰，提高图像数据特征的表达能力，实现缺陷准确识别。
Description
技术领域
本发明涉及图像识别领域，尤其涉及基于迁移学习和小样本学习缺陷检测方法、装置及介质。
背景技术
随着精密制造业的快速发展，每年因高精密仪器表面缺陷所造成的损失也高达千亿元级别，工业产品高精度缺陷检测需求日益强烈。特别是工业生产环境存在噪声、遮挡、振动、暗光等高度复杂的条件，使得缺陷检测必须具备智能化、高精度、长时间、高效率的要求。
虽然现阶段深度学习算法应用使得缺陷准确率得到一定提升，但是现有光谱共焦成像、等离子体成像、偏振成像、散射成像等大多数光学成像方式对于不同种类、分布随机、方向各异的工业产品基于迁移学习和小样本学习缺陷检测，均会遇到因缺陷边缘产生的高背景噪声、多类缺陷反射的光信号互扰而出现目标特征弱、背景噪声强的问题，这些问题将导致缺陷识别的准确率降低。
发明内容
为解决上述技术问题，本发明提供基于迁移学习和小样本学习缺陷检测方法、装置及介质，抑制噪声对图像特征提取的干扰，提高图像数据特征的表达能力，实现缺陷准确识别。
本发明实施例提供一种基于迁移学习和小样本学习缺陷检测方法，所述方法包括：
在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；
根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。
优选地，所述在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图，具体包括：
在支撑网络中对各类别图像结合场景因子信息进行特征提取，并通过多级池化级联聚合各类图像的局部特征，得到不同类别图像的支撑向量；
将每一类别图像的支撑向量作为卷积核，与对应类别的特征向量进行聚合，得到所述元知识特征图。
作为一种优选方案，所述在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中，具体包括：
在查询分支中，对查询图像进行批量归一化、卷积、 REL U函数整流以及残差处理得到浅层特征图；
对得到的浅层特征图再次进行批量归一化、卷积、 REL U函数整流以及残差处理得到深层语义信息；
将得到的深层语义信息进行全局最大池化，将语义特征传递给浅层特征图。
优选地，所述根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过联合损失函数最小化，采用源域形成的分类器进行缺陷识别，具体包括：
基于所述元知识特征图构建特征表征模型，基于元学习框架的目标域与源域构建领域判别器；
通过特征表征模型将随机噪声中采样的信号映射到目标数据空间；
通过领域判别器判断输入数据来源是真实样本空间或是领域判别器的输出，并通过训练优化领域判别器的参数，以使领域判别器的损失函数达到最优，生成分类器进行缺陷识别。
作为上述方案的改进，所述特征表征模型的目标函数为
；
所述领域判别器的目标函数为；
所述分类器的目标函数为：
；
其中，G为特征表征, V（G，D）是定义的目标函数，V（D）为特征表征生成时的目标函数，V（G）为领域判别阶段的目标函数，N为原所属标签数量，
x代表真实样本；D为领域判别器,表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率P，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P，
z为随机分布中采样的噪声，G（z）为所应用的分类类别数据中，在所属类别模型G（z）条件下，去较验输出信息y的概率。
作为一种优选方案，所述场景因子信息获取过程具体包括：
对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集；
从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息。
作为上述方案的改进，所述从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息，具体包括：
从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；
对于缺陷Z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z×T×R；
对于缺陷-特征关联信息，采用第一提取因子aij从矩阵Z×T中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；
对特征-场景关联信息，采用第二提取因子bij从矩阵T×R中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；
根据提取得到的前项场景因子和后项场景因子得到所述场景因子信息；
其中，，T，，n为缺陷类别数量，j为特征向量维度，Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。
本发明实施例还提供一种基于迁移学习和小样本学习缺陷检测装置，所述装置包括：
支撑网络模块，用于在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
查询分支模块，用于在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；
迁移学习模块，用于根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。
优选地，所述支撑网络模块具体用于：
在支撑网络中对各类别图像结合场景因子信息进行特征提取，并通过多级池化级联聚合各类图像的局部特征，得到不同类别图像的支撑向量；
将每一类别图像的支撑向量作为卷积核，与对应类别的特征向量进行聚合，得到所述元知识特征图。
作为一种优选方案，所述查询分支模块具体用于：
在查询分支中，对查询图像进行批量归一化、卷积、 REL U函数整流以及残差处理得到浅层特征图；
对得到的浅层特征图再次进行批量归一化、卷积、 REL U函数整流以及残差处理得到深层语义信息；
将得到的深层语义信息进行全局最大池化，将语义特征传递给浅层特征图。
优选地，所述迁移学习模块具体用于：
基于所述元知识特征图构建特征表征模型，基于元学习框架的目标域与源域构建领域判别器；
通过特征表征模型将随机噪声中采样的信号映射到目标数据空间；
通过领域判别器判断输入数据来源是真实样本空间或是领域判别器的输出，并通过训练优化领域判别器的参数，以使领域判别器的损失函数达到最优，生成分类器进行缺陷识别。
进一步地，所述特征表征模型的目标函数为
；
所述领域判别器的目标函数为；
所述分类器的目标函数为：
；
其中，G为特征表征, V（G，D）是定义的目标函数，V（D）为特征表征生成时的目标函数，V（G）为领域判别阶段的目标函数，N为原所属标签数量，
x代表真实样本；D为领域判别器,表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率P，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P，
z为随机分布中采样的噪声，G（z）为所应用的分类类别数据中，在所属类别模型G（z）条件下，去较验输出信息y的概率。
作为一种优选方案，所述支撑网络模块获取场景因子信息的过程具体包括：
对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集；
从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息。
进一步地，所述支撑网络模块具体还用于：
从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；
对于缺陷Z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z×T×R；
对于缺陷-特征关联信息，采用第一提取因子aij从矩阵Z×T中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；
对特征-场景关联信息，采用第二提取因子bij从矩阵T×R中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；
根据提取得到的前项场景因子和后项场景因子得到所述场景因子信息；
其中，，T，，n为缺陷类别数量，j为特征向量维度，Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例中任意一项所述的基于迁移学习和小样本学习缺陷检测方法。
本发明还提供一种基于迁移学习和小样本学习缺陷检测装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的基于迁移学习和小样本学习缺陷检测方法。
本发明提供基于迁移学习和小样本学习缺陷检测方法、装置及介质，通过在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。能够抑制噪声对图像特征提取的干扰，提高图像数据特征的表达能力，实现缺陷准确识别。
附图说明
图1是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测方法的流程示意图；
图2是本发明实施例提供的一种元学习框架结构图；
图3是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测装置的结构示意图；
图4是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于迁移学习和小样本学习缺陷检测方法，参见图1，是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测方法的流程示意图，所述方法步骤S1~S3：
S1，在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
S2，在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；
S3，根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。
在本实施例具体实施时，检测方法氛围两个步骤，即元学习环节和迁移学习环节；
在元学习环节，本方案提出了跨层特征增强元学习框架，元学习的主要研究内容是希望使得模型获取调整超参数的能力，使其可以在获取已有知识的基础上快速学习新的任务。然后再对特定任务进行训练。而学习的参数可以是初始化参数、网络架构、学习率等。
在元学习框架中，通过支撑网络进行任务学习，即通过支撑网络中带有类别标签的类别图像进行学习，学习图像分类；通过查询分支进行优化，即通过查询图像对学习后的模型进行验证，优化参数；在此基础上对元学习框架的支撑网络和查询分支进行改进，提出跨层特征增强元学习框架，以实现高精度视觉图像缺陷检测的特征增强，提高检测准确率。
在支撑网络中，结合自编码网络场景规则语义信息，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
在查询分支中，融合表达和浅层细节特征的特征增强方法，在查询图像特征中采用残差深层语义信息反馈浅层细节特征，进一步应用于缺陷检测识别。由查询分支提取出的元特征采用跨层特征增强方式使元特征更加全面的表征出缺陷的细节信息和语义信息。
通过对支撑网络和查询分支的改进，通过卷积网络深层语义表达能力和浅层细节特征实现特征增强。
并且本方案融合元学习中的知识特征与迁移学习中的跨域迁移，从而实现高精度视觉图像缺陷检测。
根据目标域与源域之间的特征相关性进行迁移，通过构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性高的分类器进行迁移，并利用损失函数指导检测过程，使得缺陷识别的结果更加准确，通过联合损失函数最小化，可使得源域的形成的分类器在目标域应用时缺陷识别效果更加准确。
由于机器视觉缺陷检测由于缺陷样本数量极少，而且缺陷的形状和尺寸差异较大，即使是同一种类别的缺陷差异也很大。缺陷的细节信息对于检测来说起着很重要的作用，但如果仅依靠浅层细节特征进行分类识别，又难以判断同类多尺寸等情况下的缺陷。通过卷积网络深层语义表达能力和浅层细节特征实现特征增强，同时采用跨域隐特征迁移，能够抑制噪声对图像特征提取的干扰，提高图像数据特征的表达能力，实现缺陷准确识别。
在本发明提供的又一实施例中，所述步骤S1具体包括：
在支撑网络中对各类别图像结合场景因子信息进行特征提取，并通过多级池化级联聚合各类图像的局部特征，得到不同类别图像的支撑向量；
将每一类别图像的支撑向量作为卷积核，与对应类别的特征向量进行聚合，得到所述元知识特征图。
在本方案具体实施时，参见图2，是本发明实施例提供的一种元学习框架结构图；
在支撑网络中，结合自编码网络场景规则语义信息，构建小样本分类元知识支撑图像特征，聚合形成局部特征的元知识特征图；在支撑网络中对各类别图像结合场景因子信息进行特征提取，融合场景因子语义信息；通过多级池化缓解了目标的形变以及尺度问题，并通过级联的方式聚合他们的局部特征，得到不同类别图像的支撑向量；
在对类别图像的学习中，融入类别图像的场景信息时，使用了图像分类标签进行关联后，在图像数据维度进行扩充，使得类别图像中也包含了场景信息；
在获得每个类别的支撑向量和查询图像的元知识后，为了增强与支撑图像对相同类别的元知识信息，网络将支撑向量和元知识聚合，利用支撑向量作为卷积核，对每类别特征向量进行卷积，得到含有元知识的特征图，即所述元知识特征图。
通过在支撑网络中引入场景因子，使支撑向量更加能代表缺陷场景的特征，代表其深层挖掘的含义，从而形成更适用于迁移学习和无学习的特征图。
在本发明提供的又一实施例中，所述步骤S3具体包括：
在查询分支中，对查询图像进行批量归一化、卷积、 REL U函数整流以及残差处理得到浅层特征图；
对得到的浅层特征图再次进行批量归一化、卷积、 REL U函数整流以及残差处理得到深层语义信息；
将得到的深层语义信息进行全局最大池化，将语义特征传递给浅层特征图。
在本实施例具体实施时，参见图2，在查询分支中，融合表达和浅层细节特征的特征增强方法，在查询图像特征中采用残差深层语义信息反馈浅层细节特征，进一步应用于缺陷检测识别。
对查询图像进行批量归一化、卷积、 REL U函数整流以及残差处理得到浅层特征图；
对得到的浅层特征图再次进行批量归一化、卷积、 REL U函数整流以及残差处理得到深层语义信息；
将得到的深层语义信息进行全局最大池化，将语义特征传递给浅层特征图
由查询分支提取出的元特征采用跨层特征增强方式使元特征更加全面的表征出缺陷的细节信息和语义信息。为了将深层语义信息给予浅层元特征以更好的指导，增强浅层信息的语义表达，同时保留更多的浅层细节特征。将这个输出再次经过全局最大池化将语义特征传递给最浅层特征图，以实现高精度视觉图像缺陷检测的特征增强。
在本发明提供的又一实施例中，所述步骤S3具体包括：
基于所述元知识特征图构建特征表征模型，基于元学习框架的目标域与源域构建领域判别器；
通过特征表征模型将随机噪声中采样的信号映射到目标数据空间；
通过领域判别器判断输入数据来源是真实样本空间或是领域判别器的输出，并通过训练优化领域判别器的参数，以使领域判别器的损失函数达到最优，生成分类器进行缺陷识别。
在本实施例具体实施时，跨域隐特征迁移方法主要基于目标域与源域任务相关性进行迁移，研究多任务噪声引入生成器构建方法，将多任务标识作为知识迁移过程中源域与目标域特征异构问题解决的参考标准；
基于所述元知识特征图构建特征表征模型
G Ɵ，基于元学习框架的目标域与源域构建领域判别器；
特征表征负责将随机噪声中采样的信号z映射到目标数据空间
G Ɵ(z)，领域判别器负责判断输入数据是来自于真实样本空间亦然或是来自领域判别器的输出。训练过程中优化判别器参数，使网络能够正确区分输入样本来源，同时优化分类器参数，生成分类器进行缺陷识别。
本申请提出跨层特征增强元学习和跨域隐特征迁移的缺陷检测方法，采用跨深浅层特征反馈和融合场景知识的元知识特征图进行缺陷识别并进行跨域隐特征迁移，从而实现高精度视觉图像缺陷检测。
在本发明提供的又一实施例中，所述特征表征模型的目标函数为
；
所述领域判别器的目标函数为；
所述分类器的目标函数为：
；
其中，G为特征表征, V（G，D）是定义的目标函数，V（D）为特征表征生成时的目标函数，V（G）为领域判别阶段的目标函数，N为原所属标签数量，
x代表真实样本；D为领域判别器,表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率P，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P，
z为随机分布中采样的噪声，G（z）为所应用的分类类别数据中，在所属类别模型G（z）条件下，去较验输出信息y的概率。
在本实施例具体实施时，所述特征表征模型的目标函数为：
；
其中，表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率P，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P，
x代表真实样本；
所述领域判别器的目标函数为；
其中，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P；
所述领域判别器的损失函数为：
；
其中，G为特征表征, V（G，D）是定义的目标函数，V（D）为特征表征生成时的目标函数，V（G）为领域判别阶段的目标函数，N为原所属标签数量，
x代表真实样本；D为领域判别器，
z为随机分布中采样的噪声，G（z）为所应用的分类类别数据中，在所属类别模型G（z）条件下，去较验输出信息y的概率。
在本发明提供的又一实施例中，所述场景因子信息获取过程具体包括：
对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集；
从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息。
在本实施例具体实施时，缺陷基础数据的来源包括历史经验数据、常见规则数据和缺陷标准数据，历史经验数据具体为专家对缺陷判断的历史数据；
常见工业产品缺陷主要有：线、划痕、油污、点、阴影、纹理、锯齿等缺陷，而在缺陷检测时在图像中则体现为另一种形态，结合常见的缺陷图像数据表征情况，场景分析必须结合业务活动的特点，所检测的工业产品在业务中所属环节，这些对缺陷检测形成的场景判断都有重要的影响。最终通过各数据集关联，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；
其中，缺陷场景规则数据库包括表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集。
通过针对微米级视觉图像缺陷检测过程中面对遮挡、氧化、振动等复杂背景的分类与关联，实现准确地缺陷识别。
表面缺陷数据集具体包括缺陷几何特征（点线面缺陷、边界、骨骼、形状、位置、大小、拉伸、平移）、空间分布数据（熵、对比度、一致性和相关性）、缺陷统计数据（灰度共生矩阵、自相关系数、数学形态学、直方图统计特征（范围、均值、几何均值、调和平均值、标准偏差、方差和中值）和分形体值（拉伸、平移的分形维数和孔隙度））、缺陷频谱数据（纹理频谱、污点频谱和锯齿频谱）。
其中，熵用于反映该图像反映像素的随机性，越大越粗糙；对比度是指缺陷场景图像的亮暗的平均差异；一致性是指这批图像中度量角度的一致程度；相关性是指所获取图像与所检测场景的相关程度。整体而言，这些具体的数据集，其实都是对图像数据的检测数据集合，从不同的角度分类形成不同的子集，以方便进行图像的处理和识别。
缺陷规则数据集包括缺陷分类统计数据（缺陷自动划分到对应的故障模式）、致损机理数据、缺陷成因规则和缺陷等级（检测对象类型（半导体、电路板、晶圆、织物、金属表面、木头等))。检测系统数据集包括设备类型、生产线设计数据和技术选型；
工艺场景数据包括检测对象类型（检测对象类型（半导体、电路板、晶圆、织物、金属表面、木头等）、场景因素（作业规模、设备选型）、生产工序（制坯、修磨、轧制、剪切、捆扎、成品等）。
将表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集分别用数据集的形式表示为：
表面缺陷数据集D1=[表面缺陷ID，缺陷几何特征，空间分布数据，缺陷统计数据，缺陷频谱数据]；
缺陷几何特征子集=[表面缺陷ID，缺陷几何特征ID，点线面缺陷、边界、骨骼、形状、位置、大小、拉伸、平移]；
空间分布子集=[表面缺陷ID，空间分布ID，熵、对比度、一致性、相关性]；
缺陷统计子集=[表面缺陷ID，缺陷统计ID，灰度共生矩阵、自相关系数、数学形态学、直方图统计特征、分形体值]；
缺陷统计子集是指缺陷数据从统计学的角度进行计算而得出的数据值。它虽然不是直接描述出缺陷的特征，但掌握这些特征分布的统计数据，有利于分析缺陷类型与共性特征的关系。这在D2数据集中是有交集的，也就是这些统计数据会最终与缺陷规则关联起来，更容易形成缺陷场景规则。
直方图统计特征子集=[表面缺陷ID，缺陷统计ID，直方图统计ID,范围、均值、几何均值、调和平均值、标准偏差、方差和中值]；
分形体值子集=[表面缺陷ID，缺陷统计ID，分形体值ID，拉伸、平移的分形维数和孔隙度征]；
分形体值能体现缺陷的拉伸和变形程度，产品在制作过程中，经常会因为工艺水平应用不当，造成配件的整体拉伸，从而产业间隙缺陷等。
缺陷频谱子集=[表面缺陷ID，缺陷频谱ID，纹理频谱、污点频谱、锯齿频谱]；
缺陷频谱确实是指缺陷图像所展现的频谱特征，但纹理、污点、锯齿所形成的频谱特点是不一样的，该数据集是在图像缺陷过程中收集好纹理、污点、锯齿这些缺陷图像的频谱特征。
所述缺陷规则数据集D2=[缺陷规则ID，检测对象类型，缺陷分类统计数据，致损机理数据，缺陷成因规则，缺陷等级]；
设备类型是指缺测设备，而检测对象类型，是指被检测对象，比如，PCB板检测、钢材检测、芯片检测、手机配件检测等。不同的检测对象具有不同的检测场景。
所述检测系统数据集D3=[检测系统ID，设备类型、生产线设计数据、技术选型]；
所述工艺场景数据集D4=[工艺场景数据ID，检测对象类型、场景因素、生产工序]。
在本发明提供的又一实施例中，所述从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息，具体包括：
从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；
对于缺陷Z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z×T×R；
对于缺陷-特征关联信息，采用第一提取因子aij从矩阵Z×T中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；
对特征-场景关联信息，采用第二提取因子bij从矩阵T×R中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；
根据提取得到的前项场景因子和后项场景因子得到所述场景因子信息；
其中，，T，，n为缺陷类别数量，j为特征向量维度，Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。
在本实施例具体实施时， 从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；
对于缺陷Z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z×T×R；
对于缺陷-特征关联信息，采用第一提取因子aij从矩阵Z×T中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；
对特征-场景关联信息，采用第二提取因子bij从矩阵T×R中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；
根据提取得到的前项场景因子和后项场景因子确定所述场景因子；
其中，，T，，n为缺陷类别数量，j为特征向量维度，Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。
在本实施例具体实施时，依据基础知识库提炼场景因子，这些场景因子共同构建成包含类型、特征、场景的三维向量矩阵，运用该矩阵约束强制自编码器去考虑输入数据的哪些部分需要被优化复制，哪些部分需要被舍弃，因此自编码器往往能学习到数据的有效特征，舍弃无关特征，从而生成更多的缺陷场景规则。
对缺陷场景规则数据库进行数据清洗、数据关联和转换后，最终形成包含类型信息、特征信息、场景信息的三维向量矩阵。
从表面缺陷数据集D1中提取缺陷类型信息；从表面缺陷数据集D1与所述缺陷规则数据集D2中提取特征信息；从所述检测系统数据集D3和所述工艺场景数据集D4中提取场景信息；
对于缺陷Z，可表示为,对于特征信息，可表示为T，对于场景信息，可表示为，最终构成Z×T×R的分层矩阵。
其中，n为缺陷类别数量，j为特征向量维度，j是指向量维度，样本或特征的向量维度；比如，对于缺陷Z，表面缺陷数据集D1与所述缺陷规则数据集D2代表了特征信息，而假设此时表面缺陷数据集D1与所述缺陷规则数据集D2字段加起来是11时，那么j就是代表了1~11；
Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；
对于缺陷-特征关联信息，将从Z×T中进行映射信息提取，从缺陷至特征采用的第一提取因子，提取得到的前项缺陷场景因子；
其中，是计算过程中用到的阶段性表示符号，时则=0，时则；
根据提取的前项缺陷场景因子形成的前项场景因子；
对于特征-场景关联信息，将从T×R中进行映射信息提取，从缺陷至特征采用的第二提取因子，提取得到的后项缺陷场景因子；
其中，是计算过程中用到的阶段性表示符号，时则=0，时则；
根据提取的前项缺陷场景因子形成的前项场景因子；
场景因子=[前项场景因子，后项场景因子]。
前项场景因子表示：缺陷特征关联时的信息，用于编码器之前可引导有效特征提取，降低样本噪声；
后项场景因子表示：特征与场景关联时的信息，用于解码器之后，规则生成之前，可指导规则生成，过滤无效规则。
在本发明提供的又一实施例中，参见图3，是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测装置的结构示意图，所述装置包括：
数据库构建模块，用于对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库；
场景因子提取模块，用于从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子；
模型生成模块，用于构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型；
缺陷识别模块，用于根据所述模态识别模型对待检测样本进行缺陷识别。
需要说明的是，本发明实施例提供的所述基于迁移学习和小样本学习缺陷检测装置能够执行上述实施例中任意实施例所述的基于迁移学习和小样本学习缺陷检测方法，对基于迁移学习和小样本学习缺陷检测装置的具体功能在此不作赘述。
参见图4，是本发明实施例提供的一种基于迁移学习和小样本学习缺陷检测装置的结构示意图。该实施例的基于迁移学习和小样本学习缺陷检测装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如基于迁移学习和小样本学习缺陷检测程序。所述处理器执行所述计算机程序时实现上述各个基于迁移学习和小样本学习缺陷检测方法实施例中的步骤，例如图1所示的步骤S1~S3。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于迁移学习和小样本学习缺陷检测装置中的执行过程。例如，所述计算机程序可以被分割成各个模块，各模块具体功能再次不作赘述。
所述基于迁移学习和小样本学习缺陷检测装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于迁移学习和小样本学习缺陷检测装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是基于迁移学习和小样本学习缺陷检测装置的示例，并不构成对基于迁移学习和小样本学习缺陷检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于迁移学习和小样本学习缺陷检测装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于迁移学习和小样本学习缺陷检测装置的控制中心，利用各种接口和线路连接整个基于迁移学习和小样本学习缺陷检测装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于迁移学习和小样本学习缺陷检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于迁移学习和小样本学习缺陷检测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述方法包括：
在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；
根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。
2.如权利要求1所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图，具体包括：
在支撑网络中对各类别图像结合场景因子信息进行特征提取，并通过多级池化级联聚合各类图像的局部特征，得到不同类别图像的支撑向量；
将每一类别图像的支撑向量作为卷积核，与对应类别的特征向量进行聚合，得到所述元知识特征图。
3.如权利要求1所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中，具体包括：
在查询分支中，对查询图像进行批量归一化、卷积、REL U函数整流以及残差处理得到浅层特征图；
对得到的浅层特征图再次进行批量归一化、卷积、REL U函数整流以及残差处理得到深层语义信息；
将得到的深层语义信息进行全局最大池化，将语义特征传递给浅层特征图。
4.如权利要求1所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过联合损失函数最小化，采用源域形成的分类器进行缺陷识别，具体包括：
基于所述元知识特征图构建特征表征模型，基于元学习框架的目标域与源域构建领域判别器；
通过特征表征模型将随机噪声中采样的信号映射到目标数据空间；
通过领域判别器判断输入数据来源是真实样本空间或是领域判别器的输出，并通过训练优化领域判别器的参数，以使领域判别器的损失函数达到最优，生成分类器进行缺陷识别。
5.如权利要求4所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述特征表征模型的目标函数为；
所述领域判别器的目标函数为；
所述分类器的目标函数为：
；
其中，G为特征表征, V（G，D）是定义的目标函数，V（D）为特征表征生成时的目标函数，V（G）为领域判别阶段的目标函数，N为原所属标签数量，x代表真实样本；D为领域判别器,表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率P，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率P， z为随机分布中采样的噪声，G（z）为所应用的分类类别数据中，在所属类别模型G（z）条件下，去较验输出信息y的概率。
6.如权利要求1所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述场景因子信息获取过程具体包括：
对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集；
从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息。
7.如权利要求6所述的基于迁移学习和小样本学习缺陷检测方法，其特征在于，所述从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述场景因子信息，具体包括：
从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；
对于缺陷Z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z×T×R；
对于缺陷-特征关联信息，采用第一提取因子aij从矩阵Z×T中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；
对特征-场景关联信息，采用第二提取因子bij从矩阵T×R中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；
根据提取得到的前项场景因子和后项场景因子得到所述场景因子信息；
其中， ，T，，n为缺陷类别数量，j为特征向量维度，Zi j为缺陷矩阵中的元素值，Ti j为特征信息矩阵中的元素值，Ri j为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。
8.一种基于迁移学习和小样本学习缺陷检测装置，其特征在于，所述装置包括：
支撑网络模块，用于在元学习框架的支撑网络中，获取类别图像的支撑图像特征，并引入预先获取的场景因子信息，聚合形成局部特征的元知识特征图；
查询分支模块，用于在元学习框架的查询分支中，采用跨层特征增强方式将残差深层语义信息反馈到浅层特征图中；
迁移学习模块，用于根据目标域与源域之间的特征相关性进行迁移，构建领域判别器判断目标样本跟源域样本的区别，并调用多任务分类器中相关性最高的分类器进行迁移，通过损失函数最小化，采用源域形成的分类器进行缺陷识别。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于迁移学习和小样本学习缺陷检测方法。
10.一种基于迁移学习和小样本学习缺陷检测装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于迁移学习和小样本学习缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369053.XA CN116109627B (zh) | 2023-04-10 | 2023-04-10 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369053.XA CN116109627B (zh) | 2023-04-10 | 2023-04-10 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109627A true CN116109627A (zh) | 2023-05-12 |
| CN116109627B CN116109627B (zh) | 2023-08-01 |
Family
ID=86261896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310369053.XA Active CN116109627B (zh) | 2023-04-10 | 2023-04-10 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109627B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111988340A (zh) * | 2020-09-09 | 2020-11-24 | 中国人民解放军国防科技大学 | 基于深度迁移学习的小样本DDoS攻击检测方法 |
| US20220101051A1 (en) * | 2020-09-28 | 2022-03-31 | Robert Bosch Gmbh | Data-based updating of the training of classifier networks |
| CN114511739A (zh) * | 2022-01-25 | 2022-05-17 | 哈尔滨工程大学 | 一种基于元迁移学习的任务自适应的小样本图像分类方法 |
| CN114519803A (zh) * | 2022-01-24 | 2022-05-20 | 东莞理工学院 | 一种基于迁移学习的小样本目标识别方法 |
| CN114663401A (zh) * | 2022-03-23 | 2022-06-24 | 四川沐迪圣科技有限公司 | 一种小样本知识迁移学习的缺陷预测方法及系统 |
| CN115330697A (zh) * | 2022-07-22 | 2022-11-11 | 浙江大学 | 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 |
-
2023
- 2023-04-10 CN CN202310369053.XA patent/CN116109627B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111988340A (zh) * | 2020-09-09 | 2020-11-24 | 中国人民解放军国防科技大学 | 基于深度迁移学习的小样本DDoS攻击检测方法 |
| US20220101051A1 (en) * | 2020-09-28 | 2022-03-31 | Robert Bosch Gmbh | Data-based updating of the training of classifier networks |
| CN114519803A (zh) * | 2022-01-24 | 2022-05-20 | 东莞理工学院 | 一种基于迁移学习的小样本目标识别方法 |
| CN114511739A (zh) * | 2022-01-25 | 2022-05-17 | 哈尔滨工程大学 | 一种基于元迁移学习的任务自适应的小样本图像分类方法 |
| CN114663401A (zh) * | 2022-03-23 | 2022-06-24 | 四川沐迪圣科技有限公司 | 一种小样本知识迁移学习的缺陷预测方法及系统 |
| CN115330697A (zh) * | 2022-07-22 | 2022-11-11 | 浙江大学 | 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘嘉濛等: "基于领域对抗网络的轴承故障诊断方法研究", 机电工程, no. 03, pages 13 - 19 * |
| 李新海等: "一种小样本条件下的绝缘子外套裂纹缺陷图像 识别方法", 《南方电网技术》, vol. 15, no. 1, pages 86 - 94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109627B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| Yogesh et al. | Computer vision based analysis and detection of defects in fruits causes due to nutrients deficiency | |
| CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
| CN108764361B (zh) | 基于集成学习的游梁式抽油机示功图的工况识别方法 | |
| CN115984662B (zh) | 一种多模态数据预训练及识别方法、装置、设备及介质 | |
| CN115880298A (zh) | 一种基于无监督预训练的玻璃表面缺陷检测方法及系统 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN110008949B (zh) | 一种图像目标检测方法、系统、装置和存储介质 | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
| CN115082449B (zh) | 一种电子元器件缺陷检测方法 | |
| CN115690001A (zh) | 一种用于检测钢管焊接数字射线图像中缺陷的方法 | |
| CN113763384A (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN113139617A (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| Feng et al. | 3D reconstruction of plants using probabilistic voxel carving | |
| CN112288685B (zh) | 抗酸杆菌的检测方法、装置、终端设备及可读存储介质 | |
| MAHURKAR et al. | Novel Outline Tracing Techniques for Leaf Species Identification from Shrouded Leaves | |
| CN114037865B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| Doan et al. | A Novel Mango Grading System Based on Image Processing and Machine Learning Methods | |
| Wang et al. | Filter collaborative contribution pruning method based on the importance of different-scale layers for surface defect detection | |
| Liang et al. | FARLut: a two-stage tobacco foreign body detection model incorporating color information and attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |