CN113836850A - 模型获得方法及系统及装置及介质及产品缺陷检测方法 - Google Patents
模型获得方法及系统及装置及介质及产品缺陷检测方法 Download PDFInfo
- Publication number
- CN113836850A CN113836850A CN202111416528.3A CN202111416528A CN113836850A CN 113836850 A CN113836850 A CN 113836850A CN 202111416528 A CN202111416528 A CN 202111416528A CN 113836850 A CN113836850 A CN 113836850A
- Authority
- CN
- China
- Prior art keywords
- area information
- attention area
- model
- network
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 148
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 125000004122 cyclic group Chemical group 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/32—Circuit design at the digital level
- G06F30/33—Design verification, e.g. functional simulation or model checking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2115/00—Details relating to the type of the circuit
- G06F2115/12—Printed circuit boards [PCB] or multi-chip modules [MCM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了模型获得方法及系统及装置及介质及产品缺陷检测方法,涉及智能检测领域,所述方法包括:收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;构建第一产品缺陷检测模型,利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型;产品缺陷检测模型能够基于细粒度图像分类方法优化产品中相似度较高的不同缺陷检测的精度,产品缺陷检测模型采用循环注意力卷积神经网络对产品中的缺陷特征进行学习,输出缺陷的类别与置信度;通过上述方法获得的模型能够对产品中相似度比较高的不同缺陷进行分类,提高模型的检测精度。
Description
技术领域
本发明涉及智能检测领域,具体地,涉及模型获得方法及系统及装置及介质及产品缺陷检测方法。
背景技术
随着电子工艺技术的不断发展,印刷电路板的生产工艺越来越复杂,对于缺陷的及时发现可以有效降低成本,降低资源的浪费,与传统的人工质检方式相比,自动光学检测系统(AOIS)取代了人工检测的方式,不仅提高了检测效率,而且提高了检测精度(避免不同经验的人工检测引入误差),同时降低了高额的人工成本。目前基于深度学习技术的工业缺陷检测技术面临的难点如下:
多样性问题,同类别内的缺陷差异比较大,对于划伤类别的缺陷问题,其出现在PCB(印刷电路板)板的位置、存在形式存在较大的差异,并且很难收集到覆盖所有缺陷的样本;
数据不均衡问题,主要表现在数据样本级别不均衡、缺陷类别级别不均衡和缺陷的实例级别不均衡,数据样本级别不均衡主要是正常的样本与存在缺陷的样本比例失衡,缺陷类别级别不均衡是指各个类别的缺陷占比差异较大,存在部分类别的缺陷样本数量很少的情况,缺陷实例级别不均衡是指某些缺陷尺度很小,属于小目标检测难点;
脏数据问题:该问题是标注的样本类别错误,根本原因是缺陷类别之间相似高,难以准确区分,不同标注人员之间判定缺陷存在误差。
工业上对于PCB板缺陷的分类比较详细,因此有些类别之间的相似度较高,因此会造成误判的情况。
发明内容
为了解决相似缺陷容易误判的问题,本发明提供了模型获得方法及系统及装置及介质及产品缺陷检测方法,通过本发明获得的产品缺陷检测模型能够对产品的相似缺陷进行准确的识别。
为实现上述目的,本发明提供了模型获得方法,所述方法包括:
收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
其中,本方法能够获得产品缺陷检测模型,而上述产品缺陷检测模型能够基于细粒度图像分类方法优化产品中相似度较高的不同缺陷检测的精度,产品缺陷检测模型采用循环注意力卷积神经网络对产品中的缺陷特征进行学习,输出缺陷的类别与置信度。通过上述方法获得的模型能够对产品中相似度比较高的不同缺陷进行分类,提高模型的检测精度。
优选的,所述方法还包括:
标注所述第一数据中的缺陷类别,获得标注后的数据;
对所述标注后的数据进行数据增强处理,获得所述训练数据。
其中,对数据增强可以增加数据的维度和数量,提升数据的丰富度,进而提升训练数据的质量,便于利用提升高质量的训练数据来获得高质量的模型。
优选的,本方法中所述数据增强处理方式包括以下方式中的一种或几种:对标注后的数据中的图片进行旋转、对标注后的数据中的图片进行翻转和调整标注后的数据中的图片亮度。
优选的,本方法中所述第一产品缺陷检测模型中分类目标的区域框回归参数由所述第一子网络输出。
优选的,本方法中所述第一子网络包括:第一注意力生成网络和第一分类网络,所述第一注意力生成网络用于对所述第一产品缺陷检测模型的输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,所述第一分类网络用于对所述第一注意力区域信息进行分类获得第一分类结果。
优选的,本方法中所述第二子网络包括:第二注意力生成网络和第二分类网络,所述第二注意力生成网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,所述第二分类网络用于对所述第二注意力区域信息进行分类获得第二分类结果。
优选的,本方法中所述第三子网络包括:第三注意力生成网络和第三分类网络,所述第三注意力生成网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,第三分类网络用于对所述第三注意力区域信息进行分类获得第三分类结果,以及用于融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果。
其中,本方法使用深度神经网络进行模型训练,整体网络结构由3个子网络构成,具体参数不同,每个子网络由APN(Attention Proposal Network)结构与分类网络组成。
APN网络是对提取到的特征进行训练得到注意力区域信息,再将该注意力区域信息输入到下一个子网络中,分类网络是对获取到的注意力区域数据图像进行分类,输出类别的概率,最后融合三个子网的输出类别概率,这样做的目的是采用递归的方式分析局部信息,使训练过程中逐渐聚焦到的注意力区域信息更加准确。
APN的网络结构是在特征提取之后的网络上接全连接层结构,对输入的特征图进行裁剪、放大操作,裁剪出更加具有辨识能力的区域特征。
优选的,本方法中所述第一至第三子网络对特征进行处理得到注意力区域信息的具体方式为:
其中,为注意力区域信息,为所述第一产品缺陷检测模型的输入数据,和分别为关注区域的中心点坐标,关注区域为正方形,为关注区域边长的一半,为关注区域的信息。Mask矩阵与输入图像特征图的像素矩阵做矩阵的点乘操作完成了,将不在该Mask区域的输入图像特征图像素值置为0,即实现了裁剪操作,随后使用双线性插值方式实现裁剪区域的扩大,完成了特征由粗到细的转换,使模型更加专注于更加精细的特征学习。
优选的,本方法中所述融合第一至第三分类结果具体为:将第一至第三子网络的全连接层具有不同尺度的特征信息进行拼接。
优选的,本方法中所述产品缺陷检测模型利用Softmax函数计算类别的概率信息。
其中,特征的融合阶段对3个子网络的全连接层具有不同尺度的特征信息进行拼接,再经过Softmax函数计算类别的概率信息。
其中,为了避免各种缺陷数据不均衡引起的模型繁华性能下降问题,相比于FocalLoss这种考虑到样本的区分难易程度的损失函数,本发明对于缺陷的分类损失采用GHMLoss,因为在数据标注过程中不可以免的会引入标注错,误的离群样本,若使模型过度关注这些标注错误的样本反而会使模型性能下降,GHM Loss通过梯度密度GD表示一定梯度范围内的样本数量,
优选的,本方法中所述方法还包括:对产品缺陷检测模型进行测试。通过测试可以提高模型的可靠性。
本发明还提供了模型获得系统,所述系统包括:
训练数据获得单元,用于收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
模型构建单元,用于构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
训练单元,用于利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
本发明还提供了产品缺陷检测方法,所述方法包括:
采用所述的模型获得方法获得产品缺陷检测模型;
获得待检测产品的第一图片;
将所述第一图片输入所述产品缺陷检测模型,输出所述待检测产品的缺陷检测结果。
本发明还提供了一种模型获得装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述模型获得方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述模型获得方法的步骤。
本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:
通过本方法能够获得产品缺陷检测模型,所述产品缺陷检测模型能够对产品中相似度比较高的不同缺陷进行分类,通过本方法能够获得检测精度较高的模型。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本发明的一部分,并不构成对本发明实施例的限定;
图1为模型获得方法的流程示意图;
图2为产品缺陷检测模型的网络结构示意图;
图3为产品缺陷检测模型获得系统的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在相互不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述范围内的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
实施例一
请参考图1,图1为模型获得方法的流程示意图,实施例一提供了模型获得方法,所述方法包括:
收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
其中,本发明实施例中的产品可以是工业上的各种加工制成产品,本发明实施例下面以产品为PCB板为例进行举例介绍。
工业上对于PCB板缺陷的定义比较详细,就会存在相似度比较高的不同缺陷,同时对于模型的漏检与过杀率要求也很高,因此本发明基于细粒度图像分类方法优化PCB板中相似度极高的不同缺陷检测的精度,采用循环注意力卷积神经网络对PCB板中的缺陷特征进行学习,输出缺陷的类别与置信度。
本发明提出了一种基于细粒度图像分类方法的模型获得方法以及基于该模型的PCB板缺陷检测方法,利用该模型能够对PCB板中相似度比较高的不同缺陷进行分类,提高模型的检测精度。
其中,PCB板缺陷检测模型的获得方法详细步骤如下:
数据准备阶段:对于生产线上的PCB板缺陷数据进行收集,并由专业人员进行缺陷标注,即标注采集到的PCB板图像中的缺陷区域对应的类别;
数据增强阶段:对标注后的数据增强处理,主要包括数据的旋转、翻转、调整亮度等方式提升数据的丰富度。
网络模型构建阶段:使用深度神经网络进行模型训练,整体网络结构由3个子网络构成,具体参数不同,每个子网络由APN(Attention Proposal Network-注意力生成网络)结构与分类网络组成,网络的总结构如图2所示。
APN网络是对提取到的特征进行训练得到注意力区域信息,再将该注意力区域信息输入到下一个子网络中,分类网络是对获取到的注意力区域数据图像进行分类,输出类别的概率,最后融合三个子网的输出类别概率,这样做的目的是采用递归的方式分析局部信息,使训练过程中逐渐聚焦到的注意力区域信息更加准确,目标的Bbox(区域框)回归参数由第一个子网络输出,图2中box regression为边框回归。
APN的网络结构是在特征提取之后的网络上接全连接层结构,对输入的特征图进行裁剪、放大操作,裁剪出更加具有辨识能力的区域特征,全连接层的最后一层的输出节点数为3,分别表示裁剪后区域的中心坐标,,与一半的边长长度信息。使用表示根据关注区域坐标信息从原图中获取到裁剪后的区域信息,其计算公式如下:
其中,表示输入图像的特征图,表示Mask矩阵,该Mask矩阵与输入图像特征图的像素矩阵做矩阵的点乘操作完成了,将不在该Mask区域的输入图像特征图像素值置为0,即实现了裁剪操作,随后使用双线性插值方式实现裁剪区域的扩大,完成了特征由粗到细的转换,是模型更加专注于更加精细的特征学习。
特征的融合阶段表示对3个子网络的全连接层具有不同尺度的特征信息进行拼接,再经过Softmax函数计算类别的概率信息。
模型训练阶段:在模型训练阶段,为了避免各种缺陷数据不均衡引起的模型繁华性能下降问题,相比于Focal Loss这种考虑到样本的区分难易程度的损失函数,本实施例对于缺陷的分类损失采用GHM Loss,因为在数据标注过程中不可以免的会引入标注错,误的离群样本,若使模型过度关注这些标注错误的样本反而会使模型性能下降,GHM Loss通过梯度密度GD表示一定梯度范围内的样本数量,其计算公式如下所示。
模型测试阶段:对于训练好的模型输入测试图片,返回该图片中可能存在的缺陷区域坐标信息与对应的缺陷类别置信度。
后处理阶段:该阶段可以结合实际情况对不同类别的缺陷设置不同的判断阈值,或者结合返回的坐标信息与置信度信息做进一步的判断,例如根据坐标信息获取缺陷的面积、形态、颜色信息做进一步的判断。
通过上述方法能够获得PCB板缺陷检测模型,通过PCB板缺陷检测模型即可实现PCB板缺陷检测,具体方法为获得待检测产品的图片,将所述图片输入所述产品缺陷检测模型中,所述产品缺陷检测模型输出待检测产品的缺陷检测结果,本方法能够有效的对相似缺陷进行准确的检测。
本发明在网络训练过程中更加关注缺陷的局部信息,对于过于相似的不同缺陷特征具有较好的区分能力。
实施例二
请参考图3,图3为产品缺陷检测模型获得系统的组成示意图,本发明实施例二提供了产品缺陷检测模型获得系统,所述系统包括:
训练数据获得单元,用于收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
模型构建单元,用于构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
训练单元,用于利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
实施例三
本发明实施例三提供了一种产品缺陷检测模型获得装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述产品缺陷检测模型获得方法的步骤。
实施例四
本发明实施例四提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述产品缺陷检测模型获得方法的步骤。
其中,所述处理器可以是中央处理器(CPU,Central Processing Unit),还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的数据,实现发明中产品缺陷检测模型获得装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外,存储器可以包括高速随机存取存储器、还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡,安全数字卡,闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述产品缺陷检测模型获得装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序可存储于一计算机可读存介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (19)
1.模型获得方法,其特征在于,所述方法包括:
收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
2.根据权利要求1所述的模型获得方法,其特征在于,所述方法还包括:
标注所述第一数据中的缺陷类别,获得标注后的数据;
对所述标注后的数据进行数据增强处理,获得所述训练数据。
3.根据权利要求2所述的模型获得方法,其特征在于,所述数据增强处理方式包括以下方式中的一种或几种:对标注后的数据中的图片进行旋转、对标注后的数据中的图片进行翻转和调整标注后的数据中的图片亮度。
4.根据权利要求1所述的模型获得方法,其特征在于,所述第一产品缺陷检测模型中分类目标的区域框回归参数由所述第一子网络输出。
5.根据权利要求1所述的模型获得方法,其特征在于,所述第一子网络包括:第一注意力生成网络和第一分类网络,所述第一注意力生成网络用于对所述第一产品缺陷检测模型的输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,所述第一分类网络用于对所述第一注意力区域信息进行分类获得第一分类结果。
6.根据权利要求1所述的模型获得方法,其特征在于,所述第二子网络包括:第二注意力生成网络和第二分类网络,所述第二注意力生成网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,所述第二分类网络用于对所述第二注意力区域信息进行分类获得第二分类结果。
7.根据权利要求1所述的模型获得方法,其特征在于,所述第三子网络包括:第三注意力生成网络和第三分类网络,所述第三注意力生成网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,第三分类网络用于对所述第三注意力区域信息进行分类获得第三分类结果,以及用于融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果。
9.根据权利要求1所述的模型获得方法,其特征在于,所述融合第一至第三分类结果具体为:将第一至第三子网络的全连接层具有不同尺度的特征信息进行拼接。
10.根据权利要求1所述的模型获得方法,其特征在于,所述产品缺陷检测模型利用Softmax函数计算类别的概率信息。
15.根据权利要求1所述的模型获得方法,其特征在于,所述方法还包括:对产品缺陷检测模型进行测试。
16.模型获得系统,其特征在于,所述系统包括:
训练数据获得单元,用于收集产品缺陷图片数据获得第一数据,标注所述第一数据中的缺陷类别获得训练数据;
模型构建单元,用于构建第一产品缺陷检测模型,所述第一产品缺陷检测模型包括:第一至第三子网络,第一子网络用于对所述第一产品缺陷检测模型的第一输入数据进行特征提取获得第一特征,对所述第一特征进行处理得到第一注意力区域信息,将所述第一注意力区域信息输入第二子网络,并对所述第一注意力区域信息进行分类获得第一分类结果;第二子网络用于对所述第一注意力区域信息进行特征提取获得第二特征,对所述第二特征进行处理得到第二注意力区域信息,将所述第二注意力区域信息输入第三子网络,并对所述第二注意力区域信息进行分类获得第二分类结果;第三子网络用于对所述第二注意力区域信息进行特征提取获得第三特征,对所述第三特征进行处理得到第三注意力区域信息,并对所述第三注意力区域信息进行分类获得第三分类结果;融合第一至第三分类结果获得所述第一产品缺陷检测模型的分类输出结果;
训练单元,用于利用所述训练数据训练所述第一产品缺陷检测模型获得所述产品缺陷检测模型。
17.产品缺陷检测方法,其特征在于,所述方法包括:
采用权利要求1-15中任意一个所述的模型获得方法获得产品缺陷检测模型;
获得待检测产品的第一图片;
将所述第一图片输入所述产品缺陷检测模型,输出所述待检测产品的缺陷检测结果。
18.一种模型获得装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-15中任意一个所述模型获得方法的步骤。
19.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-15中任意一个所述模型获得方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111416528.3A CN113836850A (zh) | 2021-11-26 | 2021-11-26 | 模型获得方法及系统及装置及介质及产品缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111416528.3A CN113836850A (zh) | 2021-11-26 | 2021-11-26 | 模型获得方法及系统及装置及介质及产品缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113836850A true CN113836850A (zh) | 2021-12-24 |
Family
ID=78971402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111416528.3A Pending CN113836850A (zh) | 2021-11-26 | 2021-11-26 | 模型获得方法及系统及装置及介质及产品缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113836850A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742791A (zh) * | 2022-04-02 | 2022-07-12 | 深圳市国电科技通信有限公司 | 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 |
CN115661157A (zh) * | 2022-12-28 | 2023-01-31 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
CN116091500A (zh) * | 2023-04-07 | 2023-05-09 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
CN117422908A (zh) * | 2023-10-17 | 2024-01-19 | 煜邦数字科技(广东)有限公司 | 一种基于SE-PointNet++神经网络模型的点云识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111332A (zh) * | 2019-05-20 | 2019-08-09 | 陕西何止网络科技有限公司 | 基于深度卷积神经网络的胶原蛋白肠衣缺陷检测模型、检测方法及系统 |
CN112287788A (zh) * | 2020-10-20 | 2021-01-29 | 杭州电子科技大学 | 基于改进YOLOv3和改进NMS的行人检测方法 |
CN112330591A (zh) * | 2020-09-30 | 2021-02-05 | 中国铁道科学研究院集团有限公司 | 少样本学习的钢轨表面缺陷检测方法及装置 |
CN112651966A (zh) * | 2021-01-18 | 2021-04-13 | 厦门大学嘉庚学院 | 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法 |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
CN113408594A (zh) * | 2021-06-04 | 2021-09-17 | 中南民族大学 | 一种基于注意力网络尺度特征融合的遥感场景分类方法 |
US20210319546A1 (en) * | 2020-04-10 | 2021-10-14 | Samsung Display Co., Ltd. | Image-based defects identification and semi-supervised localization |
-
2021
- 2021-11-26 CN CN202111416528.3A patent/CN113836850A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111332A (zh) * | 2019-05-20 | 2019-08-09 | 陕西何止网络科技有限公司 | 基于深度卷积神经网络的胶原蛋白肠衣缺陷检测模型、检测方法及系统 |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
US20210319546A1 (en) * | 2020-04-10 | 2021-10-14 | Samsung Display Co., Ltd. | Image-based defects identification and semi-supervised localization |
CN112330591A (zh) * | 2020-09-30 | 2021-02-05 | 中国铁道科学研究院集团有限公司 | 少样本学习的钢轨表面缺陷检测方法及装置 |
CN112287788A (zh) * | 2020-10-20 | 2021-01-29 | 杭州电子科技大学 | 基于改进YOLOv3和改进NMS的行人检测方法 |
CN112651966A (zh) * | 2021-01-18 | 2021-04-13 | 厦门大学嘉庚学院 | 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法 |
CN113408594A (zh) * | 2021-06-04 | 2021-09-17 | 中南民族大学 | 一种基于注意力网络尺度特征融合的遥感场景分类方法 |
Non-Patent Citations (4)
Title |
---|
CHUANFEI HU: "An Efficient Convolutional Neural Networks Model Based on Object-Level Attention Mechanism for Casting Defect Detect on Radiography Images", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 * |
JIANLONG FU等: "Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
严娟等: "结合混合域注意力与空洞卷积的3维目标检测", 《中国图象图形学报》 * |
王一鸣等: "视觉注意力网络在工件表面缺陷检测中的应用", 《计算机辅助设计与图形学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742791A (zh) * | 2022-04-02 | 2022-07-12 | 深圳市国电科技通信有限公司 | 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 |
CN115661157A (zh) * | 2022-12-28 | 2023-01-31 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
CN115661157B (zh) * | 2022-12-28 | 2023-04-14 | 成都数之联科技股份有限公司 | 面板圆类缺陷检测方法、装置、介质、设备及程序产品 |
CN116091500A (zh) * | 2023-04-07 | 2023-05-09 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
CN117422908A (zh) * | 2023-10-17 | 2024-01-19 | 煜邦数字科技(广东)有限公司 | 一种基于SE-PointNet++神经网络模型的点云识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113836850A (zh) | 模型获得方法及系统及装置及介质及产品缺陷检测方法 | |
CN110516514B (zh) | 一种目标检测模型的建模方法和装置 | |
CN114819186A (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
CN113705576B (zh) | 一种文本识别方法、装置、可读存储介质及设备 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN111680753A (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
CN115136209A (zh) | 缺陷检测系统 | |
CN113191358B (zh) | 金属零件表面文本检测方法和系统 | |
CN110175519B (zh) | 一种变电站的分合标识仪表识别方法、装置与存储介质 | |
CN113284122B (zh) | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 | |
CN112200193B (zh) | 基于多属性融合的分布式车牌识别方法、系统、装置 | |
CN115909059A (zh) | 一种自然资源样本库建立方法和装置 | |
CN110796078A (zh) | 车辆的灯光检测方法、装置、电子设备及可读存储介质 | |
CN113887608A (zh) | 一种模型训练的方法、图像检测的方法及装置 | |
CN116385380A (zh) | 基于深度特征的缺陷检测方法、系统、设备及存储介质 | |
CN113609984A (zh) | 一种指针式仪表读数识别方法、装置及电子设备 | |
CN112052907A (zh) | 基于图像边缘信息的目标检测方法、装置及存储介质 | |
CN111783783A (zh) | 一种用于图像分割的标注系统及标注方法 | |
CN117611879A (zh) | 缺陷检测方法、装置、设备及计算机可读介质 | |
CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
CN114882204A (zh) | 船名自动识别方法 | |
CN111310611B (zh) | 细胞视野图的检测方法及存储介质 | |
CN112613367A (zh) | 票据信息文本框获取方法、系统、设备及存储介质 | |
CN112434585A (zh) | 一种车道线的虚实识别方法、系统、电子设备及存储介质 | |
CN116524520A (zh) | 文本的识别方法及装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211224 |
|
RJ01 | Rejection of invention patent application after publication |