CN116580025B - 缺陷过滤方法、装置、计算机设备和存储介质 - Google Patents
缺陷过滤方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116580025B CN116580025B CN202310848733.XA CN202310848733A CN116580025B CN 116580025 B CN116580025 B CN 116580025B CN 202310848733 A CN202310848733 A CN 202310848733A CN 116580025 B CN116580025 B CN 116580025B
- Authority
- CN
- China
- Prior art keywords
- defect
- sample
- battery
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 465
- 238000001914 filtration Methods 0.000 title claims abstract description 234
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000002950 deficient Effects 0.000 claims abstract description 166
- 239000000523 sample Substances 0.000 claims description 632
- 239000013598 vector Substances 0.000 claims description 370
- 238000012549 training Methods 0.000 claims description 197
- 239000013074 reference sample Substances 0.000 claims description 120
- 230000006870 function Effects 0.000 claims description 106
- 230000002159 abnormal effect Effects 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 24
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Abstract
本申请涉及一种缺陷过滤方法、装置、计算机设备和存储介质,该方法包括:响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像,并将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果;缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。该方法降低了电池外观缺陷检测时的过杀率。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种缺陷过滤方法、装置、计算机设备和存储介质。
背景技术
在电池的生产过程中,需经过多个不同环节导致电池难免会产生一些缺陷,有可能会直接影响电池的一致性和安全性。因此,外观缺陷检测是检验电池是否合格的一个关键环节。
相关技术中,在对电池进行外观缺陷检测时,往往会存在将一些不影响电池使用的轻微缺陷电池误判定为缺陷电池的情况,形成过杀。
因此,相关技术中在进行电池外观缺陷检测时存在过杀率较高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种缺陷过滤方法、装置、计算机设备和存储介质,能够降低电池外观缺陷检测时的过杀率。
第一方面,本申请提供了一种缺陷过滤方法,该方法包括:
响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像;
将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果;缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。
本申请实施例中,响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像,并将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果。其中,确定出的目标曲线电池的缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。该方法中,在对电池进行缺陷检测得到缺陷电池的情况下,可以对这些确定出的任一个目标缺陷电池进行缺陷过滤检测,相当于是对已经检测出来是缺陷电池进行二次过滤,从而将一些存在轻微缺陷但不影响电池性能的缺陷电池筛选出来,减小了这些存在轻微缺陷但不影响电池性能的缺陷电池被过杀的风险,从而降低了电池外观缺陷检测时的过杀率。并且,直接通过预先训练好的过滤网络模型确定目标缺陷电池的缺陷过滤结果,提高了对目标缺陷电池进行缺陷过滤的效率和准确率。
在其中一个实施例中,过滤网络模型中包括过杀样本图像的过杀特征向量和缺陷样本图像的缺陷特征向量;通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果,包括:
通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度;
根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果。
本申请实施例中,通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,然后根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果。该方法中,是利用图像的特征向量进行相似度衡量,由于图像的特征向量是能够真实反映图像特征的,这样以电池图像的特征向量与过杀特征向量之间的过杀相似度以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,就可以更加准确地衡量出电池图像是与过杀样本相似还是与缺陷样本相似,从而更加准确地确定出目标缺陷电池是过杀电池还是缺陷电池,大大地提高了目标缺陷电池的缺陷过滤结果的可靠性和准确性。
在其中一个实施例中,过滤网络模型包括向量提取网络和输出网络,通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,包括:
通过向量提取网络提取电池图像的特征向量;
通过输出网络获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
本申请实施例中,通过向量提取网络提取电池图像的特征向量,并通过输出网络获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。该方法中,利用向量提取网络获取电池图像的特征向量,利用输出网络分别获取过杀相似度与缺陷相似度,使用不同的网络实现不同的数据计算,这样针对性地对过滤网络模型中的每个步骤通过不同的网络进行计算,提高了特征向量以及相似度计算的准确性。
在其中一个实施例中,获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,包括:
获取电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度;
获取电池图像的特征向量与缺陷特征向量之间的第二欧式距离,并根据第二欧式距离确定缺陷相似度。
本申请实施例中,获取电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度,获取电池图像的特征向量与缺陷特征向量之间的第二欧式距离,并根据第二欧式距离确定缺陷相似度。该方法中,是利用特征向量之间的欧式距离计算相似度的,由于两个特征向量之间的欧式距离是能够真实反映两个特征向量之间的相似程度的,这样以电池图像的特征向量与过杀特征向量之间的第一欧式距离获取过杀相似度,以电池图像的特征向量与缺陷特征向量之间的第二欧式距离获取缺陷相似度,就可以更加准确地确定出电池图像分别与过杀样本和缺陷样本的相似度,大大提高了过杀相似度和缺陷相似度的可靠性和准确性。
在其中一个实施例中,根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果,包括:
在过杀相似度大于缺陷相似度的情况下,确定目标缺陷电池为过杀电池;
在过杀相似度小于或等于缺陷相似度的情况下,确定目标缺陷电池为缺陷电池。
本申请实施例中,在过杀相似度大于缺陷相似度的情况下,确定目标缺陷电池为过杀电池;在过杀相似度小于或等于缺陷相似度的情况下,确定目标缺陷电池为缺陷电池,由于过杀相似度是衡量目标缺陷电池的电池图像与过杀样本图像的相似程度,缺陷相似度是衡量目标缺陷电池的电池图像与缺陷样本图像的相似程度,这样,在过杀相似度大于缺陷相似度的情况下,表示目标缺陷电池与过杀样本更相似,在过杀相似度小于或等于缺陷相似度的情况下,表示目标缺陷电池与缺陷样本更相似,从而更加准确地确定出目标缺陷电池是过杀电池还是缺陷电池,大大提高了目标缺陷电池的缺陷过滤结果的准确性。
在其中一个实施例中,过滤网络模型的构建过程包括:
获取训练样本集;训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像;
通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,得到过滤网络模型。
本申请实施例中,获取训练样本集,并通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,得到过滤网络模型;其中,训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像。该方法中,利用多个参考图像、多个过杀样本图像和多个缺陷样本图像对初始过滤网络模型进行训练,通过多种类型的样本图像对初始过滤网络模型进行训练,使得初始过滤网络模型在训练的过程中参数学习得更为全面,提高了过滤网络模型在对目标缺陷电池进行缺陷过滤时的准确性,从而降低了缺陷电池的过杀率。
在其中一个实施例中,获取训练样本集,包括:
根据历史缺陷电池的采集图像,确定多个缺陷样本图像;
根据历史过杀电池的采集图像,确定多个参考样本图像和多个过杀样本图像。
本申请实施例中,根据历史缺陷电池的采集图像,确定多个缺陷样本图像,并根据历史过杀电池的采集图像,确定多个参考样本图像和多个过杀样本图像。该方法中,历史缺陷电池为从外观缺陷检测后从缺陷电池中筛选出来的存在真实缺陷的电池,历史过杀电池为从外观缺陷检测后从缺陷电池中筛选出来的存在轻微缺陷但不影响电池性能且被过杀的电池,这样从历史缺陷电池的采集图像和历史过杀电池的采集图像中获取训练样本集,使得获得的训练样本集更能够反映缺陷过滤的标准,从而大大提高了过滤网络模型的可靠性和准确性。
在其中一个实施例中,通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,包括:
通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值;
根据每次训练的初始过滤网络模型的损失函数值更新初始过滤网络模型的参数,直至初始过滤网络模型达到预设条件,确定初始过滤网络模型收敛。
本申请实施例中,通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值,然后根据每次训练的初始过滤网络模型的损失函数值更新初始过滤网络模型的参数,直至初始过滤网络模型达到预设条件,确定初始过滤网络模型收敛。该方法中,由于训练样本集包括参考样本图像、过杀样本图像和缺陷样本图像,以多种类型的样本图像对初始过滤网络模型进行迭代训练,使得初始过滤网络模型的损失函数值更为合理和准确,这样以损失函数值对初始过滤网络模型的参数进行更新,能够提高初始过滤网络模型训练的速度和准确性;并且,为初始过滤网络模型的迭代训练设置对应的预设条件,使得初始过滤网络模型能够在达到预设条件时停止训练,从而节省训练时间和计算资源,提高了过滤网络模型的训练效率;另外,通过设置合适的迭代条件,降低了过滤网络模型过拟合的概率,提高了过滤网络模型的泛化能力和性能。
在其中一个实施例中,通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值,包括:
对于任一次训练,将训练样本集划分为多个样本组;每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像;
分别通过各样本组对初始过滤网络模型进行训练,获取各样本组训练的初始过滤网络模型的样本组损失函数值;
根据各样本组损失函数值,确定损失函数值。
本申请实施例中,对于任一次训练,将训练样本集划分为多个样本组;每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像;分别通过各样本组对初始过滤网络模型进行训练,获取各样本组训练的初始过滤网络模型的样本组损失函数值,然后根据各样本组损失函数值,确定损失函数值。该方法中,将训练样本集划分为多个样本组,分别通过多个样本组对初始过滤网络模型进行训练,这样对训练样本集分批次地进行训练,降低了计算机设备在模型训练时所用的显存空间,提高了数据处理速度;并且,在训练过程中,每个样本组的样本组损失函数值可能存在一定的波动性,以各样本组损失函数值确定初始过滤网络模型的损失函数值,减少个别样本组对初始过滤网络模型的影响,能够使得初始过滤网络模型的损失函数值更加稳定,从而大大提高了过滤网络模型的准确性。
在其中一个实施例中,初始过滤网络模型包括初始向量提取网络;获取各样本组训练的初始过滤网络模型的样本组损失函数值,包括:
针对任一个样本组,将样本组输入至初始向量提取网络中,获得各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量;
根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值。
本申请实施例中,针对任一个样本组,将样本组输入至初始向量提取网络中,获得各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,然后根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值。该方法中,以样本组为单位,分批次的确定各样本组训练的初始过滤网络模型的样本组损失函数值,减少了初始过滤网络模型每次训练时的数据量,降低了计算机设备每次训练所需使用的显存空间,从而减少了计算资源和提高了计算速度;并且,由于图像的特征向量能够从原始图像中提取出最具有代表性和区分性的特征,这样通过样本组中各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组损失函数值,能够使得样本组损失函数值能够有效表征初始过滤网络模型的优化程度,提高了后续在根据样本组损失函数值更新初始过滤网络模型时的准确性。
在其中一个实施例中,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值,包括:
获取每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离;
基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,确定样本组训练的初始过滤网络模型的样本组损失函数值。
本申请实施例中,获取每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离;基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,确定样本组训练的初始过滤网络模型的样本组损失函数值。该方法中,由于过杀样本图像与参考样本图像为同种类别的样本图像,缺陷样本图像与参考样本图像为不同种类别的样本图像,使得初始过滤网络模型的损失函数中包括不同类别的样本图像之间的相似度和相同类别的样本图像之间的相似度,能够更加全面地通过样本组损失函数值对初始过滤网络模型进行学习,大大提高了过滤网络模型的准确性。
在其中一个实施例中,在根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值之前,该方法还包括:
根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像;异常样本图像表示样本类型划分错误的图像;
根据异常样本图像,对样本组进行调整。
本申请实施例中,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像,并根据异常样本图像,对样本组进行调整;异常样本图像表示样本类型划分错误的图像。该方法中,在通过样本组对初始过滤网络模型进行训练之前,对样本组进行异常样本图像的调整,提高了训练初始过滤网络模型时训练样本集的准确性,减少了由于异常样本图像错分类导致初始过滤网络模型的训练结果不收敛的问题,从而大大提高了过滤网络模型的训练速度和准确性。
在其中一个实施例中,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像,包括:
将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图;
按照特征空间位置分布图,将样本组中位置分布异常的样本图像,确定为异常样本图像。
本申请实施例中,将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图,然后按照特征空间位置分布图,将样本组中位置分布异常的样本图像,确定为异常样本图像。该方法中,通过样本组的特征空间位置分布图,能够直观的确定异常样本图像,从而使确定的异常样本图像更加准确。
在其中一个实施例中,初始过滤网络模型达到预设条件包括初始过滤网络模型的迭代训练次数达到预设次数,且初始过滤网络模型的输出结果准确率达到预设准确率阈值。
本申请实施例中,以初始过滤网络模型的迭代训练次数达到预设次数,且初始过滤网络模型的输出结果准确率达到预设准确率阈值作为初始过滤网络模型达到收敛的预设条件,使得初始过滤网络模型能够在达到预设次数时停止训练,从而节省训练时间和计算资源;另外,通过为初始过滤网络模型的输出结果设置预设准确率阈值,只有在初始过滤网络模型的输出结果准确率大于预设准确率阈值的情况下,才能够确定初始过滤网络模型达到收敛,提高了过滤网络模型的准确性,从而大大降低了电池外观缺陷检测时的过杀率。
第二方面,本申请还提供了一种缺陷过滤装置,该装置包括:
图像获取模块,用于响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像;
缺陷过滤模块,用于将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果;缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时实现上述第一方面中任一实施例提供的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一实施例提供的方法。
第五方面,本申请实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一实施例提供的方法。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为一个实施例中缺陷过滤方法的应用环境图;
图2为一个实施例中缺陷过滤方法的流程示意图;
图3为另一个实施例中缺陷过滤方法的流程示意图;
图4为另一个实施例中缺陷过滤方法的流程示意图;
图5为另一个实施例中缺陷过滤方法的流程示意图;
图6为另一个实施例中缺陷过滤方法的流程示意图;
图7为另一个实施例中缺陷过滤方法的流程示意图;
图8为另一个实施例中缺陷过滤方法的流程示意图;
图9为一个实施例中初始过滤网络模型迭代训练100次的过程中损失函数值的变化示意图;
图10为一个实施例中初始过滤网络模型迭代训练100次的过程中准确率的变化示意图;
图11为另一个实施例中缺陷过滤方法的流程示意图;
图12为另一个实施例中缺陷过滤方法的流程示意图;
图13为另一个实施例中缺陷过滤方法的流程示意图;
图14为另一个实施例中缺陷过滤方法的流程示意图;
图15为另一个实施例中缺陷过滤方法的流程示意图;
图16为另一个实施例中样本组的特征空间位置分布图;
图17为另一个实施例中缺陷过滤方法的流程示意图;
图18为另一个实施例中缺陷过滤方法的流程示意图;
图19为一个实施例中缺陷过滤装置的结构框图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案,因此只作为示例,而不能以此来限制本申请的保护范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”以及它们的任何变形,意图在于覆盖不排他的包含。在本申请实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。在本申请实施例的描述中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在电池生产过程的多个环节中,考虑到环境、工艺及设备等原因,电池难免会产生一些缺陷,这些缺陷可能会影响电池的使用性能。为了确保电池的良率,需要通过外观缺陷检测将存在缺陷的电池检出。
在对电池进行外观缺陷检测时,由于缺陷样本量少,经常存在对于电池的外观缺陷检测不准确,往往会将一些不影响电池使用的轻微缺陷电池误判定为缺陷电池。实际应用中,一般将良品判定为不良品通称过杀,因此,电池外观缺陷检测时这种对于电池的外观缺陷检测不准确就会产生大量过杀电池,导致电池出现过杀的概率较高。
基于此,为了降低电池外观缺陷检测时的过杀率,提出了一种缺陷过滤方法、装置、计算机设备和存储介质,在对电池进行缺陷检测得到缺陷电池的情况下,针对这些缺陷电池中的任一目标缺陷电池,可以对目标缺陷电池进行二次缺陷检测,即缺陷过滤,以将这些缺陷电池中存在轻微缺陷但不影响电池性能的缺陷电池被过滤出来,从而降低了电池出现过杀的概率。
当然,需理解的是,本申请实施例中提供的缺陷过滤方法可以实现的技术效果不限于此,还可以实现其他的技术效果,例如,本申请实施例中的缺陷过滤方法通过预先训练好的过滤网络模型对缺陷电池进行缺陷过滤,还能够提高缺陷过滤的准确性。
在一个实施例中,提供了一种缺陷过滤方法,以该方法应用于图1中的计算设备为例进行说明。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种缺陷过滤方法。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请实施例相关的部分结构的框图,并不构成对本申请实施例所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请实施例提供了一种缺陷过滤方法,如图2所示,该实施例包括如下步骤:
S210,响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像。
在电池生产完成后,可以对电池进行外观缺陷检测,从而得到缺陷电池;其中,目标缺陷电池可以为外观缺陷检测后得到的缺陷电池中的任一个缺陷电池,另外,可以在对电池进行外观缺陷检测后得到目标缺陷电池后的任意一个时刻对目标缺陷电池进行缺陷过滤。计算机设备响应于目标缺陷电池的缺陷过滤指令后,获取目标缺陷电池的电池图像。
其中,目标缺陷电池的缺陷过滤指令可以为需要对目标缺陷电池进行缺陷过滤的指令,缺陷过滤指令中可以包括目标缺陷电池的标识、目标缺陷电池的电池图像等;目标缺陷电池的电池图像可以是在对目标缺陷电池进行外观缺陷检测时所采用的图像,也可以是新采集的目标缺陷电池的电池图像。
一种实施例中,缺陷过滤指令中可以包括目标缺陷电池的标识;计算机设备响应于目标缺陷电池的缺陷过滤指令后,可以通过目标缺陷电池的标识从数据库中获取目标缺陷电池的电池图像,也可以根据目标缺陷电池的标识控制摄像设备采集目标缺陷电池的电池图像。
另一个实施例中,缺陷过滤指令中可以包括目标缺陷电池的电池图像,计算机设备响应于目标缺陷电池的缺陷过滤指令后,直接从缺陷过滤指令中获取目标缺陷电池的电池图像。
需要说明的是,本申请实施例中的缺陷过滤方法是对已经检测出来缺陷的缺陷电池进行二次缺陷筛选的过程,将缺陷电池中存在轻微缺陷但不影响电池性能的缺陷电池筛选出来作为良品,可继续投入使用。
S220,将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果;缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。
其中,过滤网络模型可以是根据大量的缺陷电池的电池图像和过杀电池的电池图像预先训练好的,专门用来对目标缺陷电池进行缺陷过滤的神经网络模型。
计算机设备在获取到目标缺陷电池的电池图像后,可以将目标缺陷电池的电池图像输入至预先训练好的过滤网络模型中,通过过滤网络模型分析电池图像后,过滤网络模型可以直接输出目标缺陷电池的缺陷过滤结果。
可选地,将目标缺陷电池的电池图像输入至过滤网络模型中,过滤网络模型对电池图像进行分析后,过滤网络模型可以输入目标缺陷电池的概率值,概率值表示目标缺陷电池为缺陷电池的可能性;在目标缺陷电池的概率值大于预设的概率阈值的情况下,缺陷过滤结果可以是目标缺陷电池为缺陷电池;在目标缺陷电池的概率值小于或等于预设的概率阈值的情况下,缺陷过滤结果可以是目标缺陷电池为过杀电池。
其中,过杀电池可以表示目标缺陷电池存在轻微但不影响电池性能的缺陷的电池,缺陷电池可以表示目标缺陷电池存在影响电池性能的缺陷的电池。
可选地,可以对一些基础神经网络模型进行训练,得到过滤网络模型。例如,基础神经网络模型包括但不限于是深度学习网络模型、深度卷积神经网络模型、残差神经网络(Residual Neural Network,ResNet)模型等。
本申请实施例中,响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像,并将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果。其中,确定出的目标曲线电池的缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。该方法中,在对电池进行缺陷检测得到缺陷电池的情况下,可以对这些确定出的任一个目标缺陷电池进行缺陷过滤检测,相当于是对已经检测出来是缺陷电池进行二次过滤,从而将一些存在轻微缺陷但不影响电池性能的缺陷电池筛选出来,减小了这些存在轻微缺陷但不影响电池性能的缺陷电池被过杀的风险,从而降低了电池外观缺陷检测时的过杀率。并且,直接通过预先训练好的过滤网络模型确定目标缺陷电池的缺陷过滤结果,提高了对目标缺陷电池进行缺陷过滤的效率和准确率。
可选地,过滤网络模型中包括过杀样本图像的过杀特征向量和缺陷样本图像的缺陷特征向量;在一个实施例中,如图3所示,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果,包括以下步骤:
S310,通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
其中,过滤网络模型中的过杀样本图像的过杀特征向量可以表示过杀样本图像的过杀共性,缺陷网络图像的缺陷特征向量可以表示缺陷样本图像的缺陷共性。
因此,可以获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,以过杀相似度和缺陷相似度确定目标缺陷电池的缺陷过滤结果。
具体地,将目标缺陷电池的电池图像输入至过滤网络模型中,过滤网络模型获取电池图像的特征向量,并根据电池图像的特征向量、过杀样本图像的过杀特征向量和缺陷样本图像的缺陷特征向量,输出电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
可选地,特征向量之间的相似度可以通过欧式距离、余弦相似度、曼哈顿距离、海明距离等计算。
S320,根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果。
特征向量之间的相似度能够表示两个特征向量在特征空间中的相似程度,因此,可以用于比较和度量不同样本之间的相似性。
因此,在一个实施例中,如图根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果,可以包括:在过杀相似度大于缺陷相似度的情况下,确定目标缺陷电池为过杀电池;在过杀相似度小于或等于缺陷相似度的情况下,确定目标缺陷电池为缺陷电池。
在过杀相似度大于缺陷相似度的情况下,表示目标缺陷电池的电池图像与过杀样本图像之间的相似度高于目标缺陷电池的电池图像与缺陷样本图像之间的相似度,所以在此情况下,确定目标缺陷电池为过杀电池,即目标缺陷电池为存在轻微缺陷或非真实缺陷的电池,可以将目标缺陷电池过滤。
在过杀相似度小于或等于缺陷相似度的情况下,表示目标缺陷电池的电池图像与过杀样本图像之间的相似度小于或等于目标缺陷电池的电池图像与缺陷样本图像之间的相似度,所以在此情况下,确定目标缺陷电池为缺陷电池,即目标缺陷电池为存在影响电池使用的真实缺陷的电池。
本申请实施例中,在过杀相似度大于缺陷相似度的情况下,确定目标缺陷电池为过杀电池;在过杀相似度小于或等于缺陷相似度的情况下,确定目标缺陷电池为缺陷电池,由于过杀相似度是衡量目标缺陷电池的电池图像与过杀样本图像的相似程度,缺陷相似度是衡量目标缺陷电池的电池图像与缺陷样本图像的相似程度,这样,在过杀相似度大于缺陷相似度的情况下,表示目标缺陷电池与过杀样本更相似,在过杀相似度小于或等于缺陷相似度的情况下,表示目标缺陷电池与缺陷样本更相似,从而更加准确地确定出目标缺陷电池是过杀电池还是缺陷电池,大大提高了目标缺陷电池的缺陷过滤结果的准确性。
本申请实施例中,通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,然后根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果。该方法中,是利用图像的特征向量进行相似度衡量,由于图像的特征向量是能够真实反映图像特征的,这样以电池图像的特征向量与过杀特征向量之间的过杀相似度以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,就可以更加准确地衡量出电池图像是与过杀样本相似还是与缺陷样本相似,从而更加准确地确定出目标缺陷电池是过杀电池还是缺陷电池,大大地提高了目标缺陷电池的缺陷过滤结果的可靠性和准确性。
可选地,过滤网络模型包括向量提取网络和输出网络,在一个实施例中,如图4所示,通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,包括以下步骤:
S410,通过向量提取网络提取电池图像的特征向量。
将目标缺陷电池的电池图像输入至过滤网络模型中,实质上是先将电池图像输入至过滤网络模型中的向量提取网络中,通过向量提取网络对电池图像的分析,向量提取网络输出电池图像的特征向量。
其中,向量提取网络可以是卷积神经网络(Convolutional Neural Networks,CNN)。
S420,通过输出网络获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
过杀特征向量和缺陷特征向量作为过滤网络模型的参数存储在输出网络中。将向量提取网络输出的电池图像的特征向量输入至输出网络,通过输出网络计算电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
具体地,在一个实施例中,如图5所示,获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度,包括以下步骤:
S510,获取电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度。
输出网络计算电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度;其中,可以用公式(1)计算第一欧式距离,用公式(2)计算过杀相似度。
(1)
(2)
其中,电池图像的特征向量,过杀特征向量/>,/>表示电池图像的特征向量与过杀特征向量之间的第一欧式距离,/>表示过杀相似度。
S520,获取电池图像的特征向量与缺陷特征向量之间的第二欧式距离,并根据第二欧式距离确定缺陷相似度。
计算第二欧式距离和缺陷相似度与上述计算第一欧式距离和过杀相似度的方式相同,在此不再赘述。
需要说明的是,电池图像的特征向量、过杀特征向量和缺陷特征向量的维度相同。
本申请实施例中,获取电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度,获取电池图像的特征向量与缺陷特征向量之间的第二欧式距离,并根据第二欧式距离确定缺陷相似度。由于两个特征向量之间的欧式距离可以反映两个特征向量之间的相似程度,因此,根据欧式距离确定过杀相似度和缺陷相似度,提高了过杀相似度和缺陷相似度的可靠性和准确性。
可选地,由于欧式距离可以反映相似程度,因此,可以直接根据第一欧式距离和第二欧式距离,确定目标缺陷电池的缺陷过滤结果;欧式距离越小,表示两个特征向量越相似。因此,在第一欧式距离大于或等于第二欧式距离的情况下,确定目标缺陷电池为缺陷电池;在第一欧式距离小于第二欧式距离的情况下,确定目标缺陷电池为过杀电池。
本申请实施例中,通过向量提取网络提取电池图像的特征向量,并通过输出网络获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。该方法中,利用向量提取网络获取电池图像的特征向量,利用输出网络分别获取过杀相似度与缺陷相似度,使用不同的网络实现不同的数据计算,这样针对性地对过滤网络模型中的每个步骤通过不同的网络进行计算,提高了特征向量以及相似度计算的准确性。
上述实施例均是对如何使用过滤网络模型进行缺陷过滤的描述,下面通过一个实施例对如何构建过滤网络模型进行详细说明,在一个实施例中,如图6所示,过滤网络模型的构建过程包括以下步骤:
S610,获取训练样本集;训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像。
训练样本集为训练过滤网络模型中需要使用的训练数据。
由于过滤网络模型是对已经检测为缺陷电池的电池进行二次过滤的模型,判断缺陷电池是否为存在真实缺陷的缺陷电池或存在轻微缺陷的过杀电池,因此,训练样本集应为从历史外观缺陷检测中缺陷检测结果为缺陷电池中获取的。
具体地,在一个实施例中,如图7所示,获取训练样本集,包括以下步骤:
S710,根据历史缺陷电池的采集图像,确定多个缺陷样本图像。
其中,获取历史时间段内外观缺陷检测出的缺陷电池,并将缺陷电池进一步进行分析,确定历史缺陷电池和历史过杀电池。历史缺陷电池可以为历史时间段内存在真实缺陷的电池,历史过杀电池可以为历史时间段内存在不影响电池使用的轻微缺陷的电池;历史缺陷电池和历史过杀电池包括多个。
可选地,可以从历史缺陷电池的采集图像中获取多个采集图像,将获取的多个采集图像确定为多个缺陷样本图像;也可以将历史缺陷电池的采集图像确定为缺陷样本图像。
S720,根据历史过杀电池的采集图像,确定多个参考样本图像和多个过杀样本图像。
可以从历史过杀电池的采集图像中随机选取多个采集图像作为参考样本图像和过杀样本图像。
其中,多个参考样本图像和多个过杀样本图像可以不同,且多个参考样本图像和多个过杀样本图像中可以存在相同的采集图像;缺陷样本图像、参考样本图像和过杀样本图像的数量可以相同,也可以不同;可以根据实际情况具体设置。
可选地,可以将各样本图像的单张图像分辨率设置在预设分辨率阈值以下,例如,各样本图像的单张图像分辨率为224*224,可以提高训练数据和准确率。
本申请实施例中,根据历史缺陷电池的采集图像,确定多个缺陷样本图像,并根据历史过杀电池的采集图像,确定多个参考样本图像和多个过杀样本图像。该实施例中,历史缺陷电池为从外观缺陷检测后从缺陷电池中筛选出来的存在真实缺陷的电池,历史过杀电池为从外观缺陷检测后从缺陷电池中筛选出来的存在轻微缺陷但不影响电池性能且被过杀的电池,这样从历史缺陷电池的采集图像和历史过杀电池的采集图像中获取训练样本集,使得获得的训练样本集更能够反映缺陷过滤的标准,从而大大提高了过滤网络模型的可靠性和准确性。
S620,通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,得到过滤网络模型。
获取初始过滤网络模型,其中,初始过滤网络模型可以是初始的图像分类模型,初始过滤网络模型的网络结构可以为Triplet三元组网络结构。由于初始过滤网络模型的网络结构相对简单,初始过滤网络模型训练过程中实际消耗的图形处理器(Graphic ProcessUnit,GPU)资源较小,训练耗时少,利于实际应用。
然后通过上述获取的训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,将收敛的初始过滤网络模型确定为训练好的过滤网络模型。
具体地,通过将训练样本集输入至初始过滤网络模型中,根据初始过滤网络模型的输出和训练样本集的类别标签进行误差计算和参数更新,通过训练样本集持续迭代训练,直至初始过滤网络模型达到预设的迭代次数,将预设迭代次数对应的初始过滤网络模型确定为过滤网络模型;其中,类别标签可以为0或1,例如,1表示样本图像属于过杀样本图像,0表示样本图像属于缺陷样本图像,初始过滤网络模型收敛的条件即为初始过滤网络模型的迭代训练次数达到预设迭代次数。
本申请实施例中,获取训练样本集,并通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,得到过滤网络模型;其中,训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像。该方法中,利用多个参考图像、多个过杀样本图像和多个缺陷样本图像对初始过滤网络模型进行训练,通过多种类型的样本图像对初始过滤网络模型进行训练,使得初始过滤网络模型在训练的过程中参数学习得更为全面,提高了过滤网络模型在对目标缺陷电池进行缺陷过滤时的准确性,从而降低了缺陷电池的过杀率。
在一个实施例中,如图8所示,通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,包括以下步骤:
S810,通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值。
损失函数值是用来衡量预测值和真实值之间的差异的指标,在训练过程中可以通过最小化损失函数值来优化初始过滤网络模型的参数,使得初始过滤网络模型能够更加准确地预测目标值。
将训练样本集输入至初始过滤网络模型,通过初始过滤网络模型对训练样本集进行分析,以预设的损失函数计算初始过滤网络模型的损失函数值。
S820,根据每次训练的初始过滤网络模型的损失函数值更新初始过滤网络模型的参数,直至初始过滤网络模型达到预设条件,确定初始过滤网络模型收敛。
一种实施例中,根据每次训练的初始过滤网络模型的损失函数值计算梯度,然后使用反向传播算法将梯度传递回初始过滤网络模型的各个参数,然后根据优化算法(例如,梯度下降法)更新初始过滤网络模型的参数。
在迭代训练过程中,初始过滤网络模型中的损失函数值可以随着初始过滤网络模型的训练逐渐减小,当初始过滤网络模型收敛时,损失函数值会趋于稳定,表示初始过滤网络模型已经达到了较好的预测效果。
因此,初始过滤网络模型达到预设条件可以是初始过滤网络模型的损失函数值处于预设的范围内;例如,损失函数值小于预设的损失阈值。
一种实施例中,在初始过滤网络模型的训练过程中,每通过训练样本集训练一次,可以获取初始过滤网络模型每次训练得到的损失函数值,还可以将每次训练完成后的损失函数值进行绘制,如图9所示,图9为初始过滤网络模型迭代训练100次的过程中损失函数值的变化示意图。
在一个实施例中,初始过滤网络模型达到预设条件包括初始过滤网络模型的迭代训练次数达到预设次数,且初始过滤网络模型的输出结果准确率达到预设准确率阈值。
在初始过滤网络模型的训练达到预设的迭代次数且初始过滤网络模型的输出结果准确率也达到准确率阈值的情况下,将预设的迭代次数中最大的输出结果准确率对应的初始过滤网络模型中的参数确定为过滤网络模型的参数。
可选地,在初始过滤网络模型的训练过程中,每通过训练样本集训练一次,可以通过测试集对初始过滤网络模型进行测试,根据初始过滤网络模型对测试集的预测结果和测试集的真实缺陷结果,确定初始过滤网络模型的准确率;其中,测试集可以是预先从历史缺陷电池的采集图像和历史过杀电池的采集图像中抽取的一定数量的采集图像,测试集中包括缺陷测试图像和过杀测试图像;如图10所示,图10为初始过滤网络模型迭代训练100次的过程中准确率的变化示意图。
其中,若初始过滤网络模型在迭代预设次数后,初始过滤网络模型的输出结果准确性未达到预设准确性阈值,则可以继续对初始过滤网络模型进行预设次数的迭代训练,直至初始过滤网络模型的输出结果准确率达到预设准确率阈值。
本申请实施例中,以初始过滤网络模型的迭代训练次数达到预设次数,且初始过滤网络模型的输出结果准确率达到预设准确率阈值作为初始过滤网络模型达到收敛的预设条件,使得初始过滤网络模型能够在达到预设次数时停止训练,从而节省训练时间和计算资源;另外,通过为初始过滤网络模型的输出结果设置预设准确率阈值,只有在初始过滤网络模型的输出结果准确率大于预设准确率阈值的情况下,才能够确定初始过滤网络模型达到收敛,提高了过滤网络模型的准确性,从而大大降低了电池外观缺陷检测时的过杀率。
本申请实施例中,通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值,然后根据每次训练的初始过滤网络模型的损失函数值更新初始过滤网络模型的参数,直至初始过滤网络模型达到预设条件,确定初始过滤网络模型收敛。该方法中,由于训练样本集包括参考样本图像、过杀样本图像和缺陷样本图像,以多种类型的样本图像对初始过滤网络模型进行迭代训练,使得初始过滤网络模型的损失函数值更为合理和准确,这样以损失函数值对初始过滤网络模型的参数进行更新,能够提高初始过滤网络模型训练的速度和准确性;并且,为初始过滤网络模型的迭代训练设置对应的预设条件,使得初始过滤网络模型能够在达到预设条件时停止训练,从而节省训练时间和计算资源,提高了过滤网络模型的训练效率;另外,通过设置合适的迭代条件,降低了过滤网络模型过拟合的概率,提高了过滤网络模型的泛化能力和性能。
下面通过一个实施例对如何获取每次训练的初始过滤网络模型的损失函数值进行说明,在一个实施例中,如图11所示,通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值,包括以下步骤:
S1110,对于任一次训练,将训练样本集划分为多个样本组。
其中,每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像。
为了提高每次训练初始过滤网络模型的速度以及计算机设备的显存使用量,针对每一次训练,可以将训练样本集划分为多个样本组,通过多个样本组对初始过滤网络模型进行训练,这样,既不影响训练过滤网络模型的效果,还降低了训练初始过滤网络模型的过程中的显存空间,使得没有较高显存空间的计算机设备也可以训练初始过滤网络模型。
将训练样本集划分为多个样本组的方式可以是,根据预设的限定条件,将训练样本集随机划分为多个样本组;其中,限定条件可以是每个样本组中所有样本图像的数量不大于预设的数量阈值,且每个样本组中均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像
S1120,分别通过各样本组对初始过滤网络模型进行训练,获取各样本组训练的初始过滤网络模型的样本组损失函数值。
具体地,可以获取各样本组的训练顺序,根据训练顺序依次将各样本组输入至初始过滤网络模型中,通过初始过滤网络模型对各样本组进行分析,根据各样本组计算各样本组对应的初始过滤网络模型的样本组损失函数值。
S1130,根据各样本组损失函数值,确定损失函数值。
将各样本组损失函数值的平均值确定为初始过滤网络模型的损失函数值;相应地,将每次训练的各样本组损失函数值的平均值确定为每次训练的初始过滤网络模型的损失函数值。
本申请实施例中,对于任一次训练,将训练样本集划分为多个样本组;每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像;分别通过各样本组对初始过滤网络模型进行训练,获取各样本组训练的初始过滤网络模型的样本组损失函数值,然后根据各样本组损失函数值,确定损失函数值。该方法中,将训练样本集划分为多个样本组,分别通过多个样本组对初始过滤网络模型进行训练,这样对训练样本集分批次地进行训练,降低了计算机设备在模型训练时所用的显存空间,提高了数据处理速度;并且,在训练过程中,每个样本组的样本组损失函数值可能存在一定的波动性,以各样本组损失函数值确定初始过滤网络模型的损失函数值,减少个别样本组对初始过滤网络模型的影响,能够使得初始过滤网络模型的损失函数值更加稳定,从而大大提高了过滤网络模型的准确性。
在一种可选的实施例中,如图12所示,初始过滤网络模型包括初始向量提取网络;获取各样本组训练的初始过滤网络模型的样本组损失函数值,包括以下步骤:
S1210,针对任一个样本组,将样本组输入至初始向量提取网络中,获得各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量。
其中,初始向量提取网络用于提取样本组中各样本图像的特征向量,初始向量提取网络可以是初始CNN。
针对任一个样本组,将样本组输入至初始向量提取网络中,通过初始向量提取网络对样本组中各参考样本图像、各过杀样本图像和各缺陷样本图像进行特征提取,输出各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量。
可选地,初始向量提取网络可以包括三个卷积神经网络:第一卷积神经网络、第二卷积神经网络和第三卷积神经网络。将样本组中各参考样本图像输入至第一卷积神经网络中,得到各参考样本图像的特征向量;将样本组中各过杀样本图像输入至第二卷积神经网络中,得到各过杀样本图像的特征向量;将样本组中各缺陷样本图像输入至第三卷积神经网络中,得到各缺陷样本图像的特征向量。需要说明的是,第一卷积神经网络、第二卷积神经网络和第三卷积神经网络共享权重参数,即第一卷积神经网络、第二卷积神经网络和第三卷积神经网络中的参数相同。
S1220,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值。
在一个实施例中,如图13所示,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值,包括:
S1310,获取每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离。
具体地,根据每个参考样本图像的特征向量和各过杀样本图像的特征向量,获取每个参考样本图像分别与各过杀样本图像之间的欧式距离;根据每个参考样本图像的特征向量和各缺陷样本图像之间的特征向量,获取每个参考样本分别与各缺陷样本图像之间的欧式距离。
可选地,获取两个特征向量之间的欧式距离的方式与上述公式(1)中的计算方式相同,本申请实施例在此不再赘述。
S1320,基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,确定样本组训练的初始过滤网络模型的样本组损失函数值。
其中,初始过滤网络模型中的损失函数可以如公式(3)所示。
(3)
其中,表示的是样本组损失函数值,/>表示参考样本图像,/>表示参考样本图像的特征向量,/>表示过杀样本图像,/>表示过杀样本图像的特征向量,表示缺陷样本图像,/>表示缺陷样本图像的特征向量,/>表示参考样本图像与过杀样本图像之间的欧式距离,/>表示参考样本图像与缺陷样本图像之间的欧式距离,/>表示参考样本图像与过杀样本图像之间距离的偏移值。
需要说明的是,由于参考样本图像、过杀样本图像和缺陷样本图像均包括至少一个,因此,在获取样本组训练的初始过滤网络模型的样本组损失函数值时,可以先将样本组中的参考样本图像、过杀样本图像和缺陷样本图像组合成多个样本子集,每个样本子集包括一个参考样本图像、过杀样本图像和缺陷样本图像,进一步地,计算样本组训练的初始过滤网络模型的样本组损失函数值的方式可以如公式(4)所示。
(4)
其中,k表示每个样本组对应的样本子集的数量,i表示第i个样本子集。
基于公式(4),基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,以及预设的参考样本图像与过杀样本图像之间的距离的偏移值,确定样本组训练的初始过滤网络模型的样本组损失函数值。
本申请实施例中,获取每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离;基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,确定样本组训练的初始过滤网络模型的样本组损失函数值。该实施例中,由于过杀样本图像与参考样本图像为同种类别的样本图像,缺陷样本图像与参考样本图像为不同种类别的样本图像,使得初始过滤网络模型的损失函数中包括不同类别的样本图像之间的相似度和相同类别的样本图像之间的相似度,能够更加全面地通过样本组损失函数值对初始过滤网络模型进行学习,大大提高了过滤网络模型的准确性。
本申请实施例中,针对任一个样本组,将样本组输入至初始向量提取网络中,获得各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,然后根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值。该方法中,以样本组为单位,分批次的确定各样本组训练的初始过滤网络模型的样本组损失函数值,减少了初始过滤网络模型每次训练时的数据量,降低了计算机设备每次训练所需使用的显存空间,从而减少了计算资源和提高了计算速度;并且,由于图像的特征向量能够从原始图像中提取出最具有代表性和区分性的特征,这样通过样本组中各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组损失函数值,能够使得样本组损失函数值能够有效表征初始过滤网络模型的优化程度,提高了后续在根据样本组损失函数值更新初始过滤网络模型时的准确性。
在初始过滤网络模型每次训练的过程中,可以对训练样本集中的各样本组进行实时调整,针对其中处于错误分类的样本图像挑选出来,以避免存在分类错误的训练样本集,防止由于错放样本图像导致初始过滤网络模型不收敛。在一个实施例中,如图14所示,在根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值之前,该实施例包括以下步骤:
S1410,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像。
其中,异常样本图像表示样本类型划分错误的图像;例如,将缺陷样本图像作为过杀样本图像,将过杀样本图像和参考样本图像作为了缺陷样本图像等。
一种实施例中,可以通过预设的聚类算法对样本组中各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量进行分析,确定样本组中的异常样本图像;具体地,将样本组中各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量同时输入至预设的聚类算法中,得到样本组中的异常样本图像。
也可以在可视化的效果下,直观地确定参考样本图像、过杀样本图像和缺陷样本图像的空间分布,分析样本组中分类错误的异常样本图像,另一个实施例中,如图15所示,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像,包括:
S1510,将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图。
可选地,各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量可以为高维特征向量,因此,可以先将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量分别进行降维操作,得到各参考样本图像的二维特征向量、各过杀样本图像的二维特征向量和各缺陷样本图像的二维特征向量;然后将各参考样本图像的二维特征向量、各过杀样本图像的二维特征向量和各缺陷样本图像的二维特征向量映射至二维特征空间中,得到样本组的特征空间位置分布图。
如图16所示,图16即为一个样本组的特征空间位置分布图,特征空间位置分布图中的正样本表示的是参考样本图像和过杀样本图像对应的特征向量,负样本表示的是缺陷样本图像对应的特征向量。
S1520,按照特征空间位置分布图,将样本组中位置分布异常的样本图像,确定为异常样本图像。
根据特征空间位置分布图,可以确定参考样本图像与缺陷样本图像之间的第一距离,以及过杀样本图像与缺陷样本图像之间的第二距离;根据第一距离和第二距离,以及结合特征空间位置分布图,确定样本组中位置分布异常的样本图像,并将样本组中位置分布异常的样本图像确定为异常样本图像。
可选地,在确定异常样本图像后,还可以进一步对异常样本图像进行确认,判断是否为错放的样本图像。
可选地,可以将特征空间位置分布图输入至预设的分析模型中,通过分析模型对特征空间位置分布图进行分析,确定样本组中位置分布异常的样本图像,将位置分布异常的样本图像确定为异常样本图像。
本申请实施例中,将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图,然后按照特征空间位置分布图,将样本组中位置分布异常的样本图像,确定为异常样本图像。该方法中,通过样本组的特征空间位置分布图,能够直观的确定异常样本图像,从而使确定的异常样本图像更加准确。
S1420,根据异常样本图像,对样本组进行调整。
基于上述异常样本图像,可以对样本组进行调整,例如,将缺陷样本图像错分为过杀样本图像,该过杀样本图像为异常样本图像,则将该过杀样本图像调整为缺陷样本图像;异常样本图像为缺陷样本图像,则可以将该缺陷样本图像调整为过杀样本图像或参考样本图像。
需要说明的是,每次通过样本组对初始过滤网络模型进行迭代训练时,均需要对样本组进行异常样本图像筛选的操作,以便及时调整样本组,获得更为准确地过滤网络模型。
本申请实施例中,根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像,并根据异常样本图像,对样本组进行调整;异常样本图像表示样本类型划分错误的图像。该方法中,在通过样本组对初始过滤网络模型进行训练之前,对样本组进行异常样本图像的调整,提高了训练初始过滤网络模型时训练样本集的准确性,减少了由于异常样本图像错分类导致初始过滤网络模型的训练结果不收敛的问题,从而大大提高了过滤网络模型的训练速度和准确性。
需要说明的是,在过滤网络模型的应用阶段,过杀样本图像的过杀特征向量为采用过滤网络模型获取的所有过杀样本图像的特征向量的均值向量,缺陷样本图像的缺陷特征向量为采用过滤网络模型获取的所有缺陷样本图像的特征向量的均值向量。
在一个实施例中,在训练样本集中过杀样本图像和缺陷样本图像各30张,每张图像分辨率224*224前提下,训练一个模型迭代50次所需的时间在30分钟以内,设置单轮训练样本量大小为16的前提下,训练所需显存在3G以内。
在一个实施例中,如图17所示,本申请实施例还提供了一种缺陷过滤方法,该实施例包括以下步骤:
S1710,获取训练样本集;训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像;
其中,参考样本图像为过杀样本图像。
S1720,将训练样本集划分为多个样本组,每个样本组中包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像。
S1730,通过多个样本组对初始过滤网络模型进行迭代训练,直至初始过滤网络模型满足预设条件,得到过滤网络模型。
其中,如图18所示,初始过滤网络模型为三元组网络结构,通过分别通过三个CNN获取参考样本图像、过杀样本图像和缺陷样本图像的特征向量,并基于参考样本图像、过杀样本图像和缺陷样本图像的特征向量在损失层计算初始过滤网络模型的损失函数值,根据损失函数值更新初始过滤网络模型的参数;三个CNN的权重参数相同。
S1740,获取待判定缺陷电池的电池图像。
S1750,将待判定缺陷电池的电池图像输入至过滤网络模型的卷积神经网络中,得到待判定缺陷电池的电池图像的特征向量。
S1760,通过过滤网络模型的输出层输出电池图像的特征向量与过杀样本图像的过杀特征向量之间的过杀欧式距离,以及电池图像的特征向量与缺陷样本图像的缺陷特征向量之间的缺陷欧式距离。
S1770,在过杀欧式距离小于缺陷欧式距离的情况下,待判定缺陷电池的缺陷过滤结果为过杀电池。
S1780,在过杀欧式距离大于或等于缺陷欧式距离的情况下,待判定缺陷电池的缺陷过滤结果为缺陷电池。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的缺陷过滤方法的缺陷过滤装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个缺陷过滤装置实施例中的具体限定可以参见上文中对于缺陷过滤方法的限定,在此不再赘述。
在一个实施例中,如图19所示,提供了一种缺陷过滤装置1900,包括:图像获取模块1910和缺陷过滤模块1920,其中:
图像获取模块1910,用于响应于目标缺陷电池的缺陷过滤指令,获取目标缺陷电池的电池图像;
缺陷过滤模块1920,用于将电池图像输入至预设的过滤网络模型中,通过过滤网络模型分析电池图像,确定目标缺陷电池的缺陷过滤结果;缺陷过滤结果包括目标缺陷电池为过杀电池或者目标缺陷电池为缺陷电池。
在一个实施例中,过滤网络模型中包括过杀样本图像的过杀特征向量和缺陷样本图像的缺陷特征向量;缺陷过滤模块1920包括:
相似度获取单元,用于通过过滤网络模型获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度;
确定单元,用于根据过杀相似度和缺陷相似度,确定目标缺陷电池的缺陷过滤结果。
在一个实施例中,过滤网络模型包括向量提取网络和输出网络,相似度获取单元包括:
提取子单元,用于通过向量提取网络提取电池图像的特征向量;
相似度获取子单元,用于通过输出网络获取电池图像的特征向量与过杀特征向量之间的过杀相似度,以及电池图像的特征向量与缺陷特征向量之间的缺陷相似度。
在一个实施例中,相似度获取子单元包括:
第一确定子单元,用于获取电池图像的特征向量与过杀特征向量之间的第一欧式距离,并根据第一欧式距离确定过杀相似度;
第二确定子单元,用于获取电池图像的特征向量与缺陷特征向量之间的第二欧式距离,并根据第二欧式距离确定缺陷相似度。
在一个实施例中,确定单元,还用于在过杀相似度大于缺陷相似度的情况下,确定目标缺陷电池为过杀电池;以及在过杀相似度小于或等于缺陷相似度的情况下,确定目标缺陷电池为缺陷电池。
在一个实施例中,该装置1900还包括:
样本集获取模块,用于获取训练样本集;训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像;
训练模块,用于通过训练样本集对初始过滤网络模型进行迭代训练,直至初始过滤网络模型收敛,得到过滤网络模型。
在一个实施例中,样本集获取模块,还用于根据历史缺陷电池的采集图像,确定多个缺陷样本图像;以及根据历史过杀电池的采集图像,确定多个参考样本图像和多个过杀样本图像。
在一个实施例中,训练模块包括:
训练单元,用于通过训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值;
更新单元,用于根据每次训练的初始过滤网络模型的损失函数值更新初始过滤网络模型的参数,直至初始过滤网络模型达到预设条件,确定初始过滤网络模型收敛。
在一个实施例中,训练单元包括:
划分子单元,用于对于任一次训练,将训练样本集划分为多个样本组;每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像;
训练子单元,用于分别通过各样本组对初始过滤网络模型进行训练,获取各样本组训练的初始过滤网络模型的样本组损失函数值;
损失确定子单元,用于根据各样本组损失函数值,确定损失函数值。
在一个实施例中,初始过滤网络模型包括初始向量提取网络;训练子单元包括:
特征获取子单元,用于针对任一个样本组,将样本组输入至初始向量提取网络中,获得各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量;
样本组损失确定子单元,用于根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组训练的初始过滤网络模型的样本组损失函数值。
在一个实施例中,样本组损失确定子单元,还用于获取每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离;并基于每个参考样本图像分别与各过杀样本图像和各缺陷样本图像之间的欧式距离,确定样本组训练的初始过滤网络模型的样本组损失函数值。
在一个实施例中,该装置1900还包括:
异常样本确定模块,用于根据各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量,确定样本组中的异常样本图像;异常样本图像表示样本类型划分错误的图像;
调整模块,用于根据异常样本图像,对样本组进行调整。
在一个实施例中,异常样本确定模块包括:
映射单元,用于将各参考样本图像的特征向量、各过杀样本图像的特征向量和各缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图;
异常样本确定单元,用于按照特征空间位置分布图,将样本组中位置分布异常的样本图像,确定为异常样本图像。
在一个实施例中,初始过滤网络模型达到预设条件包括初始过滤网络模型的迭代训练次数达到预设次数,且初始过滤网络模型的输出结果准确率达到预设准确率阈值。
上述缺陷过滤装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
本申请实施例中处理器实现的各步骤,其实现原理和技术效果与上述缺陷过滤方法的原理类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本申请实施例中计算机程序被处理器执行时实现的各步骤,其实现原理和技术效果与上述缺陷过滤方法的原理类似,在此不再赘述。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本申请实施例中计算机程序被处理器执行时实现的各步骤,其实现原理和技术效果与上述缺陷过滤方法的原理类似,在此不再赘述。
需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种缺陷过滤方法,其特征在于,所述方法包括:
响应于目标缺陷电池的缺陷过滤指令,获取所述目标缺陷电池的电池图像;
将所述电池图像输入至预设的过滤网络模型中;所述过滤网络模型包括向量提取网络;所述过滤网络模型的训练样本集包括参考样本图像、过杀样本图像和缺陷样本图像,且所述参考样本图像为历史过杀电池的采集图像;所述过滤网络模型是基于初始向量提取网络提取的所述参考样本图像的特征向量、所述过杀样本图像的特征向量和所述缺陷样本图像的特征向量,获取所述参考样本图像分别与过杀样本图像和缺陷样本图像之间的欧式距离,再根据基于各欧式距离确定的损失函数值更新初始过滤网络模型的参数得到的;
通过所述向量提取网络提取所述电池图像的特征向量,并获取所述电池图像的特征向量与过杀样本图像的过杀特征向量之间的过杀相似度,以及所述电池图像的特征向量与缺陷样本图像的缺陷特征向量之间的缺陷相似度;
根据所述过杀相似度和所述缺陷相似度,确定所述目标缺陷电池的缺陷过滤结果;所述缺陷过滤结果包括所述目标缺陷电池为过杀电池或者所述目标缺陷电池为缺陷电池。
2.根据权利要求1所述的方法,其特征在于,所述过滤网络模型包括输出网络,所述获取所述电池图像的特征向量与过杀样本图像的过杀特征向量之间的过杀相似度,以及所述电池图像的特征向量与缺陷样本图像的缺陷特征向量之间的缺陷相似度,包括:
通过所述输出网络获取所述电池图像的特征向量与所述过杀特征向量之间的过杀相似度,以及所述电池图像的特征向量与所述缺陷特征向量之间的缺陷相似度。
3.根据权利要求2所述的方法,其特征在于,所述获取所述电池图像的特征向量与所述过杀特征向量之间的过杀相似度,以及所述电池图像的特征向量与所述缺陷特征向量之间的缺陷相似度,包括:
获取所述电池图像的特征向量与所述过杀特征向量之间的第一欧式距离,并根据所述第一欧式距离确定所述过杀相似度;
获取所述电池图像的特征向量与所述缺陷特征向量之间的第二欧式距离,并根据所述第二欧式距离确定所述缺陷相似度。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述过杀相似度和所述缺陷相似度,确定所述目标缺陷电池的缺陷过滤结果,包括:
在所述过杀相似度大于所述缺陷相似度的情况下,确定所述目标缺陷电池为过杀电池;
在所述过杀相似度小于或等于所述缺陷相似度的情况下,确定所述目标缺陷电池为缺陷电池。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述过滤网络模型的构建过程包括:
获取训练样本集;所述训练样本集包括多个参考样本图像、多个过杀样本图像和多个缺陷样本图像;
通过所述训练样本集对初始过滤网络模型进行迭代训练,直至所述初始过滤网络模型收敛,得到所述过滤网络模型。
6.根据权利要求5所述的方法,其特征在于,所述获取训练样本集,包括:
根据历史缺陷电池的采集图像,确定所述多个缺陷样本图像;
根据历史过杀电池的采集图像,确定所述多个参考样本图像和所述多个过杀样本图像。
7.根据权利要求5所述的方法,其特征在于,所述通过所述训练样本集对初始过滤网络模型进行迭代训练,直至所述初始过滤网络模型收敛,包括:
通过所述训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值;
根据所述每次训练的初始过滤网络模型的损失函数值更新所述初始过滤网络模型的参数,直至所述初始过滤网络模型达到预设条件,确定所述初始过滤网络模型收敛。
8.根据权利要求7所述的方法,其特征在于,所述通过所述训练样本集对初始过滤网络模型进行迭代训练,获取每次训练的初始过滤网络模型的损失函数值,包括:
对于任一次训练,将所述训练样本集划分为多个样本组;每个样本组均包括至少一个参考样本图像、至少一个过杀样本图像和至少一个缺陷样本图像;
分别通过各所述样本组对所述初始过滤网络模型进行训练,获取各所述样本组训练的所述初始过滤网络模型的样本组损失函数值;
根据各所述样本组损失函数值,确定所述损失函数值。
9.根据权利要求8所述的方法,其特征在于,所述初始过滤网络模型包括初始向量提取网络;所述获取各所述样本组训练的所述初始过滤网络模型的样本组损失函数值,包括:
针对任一个样本组,将所述样本组输入至所述初始向量提取网络中,获得各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量;
根据各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量,确定所述样本组训练的所述初始过滤网络模型的样本组损失函数值。
10.根据权利要求9所述的方法,其特征在于,所述根据各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量,确定所述样本组训练的所述初始过滤网络模型的样本组损失函数值,包括:
获取每个参考样本图像分别与各所述过杀样本图像和各所述缺陷样本图像之间的欧式距离;
基于所述每个参考样本图像分别与各所述过杀样本图像和各所述缺陷样本图像之间的欧式距离,确定所述样本组训练的所述初始过滤网络模型的样本组损失函数值。
11.根据权利要求9所述的方法,其特征在于,在所述根据各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量,确定所述样本组训练的所述初始过滤网络模型的样本组损失函数值之前,所述方法还包括:
根据各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量,确定所述样本组中的异常样本图像;所述异常样本图像表示样本类型划分错误的图像;
根据所述异常样本图像,对所述样本组进行调整。
12.根据权利要求11所述的方法,其特征在于,所述根据各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量,确定所述样本组中的异常样本图像,包括:
将各所述参考样本图像的特征向量、各所述过杀样本图像的特征向量和各所述缺陷样本图像的特征向量均映射至特征空间中,得到特征空间位置分布图;
按照所述特征空间位置分布图,将所述样本组中位置分布异常的样本图像,确定为所述异常样本图像。
13.根据权利要求7所述的方法,其特征在于,所述初始过滤网络模型达到预设条件包括所述初始过滤网络模型的迭代训练次数达到预设次数,且所述初始过滤网络模型的输出结果准确率达到预设准确率阈值。
14.一种缺陷过滤装置,其特征在于,所述装置包括:
图像获取模块,用于响应于目标缺陷电池的缺陷过滤指令,获取所述目标缺陷电池的电池图像;
缺陷过滤模块,用于将所述电池图像输入至预设的过滤网络模型中;所述过滤网络模型包括向量提取网络;所述过滤网络模型的训练样本集包括参考样本图像、过杀样本图像和缺陷样本图像,且所述参考样本图像为历史过杀电池的采集图像;所述过滤网络模型是基于初始向量提取网络提取的所述参考样本图像的特征向量、所述过杀样本图像的特征向量和所述缺陷样本图像的特征向量,获取所述参考样本图像分别与过杀样本图像和缺陷样本图像之间的欧式距离,再根据基于各欧式距离确定的损失函数值更新初始过滤网络模型的参数得到的;通过所述向量提取网络提取所述电池图像的特征向量,并获取所述电池图像的特征向量与过杀样本图像的过杀特征向量之间的过杀相似度,以及所述电池图像的特征向量与缺陷样本图像的缺陷特征向量之间的缺陷相似度;根据所述过杀相似度和所述缺陷相似度,确定所述目标缺陷电池的缺陷过滤结果;所述缺陷过滤结果包括所述目标缺陷电池为过杀电池或者所述目标缺陷电池为缺陷电池。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310848733.XA CN116580025B (zh) | 2023-07-12 | 2023-07-12 | 缺陷过滤方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310848733.XA CN116580025B (zh) | 2023-07-12 | 2023-07-12 | 缺陷过滤方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116580025A CN116580025A (zh) | 2023-08-11 |
CN116580025B true CN116580025B (zh) | 2024-04-02 |
Family
ID=87534468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310848733.XA Active CN116580025B (zh) | 2023-07-12 | 2023-07-12 | 缺陷过滤方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116580025B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000057349A (ja) * | 1998-08-10 | 2000-02-25 | Hitachi Ltd | 欠陥の分類方法およびその装置並びに教示用データ作成方法 |
JP2004198436A (ja) * | 2004-02-09 | 2004-07-15 | Hitachi Ltd | 欠陥検査方法及びその装置 |
JP2008108815A (ja) * | 2006-10-24 | 2008-05-08 | Sharp Corp | 不良原因設備特定システム |
CN103065154A (zh) * | 2012-12-13 | 2013-04-24 | 华中科技大学 | 一种提高二分类支持向量机分类精度的方法 |
CN113570552A (zh) * | 2021-07-05 | 2021-10-29 | 深视创新(苏州)智能科技有限公司 | 基于决策树自动判别真实缺陷与过杀方法 |
CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
CN114897806A (zh) * | 2022-04-27 | 2022-08-12 | 浙江华睿科技股份有限公司 | 缺陷检测方法、电子设备及计算机可读存储介质 |
CN115170550A (zh) * | 2022-07-29 | 2022-10-11 | 江苏大学 | 一种基于深度学习的电池缺陷检测方法及系统 |
CN115587987A (zh) * | 2022-10-19 | 2023-01-10 | 中国长江三峡集团有限公司 | 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 |
CN116363125A (zh) * | 2023-05-30 | 2023-06-30 | 厦门微图软件科技有限公司 | 基于深度学习的电池模组外观缺陷检测方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6173423B2 (ja) * | 2012-03-19 | 2017-08-02 | ケーエルエー−テンカー コーポレイション | 自動検査半導体デバイスのレシピ生成のための方法、コンピュータシステムおよび装置 |
TWI692776B (zh) * | 2018-10-29 | 2020-05-01 | 財團法人工業技術研究院 | 基於神經網路的分類裝置及分類方法 |
JP7467373B2 (ja) * | 2021-03-11 | 2024-04-15 | 株式会社東芝 | 欠陥分類装置、方法およびプログラム |
-
2023
- 2023-07-12 CN CN202310848733.XA patent/CN116580025B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000057349A (ja) * | 1998-08-10 | 2000-02-25 | Hitachi Ltd | 欠陥の分類方法およびその装置並びに教示用データ作成方法 |
JP2004198436A (ja) * | 2004-02-09 | 2004-07-15 | Hitachi Ltd | 欠陥検査方法及びその装置 |
JP2008108815A (ja) * | 2006-10-24 | 2008-05-08 | Sharp Corp | 不良原因設備特定システム |
CN103065154A (zh) * | 2012-12-13 | 2013-04-24 | 华中科技大学 | 一种提高二分类支持向量机分类精度的方法 |
CN113570552A (zh) * | 2021-07-05 | 2021-10-29 | 深视创新(苏州)智能科技有限公司 | 基于决策树自动判别真实缺陷与过杀方法 |
CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
CN114897806A (zh) * | 2022-04-27 | 2022-08-12 | 浙江华睿科技股份有限公司 | 缺陷检测方法、电子设备及计算机可读存储介质 |
CN115170550A (zh) * | 2022-07-29 | 2022-10-11 | 江苏大学 | 一种基于深度学习的电池缺陷检测方法及系统 |
CN115587987A (zh) * | 2022-10-19 | 2023-01-10 | 中国长江三峡集团有限公司 | 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 |
CN116363125A (zh) * | 2023-05-30 | 2023-06-30 | 厦门微图软件科技有限公司 | 基于深度学习的电池模组外观缺陷检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116580025A (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108491817B (zh) | 一种事件检测模型训练方法、装置以及事件检测方法 | |
Capobianco et al. | Target detection with semisupervised kernel orthogonal subspace projection | |
WO2019223104A1 (zh) | 确定事件影响因素的方法、装置、终端设备及可读存储介质 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN109271957B (zh) | 人脸性别识别方法以及装置 | |
CN114974421B (zh) | 基于扩散-降噪的单细胞转录组测序数据补插方法及系统 | |
CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
CN112437053A (zh) | 入侵检测方法及装置 | |
CN116580025B (zh) | 缺陷过滤方法、装置、计算机设备和存储介质 | |
CN115620083B (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN116740586A (zh) | 冰雹识别方法、装置、电子设备及计算机可读存储介质 | |
CN117033039A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
CN108133234B (zh) | 基于稀疏子集选择算法的社区检测方法、装置及设备 | |
CN114495137B (zh) | 票据异常检测模型生成方法与票据异常检测方法 | |
CN116258923A (zh) | 图像识别模型训练方法、装置、计算机设备和存储介质 | |
CN115932661A (zh) | 一种对变压器噪声合规性进行分析判断的方法 | |
CN111428741B (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 | |
CN113506287A (zh) | 全视野病理切片图像分类方法、装置、设备及存储介质 | |
CN112528500A (zh) | 一种场景图构造模型的评估方法及评估设备 | |
CN115801845B (zh) | 基于边缘计算的工业互联网数据采集方法及相关设备 | |
CN114648527B (zh) | 尿路上皮细胞玻片图像分类方法、装置、设备和介质 | |
CN117197523A (zh) | 图像分类方法、装置、设备、存储介质和程序产品 | |
CN117240521A (zh) | 异常数据的检测方法、装置、计算机设备及存储介质 | |
CN115589313A (zh) | 一种网络入侵检测模型构建和网络入侵检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |