CN116542980B - 缺陷检测方法、装置、计算机设备、存储介质和程序产品 - Google Patents
缺陷检测方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116542980B CN116542980B CN202310823041.XA CN202310823041A CN116542980B CN 116542980 B CN116542980 B CN 116542980B CN 202310823041 A CN202310823041 A CN 202310823041A CN 116542980 B CN116542980 B CN 116542980B
- Authority
- CN
- China
- Prior art keywords
- defect
- model
- detection
- detection model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 846
- 238000001514 detection method Methods 0.000 title claims abstract description 533
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 100
- 230000011218 segmentation Effects 0.000 claims description 87
- 230000006870 function Effects 0.000 claims description 78
- 238000004590 computer program Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种缺陷检测方法、装置、计算机设备、存储介质和程序产品。根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型;缺陷检测模型根据电池的检测图像样本预先训练得到。本申请根据第一检测图像和缺陷检测模型获取缺陷预测结果,同时利用第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行训练,得到了更新后的新缺陷检测模型,不需要额外获取与第一检测图像同缺陷类型的外部数据集,以及不需要进行额外的离线重训练,降低了缺陷检测模型的训练周期,从而降低获取缺陷检测结果的周期,满足实际工业场景的需求。
Description
技术领域
本申请涉及电池技术领域,特别是涉及一种缺陷检测方法、装置、计算机设备、存储介质和程序产品。
背景技术
随着科技的进步发展,电池得到了广泛应用,由于电池的生产过程可能导致电池表面存在缺陷,从而影响电池的使用寿命和安全性,因此,有必要对电池表面进行缺陷检测。
目前,电池表面的缺陷检测过程是:首先获取电池的样本图像并对样本图像进行缺陷标注,然后用标注后的样本图像进行训练得到缺陷检测模型,利用缺陷检测模型对待检电池进行缺陷检测。然而,在缺陷检测模型应用过程中,若待检电池存在新缺陷类型,则需要将新缺陷类型的待检电池的图像加入到训练集中重新训练缺陷检测模型,利用重新训练的缺陷检测模型对待检电池进行缺陷检测。
然而,目前的缺陷检测方法需要经过很长的周期,难以满足实际场景的需求。
发明内容
基于此,有必要针对上述技术问题,提供一种能够减少缺陷检测时间,从而满足实际场景需求的缺陷检测方法、装置、计算机设备、存储介质和程序产品。
第一方面,本申请提供了一种缺陷检测方法,该方法包括:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
本申请实施例的技术方案中,根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型;其中,缺陷检测模型根据电池的检测图像样本预先训练得到。本申请根据第一检测图像和缺陷检测模型获取缺陷预测结果,同时利用第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行训练,得到了更新后的新缺陷检测模型,不需要额外获取与第一检测图像同缺陷类型的外部数据集,以及不需要基于检测图像样本和外部数据集进行额外的离线重训练,降低了缺陷检测模型的训练周期,从而降低获取缺陷检测结果的周期。而且,根据缺陷预测结果和缺陷伪标签训练缺陷检测模型,能够不断优化缺陷检测模型,从而使得得到的新缺陷检测模型能够得到更加准确的缺陷预测结果,从而使得新缺陷检测模型可以获得极高的检测精度和较好的迁移效果,使得在实际应用中也能满足较高精度,满足实际工业场景的需求。
在其中一个实施例中,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型,包括:
获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签;
在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
本申请实施例的技术方案中,通过获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签,在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。本实施例中首先获取第一检测图像中缺陷区域的缺陷类别置信度,对缺陷类别置信度进行判断,筛选出缺陷类别置信度较大的第一检测图像,从而根据缺陷类别置信度大于预设阈值的第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行自适应训练,使得缺陷检测模型的输入数据更加可靠,提高了缺陷检测模型的精度。
在其中一个实施例中,获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签,包括:
将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
本申请实施例的技术方案中,将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签,本申请实施例中通过过滤网络同时得到缺陷类别置信度和缺陷伪标签,简化了操作步骤,缩短了基于缺陷伪标签和缺陷预测结果对缺陷检测模型的训练周期,以满足实际场景的需求。
在其中一个实施例中,将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签,包括:
对第一检测图像进行数据增强处理得到第二检测图像;
根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
本申请实施例中,通过对第一检测图像进行数据增强处理得到第二检测图像,根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签,通过数据增强的方式对第一检测图像进行处理得到第二检测图像,使得基于第一检测图像和第二检测图像确定的第一检测图像的缺陷类别置信度和缺陷伪标签更加准确,更具有鲁棒性。
在其中一个实施例中,缺陷检测模型包括缺陷分割子模型和缺陷分类子模型,缺陷预测结果包括缺陷分割标签和缺陷类别标签;
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果,包括:
将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
本申请实施例的技术方案中,将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签,将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。缺陷分割子模型和缺陷分类子模型的设计使得缺陷检测模型能够同时考虑到缺陷类别分类和缺陷分割两个核心问题,缺陷检测模型能够在较少的数据集上获得很好的分割结果和分类结果,能够满足工业领域电池表面异常检测的需求。
在其中一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
本申请实施例的技术方案中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接,本实施例中利用池化层得到缺陷分割子模型输出的缺陷特征图像,既可以降低缺陷特征图像的参数量,也可以保留更多的图片细节。
在其中一个实施例中,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型,包括:
根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
本申请实施例的技术方案中,根据缺陷检测模型的训练次数,调整缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数中两个子损失函数的权重,以得到新损失函数,根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。本实施例中通过调整两个子损失函数的权重得到动态权重的新损失函数,根据新损失函数、缺陷伪标签和缺陷预测结果进行缺陷检测模型的自适应学习,不需要额外采集缺陷样本图像以及对缺陷样本图像进行标注,即可完成缺陷检测模型的训练,降低了缺陷检测模型的训练周期以及训练成本。
第二方面,本申请还提供了一种缺陷检测装置,装置包括:
确定模块,用于根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
训练模块,用于根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
第三方面,本申请还提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
第五方面,本申请还提供了一种计算机程序产品,计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在全部附图中,用相同的附图标号表示相同的部件。在附图中:
图1是本申请实施例提供的缺陷检测方法的应用环境图;
图2是本申请实施例提供的缺陷检测方法的流程示意图;
图3是本申请实施例提供的新缺陷检测模型的确定方法的流程示意图;
图4是本申请实施例提供的缺陷类别置信度和缺陷伪标签的确定方法的流程示意图;
图5是本申请实施例提供的第一检测图像的缺陷预测结果的确定方法的流程示意图;
图6是本申请另一实施例提供的新缺陷检测模型的确定方法的流程示意图;
图7是本申请实施例提供的缺陷检测模型的结构示意图;
图8是本申请实施例提供的缺陷检测装置的结构框图;
图9是本申请实施例提供的计算机设备的内部结构图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案,因此只作为示例,而不能以此来限制本申请的保护范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。
在本申请实施例的描述中,技术术语“第一”“第二”等仅用于区别不同对象,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本申请实施例的描述中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,示例性的A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请实施例的描述中,术语“多个”指的是两个以上(包括两个),同理,“多组”指的是两组以上(包括两组),“多片”指的是两片以上(包括两片)。
在本申请实施例的描述中,技术术语“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请实施例的限制。
在本申请实施例的描述中,除非另有明确的规定和限定,技术术语“安装”“相连”“连接”“固定”等术语应做广义理解,示例性的,可以是固定连接,也可以是可拆卸连接,或成一体;也可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请实施例中的具体含义。
随着科技的进步发展,电池得到了广泛应用,由于电池的生产过程可能导致电池表面存在缺陷,从而影响电池的使用寿命和安全性,因此,有必要对电池表面进行缺陷检测。
目前,电池表面的缺陷检测过程是:首先获取电池的样本图像并对样本图像进行缺陷标注,然后用标注后的样本图像进行训练得到缺陷检测模型,利用缺陷检测模型对待检电池进行缺陷检测。然而,在缺陷检测模型应用过程中,若待检电池存在新缺陷类型,则需要获取新缺陷类型的样本,将新缺陷类型的样本进行标注,并加入训练数据集对模型进行重训练。但是新缺陷类型的样本数量少,标注成本高,而且对模型进行重训练需要经过很长的周期,导致获取缺陷检测结果需要经过很长的周期,难以满足实际场景的需求。
为了解决上述问题,本申请提供了一种缺陷检测方法、装置、计算机设备、存储介质和程序产品,根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型,其中,缺陷检测模型根据电池的检测图像样本预先训练得到。本申请根据第一检测图像和缺陷检测模型获取缺陷预测结果,同时利用第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行训练,得到了更新后的新缺陷检测模型,不需要额外获取与第一检测图像同缺陷类型的外部数据集,以及不需要基于检测图像样本和外部数据集进行额外的离线重训练,降低了缺陷检测模型的训练周期,从而降低获取缺陷检测结果的周期。而且,根据缺陷预测结果和缺陷伪标签训练缺陷检测模型,能够不断优化缺陷检测模型,从而使得得到的新缺陷检测模型能够得到更加准确的缺陷预测结果,从而使得新缺陷检测模型可以获得极高的检测精度和较好的迁移效果,使得在实际应用中也能满足较高精度,满足实际工业场景的需求。
本申请实施例提供的缺陷检测方法,可以应用于如图1所示的应用环境中。其中,该应用环境中包括一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示,图1是本申请实施例提供的缺陷检测方法的应用环境图。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷检测相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现一种缺陷检测方法。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为了对本申请实施例进行更清楚的介绍,在此结合图2进行说明。在一个实施例中,如图2所示,图2是本申请实施例提供的缺陷检测方法的流程示意图,以该方法应用于图1中的计算机设备为例进行说明,可以包括以下步骤:
S201,根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到。
在本申请实施例中,利用电池的检测图像样本对初始缺陷检测模型进行初始化,得到初始化后的缺陷检测模型,将待测电池的第一检测图像输入至缺陷检测模型得到第一检测图像的缺陷预测结果。
可选的,缺陷检测模型可以包括卷积神经网络、深度置信网络等,也可以包括主成分分析、支持向量机算法等。示例性的,缺陷检测模型可以是更适用于工业场景的轻量级的卷积神经网络。
可选的,缺陷预测结果可以包括缺陷分类标签,或者缺陷预测结果包括缺陷分割标签,或者缺陷预测结果包括缺陷分类标签和缺陷分割标签。
S202,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
可选的,缺陷伪标签可以包括缺陷分类伪标签,或者缺陷伪标签包括缺陷分割伪标签,或者缺陷伪标签包括缺陷分类伪标签和缺陷分割伪标签。
由于在实际工业场景中,在工艺设备部署以后,第一检测图像的环境条件与检测图像样本的环境条件不同、以及第一检测图像的图像缺陷信息与检测图像样本的图像缺陷信息不同,若采用传统的基于检测图像样本训练得到的缺陷检测模型,对第一检测图像进行识别,确定电池表面的缺陷预测结果,导致缺陷检测模型对检测图像样本分布内的样本精度很高,却难以对第一检测图像分布外的样本进行很好的归纳,即针对分布外的样本得到的缺陷检测结果的精度较低。其中,环境条件包括光照条件、天气条件等,图像缺陷信息包括纹理信息等。
而本申请实施例中,将第一检测图像的缺陷伪标签和缺陷预测结果输入至缺陷检测模型中,利用缺陷伪标签和缺陷预测结果的差异对缺陷检测模型的参数进行更新,得到新缺陷检测模型。示例性的,缺陷伪标签为缺陷分类伪标签,缺陷预测结果为缺陷分类标签,将缺陷分类伪标签作为金标准,利用缺陷检测模型每次迭代输出的缺陷分类标签与缺陷分类伪标签进行比较,不断更新缺陷检测模型的参数,得到新缺陷检测模型。
本实施例中不断获取缺陷预测结果,根据缺陷预测结果和缺陷伪标签训练缺陷检测模型。例如,缺陷伪标签b,根据第一检测图像和缺陷检测模型c1,得到缺陷预测结果a1,根据缺陷伪标签b和缺陷预测结果a1对缺陷检测模型c1进行训练,得到缺陷检测模型c2;根据第一检测图像和缺陷检测模型c2,得到缺陷预测结果a2,根据缺陷伪标签b和缺陷预测结果a2对缺陷检测模型c2进行训练,得到缺陷检测模型c3,......,通过不断的迭代训练,得到新缺陷检测模型。
需要说明的是,本申请中不需要对缺陷检测模型进行离线训练,得到新缺陷检测模型。即不需要额外获取与第一检测图像同缺陷类型的外部数据集(新缺陷图像样本),以及不需要基于原有的检测图像样本和新缺陷图像样本进行额外的离线重训练,得到离线训练好的新缺陷检测模型,再获取实际应用场景中的第一检测图像,根据新缺陷检测模型确定第一检测图像的缺陷预测结果。而是在实际应用场景中利用第一检测图像对缺陷检测模型进行在线训练,利用第一检测图像优化缺陷检测模型的同时,得到第一检测图像的缺陷预测结果,可以降低缺陷检测模型的训练周期,同时得到更为准确的缺陷预测结果。
本申请实施例的技术方案中,根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果,根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型;其中,缺陷检测模型根据电池的检测图像样本预先训练得到。本申请根据第一检测图像和缺陷检测模型获取缺陷预测结果,同时利用第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行训练,得到了更新后的新缺陷检测模型,不需要额外获取与第一检测图像同缺陷类型的外部数据集,以及不需要基于检测图像样本和外部数据集进行额外的离线重训练,降低了缺陷检测模型的训练周期,从而降低获取缺陷检测结果的周期。而且,根据缺陷预测结果和缺陷伪标签训练缺陷检测模型,能够不断优化缺陷检测模型,从而使得得到的新缺陷检测模型能够得到更加准确的缺陷预测结果,从而使得新缺陷检测模型可以获得极高的检测精度和较好的迁移效果,使得在实际应用中也能满足较高精度,满足实际工业场景的需求。
图3是本申请实施例提供的新缺陷检测模型的确定方法的流程示意图,如图3所示,本申请实施例涉及的是如何根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型的一种可能的实现方式,上述的S202可以包括以下步骤:
S301,获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签。
在本申请实施例中,可以采用卡方检验和t检验等算法获取第一检测图像中缺陷区域的缺陷类别置信度;也可以采用神经网络模型获取第一检测图像中缺陷区域的缺陷类别置信度。
可以采用神经网络模型获取第一检测图像中缺陷区域的缺陷伪标签,将第一检测图像输入神经网络模型中,利用神经网络模型对缺陷进行识别,得到缺陷区域的缺陷伪标签。
S302,在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
可选的,预设阈值包括0.8、0.7、0.9等。
在本申请实施例中,在缺陷类别置信度大于预设阈值的情况下,将缺陷伪标签和缺陷预测结果输入至缺陷检测模型中,利用缺陷伪标签和缺陷预测结果的差异对缺陷检测模型的参数进行更新,得到新缺陷检测模型。
本申请实施例的技术方案中,通过获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签,在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。本实施例中首先获取第一检测图像中缺陷区域的缺陷类别置信度,对缺陷类别置信度进行判断,筛选出缺陷类别置信度较大的第一检测图像,从而根据缺陷类别置信度大于预设阈值的第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行自适应训练,使得缺陷检测模型的输入数据更加可靠,从而提高了缺陷检测模型的精度。
在一个实施例中,S301、获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签,可以通过如下方式实现:将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在本申请实施例中,过滤网络可以包括缺陷识别子网络和缺陷类别置信度判断子网络,将第一检测图像输入至缺陷识别子网络中对第一检测图像的缺陷进行识别,得到第一检测图像的缺陷区域的检测框,得到分割结果。进一步对缺陷区域的检测框进行分类,得到分类结果,将该分割结果和分类结果作为缺陷伪标签。
可以利用缺陷类别置信度判断子网络确定缺陷区域的检测框的置信度,得到缺陷类别置信度。也可以根据检测框中各像素点的置信度,确定缺陷区域的检测框的缺陷类别置信度,示例性的,可以将各像素点的置信度的平均值作为缺陷类别置信度。
可选的,过滤网络可以和缺陷检测模型一样,也可以是不同的。
本申请实施例的技术方案中,将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签,本申请实施例中通过过滤网络同时得到缺陷类别置信度和缺陷伪标签,简化了操作步骤,缩短了基于缺陷伪标签和缺陷预测结果对缺陷检测模型的训练周期,以满足实际场景的需求。
图4是本申请实施例提供的缺陷类别置信度和缺陷伪标签的确定方法的流程示意图,如图4所示,本申请实施例涉及的是如何将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签的一种可能的实现方式,可以包括以下步骤:
S401,对第一检测图像进行数据增强处理得到第二检测图像。
在本申请实施例中,可以利用数据增强处理得到第二检测图像,示例性的,可以对第一检测图像进行裁剪、旋转、平移、翻转、变形、缩放等各类操作,得到第二检测图像。可选的,第二检测图像的数量可以为多个。
S402,根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在本申请实施例中,将第一检测图像和第二检测图像输入至过滤网络中,分别对第一检测图像和第二检测图像进行缺陷识别,得到第一检测图像对应的第一缺陷类别置信度和缺陷伪标签,以及第二检测图像对应的第二缺陷类别置信度。
可以直接将第一缺陷类别置信度和第二缺陷类别置信度的均值作为第一检测图像的缺陷类别置信度,也可以对第一缺陷类别置信度和第二缺陷类别置信度进行加权平均得到第一检测图像的缺陷类别置信度。
本申请实施例中,通过对第一检测图像进行数据增强处理得到第二检测图像,根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签,通过数据增强的方式对第一检测图像进行处理得到第二检测图像,使得基于第一检测图像和第二检测图像确定的第一检测图像的缺陷类别置信度和缺陷伪标签更加准确,更具有鲁棒性。
图5是本申请实施例提供的第一检测图像的缺陷预测结果的确定方法的流程示意图,如图5所示,本申请实施例涉及的是如何根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果的一种可能的实现方式,上述的S202可以包括以下步骤:
S501,将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签。
在本申请实施例中,将第一检测图像输入至缺陷分割子模型中进行特征分割得到缺陷特征图像和缺陷分割标签。示例性的,将第一检测图像输入至缺陷分割子模型中,利用分割子模型对第一检测图像进行特征分割,得到缺陷特征图像,对缺陷特征图像进行标注,得到缺陷分割标签。
S502,将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
在本申请实施例中,将缺陷特征图像输入至缺陷分类子模型,利用缺陷分类子模型对缺陷特征图像进行缺陷识别,得到缺陷类别标签。示例性的,将缺陷特征图像输入至缺陷分类子模型中,利用缺陷分类子模型进一步对缺陷特征图像进行特征提取,得到特征图,对特征图的缺陷类别进行识别,得到缺陷类别标签。
可选的,缺陷分割子模型和缺陷分类子模型可以是卷积神经网络,深度置信网络等,也可以是主成分分析、决策树、随机森林等算法。示例性的,缺陷分割子模型和缺陷分类子模型可以是一个包括卷积层、分类层共14层的缺陷检测模型。
本申请实施例的技术方案中,将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签,将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。缺陷分割子模型和缺陷分类子模型的设计使得缺陷检测模型能够同时考虑到缺陷类别分类和缺陷分割两个核心问题,缺陷检测模型能够在较少的数据集上获得较好的分割结果和分类结果,能够满足工业领域电池表面缺陷检测的需求。
在一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
在本申请实施例中,可以在缺陷分割子模型的最后一层卷积层后面添加池化层,卷积层提取特征,得到缺陷特征图像之后,利用池化层对缺陷特征图像进行缩小,减少缺陷特征图像的参数量,将缩小后的缺陷特征图输入至缺陷分类子模型。传统技术中,通常采用多个卷积层得到缺陷特征图像,其中,卷积层的步长通常等于2。而本申请中,在多个卷积层后添加池化层,多个卷积层的步长等于1,并利用池化层得到缺陷特征图像,示例性的,池化层可以包括池化算子为2*2的最大池化层。
本申请实施例的技术方案中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接,本实施例中利用池化层得到缺陷分割子模型输出的缺陷特征图像,既可以降低缺陷特征图像的参数量,也可以保留更多的图片细节。
图6是本申请另一实施例提供的新缺陷检测模型的确定方法的流程示意图,如图6所示,本申请实施例涉及的是如何根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型的一种可能的实现方式,上述的S202可以包括以下步骤:
S601,根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数。
在本申请实施例中,假设,缺陷分割子模型的子损失函数的权重为a,缺陷分类子模型的子损失函数的权重为b。在缺陷检测模型的训练阶段,开始训练阶段对缺陷分类子模型的精度要求更高,后期训练阶段对缺陷分割子模型的精度要求更高,可以随着缺陷检测模型的训练次数的增加,逐渐减小权重b的大小,增大权重a的大小,动态调整两个子损失函数的权重,以得到新损失函数。
S602,根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
在本申请实施例中,缺陷伪标签包括缺陷分割伪标签和缺陷类别伪标签,缺陷预测结果包括缺陷分割标签和缺陷类别标签,将缺陷分割伪标签、缺陷分割标签、缺陷类别伪标签、缺陷类别标签代入新损失函数中,对最小化缺陷分割伪标签、缺陷分割标签的差异以及缺陷类别伪标签、缺陷类别标签的差异,使得新损失函数的损失值最小化或小于预设损失值,对缺陷检测模型的参数进行更新,完成对缺陷检测模型的训练,得到新缺陷检测模型。
本申请实施例的技术方案中,根据缺陷检测模型的训练次数,调整缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数中两个子损失函数的权重,以得到新损失函数,根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。本实施例中通过调整两个子损失函数的权重得到动态权重的新损失函数,根据新损失函数、缺陷伪标签和缺陷预测结果进行缺陷检测模型的自适应学习,不需要额外采集缺陷样本图像以及对缺陷样本图像进行标注,即可完成缺陷检测模型的训练,降低了缺陷检测模型的训练周期以及训练成本。
图7是本申请实施例提供的缺陷检测模型的结构示意图,如图7所示,将电池的检测图像样本输入至初始缺陷检测模型中,对初始缺陷检测模型进行初始化,得到初始化后的缺陷检测模型,对于实际应用过程中,对于待测电池的第一检测图像,将第一检测图像进行数据增强,得到第二检测图像,将第一检测图像和第二检测图像同时输入至过滤网络,利用过滤网络得到第一检测图像中缺陷区域的缺陷类别置信度以及缺陷伪标签,在缺陷类别置信度大于预设阈值的情况下,将第一检测图像输入至缺陷检测模型,得到缺陷检测结果,同时根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。在缺陷类别置信度不大于预设阈值的情况下,将第一检测图像输入至缺陷检测模型,得到缺陷检测结果。
本申请实施例的技术方案中,根据第一检测图像和缺陷检测模型获取缺陷预测结果,同时利用第一检测图像的缺陷伪标签和缺陷预测结果对缺陷检测模型进行训练,得到了更新后的新缺陷检测模型,不需要额外获取与第一检测图像同缺陷类型的外部数据集,以及不需要基于检测图像样本和外部数据集进行额外的离线重训练,降低了缺陷检测模型的训练周期,从而降低获取缺陷检测结果的周期。而且,根据缺陷预测结果和缺陷伪标签训练缺陷检测模型,能够不断优化缺陷检测模型,从而使得得到的新缺陷检测模型能够得到更加准确的缺陷预测结果,从而使得新缺陷检测模型可以获得极高的检测精度和较好的迁移效果,使得在实际应用中也能满足较高精度,满足实际工业场景的需求。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的缺陷检测方法的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个缺陷检测装置实施例中的具体限定可以参见上文中对于缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种缺陷检测装置,包括:确定模块11和训练模块12,其中:
确定模块11,用于根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
训练模块12,用于根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,训练模块包括:
获取单元,用于获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签;
第一训练单元,用于在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,获取单元还用于将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,获取单元还用于对第一检测图像进行数据增强处理得到第二检测图像;根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,确定模块包括:
第一确定单元,用于将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
第二确定单元,用于将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
在一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
在一个实施例中,训练模块还包括:
调整单元,用于根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
第二训练单元,用于根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
上述缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种缺陷检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签;
在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对第一检测图像进行数据增强处理得到第二检测图像;
根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
在一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签;
在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对第一检测图像进行数据增强处理得到第二检测图像;
根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
在一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
根据待测电池的第一检测图像和缺陷检测模型,确定第一检测图像的缺陷预测结果;缺陷检测模型根据电池的检测图像样本预先训练得到;
根据第一检测图像的缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取第一检测图像中缺陷区域的缺陷类别置信度和缺陷伪标签;
在缺陷类别置信度大于预设阈值的情况下,根据缺陷伪标签和缺陷预测结果,训练缺陷检测模型得到新缺陷检测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一检测图像输入至预设的过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对第一检测图像进行数据增强处理得到第二检测图像;
根据第一检测图像和第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一检测图像输入至缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
将缺陷特征图像输入至缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
在一个实施例中,缺陷分割子模型包括池化层;池化层与缺陷分类子模型连接。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据缺陷检测模型的训练次数,调整缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;两个子损失函数包括缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
根据缺陷伪标签、缺陷预测结果和新损失函数,训练缺陷检测模型得到新缺陷检测模型。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种缺陷检测方法,其特征在于,所述方法包括:
根据待测电池的第一检测图像和第一缺陷检测模型,确定所述第一检测图像的缺陷预测结果;所述第一缺陷检测模型包括初始缺陷检测模型或上一次训练得到的新缺陷检测模型,所述初始缺陷检测模型根据电池的检测图像样本预先训练得到;
对所述第一检测图像进行数据增强处理得到第二检测图像,根据所述第一检测图像和所述第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签;
在所述缺陷类别置信度大于预设阈值的情况下,根据所述缺陷伪标签和所述缺陷预测结果,训练所述第一缺陷检测模型得到当前次的新缺陷检测模型。
2.根据权利要求1所述的方法,其特征在于,所述第一缺陷检测模型包括缺陷分割子模型和缺陷分类子模型,所述缺陷预测结果包括缺陷分割标签和缺陷类别标签;
所述根据待测电池的第一检测图像和第一缺陷检测模型,确定所述第一检测图像的缺陷预测结果,包括:
将所述第一检测图像输入至所述缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
将所述缺陷特征图像输入至所述缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
3.根据权利要求2所述的方法,其特征在于,所述缺陷分割子模型包括池化层;所述池化层与所述缺陷分类子模型连接。
4.根据权利要求2所述的方法,其特征在于,所述根据所述缺陷伪标签和所述缺陷预测结果,训练所述第一缺陷检测模型得到当前次的新缺陷检测模型,包括:
根据所述第一缺陷检测模型的训练次数,调整所述第一缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;所述两个子损失函数包括所述缺陷分割子模型的子损失函数和缺陷分类子模型的子损失函数;
根据所述缺陷伪标签、所述缺陷预测结果和所述新损失函数,训练所述第一缺陷检测模型得到所述当前次的新缺陷检测模型。
5.一种缺陷检测装置,其特征在于,所述装置包括:
确定模块,用于根据待测电池的第一检测图像和第一缺陷检测模型,确定所述第一检测图像的缺陷预测结果;所述第一缺陷检测模型包括初始缺陷检测模型或上一次训练得到的新缺陷检测模型,所述初始缺陷检测模型根据电池的检测图像样本预先训练得到;
训练模块,用于对所述第一检测图像进行数据增强处理得到第二检测图像,根据所述第一检测图像和所述第二检测图像输入至过滤网络中进行缺陷识别,得到缺陷类别置信度和缺陷伪标签;在所述缺陷类别置信度大于预设阈值的情况下,根据所述缺陷伪标签和所述缺陷预测结果,训练所述第一缺陷检测模型得到当前次的新缺陷检测模型。
6.根据权利要求5所述的装置,其特征在于,所述第一缺陷检测模型包括缺陷分割子模型和缺陷分类子模型,所述缺陷预测结果包括缺陷分割标签和缺陷类别标签;所述确定模块包括:
第一确定单元,用于将所述第一检测图像输入至所述缺陷分割子模型中进行特征分割,得到缺陷特征图像和缺陷分割标签;
第二确定单元,用于将所述缺陷特征图像输入至所述缺陷分类子模型中进行缺陷类别识别,得到缺陷类别标签。
7.根据权利要求6所述的装置,其特征在于,所述训练模块还包括:
调整单元,用于根据所述第一缺陷检测模型的训练次数,调整所述第一缺陷检测模型的损失函数中两个子损失函数的权重,以得到新损失函数;所述两个子损失函数包括所述缺陷分割子模型的子损失函数和所述缺陷分类子模型的子损失函数;
第二训练单元,用于根据所述缺陷伪标签、所述缺陷预测结果和所述新损失函数,训练所述第一缺陷检测模型得到所述当前次的新缺陷检测模型。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310823041.XA CN116542980B (zh) | 2023-07-06 | 2023-07-06 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310823041.XA CN116542980B (zh) | 2023-07-06 | 2023-07-06 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116542980A CN116542980A (zh) | 2023-08-04 |
CN116542980B true CN116542980B (zh) | 2023-11-03 |
Family
ID=87443993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310823041.XA Active CN116542980B (zh) | 2023-07-06 | 2023-07-06 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116542980B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118469919A (zh) * | 2024-01-17 | 2024-08-09 | 杭州广立微电子股份有限公司 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109239075A (zh) * | 2018-08-27 | 2019-01-18 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
CN110728681A (zh) * | 2019-12-19 | 2020-01-24 | 武汉精立电子技术有限公司 | 一种Mura缺陷检测方法及装置 |
CN110969620A (zh) * | 2019-12-19 | 2020-04-07 | 中国农业大学 | 一种磁瓦波纹类缺陷的检测方法及装置 |
CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
CN113205176A (zh) * | 2021-04-19 | 2021-08-03 | 重庆创通联达智能技术有限公司 | 训练缺陷分级检测模型的方法、装置、设备及存储介质 |
CN113516652A (zh) * | 2021-07-30 | 2021-10-19 | 深圳康微视觉技术有限公司 | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 |
CN114022420A (zh) * | 2021-10-21 | 2022-02-08 | 河北工业大学 | 一种自动识别光伏电池el组件缺陷的检测方法 |
CN114240882A (zh) * | 2021-12-16 | 2022-03-25 | 深圳市商汤科技有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
CN114299034A (zh) * | 2021-12-30 | 2022-04-08 | 杭州海康威视数字技术股份有限公司 | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 |
CN114781605A (zh) * | 2022-04-15 | 2022-07-22 | 广东工业大学 | 缺陷检测模型训练方法、装置、电子设备及存储介质 |
CN115082667A (zh) * | 2021-03-16 | 2022-09-20 | 腾讯云计算(北京)有限责任公司 | 图像处理方法、装置、设备及存储介质 |
CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
CN115494078A (zh) * | 2022-08-29 | 2022-12-20 | 广州超音速自动化科技股份有限公司 | 一种方形铝壳电池包蓝膜后的外观检测方法 |
CN116188432A (zh) * | 2023-02-17 | 2023-05-30 | 杭州长川科技股份有限公司 | 缺陷检测模型的训练方法、装置及电子设备 |
CN116363064A (zh) * | 2023-02-22 | 2023-06-30 | 元始智能科技(南通)有限公司 | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230053716A1 (en) * | 2021-08-09 | 2023-02-23 | Naver Corporation | System and method of semi-supervised learning with few labeled images per class |
-
2023
- 2023-07-06 CN CN202310823041.XA patent/CN116542980B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109239075A (zh) * | 2018-08-27 | 2019-01-18 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
CN110728681A (zh) * | 2019-12-19 | 2020-01-24 | 武汉精立电子技术有限公司 | 一种Mura缺陷检测方法及装置 |
CN110969620A (zh) * | 2019-12-19 | 2020-04-07 | 中国农业大学 | 一种磁瓦波纹类缺陷的检测方法及装置 |
CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
CN115082667A (zh) * | 2021-03-16 | 2022-09-20 | 腾讯云计算(北京)有限责任公司 | 图像处理方法、装置、设备及存储介质 |
CN113205176A (zh) * | 2021-04-19 | 2021-08-03 | 重庆创通联达智能技术有限公司 | 训练缺陷分级检测模型的方法、装置、设备及存储介质 |
CN113516652A (zh) * | 2021-07-30 | 2021-10-19 | 深圳康微视觉技术有限公司 | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 |
CN114022420A (zh) * | 2021-10-21 | 2022-02-08 | 河北工业大学 | 一种自动识别光伏电池el组件缺陷的检测方法 |
CN114240882A (zh) * | 2021-12-16 | 2022-03-25 | 深圳市商汤科技有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
CN114299034A (zh) * | 2021-12-30 | 2022-04-08 | 杭州海康威视数字技术股份有限公司 | 一种缺陷检测模型的训练方法、缺陷检测方法及装置 |
CN114781605A (zh) * | 2022-04-15 | 2022-07-22 | 广东工业大学 | 缺陷检测模型训练方法、装置、电子设备及存储介质 |
CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
CN115494078A (zh) * | 2022-08-29 | 2022-12-20 | 广州超音速自动化科技股份有限公司 | 一种方形铝壳电池包蓝膜后的外观检测方法 |
CN116188432A (zh) * | 2023-02-17 | 2023-05-30 | 杭州长川科技股份有限公司 | 缺陷检测模型的训练方法、装置及电子设备 |
CN116363064A (zh) * | 2023-02-22 | 2023-06-30 | 元始智能科技(南通)有限公司 | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于迁移学习的坝面表观缺陷智能检测方法研究;陈波;张华;王姮;汪双;李永龙;冯春成;;水利水电技术(第04期) * |
Also Published As
Publication number | Publication date |
---|---|
CN116542980A (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112950547B (zh) | 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法 | |
CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
CN111368636B (zh) | 目标分类方法、装置、计算机设备和存储介质 | |
CN110245714B (zh) | 图像识别方法、装置及电子设备 | |
CN116542980B (zh) | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 | |
CN117670820B (zh) | 一种塑料薄膜生产缺陷检测方法及系统 | |
CN111292377B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN109409288B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115017418A (zh) | 基于强化学习的遥感影像推荐系统及方法 | |
CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
CN114898357B (zh) | 缺陷识别方法、装置、电子设备及计算机可读存储介质 | |
CN111898693A (zh) | 能见度分类模型的训练方法、能见度估计方法、装置 | |
CN116012841A (zh) | 一种基于深度学习的开集图像场景匹配方法及装置 | |
CN110647897B (zh) | 一种基于多部分注意力机制的零样本图像分类识别方法 | |
CN118071719A (zh) | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 | |
CN116630630B (zh) | 语义分割方法、装置、计算机设备及计算机可读存储介质 | |
CN116977336A (zh) | 摄像头缺陷检测方法、装置、计算机设备及存储介质 | |
CN117495786A (zh) | 缺陷检测元模型构建方法、缺陷检测方法、设备及介质 | |
CN117036855A (zh) | 目标检测模型训练方法、装置、计算机设备和存储介质 | |
CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 | |
CN116342628A (zh) | 病理图像分割方法、装置和计算机设备 | |
CN116188361A (zh) | 一种基于深度学习的铝型材表面缺陷分类方法及装置 | |
CN115861284A (zh) | 印刷制品线状缺陷检测方法、装置、电子设备和存储介质 | |
CN116188391A (zh) | 断栅缺陷检测方法、装置、电子设备和存储介质 | |
CN115471755A (zh) | 基于分割的图像目标快速检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |