CN113570007A - 零件缺陷识别模型构建优化方法、装置、设备及存储介质 - Google Patents
零件缺陷识别模型构建优化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113570007A CN113570007A CN202111132195.1A CN202111132195A CN113570007A CN 113570007 A CN113570007 A CN 113570007A CN 202111132195 A CN202111132195 A CN 202111132195A CN 113570007 A CN113570007 A CN 113570007A
- Authority
- CN
- China
- Prior art keywords
- model
- trained
- loss
- training sample
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 282
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000010276 construction Methods 0.000 title claims description 15
- 238000012549 training Methods 0.000 claims abstract description 239
- 238000002372 labelling Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 230000000379 polymerizing effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000009776 industrial production Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012827 research and development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种零件缺陷识别模型构建优化方法、装置、设备及存储介质，所述方法包括以下步骤：提取已标注训练样本集和未标注训练样本集；基于所述已标注训练样本集构建的待训练损失预测模型，预测所述待训练损失预测模型对应的待训练零件缺陷识别模型在所述未标注训练样本集上的模型损失，得到模型损失预测结果；根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集；通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。通过本发明可以提升模型训练过程中的效率。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种零件缺陷识别模型构建优化方法、装置、设备及存储介质。
背景技术
针对于汽车汽车零件缺陷检测任务，目前工业生产过程中均是以人工审核的方式进行缺陷的检测和定位。现有技术方案均需要大量人工标注的训练数据，工业界线上部署的模型也通常需要持续不断的新标数据来改进效果。另一方面，模型在数据侧的收益有边际收益递减的现象，越来越多数据并不总是能带来持续线性的性能提升。目前，在成熟的汽车汽车零件生产线中，想要获取大量而且带有不同种类缺陷的次品是比较困难的，对于需要海量的数据来训练模型的方法是不适用的。
基于主动学习的方法目前所达到的缺陷检测精度还不能达到具体工业应用的级别，其中如何在未标注训练样本集中选择样本进行标注是关键的因素。现有的主动学习方式对于如何更好的挑选那些具有代表性的未标注训练样本仍是一个挑战。由于难以选取具有代表性的负样本，因此模型训练的效率较低。
发明内容
本发明提供了一种零件缺陷识别模型构建优化方法、装置、设备及存储介质，旨在解决模型训练过程中效率较低的技术问题。
为实现上述目的，本发明提供了一种零件缺陷识别模型构建优化方法，该方法包括以下步骤：
提取已标注训练样本集和未标注训练样本集；
基于所述已标注训练样本集构建的待训练损失预测模型，预测所述待训练损失预测模型对应的待训练零件缺陷识别模型在所述未标注训练样本集上的模型损失，得到模型损失预测结果；
根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集；
通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。
可选地，所述根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集的步骤包括：
根据各所述模型预测损失的大小，在所述未标注训练样本集中选取各待标注训练样本；
对各所述待标注训练样本进行标签标注，得到各标签标注训练样本；
将各所述标签标注训练样本加入所述已标注训练样本集，以扩增所述已标注训练样本集。
可选地，将待训练零件缺陷识别模型中各隐含层的输出分别转换为损失预测中间特征；
将各所述损失预测中间特征进行聚合得到聚合特征；
对所述聚合特征进行全连接，得到所述模型损失预测结果。
可选地，获取待检测的未标注初始训练样本集；
从所述未标注初始训练样本集中随机提取未标注初始训练样本进行标注，将所述未标注初始训练样本集分为已标注训练样本集和未标注训练样本集；
基于所述已标注样本集，构建待训练损失预测模型和待训练零件缺陷识别模型。
可选地，计算所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的零件缺陷识别损失；
依据所述零件缺陷识别损失，计算所述待训练损失预测模型在所述扩增后的已标注训练样本集上的零件缺陷识别预测损失；
依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到所述零件缺陷识别模型。
可选地，基于所述待训练损失预测模型，预测所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的模型损失，得到零件缺陷识别预测损失。
可选地，依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，计算模型总损失；
若所述模型总损失收敛，则将所述待训练零件缺陷识别模型作为所述零件缺陷识别模型；
若所述模型总损失未收敛，则依据所述模型总损失计算的模型梯度，更新所述待训练零件缺陷识别模型，并返回执行步骤：提取已标注训练样本集和未标注训练样本集。
为实现上述目的，本申请还提出一种装置，装置包括提取模块、模型损失预测模块、样本更新模块以及迭代优化模块。
为实现上述目的，本申请还提出一种设备，设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述零件缺陷识别模型构建优化方法。
为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述零件缺陷识别模型构建优化方法。
本发明技术方案中，提取已标注训练样本和未标注训练样本，并基于所述已标注训练样本构建的待训练损失预测模型，对所述未标注训练样本进行损失预测，得到模型损失预测结果；根据所述模型损失预测结果更新已标注训练样本和未标注训练样本；通过对基于所述已标注训练样本构建的待训练损失预测模型以及待训练零件缺陷识别模型进行迭代训练，优化待训练零件缺陷识别模型，得到待训练零件缺陷识别模型。通过待训练损失预测模型预测得到未标注训练样本的模型损失预测结果，并基于模型损失预测结果对未标注训练样本进行标注，以此更新已标注训练样本，与现有技术中的随机标注样本相比，这种根据模型损失预测结果来标注样本，筛选掉了许多对模型更新没有贡献的样本，更容易选择到贡献度最大的负样本，减小待训练零件缺陷识别模型的训练的周期，提升了待训练零件缺陷识别模型的训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明一实施例的零件缺陷识别模型构建优化方法的模块结构示意图；
图2为本发明一实施例的零件缺陷识别模型构建优化方法的流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1为本发明各个实施例中所提供的设备的硬件结构示意图。所述设备包括执行模块01、存储器02、处理器03、电池系统等部件。本领域技术人员可以理解，图1中所示出的设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述执行模块01连接，所述存储器02上存储有计算机程序，所述计算机程序同时被处理器03执行。
执行模块01，可对汽车零件的图像样本进行采集，并反馈以上信息发送给所述处理器03。
存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器03，是处理平台的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储器02内的数据，执行终端的各种功能和处理数据，从而对装置进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
本领域技术人员可以理解，图1中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
根据上述硬件结构，提出本发明方法各个实施例。
参照图2，在本发明零件缺陷识别模型构建优化方法的第一实施例中，所述零件缺陷识别模型构建优化方法包括：
步骤S100，提取已标注训练样本集和未标注训练样本集；
步骤S200，基于所述已标注训练样本集构建的待训练损失预测模型，预测所述待训练损失预测模型对应的待训练零件缺陷识别模型在所述未标注训练样本集上的模型损失，得到模型损失预测结果；
本实施例中，首先获取待检测的汽车零件图像样本，并随机选取一部分待检测的汽车零件图像样本进行标注，将待检测的汽车零件图像样本分为已标注训练样本和未标注训练样本，已标注训练样本组成已标注训练样本集，未标注样本组成未标注训练样本集；在获得已标注训练样本集之后，可以利用已标注训练样本集构建待训练零件缺陷识别模型和待训练损失预测模型；并通过搭建好的待训练零件缺陷识别模型和待训练损失预测模型对未标注训练样本进行损失预测，以得到模型损失预测结果。具体地，待训练零件缺陷识别模型和待训练损失预测模型对未标注训练样本进行损失预测之后，会产生未标注训练样本的零件缺陷识别损失及待训练零件缺陷识别模型的模型损失预测结果。
步骤S300，根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集；
本实施例中，根据模型损失预测结果从未标注训练样本集中提取部分样本进行标注，从而扩增已标注训练样本集。其中，扩增已标注训练样本集的方式可以为在未标注训练样本集中提取模型损失预测结果中模型预测损失最大的预设数量个未标注训练样本进行人工标注，也可以为提取模型损失预测结果中模型预测损失大于预设阈值的预设数量个未标注训练样本进行标注。因此，每经过一轮标注，已标注训练样本的数量都会有所增加，可利用扩增之后的已标注训练样本对待训练零件缺陷识别模型和待训练损失预测模型进行训练，以更新待训练零件缺陷识别模型和待训练损失预测模型，通过这种方式进行训练，每训练一次，待训练零件缺陷识别模型的精确率就更高一些。
步骤S400，通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。
本实施例中，通过扩增后的已标注训练样本集迭代训练待训练损失预测模型以及待训练零件缺陷识别模型，迭代优化待训练零件缺陷识别模型，得到零件缺陷识别模型。在每一次训练之后，都会进行一次判断，以判断待训练零件缺陷识别模型是否满足预设缺陷识别条件；若待训练零件缺陷识别模型满足预设缺陷识别条件，则判断待训练零件缺陷识别模型合格，将待训练零件缺陷识别模型设置为待训练零件缺陷识别模型，并直接应用待训练零件缺陷识别模型识别汽车零件的缺陷。若待训练零件缺陷识别模型不满足预设缺陷识别条件，则对待训练零件缺陷识别模型和待训练损失预测模型中的参数进行更新，之后返回执行步骤：提取已标注训练样本集和未标注训练样本集，预测待训练损失预测模型对应的待训练零件缺陷识别模型在未标注训练样本集上的模型损失，得到模型损失预测结果，并继续扩增已标注训练样本，并继续利用扩增后的已标注训练样本训练待训练零件缺陷识别模型，直到待训练零件缺陷识别模型满足预设缺陷识别条件。其中，预设缺陷识别条件为本领域技术人员预先设置的模型合格条件，预设缺陷识别条件可根据具体情况随时进行调整，通常情况下预设缺陷识别条件与模型的准确率相关。
在一些实施例中，若待训练零件缺陷识别模型满足预设缺陷识别条件，则可认为待训练零件缺陷识别模型参数的收敛精度达到本领域技术人员要求，满足工业生产或实验室研发等应用要求；若待训练零件缺陷识别模型不满足预设缺陷识别条件，则可认为待训练零件缺陷识别模型参数的收敛精度未达到本领域技术人员要求，还不满足工业生产或实验室研发等应用要求。在另一些实施例中，预设缺陷识别条件和迭代训练次数相关。
在一些实施例中，应用待训练零件缺陷识别模型识别汽车零件的缺陷具体可以为：将训练好且满足预设缺陷识别条件的待训练零件缺陷识别模型部署到汽车零件产线的并行设备上，读取模型训练阶段保存的模型参数，实时监测产线产生的汽车零件的图像，将汽车零件的图像输入到待训练零件缺陷识别模型网络中得到像素级图像分割结果。值得注意的是，推断过程只使用保存的模型参数，并不对其进行更新。在获得图像分割结果之后，对图像分割结果进行解码，并计算每类缺陷的面积和尺寸信息，然后根据计算得到的缺陷面积和尺寸信息对照汽车汽车零件合格标准进行对照筛选，最后根据筛选结果标注每个汽车汽车零件是否合格。
通过本方案中对待训练零件缺陷识别模型进行训练，并利用这种满足预设缺陷识别条件的待训练零件缺陷识别模型对汽车零件进行缺陷识别，能够在保证缺陷识别结果精确性的同时，人工标注尽可能少的图像样本，因此大大减少了人工成本和模型训练过程中的计算成本，提升了待训练零件缺陷识别模型的训练效率。此外，由于生产线上不断产生新的图像样本，也可利用这些样本定期重新训练待训练零件缺陷识别模型，不断增强待训练零件缺陷识别模型得到的零件缺陷识别损失的鲁棒性。
进一步地，基于本申请中第一实施例，在本申请另一实施例中，所述未标注训练样本集至少包括未标注训练样本，所述模型损失预测结果至少包括一所述未标注训练样本对应的模型预测损失，
a1，所述根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集的步骤包括：
a2，根据各所述模型预测损失的大小，在所述未标注训练样本集中选取各待标注训练样本；
a3，对各所述待标注训练样本进行标签标注，得到各标签标注训练样本；
a4，将各所述标签标注训练样本加入所述已标注训练样本集，以扩增所述已标注训练样本集。
本实施例中，根据各模型预测损失的大小，在未标注训练样本集中选取各待标注训练样本；对各所述待标注训练样本进行标签标注，得到各标签标注训练样本；将各所述标签标注训练样本加入已标注训练样本集，以扩增已标注训练样本集。具体地，扩增已标注训练样本集的方式可以为在未标注训练样本集中提取模型损失预测结果中模型预测损失最大的预设数量个未标注训练样本进行人工标注，也可以为提取模型损失预测结果中模型预测损失大于预设阈值的预设数量个未标注训练样本进行标注。
在一实施例中，待训练零件缺陷识别模型为GTarget，待训练损失预测模型为GLoss，待训练损失预测模型附加到待训练零件缺陷识别模型上。待训练零件缺陷识别模型执行目标预测任务为
，同时待训练损失预测模型预测损失为
，其中h是GTarget模块中多个隐含层提取的特征集。在初始训练之后，图像样本被分为已标注训练样本和未标注训练样本，其中，图像样本的总量为N个，已标注训练样本的数量仅占图像样本的一小部分，已标注训练样本的数量为K个，人工对已标注训练样本进行注释以构建初始标注数据集
，未标注训练样本的数量则为N-K，未标注训练样本的数据集可记为
。当应用未标注训练样本共同学习待训练零件缺陷识别模型和待训练损失预测模型之后，可以获得未标注训练样本数据集中所有数据损失，这些数据中包含损失对
。然后，人工从未标注训练样本数据集中再次挑选K个数据，并对这些数据进行标注，此时，已标注训练样本的数量更新为2K个，未标注训练样本的数量更新为N-2K个。其中，挑选这K个数据，可以挑选模型损失预测结果的数值最高的K个数据，也可以挑选模型损失预测结果最接近某个值的K个数据。通过这种方式，能够快速找到具有价值的负样本，从而减少训练的迭代次数，提高整个训练过程的效率。
在一实施例中，所述通过所述待训练损失预测模型计算所述未标注训练样本的模型损失预测结果的步骤包括：
b1，将待训练零件缺陷识别模型中各隐含层的输出分别转换为损失预测中间特征；
b2，将各所述损失预测中间特征进行聚合得到聚合特征；
b3，将所述聚合特征通过全连接层，以获得模型损失预测结果。
本实施例中，将未标注训练样本作为待训练零件缺陷识别模型的输入，待训练零件缺陷识别模型的输出即为零件缺陷识别损失；其中，待训练零件缺陷识别模型包括输入层、输出层和多个隐含层，在一些实施例中，隐含层包括数据规则化层、卷积层、非线性激励层、池化层和连接层。其中，数据规则化是数据预处理层，主要是对数据进行归一化处理，使网络训练更加容易收敛。将待训练零件缺陷识别模型的各隐含层的输出分别作为待训练损失预测模型的输入，待训练损失预测模型的输出即为模型损失预测结果。
由于待训练零件缺陷识别模型的输入为多个隐含层输出的多层特征图，这种连接方式让待训练损失预测模型可以在对损失预测有用的层之间选择必要的信息。在一实施例中，每个损失预测中间特征均通过一个平均池化层和一个全连接层，被缩减为一个固定维度的特征向量。然后，将待训练零件缺陷识别模型的所有通道进行拼接，即所有特征图连接起来并通过另一个全连接层，即可产生一个标量值作为待训练损失预测模型输出的模型损失预测结果。这样一来，共同学习这个由待训练零件缺陷识别模型和待训练损失预测模型共同组成的模型比单独学习待训练零件缺陷识别模型需要更少的内存和计算量，节省了大量的资源。
在一实施例中，所述提取已标注训练样本集和未标注训练样本集的步骤之前包括：
获取待检测的未标注初始训练样本集；
从所述未标注初始训练样本集中随机提取未标注初始训练样本进行标注，将所述未标注初始训练样本集分为已标注训练样本集和未标注训练样本集；
基于所述已标注样本集，构建待训练损失预测模型和待训练零件缺陷识别模型。
目前对于汽车零件缺陷检测方法一般为人工检测的方法，或单独使用基于卷积神经网络的零件缺陷识别模型进行预测，在一些实施例中，人工检测的方法为人工目测汽车零件是否存在缺陷，但这种方法容易由于人工疏忽产生漏检。在另一些实施例中，单独使用基于卷积神经网络的零件缺陷识别模型进行预测为通过简化VGG16模型，借鉴inceptionV3思想，增加了融合层，设计了一个SF-VGG分类模型。更进一步地，现有技术中包括以下步骤：S1，获取大量的汽车零件图像样本作为训练样本；S2、构建CNN（卷积神经网络）模型算法对汽车零件数据进行建模训练；S3、将训练样本集中n个未标注的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中；S4、将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到CNN模型参数；S5、通过主动学习选择未标注数据集U中的样本进行标注，对训练模型急需训练；S6、设置一定的条件终止模型训练，最后得到汽车零件缺陷检测模型。但采用这种方法的话，一方面需要耗费大量的人工对训练样本进行标注，通过持续不断更新已标注训练样本来对模型进行改进；另一方面，由于现有技术中一般采用随机标注的方法来标注模型，通常难以精准的选出大量的带有不同种类缺陷的次品，因此模型在数据侧的收益有边际效益递减的现象。
为了更快的完成模型训练，需要更好的挑选那些具有代表性的未标注训练样本。而在本实施例中，首先获取待检测的未标注初始训练样本集；然后从未标注初始训练样本集中随机提取未标注初始训练样本进行标注，这样一来，就将未标注初始训练样本集分为了已标注训练样本集和未标注训练样本集；基于已标注样本集，构建待训练损失预测模型和待训练零件缺陷识别模型。值得注意的是，本方案中需要构建的模型包括待训练零件缺陷识别模型和待训练损失预测模型。因此除搭建和优化用于汽车零件缺陷识别的待训练零件缺陷识别模型之外，还在待训练零件缺陷识别模型上添加了一个待训练损失预测模型，其中，待训练损失预测模型用于预测待训练零件缺陷识别模型的学习损失，而由于深度学习的深网络结构已经占用了较高的计算成本，因此待训练损失预测模型设计得比待训练零件缺陷识别模型小得多，并且待训练损失预测模型搭载于待训练零件缺陷识别模型上，与待训练零件缺陷识别模型共同学习。这样一来，能够将待训练零件缺陷识别模型的学习损失预测的计算成本最小化。其中，待训练零件缺陷识别模型和待训练损失预测模型均为卷积神经网络模型。
在一实施例中，所述通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型的步骤包括：
计算所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的零件缺陷识别损失；
依据所述零件缺陷识别损失，计算所述待训练损失预测模型在所述扩增后的已标注训练样本集上的零件缺陷识别预测损失；
依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到所述零件缺陷识别模型。
本实施例中，计算待训练零件缺陷识别模型在扩增后的已标注训练样本集上的零件缺陷识别损失；依据零件缺陷识别损失，计算待训练损失预测模型在扩增后的已标注训练样本集上的零件缺陷识别预测损失；依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。在一些实施例中，在每一次对待训练零件缺陷识别模型进行迭代优化之后，都会判断待训练零件缺陷识别模型是否训练完成，若训练完成，则将待训练零件缺陷识别模型设置为零件缺陷识别模型。
在一实施例中，所述依据所述零件缺陷识别损失，计算所述待训练损失预测模型在所述扩增后的已标注训练样本集上的零件缺陷识别预测损失的步骤包括：
基于所述待训练损失预测模型，预测所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的模型损失，得到零件缺陷识别预测损失。
本实施例中，根据已标注训练样本的目标预测结果和人工标注的的目标标签可以计算出已标注训练样本的零件缺陷识别损失；零件缺陷识别损失为待训练零件缺陷识别模型预测过程中的真实损失。而对于同样一份已标注训练样本，待训练损失预测模型会对待训练零件缺陷识别模型的损失进行预测，得出一个零件缺陷识别预测损失。
在一实施例中，所述依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到所述零件缺陷识别模型的步骤包括：
依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，计算模型总损失；
若所述模型总损失收敛，则将所述待训练零件缺陷识别模型作为所述零件缺陷识别模型；
若所述模型总损失未收敛，则依据所述模型总损失计算的模型梯度，更新所述待训练零件缺陷识别模型，并返回执行步骤：提取已标注训练样本集和未标注训练样本集。
本实施例中，计算模型总损失的方法有多种，其中一种计算模型总损失的步骤包括：
其中，
为零件缺陷识别预测损失，
为零件缺陷识别损失，y为目标标签，
为目标预测结果，
为缩放系数，Loss为模型总损失。
在一些实施例中，假设在第s个模型训练阶段。此时的已标注训练样本数据集为
，待训练零件缺陷识别模型为GTarget，待训练损失预测模型为GLoss。每一个已标注训练样本x通过待训练零件缺陷识别模型获得目标预测结果为
，以及通过待训练损失预测模型获得的零件缺陷识别预测损失为
，其中h是GTarget模块中多个隐含层提取的特征集。而对于x的人工标注的真实的目标标签为y，零件缺陷识别损失可以定义为
。由于零件缺陷识别损失l是损失预测模块 h 的真实零件缺陷识别损失，因此我们还可以将损失预测模块的损失计算为
。最终，可将共同学习的待训练零件缺陷识别模型和待训练损失预测模型的零件缺陷识别预测损失函数定义为：
更进一步的，
是一个常量因子，且LTarget采用sofrmax交叉熵损失函数。而
，
其中
，
是一个正边界，p代表一对（i,j）。当
时，只有当
才不会产生任何损失，否则会迫使去增加
，减少
。
在一实施例中，所述通过对基于所述已标注训练样本构建的待训练损失预测模型以及待训练零件缺陷识别模型进行迭代训练，优化待训练零件缺陷识别模型，得到待训练零件缺陷识别模型的步骤包括：
每一次迭代训练后判断所述待训练零件缺陷识别模型是否满足预设缺陷识别条件；
若所述待训练零件缺陷识别模型满足预设缺陷识别条件，则设置所述待训练零件缺陷识别模型为待训练零件缺陷识别模型；
若所述待训练零件缺陷识别模型未满足预设缺陷识别条件，则更新待训练零件缺陷识别模型和所述待训练损失预测模型，返回执行步骤：提取已标注训练样本集和未标注训练样本集。
本实施例中，通过对基于已标注训练样本构建的待训练损失预测模型以及待训练零件缺陷识别模型进行迭代训练，在每一次训练之后，都会进行一次判断，以判断待训练零件缺陷识别模型是否满足预设缺陷识别条件；若待训练零件缺陷识别模型满足预设缺陷识别条件，则判断待训练零件缺陷识别模型合格，将待训练零件缺陷识别模型设置为待训练零件缺陷识别模型，并直接应用待训练零件缺陷识别模型识别汽车零件的缺陷。若待训练零件缺陷识别模型不满足预设缺陷识别条件，则返回执行步骤：提取已标注训练样本集和未标注训练样本集，并对所述未标注训练样本进行损失预测，得到模型损失预测结果，继续更新已标注训练样本，并继续利用更新后的已标注训练样本训练待训练零件缺陷识别模型，直到待训练零件缺陷识别模型满足预设缺陷识别条件。其中，预设缺陷识别条件为本领域技术人员预先设置的模型合格条件，预设缺陷识别条件可根据具体情况随时进行调整，通常情况下预设缺陷识别条件与模型的准确率相关。在一些实施例中，若待训练零件缺陷识别模型满足预设缺陷识别条件，则可认为待训练零件缺陷识别模型的收敛精度达到本领域技术人员要求，满足工业生产或实验室研发等应用要求；若待训练零件缺陷识别模型不满足预设缺陷识别条件，则可认为待训练零件缺陷识别模型的准确率未达到本领域技术人员要求，还不满足工业生产或实验室研发等应用要求。在另一些实施例中，预设缺陷识别条件和迭代训练次数相关。
在一实施例中，所述设置所述待训练零件缺陷识别模型为待训练零件缺陷识别模型的步骤之后包括：
获取转向节的待测图像，根据待训练零件缺陷识别模型对待测图像进行缺陷预测，以获取缺陷预测标签；
基于所述缺陷标签确定所述转向节的缺陷种类。
本实施例中，不同的转向节往往有不同的缺陷形式，转向节至少包括疏松、缩孔、气孔、冷隔、沙眼、夹渣这6种主要缺陷。本实施例中，可应用待训练零件缺陷识别模型根据不同的颜色识别转向节不同种类的缺陷，这样可根据不同缺陷在图像样本中显示的特点不同，更加快捷方便的识别出转向节的不同缺陷。此外，本方案不止可应用于转向节上，还可应用在其他汽车零件的缺陷识别过程中，汽车零件至少包括行车电脑、离合器、方向盘等。
具体地，获取汽车零件的待测图像，根据待训练零件缺陷识别模型对待测图像进行缺陷预测，以获取缺陷预测标签；
基于所述缺陷标签确定所述汽车零件的缺陷种类。
本发明还提出一种装置，装置包括提取模块、模型损失预测模块、样本更新模块以及迭代优化模块。
本发明还提出一种设备，设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序用于执行本发明各个实施例所述的方法。
本发明还提出一种存储介质，其上存储有计算机程序。所述计算机存储介质可以是图1的中的存储器，也可以是如ROM（Read-Only Memory，只读存储器）/RAM（RandomAccess Memory，随机存取存储器）、磁碟、光盘中的至少一种，所述计算机存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例所述的方法。
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种零件缺陷识别模型构建优化方法，其特征在于，所述方法包括以下步骤：
提取已标注训练样本集和未标注训练样本集；
基于所述已标注训练样本集构建的待训练损失预测模型，预测所述待训练损失预测模型对应的待训练零件缺陷识别模型在所述未标注训练样本集上的模型损失，得到模型损失预测结果；
根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集；
通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。
2.如权利要求1所述的零件缺陷识别模型构建优化方法，其特征在于，所述未标注训练样本集至少包括未标注训练样本，所述模型损失预测结果至少包括一所述未标注训练样本对应的模型预测损失，
所述根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集的步骤包括：
根据各所述模型预测损失的大小，在所述未标注训练样本集中选取各待标注训练样本；
对各所述待标注训练样本进行标签标注，得到各标签标注训练样本；
将各所述标签标注训练样本加入所述已标注训练样本集，以扩增所述已标注训练样本集。
3.如权利要求2所述的零件缺陷识别模型构建优化方法，其特征在于，所述通过所述待训练损失预测模型计算所述未标注训练样本的模型损失预测结果的步骤包括：
将待训练零件缺陷识别模型中各隐含层的输出分别转换为损失预测中间特征；
将各所述损失预测中间特征进行聚合得到聚合特征；
对所述聚合特征进行全连接，得到所述模型损失预测结果。
4.如权利要求1所述的零件缺陷识别模型构建优化方法，其特征在于，所述提取已标注训练样本集和未标注训练样本集的步骤之前包括：
获取待检测的未标注初始训练样本集；
从所述未标注初始训练样本集中随机提取未标注初始训练样本进行标注，将所述未标注初始训练样本集分为已标注训练样本集和未标注训练样本集；
基于所述已标注样本集，构建待训练损失预测模型和待训练零件缺陷识别模型。
5.如权利要求1所述的零件缺陷识别模型构建优化方法，其特征在于，所述通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型的步骤包括：
计算所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的零件缺陷识别损失；
依据所述零件缺陷识别损失，计算所述待训练损失预测模型在所述扩增后的已标注训练样本集上的零件缺陷识别预测损失；
依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到所述零件缺陷识别模型。
6.如权利要求5所述的零件缺陷识别模型构建优化方法，其特征在于，所述依据所述零件缺陷识别损失，计算所述待训练损失预测模型在所述扩增后的已标注训练样本集上的零件缺陷识别预测损失的步骤包括：
基于所述待训练损失预测模型，预测所述待训练零件缺陷识别模型在所述扩增后的已标注训练样本集上的模型损失，得到零件缺陷识别预测损失。
7.如权利要求5所述的零件缺陷识别模型构建优化方法，其特征在于，所述依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，迭代优化所述待训练零件缺陷识别模型，得到所述零件缺陷识别模型的步骤包括：
依据所述零件缺陷识别损失和所述零件缺陷识别预测损失，计算模型总损失；
若所述模型总损失收敛，则将所述待训练零件缺陷识别模型作为所述零件缺陷识别模型；
若所述模型总损失未收敛，则依据所述模型总损失计算的模型梯度，更新所述待训练零件缺陷识别模型，并返回执行步骤：提取已标注训练样本集和未标注训练样本集。
8.一种装置，其特征在于，所述装置包括：
提取模块，用于提取已标注训练样本集和未标注训练样本集；
模型损失预测模块，基于所述已标注训练样本集构建的待训练损失预测模型，预测所述待训练损失预测模型对应的待训练零件缺陷识别模型在所述未标注训练样本集上的模型损失，得到模型损失预测结果；
样本更新模块，根据所述模型损失预测结果，在所述未标注训练样本集中提取样本进行标注，以扩增所述已标注训练样本集；
迭代优化模块，通过扩增后的已标注训练样本集迭代训练所述待训练损失预测模型以及所述待训练零件缺陷识别模型，迭代优化所述待训练零件缺陷识别模型，得到零件缺陷识别模型。
9.一种设备，其特征在于，包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述零件缺陷识别模型构建优化方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述零件缺陷识别模型构建优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132195.1A CN113570007B (zh) | 2021-09-27 | 2021-09-27 | 零件缺陷识别模型构建优化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132195.1A CN113570007B (zh) | 2021-09-27 | 2021-09-27 | 零件缺陷识别模型构建优化方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113570007A true CN113570007A (zh) | 2021-10-29 |
| CN113570007B CN113570007B (zh) | 2022-02-15 |
Family
ID=78174719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111132195.1A Active CN113570007B (zh) | 2021-09-27 | 2021-09-27 | 零件缺陷识别模型构建优化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570007B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118635A (zh) * | 2022-01-27 | 2022-03-01 | 深圳江行联加智能科技有限公司 | 基于区块链的碳中和管理方法、装置、设备及存储介质 |
| CN114638288A (zh) * | 2022-03-02 | 2022-06-17 | 云从科技集团股份有限公司 | 样本标注方法、装置及计算机存储介质 |
| CN114926441A (zh) * | 2022-05-26 | 2022-08-19 | 昆山缔微致精密电子有限公司 | 一种注塑件加工成型的缺陷检测方法及系统 |
| WO2023217222A1 (zh) * | 2022-05-13 | 2023-11-16 | 徕卡显微系统科技(苏州)有限公司 | 细胞信息统计方法、装置、设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
| CN112036509A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用于训练图像识别模型的方法和装置 |
| CN112232426A (zh) * | 2020-10-21 | 2021-01-15 | 平安国际智慧城市科技股份有限公司 | 目标检测模型的训练方法、装置、设备及可读存储介质 |
| CN113420849A (zh) * | 2021-08-25 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 基于主动学习的模型在线增量训练方法、设备及介质 |
| US20210295162A1 (en) * | 2019-01-04 | 2021-09-23 | Ping An Technology(Shenzhen)Co.,Ltd. | Neural network model training method and apparatus, computer device, and storage medium |
-
2021
- 2021-09-27 CN CN202111132195.1A patent/CN113570007B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210295162A1 (en) * | 2019-01-04 | 2021-09-23 | Ping An Technology(Shenzhen)Co.,Ltd. | Neural network model training method and apparatus, computer device, and storage medium |
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
| CN112036509A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用于训练图像识别模型的方法和装置 |
| CN112232426A (zh) * | 2020-10-21 | 2021-01-15 | 平安国际智慧城市科技股份有限公司 | 目标检测模型的训练方法、装置、设备及可读存储介质 |
| CN113420849A (zh) * | 2021-08-25 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 基于主动学习的模型在线增量训练方法、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张志武等: "基于二次学习的半监督字典学习软件缺陷预测", 《模式识别与人工智能》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118635A (zh) * | 2022-01-27 | 2022-03-01 | 深圳江行联加智能科技有限公司 | 基于区块链的碳中和管理方法、装置、设备及存储介质 |
| CN114638288A (zh) * | 2022-03-02 | 2022-06-17 | 云从科技集团股份有限公司 | 样本标注方法、装置及计算机存储介质 |
| WO2023217222A1 (zh) * | 2022-05-13 | 2023-11-16 | 徕卡显微系统科技(苏州)有限公司 | 细胞信息统计方法、装置、设备及计算机可读存储介质 |
| CN114926441A (zh) * | 2022-05-26 | 2022-08-19 | 昆山缔微致精密电子有限公司 | 一种注塑件加工成型的缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113570007B (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113570007B (zh) | 零件缺陷识别模型构建优化方法、装置、设备及存储介质 | |
| CN111932510B (zh) | 一种图像清晰度的确定方法及装置 | |
| CN111881958B (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN116579616B (zh) | 一种基于深度学习的风险识别方法 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
| CN113328908B (zh) | 异常数据的检测方法、装置、计算机设备和存储介质 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN113449919A (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
| CN113486926B (zh) | 一种自动化码头设备异常检测系统 | |
| CN111079930A (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
| CN115878992A (zh) | 综合管廊供电系统的监控方法和监控系统 | |
| CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
| CN112733724A (zh) | 基于判别样本元挖掘器的亲属关系验证方法和装置 | |
| CN115952438B (zh) | 社交平台用户属性预测方法、系统、移动设备及存储介质 | |
| CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
| CN116721071A (zh) | 一种基于弱监督的工业产品表面缺陷检测方法及装置 | |
| CN115861769A (zh) | 塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置 | |
| CN114118635A (zh) | 基于区块链的碳中和管理方法、装置、设备及存储介质 | |
| JP2020086786A (ja) | 検出装置及び機械学習方法 | |
| CN117422689B (zh) | 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法 | |
| CN117273963B (zh) | 基于车险场景的风险识别方法和装置 | |
| CN117011263B (zh) | 一种用于火箭子级回收段的缺陷检测方法及装置 | |
| CN117592865B (zh) | 一种装备零备件质量状态预测方法及装置 | |
| CN116933185B (zh) | 一种铜管精整复绕的评估方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |