CN117333730A - 一种产品表面异常检测方法及终端 - Google Patents
一种产品表面异常检测方法及终端 Download PDFInfo
- Publication number
- CN117333730A CN117333730A CN202311630054.1A CN202311630054A CN117333730A CN 117333730 A CN117333730 A CN 117333730A CN 202311630054 A CN202311630054 A CN 202311630054A CN 117333730 A CN117333730 A CN 117333730A
- Authority
- CN
- China
- Prior art keywords
- image
- abnormal
- training
- product
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 230000005856 abnormality Effects 0.000 title claims description 64
- 238000012549 training Methods 0.000 claims abstract description 210
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims description 241
- 238000012360 testing method Methods 0.000 claims description 26
- 238000004088 simulation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 18
- 238000013508 migration Methods 0.000 abstract description 5
- 230000005012 migration Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种产品表面异常检测方法及终端，采集待检测产品表面的最终异常图像，去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入多模态预训练模型，得到改进后的多模态预训练模型，利用最终异常图像对改进后的多模态预训练模型进行训练，得到异常检测模型，利用异常检测模型对待检测产品表面进行检测，在模型中引入了特征映射模块并去除多余部分，使得原始的多模态预训练模型可以用于产品表面的异常检测，仅需要少量异常样本的训练，能提高仿真异常图像训练的效果，且具有零样本迁移能力，在一个场景下训练好的模型可迁移到结构相同、表面纹理、图案或颜色变化的其他场景下使用，提高了产品表面异常检测的适用性。
Description
技术领域
本发明涉及异常检测技术领域，尤其涉及一种产品表面异常检测方法及终端。
背景技术
基于人工智能（AI）的图像异常检测方法，具有广泛的应用范围，包括医学成像和工业检测。以工业检测为例，可以用于检测各种材质的产品、工业品、零件表面的异常，例如划痕、裂纹、脏污和形变等问题，可以帮助提高生产中的质量控制和安全性等。
目前AI图像异常检测方法主要有以下四种：
一是基于监督学习的异常检测。使用通用的分类、检测或分割算法，基于足够的、有标注异常的样本数据训练后，可以达到较好的效果。
二是基于知识蒸馏的学生-教师模型方法。首先用正常样本和异常样本训练一个教师网络，然后通过蒸馏教师网络来训练一个学生网络，训练学生网络仅使用正常样本。因为学生没有接受过异常样本的训练，所以可以通过比较教师和学生的输出之间的距离来检测异常。
三是基于特征空间的异常值检测。在预训练和冻结的卷积神经网络（CNN）的特征空间中应用离群值检测和密度估计方法。将特征向量映射到输入像素，则将其异常值分配给相应的像素，生成像素异常值的2D异常图。
四是基于自动编码器和生成对抗网络（GAN）等生成式模型的重建方法。生成式模型在正常样本上训练，使模型可以重建正常图像，但是不能准确重建异常图像，通过比较重建和输入图像来检测异常。
但以上四种方案存在着不同的问题，即：第一种方法依赖于大量有标注的异常样本数据来训练模型，但在实际使用场景中，通常很难获取到大量的异常样本数据，数据量不足则无法取得较好的检测效果。此外，对大量异常数据进行标注也需要额外的时间和成本。
第二种方法通常也需要大量的训练数据，以确保良好的模型性能。而且，教师网络的构建和训练可能需要一定的计算和时间成本，特别是在大规模数据集上，这对部署和实际应用造成一定的挑战。
第三种方法一般需要创建内存库，在训练大型数据集时需要高成本的计算和复杂的架构，此外，其定位的缺陷分辨率较低，通常为十六分之一甚至更低，容易漏检较小的缺陷，极大地限制了实际工业应用。
第四种方法的效果受图像重建效果的影响，常出现由正常图像的不准确重建引起的假阳性检测。图像重建是一个不适定逆问题，模型难以准确重建复杂的细节，因此这种方法只能用在纹理单一的目标场景。
另外，这四种方法都只在训练数据含有目标种类的情况下有效，当目标发生变化，比如针对同一产品更换外包装，包装的颜色、图案发生变化时，检测性能会显著下降。因此，在目标品类繁多或是目标表面经常变化的使用场景，这些算法需要针对每个品类都训练模型，或者每当目标表面发生变化时都需要更新模型，重新训练。算法维护的工作量很大，模型新增和更新会花费很多时间，需要较多的人力和时间成本，此外，在工业生产中，流水线无法停下来等待模型的训练和更新，在实际应用中存在较多限制。
发明内容
本发明所要解决的技术问题是：提供一种产品表面异常检测方法及终端，能够提高产品表面异常检测的适用性。
为了解决上述技术问题，本发明采用的技术方案为：
一种产品表面异常检测方法，包括步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种产品表面异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
本发明的有益效果在于：采集待检测产品表面的最终异常图像，去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入多模态预训练模型，得到改进后的多模态预训练模型，利用最终异常图像对改进后的多模态预训练模型进行训练，得到异常检测模型，利用异常检测模型对待检测产品表面进行检测，在模型中引入了特征映射模块并去除多余部分，使得原始的多模态预训练模型可以用于产品表面的异常检测，使用多模态预训练模型作为异常检测模型基础，仅需要少量异常样本的训练，能提高仿真异常图像训练的效果，且具有零样本迁移能力，在一个场景下训练好的模型可以迁移到结构相同、表面纹理、图案或颜色变化的其他场景下使用，从而提高了产品表面异常检测的适用性。
附图说明
图1为本发明实施例的一种产品表面异常检测方法的步骤流程图；
图2为本发明实施例的一种产品表面异常检测终端的结构示意图；
图3为本发明实施例的产品表面异常检测方法中的改进后的多模态预训练模型的结构图；
图4中（a）为本发明实施例的产品表面异常检测方法中的正常图像；
图4中（b）为本发明实施例的产品表面异常检测方法中的仿真异常图像；
图5中（a）、（d）为本发明实施例的产品表面异常检测方法中的输入图像；
图5中（b）、（e）为本发明实施例的产品表面异常检测方法中输出的异常图；
图5中（c）、（f）为本发明实施例的产品表面异常检测方法中的最终的异常分割图；
图6中（a）、（d）为本发明实施例的产品表面异常检测方法中的输入图像；
图6中（b）、（e）为本发明实施例的产品表面异常检测方法中输出的异常图；
图6中（c）、（f）为本发明实施例的产品表面异常检测方法中的最终的异常分割图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种产品表面异常检测方法，包括步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
从上述描述可知，本发明的有益效果在于：采集待检测产品表面的最终异常图像，去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入多模态预训练模型，得到改进后的多模态预训练模型，利用最终异常图像对改进后的多模态预训练模型进行训练，得到异常检测模型，利用异常检测模型对待检测产品表面进行检测，在模型中引入了特征映射模块并去除多余部分，使得原始的多模态预训练模型可以用于产品表面的异常检测，使用多模态预训练模型作为异常检测模型基础，仅需要少量异常样本的训练，能提高仿真异常图像训练的效果，且具有零样本迁移能力，在一个场景下训练好的模型可以迁移到结构相同、表面纹理、图案或颜色变化的其他场景下使用，从而提高了产品表面异常检测的适用性。
进一步地，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和原始异常图像；
确定无法采集到的待检测产品表面的异常类型，并获取与所述异常类型对应的文本描述；
根据所述文本描述在所述正常图像上绘制异常，得到仿真异常图像；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
由上述描述可知，对于收集不到异常图像的异常类型，使用对应的文本描述在正常图像上绘制生成仿真异常图像，根据原始异常图像和仿真异常图像生成待检测产品表面的最终异常图像，能够确保后续模型的训练效果，实现更高的检测精度。
进一步地，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和不同类型的原始异常图像；
若所述不同类型的原始异常图像中存在一目标类型的原始异常图像的数量少于预设值，则将所述目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和所述正常图像生成仿真异常图像，直至所述目标类型的原始异常图像的数量达到所述预设值；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
由上述描述可知，本发明使用少量样本即可完成模型训练，但如果连少量样本都无法采集到，则将目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和正常图像生成仿真异常图像，直至目标类型的原始异常图像的数量达到预设值，这样确保实现更好的训练效果。
进一步地，所述利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
对所述最终异常图像进行异常区域的多边形标注，得到与所述最终异常图像对应的异常掩码图；
对所述最终异常图像进行数据增广操作，得到处理后的最终异常图像；
将所述处理后的最终异常图像以及所述异常掩码图划分为训练集和测试集；
使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型。
由上述描述可知，对最终异常图像进行数据增广操作，以便改进后的多模态预训练模型对异常进行有效的学习，增加模型的鲁棒性。
进一步地，所述使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
获取所述训练集的所有异常描述，并对所述所有异常描述进行提取，得到包含所述待检测产品名称的通用异常描述；
将所述训练集和包含所述待检测产品名称的通用异常描述输入所述改进后的多模态预训练模型，并将所述待检测产品名称的通用异常描述作为所述改进后的多模态预训练模型中的文本编辑器的输入，输出与所述待检测产品名称的通用异常描述对应的文本特征；
所述训练集经过所述改进后的多模态预训练模型中的图像编码器，输出图像特征；
所述图像特征经过所述改进后的多模态预训练模型中的所述特征映射模型进行转换，得到映射后的图像特征，并计算所述映射后的图像特征和所述文本特征的相似度，将所述相似度输出成异常检测图，以此得到训练后的多模态预训练模型；
使用所述测试集对所述训练后的多模态预训练模型进行测试，得到异常检测模型。
由上述描述可知，利用改进后的多模态预训练模型中的文本编辑器和图像编码器提取文本特征和图像特征，通过设计的特征映射模块，对图像特征进行转换，通过比较转换后的图像特征和文本特征的相似度，输出异常检测图，改进后的多模态预训练模型更加关注图像的高维特征，即图像内容的描述，而不是图像纹理的描述，即便是训练集包括仿真异常图像也能有较好的效果，减少了异常数据的收集的标注工作，且仅特征映射模块需要进行训练，模块很小，收敛速度很快，容易训练，模型开发和部署速度很快。
请参照图2，一种产品表面异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
从上述描述可知，本发明的有益效果在于：采集待检测产品表面的最终异常图像，去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入多模态预训练模型，得到改进后的多模态预训练模型，利用最终异常图像对改进后的多模态预训练模型进行训练，得到异常检测模型，利用异常检测模型对待检测产品表面进行检测，在模型中引入了特征映射模块并去除多余部分，使得原始的多模态预训练模型可以用于产品表面的异常检测，使用多模态预训练模型作为异常检测模型基础，仅需要少量异常样本的训练，能提高仿真异常图像训练的效果，且具有零样本迁移能力，在一个场景下训练好的模型可以迁移到结构相同、表面纹理、图案或颜色变化的其他场景下使用，从而提高了产品表面异常检测的适用性。
进一步地，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和原始异常图像；
确定无法采集到的待检测产品表面的异常类型，并获取与所述异常类型对应的文本描述；
根据所述文本描述在所述正常图像上绘制异常，得到仿真异常图像；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
由上述描述可知，对于收集不到异常图像的异常类型，使用对应的文本描述在正常图像上绘制生成仿真异常图像，根据原始异常图像和仿真异常图像生成待检测产品表面的最终异常图像，能够确保后续模型的训练效果，实现更高的检测精度。
进一步地，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和不同类型的原始异常图像；
若所述不同类型的原始异常图像中存在一目标类型的原始异常图像的数量少于预设值，则将所述目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和所述正常图像生成仿真异常图像，直至所述目标类型的原始异常图像的数量达到所述预设值；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
由上述描述可知，本发明使用少量样本即可完成模型训练，但如果连少量样本都无法采集到，则将目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和正常图像生成仿真异常图像，直至目标类型的原始异常图像的数量达到预设值，这样确保实现更好的训练效果。
进一步地，所述利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
对所述最终异常图像进行异常区域的多边形标注，得到与所述最终异常图像对应的异常掩码图；
对所述最终异常图像进行数据增广操作，得到处理后的最终异常图像；
将所述处理后的最终异常图像以及所述异常掩码图划分为训练集和测试集；
使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型。
由上述描述可知，对最终异常图像进行数据增广操作，以便改进后的多模态预训练模型对异常进行有效的学习，增加模型鲁棒性。
进一步地，所述使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
获取所述训练集的所有异常描述，并对所述所有异常描述进行提取，得到包含所述待检测产品名称的通用异常描述；
将所述训练集和包含所述待检测产品名称的通用异常描述输入所述改进后的多模态预训练模型，并将所述待检测产品名称的通用异常描述作为所述改进后的多模态预训练模型中的文本编辑器的输入，输出与所述待检测产品名称的通用异常描述对应的文本特征；
所述训练集经过所述改进后的多模态预训练模型中的图像编码器，输出图像特征；
所述图像特征经过所述改进后的多模态预训练模型中的所述特征映射模型进行转换，得到映射后的图像特征，并计算所述映射后的图像特征和所述文本特征的相似度，将所述相似度输出成异常检测图，以此得到训练后的多模态预训练模型；
使用所述测试集对所述训练后的多模态预训练模型进行测试，得到异常检测模型。
由上述描述可知，利用改进后的多模态预训练模型中的文本编辑器和图像编码器提取文本特征和图像特征，通过设计的特征映射模块，对图像特征进行转换，通过比较转换后的图像特征和文本特征的相似度，输出异常检测图，改进后的多模态预训练模型更加关注图像的高维特征，即图像内容的描述，而不是图像纹理的描述，即便是训练集包括仿真异常图像也能有较好的效果，减少了异常数据的收集的标注工作，且仅特征映射模块需要进行训练，模块很小，收敛速度很快，容易训练，模型开发和部署速度很快。
本发明上述的产品表面异常检测方法及终端能够适用于目标结构不变，但是表面颜色、图像、纹理、大小变化的工业检测场景，比如经常变化的产品外包装的异常检测，以下通过具体实施方式进行说明：
请参照图1、图3-图6，本发明的实施例一为：
一种产品表面异常检测方法，包括步骤：
S1、采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像。
在一种可选的实施方式中，S1包括S11-S14：
S11、采集待检测产品表面的正常图像和原始异常图像。
S12、确定无法采集到的待检测产品表面的异常类型，并获取与所述异常类型对应的文本描述。
S13、根据所述文本描述在所述正常图像上绘制异常，得到仿真异常图像。
S14、根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
如图4所示，图4中（a）为正常图像，图4（b）为根据文本描述在正常图像上绘制异常得到的仿真异常图像。
在另一种可选的实施方式中，S1包括S11-S13：
S11、采集待检测产品表面的正常图像和不同类型的原始异常图像。
S12、若所述不同类型的原始异常图像中存在一目标类型的原始异常图像的数量少于预设值，则将所述目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和所述正常图像生成仿真异常图像，直至所述目标类型的原始异常图像的数量达到所述预设值。
在一种可选的实施方式中，所述预设值为4。
S13、根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
S2、去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型，如图3所示。
在一种可选的实施方式中，所述多模态预训练模型包括CLIP（ContrastiveLanguage-Image Pre-training，基于对比文本-图像对的预训练方法或者模型）、BLIP（Bootstrapping LanguageImage Pre-training，统一理解和生成的自举多模态模型）或DALL-E（将自然语言描述生成为相应的图像的预训练模型）。
S3、利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型，具体包括S31-S34：
S31、对所述最终异常图像进行异常区域的多边形标注，得到与所述最终异常图像对应的异常掩码图。
S32、对所述最终异常图像进行数据增广操作，得到处理后的最终异常图像。
在一种可选的实施方式中，所述数据增广操作包括随机噪声、旋转、翻转、饱和度变换、亮度和色调变换。
S33、将所述处理后的最终异常图像以及所述异常掩码图划分为训练集和测试集。
S34、使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型，具体包括S341-S345：
S341、获取所述训练集的所有异常描述，并对所述所有异常描述进行提取，得到包含所述待检测产品名称的通用异常描述。
比如，描述纸质包装袋的异常描述有：（1）撕裂；（2）破洞；（3）油污；（4）黑点；（5）划痕；（6）折痕；（7）不对版；（8）记号笔划；
其中有很多很细节的描述，通过对所有异常描述进行提取能够减少太细节的描述，将其合并成更宽泛的描述，即包含待检测产品名称的通用异常描述：（1）破损的纸袋；（2）脏的纸袋；（3）异常的纸袋。
S342、将所述训练集和包含所述待检测产品名称的通用异常描述输入所述改进后的多模态预训练模型，并将所述待检测产品名称的通用异常描述作为所述改进后的多模态预训练模型中的文本编辑器的输入，输出与所述待检测产品名称的通用异常描述对应的文本特征。
其中，所述与所述待检测产品名称的通用异常描述对应的文本特征为：
；
式中，FT表示文本特征，表示改进后的多模态预训练模型中的文本编辑器，C表示待检测产品名称的通用异常描述。
S343、所述训练集经过所述改进后的多模态预训练模型中的图像编码器，输出图像特征。
具体的，从改进后的多模态预训练模型中的图像编码器中选取n个特征层，可以根据异常大小等应用场景情况，选择使用的特征，可以结合浅层到深层的特征。
其中，所述图像特征为：
，k=1,…,n；
式中，表示第k个图像特征，/>表示改进后的多模态预训练模型中的图像编码器，I表示训练集，n表示选取的特征层数量。
在一种可选的实施方式中，n=3，3个特征层包括第8层、第16层和第24层。
S344、所述图像特征经过所述改进后的多模态预训练模型中的所述特征映射模型进行转换，得到映射后的图像特征，并计算所述映射后的图像特征和所述文本特征的相似度，将所述相似度输出成异常检测图，以此得到训练后的多模态预训练模型。
其中，使用一个全连接层，使用表示第k个特征映射层，则特征映射模块表示为： (/> )。
所述异常检测图为：
；
式中，M表示异常检测图。
在一种可选的实施方式中，使用图像分割任务中的Focal Loss和Dice Loss两个损失函数对所述特征映射模块进行训练，最终损失函数L为两者的加权和，具体为：
；
；
；
式中，表示Focal Loss损失函数，/>表示Dice Loss损失函数，/>表示最终损失函数，N表示像素总数，/>表示输出异常检测图中第i个像素，/>表示/>的预测概率，/>表示聚焦参数，/>=2，/>表示目标异常检测图的第i个像素，/>表示Dice Loss损失函数的权重，用于平衡两个损失函数的影响，/>=1。
Focal Loss损失函数有利于解决正负样本不均衡，并让模型专注学习难样本；Dice Loss损失函数有利于解决分割前背景不均衡。
S345、使用所述测试集对所述训练后的多模态预训练模型进行测试，得到异常检测模型。
由于只有特征映射模块需要训练，模型很小，为了避免过拟和，只训练5个epoch，训练学习率使用1e-4，优化器使用Adam，在英伟达的RTX3070显卡上只需30分钟的时间训练，推理速度能达到80ms/张。
通过训练好的模型，可以得到输入图像对应的异常图，对异常图做归一化，归一化的异常图中的数值越大代表该区域是异常的可能性越大。使用阈值H对归一化的异常图进行二值化处理，得到最终的异常分割图A。阈值H通过在测试集上计算客观评价指标F1分数（F1-Score）优选得到。
S4、利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
具体的，利用所述异常检测模型对所述待检测产品表面进行检测，得到异常图；对所述异常图进行归一化，将所述异常图中的异常值范围调整到[0,1]内，得到归一化后的异常图，并使用阈值H对所述归一化的异常图进行二值化处理，得到最终的异常分割图A，具体为：
。
式中，表示归一化操作。
如图5所示，图5中（a）、（d）为输入的待检测产品表面的图像，（b）、（e）为输出的异常图，（c）、（f）为最终的异常分割图。
如图6所示，图6中（a）为输入的待检测产品表面的图像，其中的异常类型是使用仿真异常图像训练的，（b）为输出的异常图，（c）为最终的异常分割图，说明即便是使用仿真异常图像训练，模型也能够准确检测到该类异常。
图6中（d）为输入的其他没有训练过的异常类型的待检测产品表面的图像，（e）为输出的异常图，（f）为最终的异常分割图，说明模型训练好后，只要结构相同，即便是其他训练时未出现的异常，模型也能够检测到。
其中，归一化后的异常图中的数值越大代表该区域是异常的可能性越大，阈值H通过在测试集上计算客观评价指标F1分数（F1-Score）确定。
表1仿真数据对比实验结果
从表1中可以看出，本发明上述的产品表面异常检测方法在真实样本上也有较好的效果，可以减少难以获取的异常样本的收集工作；能够零样本迁移到结构相同、表面图案、纹理、颜色变化的其他目标上，即一个模型适用多种目标，极大减少了模型开发成本和时间；训练过程中，仅特征映射模块需要进行训练，收敛速度快，容易训练，且模型开发和部署速度很快，方便实际工业场景应用；同时依赖于预训练模型的先验知识，只需要少量的训练数据即可完成训练，可应用场景更多。
请参照图2，本发明的实施例二为：
一种产品表面异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的产品表面异常检测方法中的各个步骤。
综上所述，本发明提供的一种产品表面异常检测方法及终端，采集待检测产品表面的最终异常图像，去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入多模态预训练模型，得到改进后的多模态预训练模型，利用最终异常图像对改进后的多模态预训练模型进行训练，得到异常检测模型，利用异常检测模型对待检测产品表面进行检测，在模型中引入了特征映射模块并去除多余部分，使得原始的多模态预训练模型可以用于产品表面的异常检测，使用多模态预训练模型作为异常检测模型基础，仅需要少量异常样本的训练，能提高仿真异常图像训练的效果，且具有零样本迁移能力，在一个场景下训练好的模型可以迁移到结构相同、表面纹理、图案或颜色变化的其他场景下使用，从而提高了产品表面异常检测的适用性；另外，本发明使用少量样本即可完成模型训练，但如果连少量样本都无法采集到，则根据异常的文本描述在正常样本上绘制仿真异常图像，进一步的，将目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和正常图像生成仿真异常图像，直至目标类型的原始异常图像的数量达到预设值，这样确保实现更好的训练效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种产品表面异常检测方法，其特征在于，包括步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
2.根据权利要求1所述的一种产品表面异常检测方法，其特征在于，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和原始异常图像；
确定无法采集到的待检测产品表面的异常类型，并获取与所述异常类型对应的文本描述；
根据所述文本描述在所述正常图像上绘制异常，得到仿真异常图像；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
3.根据权利要求1所述的一种产品表面异常检测方法，其特征在于，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和不同类型的原始异常图像；
若所述不同类型的原始异常图像中存在一目标类型的原始异常图像的数量少于预设值，则将所述目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和所述正常图像生成仿真异常图像，直至所述目标类型的原始异常图像的数量达到所述预设值；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
4.根据权利要求1所述的一种产品表面异常检测方法，其特征在于，所述利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
对所述最终异常图像进行异常区域的多边形标注，得到与所述最终异常图像对应的异常掩码图；
对所述最终异常图像进行数据增广操作，得到处理后的最终异常图像；
将所述处理后的最终异常图像以及所述异常掩码图划分为训练集和测试集；
使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型。
5.根据权利要求4所述的一种产品表面异常检测方法，其特征在于，所述使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
获取所述训练集的所有异常描述，并对所述所有异常描述进行提取，得到包含所述待检测产品名称的通用异常描述；
将所述训练集和包含所述待检测产品名称的通用异常描述输入所述改进后的多模态预训练模型，并将所述待检测产品名称的通用异常描述作为所述改进后的多模态预训练模型中的文本编辑器的输入，输出与所述待检测产品名称的通用异常描述对应的文本特征；
所述训练集经过所述改进后的多模态预训练模型中的图像编码器，输出图像特征；
所述图像特征经过所述改进后的多模态预训练模型中的所述特征映射模型进行转换，得到映射后的图像特征，并计算所述映射后的图像特征和所述文本特征的相似度，将所述相似度输出成异常检测图，以此得到训练后的多模态预训练模型；
使用所述测试集对所述训练后的多模态预训练模型进行测试，得到异常检测模型。
6.一种产品表面异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
采集待检测产品表面的最终异常图像，所述最终异常图像包括在正常图像上绘制异常得到的仿真异常图像；
去除多模态预训练模型中的图像解码器和文本解码器，并将特征映射模型加入所述多模态预训练模型，得到改进后的多模态预训练模型；
利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型；
利用所述异常检测模型对所述待检测产品表面进行检测，得到检测结果。
7.根据权利要求6所述的一种产品表面异常检测终端，其特征在于，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和原始异常图像；
确定无法采集到的待检测产品表面的异常类型，并获取与所述异常类型对应的文本描述；
根据所述文本描述在所述正常图像上绘制异常，得到仿真异常图像；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
8.根据权利要求6所述的一种产品表面异常检测终端，其特征在于，所述采集待检测产品表面的最终异常图像包括：
采集待检测产品表面的正常图像和不同类型的原始异常图像；
若所述不同类型的原始异常图像中存在一目标类型的原始异常图像的数量少于预设值，则将所述目标类型的原始异常图像中的异常进行裁剪，并根据裁剪得到的异常和所述正常图像生成仿真异常图像，直至所述目标类型的原始异常图像的数量达到所述预设值；
根据所述原始异常图像和所述仿真异常图像生成所述待检测产品表面的最终异常图像。
9.根据权利要求6所述的一种产品表面异常检测终端，其特征在于，所述利用所述最终异常图像对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
对所述最终异常图像进行异常区域的多边形标注，得到与所述最终异常图像对应的异常掩码图；
对所述最终异常图像进行数据增广操作，得到处理后的最终异常图像；
将所述处理后的最终异常图像以及所述异常掩码图划分为训练集和测试集；
使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型。
10.根据权利要求9所述的一种产品表面异常检测终端，其特征在于，所述使用所述训练集和所述测试集对所述改进后的多模态预训练模型进行训练，得到异常检测模型包括：
获取所述训练集的所有异常描述，并对所述所有异常描述进行提取，得到包含所述待检测产品名称的通用异常描述；
将所述训练集和包含所述待检测产品名称的通用异常描述输入所述改进后的多模态预训练模型，并将所述待检测产品名称的通用异常描述作为所述改进后的多模态预训练模型中的文本编辑器的输入，输出与所述待检测产品名称的通用异常描述对应的文本特征；
所述训练集经过所述改进后的多模态预训练模型中的图像编码器，输出图像特征；
所述图像特征经过所述改进后的多模态预训练模型中的所述特征映射模型进行转换，得到映射后的图像特征，并计算所述映射后的图像特征和所述文本特征的相似度，将所述相似度输出成异常检测图，以此得到训练后的多模态预训练模型；
使用所述测试集对所述训练后的多模态预训练模型进行测试，得到异常检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311630054.1A CN117333730B (zh) | 2023-12-01 | 2023-12-01 | 一种产品表面异常检测方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311630054.1A CN117333730B (zh) | 2023-12-01 | 2023-12-01 | 一种产品表面异常检测方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117333730A true CN117333730A (zh) | 2024-01-02 |
| CN117333730B CN117333730B (zh) | 2024-04-05 |
Family
ID=89279775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311630054.1A Active CN117333730B (zh) | 2023-12-01 | 2023-12-01 | 一种产品表面异常检测方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333730B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598881A (zh) * | 2020-05-19 | 2020-08-28 | 西安电子科技大学 | 基于变分自编码器的图像异常检测方法 |
| US20200294654A1 (en) * | 2019-03-14 | 2020-09-17 | Fuji Xerox Co., Ltd. | System and method for generating descriptions of abnormalities in medical images |
| CN112732965A (zh) * | 2019-10-28 | 2021-04-30 | 中国银联股份有限公司 | 基于图像描述生成的异常事件检测方法及检测系统 |
| CN113591902A (zh) * | 2021-06-11 | 2021-11-02 | 中国科学院自动化研究所 | 基于多模态预训练模型的跨模态理解与生成方法和装置 |
| CN115033724A (zh) * | 2022-06-30 | 2022-09-09 | 合肥工业大学 | 基于多模态调制算法的电熔镁炉异常工况识别方法 |
| CN115346132A (zh) * | 2022-08-12 | 2022-11-15 | 天津市测绘院有限公司 | 多模态表示学习的遥感图像异常事件检测方法及装置 |
| CN116935129A (zh) * | 2023-07-25 | 2023-10-24 | 浙江大学计算机创新技术研究院 | 一种基于动态学习提示的零样本异常图像检测方法 |
-
2023
- 2023-12-01 CN CN202311630054.1A patent/CN117333730B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200294654A1 (en) * | 2019-03-14 | 2020-09-17 | Fuji Xerox Co., Ltd. | System and method for generating descriptions of abnormalities in medical images |
| CN112732965A (zh) * | 2019-10-28 | 2021-04-30 | 中国银联股份有限公司 | 基于图像描述生成的异常事件检测方法及检测系统 |
| CN111598881A (zh) * | 2020-05-19 | 2020-08-28 | 西安电子科技大学 | 基于变分自编码器的图像异常检测方法 |
| CN113591902A (zh) * | 2021-06-11 | 2021-11-02 | 中国科学院自动化研究所 | 基于多模态预训练模型的跨模态理解与生成方法和装置 |
| CN115033724A (zh) * | 2022-06-30 | 2022-09-09 | 合肥工业大学 | 基于多模态调制算法的电熔镁炉异常工况识别方法 |
| CN115346132A (zh) * | 2022-08-12 | 2022-11-15 | 天津市测绘院有限公司 | 多模态表示学习的遥感图像异常事件检测方法及装置 |
| CN116935129A (zh) * | 2023-07-25 | 2023-10-24 | 浙江大学计算机创新技术研究院 | 一种基于动态学习提示的零样本异常图像检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张小斐;耿俊成;孙玉宝;: "图正则非线性岭回归模型的异常用电行为识别", 计算机工程, no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117333730B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiao et al. | Surface defect detection using image pyramid | |
| CN114841972B (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN106875395B (zh) | 基于深度神经网络的超像素级sar图像变化检测方法 | |
| CN112763214B (zh) | 基于多标签零样本学习的滚动轴承故障诊断方法 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN113989600B (zh) | 一种图像异物检测方法 | |
| KR102325347B1 (ko) | 머신러닝 기반 결함 분류 장치 및 방법 | |
| CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
| CN111476758A (zh) | Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质 | |
| CN117455868A (zh) | 基于显著融合差异图和深度学习的sar图像变化检测方法 | |
| CN115937626A (zh) | 基于实例分割的半虚拟数据集自动生成方法 | |
| CN117635585A (zh) | 一种基于教师-学生网络的纹理表面缺陷检测方法 | |
| CN115861715A (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| Li et al. | Surface defect detection algorithm of aluminum based on improved faster RCNN | |
| Li et al. | Wafer crack detection based on yolov4 target detection method | |
| Liu et al. | A dual-branch balance saliency model based on discriminative feature for fabric defect detection | |
| CN117333730B (zh) | 一种产品表面异常检测方法及终端 | |
| CN115841557A (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
| CN115527207A (zh) | 基于深度神经网络的列车闸调器控制杆螺母故障检测方法 | |
| CN113673589A (zh) | 基于边框距离度量的标签选择自适应增量检测方法及系统 | |
| Liu et al. | Unsupervised fabric defect detection framework based on knowledge distillation | |
| Dong et al. | A Contrastive Learning Transformer for Change Detection in High-Resolution SAR Images | |
| Zhou et al. | An Automatic Pointer Meter Reading Method based on Deep Learning in Gas Gathering Station | |
| CN114882292B (zh) | 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 | |
| Ma et al. | Quality detection method for controller process based on mask R-CNN network model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |