CN112036517B - 图像缺陷分类方法、装置及电子设备 - Google Patents
图像缺陷分类方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112036517B CN112036517B CN202011219552.3A CN202011219552A CN112036517B CN 112036517 B CN112036517 B CN 112036517B CN 202011219552 A CN202011219552 A CN 202011219552A CN 112036517 B CN112036517 B CN 112036517B
- Authority
- CN
- China
- Prior art keywords
- defect
- target image
- coarse
- branch
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 238000010586 diagram Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 24
- 238000005520 cutting process Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000004260 weight control Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007636 ensemble learning method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明实施例公开了一种图像缺陷分类方法、装置及电子设备，涉及数据处理技术领域。该方法包括：针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图；基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图；利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。通过本申请的方案，提高了图像缺陷分类的效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及图像缺陷分类技术。
背景技术
缺陷检测和分类任务中，有以下需求和问题：
1）有复杂场景的缺陷检测需求：缺陷检测和分类需求中，如工件表面的缺陷检测中，同一零件工件在不同的工艺流程中背景、光照条件都不一致，导致存在不同背景下需要缺陷检测的需求。
2）在图像中有大缺陷和小缺陷，现有的图像分类方法不能很好地同时适用大缺陷和小缺陷。大缺陷，在小图像中特征能保留；而在缩放后的小图像中，小缺陷将变得更小，特征不易提取，致使小缺陷分类效果差。
现有的缺陷分类技术，主要有3个：
a) 经典图像分类方法：
以区分不同的缺陷类别作为分类的目标，通常采用vggNet，ResNet，DenseNet等经典分类神经网络进行缺陷分类。但由于没有缺陷定位算法，只能通过对原图缩放后的resized_img子图，将定位后的缺陷位置图缩放到一定尺寸后作为输入，通过backbone骨架网路进行特征提取，之后再通过全连接层等分类器对特征进行分类，得到此图的缺陷类别。
b) 基于特定缺陷定位算法的图像分类方法：
通常，该方法首先通过传统图像处理算法或GAN、AutoEncoder等深度学习方法，进行缺陷的定位；之后，通过缺陷位置信息，从原图中裁切出一定大小的cropped_img子图，采用经典网络进行缺陷类别预测。
c) 目标检测方法：
目前，Yolo、RCNN等目标检测方法是进行缺陷分类效果最佳、应用较广的方式。但目标检测需要人工标注，标定出缺陷类别和各个缺陷在图中的位置信息。
现有方案(a). 没有定位算法的缺陷分类方法：分类效果有限；现有方案(b).基于特定缺陷定位算法的缺陷分类方法：强依赖于图片的场景和缺陷定位算法，不同场景的图片，其需要的缺陷定位算法不同；现有方案(c).目标检测算法：需要大量的人工标注
针对上述问题，亟需一种全新的图像缺陷分类技术。
发明内容
有鉴于此，本发明实施例提供一种图像缺陷分类方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，至少部分的解决现有技术中存在的问题。
第一方面，本发明实施例提供了一种图像缺陷分类方法，包括：
针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；
基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；
利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；
通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。
根据本公开实施例的一种具体实现方式，所述针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，包括：
获取目标图像的原始尺寸以及进行缩放处理的目标尺寸；
基于所述原始尺寸和所述目标尺寸，对所述目标图像进行缩放处理，得到缩略图。
根据本公开实施例的一种具体实现方式，所述利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征，包括：
将所述缩略图输入到骨架网络中的粗特征提取分支中；
在粗特征提取分钟中，对所述缩略图进行全图的前景和背景的特征提取，得到粗特征。
根据本公开实施例的一种具体实现方式，所述基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，包括：
根据预测类别和标签的损失函数、以及提取的粗特征，通过引导式反向传播求得梯度；
由三维梯度可视化方式将梯度转化为热力图。
根据本公开实施例的一种具体实现方式，所述基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图，包括：
以缺陷位置为中心，按照预设的裁剪尺寸对所述目标图像进行裁剪处理，得到与所述缺陷位置对应的缺陷子图。
根据本公开实施例的一种具体实现方式，所述利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征，包括：
将所述缺陷子图输入到所述骨架网络中的细特征提取分支中；
在所述骨架网络中的细特征提取分支的网络层中提取所述目标图像的细特征。
根据本公开实施例的一种具体实现方式，所述通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，包括：
利用分支特征权重调节器，进行粗特征分支特征和细特征分支的权重控制；
在模型训练阶段，随着训练周期的变化，实现训练前期粗特征分支特征权重大细特征分支权重小。
根据本公开实施例的一种具体实现方式，所述在所述集成分类器中对所述目标图像的缺陷类别进行预测，包括：
配置自适应权重参数α，通过适应器根据当前训练周期的数目自动生成，通过预设的衰减函数进行特征和细特征的调节，再通过分类器的累加集合，进行缺陷类别的预测；
自适应权重参数α是渐变式地从1变为0，逐渐减小，确保整个训练过程中，粗特征分支和细特征分支同时维持学习状态，让整个网络模型在训练前期主要依靠粗特征分支进行缺陷粗分类和热力图缺陷定位，在训练后期主要依靠细特征分支进行缺陷定位和细分类，实现无需人工标注的通过热力图自动缺陷定位的精细化缺陷分类模型。
第二方面，本发明实施例还提供了一种图像缺陷分类装置，包括：
获取模块，用于针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；
定位模块，用于基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；
提取模块，用于利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；
预测模块，用于通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式所述的图像缺陷分类方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述第一方面或第一方面的任一实现方式所述的图像缺陷分类方法。
第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行前述第一方面或第一方面的任一实现方式所述的图像缺陷分类方法。
本发明实施例提供的图像缺陷分类方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，包括针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。通过本公开的方案，具有如下有益效果：
有益效果1：精细化的缺陷分类，同时实现大缺陷和小缺陷的准确分类。
相比于经典分类方法，本发明采用了集成学习法，能同时兼顾大缺陷、小缺陷的特征提取和分类，能同时实现大、缺陷的精准分类。
通过resize（缩放）分支的粗特征和crop（裁剪）分支的细特征，再通过随训练时间的权重调节器，实现前期主要依靠reize分支，后期主要依靠crop分支的模型结构。能同时实现大缺陷和小缺陷分类预测高准确率。
有益效果2：无需人工标注的缺陷自主定位，能有效帮助小缺陷的精细分类。
相比于目标检测方法，本发明通过热力图实现自主缺陷定位，帮助小缺陷的精细化特征提取和特征分类。
通过resize子图的粗特征提取，通过反向梯度求得heatmap热力图，通过热力图实现缺陷的定位。
有益效果3：能同时适用于单一特定缺陷分类场景和复杂多变的缺陷分类场景。
热力图定位依据训练集的图片多样性，不同于特定的缺陷定位算法受限于单一场景。
相比于基于特征缺陷定位算法+图像分类方法，本发明借助热力图进行自主定位，采用。而热力图的定位效果不受限于图片的背景信息，能同时适用于不同的场景，如同时存在重复背景图、非重复背景图、高曝光背景图的场景。
有益效果4：采用集成学习法，能同时实现热力图定位任务和分类任务，实现端到端的集成训练，减少了训练复杂度。
热力图定位+图像分类的方式，需要3个步骤：首先，使用训练集完成热力图定位模型的训练；其次，通过热力图定位模型，推理得到训练集中每张图片中缺陷的位置信息；最后，根据上一步的缺陷位置信息，crop出缺陷子图，采用backbone训练缺陷分类器模型。而本发明采用的集成学习法，可以实现端到端的训练，无需拆分成依次的3个步骤。
有益效果5：相比于只使用crop子图的分类模型或只使用resize子图的分类模型，本发明的精细化集成分类模型的分类准确率更高。
本发明采用了集成学习法，能同时兼顾大缺陷、小缺陷的特征提取和分类，分类准确率更高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像缺陷分类流程示意图；
图2为本发明实施例提供的另一种图像缺陷分类流程示意图；
图3为本发明实施例提供的另一种图像缺陷分类流程示意图；
图4为本发明实施例提供的另一种图像缺陷分类流程示意图；
图5为本发明实施例提供的一种图像缺陷分类装置结构示意图；
图6为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种图像缺陷分类方法。本实施例提供的图像缺陷分类方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。
参见图1、图2及图3，本公开实施例提供的一种图像缺陷分类方法，包括如下步骤：
S101，针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征。
具体的，可以通过对目标图像的全图进行缩放后得到的图片（称为resized_img），采用resnet或densenet等backbone骨架网络，进行全图的前景（缺陷位置）和背景的特征提取。由于缺陷有大有小，小缺陷在缩放之后的子图中将变得更小，导致骨架网络对缺陷的提取效果不佳。因此，该分支只能称为粗特征提取的方式，训练集的通用特征，在训练的前期扮演重要角色。
同时，该分支提取得到的特征Fr将用来求取缺陷的热力图，随着训练过程的进行，提取的粗特征将更加精确，热力图的缺陷定位效果将越来越准确。
S102，基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图。
对于缩略图，当粗特征提取完后，根据预测类别和标签的损失函数（loss），以及提取的粗特征Fr，通过引导式反向传播求得梯度；再由三维梯度可视化技术将梯度转化为热力图；通过热力图，可得到此图的缺陷位置。
然后，通过热力图进行缺陷位置的定位，以缺陷的中心为中心，裁切出宽、高为一定尺寸（尺寸视实际效果而定，可以是64x64,128x128, 256x256…等）的子图，称为cropped_img子图，形成缺陷子图。
S103，利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征。
通过backbone骨架网络，进行cropped_img子图的精细化特征提取，得到细特征Fc能更好的学习小缺陷的特征。
S104，通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。
分支特征权重自适应调节器，进行粗特征分支特征Fc和细特征分支Fr的权重控制，随着训练epoch而变化。实现训练前期Fc权重大Fr权重小，训练后期反之。
假设总的训练epochs为Tmax，当前训练epoch为T。权重自适应调节器可由以下3种衰减函数中的一个组成：
1）概率衰减函数：
2) cos余弦衰减函数：
3) 线性衰减函数：
该模块将resize分支和crop分支的特征聚合，通过自适应分类器进行每张图片的缺陷类别预测。集成学习模块使用一个自适应权重参数α，通过适应器根据当前训练epoch的数目自动生成，通过一定的函数公式（如余弦衰减公式、抛物线衰减公式）进行两个分支特征的调节，再通过分类器的累加集合，进行缺陷类别的预测。
而自适应权重参数α是渐变式地从1变为0，逐渐减小，能够实现在整个训练过程中，两个分支同时维持了学习状态，让整个网络模型在训练前期主要依靠resize分支进行缺陷粗分类和heatmap热力图缺陷定位，在训练后期主要依靠crop分支进行缺陷定位和细分类，实现一套无需人工标注的通过热力图自动缺陷定位的精细化缺陷分类模型。
本发明方法的集成学习模块，其实现是使用一个自适应权衡参数来控制特征 
和 
的权重，经过加权的特征向量
和 
，特征将分别输入到分类器 
和
。
特征 
和分类器 
的计算方式由逐元素累加的方式实现，公式为：
其中 
是预测得到的输出值，即 
。
在实现上述实施例的步骤，可以训练流程和预测过程中分别使用。
训练步骤：
本发明的算法模型，是一个渐变的训练过程：
1）使用缩放子图，经过进行图像的特征粗提取，得到粗特征Fr；
2）再利用提取到粗特征，通过反向梯度求得热力图，根据热力图实现缺陷的定位；再通过热力图的定位信息，从原图中裁切出缺陷子图；
3）使用缺陷子图进行细特征提取，得到细特征Fc；
4）通过分支特征权重调节器，进行粗特征Fr和细特征Fc的权值调整，输入到集成分类器上，实现最后的缺陷类别预测。
集成学习策略，可以实现在训练阶段在两个分支之间逐渐切换模型学习的“注意力”。前期主要靠粗特征分支，后期主要靠热力图的系特征分支。
加权交叉熵分类损失函数：
对于每个缺陷类别
, softmax函数可由如下公式来计算该缺陷类别的概率值：
用E(·, ·) 表示交叉熵函数，并将输出概率分布记为 
加权交叉熵分类损失函数为
训练前期，裁剪输入子图的特殊处理：
在训练前期resize粗特征提取能力不强时，热力图的定位效果有限，当热力图定位不够准确（即没有找到明确的缺陷位置）时，细分支的输入crop子图，可以有两种方式：
方式1，从原图的正中心crop出一定尺寸的子图，尺寸由backbone-C的输入尺寸决定。
方式2，热力图中的像素值大小可以认为是缺陷位置点的可能点。可以去热力图中像素最大值的坐标位置为中心，裁剪出一定尺寸的子图。
具体两种方式的选择，依实际情况而定。
预测过程
预测过程的步骤：
1）对原图（目标图像）进行缩放，通过粗特征提取分支提取到Fc特征，并将Fc特征暂存；
2）通过Fc特征进行热力图定位，得到缺陷位置；
3）根据缺陷位置，从原图中裁剪出缺陷子图，通过粗特征分支进行Fc特征提取；
4）集合Fr和Fc特征，通过权重调节器和缺陷分类器，推理得到此图的缺陷类别。
推理过程中的分支权重比例值：
粗特征分支和系特征分支的特征都同样重要，可以设定两个分支相同的权值，即Fr和Fc的权重均为0.5。
作为另外一种方式，一个训练完备的模型其热力图定位精准，crop分支提取到的特征Fc对缺陷的特征表达更为充分，Fc特征对最后缺陷分类的贡献比Fr突出，可以设定α为0.2-0.5的数值（推荐α为0.25）。这一点也与训练流程的权值衰减相契合（后期主要依靠crop分支进行图片的缺陷分类），但又不能完全丢弃resize分支，不能将权值α设为0，因为resize分支在大缺陷时的特征表达比crop分支更好。
本发明的缺陷分类方法，对复杂场景的可融合能力强。能实现不同类型图片同时存在的场合，如当均匀背景、非均匀背景图同时存在时。
通过引入热力图进行缺陷自主定位，实现缺陷定位+缺陷分类的端到端模型。通过特征提取等网络自学习方式进行缺陷自主定位，无需人工标注缺陷位置。
引入了集成学习方法进行缺陷分类，实现。采用集成学习方式，训练前期通过resize粗特征分支进行特征提取和热力图定位，实现粗分类，同时，全图的resize缩放通道能很好的保证大缺陷的分类准确率；随着训练的逐步进行，热力图定位效果提升，通过alpha分支自调节函数，逐步实现后期的分类效果提升。能够同时保证大缺陷、小缺陷的定位和分类效果。
相比于目标检测算法，本发明方法不需要进行人工标注缺陷位置，大量减少了人力，大大缩短了算法开发和应用化的周期；同时，缺陷的分类效果较为准确。
比经典的缩放式图像分类方式，本发明方法准确率高。相比于将原图缩放resize到一定尺寸的图像分类方式，本发明具有自主定位的能力。通过缺陷自主定位，能在保留大缺陷的分类精度前提下，极大提高小缺陷的分类准确率。
相比于特定缺陷定位算法+图像分类方法，本发明方法具有高适应性和可扩展性。相比于传统CV进行缺陷定位的方式，能适应不同场景的类型图片，如均匀背景、非周期背景图、高曝光等，具有高适应性、高扩展性。
参见图4，根据本公开实施例的一种具体实现方式，所述针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，包括：
S401，获取目标图像的原始尺寸以及进行缩放处理的目标尺寸；
S402，基于所述原始尺寸和所述目标尺寸，对所述目标图像进行缩放处理，得到缩略图。
根据本公开实施例的一种具体实现方式，所述利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征，包括：
将所述缩略图输入到骨架网络中的粗特征提取分支中；
在粗特征提取分钟中，对所述缩略图进行全图的前景和背景的特征提取，得到粗特征。
根据本公开实施例的一种具体实现方式，所述基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，包括：
根据预测类别和标签的损失函数、以及提取的粗特征，通过引导式反向传播求得梯度；
由三维梯度可视化方式将梯度转化为热力图。
根据本公开实施例的一种具体实现方式，所述基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图，包括：
以缺陷位置为中心，按照预设的裁剪尺寸对所述目标图像进行裁剪处理，得到与所述缺陷位置对应的缺陷子图。
根据本公开实施例的一种具体实现方式，所述利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征，包括：
将所述缺陷子图输入到所述骨架网络中的细特征提取分支中；
在所述骨架网络中的细特征提取分支的网络层中提取所述目标图像的细特征。
根据本公开实施例的一种具体实现方式，所述通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，包括：
利用分支特征权重调节器，进行粗特征分支特征和细特征分支的权重控制；
在模型训练阶段，随着训练周期的变化，实现训练前期粗特征分支特征权重大细特征分支权重小。
根据本公开实施例的一种具体实现方式，所述在所述集成分类器中对所述目标图像的缺陷类别进行预测，包括：
配置自适应权重参数α，通过适应器根据当前训练周期的数目自动生成，通过预设的衰减函数进行特征和细特征的调节，再通过分类器的累加集合，进行缺陷类别的预测；
自适应权重参数α是渐变式地从1变为0，逐渐减小，确保整个训练过程中，粗特征分支和细特征分支同时维持学习状态，让整个网络模型在训练前期主要依靠粗特征分支进行缺陷粗分类和热力图缺陷定位，在训练后期主要依靠细特征分支进行缺陷定位和细分类，实现无需人工标注的通过热力图自动缺陷定位的精细化缺陷分类模型。
与上面的方法实施例相对应，参见图5，本公开还提供了一种图像缺陷分类装置50，包括：
获取模块501，用于针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；
定位模块502，用于基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；
提取模块503，用于利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；
预测模块504，用于通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。
图5所示装置可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。
参见图6，本公开实施例还提供了一种电子设备60，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中图像缺陷分类方法。
本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中。
本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的图像缺陷分类方法。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备60可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备60，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种图像缺陷分类方法，其特征在于，包括：
针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；
基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；
利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；
通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测；其中
所述基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，包括：
根据预测类别和标签的损失函数、以及提取的粗特征，通过引导式反向传播求得梯度；
由三维梯度可视化方式将梯度转化为热力图。
2.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，包括：
获取目标图像的原始尺寸以及进行缩放处理的目标尺寸；
基于所述原始尺寸和所述目标尺寸，对所述目标图像进行缩放处理，得到缩略图。
3.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征，包括：
将所述缩略图输入到骨架网络中的粗特征提取分支中；
在粗特征提取分支中，对所述缩略图进行全图的前景和背景的特征提取，得到粗特征。
4.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图，包括：
以缺陷位置为中心，按照预设的裁剪尺寸对所述目标图像进行裁剪处理，得到与所述缺陷位置对应的缺陷子图。
5.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征，包括：
将所述缺陷子图输入到所述骨架网络中的细特征提取分支中；
在所述骨架网络中的细特征提取分支的网络层中提取所述目标图像的细特征。
6.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，包括：
利用分支特征权重调节器，进行粗特征分支特征和细特征分支的权重控制；
在模型训练阶段，随着训练周期的变化，实现训练前期粗特征分支特征权重大、细特征分支权重小。
7.根据权利要求1所述的图像缺陷分类方法，其特征在于，所述在所述集成分类器中对所述目标图像的缺陷类别进行预测，包括：
配置自适应权重参数α，通过适应器根据当前训练周期的数目自动生成，通过预设的衰减函数进行粗特征和细特征的调节，再通过分类器的累加集合，进行缺陷类别的预测；
自适应权重参数α是渐变式地从1变为0，逐渐减小，确保整个训练过程中，粗特征分支和细特征分支同时维持学习状态，让整个网络模型在训练前期依靠粗特征分支进行缺陷粗分类和热力图缺陷定位，在训练后期依靠细特征分支进行缺陷定位和细分类，实现无需人工标注的通过热力图自动缺陷定位的精细化缺陷分类模型。
8.一种图像缺陷分类装置，其特征在于，包括：
获取模块，用于针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；
定位模块，用于基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；
提取模块，用于利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；
预测模块，用于通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测；其中
所述定位模块还用于：
根据预测类别和标签的损失函数、以及提取的粗特征，通过引导式反向传播求得梯度；
由三维梯度可视化方式将梯度转化为热力图。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像缺陷分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219552.3A CN112036517B (zh) | 2020-11-05 | 2020-11-05 | 图像缺陷分类方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219552.3A CN112036517B (zh) | 2020-11-05 | 2020-11-05 | 图像缺陷分类方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036517A CN112036517A (zh) | 2020-12-04 |
| CN112036517B true CN112036517B (zh) | 2021-05-04 |
Family
ID=73573171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011219552.3A Active CN112036517B (zh) | 2020-11-05 | 2020-11-05 | 图像缺陷分类方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036517B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781391A (zh) * | 2021-08-02 | 2021-12-10 | 南京中科创达软件科技有限公司 | 图像缺陷检测方法以及相关设备 |
| CN113706477B (zh) * | 2021-08-10 | 2024-02-13 | 南京旭锐软件科技有限公司 | 缺陷类别识别方法、装置、设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016154592A1 (en) * | 2015-03-26 | 2016-09-29 | Microvention, Inc. | Embiolic particles |
| CN110222820A (zh) * | 2019-05-28 | 2019-09-10 | 东南大学 | 基于权值剪枝和量化的卷积神经网络压缩方法 |
| CN110610715B (zh) * | 2019-07-29 | 2022-02-22 | 西安工程大学 | 一种基于cnn-dnn混合神经网络的降噪方法 |
| CN111292305B (zh) * | 2020-01-22 | 2023-05-05 | 重庆大学 | 一种改进型yolo-v3的金属加工表面缺陷检测方法 |
| CN111444939B (zh) * | 2020-02-19 | 2022-06-28 | 山东大学 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
| CN111768398A (zh) * | 2020-07-06 | 2020-10-13 | 北京瑞莱智慧科技有限公司 | 光伏组件的缺陷检测方法、装置、存储介质和计算设备 |
-
2020
- 2020-11-05 CN CN202011219552.3A patent/CN112036517B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036517A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210042275A (ko) | 스몰 타깃 검출 방법 및 장치 | |
| CN111553362B (zh) | 一种视频处理方法、电子设备和计算机可读存储介质 | |
| CN110288549B (zh) | 视频修复方法、装置及电子设备 | |
| CN110189246A (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN110222726A (zh) | 图像处理方法、装置及电子设备 | |
| CN112036517B (zh) | 图像缺陷分类方法、装置及电子设备 | |
| CN110399847B (zh) | 关键帧提取方法、装置及电子设备 | |
| CN110047121B (zh) | 端到端的动画生成方法、装置及电子设备 | |
| CN113034348A (zh) | 图像处理方法、装置、存储介质及设备 | |
| CN110211195B (zh) | 生成图像集合的方法、装置、电子设备和计算机可读存储介质 | |
| CN111258519B (zh) | 屏幕分屏实现方法、装置、终端和介质 | |
| CN117437411A (zh) | 语义分割模型训练方法、装置、电子设备及存储介质 | |
| CN110288037A (zh) | 图像处理方法、装置及电子设备 | |
| CN110211017A (zh) | 图像处理方法、装置及电子设备 | |
| CN114419322B (zh) | 一种图像实例分割方法、装置、电子设备及存储介质 | |
| CN114445269A (zh) | 一种图像特效处理方法、装置、设备及介质 | |
| CN114650361A (zh) | 拍摄模式确定方法、装置、电子设备和存储介质 | |
| CN114422698A (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN115546769B (zh) | 道路图像识别方法、装置、设备、计算机可读介质 | |
| CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN116543367A (zh) | 基于鱼眼相机的车位信息生成方法、装置、设备和介质 | |
| CN110619028A (zh) | 房源详情页的地图显示方法、装置、终端设备及介质 | |
| CN115619904A (zh) | 图像处理方法、装置及设备 | |
| CN111275800B (zh) | 动画生成方法、装置、电子设备及计算机可读存储介质 | |
| CN114040129A (zh) | 视频生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |