CN116416214A - 产品缺陷识别方法、装置及设备 - Google Patents

产品缺陷识别方法、装置及设备 Download PDF

Info

Publication number
CN116416214A
CN116416214A CN202310182649.9A CN202310182649A CN116416214A CN 116416214 A CN116416214 A CN 116416214A CN 202310182649 A CN202310182649 A CN 202310182649A CN 116416214 A CN116416214 A CN 116416214A
Authority
CN
China
Prior art keywords
size
defect
feature map
blocks
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310182649.9A
Other languages
English (en)
Inventor
曹建伐
陈安
周才健
周柔刚
许允迪
肖廷哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Huicui Intelligent Technology Co ltd
Hangzhou Huicui Intelligent Technology Co ltd
Original Assignee
Wenzhou Huicui Intelligent Technology Co ltd
Hangzhou Huicui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Huicui Intelligent Technology Co ltd, Hangzhou Huicui Intelligent Technology Co ltd filed Critical Wenzhou Huicui Intelligent Technology Co ltd
Priority to CN202310182649.9A priority Critical patent/CN116416214A/zh
Publication of CN116416214A publication Critical patent/CN116416214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明一种产品缺陷识别方法、装置及设备。该方法包括：提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；将具有第二尺寸的第一特征图，输入到改进型SparseInst网络；其中，改进型SparseInst网络是将传统SparseInst网络中的自适应平均池化算子替换为静态算子后得到；利用静态算子按照固定大小的卷积核、固定大小的padding和固定大小的步长，从第一特征图中提取特征，得到第二特征图；将第二特征图的尺寸反缩放为第一尺寸；基于具有第一尺寸的第二特征图，识别待识别产品中的缺陷。该方法可以导出模型用于部署。

Description

产品缺陷识别方法、装置及设备
技术领域
本发明涉及数据处理技术领域，具体涉及一种产品缺陷识别方法、装置及设备。
背景技术
缺陷分割是图像分割技术在工业领域最重要的应用，工业产品缺陷往往表现出“细小”、“模糊”、“复杂”、“多样”等等特性，传统图像分割算法难以应付如此千奇百怪的形态。究其原因，传统图像分割算法采用特定算法人工提取特征，然后根据特征分割出目标，这些“特定”算法提取出来的特征是有限的，无法概况所有形态的产品，故传统图像分割算法往往表现出“低”的鲁棒性。
不同于传统算法，深度学习依靠“数据”驱动，自动学习出产品的特征，能很好的适应形态复杂的产品。基于深度学习的图像分割算法，往往表现出优异的鲁棒性。
SparseI nst分割网络全称“实时实例分割的稀疏实例激活网络”，2022年度(截至目前6月22日)在MSCOCO数据集上，Sparse I nst在推理速度和精度上都表现出了卓越的性能。经实践研究发现，Sparse I nst网络在大目标分割上确实表现出优异的性能，然而将其应用到工业缺陷检测上发现存在以下几点问题：
①Sparse I nst网络存在动态结构，无法部署；
②Sparse I nst分割的缺陷存在断开不连续情况(详见附录-表1第2行第1列)。实际应用中往往需要检测出整块的缺陷，需要知道缺陷块b l ob属性；
③同一个缺陷块存在多种缺陷(详见附录-表1第2行第2列)。也就是一个缺陷块上可能有多个目标，这实际上是误检，实践要求是一个缺陷块只能对应一个目标；
SparseI nst分割的缺陷块存在于多个不同目标(详见附录-表1第2行第3列)，属于误检。
发明内容
本发明针对SparseI nst网络在缺陷分割以上四点的不足，作以下几方面的改进：
①针对第1点，修改SparseI nst网络结构，在不影响性能的情况下去除动态结构，使之能用于部署；
②针对第2、3，4点，在推理阶段通过引入“同类合并”、“相邻合并”、“不同类合并”规则使得缺陷完整分块。
通过上面的改进，可以使得SparseI nst网络能真正应用于工业领域，而且表现出优异的缺陷分割性能。
第一方面，提供了一种产品缺陷识别方法，包括：
提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像包含所述产品的影像；
将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；
将具有第二尺寸的第一特征图，输入到改进型Sparse I nst网络；其中，所述改进型SparseI nst网络是将传统SparseI nst网络中的自适应平均池化(Adapt i veAvgPool2d)算子替换为静态算子AvgPoo l2d后得到；
利用所述静态算子按照固定大小的卷积核、固定大小的padd i ng和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图；
将所述第二特征图的尺寸反缩放为所述第一尺寸；
基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
在一个实施例中，所述第二尺寸的大小为20×20，所述卷积核的大小为20，所述步长的大小为20，所述padd i ng的大小为0。
在一个实施例中，所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品存在多个属于同一类型的缺陷块；
所述方法还包括：
将所述多个属于同一类型的缺陷块的mask合并为一个mask。
在一个实施例中，在所述将所述多个属于同一类型的缺陷块的mask合并为一个mask之后，所述方法还包括：
对同一类型的缺陷块的mask进行轮廓提取，重新分离目标，得到独立的缺陷块；
根据相邻的两个缺陷块的临近程度，合并所述两个缺陷块；其中，临近程度与所述两个缺陷块之间的最小距离负相关，与所述两个缺陷块的面积正相关。
在一个实施例中，所述临近程度由公式(1)计算得到：
Figure BDA0004102772450000031
其中，djacent表示临近程度，contour1、contour2表示相邻的两个缺陷块，分子表示所述两个缺陷块之间的最小距离，分母表示所述两个缺陷块的面积开根号的最大值。
在一个实施例中，所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品还存在多个分别属于不同类型的缺陷块；
所述方法还包括：
将多个分别属于不同类型的缺陷块进行合并。
在一个实施例中，所述将多个分别属于不同类型的缺陷块进行合并包括：
(a)将所述多个分别属于不同类型的缺陷块按照面积由大到小排序，放到第一列表中；
(b)取出第一列表中的第一个缺陷块，判断所述第一个缺陷块和其他缺陷块之间是否有交集，若其他缺陷块和所述第一个缺陷块有交集，则将所述其他缺陷块和所述第一个缺陷块合并，得到新的缺陷块，并将新的缺陷块放入到第二列表中，所述其他缺陷块为所述第一列表中除第一个缺陷块之外的缺陷块；
重复步骤(b)直至第一列表为空，此时，第二列表中的缺陷块为最终合并得到的缺陷块集合。
第二方面，提供了一种产品缺陷识别方法，包括：提取单元、缩放单元、输入单元、识别单元；其中，
提取单元用于提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像为所述
缩放单元用于将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；
输入单元用于将具有第二尺寸的第一特征图，输入到改进型SparseI nst网络；其中，所述改进型Sparse I nst网络是将传统SparseI nst网络中的自适应平均池化(AdaptiveAvgPoo l2d)算子替换为静态算子AvgPoo l 2d后得到；
提取单元还用于利用所述静态算子按照固定大小的卷积核、固定大小的padd ing和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图；
缩放单元还用于将所述第二特征图的尺寸反缩放为所述第一尺寸；
识别单元用于基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
第三方面，提供了一种计算设备，包括存储器和处理器；
所述存储器存储有计算指令；
所述处理器执行所述计算指令，使得所述计算设备执行权利要求1-7任一项所述的方法。
第四方面，提供了一种计算机可读存储介质，包括计算机程序指令，当所述计算机程序指令由计算设备执行时，所述计算设备执行权利要求1-7任一项所述的方法。
本发明提供方案对SparseI nst网络进行了改进，使SparseI nst网络可以导出模型用于部署。并且本发明利用SparseI nst网络分割能力，使用本发明提出的合并规则对网络输出的mask进行后处理，可以规避Sparse I nst网络分割缺陷误判情况，使之能应用于工业产品的缺陷分割中。
附图说明
图1是本发明提供的一种产品缺陷识别方法的流程图。
图2是本发明提供的一种产品缺陷展示图；
图3是本发明提供的一种产品缺陷展示图；
图4是本发明提供的一种产品缺陷展示图；
图5是本发明提供的一种产品缺陷展示图；
图6A是本发明提供的一种产品缺陷展示图；
图6B是本发明提供的一种产品缺陷展示图；
图7是本发明提供的一种产品缺陷展示图；
图8是本发明提供的一种产品缺陷展示图；
图9是本发明提供的一种产品缺陷展示图；
图10是本发明提供的一种产品缺陷识别装置的结构示意图；
图11是本发明提供的一种计算设备的结构示意图。
具体实施方式
下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
在进一步描述本发明具体实施方式之前，应理解，本发明的保护范围不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围；在本发明说明书和权利要求书中，除非文中另外明确指出，单数形式“一个”、“一”和“这个”包括复数形式。
当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域技术人员通常理解的意义相同。除实施例中使用的具体方法、设备、材料外，根据本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。
参阅图1，本发明实施例提供了一种产品缺陷识别方法，包括如下步骤。
步骤101，提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像包含所述产品的影像。
步骤102，将第一特征图的大小由第一尺寸缩放为固定的第二尺寸。
在一些实施例中，所述第二尺寸的大小为20×20，所述卷积核的大小为20，所述步长的大小为20，所述padd i ng的大小为0。
步骤103，将具有第二尺寸的第一特征图，输入到改进型Sparse I nst网络；其中，所述改进型Sparse I nst网络是将传统Sparse I nst网络中的自适应平均池化(Adapt iveAvgPoo l 2d)算子替换为静态算子AvgPoo l 2d后得到。
步骤104，利用所述静态算子按照固定大小的卷积核、固定大小的padd i ng和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图。
Sparse I nst网络不能用于部署，是因为网络中存在动态结构，具体是网络中的PPM结构，该结构中使用了Adapt i veAvgPoo l 2d算子，自适应平均池化。自适应平均池化会根据特征图像大小，自动算出卷积的kerne l s i ze、padd i ng、str i de等参数。由于深度学习推理模型必须是静态的，这种动态结构网络使之无法导出静态模型文件(如onnx)。对此本发明将该结构改写为静态结构。具体如下：
①将输入给Adapt i veAvgPoo l 2d的特征图大小缩放到固定尺寸20*20大小，并记录原始特征图大小；
②计算该尺寸下的kerne l s i ze、padd i ng、str i de；
③用上述计算得到的kerne l s i ze、padd i ng、str i de，用AvgPoo l 2d进行特征提取；
④将3)得到的特征图像反缩放到原始特征图像大小。
为了改为静态算子AvgPoo l 2d，那么必须要得到一个固定大小特征图传给AvgPoo l 2d，因为特征大小是固定的所以kerne l s i ze、padd i ng、str i de也是固定的。计算公式如下：
Figure BDA0004102772450000071
kernel_size＝in_size-(out_size-1)×stride
padding＝0
其中i n_s i ze为输入特征图像尺寸，即为20；out_s i ze为输出特征图尺寸，平均池化作用是将特征图像池化为1*1大小，所以out_s i ze为1；padd i ng设置为0即可。由此可以算出AvgPoo l 2d算子所需参数str i de＝20、kerne l_s i ze＝20、padd i ng＝0，均为固定值。
步骤105，将所述第二特征图的尺寸反缩放为所述第一尺寸。
上面采用20*20是因为实验发现，无论原始图像输入多大，在进入Adapt iveAvgPoo l 2d的特征图大小和20*20相差不大，在精度上面基本上不受损失。由于只增加了两次缩放，而缩放的特征图非常小，故速度方面也基本上不受影响。
步骤106，基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
通过上面的改进可以巧妙地避开Adapt i veAvgPoo l 2d动态结构，使Sparse Inst网络可以导出模型用于部署。
本发明实施例对Sparse I nst网络进行了进一步改进。图2示出了按照进一步改进后的Sparse I nst网络进行缺陷识别的识别效果。其中，
图2中的a1是产品的一个原局部图像，图2中的a2是改进前的Sparse I nst网络识别算法的识别结果，图2中a3是通过改进型Sparse I nst网络进行缺陷识别的识别结果。可以看出，改进前同一个缺陷块，检测缺陷是断开的，改进后同一个缺陷块不存在断开情况。
图2中的b1是产品的另一个原局部图像，图2中的b2是改进前的SparseI nst网络识别算法的识别结果，图2中b3是通过改进型SparseI nst网络进行缺陷识别的识别结果。可以看出，改进前同一个缺陷块上存在不同类型的缺陷块，改进后消除一个缺陷块上同时有多个缺陷块问题。
图2中的c1是产品的又一个原局部图像，图2中的c2是改进前的SparseI nst网络识别算法的识别结果，图2中c3是通过改进型SparseI nst网络进行缺陷识别的识别结果。可以看出，改进前检测到的缺陷存在于两个缺陷块上，改进后检测到的缺陷块为独立的两个缺陷块。
针对图2中a2、b2、c2所展示的SparseInst网络在缺陷分割上的三点的不足(为了方便描述将a2、b2、c2所展示的情况称为缺点1、2、3)，本发明实施例引入以下合并规则。
SparseI nst网络最后会以mask(黑白图像，一个mask表示一个缺陷块)形式输出，因此以下的合并规则都是基于mask进行操作的。为了清楚合并规程过程，本发明实施例以示意图方式给出说明，具体如下。
图3示出了缺点1、2、3，其中，图3中a1为原始图像，其他为分割得到的mask图像。其中，图3中的b1、b2、c1、c2为缺点1情况，c1、c3为缺点2情况，b3为缺点3情况。
在一些实施例中，步骤106中的所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品存在多个属于同一类型的缺陷块；所述方法还包括：将所述多个属于同一类型的缺陷块的mask合并为一个mask。具体如下。
同类合并。SparseInst分割算法存在一个缺陷块检测出多个缺陷块情况(缺点2情况)，这些缺陷块可能是同种类型的也可能不是同种类型。本发明实施例首先合并同类型缺陷，操作是先将所有同类型的mask合并为一个mask，合并计算公式为：Maski＝bitwise_or{maski,1,maski,2,...,maski,n},i∈(0,num_mask)。
该操作使得同种类型的缺陷块，如果重合，则会进行合并。通过该步可以将所有同类的目标合并到一个mask上为后续分离目标作准备。
经过同类合并，图3所示mask变为了图4所示mask。其中，图4中的a为点mask、b为线mask、c为块mask。
在一些实施例中，在所述将所述多个属于同一类型的缺陷块的mask合并为一个mask之后，所述方法还包括：对同一类型的缺陷块的mask进行轮廓提取，重新分离目标，得到独立的缺陷块；根据相邻的两个缺陷块的临近程度，合并所述两个缺陷块；其中，临近程度与所述两个缺陷块之间的最小距离负相关，与所述两个缺陷块的面积正相关。具体如下。
相邻合并。先对上面得到的同类型mask，进行轮廓提取，重新分离目标。得到mask如图5所示。其中，图5中的a、b分别为图4中a分离得到两个mask，图5中的c、d分别为图4中b分离得到两个mask，图5中的e、f分别为图4中c分离得到两个mask。
通过轮廓提取，本发明实施例重新得到了独立的缺陷块，这些缺陷块不存在缺点2的情况。
然后根据轮廓临近程度进行合并处理。两个轮廓是否相邻不仅取决于轮廓最小距离，而且取决于轮廓的大小，例如图6A所示的情况不能合并，图6B所示情况合并。
在一个说明性示例，所述临近程度由公式(1)计算得到：
Figure BDA0004102772450000091
其中，djacent表示临近程度，contour1、contour2表示相邻的两个缺陷块，分子表示所述两个缺陷块之间的最小距离，分母表示所述两个缺陷块的面积开根号的最大值。
上述公式表述为：两个轮廓的临近程度为两者之间最小距离和两者边长最大值的比值，这里通过面积开根号近似轮廓的边长。通过这个公式可以排除上述图6A情况，而保留图6B情况。根据上面公式如果两个轮廓接近，就将它们合并，合并时重新计算轮廓链码，得到新的轮廓，具体如图7所示。
在一些实施例中，所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品还存在多个分别属于不同类型的缺陷块；所述方法还包括：将多个分别属于不同类型的缺陷块进行合并。
通过该改进措施可以避免SparseI nst网络的缺点1，即可以将断开连续的缺陷块合并为一个缺陷块。由于该步骤对图2中a2、b2、c3中的mask进行了轮廓提取操作，相当于对所有目标进行分开处理，也就解决了SparseI nst网络缺点3，即缺陷块存于多个目标。通过该步骤，最终得到的mask如图8所示。
在一些实施例中，所述将多个分别属于不同类型的缺陷块进行合并包括：(a)将所述多个分别属于不同类型的缺陷块按照面积由大到小排序，放到第一列表中；(b)取出第一列表中的第一个缺陷块，判断所述第一个缺陷块和其他缺陷块之间是否有交集，若其他缺陷块和所述第一个缺陷块有交集，则将所述其他缺陷块和所述第一个缺陷块合并，得到新的缺陷块，并将新的缺陷块放入到第二列表中，所述其他缺陷块为所述第一列表中除第一个缺陷块之外的缺陷块；重复步骤(b)直至第一列表为空，此时，第二列表中的缺陷块为最终合并得到的缺陷块集合。具体如下。
不同类合并。Sparse I nst网络的缺点2，原本同一个缺陷块上可能分割到了多个不同类型缺陷块。因此需要对该情况缺陷进行合并操作，合并步骤如下：
①将2)步骤得到的缺陷块按照面积由大到小排序，放到一个列表中，记为A；
②取出A中第一个缺陷块a0，将A中余下的缺陷块和a0进行判断，如果两个缺陷块有交集，则将余下的缺陷块合并到A中，完成之后将A放到列表B中；
③重复步骤2)直至A列表为空，此时B列表即为最终合并得到的缺陷块集合。
该步骤会将两个不同类型的缺陷块，如果重合，会合并到面积较大的缺陷块中。上面两个点缺陷是由于误检而存在于线缺陷和块缺陷块中，通过不同类合并方式，将点缺陷合并到了线和块缺陷块中。通过该步骤最终解决了SparseI nst网络缺点2问题。最终得到的mask如9所示。
SparseI nst网络能比较高效地将缺陷分割出来，但是分割到的缺陷存在一定的误判情况(缺点1、2、3)，这并不说明Sparse I nst网络分割能力的低下，这是由工业产品复杂性造成的。本发明充分利用SparseI nst网络分割能力，使用本发明提出的合并规则对网络输出的mask进行后处理，可以规避SparseI nst网络分割缺陷误判情况，使之能应用于工业产品的缺陷分割中。
参阅图10，本发明实施例还提供了一种产品缺陷识别装置1000，包括：提取单元1010、缩放单元1020、输入单元1030、识别单元1040；其中，
提取单元1010用于提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像为所述
缩放单元1020用于将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；
输入单元1030用于将具有第二尺寸的第一特征图，输入到改进型SparseI nst网络；其中，所述改进型SparseI nst网络是将传统SparseI nst网络中的自适应平均池化(Adapt iveAvgPoo l2d)算子替换为静态算子AvgPoo l 2d后得到；
提取单元1010还用于利用所述静态算子按照固定大小的卷积核、固定大小的paddi ng和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图；
缩放单元1020还用于将所述第二特征图的尺寸反缩放为所述第一尺寸；
识别单元1040用于基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
装置100的各功能单元的功能还可以参考上文对图1所示各方法实施例的介绍实现，在此不再赘述。
参阅图11，本发明实施例还提供了一种计算设备1100，包括存储器1110和处理器1120；其中，所述存储器1110存储有计算指令；所述处理器1120执行所述计算指令，使得所述计算设备1100执行图1所示方法。
本发明实施例还提供了一种计算机可读存储介质包括计算机程序指令，当所述计算机程序指令由计算设备执行时，所述计算设备执行图1所示方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种产品缺陷识别方法，其特征在于，包括：
提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像包含所述产品的影像；
将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；
将具有第二尺寸的第一特征图，输入到改进型SparseInst网络；其中，所述改进型SparseInst网络是将传统SparseInst网络中的自适应平均池化(AdaptiveAvgPool2d)算子替换为静态算子AvgPool2d后得到；
利用所述静态算子按照固定大小的卷积核、固定大小的padding和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图；
将所述第二特征图的尺寸反缩放为所述第一尺寸；
基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
2.根据权利要求1所述的方法，其特征在于，所述第二尺寸的大小为20×20，所述卷积核的大小为20，所述步长的大小为20，所述padding的大小为0。
3.根据权利要求1所述的方法，其特征在于，所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品存在多个属于同一类型的缺陷块；
所述方法还包括：
将所述多个属于同一类型的缺陷块的mask合并为一个mask。
4.根据权利要求3所述的方法，其特征在于，在所述将所述多个属于同一类型的缺陷块的mask合并为一个mask之后，所述方法还包括：
对同一类型的缺陷块的mask进行轮廓提取，重新分离目标，得到独立的缺陷块；
根据相邻的两个缺陷块的临近程度，合并所述两个缺陷块；其中，临近程度与所述两个缺陷块之间的最小距离负相关，与所述两个缺陷块的面积正相关。
5.根据权利要求4所述的方法，其特征在于，所述临近程度由公式(1)计算得到：
Figure FDA0004102772440000011
其中，djacent表示临近程度，contour1、contour2表示相邻的两个缺陷块，分子表示所述两个缺陷块之间的最小距离，分母表示所述两个缺陷块的面积开根号的最大值。
6.根据权利要求1所述的方法，其特征在于，所述识别所述待识别产品中的缺陷包括：识别出所述待识别产品还存在多个分别属于不同类型的缺陷块；
所述方法还包括：
将多个分别属于不同类型的缺陷块进行合并。
7.根据权利要求6所述的方法，其特征在于，所述将多个分别属于不同类型的缺陷块进行合并包括：
(a)将所述多个分别属于不同类型的缺陷块按照面积由大到小排序，放到第一列表中；
(b)取出第一列表中的第一个缺陷块，判断所述第一个缺陷块和其他缺陷块之间是否有交集，若其他缺陷块和所述第一个缺陷块有交集，则将所述其他缺陷块和所述第一个缺陷块合并，得到新的缺陷块，并将新的缺陷块放入到第二列表中，所述其他缺陷块为所述第一列表中除第一个缺陷块之外的缺陷块；
重复步骤(b)直至第一列表为空，此时，第二列表中的缺陷块为最终合并得到的缺陷块集合。
8.一种产品缺陷识别装置，其特征在于，包括：提取单元、缩放单元、输入单元、识别单元；其中，
提取单元用于提取待识别图像的图像特征，得到具有第一尺寸的第一特征图；所述待识别图像为所述
缩放单元用于将第一特征图的大小由第一尺寸缩放为固定的第二尺寸；
输入单元用于将具有第二尺寸的第一特征图，输入到改进型SparseInst网络；其中，所述改进型SparseInst网络是将传统SparseInst网络中的自适应平均池化(AdaptiveAvgPool2d)算子替换为静态算子AvgPool2d后得到；
提取单元还用于利用所述静态算子按照固定大小的卷积核、固定大小的padding和固定大小的步长，从所述第一特征图中提取特征，得到第二特征图；
缩放单元还用于将所述第二特征图的尺寸反缩放为所述第一尺寸；
识别单元用于基于具有所述第一尺寸的第二特征图，识别所述待识别产品中的缺陷。
9.一种计算设备，其特征在于，包括存储器和处理器；
所述存储器存储有计算指令；
所述处理器执行所述计算指令，使得所述计算设备执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备执行时，所述计算设备执行权利要求1-7任一项所述的方法。
CN202310182649.9A 2023-02-23 2023-02-23 产品缺陷识别方法、装置及设备 Pending CN116416214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310182649.9A CN116416214A (zh) 2023-02-23 2023-02-23 产品缺陷识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310182649.9A CN116416214A (zh) 2023-02-23 2023-02-23 产品缺陷识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116416214A true CN116416214A (zh) 2023-07-11

Family

ID=87050572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310182649.9A Pending CN116416214A (zh) 2023-02-23 2023-02-23 产品缺陷识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116416214A (zh)

Similar Documents

Publication Publication Date Title
CN111640089B (zh) 一种基于特征图中心点的缺陷检测方法及装置
Farina et al. Fingerprint minutiae extraction from skeletonized binary images
CN112287899A (zh) 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN110705558B (zh) 图像实例分割方法和装置
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
JP7396568B2 (ja) 帳票レイアウト解析装置、その解析プログラムおよびその解析方法
Starovoitov et al. Texture periodicity detection: Features, properties, and comparisons
JPH0315793B2 (zh)
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN114511568B (zh) 基于无人机的高速公路桥梁检修方法
CN111191584A (zh) 一种人脸识别方法及装置
CN107993230B (zh) 基于三角网格综合特征的图像篡改检测方法
CN116416214A (zh) 产品缺陷识别方法、装置及设备
US11120541B2 (en) Determination device and determining method thereof
US5771045A (en) Method for polygon decomposition
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN116912184A (zh) 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统
Hamajima et al. Planning Strategy for Unfolding Task of Clothes-Isolation of clothes from washed mass
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN114972540A (zh) 目标定位方法、装置、电子设备及存储介质
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN112949361B (zh) 指纹识别方法及装置
Naganjaneyulu et al. A multi clue heuristic based algorithm for table detection
CN113516193A (zh) 基于图像处理的红枣缺陷识别分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination