CN113822836B - 标记图像的方法 - Google Patents

标记图像的方法 Download PDF

Info

Publication number
CN113822836B
CN113822836B CN202010507192.0A CN202010507192A CN113822836B CN 113822836 B CN113822836 B CN 113822836B CN 202010507192 A CN202010507192 A CN 202010507192A CN 113822836 B CN113822836 B CN 113822836B
Authority
CN
China
Prior art keywords
image
difference
reconstructed
target
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010507192.0A
Other languages
English (en)
Other versions
CN113822836A (zh
Inventor
陈怡君
陈佩君
陈文柏
陈维超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Pudong Technology Corp
Inventec Corp
Original Assignee
Inventec Pudong Technology Corp
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Pudong Technology Corp, Inventec Corp filed Critical Inventec Pudong Technology Corp
Priority to CN202010507192.0A priority Critical patent/CN113822836B/zh
Priority to US16/905,013 priority patent/US11176419B1/en
Publication of CN113822836A publication Critical patent/CN113822836A/zh
Application granted granted Critical
Publication of CN113822836B publication Critical patent/CN113822836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种标记图像的方法包括：取得目标物件的目标图像，依据目标图像及重建模型产生重建图像，其中重建模型采用多个参考图像及机器学习算法训练而得，每一参考图像为一参考物件的图像且该参考物件的缺陷程度落于具有上限值的可容许范围内，且每一参考物件关联于目标物件，依据目标图像及重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像，以及依据第一差异图像及第二差异图像执行像素尺度运算以产生输出图像，其中输出图像包括目标物件的缺陷的标记。

Description

标记图像的方法
技术领域
本发明关于图像处理领域，特别是一种标记图像中的物件的缺陷的方法。
背景技术
在最终出货给客户之前，笔记本电脑或平板电脑等产品需要由品质管理人员检查和确认。这些品质管理人员依据校验准则检查产品是否具有刮痕、凹痕或其他缺陷。如果缺陷的严重程度超出规格所允许的范围，则电脑产品被视为“不合格”；反之，则电脑产品被视为“通过”缺陷检测。
为了检测电脑产品外观上的缺陷，可以搜集电脑产品的多个表面图像，在图像上标记缺陷类型，然后训练用于在自动光学检查(Automatic Optical Inspection，AOI)机器中进行缺陷侦测的机器学习或深度学习(deep learning)模型。传统上，物件侦测(detection)和分类(classification)均以监督方式进行。在监督式学习的状况中，为了提高侦测准确度需要搜集大量带有标记(label)的训练数据，包括正常的样本以及有缺陷的样本。
更多的训练数据意味着更多的标记工作。然而，训练数据的搜集和标记需要大量的人力成本，而且可能相当困难。举例来说，电脑产品制造商若未设置用于搜集大数据(尤其是大量图像数据)的基础建设，而将数据搜集和标记任务外包，则数据的安全性、完整性和机密性可能会引起极大的关注。更重要的是，随着电脑产品的生命周期缩短，且产品设计趋向多元，以足够的多样性来搜集和标记电脑表面图像的缺陷显得不切实际。电脑产品的表面可能是任何颜色，也可以有任何纹理和材质。此外，表面缺陷具有许多类型，例如刮痕、凹痕，污渍等等。同一类型的表面缺陷可能有各种形状和大小。更严重的是，某些表面缺陷不易被归类。训练数据中不可避免地会出现不一致的标记。常规方法需要在训练数据中正确地对缺陷检测进行分类和标记，以使其具有良好的准确性。因此，很难收集具有足够种类的大量一致的标记数据。而等到搜集和标记足够的训练图像之后，这些训练图像所对应的电脑产品可能已经接近下市。
发明内容
有鉴于此，本发明提出一种标记图像的方法以满足大量训练数据的需求。
依据本发明一实施例叙述的一种标记图像的方法，所述的方法包括：取得目标物件的目标图像；依据目标图像及重建模型产生重建图像，其中重建模型采用多个参考图像及一机器学习算法训练而得，每一参考图像为一参考物件的图像且参考物件的缺陷程度落于具有上限值的可容许范围内，每一参考物件关联于目标物件；依据目标图像及重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像；以及依据第一差异图像及第二差异图像执行像素尺度运算以产生输出图像，其中输出图像包括目标物件的缺陷的标记。
综上所述，本发明提出的标记图像的方法适用于对电脑产品的原始图像进行分类或侦测。本发明减少了大量标记图像以作为训练数据的需求。本发明提出的重建模型不会过度泛化(over-generalized)，以至于将某些缺陷视为正常区域中的纹理图案，故本发明可降低出现假阴性(false negative)的状况。本发明借由仅突出异常而忽略复杂背景的方式来模仿人类的感知。这种基于感知注意(perceptual-attention)的方法有效地减少了假阳性(false positive)的状况。
以上的关于本公开内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
附图说明
图1是依据本发明一实施例的标记图像的方法示出的流程图。
图2是示出本发明一实施例中步骤S3的详细流程图。
图3是示出本发明一实施例中多阈值生成程序的流程图。
图4是本发明一实施例中目标图像的示例。
图5是本发明一实施例中重建图像的示例。
图6是本发明一实施例中第一差异图像的示例。
图7是本发明一实施例中第二差异图像的示例。
图8是本发明一实施例中第一输出图像的示例。
图9是本发明一实施例中第三输出图像的示例。
图10是本发明一实施例中第四输出图像的示例。
图11是本发明一实施例中第二输出图像的示例。
图12是本发明一实施例中人工标记图像中的缺陷的示例。
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求书及图式，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范围。
本发明提出的标记图像的方法，适用于侦测目标物件本身的缺陷，并且在具有目标物件的目标图像中增加关联于缺陷的标记(supplementary labels)。在一实施例中，目标物件是电脑产品的表面，像是笔记本电脑的上盖，缺陷则位于上盖的刮痕、凹痕或污渍等。在另一实施例中，目标物件是印刷电路板，缺陷则是零件的缺件、偏斜或错件等。
请参考图1，其示出本发明一实施例的标记图像的方法的流程图。请参考步骤S0，依据多个参考图像及机器学习算法产生重建模型。多个参考图像的每一个为一参考物件的图像，且此参考物件的缺陷程度落于具有上限值的可容许范围内。每一个参考物件关联于目标物件。详言之，参考物件为目标物件的合格样本，或称为可容许样本。参考物件例如是笔记本电脑的上盖。依据规格要求，参考物件不具有缺陷，或参考物件的缺陷的数量及程度落于可容许范围内。举例来说，请参考表格一，可容许范围例如包括第一级及第二级的缺陷类型，且上限值为第二级中定义的最大边界值(20mm、2条、1mm2和/或2个)或者例如包括第一级的缺陷类型，且上限值为第一级中定义的最大边界值(12mm、2条、0.7mm2和/或3个)。为便于叙述，后文将“缺陷程度落于可容许范围内”简称为“不具有缺陷”。
表格一
在一实施例中，步骤S0所述的机器学习算法是自编码器(auto-encoder)。在另一实施例中，步骤S0所述的机器学习算法是单一类别的支持向量机(one-class supportvector machine)。机器学习算法以拍摄多个参考物件所获得的多个参考图像作为训练数据并训练出重建模型。重建模型，或称为生成模型(generative model)，其用来描述合格样本的模型。在步骤S0的重建模型预先训练完成之后，图1所示的步骤S1～S5为实际运行阶段。
请参考步骤S1，取得目标图像。本步骤S1例如以摄像装置拍摄目标物件的目标图像。目标物件例如是笔记本电脑的上盖或印刷电路板。为便于说明，目标物件具有一个或多个在可容许范围外的缺陷。然而在执行本发明提出的标记图像的方法之后，也有可能出现“目标物件不具有缺陷”的状况。
请参考步骤S2，依据目标图像及重建模型产生重建图像。举例来说，摄像装置将步骤S1取得的目标图像发送至处理器。处理器依据目标图像及重建模型产生重建(reconstruction)图像。重建图像可被视为“不具有缺陷”的目标图像。重建模型产生重建图像的方式包括但不限于：从多个候选重建图像中挑选一个、从多个特征原型中以线性组合方式产生重建图像、或者依据一图像转换函数输出重建图像。
若目标图像中的目标物件具有缺陷，则在步骤S2产生重建图像之后，重建图像与目标图像之间具有重建误差(reconstruction error)。请参考步骤S3及步骤S4。步骤S3是处理器依据目标图像及重建图像执行第一差异算法以产生第一差异图像，步骤S4是处理器依据目标图像及重建图像执行第二差异算法以产生第二差异图像。步骤S3及步骤S4是处理器依据不同的比对尺度去计算重建误差。步骤S3及步骤S4可同时被执行，也可先后被执行，本发明并不限制处理器执行步骤S3及步骤S4的顺序。
请参考图2，其示出本发明一实施例中步骤S3的详细流程图。
请参考步骤S31及步骤S32。步骤S31是依据目标图像及神经网络模型产生第一特征图(feature map)。步骤S32是依据重建图像及此神经网络模型产生第二特征图。所述的第一特征图及第二特征图中分别具有一个或多个特征区块，这些特征区块代表特征图需要被注意的部分。特征区块的大小例如为长宽各64像素的矩形区块(patch)，本发明并不限制区块的长宽尺寸。特征图也可被称为深度特征(deep feature)。
在一实施例中，步骤S31及步骤S32所用的神经网络模型例如是SqueezeNet。在其他实施例中，神经网络模型可为AlexNet或ResNet。在一实施例中，神经网络模型预先以大型视觉数据库(例如ImageNet)中的多个图像进行训练，这些图像与目标物件无关联。在训练时，以每个图像的每一像素检索包含此像素的矩形区块(例如为长宽各64像素的矩形区块)作为训练数据。在另一实施例中，首先以与目标物件无关联的多个图像训练出神经网络模型，然后以包括以关联于目标物件的多个图像微调此神经网络模型，借此提高特征提取的准确度。训练后的神经网络模型在特征提取(feature extraction)阶段输出的特征图具有相似于人类视觉感知的特征辨识策略。
请参考步骤S33，计算第一特征图及第二特征图的差异作为第一差异图像。举例来说，第一差异图像为第一特征图与第二特征图进行相减。第一差异图像是感知注意图(perceptual attention map)，此感知注意图具有模仿人类比对图像差异的效果。详言之，人类在比对参考图像及目标图像时，并不会特别注意到两个图像是否有轻微的位移或微小的差异，而是容易观察到两个图像中特征区块的差异。步骤S31～S33所述的第一差异算法是从区块角度计算粗略级别(coarse level)的重建误差。
一般而言，自编码器采用L2损失函数(loss function)或结构相似性指标(structural similarity index，SSIM)来计算目标图像与重建图像之间的重建误差。然而，这些指标通常对轻微的整体变化敏感，因此，当比对重点放在纹理图案相似性(texturepattern similarity)而不是精确对齐上时，上述的指标将无法很好地发挥作用。即使目标图像中的目标物件的缺陷程度并不严重，若目标图像与重建图像之间具有少量的位移，上述的指标还有可能增加不必要的重建误差。因此，本发明采用步骤S31～S33所介绍的第一差异算法以强调高阶结构与特征表示的匹配性。整体而言，应用第一差异算法所产生的第一差异图像具有强调感兴趣区域(region of interest，ROI)及减少背景噪声(noise)的效果。
请参考步骤S4，依据目标图像及重建图像执行第二差异算法以产生第二差异图像。第二差异算法是处理器依据重建图像及目标图像的每一像素计算相对误差值(relative error)。所述的相对误差值例如是两张图像中每个像素的平方误差(pixel-wise square error)或每个像素的绝对值误差(pixel-wise absolute difference)。本步骤S4是处理器以像素级别运算得到目标图像中的目标物件的缺陷位置。
请参考步骤S5，依据第一差异图像及第二差异图像执行像素尺度(pixel-wise)运算以产生第一输出图像。在一实施例中，所述的像素尺度运算是位元乘法。详言之，步骤S5中，对于第一差异图像的某一位置及第二差异图像的相同位置，若处理器判断这两个位置的像素值皆指示为缺陷，则第一输出图像将保留此位置的缺陷。若第一差异图像及第二差异图像中仅有一个判断某一位置的像素值指示为缺陷，则第一输出图像不保留此位置的缺陷。
在一实施例中，在步骤S5执行完成后，处理器可依据第一输出图像中每一像素是否指示为缺陷而标记出第一输出图像中的缺陷。在另一实施例中，为进一步减少假阳性(false positive)的状况，在步骤S5执行完成后，处理器可继续执行步骤S6以提高标记的精确度。
请参考步骤S6，依据第一输出图像执行多阈值生成程序以产生第二输出图像及标记，其中第一阈值大于大二阈值。第一阈值用于获取可能是缺陷的像素，第二阈值用于将这些可能是缺陷的像素扩展到周边的像素。
请参考图3，其示出步骤S6所述的多阈值生成程序的流程图。请参考步骤S61及步骤S62。步骤S61是处理器依据第一阈值对第一输出图像进行二值化(binarization)程序以产生第三输出图像，步骤S62是处理器依据第二阈值对第一输出图像进行二值化程序以产生第四输出图像。步骤S61及步骤S62是依据不同的阈值对第一输出图像进行处理。步骤S61及步骤S62可同时被执行，也可先后被执行，本发明并不限制执行步骤S61及步骤S62的顺序。在一实施例中，处理器计算多个参考图像与重建图像之间的重建误差的平均值A及标准差S(standard deviation)，并且将第一阈值设定为A+4S，将第二阈值设定为A+S。
请参考步骤S63，选取第三输出图像中的缺陷区块。详言之，从高阈值处理后的第三输出图像可捕捉到缺陷的部分。请参考步骤S64，依据第四输出图像中对应于缺陷区块的位置，判断此位置周边的像素是否具有缺陷以选择性地扩展缺陷区块。举例来说，若第三输出图像中被选取的缺陷区块的中心点座标为(123,45)，则处理器在第四输出图像中寻找座标为(123,45)的像素的周边像素，包括座标为(122,45)、(124,45)、(123,43)、(123,46)等像素，然后判断这些第四输出图像的像素是否为缺陷。如果判断结果为“是”，则处理地在第二输出图像中保留缺陷区块也为缺陷的周边像素。在一实施例中，步骤S64可采用例如flood fill算法以产生包含缺陷区块的连通图。
依据步骤S6所产生的第二输出图像，处理器判断其中属于缺陷的像素，进一步对这些缺陷进行标记。本发明在步骤S6中提出的多阈值生成程序，可减少假阳性的图像标记。
图4至图11是执行图1～图3的步骤后所产生的图像的示例。
请参考图4，其是执行步骤S1后取得的目标图像的示例。图4中的目标物件为印刷电路板及电路元件，可看出电路元件具有三根引脚，中间的引脚未正确地插入电路板上的插孔中。
请参考图5，其是执行步骤S2后产生的重建图像的示例。从图5可知“不具有缺陷”的目标物件中的电路元件的每个引脚皆插入插孔内。
请参考图6，其是执行步骤S3后产生的第一差异图像的示例。从图6可辨识第一差异图像的下半部具有白色区域，相较于第一差异图像的上半部更具有辨识性。
请参考图7，其是执行步骤S4后产生的第二差异图像的示例。图7是以像素尺度呈现重建误差，因此从图7可看到更多对应于图5的细节。
请参考图8，其是执行步骤S5后产生的第一输出图像的示例。对于电路元件的缺陷部位与周边的对比度，图8相较于图6及图7更高。
请参考图9，其是执行步骤S62后产生的第三输出图像的示例。图9是依据图8及第二阈值执行二值化程序后的结果。
请参考图10，其是执行步骤S61后产生的第四输出图像的示例。图10是依据图8及第一阈值执行二值化程序后的结果。从图10可明显看出缺陷所在的位置。
请参考图11，其是执行步骤S64后产生的第二输出图像以及标记的示例。标记为图11中标示缺陷位置的方框。
请参考图12，其是本发明一实施例中人工标记图像中的缺陷的示例。从图12可知采用本发明所得到的标记与真实结果极为接近。
实施上，在执行如图1所示的流程之后，得到的具有标记的图像例如可提供以区域基础的卷积神经网络(Region-based Convolutional Neural Network，R-CNN)实现的缺陷侦测模型。所述的区域基础的卷积神经网络例如：Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO(You Only Look Once)或SSD(Single Shot Detection)。
综上所述，本发明提出的标记图像的方法适用于对电脑产品的原始图像进行分类或侦测。本发明减少了大量标记图像以作为训练数据的需求。本发明提出的重建模型不会过度泛化(over-generalized)，以至于将某些缺陷视为正常区域中的纹理图案，故本发明可降低出现假阴性(false negative)的状况。本发明借由仅突出异常而忽略复杂背景的方式来模仿人类的感知。这种基于感知注意(perceptual-attention)的方法有效地减少了假阳性的状况。

Claims (8)

1.一种标记图像的方法，其特征在于，所述的方法包括：
取得目标物件的目标图像；
依据该目标图像及重建模型产生重建图像，其中该重建模型采用多个参考图像及机器学习算法训练而得，每一该些参考图像为参考物件的图像且该参考物件的缺陷程度落于具有上限值的可容许范围内，每一该参考物件关联于该目标物件；
依据该目标图像及该重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像；以及
依据该第一差异图像及该第二差异图像执行像素尺度运算以产生输出图像，其中该输出图像包括该目标物件的缺陷的标记；
该第一差异算法包括：
依据该目标图像及神经网络模型产生第一特征图；
依据该重建图像及该神经网络模型产生第二特征图；以及
计算该第一特征图及该第二特征图之间的差异度，其中该第一差异图像中包含该差异度。
2.如权利要求1所述的标记图像的方法，其特征在于，该重建模型是自编码器。
3.如权利要求1所述的标记图像的方法，其特征在于，该神经网络模型是SqueezeNet。
4.如权利要求1所述的标记图像的方法，其特征在于，该神经网络模型以与目标物件无关联的多个图像训练而得。
5.如权利要求1所述的标记图像的方法，其特征在于，该第二差异算法包括：依据该重建图像及该目标图像的每一像素计算相对误差值。
6.如权利要求5所述的标记图像的方法，其特征在于，该相对误差值是平方误差或绝对值误差。
7.如权利要求1所述的标记图像的方法，其特征在于，该像素尺度运算是位元乘法。
8.如权利要求1所述标记图像的方法，其特征在于，该输出图像是第一输出图像，且在依据该第一差异图像及该第二差异图像执行该像素尺度运算以产生该输出图像之后，还包括：
依据第一阈值及第二阈值分别对该第一输出图像进行二值化程序以产生第三输出图像及第四输出图像，其中该第一阈值大于该第二阈值；
选取该第三输出图像中的缺陷区块；以及
依据该第四输出图像中对应于该缺陷区块的位置，判断该位置周边的像素是否具有缺陷以选择性地扩展该缺陷区块。
CN202010507192.0A 2020-06-05 2020-06-05 标记图像的方法 Active CN113822836B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010507192.0A CN113822836B (zh) 2020-06-05 2020-06-05 标记图像的方法
US16/905,013 US11176419B1 (en) 2020-06-05 2020-06-18 Method for labeling image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010507192.0A CN113822836B (zh) 2020-06-05 2020-06-05 标记图像的方法

Publications (2)

Publication Number Publication Date
CN113822836A CN113822836A (zh) 2021-12-21
CN113822836B true CN113822836B (zh) 2024-06-18

Family

ID=78524010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010507192.0A Active CN113822836B (zh) 2020-06-05 2020-06-05 标记图像的方法

Country Status (2)

Country Link
US (1) US11176419B1 (zh)
CN (1) CN113822836B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6715289B2 (ja) * 2018-05-24 2020-07-01 日本電信電話株式会社 映像処理装置、映像処理方法、および映像処理プログラム
US11954846B2 (en) * 2020-06-16 2024-04-09 Elementary Robotics, Inc. Explainability and complementary information for camera-based quality assurance inspection processes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111179254A (zh) * 2019-12-31 2020-05-19 复旦大学 一种基于特征函数和对抗学习的域适应医学图像分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927729A (zh) * 2013-01-10 2014-07-16 清华大学 图像处理方法及图像处理装置
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US10593033B2 (en) * 2017-06-27 2020-03-17 Nec Corporation Reconstructor and contrastor for medical anomaly detection
CN110838085B (zh) * 2018-08-15 2021-09-24 Tcl科技集团股份有限公司 一种图像的超分辨率重建方法、装置及电子设备
KR102150673B1 (ko) * 2018-10-02 2020-09-01 (주)지엘테크 외관불량 검사방법 및 외관불량 검사 시스템
CN109872313A (zh) * 2019-02-15 2019-06-11 苏州晓创光电科技有限公司 一种基于深度卷积自编码器的产品表面缺陷检测方法
CN109934814B (zh) * 2019-03-15 2022-02-01 英业达科技有限公司 表面缺陷侦测系统及其方法
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
US11449711B2 (en) * 2020-01-02 2022-09-20 Applied Materials Isreal Ltd. Machine learning-based defect detection of a specimen
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111179254A (zh) * 2019-12-31 2020-05-19 复旦大学 一种基于特征函数和对抗学习的域适应医学图像分割方法

Also Published As

Publication number Publication date
CN113822836A (zh) 2021-12-21
US20210383168A1 (en) 2021-12-09
US11176419B1 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
Hassanin et al. A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
Park et al. MarsNet: multi-label classification network for images of various sizes
CN113822836B (zh) 标记图像的方法
US11315229B2 (en) Method for training defect detector
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN111965197A (zh) 一种基于多特征融合的缺陷分类方法
Ghosh et al. Counterfeit IC detection by image texture analysis
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN116542975A (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
Fouda Integral images-based approach for fabric defect detection
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN114445410A (zh) 基于图像识别的电路板检测方法、计算机及可读存储介质
CN110288040A (zh) 一种基于拓扑验证的图像相似评判方法及设备
Dai et al. Detection and segmentation of image anomalies based on unsupervised defect reparation
CN116091503B (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
Subbiah et al. Computer vision segmentation of the longissimus dorsi for beef quality grading
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant