CN111060520B - 一种产品缺陷检测方法、装置与系统 - Google Patents

一种产品缺陷检测方法、装置与系统 Download PDF

Info

Publication number
CN111060520B
CN111060520B CN201911402024.9A CN201911402024A CN111060520B CN 111060520 B CN111060520 B CN 111060520B CN 201911402024 A CN201911402024 A CN 201911402024A CN 111060520 B CN111060520 B CN 111060520B
Authority
CN
China
Prior art keywords
defect
product
detection
positioning
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911402024.9A
Other languages
English (en)
Other versions
CN111060520A (zh
Inventor
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911402024.9A priority Critical patent/CN111060520B/zh
Publication of CN111060520A publication Critical patent/CN111060520A/zh
Priority to PCT/CN2020/114399 priority patent/WO2021135372A1/zh
Priority to US17/309,309 priority patent/US11836907B2/en
Application granted granted Critical
Publication of CN111060520B publication Critical patent/CN111060520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种产品缺陷检测方法、装置与系统。本发明实施例的方法包括：构建包括分类网络、定位检测网络和判断网络的缺陷检测框架，根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。

Description

一种产品缺陷检测方法、装置与系统
技术领域
本发明涉及一种产品缺陷检测方法、装置与系统。
背景技术
在传统的精密制造行业，产品的缺陷检测一般通过人工检验来完成。在一般的制造工厂中，检验人力占比将近30％，由于人力需求大，经常出现人力资源紧张的局面；而且人力检验的劳动强度大，容易因作业员疲劳而造成检验质量的波动。因此，检验质量稳定、效果一致、不受人为因素影响的机器自动化检测方案必将受到精密制造行业的青睐。
发明内容
本发明的目的在于提供了一种产品缺陷检测方法、装置与系统。
一方面，本发明实施例提供了一种产品缺陷检测方法，包括：
构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；
利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络；
在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。
另一方面，本发明实施例提供了一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。
再一方面，本发明实施例提供了一种产品缺陷检测系统，包括：存储器和处理器；
存储器，存储计算机可执行指令；
处理器，计算机可执行指令在被执行时使处理器执行产品缺陷检测方法。
又一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被执行时实现产品缺陷检测方法。
本发明至少取得以下技术效果：利用分类网络、定位检测网络和判断网络构建缺陷检测框架，在构建缺陷检测框架构建过程中，基于产品缺陷类型设置分类网络和定位检测网络，这样在产品缺陷检测过程中，可以先利用分类算法对产品图像可能存在的缺陷进行分类，并在缺陷分类的基础上，再采用定位检测算法来快速定位缺陷位置，由此通过两级检测可以准确的检测出产品是否存在缺陷，并在产品存在缺陷时，检测出缺陷类型和缺陷位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的产品缺陷检测系统的硬件配置的框图；
图2为本发明实施例示出的产品缺陷检测方法流程图；
图3为本发明实施例示出的一种缺陷检测框架示意图；
图4为本发明实施例示出的破损缺陷检测方法流程图；
图5为本发明实施例示出的第二定位检测网络对第二类缺陷的检测方法流程图；
图6为本发明实施例示出的杂质缺陷检测方法流程图；
图7为本发明实施例示出的第三定位检测网络对第三类缺陷的检测方法流程图；
图8为本发明实施例示出的细小网偏缺陷检测方法流程图；
图9为本发明实施例示出的产品缺陷检测装置的结构框图；
图10为本发明实施例示出的产品缺陷检测系统的结构框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1是根据本发明实施例的产品缺陷检测系统100的硬件配置的框图。
如图1所示，产品缺陷检测系统100包括图像采集装置1000和产品缺陷检测装置2000。
图像采集装置1000用于采集产品图像，并将采集到的产品图像提供至产品缺陷检测装置2000。
该图像采集装置1000可以是能够进行拍照的任意成像设备，例如摄像头等。
产品缺陷检测装置2000可以是任意的电子设备，例如PC机、笔记本电脑、服务器等。
在本实施例中，参照图1所示，产品缺陷检测装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置1000采集的产品图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
在该实施例中，产品缺陷检测装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的产品缺陷检测方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
尽管在图1中示出了产品缺陷检测装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，产品缺陷检测装置2000只涉及存储器2200、处理器2100和显示装置2500。
在本实施例中，图像采集装置1000用于采集产品图像提供至产品缺陷检测装置2000，产品缺陷检测装置2000则基于该图像实施根据本发明任意实施例的产品缺陷检测方法。
应当理解的是，尽管图1仅示出一个图像采集装置1000和一个产品缺陷检测装置2000，但不意味着限制各自的数量，产品缺陷检测系统100中可以包含多个图像采集装置1000和/或产品缺陷检测装置2000。
<实施例二>
产品制造过程中，上游工艺的不稳定、机械定位精度不够高以及厂房内的环境等因素经常会使生产出来的产品具有各种形态的缺陷。以丝网状产品为例，丝网状产品的缺陷类别主要包括破损、杂质和双网三类缺陷。
其中，破损缺陷是由于网丝断裂或者网孔变形造成的，有的表现为比正常的网孔面积大很多，有的表现为与正常网孔面积相近，但是网孔区域的形态与正常网孔差异较大。杂质缺陷是由于多余的丝网原材料遗留在丝网上，或者厂房内的漂浮物散落在丝网上造成的，杂质缺陷在图像中一般呈现与网丝相同的黑色，由于杂质与图像中的网丝颜色相同且部分杂质非常细小，因此杂质缺陷的检测也是难点。双网缺陷一般是由于两个或者多个丝网同时放置在一个工件上造成的，与正常产品的差异较大。
另外，丝网状产品的缺陷类别还包含细小网偏缺陷，细小网偏是由于网布贴合时，轻微旋转导致少数网丝没有搭边造成的。由于该缺陷面积非常小，这类缺陷是丝网类产品缺陷检测的难点。
针对以上描述的产品缺陷问题，本申请实施例的整体构思为：以基于深度学习的图像分类算法为核心，在图像分类的基础上，再采用基于各类缺陷表现出的纹理特征、形状特征搭建相应的检测算法来快速定位每种类型缺陷的位置，以准确检测出产品是否存在缺陷，并检测出所存在缺陷的类型和位置。
本实施例以丝网状产品为例来说明具体的技术细节，但本实施例的技术方案不局限于丝网状产品缺陷的检测场景。
图2为本发明实施例示出的产品缺陷检测方法流程图，如图2所示，本实施例的方法包括：
S2100，构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络，并根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果。
其中，分类网络、定位检测网络和判断网络依次串联连接。
分类网络用于对产品的缺陷类型进行分类。
定位检测网络用于在分类结果的基础上，进一步对产品的缺陷类型进行检测与定位，每种定位检测网络是基于相应缺陷的纹理特征和/或形态特征对产品图像进行缺陷检测的。
判断网络用于根据分类网络输出的分类结果和定位检测网络输出的检测结果综合判断产品是否存在缺陷，并在存在缺陷时，检测出缺陷类型并标记缺陷位置。
S2200，利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络。
在本实施例中，分类网络采用基于深度学习的图像分割算法实现。例如可以采用Alxnet、Vgg、Resnet、Inception net、Densenet、Googlenet、Nasnet、Xception等网络模型搭建所述分类网络。由于Densenet(Dense Convolutional Network)网络模型具有分类速度快、分类准确性高的特征，本实施例优选采用Densenet网络模型搭建分类器。
S2300，在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。
在一些实施例中，在采集到产品图像后，可以对产品图像进行图像预处理，例如对产品图像进行尺寸调整、降噪处理等，将预处理后的产品图像输入到缺陷检测框架。
本实施例利用分类网络、定位检测网络和判断网络构建缺陷检测框架，在构建缺陷检测框架构建过程中，基于产品缺陷类型设置分类网络和定位检测网络，这样在产品缺陷检测过程中，可以先利用分类算法对产品图像可能存在的缺陷进行分类，并在缺陷分类的基础上，再采用定位检测算法来快速定位缺陷位置，由此通过两级检测可以准确的检测出产品是否存在缺陷，并在产品存在缺陷时，检测出缺陷类型和缺陷位置。
本实施例的检测方法能够满足产线需求，提高产线效率。
<实施例三>
本实施例还提供一种产品缺陷检测方法。在构建缺陷网络框架过程中，上述步骤S2100中的分类结果包括：
第一种分类结果，检测到产品图像中存在第一类缺陷，第一类缺陷为分类网络对缺陷类型的分类正确率大于第一阈值的缺陷；
第二种分类结果，检测到产品图像中存在第二类缺陷，第二类缺陷为分类网络对缺陷类型的分类正确率不大于第一阈值的缺陷；
第三种分类结果，检测到产品图像中不存在缺陷。
在一些实施例中，分类结果还包括：第四种分类结果，检测到产品图像中存在第四类缺陷，第四类缺陷为分类网络能够正确分类的缺陷类型，即分类网络对第四类缺陷的分类正确率非常高，不必进一步的验证，则第四类分类结果可以不关联定位检测网络。
本实施例不设置第四类缺陷对应的定位检测网络，无需利用定位检测网络对只存在第四类缺陷的产品图像进行定位检测。在分类网络输出上述分类结果时，步骤S2100中根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则包括：
设置第一定位检测网络关联第一种分类结果，第二定位检测网络关联二种分类结果，第三定位检测网络关联第三种分类结果，第四种分类结果不关联定位检测网络。相应的，设置第一判断规则关联第一定位检测网络的检测结果，第二判断规则关联第二定位检测网络的检测结果，第三判断规则关联第三定位检测网络的检测结果。
在本实施例中，产品缺陷类型包括第一类缺陷、第二类缺陷、第三类缺陷和第四类缺陷，第一阈值可以根据分类网络对缺陷类型分类的正确率进行设置。在产品为丝网状产品时，产品缺陷类型包括双网缺陷、破损缺陷、杂质缺陷和细小网偏缺陷；其中，破损缺陷为第一类缺陷，杂质缺陷为第二类缺陷，细小网偏缺陷为第三类缺陷，双网缺陷为第四类缺陷。相应的，第一阈值可以设置为0.90。
以丝网状产品为例，分类网络对破损、杂质、双网和细小网偏这四种缺陷分类的正确率由高到低为：对双网缺陷的分类正确率>对破损缺陷的分类正确率>对杂质缺陷的分类正确率>对细小网偏缺陷的分类正确率。即利用分类网络对包括这四类缺陷的产品图像进行分类检测时，分类结果中双网缺陷对应的分类数值为0.9999以上(可以视为1)，破损缺陷对应的分类数值为0.90以上，杂质缺陷对应的分类数值小于0.70，而细小网偏缺陷对应的分类数值接近0。分类数值指示了分类网络对缺陷的分类正确率，分类数值越大，表明分类网络对缺陷的分类正确率越高，分类结果越可靠。分类数值越小，表明分类网络对缺陷的分类正确率越低，分类结果越不可靠。
因此，本实施例中无需利用定位检测网络进一步对分类网络分出的双网缺陷进行定位检测，而需要利用定位检测网络进一步对分类网络分出的破损缺陷和杂质缺陷进行定位检测，由于分类网络很难对细小网偏缺陷进行分类，因此也需要专门设置用于检测细小网偏缺陷的定位检测网络。针对丝网状产品的四种缺陷，可以设置定位检测网络的数量为三个，相应的，设置判断网络包括三种判断规则。
图3示出了丝网状产品对应的一种缺陷检测框架，如图3所示，对于丝网状产品，分类网络对产品图像中的缺陷进行分类，可以输出四种分类结果，分别为产品图像中存在双网缺陷的分类结果、产品图像中存在破损缺陷的分类结果、产品图像中存在杂质缺陷的分类结果、产品图像中不存在缺陷的分类结果。需要注意的是，本实施例中的分类网络对细小网偏缺陷的分类能力接近于0，即分类网络无法对细小网偏缺陷进行分类。因此，对丝网状产品而言，分类网络可以输出上述四种分类结果。其中各检测结果对应的定位检测网络包括破损定位检测网络、杂质定位检测网络、细小网偏定位检测网络。判断网络中相应的判断规则包括破损判断规则、杂质判断规则、细小网偏判断规则。
<实施例四>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络输出第一种分类结果时，上述步骤S2300进一步包括S2410～S2420：
S2410，利用第一种分类结果关联的第一定位检测网络提取产品图像中产品纹理所在的多个图像块，计算多个图像块中是否存在图像块面积大于预设面积的目标图像块，若存在则生成第一种检测结果，若不存在则生成第二种检测结果。
其中，第一种检测结果为检测到用于定位第一类缺陷所在位置的定位框(box)；第二种检测结果为未检测到用于定位第一类缺陷所在位置的定位框；定位框为目标图像块的最小外接矩形框。
第一定位检测网络是基于纹理特征对产品图像中的第一类缺陷进行定位检测的。
在一些实施例中，第一定位检测网络可以先将产品图像进行二值化处理，对得到的二值图像进行区域检测，基于区域检测结果从二值图像中提取出产品纹理所在的多个图像块。以丝网状产品为例，可以对二值化的丝网状产品图像进行网孔区域检测，提取每个网孔区域所在的丝网状产品图像的图像块，由此可以得到多个图像块。
在提取到多个图像块之后，第一定位检测网络计算每个图像块的像素面积，将每个图像块的像素面积与预设面积作比较，当存在像素面积大于预设面积的图像块时，表明该图像块存在第一类缺陷，生成第一种检测结果，并将该图像块的最小外接矩形框作为用于定位第一类缺陷所在位置的定位框。当所有图像块的像素面积均不大于预设面积时，表明第一定位检测网络未检测出第一类缺陷的位置，此时生成第二种检测结果。
其中，预设面积可以根据统计设定。例如统计一定数量的不存在产品缺陷的负样本图像，基于从负样本图像中提取的多个图像块计算面积平均值，以及统计一定数量的存在第一类缺陷的正样本图像，基于从正样本图像中提取的第一类缺陷所在的图像块计算面积平均值，基于这两种平均值设置本实施例的预设面积，以利用预设面积区分出第一类缺陷所在的图像块。
S2420，利用第一定位检测网络输出的检测结果关联的第一判断规则判断产品是否存在的第一类缺陷。
第一判断规则的具体判断过程为：若第一定位检测网络输出的检测结果为第一种检测结果，则确定产品存在第一类缺陷，并利用定位框标记第一类缺陷；若第一定位检测网络输出的检测结果为第二种检测结果，则确定产品存在第一类缺陷，不标记第一类缺陷。
需要说明的是，由于本实施例中分类网络对第一类缺陷的分类正确率大于第一阈值，即分类网络对第一类缺陷的分类正确率较高，本实施例认为只要分类网络的分类结果表示产品存在第一类缺陷，那么利用第一定位检测网络进一步对产品图像进行检测时，无论第一定位检测网络是否检测到第一类缺陷的位置，判断网络均判断产品图像存在第一类缺陷。不同之处在于，是否能够将产品图像中存在的第一类缺陷进行标记。即若第一定位检测网络检测到用于定位第一类缺陷所在位置的定位框，可以利用该定位框标记出第一类缺陷，以便于应用过程中可以根据该标记显示第一类缺陷的位置。若第一定位检测网络没有检测到用于定位第一类缺陷所在位置的定位框，此时无法标记出第一类缺陷，即无法定位第一类缺陷的位置。
如图3所示，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出的分类结果指示产品图像存在破损缺陷，则利用破损定位检测网络对产品图像中的破损缺陷进行定位检测，并利用破损判断规则判断产品图像是否存在破损缺陷。
如图4所示，破损判断规则的判断过程为：当破损定位检测网络输出的检测结果中包括用于定位破损缺陷在产品图像中的位置的box时，判断产品存在破损缺陷，为不合格(Not good，NG)产品，并利用该box标记破损缺陷。当破损定位检测网络输出的检测结果中不包括用于定位破损缺陷在产品图像中的位置的box时，判断产品存在破损缺陷，为NG产品。
<实施例五>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络输出第二种分类结果时，上述步骤S2300进一步包括S2430～S2440：
S2430，利用第二种分类结果关联的第二定位检测网络对产品图像进行形态学检测，在未检测到用于定位第二类缺陷所在位置的定位框时，生成第二种检测结果；在检测到用于定位第二类缺陷所在位置的定位框时，判断定位框所在产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，若不符合则生成第二种检测结果。
其中，第一种检测结果为检测到用于定位第二类缺陷所在位置的定位框，第二种检测结果为未检测到用于定位第二类缺陷所在位置的定位框，定位框为第一形状特征符合预设条件的图像块的最小外接矩形框。
在一些实施例中，第二定位检测网络通过下述方法对产品图像中的第二第二类缺陷进行检测：
对产品图像进行形态学闭合操作处理，并对形态学闭合操作处理后的图像进行二值化处理，对得到的二值图像进行区域检测。在检测到二值图像存在连通区域时，确定检测到用于定位第二类缺陷所在位置的定位框，其中提取连通区域对应的产品图像的图像块，将图像块的最小外接矩形框作为定位框；在检测到二值图像不存在连通区域时，确定未检测到用于定位第二类缺陷所在位置的定位框。
当产品图像中存在第二类缺陷时，在对该产品图像进行形态学闭合操作处理，以腐蚀掉图像内部的正常图像纹理，产品图像中第二类缺陷的纹理不会被完全腐蚀掉，会留下部分纹理，此时再对图像进行二值化处理，对二值图像进行区域检测，即可提取出二值图像中由残存下来的第二类缺陷的纹理特征形成的连通区域，由此第二定位检测网络生成第一种检测结果，即第二定位检测网络将连通区域对应的产品图像的图像块的最小外接矩形框作为用于定位第二类缺陷所在位置的定位框。
以丝网状产品为例，杂质缺陷即为本实施例的第二类缺陷，在丝网状产品图像存在杂质缺陷时，对丝网状产品图像进行形态学闭合操作，以腐蚀掉图像内部的正常网孔的网丝纹理，杂质缺陷的部分纹理会残留下来。其中，丝网状产品图像中位于图像边界位置和位于图像中心位置(即图像的非边界位置)的杂质表现出不同的形态。
图像非边界位置的杂质区域由于与网丝有交叉或者比正常的网丝粗，因此不会被完全腐蚀掉，通过提取其中的连通区域即可得到对应的第一种杂质区域。
图像边界位置的杂质区域一般表现为面积较大的黑色块，形态学闭合操作后，该区域表现为突出的黑块，通过水平投影和垂直投影即可快速定位该连通区域，即可得到对应的第二种杂质区域。
在提取到由杂质纹理形成的连通区域后，即可通过连通区域提取丝网状产品图像中该连通区域所在的图像块，将该图像块的最小外接矩形框作为用于定位杂质缺陷所在位置的定位框。
在一些实施例中，提取定位框对应的图像块的黑白比、面积、平均面积、面积极差、形心与质心之间的距离中的一个或多个作为图像块的第一形状特征。其中，黑白比为图像块对应的二值化的图像块中黑色像素数量与白色像素点数量的比值。面积为图像块的像素面积，像素面积可以理解为图像块中所包括的像素点个数。平均面积为从图像块中提取出的全部连通区域的像素面积的平均值；以丝网状产品为例，丝网状产品图像的图像块中存在杂质缺陷以及与杂质缺陷相交的正常网丝，正常网丝之间或者杂质缺陷与正常网丝之间都存在空白区域，这些空白区域即为连通区域，将图像块中所有连通区域的均值作为平均面。面积极差为从图像块中提取出的最大连通区域的像素面积与最小连通区域的像素面积的差值。
在确定图像块的第一形状特征之后，若图像块的每个第一形状特征均满足其相应的预设条件，生成第一种检测结果；若图像块有一个或一个以上的第一形状特征未满足其相应的预设条件时，生成第二种检测结果。其中，在黑白比大于黑白比阈值时确定为满足黑白比预设条件，在面积大于面积阈值时确定为满足面积预设条件，在平均面积大于平均面积阈值时确定为满足平均面积预设条件，在面积极差大于面积极差阈值时确定为满足极差预设条件，在形心质心之间的距离大于距离阈值时确定为满足距离预设条件。
在一个示例中，如图5所示，第二定位检测网络对产品图像中第二类缺陷的检测过程为：
对产品图像进行形态学闭合操作处理，并对处理后的产品图像进行二值化处理，对二值图像进行区域检测，基于检测结果判断是否存在连通区域，若存在连通区域则提取该连通区域对应的图像块，计算图像块的第一形状特征，并判断该图像块的第一形状特征是否满足预设条件，满足时生成第一种检测结果，不满足时生成第二种检测结果。
在一个实施例中，第一形状特征包括黑白比、面积、平均面积、面积极差和形心质心之间的距离，那么在黑白比大于黑白比阈值、面积大于面积阈值、平均面积大于平均面积阈值、面积极差大于面积极差阈值、形心质心之间的距离大于距离阈值时，确定该图像块的第一形状特征满足预设条件。在任一个第一形状特征不大于相应的阈值时，确定该图像块的第一形状特征不满足预设条件。
其中，黑白比阈值、面积阈值、平均面积阈值、面积极差阈值和距离阈值可以根据经验设定。
S2440，利用第二定位检测网络的检测结果关联的第二判断规则判断产品是否存在的第二类缺陷。
第二判断规则的具体判断过程如下：
在第二定位检测网络输出的检测结果为第一种检测结果时，确定产品存在第二类缺陷，并利用定位框标记第二类缺陷；在第二定位检测网络输出的检测结果为第二种检测结果时，若第二种分类结果的分类数值小于预设分数值，则确定产品不存在第二类缺陷；若第二种分类结果的分类数值不小于预设分数值，则确定产品存在第二类缺陷。
如图3所示，以丝网状产品为例，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出的分类结果表明产品图像存在杂质缺陷，则利用杂质定位检测网络对产品图像中的杂质缺陷进行定位检测，并利用杂质判断规则判断产品图像是否存在杂质缺陷。
如图6所示，杂质判断规则根据杂质定位检测网络输出的检测结果和分类网络输出的分类结果中杂质缺陷对应的分类数值，来进一步检测产品图像是否存在杂质缺陷，并在存在杂质缺陷时，定位杂质缺陷位置。具体的判断过程为：
在杂质定位检测网络输出的检测结果中包括用于定位杂质缺陷在产品图像中位置的box时，判断为存在杂质缺陷，产品为NG产品，并利用该box标记杂质缺陷。
在杂质定位检测网络输出的检测结果中不包括用于定位杂质缺陷在产品图像中的位置的box时，判断分类网络输出的分类结果中杂质缺陷对应的分类数值Pc是否小于预设分数值T；
若Pc小于T则确定产品不存在杂质缺陷，为OK产品；
若Pc不小于T则确定产品存在杂质缺陷，为NG产品。
其中，预设分数值T为接近数值1的数，例如预设分数值T＝0.995。
<实施例六>
本实施例还提供一种产品缺陷检测方法。在本实施例中，当分类网络输出第三种分类结果时，上述步骤S2300进一步包括S2450～S2460：
S2450，利用第三种分类结果关联的第三定位检测网络提取产品图像中产品纹理所在的多个图像块，计算多个图像块中是否存在图像块面积大于预设面积的目标图像块，若不存在则生成第二种检测结果；若存在则提取目标图像块的第二形状特征，在第二形状特征满足预设条件时生成第一种检测结果，在第二形状特征不满足预设条件时生成第二种检测结果。
其中，第一种检测结果为检测到用于定位第三类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第三类缺陷所在位置的定位框；定位框为目标图像块的最小外接矩形框。
在一些实施例中，提取目标图像块的面积比、偏心率、朝向角度中的一个或多个作为目标图像块的第二形状特征。其中，面积比为目标图像块的像素点数量与目标图像块的最小外接矩形框所在的产品图像的目标区域的像素点数量的比值；偏心率为把目标图像块等价成具有相同二阶矩的椭圆的焦距与长轴长度的比值，朝向角度为椭圆的长轴相对于水平方向的角度。
在确定图像块的第二形状特征之后，若目标图像块的每个第二形状特征均满足其相应的预设条件，生成第一种检测结果；若目标图像块有一个或一个以上的第二形状特征未满足其相应的预设条件，生成第二种检测结果。其中，在面积比小于面积比阈值时确定为满足面积比预设条件，在偏心率小于偏心率阈值时确定为满足偏心率预设条件，在朝向角度位于角度阈值区间时确定为满足角度预设条件。面积比阈值、偏心率阈值与角度阈值区间可以根据经验设定。
在一些实施例中，第三类缺陷与其分布位置相关。以丝网状产品为例，细小网偏缺陷是由于网布贴合时，轻微旋转导致少数网丝没有搭边造成的。因此，细小网偏缺陷一般位于产品图像的边界区域。
基于该情况，本实施例在目标图像块的每个形状特征均满足其相应的预设条件时，进一步检测目标图像块在产品图像中的位置，若目标图像块位于产品图像的边界区域，生成第一种检测结果，若目标图像块位于产品图像的非边界区域，生成第二种检测结果。
综上，第三定位检测网络是基于纹理特征与形状特征对产品图像中的第三类缺陷进行定位检测的。
在一些实施例中，如图7所示，第三定位检测网络可以先将产品图像进行二值化处理，对得到的二值图像进行区域检测，基于区域检测结果从二值图像中提取出产品纹理所在的多个图像块。以丝网状产品为例，可以对二值化的丝网状产品图像进行网孔区域检测，提取每个网孔区域所在的丝网状产品图像的图像块，由此可以得到多个图像块。
在提取到多个图像块之后，第三定位检测网络计算每个图像块的像素面积，并将每个图像块的像素面积与预设面积作比较，当存在像素面积大于预设面积的目标图像块时，表明该目标图像块可能存在第三类缺陷。第三定位检测网络利用目标图像块的第二形状特征判断该目标图像块中是否存在第三类缺陷，在第二形状特征满足预设条件时，表明该目标图像块存在第三类缺陷的可能性非常大。此时可以直接将第二形状特征满足预设条件的目标图像块的最小外接矩形框确定为用于定位第三类缺陷的定位框。
当第三类缺陷与其在产品图像中的位置相关时，第三定位检测网络在筛选出满足第二形状特征的目标图像块之后，还可以进一步基于筛选出的目标图像块在产品图像中的位置对这些目标图像块做二次筛选，将位于产品图像边界区域的目标图像块的最小外接矩形框确定为用于定位第三类缺陷的定位框。
其中，预设面积可以根据数据统计设定。例如统计一定数量的不存在产品缺陷的负样本图像，基于从负样本图像中提取的多个图像块计算面积平均值，以及统计一定数量的存在第三类缺陷的正样本图像，基于从正样本图像中提取的第三类缺陷所在的图像块计算面积平均值，基于这两种平均值设置本实施例的预设面积，以利用预设面积区分出第三类缺陷所在的图像块。
S2450，利用第三定位检测网络输出的检测结果关联的第三判断规则判断产品是否存在的第三类缺陷。
第三判断规则的具体判断过程为：若第三定位检测网络的检测结果为第一种检测结果，则确定产品存在第三类缺陷，并利用定位框标记第三类缺陷；若第三定位检测网络的检测结果为第二种检测结果，则确定产品不存在第三类缺陷。
在产品为丝网状产品的应用场景中，细小网偏缺陷即为第三类缺陷，细小网偏定位检测网络即为第三定位检测网络，利用细小网偏定位检测网络对细小网偏缺陷的定位检测过程如图3与图8所示。
参考图3，当利用分类网络对丝网状产品的产品图像进行分类检测时，若分类网络输出产品图像不存在缺陷的分类结果，则利用细小网偏定位检测网络对产品图像中的细小网偏缺陷进行定位检测，并利用细小网偏判断规则判断产品图像是否存在细小网偏缺陷。
参考图8，当细小网偏定位检测网络输出的检测结果中包括用于定位细小网偏缺陷在产品图像中的位置的box时，判断产品存在细小网偏缺陷，为NG产品，并利用该box标记细小网偏缺陷。当细小网偏定位检测网络输出的检测结果中不包括用于定位细小网偏缺陷在产品图像中的位置的box时，判断产品不存在细小网偏缺陷，为OK产品。
<实施例七>
图9为本发明实施例示出的产品缺陷检测装置的结构框图，如图9所示，本实施例的装置包括：
预处理单元9100，用于构建缺陷检测框架，缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；以及利用包含不同缺陷类型的产品的样本图像对分类网络进行训练，得到能够将样本图像中存在的缺陷类型分类的分类网络。
缺陷检测单元9200，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。
在一些实施例中，分类结果包括：第一种分类结果、第二种分类结果和第三种分类结果，第一种分类结果检测到产品图像中存在第一类缺陷，第一类缺陷为分类网络对缺陷类型的分类正确率大于第一阈值的缺陷；第二种分类结果检测到产品图像中存在第二类缺陷，第二类缺陷为分类网络对缺陷类型的分类正确率不大于第一阈值的缺陷；第三种分类结果检测到产品图像中不存在缺陷；以及分类结果还包括第四种分类结果，第四种分类结果为检测到产品图像中存在第四类缺陷，第四类缺陷为分类网络能够正确分类的缺陷类型，其中第四类分类结果不关联定位检测网络。
在一些实施例中，缺陷检测单元9200包括第一检测模块和第一判断模块；
第一检测模块在分类网络输出所述第一种分类结果时，利用第一种分类结果关联的第一定位检测网络提取产品图像中产品纹理所在的多个图像块；以及计算多个图像块中是否存在图像块面积大于预设面积的目标图像块，若存在则生成第一种检测结果，若不存在则生成第二种检测结果；其中，第一种检测结果为检测到用于定位第一类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第一类缺陷所在位置的定位框；定位框为所述目标图像块的最小外接矩形框。
第一判断模块利用第一定位检测网络输出的检测结果关联的第一判断规则判断产品是否存在的第一类缺陷；若为第一种检测结果，则确定产品存在第一类缺陷，并利用定位框标记第一类缺陷；若为第二种检测结果，则确定产品存在第一类缺陷，不标记第一类缺陷。
在一些实施例中，缺陷检测单元9200还包括第二检测模块和第二判断模块；
第二检测模块在分类网络输出所述第二种分类结果时，利用第二种分类结果关联的第二定位检测网络对产品图像进行形态学检测；以及在未检测到用于定位第二类缺陷的定位框时，生成第二种检测结果；在检测到用于定位第二类缺陷的定位框时，判断定位框所在产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，若不符合则生成第二种检测结果；其中，第一种检测结果为检测到用于定位第二类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第二类缺陷所在位置的定位框；定位框为第一形状特征符合预设条件的图像块的最小外接矩形框。
第二判断模块利用第二定位检测网络输出的检测结果关联的第二判断规则判断产品是否存在的第二类缺陷；在为第一种检测结果时，确定产品存在第二类缺陷，并利用定位框标记第二类缺陷；在为第二种检测结果时，若第二种分类结果的分类数值小于预设分数值，则确定产品不存在第二类缺陷；若第二种分类结果的分类数值不小于预设分数值，则确定产品存在第二类缺陷。
在一些实施例中，第二检测模块对产品图像进行形态学闭合操作处理，并对形态学闭合操作处理后的图像进行二值化处理，对得到的二值图像进行区域检测；在检测到二值图像存在连通区域时，确定检测到定位框，其中第二检测模块提取连通区域对应的产品图像的图像块，将图像块的最小外接矩形框作为定位框；在未检测到二值图像存在连通区域时，确定未检测到定位框。
第二检测模块还提取定位框对应的图像块的黑白比、面积、平均面积、面积极差、形心与质心之间的距离中的一个或多个作为图像块的第一形状特征；若图像块的每个第一形状特征均满足其相应的预设条件，生成第一种检测结果；若图像块有一个或一个以上的第一形状特征未满足其相应的预设条件时，生成第二种检测结果；其中，在黑白比大于黑白比阈值时确定为满足黑白比预设条件，在面积大于面积阈值时确定为满足面积预设条件，在平均面积大于平均面积阈值时确定为满足平均面积预设条件，在面积极差大于面积极差阈值时确定为满足极差预设条件，在形心与质心之间的距离大于距离阈值时确定为满足距离预设条件；黑白比为图像块对应的二值化的图像块中黑色像素数量与白色像素点数量的比值，平均面积为从图像块中提取出的全部连通区域的像素面积的平均值，面积极差为从图像块中提取出的最大连通区域的像素面积与最小连通区域的像素面积的差值。
在一些实施例中，缺陷检测单元9200包括第三检测模块和第三判断模块；
第三检测模块在分类网络输出第三种分类结果时，利用第三种分类结果关联的第三定位检测网络提取产品图像中产品纹理所在的多个图像块；以及计算多个图像块中是否存在图像块面积大于预设面积的目标图像块，若不存在则生成第二种检测结果；若存在则提取所述目标图像块的第二形状特征，在第二形状特征满足预设条件时生成第一种检测结果，在第二形状特征不满足预设条件时生成第二种检测结果；其中，第一种检测结果为检测到用于定位第三类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第三类缺陷所在位置的定位框；定位框为所述目标图像块的最小外接矩形框。
第三判断模块利用第三定位检测网络输出的检测结果关联的第三判断规则判断产品是否存在的第三类缺陷；若为第一种检测结果，则确定产品存在第三类缺陷，并利用定位框标记第三类缺陷；若为第二种检测结果，则确定产品不存在第三类缺陷。
在一些实施例中，第三检测模块具体是提取目标图像块的面积比、偏心率、朝向角度中的一个或多个作为目标图像块的第二形状特征；若目标图像块的每个第二形状特征均满足其相应的预设条件，生成第一种检测结果；若目标图像块有一个或一个以上的第二形状特征未满足其相应的预设条件，生成第二种检测结果；其中，在面积比小于面积比阈值时确定为满足面积比预设条件，在偏心率小于偏心率阈值时确定为满足偏心率预设条件，在朝向角度位于角度阈值区间时确定为满足角度预设条件；面积比为目标图像块的像素点数量与目标图像块的最小外接矩形框所在的产品图像的目标区域的像素点数量的比值，偏心率为把目标图像块等价成具有相同二阶矩的椭圆的焦距与长轴长度的比值，朝向角度为椭圆的长轴相对于水平方向的角度。
在一些实施例中，第三检测模块在目标图像块的每个形状特征均满足其相应的预设条件时，还检测目标图像块在产品图像中的位置，若目标图像块位于所述产品图像的边界区域，生成第一种检测结果，若目标图像块位于产品图像的非边界区域，生成第二种检测结果。
<实施例八>
图10为本发明实施例示出的产品缺陷检测系统的结构框图，如图10所示，在硬件层面，该虚拟现实系统包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成产品缺陷检测装置。处理器，执行存储器所存放的程序实现如上文描述的产品缺陷检测方法。
上述如本说明书图10所示实施例揭示的产品缺陷检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的产品缺陷检测方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述产品缺陷检测方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的产品缺陷检测方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种产品缺陷检测方法，其特征在于，包括：
构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；根据所述分类网络的分类结果设置所述定位检测网络的数量和所述判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；
利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型分类的分类网络；
在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置；
所述分类结果包括第三种分类结果，检测到所述产品图像中不存在缺陷，在所述分类网络输出所述第三种分类结果时，利用所述第三种分类结果关联的第三定位检测网络提取所述产品图像中产品纹理所在的多个图像块，计算所述多个图像块中是否存在图像块面积大于预设面积的目标图像块，若不存在则生成第二种检测结果；若存在则提取所述目标图像块的第二形状特征，在所述第二形状特征满足预设条件时生成第一种检测结果，在所述第二形状特征不满足预设条件时生成所述第二种检测结果；第一种检测结果为检测到用于定位所述第三类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第三类缺陷所在位置的定位框；所述定位框为所述目标图像块的最小外接矩形框；
利用所述第三定位检测网络输出的检测结果关联的第三判断规则判断所述产品是否存在的第三类缺陷：若为所述第一种检测结果，则确定所述产品存在第三类缺陷，并利用所述定位框标记所述第三类缺陷；若为所述第二种检测结果，则确定所述产品不存在第三类缺陷；
其中，所述产品为丝网状产品，所述产品缺陷类型包括细小网偏缺陷，所述第三类缺陷为细小网偏缺陷。
2.根据权利要求1所述的方法，其特征在于，所述产品缺陷类型还包括双网缺陷、破损缺陷、网偏缺陷、和杂质缺陷，所述破损缺陷与所述网偏缺陷为第一类缺陷，所述杂质缺陷为第二类缺陷，所述双网缺陷为第四类缺陷；所述分类结果包括：
第一种分类结果，检测到所述产品图像中存在第一类缺陷，所述第一类缺陷为所述分类网络对缺陷类型的分类正确率大于第一阈值的缺陷；
第二种分类结果，检测到所述产品图像中存在第二类缺陷，所述第二类缺陷为所述分类网络对缺陷类型的分类正确率不大于所述第一阈值的缺陷；
以及分类结果还包括第四种分类结果，检测到所述产品图像中存在第四类缺陷，第四类缺陷为分类网络能够正确分类的缺陷类型，其中第四类分类结果不关联定位检测网络。
3.根据权利要求2所述的方法，其特征在于，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测，包括：
在所述分类网络输出所述第一种分类结果时，利用所述第一种分类结果关联的第一定位检测网络提取所述产品图像中产品纹理所在的多个图像块；
利用所述第一定位检测网络计算所述多个图像块中是否存在图像块面积大于预设面积的目标图像块，若存在则生成第一种检测结果，若不存在则生成第二种检测结果；
其中，第一种检测结果为检测到用于定位所述第一类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第一类缺陷所在位置的定位框；所述定位框为所述目标图像块的最小外接矩形框；
则根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置，包括：
利用所述第一定位检测网络输出的检测结果关联的第一判断规则判断所述产品是否存在的第一类缺陷；
若为所述第一种检测结果，则确定所述产品存在第一类缺陷，并利用所述定位框标记所述第一类缺陷；
若为所述第二种检测结果，则确定所述产品存在第一类缺陷，不标记所述第一类缺陷。
4.根据权利要求2所述的方法，其特征在于，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测，包括：
在所述分类网络输出所述第二种分类结果时，利用所述第二种分类结果关联的第二定位检测网络对所述产品图像进行形态学检测；
在未检测到用于定位第二类缺陷的定位框时，生成第二种检测结果；在检测到用于定位第二类缺陷的定位框时，判断所述定位框所在产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，若不符合则生成第二种检测结果；
其中，第一种检测结果为检测到用于定位所述第二类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第二类缺陷所在位置的定位框；所述定位框为第一形状特征符合预设条件的图像块的最小外接矩形框；
则根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：
利用所述第二定位检测网络输出的检测结果关联的第二判断规则判断所述产品是否存在的第二类缺陷；
在为所述第一种检测结果时，确定所述产品存在第二类缺陷，并利用所述定位框标记所述第二类缺陷；
在为所述第二种检测结果时，若所述第二种分类结果的分类数值小于预设分数值，则确定所述产品不存在第二类缺陷；若所述第二种分类结果的分类数值不小于所述预设分数值，则确定所述产品存在第二类缺陷。
5.根据权利要求4所述的方法，其特征在于，利用所述第二种分类结果关联的第二定位检测网络对所述产品图像进行形态学检测，包括：
对所述产品图像进行形态学闭合操作处理，并对形态学闭合操作处理后的图像进行二值化处理，对得到的二值图像进行区域检测；
在检测到所述二值图像存在连通区域时，确定检测到所述定位框，其中提取所述连通区域对应的所述产品图像的图像块，将所述图像块的最小外接矩形框作为所述定位框；
在未检测到所述二值图像存在连通区域时，确定未检测到所述定位框。
6.根据权利要求4所述的方法，其特征在于，判断所述定位框所在的产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，反之若不符合则生成第二种检测结果，包括：
提取所述定位框对应的图像块的黑白比、面积、平均面积、面积极差、形心与质心之间的距离中的一个或多个作为所述图像块的第一形状特征；
若所述图像块的每个第一形状特征均满足其相应的预设条件，生成第一种检测结果；若图像块有一个或一个以上的第一形状特征未满足其相应的预设条件时，生成所述第二种检测结果；
其中，在所述黑白比大于黑白比阈值时确定为满足黑白比预设条件，在所述面积大于面积阈值时确定为满足面积预设条件，在所述平均面积大于平均面积阈值时确定为满足平均面积预设条件，在所述面积极差大于面积极差阈值时确定为满足极差预设条件，在所述形心质心之间的距离大于距离阈值时确定为满足距离预设条件；
所述黑白比为所述图像块对应的二值化的图像块中黑色像素数量与白色像素点数量的比值，所述平均面积为从所述图像块中提取出的全部连通区域的像素面积的平均值，所述面积极差为从所述图像块中提取出的最大连通区域的像素面积与最小连通区域的像素面积的差值。
7.根据权利要求1所述的方法，其特征在于，提取所述目标图像块的第二形状特征，在所述形状特征满足第二预设条件时生成第一种检测结果，在所述形状特征不满足第二预设条件时生成所述第二种检测结果，包括：
提取所述目标图像块的面积比、偏心率、朝向角度中的一个或多个作为所述目标图像块的第二形状特征；
若所述目标图像块的每个第二形状特征均满足其相应的预设条件，生成第一种检测结果；若所述目标图像块有一个或一个以上的第二形状特征未满足其相应的预设条件，生成所述第二种检测结果；
其中，在所述面积比小于面积比阈值时确定为满足面积比预设条件，在所述偏心率小于偏心率阈值时确定为满足偏心率预设条件，在所述朝向角度位于角度阈值区间时确定为满足角度预设条件；
所述面积比为所述目标图像块的像素点数量与所述目标图像块的最小外接矩形框所在的产品图像的目标区域的像素点数量的比值，所述偏心率为把所述目标图像块等价成具有相同二阶矩的椭圆的焦距与长轴长度的比值，所述朝向角度为所述椭圆的长轴相对于水平方向的角度。
8.根据权利要求7所述的方法，其特征在于，在所述目标图像块的每个形状特征均满足其相应的预设条件时，所述方法进一步包括：
检测所述目标图像块在所述产品图像中的位置，若所述目标图像块位于所述产品图像的边界区域，生成第一种检测结果，若所述目标图像块位于所述产品图像的非边界区域，生成第二种检测结果。
9.一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据所述分类网络的分类结果设置所述定位检测网络的数量和所述判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；以及利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型正确分类的分类网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置；
缺陷检测单元包括：第三检测模块和第三判断模块，所述分类结果包括第三种分类结果，检测到所述产品图像中不存在缺陷；
第三检测模块在分类网络输出第三种分类结果时，利用第三种分类结果关联的第三定位检测网络提取产品图像中产品纹理所在的多个图像块；以及计算多个图像块中是否存在图像块面积大于预设面积的目标图像块，若不存在则生成第二种检测结果；若存在则提取所述目标图像块的第二形状特征，在第二形状特征满足预设条件时生成第一种检测结果，在第二形状特征不满足预设条件时生成第二种检测结果；其中，第一种检测结果为检测到用于定位第三类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位第三类缺陷所在位置的定位框；定位框为所述目标图像块的最小外接矩形框。
第三判断模块利用第三定位检测网络输出的检测结果关联的第三判断规则判断产品是否存在的第三类缺陷；若为第一种检测结果，则确定产品存在第三类缺陷，并利用定位框标记第三类缺陷；若为第二种检测结果，则确定产品不存在第三类缺陷；
其中，所述产品为丝网状产品，所述产品缺陷类型包括细小网偏缺陷，所述第三类缺陷为细小网偏缺陷。
10.一种产品缺陷检测系统，包括：存储器和处理器；
所述存储器，存储计算机可执行指令；
所述处理器，计算机可执行指令在被执行时使所述处理器执行如权利要求1-8任一项所述的产品缺陷检测方法。
CN201911402024.9A 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统 Active CN111060520B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911402024.9A CN111060520B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统
PCT/CN2020/114399 WO2021135372A1 (zh) 2019-12-30 2020-09-10 一种产品缺陷检测方法、装置与系统
US17/309,309 US11836907B2 (en) 2019-12-30 2020-09-10 Product defect detection method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402024.9A CN111060520B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统

Publications (2)

Publication Number Publication Date
CN111060520A CN111060520A (zh) 2020-04-24
CN111060520B true CN111060520B (zh) 2021-10-29

Family

ID=70305023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402024.9A Active CN111060520B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统

Country Status (3)

Country Link
US (1) US11836907B2 (zh)
CN (1) CN111060520B (zh)
WO (1) WO2021135372A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044525B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111060520B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111776392B (zh) * 2020-08-11 2021-02-09 镁伽科技(深圳)有限公司 贴标设备、装置和系统及贴标方法及存储介质
CN114463245A (zh) * 2020-11-10 2022-05-10 北京百度网讯科技有限公司 图像处理方法、装置以及电子设备
CN113850987B (zh) * 2020-12-11 2023-04-28 广东朝歌智慧互联科技有限公司 用于检测产品质量的系统
CN112784938B (zh) * 2021-02-04 2022-04-15 杭州优海信息系统有限公司 一种面向工业大数据的工序批量产出智能计数方法
CN113469997B (zh) * 2021-07-19 2024-02-09 京东科技控股股份有限公司 平面玻璃的检测方法、装置、设备和介质
JP2023076992A (ja) * 2021-11-24 2023-06-05 東レエンジニアリング株式会社 自動欠陥分類装置
CN114895666B (zh) * 2022-04-11 2024-04-19 广州镭晨智能装备科技有限公司 摄像组件的路径规划方法、装置及计算机可读存储介质
CN115283835B (zh) * 2022-07-05 2023-10-20 深圳明锐理想科技有限公司 一种pcb板的缺陷打标方法及设备
CN115359307B (zh) * 2022-10-24 2023-01-03 成都诺比侃科技有限公司 一种基于大数据的接触网验损缺陷数据管理方法及系统
CN116385434B (zh) * 2023-06-02 2023-08-08 同济检测(济宁)有限公司 一种用于预制梁裂缝的智能检测方法
CN116500048B (zh) * 2023-06-28 2023-09-15 四川联畅信通科技有限公司 一种线缆卡具缺陷检测方法、装置、设备及介质
CN116542974B (zh) * 2023-07-05 2023-09-26 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116994007B (zh) * 2023-09-26 2024-03-19 支付宝(杭州)信息技术有限公司 商品纹理检测处理方法及装置
CN117237310B (zh) * 2023-09-26 2024-03-12 日照鼎立钢构股份有限公司 一种基于图像识别的钢结构件缺陷检测方法及系统
CN117873007A (zh) * 2024-03-11 2024-04-12 成都秦川物联网科技股份有限公司 基于工业物联网的制造流程管理方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292263A (zh) * 2005-08-26 2008-10-22 卡姆特有限公司 目视检验仪中自动检测物品缺陷的方法和系统
CN103308523A (zh) * 2013-05-28 2013-09-18 清华大学 多尺度瓶口缺陷检测方法及装置
CN109632809A (zh) * 2018-12-19 2019-04-16 歌尔股份有限公司 产品质量检测方法及装置
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN109741295A (zh) * 2018-11-28 2019-05-10 歌尔股份有限公司 产品质量检测方法及装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US6546308B2 (en) * 1993-12-28 2003-04-08 Hitachi, Ltd, Method and system for manufacturing semiconductor devices, and method and system for inspecting semiconductor devices
JP2001230289A (ja) * 2000-02-15 2001-08-24 Hitachi Ltd 欠陥解析方法および欠陥解析システム
US7127098B2 (en) * 2001-09-13 2006-10-24 Hitachi, Ltd. Image detection method and its apparatus and defect detection method and its apparatus
US7187780B2 (en) * 2001-12-13 2007-03-06 Digimarc Corporation Image processing methods using reversible watermarking
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP2006518072A (ja) * 2003-02-18 2006-08-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 適応メッシュのプリミティブにクラスを割り当てる画像の領域分割
US7394530B2 (en) * 2004-03-30 2008-07-01 Budd Gerald W Surface inspection technology for the detection of porosity and surface imperfections on machined metal surfaces
JP4664708B2 (ja) * 2005-03-07 2011-04-06 株式会社東芝 欠陥レビューシステム、欠陥レビュー方法、及び電子装置の製造方法
JP4644613B2 (ja) * 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
JP4866141B2 (ja) * 2006-05-11 2012-02-01 株式会社日立ハイテクノロジーズ Ｓｅｍ式レビュー装置を用いた欠陥レビュー方法及びｓｅｍ式欠陥レビュー装置
JP5221858B2 (ja) * 2006-08-30 2013-06-26 株式会社日立ハイテクノロジーズ 欠陥検査装置、及び欠陥検査方法
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
US8223837B2 (en) * 2007-09-07 2012-07-17 Microsoft Corporation Learning-based image compression
JP5081590B2 (ja) * 2007-11-14 2012-11-28 株式会社日立ハイテクノロジーズ 欠陥観察分類方法及びその装置
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
WO2011158711A1 (ja) * 2010-06-14 2011-12-22 住友金属工業株式会社 欠陥判別装置
US8331650B2 (en) * 2010-07-29 2012-12-11 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection
CN101996405B (zh) * 2010-08-30 2012-07-04 中国科学院计算技术研究所 一种快速的玻璃图像缺陷检测及分类方法及其装置
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US10408764B2 (en) * 2017-09-13 2019-09-10 Applied Materials Israel Ltd. System, method and computer program product for object examination
US10809635B2 (en) * 2017-11-20 2020-10-20 Taiwan Semiconductor Manufacturing Company, Ltd. Defect inspection method and defect inspection system
US10921334B2 (en) 2018-03-22 2021-02-16 Applied Materials Israel Ltd. System, method and computer program product for classifying defects
CN109829883B (zh) * 2018-12-19 2020-11-17 歌尔光学科技有限公司 产品质量检测方法及装置
CN109741324B (zh) * 2019-01-10 2020-12-04 惠科股份有限公司 一种检测方法、检测装置及终端设备
CN110175982B (zh) 2019-04-16 2021-11-02 浙江大学城市学院 一种基于目标检测的缺陷检测方法
CN110223269A (zh) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 一种fpc缺陷检测方法和装置
CN110136110A (zh) 2019-05-13 2019-08-16 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置
CN110276754B (zh) 2019-06-21 2021-08-20 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN110441501B (zh) * 2019-06-27 2023-03-21 北海惠科光电技术有限公司 一种检测方法和检测系统
CN110609037B (zh) * 2019-07-12 2022-08-02 北京旷视科技有限公司 产品缺陷检测系统及方法
CN110570393B (zh) * 2019-07-31 2023-06-23 华南理工大学 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
CN110487802A (zh) 2019-08-15 2019-11-22 苏州热工研究院有限公司 现场检测光伏组件缺陷的识别装置
CN110599484B (zh) * 2019-09-19 2023-01-10 京东方科技集团股份有限公司 缺陷检测方法、装置及存储介质
CN111044525B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111060520B (zh) 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292263A (zh) * 2005-08-26 2008-10-22 卡姆特有限公司 目视检验仪中自动检测物品缺陷的方法和系统
CN103308523A (zh) * 2013-05-28 2013-09-18 清华大学 多尺度瓶口缺陷检测方法及装置
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN109741295A (zh) * 2018-11-28 2019-05-10 歌尔股份有限公司 产品质量检测方法及装置
CN109632809A (zh) * 2018-12-19 2019-04-16 歌尔股份有限公司 产品质量检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的玻璃瓶缺陷检测与抓取系统研究;王一冰;《中国优秀硕士学位论文全文数据库信息科技辑》;20161115;正文3.1-3.3、4.2节、6.1-6.2节内容和图3-1—3-29、图6-1—6-7 *

Also Published As

Publication number Publication date
US20220309639A1 (en) 2022-09-29
WO2021135372A1 (zh) 2021-07-08
CN111060520A (zh) 2020-04-24
US11836907B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111060520B (zh) 一种产品缺陷检测方法、装置与系统
CN111044525B (zh) 一种产品缺陷检测方法、装置与系统
US11741593B2 (en) Product defect detection method, device and system
US20210374940A1 (en) Product defect detection method, device and system
WO2022036953A1 (zh) 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
CN107886074B (zh) 一种人脸检测方法以及人脸检测系统
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
WO2021139197A1 (zh) 一种图像处理方法及装置
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
US20210272272A1 (en) Inspection support apparatus, inspection support method, and inspection support program for concrete structure
CN109598298B (zh) 图像物体识别方法和系统
JP6198486B2 (ja) 画像処理装置およびその方法
JP2017156988A (ja) 物体検出装置
TW202242390A (zh) 缺陷檢查裝置、缺陷檢查方法以及製造方法
CN114155241A (zh) 一种异物检测方法、装置及电子设备
Duong et al. Vision inspection system for pharmaceuticals
CN112784494A (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN112308061B (zh) 一种车牌字符识别方法及装置
CN114399617B (zh) 一种遮挡图案识别方法、装置、设备和介质
TWI777696B (zh) 缺陷檢測方法以及使用該方法的缺陷檢測系統
CN112329783B (zh) 基于图像处理的钩尾框折断识别方法
CN114441554B (zh) 检测方法
CN114486647A (zh) 物料粒子的检测方法、装置、粒子检测装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant