CN112505049A - 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 - Google Patents

基于蒙版抑制的精密零组件表面缺陷检测方法和系统 Download PDF

Info

Publication number
CN112505049A
CN112505049A CN202011097319.2A CN202011097319A CN112505049A CN 112505049 A CN112505049 A CN 112505049A CN 202011097319 A CN202011097319 A CN 202011097319A CN 112505049 A CN112505049 A CN 112505049A
Authority
CN
China
Prior art keywords
mask
area
picture
defect
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011097319.2A
Other languages
English (en)
Other versions
CN112505049B (zh
Inventor
刘潇颖
郭漪超
邵汉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hujue Technology Co ltd
Original Assignee
Shanghai Hujue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hujue Technology Co ltd filed Critical Shanghai Hujue Technology Co ltd
Priority to CN202011097319.2A priority Critical patent/CN112505049B/zh
Publication of CN112505049A publication Critical patent/CN112505049A/zh
Application granted granted Critical
Publication of CN112505049B publication Critical patent/CN112505049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明提供了一种基于蒙版抑制的精密零组件表面缺陷检测方法和系统，包括：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；根据产品轮廓，计算图片上的缺陷检测区域并用外接矩形包裹起来；在外接矩形范围内标注蒙版区域；根据蒙版区域与外接矩形区域的相对位置，计算所有图片中的蒙版区域；利用迁移学习法对标注的缺陷数据进行深度学习训练，生成卷积神经网络模型进行产品缺陷类别识别；通过模型集成，分析精密零组件是否存在加工缺陷；统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。本发明降低了待检精密零组件对于环境变化的敏感度，提高了零组件检测在复杂环境下的抗噪能力。

Description

基于蒙版抑制的精密零组件表面缺陷检测方法和系统
技术领域
本发明涉及计算机视觉、深度学习技术领域，具体地，涉及一种基于蒙版抑制的精密零组件表面缺陷检测方法和系统。
背景技术
工业生产中，几乎所有产品都需要进行质检，其中一大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)，尤其是一些表面缺陷，比如精密工件、金属表面、手机背板等，这种情况在实际工业中十分常见。由于产品的多样性、缺陷的多样性，比如装饰板材的缺陷即有划痕、污点、斑块、磨损、碎屑等，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况，提高生产线的时间成本并可能影响到上市产品的质量。企业往往需要培养专门的质检员，检测环节也大大提高了企业的人力成本。故对于采取人工视检的产品，应用计算机视觉技术和深度学习技术进行图像的采集与处理，采用自动化检测系统及方法进行检测是行之有效，降本增效、控制漏检率的方法。
早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆Gabor滤波器、RGB直方图等选择特定的图像特征。
专利文献CN106248686A(申请号：201610545573.1)公开了一种基于机器视觉的玻璃表面缺陷检测装置及方法，提出采用CCD相机对玻璃图像进行采集，在采用数字图像处理方法，如图像标定，二值化，去噪声，边缘检测等方法对缺陷进行识别。数字图像处理方法的识别率对于各种因素，如光照、对比度等影响因素十分敏感，且其过于依赖提取的特定图像特征，无法应对复杂背景，多种缺陷的识别任务，不具备通用性。
近年来，借助机器学习领域深度学习研究的发展，识别技术得到了突飞猛进的发展。将深度学习方法引入VCM马达表面缺陷图像的检测识别，可以极大的提高识别的准确性，降低漏检率，提高鲁棒性。深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，对特征进行学习，从而最终提升分类或预测的准确性和通用性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于蒙版抑制的精密零组件表面缺陷检测方法和系统。
根据本发明提供的基于蒙版抑制的精密零组件表面缺陷检测方法，包括：
步骤1：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；
步骤2：根据精密零组件的轮廓，计算产品图片上的缺陷检测区域并用一个外接矩形包裹起来；
步骤3：在产品图片上的外接矩形范围内标注蒙版区域；
步骤4：根据产品图片上蒙版区域与外接矩形区域的相对位置，计算所有精密零组件图片中的蒙版区域；
步骤5：利用迁移学习法，对标注的缺陷数据进行深度学习算法的分类训练，生成卷积神经网络模型；
步骤6：利用卷积神经网络模型检索识别精密零组件的缺陷类别；
步骤7：通过模型集成，分析精密零组件是否存在加工缺陷；
步骤8：统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。
优选的，进行深度学习算法的分类训练时，生成两个卷积神经网络模型，进行缺陷类别识别；
当两个模型都判断精密零组件是良品时，则判定该件为良品；
若有一个模型判断是不良品时，则判定该件为不良品。
优选的，标注的缺陷数据的类别包括：面、边缘、胶和pin针。
优选的，外接矩形区域与蒙版区域的位置随着精密零组件位置的不同而动态变化。
优选的，蒙版区域的计算方式为：根据每张精密零组件图片中矩形区域的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，使得基础矩形框与待分析图片的矩形框重合，则此时的蒙版区域为待分析图片中的蒙版区域；
蒙版区域用于对所有缺陷信息，过滤矩形区域内的检测结果。
根据本发明提供的基于蒙版抑制的精密零组件表面缺陷检测系统，包括：
模块M1：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；
模块M2：根据精密零组件的轮廓，计算产品图片上的缺陷检测区域并用一个外接矩形包裹起来；
模块M3：在产品图片上的外接矩形范围内标注蒙版区域；
模块M4：根据产品图片上蒙版区域与外接矩形区域的相对位置，计算所有精密零组件图片中的蒙版区域；
模块M5：利用迁移学习法，对标注的缺陷数据进行深度学习算法的分类训练，生成卷积神经网络模型；
模块M6：利用卷积神经网络模型检索识别精密零组件的缺陷类别；
模块M7：通过模型集成，分析精密零组件是否存在加工缺陷；
模块M8：统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。
优选的，进行深度学习算法的分类训练时，生成两个卷积神经网络模型，进行缺陷类别识别；
当两个模型都判断精密零组件是良品时，则判定该件为良品；
若有一个模型判断是不良品时，则判定该件为不良品。
优选的，标注的缺陷数据的类别包括：面、边缘、胶和pin针。
优选的，外接矩形区域与蒙版区域的位置随着精密零组件位置的不同而动态变化。
优选的，蒙版区域的计算方式为：根据每张精密零组件图片中矩形区域的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，使得基础矩形框与待分析图片的矩形框重合，则此时的蒙版区域为待分析图片中的蒙版区域；
蒙版区域用于对所有缺陷信息，过滤矩形区域内的检测结果。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过蒙版区域设置，降低了待检精密零组件对于环境变化的敏感度，提高了零组件检测在复杂环境下的抗噪能力；
2、本发明通过多个卷积神经网络模型和模型集成，对产品进行缺陷检测，提高了检测的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为矩形框和蒙版区域示意图；
图2为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图2，根据本发明提供的采用蒙版抑制的精密零组件表面缺陷检测方法，包括如下步骤：
S1：采集精密零组件产品图片，并在精密零组件产品上标注缺陷信息。所述人工标注缺陷信息的类别为：面、边缘、胶、pin针；
S2：根据精密零组件轮廓，计算实际训练区域并用一个外接矩形包裹起来；
S3：选择一张精密零组件产品图片，在外接矩形范围内标注蒙版区域信息；
S4：根据该图片蒙版区域与外接矩形之间的相对位置关系，计算所有精密零组件图片中的蒙版区域信息；
S5：利用迁移学习的方法，对所述人工标注的数据进行深度学习算法的分类训练，生成两个不同的CNN模型；
S6：利用所述两个CNN模型分别检索识别精密零组件的缺陷类别；
S7：利用多模型集成的方法，分析出精密零组件是否存在加工缺陷；
S8：统计所有的加工缺陷，对于每一个精密零组件，其对应的蒙版区域中的缺陷信息是无用信息，这些缺陷信息会被算法舍弃掉，并将其余缺陷信息作为最终输出结果。
检测出精密零组件轮廓后，计算出一个合适大小的外接矩形框。矩形框内的区域即为实际用于算法分析的区域。
矩形框区域与蒙版区域的位置随着零组件位置的不同而动态变化。
蒙版区域的作用在于对所有缺陷信息，过滤区域内的检测结果。
进一步地，所述步骤S2中，矩形区域的计算方式为：设定一个最短距离，选择一个最小外接矩形，让矩形各个边的距离到达零组件轮廓的距离都为最短距离。
进一步地，所述步骤S4中，蒙版区域的计算方式为：根据每张零组件图片中矩形框的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，最终令基础矩形框与待分析图片的矩形框相重合，则此时的蒙版区域即为待分析图片中的蒙版区域，如图1所示。
进一步地，所述步骤S5中的所述两个不同的CNN模型为Inception和MobileNet；
进一步地，所述步骤S6中的所述迁移学习的方法包括：使用所述Inception和MobileNet，保留卷积层和池化层用于特征提取，只重新构建其最后一层全连接层进行分类；使用所述人工标注的数据分别对全连接层进行训练，得到两个可对所述人工标注的类别进行识别分类的卷积神经网络模型，以缩短神经网络的训练时间。
进一步地，所述步骤S7中的所述多模型集成的方法包括：
在所述模块推理系统，在所述上位计算机收集到待检测图像后，将所述待检测图像分别输入所述Inception和所述MobileNet；
若所述Inception或所述MobileNet检测到加工缺陷，返回“True”；
若所述Inception或所述MobileNet未检测到加工缺陷，返回“False”；
只有当所述Inception和所述MobileNet均返回“False”时，所述模块推理系统才返回“False”，表示待测零组件没有加工缺陷；
当所述Inception和所述MobileNet之一或者全部返回“True”时，所述模块推理系统返回“True”，表示待测零组件存在加工缺陷，以此降低漏检率。
根据本发明提供的基于蒙版抑制的精密零组件表面缺陷检测系统，包括：
模块M1：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；
模块M2：根据精密零组件的轮廓，计算产品图片上的缺陷检测区域并用一个外接矩形包裹起来；
模块M3：在产品图片上的外接矩形范围内标注蒙版区域；
模块M4：根据产品图片上蒙版区域与外接矩形区域的相对位置，计算所有精密零组件图片中的蒙版区域；
模块M5：利用迁移学习法，对标注的缺陷数据进行深度学习算法的分类训练，生成卷积神经网络模型；
模块M6：利用卷积神经网络模型检索识别精密零组件的缺陷类别；
模块M7：通过模型集成，分析精密零组件是否存在加工缺陷；
模块M8：统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。
优选的，进行深度学习算法的分类训练时，生成两个卷积神经网络模型，进行缺陷类别识别；
当两个模型都判断精密零组件是良品时，则判定该件为良品；
若有一个模型判断是不良品时，则判定该件为不良品。
优选的，标注的缺陷数据的类别包括：面、边缘、胶和pin针。
优选的，外接矩形区域与蒙版区域的位置随着精密零组件位置的不同而动态变化。
优选的，蒙版区域的计算方式为：根据每张精密零组件图片中矩形区域的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，使得基础矩形框与待分析图片的矩形框重合，则此时的蒙版区域为待分析图片中的蒙版区域；
蒙版区域用于对所有缺陷信息，过滤矩形区域内的检测结果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于蒙版抑制的精密零组件表面缺陷检测方法，其特征在于，包括：
步骤1：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；
步骤2：根据精密零组件的轮廓，计算产品图片上的缺陷检测区域并用一个外接矩形包裹起来；
步骤3：在产品图片上的外接矩形范围内标注蒙版区域；
步骤4：根据产品图片上蒙版区域与外接矩形区域的相对位置，计算所有精密零组件图片中的蒙版区域；
步骤5：利用迁移学习法，对标注的缺陷数据进行深度学习算法的分类训练，生成卷积神经网络模型；
步骤6：利用卷积神经网络模型检索识别精密零组件的缺陷类别；
步骤7：通过模型集成，分析精密零组件是否存在加工缺陷；
步骤8：统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。
2.根据权利要求1所述的基于蒙版抑制的精密零组件表面缺陷检测方法，其特征在于，进行深度学习算法的分类训练时，生成两个卷积神经网络模型，进行缺陷类别识别；
当两个模型都判断精密零组件是良品时，则判定该件为良品；
若有一个模型判断是不良品时，则判定该件为不良品。
3.根据权利要求1所述的基于蒙版抑制的精密零组件表面缺陷检测方法，其特征在于，标注的缺陷数据的类别包括：面、边缘、胶和pin针。
4.根据权利要求1所述的基于蒙版抑制的精密零组件表面缺陷检测方法，其特征在于，外接矩形区域与蒙版区域的位置随着精密零组件位置的不同而动态变化。
5.根据权利要求1所述的基于蒙版抑制的精密零组件表面缺陷检测方法，其特征在于，蒙版区域的计算方式为：根据每张精密零组件图片中矩形区域的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，使得基础矩形框与待分析图片的矩形框重合，则此时的蒙版区域为待分析图片中的蒙版区域；
蒙版区域用于对所有缺陷信息，过滤矩形区域内的检测结果。
6.一种基于蒙版抑制的精密零组件表面缺陷检测系统，其特征在于，包括：
模块M1：采集精密零组件的产品图片，并在产品图片上标注缺陷数据；
模块M2：根据精密零组件的轮廓，计算产品图片上的缺陷检测区域并用一个外接矩形包裹起来；
模块M3：在产品图片上的外接矩形范围内标注蒙版区域；
模块M4：根据产品图片上蒙版区域与外接矩形区域的相对位置，计算所有精密零组件图片中的蒙版区域；
模块M5：利用迁移学习法，对标注的缺陷数据进行深度学习算法的分类训练，生成卷积神经网络模型；
模块M6：利用卷积神经网络模型检索识别精密零组件的缺陷类别；
模块M7：通过模型集成，分析精密零组件是否存在加工缺陷；
模块M8：统计外接矩形中所有的加工缺陷，去除蒙版区域内的加工缺陷后，将其余加工缺陷作为最终输出结果。
7.根据权利要求6所述的基于蒙版抑制的精密零组件表面缺陷检测系统，其特征在于，进行深度学习算法的分类训练时，生成两个卷积神经网络模型，进行缺陷类别识别；
当两个模型都判断精密零组件是良品时，则判定该件为良品；
若有一个模型判断是不良品时，则判定该件为不良品。
8.根据权利要求6所述的基于蒙版抑制的精密零组件表面缺陷检测系统，其特征在于，标注的缺陷数据的类别包括：面、边缘、胶和pin针。
9.根据权利要求6所述的基于蒙版抑制的精密零组件表面缺陷检测系统，其特征在于，外接矩形区域与蒙版区域的位置随着精密零组件位置的不同而动态变化。
10.根据权利要求6所述的基于蒙版抑制的精密零组件表面缺陷检测系统，其特征在于，蒙版区域的计算方式为：根据每张精密零组件图片中矩形区域的位置及各条边长度，对基础零组件图片中的蒙版区域及矩形框同时进行拉伸和平移，使得基础矩形框与待分析图片的矩形框重合，则此时的蒙版区域为待分析图片中的蒙版区域；
蒙版区域用于对所有缺陷信息，过滤矩形区域内的检测结果。
CN202011097319.2A 2020-10-14 2020-10-14 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 Active CN112505049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011097319.2A CN112505049B (zh) 2020-10-14 2020-10-14 基于蒙版抑制的精密零组件表面缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011097319.2A CN112505049B (zh) 2020-10-14 2020-10-14 基于蒙版抑制的精密零组件表面缺陷检测方法和系统

Publications (2)

Publication Number Publication Date
CN112505049A true CN112505049A (zh) 2021-03-16
CN112505049B CN112505049B (zh) 2021-08-03

Family

ID=74953858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011097319.2A Active CN112505049B (zh) 2020-10-14 2020-10-14 基于蒙版抑制的精密零组件表面缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN112505049B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质

Citations (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000260376A (ja) * 1999-03-08 2000-09-22 Jeol Ltd 欠陥検査装置
JP4139291B2 (ja) * 2003-08-25 2008-08-27 新日本製鐵株式会社 欠陥検査方法及び装置
CN101464924A (zh) * 2009-01-16 2009-06-24 清华大学 磁共振成像横向梯度线圈的一种计算机辅助设计方法
CN101482927A (zh) * 2009-02-06 2009-07-15 中国农业大学 基于自动视觉检测的异性纤维模糊分类系统及其方法
CN103258218A (zh) * 2013-05-28 2013-08-21 清华大学 蒙版检测框架生成方法、装置、缺陷检测方法及装置
US20140085501A1 (en) * 2010-02-26 2014-03-27 Bao Tran Video processing systems and methods
CN103759644A (zh) * 2014-01-23 2014-04-30 广州市光机电技术研究院 一种滤光片表面缺陷的分离细化智能检测方法
CN103792235A (zh) * 2014-01-10 2014-05-14 内蒙古农业大学 漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法与装置
CN103927534A (zh) * 2014-04-26 2014-07-16 无锡信捷电气股份有限公司 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN104155312A (zh) * 2014-08-11 2014-11-19 华北水利水电大学 基于近红外计算机视觉的粮粒内部害虫检测方法和装置
CN104367373A (zh) * 2014-11-10 2015-02-25 山东航维骨科医疗器械股份有限公司 一种骨科整复固定器
WO2016011548A1 (en) * 2014-07-21 2016-01-28 Spectrum Scientific Inc. Method and device for bone scan in meat
CN105334219A (zh) * 2015-09-16 2016-02-17 湖南大学 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN105556541A (zh) * 2013-05-07 2016-05-04 匹斯奥特(以色列)有限公司 用于大图像集的有效的图像匹配
CN105608666A (zh) * 2015-12-25 2016-05-25 普瑞福克斯（北京）数字媒体科技有限公司 一种二维图形生成三维图像的方法及系统
WO2016133900A1 (en) * 2015-02-17 2016-08-25 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
CN107507126A (zh) * 2017-07-27 2017-12-22 大连和创懒人科技有限公司 一种利用rgb图像还原3d场景的方法
US20170372464A1 (en) * 2016-06-28 2017-12-28 Ngr Inc. Pattern inspection method and pattern inspection apparatus
CN108446669A (zh) * 2018-04-10 2018-08-24 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质
CN108548820A (zh) * 2018-03-28 2018-09-18 浙江理工大学 化妆品纸质标签缺陷检测方法
CN108564577A (zh) * 2018-04-12 2018-09-21 重庆邮电大学 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
DE102017211120A1 (de) * 2017-06-30 2019-01-03 Siemens Aktiengesellschaft Verfahren zur Erzeugung eines Abbildes eines Streckennetzes, Verwendung des Verfahrens, Computerprogramm und computerlesbares Speichermedium
CN109544496A (zh) * 2018-11-19 2019-03-29 南京旷云科技有限公司 训练数据的生成方法、对象检测模型的训练方法和装置
CN109550712A (zh) * 2018-12-29 2019-04-02 杭州慧知连科技有限公司 一种化纤丝尾丝外观缺陷检测系统及方法
CN109584206A (zh) * 2018-10-19 2019-04-05 中国科学院自动化研究所 零件表面瑕疵检测中神经网络的训练样本的合成方法
US20190129315A1 (en) * 2017-10-31 2019-05-02 Asml Netherlands B.V. Metrology Apparatus, Method of Measuring a Structure, Device Manufacturing Method
CN109724984A (zh) * 2018-12-07 2019-05-07 上海交通大学 一种基于深度学习算法的缺陷检测识别装置和方法
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
CN110188811A (zh) * 2019-05-23 2019-08-30 西北工业大学 基于赋范梯度特征与卷积神经网络的水下目标检测方法
CN110335274A (zh) * 2019-07-22 2019-10-15 国家超级计算天津中心 一种三维模具缺陷检测方法及装置
CN110348461A (zh) * 2019-07-05 2019-10-18 江苏海事职业技术学院 一种工件表面缺陷特征提取方法
CN110674873A (zh) * 2019-09-24 2020-01-10 Oppo广东移动通信有限公司 图像分类方法、装置、移动终端及存储介质
CN110780797A (zh) * 2019-11-13 2020-02-11 上海图莱智能科技有限公司 一种提高视觉特征的定位区域选择效率的方法及绘图系统
CN107038448B (zh) * 2017-03-01 2020-02-28 中科视语(北京)科技有限公司 目标检测模型构建方法
CN110991318A (zh) * 2019-11-29 2020-04-10 电子科技大学 一种彩色激光打印文件暗记识别方法和系统
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
EP3660492A2 (en) * 2018-11-27 2020-06-03 General Electric Company Fluorescent penetrant inspection system and method
CN111308529A (zh) * 2019-11-13 2020-06-19 上海天链轨道交通检测技术有限公司 一种车载检测设备的定位系统和定位方法
CN111354059A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 图像处理方法及装置
CN111445515A (zh) * 2020-03-25 2020-07-24 中南大学 基于特征融合网络的地下圆柱体目标半径估算方法及系统
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
US20200292462A1 (en) * 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN111680750A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
CN111754502A (zh) * 2020-06-30 2020-10-09 浙江工业大学 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
US10834283B2 (en) * 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer

Patent Citations (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000260376A (ja) * 1999-03-08 2000-09-22 Jeol Ltd 欠陥検査装置
JP4139291B2 (ja) * 2003-08-25 2008-08-27 新日本製鐵株式会社 欠陥検査方法及び装置
CN101464924A (zh) * 2009-01-16 2009-06-24 清华大学 磁共振成像横向梯度线圈的一种计算机辅助设计方法
CN101482927A (zh) * 2009-02-06 2009-07-15 中国农业大学 基于自动视觉检测的异性纤维模糊分类系统及其方法
US20140085501A1 (en) * 2010-02-26 2014-03-27 Bao Tran Video processing systems and methods
CN105556541A (zh) * 2013-05-07 2016-05-04 匹斯奥特(以色列)有限公司 用于大图像集的有效的图像匹配
CN103258218A (zh) * 2013-05-28 2013-08-21 清华大学 蒙版检测框架生成方法、装置、缺陷检测方法及装置
CN103792235A (zh) * 2014-01-10 2014-05-14 内蒙古农业大学 漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法与装置
CN103759644A (zh) * 2014-01-23 2014-04-30 广州市光机电技术研究院 一种滤光片表面缺陷的分离细化智能检测方法
CN103927534A (zh) * 2014-04-26 2014-07-16 无锡信捷电气股份有限公司 一种基于卷积神经网络的喷码字符在线视觉检测方法
WO2016011548A1 (en) * 2014-07-21 2016-01-28 Spectrum Scientific Inc. Method and device for bone scan in meat
CN104155312A (zh) * 2014-08-11 2014-11-19 华北水利水电大学 基于近红外计算机视觉的粮粒内部害虫检测方法和装置
CN104367373A (zh) * 2014-11-10 2015-02-25 山东航维骨科医疗器械股份有限公司 一种骨科整复固定器
US20180045654A1 (en) * 2015-02-17 2018-02-15 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
WO2016133900A1 (en) * 2015-02-17 2016-08-25 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
CN105334219A (zh) * 2015-09-16 2016-02-17 湖南大学 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN105608666A (zh) * 2015-12-25 2016-05-25 普瑞福克斯（北京）数字媒体科技有限公司 一种二维图形生成三维图像的方法及系统
US20170372464A1 (en) * 2016-06-28 2017-12-28 Ngr Inc. Pattern inspection method and pattern inspection apparatus
CN107038448B (zh) * 2017-03-01 2020-02-28 中科视语(北京)科技有限公司 目标检测模型构建方法
DE102017211120A1 (de) * 2017-06-30 2019-01-03 Siemens Aktiengesellschaft Verfahren zur Erzeugung eines Abbildes eines Streckennetzes, Verwendung des Verfahrens, Computerprogramm und computerlesbares Speichermedium
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
CN107507126A (zh) * 2017-07-27 2017-12-22 大连和创懒人科技有限公司 一种利用rgb图像还原3d场景的方法
US20190129315A1 (en) * 2017-10-31 2019-05-02 Asml Netherlands B.V. Metrology Apparatus, Method of Measuring a Structure, Device Manufacturing Method
US10834283B2 (en) * 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
CN108548820A (zh) * 2018-03-28 2018-09-18 浙江理工大学 化妆品纸质标签缺陷检测方法
CN108446669A (zh) * 2018-04-10 2018-08-24 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质
CN108564577A (zh) * 2018-04-12 2018-09-21 重庆邮电大学 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN109584206A (zh) * 2018-10-19 2019-04-05 中国科学院自动化研究所 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN109544496A (zh) * 2018-11-19 2019-03-29 南京旷云科技有限公司 训练数据的生成方法、对象检测模型的训练方法和装置
EP3660492A2 (en) * 2018-11-27 2020-06-03 General Electric Company Fluorescent penetrant inspection system and method
CN109724984A (zh) * 2018-12-07 2019-05-07 上海交通大学 一种基于深度学习算法的缺陷检测识别装置和方法
CN109550712A (zh) * 2018-12-29 2019-04-02 杭州慧知连科技有限公司 一种化纤丝尾丝外观缺陷检测系统及方法
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
US20200292462A1 (en) * 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
CN110188811A (zh) * 2019-05-23 2019-08-30 西北工业大学 基于赋范梯度特征与卷积神经网络的水下目标检测方法
CN110348461A (zh) * 2019-07-05 2019-10-18 江苏海事职业技术学院 一种工件表面缺陷特征提取方法
CN110335274A (zh) * 2019-07-22 2019-10-15 国家超级计算天津中心 一种三维模具缺陷检测方法及装置
CN110674873A (zh) * 2019-09-24 2020-01-10 Oppo广东移动通信有限公司 图像分类方法、装置、移动终端及存储介质
CN111308529A (zh) * 2019-11-13 2020-06-19 上海天链轨道交通检测技术有限公司 一种车载检测设备的定位系统和定位方法
CN110780797A (zh) * 2019-11-13 2020-02-11 上海图莱智能科技有限公司 一种提高视觉特征的定位区域选择效率的方法及绘图系统
CN110991318A (zh) * 2019-11-29 2020-04-10 电子科技大学 一种彩色激光打印文件暗记识别方法和系统
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111354059A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 图像处理方法及装置
CN111445515A (zh) * 2020-03-25 2020-07-24 中南大学 基于特征融合网络的地下圆柱体目标半径估算方法及系统
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111680750A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
CN111754502A (zh) * 2020-06-30 2020-10-09 浙江工业大学 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JE‑KANG PARK.ET: "Convolutional Neural Network Based Surface Inspection System for Non‑patterned Welding Defects", 《INTERNATIONAL JOURNAL OF PRECISION ENGINEERING AND MANUFACTURING》 *
KAIMING HE.ET: "Mask R-CNN", 《INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
YI-FAN CHEN.ET: "Automatic Defect Detection System Based on Deep Convolutional Neural Networks", 《IEEE》 *
周雯等: "基于深度学习的动车组运行安全图像异物检测", 《交通信息与安全》 *
陈实: "用轮廓的点分布特征分析和识别步态", 《计算机工程与应用》 *
陈实等: "用时变模板自动识别行人的步态", 《西安电子科技大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114170226B (zh) * 2022-01-24 2022-08-19 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质
CN116993727B (zh) * 2023-09-26 2024-03-08 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质

Also Published As

Publication number Publication date
CN112505049B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
US20190213725A1 (en) Board defect filtering method and device thereof and computer-readable recording medium
CN112505049B (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
Stavropoulos et al. A vision-based system for real-time defect detection: a rubber compound part case study
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
CN112150460B (zh) 检测方法、检测系统、设备和介质
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
US7463765B2 (en) System and method for detecting and reporting fabrication defects using a multi-variant image analysis
CN113019973A (zh) 一种易拉罐制造缺陷在线视觉检测方法
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN111882547A (zh) 一种基于神经网络的pcb漏件检测方法
CN111563869A (zh) 用于摄像模组质检的污点测试方法
CN115170501A (zh) 缺陷检测方法、系统、电子设备及存储介质
CN112184665A (zh) 一种应用于纸塑行业的人工智能缺陷侦测系统
JP2003076991A (ja) 自動検査装置及び方法並びに画像信号の処理方法
Sun et al. Further development of adaptable automated visual inspection—part i: concept and scheme
Candra et al. Computer Vision Implementation in Scratch Inspection and Color Detection on The Car Roof Surface
Radkowski Machine Vision and Robotic Inspection Systems
CN116678898B (zh) 一种通用化的晶片缺陷检测方法、系统、设备及介质
CN110910357B (zh) 基于机器视觉的焊点缺陷检测方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant