CN111583211A - 缺陷检测方法、装置及电子设备 - Google Patents

缺陷检测方法、装置及电子设备 Download PDF

Info

Publication number
CN111583211A
CN111583211A CN202010358118.7A CN202010358118A CN111583211A CN 111583211 A CN111583211 A CN 111583211A CN 202010358118 A CN202010358118 A CN 202010358118A CN 111583211 A CN111583211 A CN 111583211A
Authority
CN
China
Prior art keywords
detection
graph
map
template
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010358118.7A
Other languages
English (en)
Inventor
金瑞
龚亚忠
曾君
黄金淼
苏洲
郑才福
许功元
陈德
冯英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lyric Robot Automation Co Ltd
Original Assignee
Guangdong Lyric Robot Intelligent Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lyric Robot Intelligent Automation Co Ltd filed Critical Guangdong Lyric Robot Intelligent Automation Co Ltd
Priority to CN202010358118.7A priority Critical patent/CN111583211A/zh
Publication of CN111583211A publication Critical patent/CN111583211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及视觉检测技术领域，具体而言，涉及一种缺陷检测方法、装置及电子设备。本申请实施例提供的缺陷检测方法，包括：获取检测图与模板图之间的变换关系表征信息；根据变换关系表征信息，对检测图进行仿射变换，获得对比图；获取对比图与模板图之间的差异区域；根据差异区域，获得检测图的缺陷检测结果。本申请实施例提供的缺陷检测方法、装置及电子设备，能够适用于存在投影变换、透视变换和尺寸公差的图像，且能够保证缺陷检测结果的准确性。

Description

缺陷检测方法、装置及电子设备
技术领域
本申请涉及视觉检测技术领域，具体而言，涉及一种缺陷检测方法、装置及电子设备。
背景技术
在产品生产制造过程中，缺陷检测能够有效地提高产品质量、降低生产成本，同时，提高用户的满意程度，因此，在机器视觉的应用中，缺陷检测占据非常重要的位置。而现有技术中，缺陷检测主要是通过Mark点定位，再进行图像比对实现，因此，无法适用于存在投影变换、透视变换和尺寸公差的图像。
发明内容
本申请的目的在于，提供一种缺陷检测方法、装置及电子设备，以解决上述问题。
第一方面，本申请提供的缺陷检测方法，包括：
获取检测图与模板图之间的变换关系表征信息；
根据变换关系表征信息，对检测图进行仿射变换，获得对比图；
获取对比图与模板图之间的差异区域；
根据差异区域，获得检测图的缺陷检测结果。
本申请提供的缺陷检测方法能够获取检测图与模板图之间的变换关系表征信息，根据变换关系表征信息，对检测图进行仿射变换，获得对比图，并获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果。由于对比图是根据检测图与模板图之间的变换关系表征信息，进行仿射变换之后获得的，因此，最终，获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果的方法，能够适用于存在投影变换、透视变换和尺寸公差的图像，且能够保证缺陷检测结果的准确性。
结合第一方面，本申请还提供了第一方面的第一种可选的实施方式，获取检测图与模板图之间的变换关系表征信息，包括：
获取检测图与模板图之间的光流矩阵和运动向量，共同作为检测图与模板图之间的运动模型方程；
对运动模型方程进行求解，根据求解结果获得检测图与模板图之间的变换关系表征信息。
结合第一方面的第一种可选的实施方式，本申请还提供了第一方面的第二种可选的实施方式，获取检测图与模板图之间的光流矩阵和运动向量，包括：
获取检测图在预设坐标系中，多个轴向上的梯度变换信息；
获取用于表征检测图与模板图之间差异度的差异表征图像；
根据模板图中所有像素点在预设坐标系中的坐标值，获得位置表征信息；
根据梯度变换信息和位置表征信息，获得检测图与模板图之间的光流矩阵；
根据梯度变换信息、差异表征图像和位置表征信息，获得检测图与模板图之间的运动向量。
结合第一方面的第二种可选的实施方式，本申请还提供了第一方面的第三种可选的实施方式，获取检测图在预设坐标系中，多个轴向上的梯度变换信息，包括：
在预设坐标系的第一轴向上，对检测图进行第一卷积运算，获得第一中间图像，第一中间图像用于表征检测图在第一轴向上的梯度变换情况；
在预设坐标系的第二轴向上，对检测图进行第二卷积运算，获得第二中间图像，第二中间图像用于表征检测图在第二轴向上的梯度变换情况；
将第一中间图像和第二中间图像，共同作为检测图在预设坐标系中，多个轴向上的梯度变换信息。
结合第一方面的第二种可选的实施方式，本申请还提供了第一方面的第四种可选的实施方式，根据模板图中所有像素点在预设坐标系中的坐标值，获得位置表征信息，包括：
根据模板图中所有像素点在预设坐标系中，第一轴向上的坐标值，获得第三中间图像；
根据模板图中所有像素点在预设坐标系中，第二轴向上的坐标值，获得第四中间图像；
将第三中间图像和第四中间图像，共同作为位置表征信息。
结合第一方面的第一种可选的实施方式，本申请还提供了第一方面的第五种可选的实施方式，对运动模型方程进行求解，获得检测图与模板图之间的变换关系表征信息，包括：
获取预设的结果向量，使结果向量、光流矩阵和运动向量满足预设逻辑运算关系，并计算结果向量的最小二乘解；
基于结果向量的最小二乘解，获得目标变换矩阵和目标平移向量；
将目标变换矩阵和目标平移向量，共同作为检测图与模板图之间的变换关系表征信息。
结合第一方面，本申请还提供了第一方面的第六种可选的实施方式，根据差异区域，获得检测图的缺陷检测结果，包括：
获取差异区域的面积参数和/或周长参数；
根据面积参数和/或周长参数，获得检测图的缺陷检测结果。
第二方面，本申请还提供了一种缺陷检测装置，包括：
信息获取模块，用于获取检测图与模板图之间的变换关系表征信息；
对比图获取模块，用于根据变换关系表征信息，对检测图进行仿射变换，获得对比图；
区域获取模块，用于获取对比图与模板图之间的差异区域；
结果获取模块，用于根据差异区域，获得检测图的缺陷检测结果。
本申请提供的缺陷检测装置具有与第一方面，或第一方面的任意一种可选的实施方式所提供的缺陷检测方法相同的有益效果，此处不作赘述。
第三方面，本申请还提供了一种电子设备，包括处理器和存储器，存储器上存储有计算机程序，处理器用于执行计算机程序，以实现第一方面，或第一方面的任意一种可选的实施方式提供的缺陷检测方法。
本申请提供的电子设备具有与第一方面，或第一方面的任意一种可选的实施方式所提供的缺陷检测方法相同的有益效果，此处不作赘述。
第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被执行时，实现第一方面，或第一方面的任意一种可选的实施方式所提供的缺陷检测方法。
本申请提供的计算机可读存储介质具有与第一方面，或第一方面的任意一种可选的实施方式所提供的缺陷检测方法相同的有益效果，此处不作赘述。
综上所述，本申请提供的缺陷检测方法、装置及电子设备，能够获取检测图与模板图之间的变换关系表征信息，根据变换关系表征信息，对检测图进行仿射变换，获得对比图，并获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果。由于对比图是根据检测图与模板图之间的变换关系表征信息，进行仿射变换之后获得的，因此，最终，获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果的方法，能够适用于存在投影变换、透视变换和尺寸公差的图像，且能够保证缺陷检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的示意性结构框图。
图2为本申请实施例提供的一种缺陷检测方法的步骤流程图。
图3为本申请实施例提供的一种缺陷检测装置的示意性结构框图。
附图标记：100-电子设备；110-处理器；120-存储器；200-缺陷检测装置；210-信息获取模块；220-对比图获取模块；230-区域获取模块；240-结果获取模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。此外，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本申请实施例提供的一种电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是终端设备，例如，智能手机、电脑、个人数字助理(PersonalDigital Assistant，PAD)、移动上网设备(Mobile Internet Device，MID)等。
在结构上，电子设备100可以包括处理和存储器120。
处理器110和存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。缺陷检测装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，缺陷检测装置所包括的软件功能模块及计算机程序等，以实现缺陷检测方法。
处理器110可以在接收到执行指令后，执行计算机程序。其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图，此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
应当理解，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，为本申请实施例提供的缺陷检测方法的流程示意图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的缺陷检测方法不以图2及以下所示的顺序为限制，以下结合图2对缺陷检测方法的具体流程及步骤进行描述。
步骤S100，获取检测图与模板图之间的变换关系表征信息。
本申请实施例中，检测图为能够表征目标产品的表象特征的实时图像，而目标产品可以是智能手机、电脑(笔记本电脑、平板电脑)、键盘等电子产品，也可以是电池盒、燃气罐、汽车盖板等工业产品，还可以是名片盒、打火机、纸巾盒等生活用品，本申请实施例对此不作具体限制，而模板图则可以理解为目标产品的标准图。
此外，本申请实施例中，检测图与模板图之间的变换关系表征信息可以表征检测图相对于模板图的线性变换关系，具体可以为8自由度线性变换关系，而8自由度线性变换关系又可以理解为平移变换、旋转变换、放射变换、射影变换。进一步地，本申请实施例中，可以通过建立运动模型方程，再对运动模型方程进行求解，并根据求解结果获得检测图与模板图之间的变换关系表征信息，而运动模型方程的建立可以通过光流算法实现，基于此，本申请实施例中，步骤S100可以包括步骤S110和步骤S120。
步骤S110，获取检测图与模板图之间的光流矩阵和运动向量，共同作为检测图与模板图之间的运动模型方程。
实际实施时，运动模型方程的建立可以通过Lucas-Kanade算法实现，基于此，本申请实施例中，步骤S110可以包括步骤S111、步骤S112、步骤S113、步骤S114和步骤S115。
步骤S111，获取检测图在预设坐标系中，多个轴向上的梯度变换信息。
本申请实施例中，可以在预设坐标系的第一轴向上，对检测图进行第一卷积运算，获得第一中间图像，而第一中间图像用于表征检测图在第一轴向上的梯度变换情况，同时，在预设坐标系的第二轴向上，对检测图进行第二卷积运算，获得第二中间图像，且第二中间图像用于表征检测图在第二轴向上的梯度变换情况。本申请实施例中，第二轴向与第一轴向垂直，例如，第一轴向可以为预设坐标系的X轴，第二轴向可以为预设坐标系的Y轴。
以第一轴向为预设坐标系的X轴，第二轴向为预设坐标系的Y轴为例，实际实施时，对检测图进行第一卷积运算时，使用的第一卷积核可以是1*N的卷积核，其中，N≥3，且为奇数，同时，1*N卷积核中，中间值为0，关于中间值对称的两个值和为0，对应的，对检测图进行第二卷积运算时，使用的第二卷积核可以是N*1的卷积核，同时，N*1的卷积核中，中间值为0，关于中间值对称的两个值和为0。
例如，第一卷积核可以为1*3的卷积，且(0，0)的值为-0.5，中间值，也即，(0，1)的值为0，(0，2)的值为0.5，表征为：
-0.5
0
0.5
对应的，第二卷积核为3*1的卷积，且(0，0)的值为-0.5，中间值，也即，(1，0)的值为0，(2，0)的值为0.5，表征为：
-0.5 0 0.5
再例如，第一卷积核可以为1*5的卷积，且(0，0)的值为-1，(0，1)的值为-0.5，中间值，也即，(0，2)的值为0，(0，3)的值为0.5，(0，4)的值为1，表征为：
-1
-0.5
0
0.5
1
对应的，第二卷积核为5*1的卷积，且(0，0)的值为-1，(1，0)的值为-0.5，中间值，也即，(2，0)的值为0，(3，0)的值为0.5，(4，0)的值为1，表征为：
-1 -0.5 0 0.5 1
在获得第一中间图像和第二中间图像之后，将第一中间图像和第二中间图像，共同作为检测图在预设坐标系中，多个轴向上的梯度变换信息。
步骤S112，获取用于表征检测图与模板图之间差异度的差异表征图像。
本申请实施例中，可以对检测图与模板图作减法运算，并取结果的绝对值，作为用于表征检测图与模板图之间差异度的差异表征图像。实际实施时，可以针对检测图中的每个第一像素点，确定模板图中与该第一像素点对应的第二像素点，并获取第一像素点与第二像素点之间像素差值的绝对值，作为差异表征图像框架中，与该第一像素点和第二像素点对应位置处的像素值，最终，获得差异表征图像，其中，差异表征图像框架为与检测图和模板图尺寸相同的待填充图像矩阵。
步骤S113，根据模板图中所有像素点在预设坐标系中的坐标值，获得位置表征信息。
本申请实施例中，可以根据模板图中所有像素点在预设坐标系中，第一轴向上的坐标值，获得第三中间图像，同时，根据模板图中所有像素点在预设坐标系中，第二轴向上的坐标值，获得第四中间图像，最后，将第三中间图像和第四中间图像，共同作为位置表征信息。
同样，以第一轴向为预设坐标系的X轴，第二轴向为预设坐标系的Y轴为例，可以针对模板图中的每个像素点，获取该像素点的X轴坐标值，再将该像素点的X轴坐标值，作为第三中间图像框架中，与该像素点对应位置处的像素值，最终，获得第三中间图像，其中，第三中间图像框架为与模板图尺寸相同的待填充图像矩阵，同时，可以针对模板图中的每个像素点，获取该像素点的Y轴坐标值，再将该像素点的Y轴坐标值，作为第四中间图像框架中，与该像素点对应位置处的像素值，最终，获得第四中间图像，其中，第四中间图像框架为与模板图尺寸相同的待填充图像矩阵。
例如，模板图为，也可以理解为模板图的像素矩阵为：
Figure BDA0002474145920000091
Figure BDA0002474145920000101
则第三中间图像，也可以理解为第三中间图像的像素矩阵为：
0 1 2 3 4 5
0 1 2 3 4 5
0 1 2 3 4 5
0 1 2 3 4 5
0 1 2 3 4 5
0 1 2 3 4 5
第四中间图像，也可以理解为第四中间图像的像素矩阵为：
0 0 0 0 0 0
1 1 1 1 1 1
2 2 2 2 2 2
3 3 3 3 3 3
4 4 4 4 4 4
5 5 5 5 5 5
步骤S114，根据梯度变换信息和位置表征信息，获得检测图与模板图之间的光流矩阵。
本申请实施例中，可以将梯度变换信息中，第一中间图像表征为矩阵X，第二中间图像表征为矩阵Y，同时，将位置表征信息中，第三中间图像表征为矩阵X1，第三中间图像表征为矩阵Y1，并利用第一中间图像、第二中间图像、第三中间图像和第四中间图像，通过Lucas-Kanade算法，建立非空位与空位保存对称的对称矩阵，作为检测图与模板图之间的光流矩阵，而建立的对称矩阵可以是M*M的对称矩阵，其中，M的取值可以为6，当M的取值为6时，建立的光流矩阵可以表征为：
Figure BDA0002474145920000111
步骤S115，根据梯度变换信息、差异表征图像和位置表征信息，获得检测图与模板图之间的运动向量。
本申请实施例中，可以将差异表征图像表征为矩阵D，同时，当第一中间图像表征为矩阵X，第二中间图像表征为矩阵Y，将位置表征信息中，第三中间图像表征为矩阵X1，第三中间图像表征为矩阵Y1时，利用第一中间图像、第二中间图像、差异表征图像、第三中间图像和第四中间图像，通过Lucas-Kanade算法，建立维度为6的运动向量，表征为：
-sum(D*X1*X)
-sum(D*Y1*X)
-sum(D*X1)
-sum(D*X1*Y)
-sum(D*Y1*Y)
-sum(D*Y1)
步骤S120，对运动模型方程进行求解，根据求解结果获得检测图与模板图之间的变换关系表征信息。
本申请实施例中，在获得矩形形式的运动模型方程之后，可以获取预设的结果向量，使结果向量、光流矩阵和运动向量满足预设逻辑运算关系，并计算结果向量的最小二乘解，再基于结果向量的最小二乘解，获得目标变换矩阵和目标平移向量，最后，将目标变换矩阵和目标平移向量，共同作为检测图与模板图之间的变换关系表征信息。
例如，本申请实施例中，可以设结果向量为K，使得光流矩阵和运动向量满足预设逻辑运算关系：A*K＝B，其中，A为光流矩阵，B为运动向量，此后，可以计算光流矩阵A的逆矩阵，表征为A^-1，以获得K的最小二乘解为A^-1*B。需要说明的是，本申请实施例中，在计算计算光流矩阵A的逆矩阵时，可以通过Cholesky分解法实现。在获得K的最小二乘解之后，可以通过Lucas-Kanade算法，输出2*2的目标变换矩阵和维度为2的目标平移向量。
2*2的目标变换矩阵表征为：
k[1]+1 k[2]
k[4] k[5]+1
维度为2的目标平移向量表征为：
k[3]
k[6]
步骤S200，根据变换关系表征信息，对检测图进行仿射变换，获得对比图。
在获得目标变换矩阵和目标平移向量之后，可以利用目标变换矩阵和目标平移向量，对检测图进行仿射变换，获得对比图，而仿射变换可以表征为：
Z＝T*E+F
其中，Z为对比图，也可以理解为对比图的像素矩阵，T为检测图，也可以理解为检测图的像素矩阵，E为目标变换矩阵，F为目标平移向量。
步骤S300，获取对比图与模板图之间的差异区域。
在获得对比图之后，可以对对比图与模板图作减法运算，并取结果的绝对值，作为用于表征对比图与模板图之间差异度的待对比图像。实际实施时，可以针对对比图中的每个第三像素点，确定模板图中与该第三像素点对应的第二像素点，并获取第三像素点和第二像素点对应位置处的像素值，最终，获得待对比图像，其中，待对比图像框架为与对比图和模板图尺寸相同的待填充图像矩阵。
在获得待对比图像之后，将待对比图像中，包括的像素点的像素值大于预设阈值的区域，作为差异区域，而预设阈值可以根据实际需求设定，本申请实施例对此不作具体限制。
此外，需要说明的是，为提高差异区域获取的准确度，本申请实施例提供的缺陷检测方法，在获得待对比图像之后，还可以对待对比图像进行预处理，以提高待对比图像的图像质量，而预处理可以是滤波处理，而滤波处理的过程可以是，首先，通过双边滤波(Bilateral filter)、Steerable滤波、Gabor滤波等滤波算子对待对比图像进行初步滤波，然后，再通过二值化数算子，对待对比图像进行二次滤波。
步骤S400，根据差异区域，获得检测图的缺陷检测结果。
本申请实施例中，在获得差异区域之后，可以获取差异区域的面积参数和/或周长参数，并根据面积参数和/或周长参数，获得检测图的缺陷检测结果。可以理解的是，本申请实施例中，可以仅获取差异区域的面积参数，并根据面积参数，获得检测图的缺陷检测结果，也可以仅获取差异区域的周长参数，并根据周长参数，获得检测图的缺陷检测结果，还可以获取差异区域的面积参数和周长参数，并根据面积参数和周长参数，获得检测图的缺陷检测结果。可以理解的是，本申请实施例中，检测图的缺陷检测结果包括合格和不合格，检测图的缺陷检测结果为合格，表征该检测图对应的目标产品不具有缺陷，或具有缺陷，但缺陷范围在可允许范围内，检测图的缺陷检测结果为不合格，表征该检测图对应的目标产品具有缺陷，且缺陷范围在不可允许范围内，而目标产品具有缺陷可以理解为，目标产品表面具有变色、灼伤、裂缝、划痕等影响产品质量的问题。
此外，对于步骤S400，本申请实施例中，作为第一种可选的实施方式，可以通过阈值设定的方式，获取根据差异区域，获得检测图的缺陷检测结果。
例如，仅获取差异区域的面积参数，并根据面积参数，获得检测图的缺陷检测结果时，可以根据目标产品的类型，设置非缺陷面积认定区间，在获得差异区域的面积参数之后，若判断差异区域的面积参数位于非缺陷面积认定区间时，获得检测图的缺陷检测结果为合格，若判断差异区域的面积参数超出非缺陷面积认定区间时，获得检测图的缺陷检测结果为不合格。
再例如，仅获取差异区域的周长参数，并根据周长参数，获得检测图的缺陷检测结果时，可以根据目标产品的类型，设置非缺陷周长认定区间，在获得差异区域的周长参数之后，若判断差异区域的周长参数位于非缺陷周长认定区间时，获得检测图的缺陷检测结果为合格，若判断差异区域的周长参数超出非缺陷周长认定区间时，获得检测图的缺陷检测结果为不合格。
又例如，获取差异区域的面积参数和周长参数，并根据面积参数和周长参数，获得检测图的缺陷检测结果时，可以根据目标产品的类型，设置非缺陷面积认定区间和非缺陷周长认定区间，在获得差异区域的面积参数和周长参数之后，若判断差异区域的面积参数位于非缺陷面积认定区间，同时，差异区域的周长参数位于非缺陷周长认定区间时，获得检测图的缺陷检测结果为合格，若判断差异区域的面积参数超出非缺陷面积认定区间，或差异区域的周长参数超出非缺陷周长认定区间时，获得检测图的缺陷检测结果为不合格。
对于步骤S400，本申请实施例中，作为第二种可选的实施方式，也可以通过机器学习的方式，获取根据差异区域，获得检测图的缺陷检测结果。
若本申请实施例中，通过机器学习的方式，获取根据差异区域，获得检测图的缺陷检测结果，则本申请实施例提供的缺陷检测方法，还可以包括，获取训练数据集，通过训练数据集，对初始模型进行训练，获得缺陷判断模型，其中，训练数据集包括多个与目标产品同型样品的产品参数、是否存在缺陷的表征信息，以及，缺陷参数，例如，缺陷面积或缺陷周长，而初始模型可以是，但不限于支持向量机(Support Vector Machine，SVM)。基于此，在获得获取差异区域的面积参数和/或周长参数之后，可以将差异区域的面积参数和/或周长参数输入缺陷判断模型，以使缺陷判断模型输出根据面积参数和/或周长参数，获得检测图的缺陷检测结果。
基于与上述缺陷检测方法同样的发明构思，本申请实施例还提供了一种缺陷检测装置200。请参阅图3，本申请实施例提供的缺陷检测装置200包括信息获取模块210、对比图获取模块220、区域获取模块230和结果获取模块240。
信息获取模块210，用于获取检测图与模板图之间的变换关系表征信息。
关于信息获取模块210的描述具体可参考上述缺陷检测方法相关实施例中关于步骤S100的详细描述，也即，步骤S100可以由信息获取模块210执行。
对比图获取模块220，用于根据变换关系表征信息，对检测图进行仿射变换，获得对比图。
关于对比图获取模块220的描述具体可参考上述缺陷检测方法相关实施例中关于步骤S200的详细描述，也即，步骤S200可以由对比图获取模块220执行。
区域获取模块230，用于获取对比图与模板图之间的差异区域。
关于区域获取模块230的描述具体可参考上述缺陷检测方法相关实施例中关于步骤S300的详细描述，也即，步骤S300可以由区域获取模块230执行。
结果获取模块240，用于根据差异区域，获得检测图的缺陷检测结果。
结果获取模块240，具体用于获取差异区域的面积参数和/或周长参数，并根据面积参数和/或周长参数，获得检测图的缺陷检测结果。
关于结果获取模块240的描述具体可参考上述缺陷检测方法相关实施例中关于步骤S400的详细描述，也即，步骤S400可以由结果获取模块240执行。
本申请实施例中，信息获取模块210可以包括运动模型建立单元和求解单元。
运动模型建立单元，用于获取检测图与模板图之间的光流矩阵和运动向量，共同作为检测图与模板图之间的运动模型方程。
关于运动模型建立单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤110的详细描述，也即，步骤S110可以由运动模型建立单元执行。
求解单元，用于对运动模型方程进行求解，根据求解结果获得检测图与模板图之间的变换关系表征信息。
求解单元，具体用于获取预设的结果向量，使结果向量、光流矩阵和运动向量满足预设逻辑运算关系，并计算结果向量的最小二乘解，再基于结果向量的最小二乘解，获得目标变换矩阵和目标平移向量，最后，将目标变换矩阵和目标平移向量，共同作为检测图与模板图之间的变换关系表征信息。
关于求解单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤120的详细描述，也即，步骤S120可以由求解单元执行。
本申请实施例中，运动模型建立单元可以包括第一子单元、第二子单元、第三子单元、第四子单元和第五子单元。
第一子单元，用于获取检测图在预设坐标系中，多个轴向上的梯度变换信息。
第一子单元，具体用于在预设坐标系的第一轴向上，对检测图进行第一卷积运算，获得第一中间图像，第一中间图像用于表征检测图在第一轴向上的梯度变换情况，同时，在预设坐标系的第二轴向上，对检测图进行第二卷积运算，获得第二中间图像，第二中间图像用于表征检测图在第二轴向上的梯度变换情况，最后，将将第一中间图像和第二中间图像，共同作为检测图在预设坐标系中，多个轴向上的梯度变换信息。
关于第一子单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤111的详细描述，也即，步骤S111可以由第一子单元执行。
第二子单元，用于获取用于表征检测图与模板图之间差异度的差异表征图像。
关于第二子单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤112的详细描述，也即，步骤S112可以由第二子单元执行。
第三子单元，用于根据模板图中所有像素点在预设坐标系中的坐标值，获得位置表征信息。
第三子单元，具体用于根据模板图中所有像素点在预设坐标系中，第一轴向上的坐标值，获得第三中间图像，同时，根据模板图中所有像素点在预设坐标系中，第二轴向上的坐标值，获得第四中间图像，最后，将第三中间图像和第四中间图像，共同作为位置表征信息。
关于第三子单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤113的详细描述，也即，步骤S113可以由第三子单元执行。
第四子单元，用于根据梯度变换信息和位置表征信息，获得检测图与模板图之间的光流矩阵。
关于第四子单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤114的详细描述，也即，步骤S114可以由第四子单元执行。
第五子单元，用于根据梯度变换信息、差异表征图像和位置表征信息，获得检测图与模板图之间的运动向量。
关于第五子单元的描述具体可参考上述缺陷检测方法相关实施例中关于步骤115的详细描述，也即，步骤S115可以由第五子单元执行。
此外，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被执行时，实现上述方法实施例所提供的缺陷检测方法，具体可参见上述方法实施例，本申请实施例中对此不作赘述。
综上所述，本申请实施例提供的缺陷检测方法、装置及电子设备，能够获取检测图与模板图之间的变换关系表征信息，根据变换关系表征信息，对检测图进行仿射变换，获得对比图，并获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果。由于对比图是根据检测图与模板图之间的变换关系表征信息，进行仿射变换之后获得的，因此，最终，获取对比图与模板图之间的差异区域，以根据差异区域，获得检测图的缺陷检测结果的方法，能够适用于存在投影变换、透视变换和尺寸公差的图像，且能够保证缺陷检测结果的准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。此外，在本申请每个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是每个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
此外，所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请每个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是，在本文中，诸如“第一”、“第二”、“第三”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种缺陷检测方法，其特征在于，包括：
获取检测图与模板图之间的变换关系表征信息；
根据所述变换关系表征信息，对所述检测图进行仿射变换，获得对比图；
获取所述对比图与所述模板图之间的差异区域；
根据所述差异区域，获得所述检测图的缺陷检测结果。
2.根据权利要求1所述缺陷检测方法，其特征在于，所述获取检测图与模板图之间的变换关系表征信息，包括：
获取检测图与模板图之间的光流矩阵和运动向量，共同作为所述检测图与所述模板图之间的运动模型方程；
对所述运动模型方程进行求解，根据求解结果获得所述检测图与所述模板图之间的变换关系表征信息。
3.根据权利要求2所述的缺陷检测方法，其特征在于，所述获取检测图与模板图之间的光流矩阵和运动向量，包括：
获取所述检测图在预设坐标系中，多个轴向上的梯度变换信息；
获取用于表征所述检测图与所述模板图之间差异度的差异表征图像；
根据所述模板图中所有像素点在所述预设坐标系中的坐标值，获得位置表征信息；
根据所述梯度变换信息和所述位置表征信息，获得所述检测图与所述模板图之间的光流矩阵；
根据所述梯度变换信息、所述差异表征图像和所述位置表征信息，获得所述检测图与所述模板图之间的运动向量。
4.根据权利要求3所述的缺陷检测方法，其特征在于，所述获取所述检测图在预设坐标系中，多个轴向上的梯度变换信息，包括：
在所述预设坐标系的第一轴向上，对所述检测图进行第一卷积运算，获得第一中间图像，所述第一中间图像用于表征所述检测图在所述第一轴向上的梯度变换情况；
在所述预设坐标系的第二轴向上，对所述检测图进行第二卷积运算，获得第二中间图像，所述第二中间图像用于表征所述检测图在所述第二轴向上的梯度变换情况；
将所述第一中间图像和所述第二中间图像，共同作为所述检测图在预设坐标系中，多个轴向上的梯度变换信息。
5.根据权利要求3所述的缺陷检测方法，其特征在于，所述根据所述模板图中所有像素点在所述预设坐标系中的坐标值，获得位置表征信息，包括：
根据所述模板图中所有像素点在所述预设坐标系中，第一轴向上的坐标值，获得第三中间图像；
根据所述模板图中所有像素点在所述预设坐标系中，第二轴向上的坐标值，获得第四中间图像；
将所述第三中间图像和所述第四中间图像，共同作为所述位置表征信息。
6.根据权利要求2所述的缺陷检测方法，其特征在于，所述对所述运动模型方程进行求解，获得所述检测图与所述模板图之间的变换关系表征信息，包括：
获取预设的结果向量，使所述结果向量、所述光流矩阵和所述运动向量满足预设逻辑运算关系，并计算所述结果向量的最小二乘解；
基于所述结果向量的最小二乘解，获得目标变换矩阵和目标平移向量；
将所述目标变换矩阵和所述目标平移向量，共同作为所述检测图与所述模板图之间的变换关系表征信息。
7.根据权利要求1所述的缺陷检测方法，其特征在于，所述根据所述差异区域，获得所述检测图的缺陷检测结果，包括：
获取所述差异区域的面积参数和/或周长参数；
根据所述面积参数和/或所述周长参数，获得所述检测图的缺陷检测结果。
8.一种缺陷检测装置，其特征在于，包括：
信息获取模块，用于获取检测图与模板图之间的变换关系表征信息；
对比图获取模块，用于根据所述变换关系表征信息，对所述检测图进行仿射变换，获得对比图；
区域获取模块，用于获取所述对比图与所述模板图之间的差异区域；
结果获取模块，用于根据所述差异区域，获得所述检测图的缺陷检测结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1～7中任意一项所述的缺陷检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1～7中任意一项所述的缺陷检测方法。
CN202010358118.7A 2020-04-29 2020-04-29 缺陷检测方法、装置及电子设备 Pending CN111583211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358118.7A CN111583211A (zh) 2020-04-29 2020-04-29 缺陷检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358118.7A CN111583211A (zh) 2020-04-29 2020-04-29 缺陷检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111583211A true CN111583211A (zh) 2020-08-25

Family

ID=72122698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358118.7A Pending CN111583211A (zh) 2020-04-29 2020-04-29 缺陷检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111583211A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766264A (zh) * 2021-01-25 2021-05-07 广州互联网法院 图片比对方法及电子设备、计算机可读存储介质
CN112837303A (zh) * 2021-02-09 2021-05-25 广东拓斯达科技股份有限公司 一种用于模具监视的缺陷检测方法、装置、设备及介质
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923718A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN107704854A (zh) * 2017-09-21 2018-02-16 苏州轩明视测控科技有限公司 一种基于光流场的印刷字符缺陷的检测方法
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN111028213A (zh) * 2019-12-04 2020-04-17 北大方正集团有限公司 图像缺陷检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923718A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN107704854A (zh) * 2017-09-21 2018-02-16 苏州轩明视测控科技有限公司 一种基于光流场的印刷字符缺陷的检测方法
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN111028213A (zh) * 2019-12-04 2020-04-17 北大方正集团有限公司 图像缺陷检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王向军等: "光流法运动估计在FPGA上的实现与性能分析", 《光学 精密工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766264A (zh) * 2021-01-25 2021-05-07 广州互联网法院 图片比对方法及电子设备、计算机可读存储介质
CN112837303A (zh) * 2021-02-09 2021-05-25 广东拓斯达科技股份有限公司 一种用于模具监视的缺陷检测方法、装置、设备及介质
WO2022170706A1 (zh) * 2021-02-09 2022-08-18 广东拓斯达科技股份有限公司 用于模具监视的缺陷检测方法、装置、设备及介质
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111583211A (zh) 缺陷检测方法、装置及电子设备
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN107492091B (zh) 基于机器视觉的标签外观检测方法及终端设备
CN107085728B (zh) 利用视觉系统对图像中的探针进行有效评分的方法及系统
Wang et al. Recognition and location of the internal corners of planar checkerboard calibration pattern image
CN115908269B (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
CN112508846A (zh) 缺陷检测方法及装置、电子设备和存储介质
CN114399502A (zh) 一种适用于led芯片的外观缺陷检测方法、系统及存储介质
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN115482186A (zh) 瑕疵检测方法、电子设备及存储介质
CN111476759B (zh) 一种屏幕表面检测方法、装置、终端及存储介质
CN115861153A (zh) 图像检测方法、计算机装置及存储介质
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
CN112132812A (zh) 证件校验方法、装置、电子设备及介质
Zhou et al. Improved estimation of motion blur parameters for restoration from a single image
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
US9319666B1 (en) Detecting control points for camera calibration
CN114463397A (zh) 一种基于渐进式滤波的多模态图像配准方法
CN115619678B (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN108564571B (zh) 图像区域选取方法及终端设备
CN114219802B (zh) 一种基于图像处理的蒙皮连接孔孔位检测方法
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN114418969A (zh) 缺陷检测方法、装置、设备及存储介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825