CN106803244B - 缺陷识别方法及系统 - Google Patents

缺陷识别方法及系统 Download PDF

Info

Publication number
CN106803244B
CN106803244B CN201611044386.1A CN201611044386A CN106803244B CN 106803244 B CN106803244 B CN 106803244B CN 201611044386 A CN201611044386 A CN 201611044386A CN 106803244 B CN106803244 B CN 106803244B
Authority
CN
China
Prior art keywords
image
area
tested
region
standard picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611044386.1A
Other languages
English (en)
Other versions
CN106803244A (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co Ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co Ltd filed Critical Shenzhen Huahan Weiye Technology Co Ltd
Priority to CN201611044386.1A priority Critical patent/CN106803244B/zh
Publication of CN106803244A publication Critical patent/CN106803244A/zh
Application granted granted Critical
Publication of CN106803244B publication Critical patent/CN106803244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种缺陷识别方法及系统,其中方法包括:获取待检测图像和模板图像;在模板图像中确定出标准图像,标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合;根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;将待检测区域变换为与标准图像一致的图像;将标准图像与待检测区域进行对比,确定出有缺陷的区域。以上方法不仅可以识别出待检测区域是否有缺陷存在,还可以获得缺陷的具体位置。

Description

缺陷识别方法及系统
技术领域
本发明涉及图像识别领域,具体涉及一种缺陷识别方法及系统。
背景技术
光学字符验证(Optical Character Verification,简称OCV)是一种用于检查字符或者图形的打印或标记质量的机器视觉软件工具。该技术主要用于检查字符或者图案的打印质量,如对比度、清晰度、有无残缺、剪切形变等,最后对品质不合格的样品进行标记或剔除。在OCV视觉软件中,对文字的剪切及旋转误差、图像亮度变化、文字遗漏以及相似字符(如O和0、1和l、8和B等)区分等方面的处理能力都有较高要求。
目前,有一种基于区域特征的OCV检测方法,采用基于模板对图像进行分割,获得模板区域的前景及背景特征,将待检测图像同样进行分割,将待检测图像的区域特征与模板区域特征进行对比,若大于某一阈值,则判定为缺陷。该方法的缺点是:不能获得缺陷的准确位置,会将某一区域确定为缺陷。这种方法无法满足需要对缺陷进行修补的工业场景的需求,例如字符或图案通过雕刻获得,若存在缺陷时则需要控制机构到指定位置进行补雕,而上述方法由于不能确定缺陷的准确位置,因而无法控制雕刻机构运动到准确位置进行补雕。
因此,亟需一种缺陷识别方法,可获知缺陷的具体位置,以满足工业场景需求。
发明内容
本发明提供一种缺陷识别方法及系统,用以解决现有技术中的检测方法无法获知缺陷具体位置的技术问题。
根据第一方面,一种实施例中提供一种缺陷识别方法,包括:
获取待检测图像,所述待检测图像为拍摄的检测对象制作在实物上的图像,所述检测对象包括至少一个元素;
获取模板图像,所述模板图像为包括无缺陷的检测对象的图像;
在模板图像中确定出标准图像,所述标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合;
根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;
将待检测区域变换为与标准图像一致的图像;
将标准图像与待检测区域进行对比,确定出有缺陷的区域。
根据第二方面,一种实施例中提供一种缺陷识别系统,包括:
待检测图像获取模块,用于获取待检测图像,所述待检测图像为拍摄的检测对象制作在实物上的图像,所述检测对象包括至少一个元素;
模板图像获取模块,用于获取模板图像,所述模板图像为包括无缺陷的检测对象的图像;
标准图像确定模块,用于在模板图像中确定出标准图像,所述标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合;
待检测区域确定模块,用于根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;
变换模块,用于将待检测区域变换为与标准图像一致的图像;
缺陷确定模块,用于将标准图像与待检测区域进行对比,确定出有缺陷的区域。
依据上述实施例的缺陷识别方法及系统,通过获取待检测图像和模板图像,利用模板图像确定标准图像,再根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,从而获取待检测区域,然后将标准图像与待检测区域进行对比,确定出有缺陷的区域,不仅可以检测出待检测区域是否有缺陷存在,还可以获得缺陷的具体位置,在工业应用中,通过将缺陷位置进行定位,可告知相应的修正部件将缺陷进行修正,从而满足更高端的工业需求。
附图说明
图1本发明提供的缺陷识别硬件模块图;
图2为本发明提供的缺陷识别方法一实施例的流程示意图;
图3为本发明提供的缺陷识别方法另一实施例的流程示意图;
图4为本发明提供模板图像示意图;
图5为本发明提供的各连通区域最小外接矩形示意图;
图6为本发明提供的各连通区域所形成的组合区域的最小外接矩形示意图;
图7为本发明提供的缺陷识别方法又一实施例的流程示意图;
图8为本发明提供的缺陷识别系统一实施例的模块示意图;
图9为本发明提供的缺陷识别系统另一实施例的模块示意图;
图10为本发明提供的缺陷识别系统又一实施例的模块示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本发明能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本发明相关的一些操作并没有在说明书中显示或者描述,这是为了避免本发明的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
请参考图1,本发明实施例中,光学字符验证系统包括图像采集模块a,缺陷识别系统b、输入模块c、输出模块d以及执行模块e,其中,图像采集模块a包括相机、摄像头等,以获取待检测图像或者标准图像,图像采集模块a将获取的待检测图像通过输入模块中的网口或者USB接口传送给缺陷识别系统b,缺陷识别系统b对接收到的待检测图像进行处理和分析获得检测结果,例如检测出待检测图像是否有缺陷、缺陷的位置等,并将检测结果发送给输出模块d和执行模块e,输出模块d用于对检测结果进行显示,执行模块e用于根据缺陷位置对缺陷进行修补等处理。在有的实施例中,也可以没有输出模块d,缺陷识别系统b将处理结果发送给执行模块e。
本发明实施例中,缺陷识别系统b将检测对象的实际拍摄图像和无缺陷的模板图像进行对比,从而判断检测对象的制作是否有缺陷,以及缺陷的位置。以下通过具体实施例对缺陷识别系统b进行详细描述。
实施例一:
请参考图2,本实施例中缺陷识别系统的缺陷识别方法,包括:
步骤101,获取待检测图像,待检测图像为拍摄的检测对象制作在实物上的图像,检测对象包括至少一个元素。
具体的,制作包括打印、印刷、热压、雕刻、蚀刻等工艺,元素可以是字符、字母、符号、文字、数字、笔划、图案等,每个元素构成一个连通区域,多个元素可以形成一个单字、一个字符串、一句话或一幅图画,通过这种方式例如可以用来表示广告用语、标识或商标等。
步骤102,获取模板图像,模板图像为包括无缺陷的检测对象的图像。
模板图像可通过摄像头或者相机拍照获取,也可以是通过图像制作软件制作而成。
步骤103,在模板图像中确定出标准图像,标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合。
具体的,最小外接几何图形包括最小外接圆、椭圆或其他多边形。优选的,最小外接几何图形为最小外接矩形。预定尺寸可根据实际情况进行选择,如可设置为几个或十几个像素的大小。
步骤104,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域。
步骤105,将待检测区域变换为与标准图像一致的图像。
具体的,由于在获取待检测图像时,摄像机与检测对象之间的距离有变动或者检测对象本身的尺寸大小发生变化,导致检测对象在待检测图像中的尺寸大小也可能会发生变化,另外,摄像机与检测对象之间的拍摄角度发生变化或者检测对象本身在待检测图像中发生一定角度的旋转,导致检测对象在待检测图像中的角度发生变化,因此,在将待检测区域与标准图像进行比较前,需要将待检测区域变换为与标准图像一致的图像,使待检测区域具有与标准图像相同的尺寸大小和旋转角度等,以提高比较结果的准确性。
步骤106,将标准图像与待检测区域进行对比,确定出有缺陷的区域。
上述缺陷识别方法,通过获取待检测图像和模板图像,利用模板图像确定标准图像,再根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,从而获取待检测区域,然后将标准图像与待检测区域进行对比,确定出有缺陷的区域,不仅可以检测出待检测区域是否有缺陷存在,还可以获得缺陷的具体位置,在工业应用中,通过将缺陷位置进行定位,可告知相应的修正部件将缺陷进行修正,从而满足更高端的工业需求。
请参考图3,本实施例提供一种缺陷识别方法,包括:
步骤201,获取待检测图像,待检测图像为拍摄的检测对象制作在实物上的图像,检测对象包括至少一个元素。
步骤202,获取模板图像,模板图像为包括无缺陷的检测对象的图像。如图4所示,图4为模板图像,该模板图像中包括无缺陷的检测对象“hhwytech”。
步骤201-步骤202分别与步骤101-步骤102一致,具体可参见实施例一中的描述,在此不再赘述。
步骤2031,对模板图像进行二值化。图像的二值化,就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。可以选择手动二值化或者自动二值化,手动二值化会根据手动输入的数值进行判断处理,自动二值化可以采用Ostu二值化方法。
步骤2032,对二值化后的模板图像进行连通性分析,获得各个连通区域,使得每个元素对应一个连通区域。
在该过程中为排除干扰区域,可以通过连通区域的面积进行筛选,例如连通区域的面积小于预设阈值,则忽略该连通区域。若连通区域在二值化后存在异常连接或者孔洞,可以选择手动进行分割或者填充。
步骤2033,根据连通区域确定出标准图像。将各连通区域形成组合区域,生成该组合区域的最小外接几何图形,并将该组合区域的最小外接几何图形所覆盖区域作为标准图像,或将该组合区域的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域作为标准图像。如图5所示的各连通区域的最小外接矩形,如图中虚线所示,各字母图形的最小外接几何图形为矩形。
步骤204,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域。
将标准图像的整体图像在待检测图像中遍历,查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域。相似度计算方法可采用基于灰度值、基于边缘和基于基元的相似度计算方法。
在本发明的一个具体实施例中,基于灰度值的相似度计算方法为:
根据第一相似度量表达式:
计算获得灰度值相似度,
其中,
n为模板图像中像素点的数量;
T为模板图像中所有像素点的集合;
(u,v)代表模板图像中的像素坐标,(r,c)代表模板图像的中心坐标在待检测图像中的坐标;
t(u,v)为模板图像在像素坐标(u,v)处的灰度值;
为模板图像所有像素的平均灰度值,为模板图像所有像素灰度值的方差;
mf(r,c)和是指将模板图像的中心坐标平移至(r,c)后,模板图像覆盖的待检测图像中的所有像素点的平均灰度值和方差;
f(r+u,c+u)是指将模板图像的中心坐标平移至(r,c)后,待检测图像中模板图像覆盖范围内像素点坐标的像素值。
上述根据第一相似度量表达式计算相似度量的方法可在光照不稳定的情况下使用,可适应光照情况多变的场景。
在另一种具体实施例中,一种灰度值相似度计算方法为:计算模板图像与滑动窗区域间差值的绝对值的总和或者所有差值的平方和,它们的等式分别为:
在上述两个等式中,n是模板图像中像素点的数量,T为所述模板图像中所有像素点的集合,即n=|T|。(u,v)代表模板图像中的像素坐标,(r,c)代表模板图像的中心坐标在待检测图像中的坐标。SAD(r,c)和SSD(r,c)的相似度量计算方法简单,但是只有在光照不发生变化的情况下可以使用。
在本发明的一个具体实施例中,基于边缘的相似度计算方法为:
根据下式的第二相似度量表达式计算获得边缘的相似度:
其中,i=1,2…,n,
(r,c)代表模板图像的中心坐标在待检测图像中的坐标;
(ri,ci)T为模板图像的点集;
(ri',c'i)T为待检测图像的点集;
(t'i,u'i)T为与待检测图像的点集中的点对应的模板图像的方向向量;
(vr,c,wr,c)T为待检测图像中点(r,c)的方向向量;
为待检测图像中点(r+ri',c+c'i)的方向向量。
具体的,首先定义模板图像的点集pi=(ri,ci)T和每个点对应的方向向量di=(ti,ui)T,i=1,2…,n。方向向量可通过许多不同的图像处理操作得到,如可使用边缘提取方法计算获得方向向量。
(r,c)为模板图像的中心坐标在待检测图像中的坐标,该坐标的方向向量为er,c=(vr,c,wr,c)T。上述第二相似度量表达式将方向向量进行归一化,因为所有向量的长度都变为1,所以第二相似度量可以不受任意光照变化的影响。如果模板图像或者待检测图像中某个特征丢失,噪声将导致一个随机的方向向量,但是这个方向向量平均起来不会对总和造成影响,因此采用第二相似度量表达式计算出的相似度量不受遮挡和混乱的影响。
本步骤中,还进一步检测标准图像和待检测区域之间的位姿参数,所述位姿参数用于描述标准图像与待检测区域的缩放关系以及两者的相对旋转角度。
步骤205,将待检测区域变换为与标准图像一致的图像。
具体为将待检测区域根据位姿参数进行缩放和/或旋转,变换为与标准图像一致的图像。
此处的位姿包括旋转和缩放,位姿参数即包括旋转参数和缩放参数,将待检测区域根据位姿参数进行缩放和/或旋转变换,以便于后续与标准图像进行比较,提高比较结果的准确性。
在本发明一个具体实施例中,可根据下式进行旋转变换:
式中,(x0,y0)为待检测区域中的坐标,θ为旋转角度,(x′,y′)为变换后的坐标。
在本发明另一个具体实施例中,可根据下式进行缩放变换:
式中,λ1为待检测区域x方向的缩放系数,λ2为待检测区域y方向的缩放系数,(x′,y′)为变换后的坐标。
在本发明又一个具体实施例中,可根据下式同时进行缩放和旋转变换:
式中,λ1为待检测区域x方向的缩放系数,λ2为待检测区域y方向的缩放系数,(x0,y0)为待检测区域中的坐标,θ为旋转角度,(x′,y′)为变换后的坐标。
步骤206,将标准图像与待检测区域进行对比,从而确定出有缺陷的区域。
在一种具体实施例中,将标准图像与待检测区域进行逐个像素比较,当比较结果大于预设判定值时,认为待检测区域中的该像素有缺陷,否则认为该像素没有缺陷。预设判定值可根据实际情况进行选取,在此不做限定。在检测出有缺陷的像素时,可以将该像素点作为缺陷位置,以便后续进一步根据缺陷位置对缺陷进行修补等处理。
在另一种具体实施例中,将标准图像的行和列分别与待检测区域中对应的行和列进行比较。当某行或某列的比较结果大于预设判定值时,认为待检测区域中的某行或某列有缺陷,否则认为某行或某列没有缺陷。当检测出有缺陷的行和列时,可以认为该行和列所确定出的区域存在缺陷,并将该行和列所确定出的区域作为缺陷位置,优选的,将该行和列所确定的交点坐标作为缺陷位置,以便后续进一步根据缺陷位置对缺陷进行修补等处理。
为提高比较结果的准确性,在又一种具体实施例中,采用多个标准图像的均值图像和/或方差图像与待检测区域进行比较,其具体步骤包括:
获取多个标准图像,计算多个标准图像的均值图像和/或方差图像;
将均值图像和/或方差图像与待检测区域进行逐个像素比较,或将均值图像和/或方差图像的行和列分别与待检测区域中对应的行和列进行比较;
当比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
一种具体实例中,将均值图像和方差图像的行分别与待检测区域中对应的行进行比较的比较公式为:
其中,k1为第一预设判定值;为所述均值图像第i行像素点的像素值的累加和;为所述方差图像第i行像素点的像素值的累加和;imghi为所述待检测区域第i行像素点的像素值的累加和。
将均值图像和方差图像的列分别与待检测区域中对应的列进行比较的比较公式为:
其中,k2为第二预设判定值;为所述均值图像第j列像素点的像素值的累加和;δvj为所述方差图像第j列像素点的像素值的累加和;imgvj为所述待检测区域第j列像素点的像素值的累加和。
上述缺陷识别方法,通过获取待检测图像和模板图像,利用模板图像确定标准图像,再根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,从而获取待检测区域,然后将标准图像与待检测区域进行对比,确定出有缺陷的区域,不仅可以检测出待检测区域是否有缺陷存在,还可以获得缺陷的具体位置,在工业应用中,通过将缺陷位置进行定位,可告知相应的修正部件将缺陷进行修正,从而满足更高端的工业需求。
本实施例中,通过采用标准图像来确定出待检测区域,以进行后续的比较,一方面可在查找待检测区域过程中减少数据运算量,另一方面可在像素或行列比较过程中减少数据运算量。
实施例二:
请参考图7,本实施例提供一种缺陷识别方法,包括:
步骤301,获取待检测图像,待检测图像为拍摄的检测对象制作在实物上的图像,检测对象包括至少一个元素。
步骤302,获取模板图像,模板图像为包括无缺陷的检测对象的图像。
步骤303,在模板图像中确定出标准图像。根据实施例一中的步骤2031和2032得到各元素的连通区域后,获得各元素的最小外接几何图形,例如最小外接矩形,如图5中所示的虚线,并将各元素的最小外接几何图形所覆盖的区域的集合作为标准图像。或者如图6所示,将各连通区域形成组合区域,生成该组合区域的最小外接矩形。
步骤304,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域。
在本实施例中,相似度计算方法可参见实施例二步骤204中基于灰度值的相似度计算方法和基于边缘的相似度计算方法,在此不再赘述。
在本实施例中,标准图像为各元素的最小外接几何图形所覆盖的区域的集合,在查找待检测区域时,在待检测图像中查找出与每一个元素的最小外接几何图形所覆盖区域相似度最大的区域,例如具体可包括:先将从右侧开始第一个元素的最小外接几何图形所覆盖的区域在待检测图像中遍历,查找出与第一个元素相似度最大的区域,并将该区域确定为与第一个元素对应的第一待检测区域;计算与第一个元素的相邻的第二个元素相对于第一个元素的方向和距离;以第一待检测区域为起点,采用第二个元素的最小外接几何图形所覆盖的区域沿所述方向移动所述距离,然后在附近进行遍历,确定出与第二个元素相似度最大的区域,该区域是与第二个元素对应的第二待检测区域;依此类推,确定出与每个元素对应的待检测区域。同样检测各元素与其对应的待检测区域的位姿参数,所述位姿参数用于描述各元素与其对应的待检测区域的缩放关系以及两者的相对旋转角度。
在其它实施例中,也可以不先从第一个元素开始,而是从其它一个预定的起始元素开始,预定的起始元素可手动进行选择,也可根据预设算法来确定,如以最小外接几何图形所覆盖的区域最小或最大的元素作为起始元素,或者以标准图像中最左侧的元素为起始元素等等。
确定起始元素后,在待检测图像中查找出与起始元素相似度最大的区域,并将该区域确定为第一待检测区域,根据标准图像计算起始元素的相邻元素相对于起始元素的方向和距离,然后在待检测图像中以第一待检测区域为起点,根据所述方向和距离确定出与相邻元素对应的第二待检测区域,依次类推,直到标准图像中的所有元素都在待检测图像中找到对应的待检测区域。
步骤305,将待检测区域变换为与标准图像一致的图像。
分别对步骤304中获得的多个待检测区域进行变换处理,以获得与标准图像中对应元素的最小外接几何图形所覆盖的区域一致的图像。
本实施例中将模板图像中检测对象的每一个元素与待检测图像中的对应区域进行一一比较,进一步减少了外围区域的影响,使得比较结果更加准确。本实施例同样可以检测出待检测区域是否有缺陷存在,并可以获得缺陷的具体位置,以进一步指导其他部件对缺陷位置进行修正,满足更高端的工业需求。
实施例三:
请参考图8,本实施例提供一种缺陷识别系统,包括待检测图像获取模块401、模板图像获取模块402、标准图像确定模块403、待检测区域确定模块404、变换模块405和缺陷确定模块406。
其中,待检测图像获取模块401,用于获取待检测图像,待检测图像为拍摄的检测对象制作在实物上的图像,检测对象包括至少一个元素。
模板图像获取模块402,用于获取模板图像,模板图像为包括无缺陷的检测对象的图像。
标准图像确定模块403,用于在模板图像中确定出标准图像,标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合。
待检测区域确定模块404,用于根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域。
变换模块405,用于将待检测区域变换为与标准图像一致的图像。
缺陷确定模块406,用于将标准图像与待检测区域进行对比,确定出有缺陷的区域。
请参考图9,其中,标准图像确定模块403包括二值化子模块4031、连通区域获取子模块4032和标准图像确定子模块4033。其中,二值化子模块4031,用于对模板图像进行二值化。
连通区域获取子模块4032,用于对二值化后的模板图像进行连通性分析,获得各个连通区域,使得每个元素对应一个连通区域。
标准图像确定子模块4033,用于生成各连通区域的最小外接几何图形,并将各连通区域的最小外接几何图形所覆盖区域的集合作为标准图像;或将各连通区域形成组合区域,生成该组合区域的最小外接几何图形,并将该组合区域的最小外接几何图形所覆盖区域作为标准图像,或将该组合区域的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域作为标准图像。在本发明一个具体实施例中,最小外接几何图形为最小外接矩形。
在本发明一个具体实施例中,当标准图像为检测对象的最小外接几何图形所覆盖的区域或检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域时,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域包括:将标准图像的整体图像在待检测图像中遍历,查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;检测标准图像和待检测区域之间的位姿参数,所述位姿参数用于描述标准图像与待检测区域的缩放关系以及两者的相对旋转角度。
在本发明另一个具体实施例中,当标准图像为各元素的最小外接几何图形所覆盖的区域的集合时,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域包括:将预定的起始元素的最小外接几何图形所覆盖的区域在待检测图像中遍历,查找出与起始元素相似度最大的区域,并将该区域确定为与起始元素对应的第一待检测区域;计算起始元素的相邻元素相对于起始元素的方向和距离;以第一待检测区域为起点,根据所述距离和方向确定出与相邻元素对应的第二待检测区域;依此类推,确定出与每个元素对应的待检测区域;检测各元素与其对应的待检测区域的位姿参数,所述位姿参数用于描述各元素与其对应的待检测区域的缩放关系以及两者的相对旋转角度。
在本发明一个具体实施例中,缺陷确定模块406包括第一比较子模块4061和第一缺陷确定子模块4062。
第一比较子模块4061,用于将标准图像与待检测区域进行逐个像素比较,或将标准图像的行和列分别与待检测区域中对应的行和列进行比较。
第一缺陷确定子模块4062,用于判定当比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
本实施例是与实施例二对应的装置实施例,用于执行实施例二中的方法。具体可参见实施例二中的记载,在此不再赘述。
实施例四:
请参考图10,本实施例是在实施例三的基础上进行的补充说明,在本发明另一个具体实施例中,缺陷确定模块406包括第一计算子模块4063、第二比较子模块4064和第二缺陷确定子模块4065。其中,第一计算子模块4063,用于获取多个标准图像,计算多个标准图像的均值图像和/或方差图像。
第二比较子模块4064,用于将均值图像和/或方差图像与待检测区域进行逐个像素比较,或将均值图像和/或方差图像的行和列分别与待检测区域中对应的行和列进行比较。
在本发明一个具体实施例中,将均值图像和方差图像的行分别与待检测区域中对应的行进行比较的比较公式为:
其中,k1为第一预设判定值;为所述均值图像第i行像素点的像素值的累加和;为所述方差图像第i行像素点的像素值的累加和;imghi为所述待检测区域第i行像素点的像素值的累加和;
将均值图像和方差图像的列分别与待检测区域中对应的列进行比较的比较公式为:
其中,k2为第二预设判定值;为所述均值图像第j列像素点的像素值的累加和;δvj为所述方差图像第j列像素点的像素值的累加和;imgvj为所述待检测区域第j列像素点的像素值的累加和。
第二缺陷确定子模块4065,用于判定当比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
本实施例是与实施例三对应的装置实施例,用于执行实施例三中的方法。具体可参见实施例三中的记载,在此不再赘述。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (14)

1.一种缺陷识别方法,其特征在于,包括:
获取待检测图像,所述待检测图像为拍摄的检测对象制作在实物上的图像,所述检测对象包括至少一个元素;
获取模板图像,所述模板图像为包括无缺陷的检测对象的图像;
在模板图像中确定出标准图像,所述标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合;
根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;
将待检测区域根据位姿参数进行缩放和/或旋转,变换为与标准图像一致的图像;
将标准图像与待检测区域进行对比,确定出有缺陷的区域。
2.如权利要求1所述的缺陷识别方法,其特征在于,在模板图像中确定出标准图像包括:
对模板图像进行二值化;
对二值化后的模板图像进行连通性分析,获得各个连通区域,使得每个元素对应一个连通区域;
生成各连通区域的最小外接几何图形,并将各连通区域的最小外接几何图形所覆盖区域的集合作为标准图像;或
将各连通区域形成组合区域,生成该组合区域的最小外接几何图形,并将该组合区域的最小外接几何图形所覆盖区域作为标准图像,或将该组合区域的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域作为标准图像。
3.如权利要求2所述的缺陷识别方法,其特征在于,所述最小外接几何图形为最小外接矩形。
4.如权利要求1所述的缺陷识别方法,其特征在于,
当标准图像为检测对象的最小外接几何图形所覆盖的区域或检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域时,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域包括:将标准图像的整体图像在待检测图像中遍历,查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;检测标准图像和待检测区域之间的位姿参数,所述位姿参数用于描述标准图像与待检测区域的缩放关系以及两者的相对旋转角度;
当标准图像为各元素的最小外接几何图形所覆盖的区域的集合时,根据标准图像在待检测图像中查找出与标准图像相似度最大的区域包括:将预定的起始元素的最小外接几何图形所覆盖的区域在待检测图像中遍历,查找出与起始元素相似度最大的区域,并将该区域确定为与起始元素对应的第一待检测区域;计算起始元素的相邻元素相对于起始元素的方向和距离;以第一待检测区域为起点,根据所述距离和方向确定出与相邻元素对应的第二待检测区域;依此类推,确定出与每个元素对应的待检测区域;检测各元素与其对应的待检测区域的位姿参数,所述位姿参数用于描述各元素与其对应的待检测区域的缩放关系以及两者的相对旋转角度。
5.如权利要求1所述的缺陷识别方法,其特征在于,将标准图像与待检测区域进行对比,确定出有缺陷的区域包括:将标准图像与待检测区域进行逐个像素比较,或将标准图像的行和列分别与待检测区域中对应的行和列进行比较;
当比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
6.如权利要求1所述的缺陷识别方法,其特征在于,将标准图像与待检测区域进行对比,确定出有缺陷的区域包括:
获取多个标准图像,计算多个标准图像的均值图像和/或方差图像;
将均值图像和/或方差图像与待检测区域进行逐个像素比较,或将均值图像和/或方差图像的行和列分别与待检测区域中对应的行和列进行比较;
当比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
7.如权利要求6所述的缺陷识别方法,其特征在于,将均值图像和方差图像的行分别与待检测区域中对应的行进行比较的比较公式为:
其中,k1为第一预设判定值;为所述均值图像第i行像素点的像素值的累加和;为所述方差图像第i行像素点的像素值的累加和;imghi为所述待检测区域第i行像素点的像素值的累加和;
将均值图像和方差图像的列分别与待检测区域中对应的列进行比较的比较公式为:
其中,k2为第二预设判定值;为所述均值图像第j列像素点的像素值的累加和;δvj为所述方差图像第j列像素点的像素值的累加和;imgvj为所述待检测区域第j列像素点的像素值的累加和。
8.一种缺陷识别系统,其特征在于,包括:
待检测图像获取模块,用于获取待检测图像,所述待检测图像为拍摄的检测对象制作在实物上的图像,所述检测对象包括至少一个元素;
模板图像获取模块,用于获取模板图像,所述模板图像为包括无缺陷的检测对象的图像;
标准图像确定模块,用于在模板图像中确定出标准图像,所述标准图像为检测对象的最小外接几何图形所覆盖的区域、检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域或各元素的最小外接几何图形所覆盖的区域的集合;
待检测区域确定模块,用于根据标准图像在待检测图像中查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;
变换模块,用于将待检测区域根据位姿参数进行缩放和/或旋转,变换为与标准图像一致的图像;
缺陷确定模块,用于将标准图像与待检测区域进行对比,确定出有缺陷的区域。
9.如权利要求8所述的缺陷识别系统,其特征在于,标准图像确定模块包括:
二值化子模块,用于对模板图像进行二值化;
连通区域获取子模块,用于对二值化后的模板图像进行连通性分析,获得各个连通区域,使得每个元素对应一个连通区域;
标准图像确定子模块,用于生成各连通区域的最小外接几何图形,并将各连通区域的最小外接几何图形所覆盖区域的集合作为标准图像;或将各连通区域形成组合区域,生成该组合区域的最小外接几何图形,并将该组合区域的最小外接几何图形所覆盖区域作为标准图像,或将该组合区域的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域作为标准图像。
10.如权利要求9所述的缺陷识别系统,其特征在于,所述最小外接几何图形为最小外接矩形。
11.如权利要求8所述的缺陷识别系统,其特征在于,当标准图像为检测对象的最小外接几何图形所覆盖的区域或检测对象的最小外接几何图形向外膨胀预定尺寸后所覆盖的区域时,待检测区域确定模块用于:将标准图像的整体图像在待检测图像中遍历,查找出与标准图像相似度最大的区域,并将该区域确定为待检测区域;检测标准图像和待检测区域之间的位姿参数,所述位姿参数用于描述标准图像与待检测区域的缩放关系以及两者的相对旋转角度;
当标准图像为各元素的最小外接几何图形所覆盖的区域的集合时,待检测区域确定模块用于:将预定的起始元素的最小外接几何图形所覆盖的区域在待检测图像中遍历,查找出与起始元素相似度最大的区域,并将该区域确定为与起始元素对应的第一待检测区域;计算起始元素的相邻元素相对于起始元素的方向和距离;以第一待检测区域为起点,根据所述距离和方向确定出与相邻元素对应的第二待检测区域;依此类推,确定出与每个元素对应的待检测区域;检测各元素与其对应的待检测区域的位姿参数,所述位姿参数用于描述各元素与其对应的待检测区域的缩放关系以及两者的相对旋转角度。
12.如权利要求8所述的缺陷识别系统,其特征在于,缺陷确定模块包括:
第一比较子模块,用于将标准图像与待检测区域进行逐个像素比较,或将标准图像的行和列分别与待检测区域中对应的行和列进行比较;
第一缺陷确定子模块,用于在比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
13.如权利要求8所述的缺陷识别系统,其特征在于,缺陷确定模块包括:
第一计算子模块,用于获取多个标准图像,计算多个标准图像的均值图像和/或方差图像;
第二比较子模块,用于将均值图像和/或方差图像与待检测区域进行逐个像素比较,或将均值图像和/或方差图像的行和列分别与待检测区域中对应的行和列进行比较;
第二缺陷确定子模块,用于在比较结果大于预设判定值时,认为待检测区域中的该像素或该行和列有缺陷。
14.如权利要求13所述的缺陷识别系统,其特征在于,将均值图像和方差图像的行分别与待检测区域中对应的行进行比较的比较公式为:
其中,k1为第一预设判定值;为所述均值图像第i行像素点的像素值的累加和;为所述方差图像第i行像素点的像素值的累加和;imghi为所述待检测区域第i行像素点的像素值的累加和;
将均值图像和方差图像的列分别与待检测区域中对应的列进行比较的比较公式为:
其中,k2为第二预设判定值;为所述均值图像第j列像素点的像素值的累加和;δvj为所述方差图像第j列像素点的像素值的累加和;imgvj为所述待检测区域第j列像素点的像素值的累加和。
CN201611044386.1A 2016-11-24 2016-11-24 缺陷识别方法及系统 Active CN106803244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611044386.1A CN106803244B (zh) 2016-11-24 2016-11-24 缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611044386.1A CN106803244B (zh) 2016-11-24 2016-11-24 缺陷识别方法及系统

Publications (2)

Publication Number Publication Date
CN106803244A CN106803244A (zh) 2017-06-06
CN106803244B true CN106803244B (zh) 2019-09-03

Family

ID=58976235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611044386.1A Active CN106803244B (zh) 2016-11-24 2016-11-24 缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN106803244B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308700A (zh) * 2017-07-27 2019-02-05 南京敏光视觉智能科技有限公司 一种基于印刷品字符的视觉识别缺陷检测方法
CN107644412B (zh) * 2017-08-08 2020-06-02 深圳市新国都支付技术有限公司 一种打印效果判断方法及装置
CN107543507A (zh) * 2017-09-15 2018-01-05 歌尔科技有限公司 屏幕轮廓的确定方法及装置
CN108564571B (zh) * 2018-03-30 2020-10-16 精锐视觉智能科技(深圳)有限公司 图像区域选取方法及终端设备
CN109003257B (zh) * 2018-06-14 2020-09-01 深圳市华汉伟业科技有限公司 一种光学字符验证方法
CN109060830B (zh) * 2018-06-21 2021-03-26 珠海格力智能装备有限公司 显示屏的杂质的检测方法和装置
CN109470165A (zh) * 2018-12-07 2019-03-15 广州大学 一种基于机器视觉的测量材料弯曲变形的引伸计测量方法
CN109623223A (zh) * 2019-02-02 2019-04-16 河北宏龙环保科技有限公司 管线坡口检测方法
CN109961447B (zh) * 2019-03-29 2021-02-19 京东方科技集团股份有限公司 价签检测方法及装置、电子设备、存储介质
CN111768357B (zh) * 2019-03-29 2024-03-01 银河水滴科技(北京)有限公司 一种图像检测的方法及装置
CN110363756A (zh) * 2019-07-18 2019-10-22 佛山市高明金石建材有限公司 一种用于磨头的磨损检测系统及检测方法
CN110717889A (zh) * 2019-09-06 2020-01-21 深圳新视智科技术有限公司 基于数码印刷的缺陷检测方法、装置、终端及可读介质
CN110766007B (zh) * 2019-10-28 2023-09-22 深圳前海微众银行股份有限公司 证件遮挡检测方法、装置、设备及可读存储介质
CN111060527B (zh) * 2019-12-30 2021-10-29 歌尔股份有限公司 一种字符缺陷检测方法及装置
CN111275704B (zh) * 2020-02-28 2022-07-26 昆山国显光电有限公司 掩膜板的污渍检测方法和设备
CN112415013A (zh) * 2020-11-09 2021-02-26 上海圣之尧智能科技有限公司 一种铜箔缺陷检测系统
CN112837303A (zh) * 2021-02-09 2021-05-25 广东拓斯达科技股份有限公司 一种用于模具监视的缺陷检测方法、装置、设备及介质
CN113096068B (zh) * 2021-03-04 2024-06-07 国电常州发电有限公司 一种基于视觉识别的脚手架搭建缺陷识别系统
CN113052829B (zh) * 2021-04-07 2022-06-28 深圳市磐锋精密技术有限公司 一种基于物联网的主板aoi检测方法
CN113327204B (zh) * 2021-06-01 2024-03-15 中科晶源微电子技术(北京)有限公司 图像校准方法和装置、设备及存储介质
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质
CN114693685B (zh) * 2022-06-02 2022-08-09 深圳市华汉伟业科技有限公司 无监督的缺陷检测模型的训练方法、缺陷检测方法
CN115060731B (zh) * 2022-08-04 2022-12-02 楚能新能源股份有限公司 一种方差算法检测负极膜片颗粒划痕露金属的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102020036A (zh) * 2010-11-02 2011-04-20 昆明理工大学 一种条烟外包装透明纸缺陷的视觉检测方法
CN102509300A (zh) * 2011-11-18 2012-06-20 深圳市宝捷信科技有限公司 一种缺陷检测方法及系统
CN104318573A (zh) * 2014-10-31 2015-01-28 广州超音速自动化科技有限公司 标签缺陷检测方法
CN105069790A (zh) * 2015-08-06 2015-11-18 潍坊学院 一种齿轮外观缺陷快速影像检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2284797B1 (en) * 2009-07-16 2018-09-05 Olympus Corporation Image processing apparatus and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102020036A (zh) * 2010-11-02 2011-04-20 昆明理工大学 一种条烟外包装透明纸缺陷的视觉检测方法
CN102509300A (zh) * 2011-11-18 2012-06-20 深圳市宝捷信科技有限公司 一种缺陷检测方法及系统
CN104318573A (zh) * 2014-10-31 2015-01-28 广州超音速自动化科技有限公司 标签缺陷检测方法
CN105069790A (zh) * 2015-08-06 2015-11-18 潍坊学院 一种齿轮外观缺陷快速影像检测方法

Also Published As

Publication number Publication date
CN106803244A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN106803244B (zh) 缺陷识别方法及系统
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
US8355562B2 (en) Pattern shape evaluation method
US7340089B2 (en) Geometric pattern matching using dynamic feature combinations
US8019164B2 (en) Apparatus, method and program product for matching with a template
US20060007452A1 (en) Coded target and photogrammetry method using such targets
CN112927249A (zh) 通过视觉系统查找图像中线的系统和方法
JP7438220B2 (ja) 鉄筋判定装置および鉄筋判定方法
BR112020022645A2 (pt) sistema e método para detecção de defeitos em itens imageados
JP5202110B2 (ja) パターン形状評価方法,パターン形状評価装置,パターン形状評価データ生成装置およびそれを用いた半導体形状評価システム
US20170061209A1 (en) Object processing method, reference image generating method, reference image generating apparatus, object processing apparatus, and recording medium
CN111368682A (zh) 一种基于faster RCNN台标检测与识别的方法及系统
US6987875B1 (en) Probe mark inspection method and apparatus
WO2020125528A1 (zh) 锚定物检测方法及装置、电子设备及存储介质
CN111462056A (zh) 工件表面缺陷检测方法、装置、设备及存储介质
CN107423738A (zh) 一种基于模板匹配的试卷题目定位方法及装置
JP2007248051A (ja) 対象物表面の欠陥検査方法
CN116625239B (zh) 一种基于图像处理的台阶孔检测方法、装置及系统
KR101936628B1 (ko) Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
CN110031471B (zh) 大口径光学元件表面缺陷增长分析方法、系统、装置
TWI697846B (zh) 物體辨識方法及其裝置
JP2004185019A (ja) パターン検査装置、パターン検査方法および記録媒体
Frangione et al. Multi-step approach for automated scaling of photogrammetric micro-measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant