CN109490316A - 一种基于机器视觉的表面缺陷检测算法 - Google Patents

一种基于机器视觉的表面缺陷检测算法 Download PDF

Info

Publication number
CN109490316A
CN109490316A CN201811455565.3A CN201811455565A CN109490316A CN 109490316 A CN109490316 A CN 109490316A CN 201811455565 A CN201811455565 A CN 201811455565A CN 109490316 A CN109490316 A CN 109490316A
Authority
CN
China
Prior art keywords
defect
algorithm
image
region
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811455565.3A
Other languages
English (en)
Other versions
CN109490316B (zh
Inventor
赵青
梅爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Robot Vision Technology Co Ltd
Original Assignee
Entropy Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Entropy Technology (shenzhen) Co Ltd filed Critical Entropy Technology (shenzhen) Co Ltd
Priority to CN201811455565.3A priority Critical patent/CN109490316B/zh
Publication of CN109490316A publication Critical patent/CN109490316A/zh
Application granted granted Critical
Publication of CN109490316B publication Critical patent/CN109490316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于机器视觉的表面缺陷检测方法,对物体表面进行表面图像采集后,针对块状缺陷采用“最值滤波差分”算法,针对划痕缺陷采用“线性增强检测器”算法。采用常规硬件配置即可完成在线检测要求,具有很好的实时性和量化生产流水作业特性;同时因为考虑了缺陷本身的形状等特性,因此具有很好的检出效果,可针对不同被检测物体表面适用。可以克服现有表面缺陷视觉检测技术的不稳定、非量化生产和低效率状态。

Description

一种基于机器视觉的表面缺陷检测算法
技术领域
本发明属于数字图像处理和图像模式识别领域,尤其涉及一种针对物体表面进行图像缺陷检测方法。
背景技术
随着生活水平的提高和生产制造力技术的发展,人们对产品质量提出了更高的要求,3C件、加工件、纺织品、医药包装、食品包装等行业,都存在产品外观质量检测问题。通常人们对产品外观质量的关注,主要包括:(1)以产品外观质量作为价值依附的产品,如印刷、包装、工艺品等;(2)表面缺陷直接影响到产品的使用和深加工的产品,会给使用着和深加工客户带来极大的损失,因此,检测表面缺陷品质量的把控非常必要。
目前国内针对产品的表面缺陷检测尚无成熟的在线检测解决方案;国外进口的检测设备不但价格昂贵,而是通常不能够根据客户具体的需要进行定制化。而传统的人工检测方法在实际使用中具有很大的局限性。首先,人工检测依赖于人的主观评价,受人的心情、思维以及照明灯主客观因素的影响而具有很大的不稳定性、不可靠性和非量化性。给产品的质量控制带来了很多不稳定和不可靠的因素。其次,人眼无法实现产品高速生产时的实时检测需求,因此,研究高效的自动光学检测算法非常必要。
发明内容
本发明要解决的技术问题是:针对现有表面缺陷视觉检测技术的不稳定、非量化生产和低效率状态,提供一种基于机器视觉的表面缺陷检测方法,采用常规硬件配置即可完成在线检测要求,具有很好的实时性和量化生产流水作业特性;同时因为考虑了缺陷本身的形状等特性,因此具有很好的检出效果,可针对不同被检测物体表面适用。
采用传统的图像处理算法进行处理(不必要涉及深度学习或需要较高硬件配置的算法),因此具有很好的实时性,可满足在线检测要求。
为解决上述技术问题,本发明采用如下技术方案:
一种基于机器视觉的表面缺陷检测方法,其特征在于,包括以下步骤:
(a):采用CCD或CMOS传感器对物体表面进行表面图像采集,并评判采集到图像的清晰程度,根据图像的清晰程度调整对焦状态;
(b):采用自动对焦算法,在采集到的多张物体表面图像中寻找最清晰的图像,送入缺陷检测算法的下一步工序;
(c):采用目标匹配定位算法,在待检测的物体表面图像中寻找与对应标的物或模板图像相似度最高的区域,并将区域该区域定义为目标区;
(d):根据步骤(c)中找到的目标区位置为基础,找到被检测无图表面图像中需要进行缺陷分析的区域,定义为感兴趣区域或ROI区域;
(e):在步骤(d)的ROI区域内,采用局部区域灰度值差分算法进行块状缺陷区域检测,对检测到的缺陷区域进行标记;
(f):在步骤(d)中ROI区域内,采用线性增强检测器算法进行划伤缺陷区域检测,对检测到的缺陷区域进行标记;
(g):对步骤(e)和(f)中检测出的块状缺陷进行缺陷特征分析,该过程也称为特征提取或特征描述过程;
(h):根据具体的缺陷检测要求及步骤(g)中被检测物体的缺陷特征分析结果,对被检测物体进行缺陷等级评估,至此,缺陷检测过程结束。
进一步的,步骤(b)所述的自动对焦算法包括但不限于典型的基于梯度信息或轮廓信息的算法,且该算法不受光照、背景均匀性因素影响。
进一步的,步骤(c)所述的寻找标的物算法包括但不限于归一化互相关算法、广义霍夫变换算法、SIFT算法或尺度不变特征变换算法、几何哈希算法;所述寻找标的物算法采用单个或者多个模板进行匹配定位,或联合金字塔算法进行加速。
进一步的,步骤(d)所述的区域分割算法或ROI区域寻找算法需要在标的物基础上,采用设定的坐标偏置,在原图上进行掩模覆盖,标记为前景的区域为ROI区域,标记为背景的区域为滤除区域,滤除区域不参与后续的缺陷检测过程和缺陷特征分析、缺陷等级评估过程。
进一步的,步骤(e)所述的局部区域灰度值差分算法为:当采集到图像后,首先进行图像预处理,去处图像中的噪点;然后采用最大值滤波操作,在每个像素滤波模板所在区域内,进行最大值和最小值滤波操作,将对应操作之后的图像进行差分运算,生成残差图;最终在残差图基础上进行阈值分割操作完成缺陷分割;在缺陷分割后,进行形态学的开运算,以消除小而孤立的区域。
进一步的,步骤(f)所述线性增强检测器算法为:当采集到图像后,在图像中每个像素对应位置,以不同角度进行划痕搜索,当对应区域对应角度划伤响应超过设定阈值时,表示该区域存在划伤缺陷。
进一步的,步骤(g)所述的缺陷特征分析过程建立在缺陷已经完全分割完成的基础上,对被分割之后缺陷进行缺陷特征描述主要采用全局特征和局部特征;特征提取的方法包括但不限于几何尺寸、面积、熵、灰度矩和各向异性特征,或者采用深度学习方法特征提取,深度学习方法特征提取包括但不限于采用卷积神经网络、卷积自编码模型提取的特征。
进一步的,步骤(h)所述的缺陷等级评估需要根据被检测物体设定具体的评判指标,对被检测物体进行缺陷等级类别的划分。
本发明内容的核心,涉及到针对块状缺陷的“最值滤波差分”算法和针对划痕缺陷的“线性增强检测器”算法。
本发明的块状缺陷检测算法采用最值滤波差分算法,可用来检测但不限于常见的脏污、油渍、破损、崩边、凸起、凹坑、灰尘、粘连缺陷。该检测算法是一种无监督的模型,检测过程不需要任何人工干预;所述块状缺陷检测算法可用于但不限于加工件、3C电子、医药行业、纺织布料行业等表面缺陷检测领域。在本发明中“最值滤波差分”算法考虑了缺陷本身的形状等特性,因此具有很好的检出效果,可针对不同被检测物体表面适用。
具体地,本发明的块状缺陷检测算法采用最值滤波差分,包括图像预处理、最大值滤波、最小值滤波、差分运算和阈值分割步骤。块状缺陷检测算法可用于但不限于加工件、3C电子、医药行业、纺织布料行业等表面缺陷检测领域;可用来检测但不限于常见的划伤、刮伤、拉花等缺陷。该检测算法是一种无监督的模型,检测过程不需要任何人工干预。
最值滤波差分块状缺陷检测算法包括如下步骤:获取图像后,首先需要对图像进行预处理操作。
步骤A,图像预处理。缺陷检测是一个高精度的领域,为了减少图像质量对缺陷检测结果的影响,在对缺陷进行细分之前需要对图像进行预处理,主要包含图像去噪操作。在光学检测过程中,数字图像的采集、传输和变换都可能引入噪声,从而导致图像细节的丢失,这里使用高斯滤波来平滑图像。该滤波器使用由过滤器掩码确定的邻域像素的加权灰度值来替换图像中每个像素的值。给定一个1通道的n维图像平滑过程的函数因此平滑图像的过程可以表示为
式中(u,v)为高斯核的中心,σ1,σ2为x、y方向的标准差。在实际操作中,滤波模板H会被离散化,因此平滑过程可以表示为
其中a、b的宽度和高度是滤波模板的一半,w(s,t)表示在H的(s,t)位置上的权重。预处理后,再分别进行最大值滤波和最小值滤波过程,以突出缺陷的对比度差异。
步骤B,最值滤波差分:正常背景区域中灰度值的变化通常比较平滑,而有缺陷的区域的灰度值通常是突变的,缺陷被看作是在柔和背景下的孤立区域,通常,缺陷对整张图像的影响很小,但缺陷目标对邻域灰度的影响可能很明显。因此,基于局部统计分析的方法适用于缺陷检测。最值滤波差分算法的目的是通过比较像素周围相邻像素的灰度值的差异来确定是否存在缺陷区域。差分图像通过两张非线性滤波操作后的图像进行差分运算得到。以一维信号为例,设一维信号为f(t),为了检测f(t)时域中是否存在毛刺、突变等异常,令r(t)为时域信号的异常分量。通过使用最值滤波差分算法,r(t)可以表示为
其中Δf(t)指的是间隔(t-Δt,t+Δt)中信号值的差值,d(·)表示微分算子。通过使用|·|,测量指标可以用|Δf(t)|表示。r(t)的表达式与信号f(t)的偏导数非常相似但并不相同。r(t)邻域的最大值和最小值的差有助于表现出微弱的毛刺和缺陷。二维信号与一维信号的表达式非常相似。假设输入的二维信号为Is,通过最值滤波差分算法,可以得到以下中间表示形式
其中Imin和Imax表示经过最大和最小滤波后的结果,Ir为对应的残差图。
步骤C,阈值分割。获取残差图像后,通常需要阈值分割来突出候选缺陷,这里采用基于sigma的分割方法。首先使用3×3大小的中值滤波器平滑差分图像。设Ir(x,y)是差分图像在坐标(x,y)处的量化表示;设W和H分别是宽度和高度。可以导出灰度平均值μ和标准偏差σ为
由于差分图像缺陷边缘的灰度比相邻像素稍高,因此使用以下方式对图像进行二值化处理:
其中IB表示分割后的二值图像,γ表示用于调节检测灵敏度的参数。γ越小,对缺陷检测越敏感,但可能会导致检测出现偏差。相反,γ越大,检测条件越宽松,漏检的风险也就越大。在后面的实验中,参数γ通过交叉验证来确定,参数μ和σ都是基于无缺陷样本确定的。在缺陷分割后,进行形态学的开运算,以消除小而孤立的区域。至此,缺陷检测的过程就完成了,然后利用连通域分析方法对这些缺陷进行描述和分析,进行后续的进一步处理。
所述“最值滤波差分”算法,其特点是该算法可以灵活设置最大值、最小值排序的感受野区域,也即调整公式2中a、b参数;所述“最值滤波差分”算法中阈值分割部分的超参数可根据需要进行调整,也即调整公式6中γ。
优选地,所述“线性增强检测器”算法,其特点是针对的划痕缺陷通常对比度低、难以辨认。该算法主要包括图像增强、划痕搜索、划痕分割和结果合成四个过程。
步骤A,图像增强。图像增强是调整图像动态范围和对比度的必要方法,可以用于检测低对比度的划痕。在图像增强的过程中还需要使用直方图均衡的方法。该方法采用单调非线性映射,将输入图像中像素的强度值重新赋值,使输出图像的强度均匀分布。对于离散灰度图像{x},设ni为灰度级i出现的次数,则图像中第i级像素的出现概率为
其中n是图像中的总像素数,L是灰度级别(一般为256)的总数,而px(i)为像素值i的直方图,归一化为[0,1]区间范围。另外定义与px对应的累积分布函数为
因此,新的图像{y}可以根据下面的变换生成
其中G为将值映射到图像{y}范围的常量,sy(i)为与原始灰度级i对应的转换值。图像增强过程完成后,再进行划痕搜索。
步骤B,划痕搜索。在表面图像的任何位置都可能存在划痕,并呈现出不同的方向。与其他类型的缺陷不同,划痕通常是纤细的并且具有一定的线性特征。当表面受到光照时会发生漫反射现象(划痕区域的表面通常是凹凸不平的),因此划痕所在区域的平均灰度值通常大于图像中相邻区域的灰度值。为了寻找划痕,需要找到一种方法来测量在某一位置(x,y)和某一角度θ上划痕存在的概率,以划痕强度sθ(x,y)表示。
定义划痕强度
对于在(x,y)处角度为θ的划痕,其中分别表示以像素(x,y)为中心,角为θ和边长为l的两个不同分支线的平均灰度。如果划痕与滤波器平齐,划痕强度会很大,否则划痕强度会很低,这个特别设计的滤波器在刮痕处和沿过滤方向的周围像素之间累积了对比度,这样就可以很容易地分辨出平面背景像素的划痕。通常,滤波器中不同分支线之间的长度l和间隔不固定,可以根据具体需要进行调整。另外,为降低计算量,在不同方向的直线检测器一般不通过插值运算得到,而是通过将理想直线上的点坐标四舍五入得到要操作的像素。
步骤C,划痕分割。在步骤B处理的结果的基础上进行划痕分割,通常采用阈值分割方法来突出划痕缺陷。由于此处使用的方法类似于“最值滤波差分”算法中“阈值分割”方法,此处不再赘述。划痕分割的过程是分别针对不同方向的直线探测器进行的,分割后将结果进行合成以获得最终的检测结果。
步骤D,结果合成。结果合成即将不同方向上的划痕进行合成。设ζi·Δθ(s)表示角i·Δθ处的二值分割结果,其中Δθ为角搜索区间。最后的划痕检测结果可以表示为
ζ(x)=ζ(Δθ)(s)|ζ(2·Δθ)(s)…|ζ(i·Δθ)(s)…|ζ(180)(s) (11)
其中“|”指在同一位置的像素之间的或运算。必要时可以进行形态学开运算以消除噪声干扰。
上述检测过程完成后,即可进行缺陷特征描述和分析。
综上,基于机器视觉的表面缺陷检测方法,包括以下步骤:采集被检测对象表面图像并对焦;寻找被检测图像中标的物;根据标的物位置对被检测表面进行区域分割;对表面图像进行块状缺陷检测;对表面图像进行划伤缺陷检测;对所述块状缺陷及划伤缺陷进行特征描述及分析;根据所述特征描述及分析结果对该被测物进行缺陷等级评估。
该方法中首创性针对被检测表面块状缺陷提出“局部区域灰度值差分”算法,针对被检测表面划伤缺陷提出“线性增强检测器”算法。所述“局部区域灰度值差分”算法及“线性增强检测器”算法均是基于数字图像形态学的方法,其中前者主要通过比较某像素周围邻域区域的最大值最小值灰度差异来判断该像素是否属于缺陷区域,而后者主要利用特殊设计的线性检测器在不同的角度搜索光纤表面是否存在划伤缺陷。所述两种缺陷检测算法适用范围涵盖了表面常见的如脏污、油渍、破损、崩边、划痕等缺陷,其设计考虑了缺陷的特性性质,因此具有很好的针对性;且该两种算法均是无监督的模型,检测过程不需要任何人工干预,因此便于在自动化产线中集成应用。
相对于现有技术,按照本发明所构思的以上技术方案主要具备以下有益效果:
1、本发明给出了一套完整的表面缺陷检测分析流程,该方法具备较好的通用性,而且该方法考虑了缺陷本身的特性,因此具有很好的针对性;
2、本发明提出的“最值滤波差分”算法,滤波模板的感受野大小可根据被检测缺陷的特征进行调整,也可根据客户对产品质量的需求进行设定,体现了该算法对检测效果的柔性兼容;
3、本发明提出的“线性增强检测器”算法,其搜索检测角度和搜索长度l可根据被检测划痕缺陷特征(长度、宽度)进行调整;
4、按照本发明的缺陷检测算法,算法的设计避免了冗余的循环搜索策略,降低了算法复杂度,提升了方法的运行速度。不需要很高的硬件配置即可实现在线监测,为检测方法的产业化高效应用提供了保证。
5、与传统人工检测方法相比,本表面缺陷检测方法便于对被检测表面缺陷进行量化,有利于对检测到的缺陷进行后续的评估,保证了缺陷检测的稳定性及效率。
附图说明
图1是本发明的表面缺陷检测方法的流程示意图。
图2是按照本发明分块状缺陷检测算法包含的最值滤波差的效果图。
图3是按照本发明划伤缺陷区域检测步骤的线性增强检测器算法进行处理的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下对本发明进行进一步详细说明。此处说明若涉及到具体实例时仅仅用以解释本发明,并不限定本发明。
图1本发明的表面缺陷检测算法流程示意图;包括的步骤为:
(a):采用CCD或CMOS传感器对物体表面进行表面图像采集,并评判采集到图像的清晰程度,根据图像的清晰程度调整对焦状态;
(b):采用自动对焦算法,在采集到的多张物体表面图像中寻找最清晰的图像,送入缺陷检测算法的下一步工序;
(c):采用目标匹配定位算法,在待检测的物体表面图像中寻找与对应标的物或模板图像相似度最高的区域,并将区域该区域定义为目标区;
(d):根据步骤(c)中找到的目标区位置为基础,找到被检测无图表面图像中需要进行缺陷分析的区域,定义为感兴趣区域或ROI区域;
(e):在步骤(d)的ROI区域内,采用局部区域灰度值差分算法进行块状缺陷区域检测,对检测到的缺陷区域进行标记;
(f):在步骤(d)中ROI区域内,采用线性增强检测器算法进行划伤缺陷区域检测,对检测到的缺陷区域进行标记;
(g):对步骤(e)和(f)中检测出的块状缺陷进行缺陷特征分析,该过程也称为特征提取或特征描述过程;
(h):根据具体的缺陷检测标准或指标及步骤(g)中被检测物体的缺陷特征分析结果,对被检测物体进行缺陷等级评估,至此,缺陷检测过程结束。
图2是按照本发明分块状缺陷检测算法包含的最值滤波差的效果图。由此效果图说明分块状缺陷检测的原理过程。其中附图标记1是预处理后图像;附图标记2是按照本发明的“最值滤波差分”算法最大值滤波过程;附图标记3是最小值滤波过程;附图标记4是差分运算后图像;附图标记5是阈值分割后图像。
具体地,本发明的块状缺陷检测算法采用最值滤波差分,包括图像预处理、最大值滤波、最小值滤波、差分运算和阈值分割步骤。
获取图像后,首先需要对图像进行预处理操作。
步骤A,图像预处理。缺陷检测是一个高精度的领域,为了减少图像质量对缺陷检测结果的影响,在对缺陷进行细分之前需要对图像进行预处理,主要包含图像去噪操作。在光学检测过程中,数字图像的采集、传输和变换都可能引入噪声,从而导致图像细节的丢失,这里使用高斯滤波来平滑图像。该滤波器使用由过滤器掩码确定的邻域像素的加权灰度值来替换图像中每个像素的值。给定一个1通道的n维图像平滑过程的函数因此平滑图像的过程可以表示为
式中(u,v)为高斯核的中心,σ1,σ2为x、y方向的标准差。在实际操作中,滤波模板H会被离散化,因此平滑过程可以表示为
其中a、b的宽度和高度是滤波模板的一半,w(s,t)表示在H的(s,t)位置上的权重。预处理后,再分别进行最大值滤波和最小值滤波过程,以突出缺陷的对比度差异。
步骤B,最值滤波差分:正常背景区域中灰度值的变化通常比较平滑,而有缺陷的区域的灰度值通常是突变的,缺陷被看作是在柔和背景下的孤立区域,通常,缺陷对整张图像的影响很小,但缺陷目标对邻域灰度的影响可能很明显。因此,基于局部统计分析的方法适用于缺陷检测。最值滤波差分算法的目的是通过比较像素周围相邻像素的灰度值的差异来确定是否存在缺陷区域。差分图像通过两张非线性滤波操作后的图像进行差分运算得到。以一维信号为例,设一维信号为f(t),为了检测f(t)时域中是否存在毛刺、突变等异常,令r(t)为时域信号的异常分量。通过使用最值滤波差分算法,r(t)可以表示为
其中Δf(t)指的是间隔(t-Δt,t+Δt)中信号值的差值,d(·)表示微分算子。通过使用|·|,测量指标可以用|Δf(t)|表示。r(t)的表达式与信号f(t)的偏导数非常相似但并不相同。r(t)邻域的最大值和最小值的差有助于表现出微弱的毛刺和缺陷。二维信号与一维信号的表达式非常相似。假设输入的二维信号为Is,通过最值滤波差分算法,可以得到以下中间表示形式:
其中Imin和Imax表示经过最大和最小滤波后的结果,Ir为对应的残差图。
步骤C,阈值分割。获取残差图像后,通常需要阈值分割来突出候选缺陷,这里采用基于sigma的分割方法。首先使用3×3大小的中值滤波器平滑差分图像。设Ir(x,y)是差分图像在坐标(x,y)处的量化表示;设W和H分别是宽度和高度。可以导出灰度平均值μ和标准偏差σ为
由于差分图像缺陷边缘的灰度比相邻像素稍高,因此使用以下方式对图像进行二值化处理:
其中IB表示分割后的二值图像,γ表示用于调节检测灵敏度的参数。γ越小,对缺陷检测越敏感,但可能会导致检测出现偏差。相反,γ越大,检测条件越宽松,漏检的风险也就越大。在后面的实验中,参数γ通过交叉验证来确定,参数μ和σ都是基于无缺陷样本确定的。在缺陷分割后,进行形态学的开运算,以消除小而孤立的区域。至此,缺陷检测的过程就完成了,然后利用连通域分析方法对这些缺陷进行描述和分析,进行后续的进一步处理。
所述“最值滤波差分”算法,其特点是该算法可以灵活设置(也即调整公式2中a、b参数)最大值、最小值排序的感受野区域。所述“最值滤波差分”算法中阈值分割部分的超参数可根据需要进行调整(即调整公式6中γ)。
图3是按照本发明划伤缺陷区域检测步骤的线性增强检测器算法进行处理的效果图。由此效果图说明划伤缺陷区域检测的原理。
其中:(a)是当搜索角度为15°时的示意效果图;(b)是当搜索角度为105°时的示意效果图;(c)是当搜索角度为30°时的示意效果图;(d)是当搜索角度与被检测划伤对位时响应最大时的效果;(e)是当搜索角度与被检测划伤没对位时响应较小时的效果。
优选地,所述“线性增强检测器”算法,其特点是针对的划痕缺陷通常对比度低、难以辨认。该算法主要包括图像增强、划痕搜索、划痕分割和结果合成四个过程。
步骤A,图像增强。图像增强是调整图像动态范围和对比度的必要方法,可以用于检测低对比度的划痕。在图像增强的过程中还需要使用直方图均衡的方法。该方法采用单调非线性映射,将输入图像中像素的强度值重新赋值,使输出图像的强度均匀分布。对于离散灰度图像{x},设ni为灰度级i出现的次数,则图像中第i级像素的出现概率为
其中n是图像中的总像素数,L是灰度级别(一般为256)的总数,而px(i)为像素值i的直方图,归一化为[0,1]区间范围。另外定义与px对应的累积分布函数为
因此,新的图像{y}可以根据下面的变换生成
其中G为将值映射到图像{y}范围的常量,sy(i)为与原始灰度级i对应的转换值。图像增强过程完成后,再进行划痕搜索。
步骤B,划痕搜索。在表面图像的任何位置都可能存在划痕,并呈现出不同的方向。与其他类型的缺陷不同,划痕通常是纤细的并且具有一定的线性特征。当表面受到光照时会发生漫反射现象(划痕区域的表面通常是凹凸不平的),因此划痕所在区域的平均灰度值通常大于图像中相邻区域的灰度值。为了寻找划痕,需要找到一种方法来测量在某一位置(x,y)和某一角度θ上划痕存在的概率,以划痕强度sθ(x,y)表示。
如图3所示,划痕是沿着目标像素(x,y)在不同方向上固定长度为l的线段进行检测的(图3(a)中角分辨率为15°,该参数可以根据具体需要进行调整)。如图3(a)所示,直线检测器类似于带有图中用红色和灰色分别标出的两个分支的特殊滤波器(图3只能是如图的黑白线条图,因而无法区分哪个是红色和灰色,建议采用线型分别)。定义划痕强度
对于在(x,y)处角度为θ的划痕,其中分别表示以像素(x,y)为中心,角为θ和边长为l的红色与灰色分支的平均灰度。如果划痕与滤波器平齐,划痕强度会很大,否则划痕强度会很低,如图3(d)、(e)所示。这个特别设计的滤波器在刮痕处和沿过滤方向的周围像素之间累积了对比度,这样就可以很容易地分辨出平面背景像素的划痕。通常,滤波器中深黑色和浅灰色之间的长度l和间隔不固定,可以根据具体需要进行调整。另外,为降低计算量,在不同方向的直线检测器一般不通过插值运算得到,而是通过将理想直线上的点坐标四舍五入得到要操作的像素,如图3(b)、(c)所示。
步骤C,划痕分割。在步骤B处理的结果的基础上进行划痕分割,通常采用阈值分割方法来突出划痕缺陷。由于此处使用的方法类似于“最值滤波差分”算法中“阈值分割”方法,此处不再赘述。划痕分割的过程是分别针对不同方向的直线探测器进行的,分割后将结果进行合成以获得最终的检测结果。
步骤D,结果合成。结果合成即将不同方向上的划痕进行合成。设ζi·Δθ(s)表示角i·Δθ处的二值分割结果,其中Δθ为角搜索区间。最后的划痕检测结果可以表示为
ζ(x)=ζ(Δθ)(s)|ζ(2·Δθ)(s)…|ζ(i·Δθ)(s)…|ζ(180)(s) (11)
其中“|”指在同一位置的像素之间的或运算。必要时可以进行形态学开运算以消除噪声干扰。
以上说明若涉及具体的实例,仅仅用以解释本发明,并不限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的表面缺陷检测方法,其特征在于,包括以下步骤:
(a):采用CCD或CMOS传感器对物体表面进行表面图像采集,并评判采集到图像的清晰程度,根据图像的清晰程度调整对焦状态;
(b):采用自动对焦算法,在采集到的多张物体表面图像中寻找最清晰的图像,送入缺陷检测算法的下一步工序;
(c):采用目标匹配定位算法,在待检测的物体表面图像中寻找与对应标的物或模板图像相似度最高的区域,并将区域该区域定义为目标区;
(d):根据步骤(c)中找到的目标区位置为基础,找到被检测无图表面图像中需要进行缺陷分析的区域,定义为感兴趣区域或ROI区域;
(e):在步骤(d)的ROI区域内,采用局部区域灰度值差分算法进行块状缺陷区域检测,对检测到的缺陷区域进行标记;
(f):在步骤(d)中ROI区域内,采用线性增强检测器算法进行划伤缺陷区域检测,对检测到的缺陷区域进行标记;
(g):对步骤(e)和(f)中检测出的块状缺陷进行缺陷特征分析,该过程也称为特征提取或特征描述过程;
(h):根据具体的缺陷检测要求及步骤(g)中被检测物体的缺陷特征分析结果,对被检测物体进行缺陷等级评估,至此,缺陷检测过程结束。
2.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(b)所述的自动对焦算法包括但不限于典型的基于梯度信息或轮廓信息的算法,且该算法不受光照、背景均匀性因素影响。
3.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(c)所述的寻找标的物算法包括但不限于归一化互相关算法、广义霍夫变换算法、SIFT算法或尺度不变特征变换算法、几何哈希算法;所述寻找标的物算法采用单个或者多个模板进行匹配定位,或联合金字塔算法进行加速。
4.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(d)所述的区域分割算法或ROI区域寻找算法需要在标的物基础上,采用设定的坐标偏置,在原图上进行掩模覆盖,标记为前景的区域为ROI区域,标记为背景的区域为滤除区域,滤除区域不参与后续的缺陷检测过程和缺陷特征分析、缺陷等级评估过程。
5.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(e)所述的局部区域灰度值差分算法为:当采集到图像后,首先进行图像预处理,去处图像中的噪点;然后采用最大值滤波操作,在每个像素滤波模板所在区域内,进行最大值和最小值滤波操作,将对应操作之后的图像进行差分运算,生成残差图;最终在残差图基础上进行阈值分割操作完成缺陷分割;在缺陷分割后,进行形态学的开运算,以消除小而孤立的区域。
6.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(f)所述线性增强检测器算法为:当采集到图像后,在图像中每个像素对应位置,以不同角度进行划痕搜索,当对应区域对应角度划伤响应超过设定阈值时,表示该区域存在划伤缺陷。
7.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(g)所述的缺陷特征分析过程建立在缺陷已经完全分割完成的基础上,对被分割之后缺陷进行缺陷特征描述主要采用全局特征和局部特征;特征提取的方法包括但不限于几何尺寸、面积、熵、灰度矩和各向异性特征,或者采用深度学习方法特征提取,深度学习方法特征提取包括但不限于采用卷积神经网络、卷积自编码模型提取的特征。
8.如权利要求1所述的基于机器视觉的物体表面缺陷检测方法,其特征在于:步骤(h)所述的缺陷等级评估需要根据被检测物体设定具体的评判指标,对被检测物体进行缺陷等级类别的划分。
CN201811455565.3A 2018-11-30 2018-11-30 一种基于机器视觉的表面缺陷检测算法 Active CN109490316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811455565.3A CN109490316B (zh) 2018-11-30 2018-11-30 一种基于机器视觉的表面缺陷检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811455565.3A CN109490316B (zh) 2018-11-30 2018-11-30 一种基于机器视觉的表面缺陷检测算法

Publications (2)

Publication Number Publication Date
CN109490316A true CN109490316A (zh) 2019-03-19
CN109490316B CN109490316B (zh) 2021-08-03

Family

ID=65698149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811455565.3A Active CN109490316B (zh) 2018-11-30 2018-11-30 一种基于机器视觉的表面缺陷检测算法

Country Status (1)

Country Link
CN (1) CN109490316B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934821A (zh) * 2019-03-22 2019-06-25 杭州睿工科技有限公司 一种零件缺陷检测方法及系统
CN110038822A (zh) * 2019-04-20 2019-07-23 东莞中科蓝海智能视觉科技有限公司 反光圆环件的视觉检测方法
CN110060237A (zh) * 2019-03-29 2019-07-26 腾讯科技(深圳)有限公司 一种故障检测方法、装置、设备及系统
CN110057918A (zh) * 2019-05-29 2019-07-26 山东大学 强噪声背景下的复合材料损伤定量识别方法及系统
CN110136120A (zh) * 2019-05-16 2019-08-16 燕山大学 一种基于机器视觉的丝网印刷样板尺寸测量方法
CN110238080A (zh) * 2019-06-19 2019-09-17 罗博特科智能科技股份有限公司 基于超声波喷雾的手机屏缺陷检测系统
CN110288584A (zh) * 2019-06-27 2019-09-27 常州固高智能装备技术研究院有限公司 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置
CN110554864A (zh) * 2019-09-05 2019-12-10 熵智科技(深圳)有限公司 一种面向3d视觉物体识别的图形化编程装置
CN110675377A (zh) * 2019-09-20 2020-01-10 国网湖北省电力有限公司电力科学研究院 一种变电站继电保护装置状态监测系统及方法
CN110889837A (zh) * 2019-11-25 2020-03-17 东华大学 一种具有瑕疵分级功能的布匹瑕疵检测方法
CN111311545A (zh) * 2020-01-19 2020-06-19 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质
CN111402238A (zh) * 2020-03-17 2020-07-10 苏州光领电子科技有限公司 一种通过机器视觉实现的缺陷标识系统
CN112488983A (zh) * 2019-09-11 2021-03-12 中信戴卡股份有限公司 缺陷识别网络的获得方法、缺陷识别方法和等级确定方法
CN112686858A (zh) * 2020-12-29 2021-04-20 熵智科技(深圳)有限公司 一种手机充电器视觉缺陷检测方法、装置、介质及设备
CN112881406A (zh) * 2021-01-14 2021-06-01 广州大学 一种锌合金产品胚的外观检测方法、系统、装置及介质
CN113077506A (zh) * 2021-06-04 2021-07-06 深圳联合安防科技有限公司 基于图像处理的物体安全监测方法及控制端
CN113421229A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 一种图像小区域缺损检测与修复方法
CN113628189A (zh) * 2021-08-11 2021-11-09 西安工程大学 一种基于图像识别的快速带钢划痕缺陷检测方法
CN113916892A (zh) * 2021-09-28 2022-01-11 南京理工大学 基于多目视觉的刹车盘涂胶缺陷检测装置及方法
CN114887926A (zh) * 2022-05-10 2022-08-12 苏州天准科技股份有限公司 电极毛刺检测装置、检测方法和电极综合检测设备
CN115060731A (zh) * 2022-08-04 2022-09-16 楚能新能源股份有限公司 一种方差算法检测负极膜片颗粒划痕露金属的方法
TWI784537B (zh) * 2020-06-23 2022-11-21 日商歐姆龍股份有限公司 檢查裝置、檢查方法及檢查程式

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102192911A (zh) * 2010-03-17 2011-09-21 中国科学院自动化研究所 一种基于机器视觉的金属瓶盖质量检测系统和方法
CN102279191A (zh) * 2010-06-13 2011-12-14 中钞特种防伪科技有限公司 周期性纹理图像中缺陷的检测方法和装置
CN104749184A (zh) * 2013-12-31 2015-07-01 研祥智能科技股份有限公司 自动光学检测方法和系统
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN108573481A (zh) * 2017-03-14 2018-09-25 深圳怡化电脑股份有限公司 一种水印特征的增强方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102192911A (zh) * 2010-03-17 2011-09-21 中国科学院自动化研究所 一种基于机器视觉的金属瓶盖质量检测系统和方法
CN102279191A (zh) * 2010-06-13 2011-12-14 中钞特种防伪科技有限公司 周期性纹理图像中缺陷的检测方法和装置
CN104749184A (zh) * 2013-12-31 2015-07-01 研祥智能科技股份有限公司 自动光学检测方法和系统
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN108573481A (zh) * 2017-03-14 2018-09-25 深圳怡化电脑股份有限公司 一种水印特征的增强方法及系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934821B (zh) * 2019-03-22 2021-06-25 成都睿琪科技有限责任公司 一种零件缺陷检测方法及系统
CN109934821A (zh) * 2019-03-22 2019-06-25 杭州睿工科技有限公司 一种零件缺陷检测方法及系统
CN110060237B (zh) * 2019-03-29 2021-11-26 腾讯科技(深圳)有限公司 一种故障检测方法、装置、设备及系统
CN110060237A (zh) * 2019-03-29 2019-07-26 腾讯科技(深圳)有限公司 一种故障检测方法、装置、设备及系统
CN110038822A (zh) * 2019-04-20 2019-07-23 东莞中科蓝海智能视觉科技有限公司 反光圆环件的视觉检测方法
CN110136120A (zh) * 2019-05-16 2019-08-16 燕山大学 一种基于机器视觉的丝网印刷样板尺寸测量方法
CN110057918A (zh) * 2019-05-29 2019-07-26 山东大学 强噪声背景下的复合材料损伤定量识别方法及系统
CN110057918B (zh) * 2019-05-29 2020-11-06 山东大学 强噪声背景下的复合材料损伤定量识别方法及系统
CN110238080A (zh) * 2019-06-19 2019-09-17 罗博特科智能科技股份有限公司 基于超声波喷雾的手机屏缺陷检测系统
CN110288584A (zh) * 2019-06-27 2019-09-27 常州固高智能装备技术研究院有限公司 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置
CN110288584B (zh) * 2019-06-27 2023-06-23 常州固高智能装备技术研究院有限公司 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置
CN110554864A (zh) * 2019-09-05 2019-12-10 熵智科技(深圳)有限公司 一种面向3d视觉物体识别的图形化编程装置
CN112488983A (zh) * 2019-09-11 2021-03-12 中信戴卡股份有限公司 缺陷识别网络的获得方法、缺陷识别方法和等级确定方法
CN110675377A (zh) * 2019-09-20 2020-01-10 国网湖北省电力有限公司电力科学研究院 一种变电站继电保护装置状态监测系统及方法
CN110675377B (zh) * 2019-09-20 2022-03-22 国网湖北省电力有限公司电力科学研究院 一种变电站继电保护装置状态监测系统及方法
CN110889837A (zh) * 2019-11-25 2020-03-17 东华大学 一种具有瑕疵分级功能的布匹瑕疵检测方法
CN111311545A (zh) * 2020-01-19 2020-06-19 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质
CN111402238A (zh) * 2020-03-17 2020-07-10 苏州光领电子科技有限公司 一种通过机器视觉实现的缺陷标识系统
JP7435303B2 (ja) 2020-06-23 2024-02-21 オムロン株式会社 検査装置、ユニット選択装置、検査方法、及び検査プログラム
TWI784537B (zh) * 2020-06-23 2022-11-21 日商歐姆龍股份有限公司 檢查裝置、檢查方法及檢查程式
CN112686858A (zh) * 2020-12-29 2021-04-20 熵智科技(深圳)有限公司 一种手机充电器视觉缺陷检测方法、装置、介质及设备
CN112881406A (zh) * 2021-01-14 2021-06-01 广州大学 一种锌合金产品胚的外观检测方法、系统、装置及介质
CN113077506B (zh) * 2021-06-04 2021-08-10 深圳联合安防科技有限公司 基于图像处理的物体安全监测方法及控制端
CN113421229B (zh) * 2021-06-04 2023-05-30 桂林电子科技大学 一种图像小区域缺损检测与修复方法
CN113421229A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 一种图像小区域缺损检测与修复方法
CN113077506A (zh) * 2021-06-04 2021-07-06 深圳联合安防科技有限公司 基于图像处理的物体安全监测方法及控制端
CN113628189A (zh) * 2021-08-11 2021-11-09 西安工程大学 一种基于图像识别的快速带钢划痕缺陷检测方法
CN113628189B (zh) * 2021-08-11 2023-10-24 西安工程大学 一种基于图像识别的快速带钢划痕缺陷检测方法
CN113916892A (zh) * 2021-09-28 2022-01-11 南京理工大学 基于多目视觉的刹车盘涂胶缺陷检测装置及方法
CN114887926A (zh) * 2022-05-10 2022-08-12 苏州天准科技股份有限公司 电极毛刺检测装置、检测方法和电极综合检测设备
CN115060731A (zh) * 2022-08-04 2022-09-16 楚能新能源股份有限公司 一种方差算法检测负极膜片颗粒划痕露金属的方法
CN115060731B (zh) * 2022-08-04 2022-12-02 楚能新能源股份有限公司 一种方差算法检测负极膜片颗粒划痕露金属的方法

Also Published As

Publication number Publication date
CN109490316B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109490316A (zh) 一种基于机器视觉的表面缺陷检测算法
US11221107B2 (en) Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN110097034B (zh) 一种智能人脸健康程度的识别与评估方法
CN115294113B (zh) 一种木饰面板质量检测方法
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
KR100532635B1 (ko) 외형 검사를 위한 이미지 프로세싱 방법
CN105069790A (zh) 一种齿轮外观缺陷快速影像检测方法
CN114170208A (zh) 一种基于人工智能的纸制品缺陷检测方法
CN109507192A (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN115170572A (zh) 一种bopp复合薄膜表面涂胶质量监测方法
CN110108712A (zh) 多功能视觉缺陷检测系统
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
CN110473184A (zh) 一种pcb板缺陷检测方法
CN115331119B (zh) 一种固体废弃物识别方法
Chen et al. Evaluating fabric pilling with light-projected image analysis
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN110096980A (zh) 字符检测识别系统
de la Calle Herrero et al. Inspection system for rail surfaces using differential images
WO2021109011A1 (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN114549441A (zh) 基于图像处理的吸管缺陷检测方法
CN114581805A (zh) 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法
CN111815575B (zh) 一种基于机器视觉的轴承钢珠零件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231207

Address after: 518000, Building 5, Building C, Building C, Huaqiang Creative Park, Biyan Community, Guangming Street, Guangming District, Shenzhen, Guangdong Province, China 1301

Patentee after: SHENZHEN ROBOT VISION TECHNOLOGY Co.,Ltd.

Address before: 518054 room 5-01, 1101, block a, building 4, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHANGZHI TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right