CN104458755B - 一种基于机器视觉的多类型材质表面缺陷检测方法 - Google Patents

一种基于机器视觉的多类型材质表面缺陷检测方法 Download PDF

Info

Publication number
CN104458755B
CN104458755B CN201410705536.3A CN201410705536A CN104458755B CN 104458755 B CN104458755 B CN 104458755B CN 201410705536 A CN201410705536 A CN 201410705536A CN 104458755 B CN104458755 B CN 104458755B
Authority
CN
China
Prior art keywords
image
feature
pixel
subimage
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410705536.3A
Other languages
English (en)
Other versions
CN104458755A (zh
Inventor
吴晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Zhixing Miaoga Information Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410705536.3A priority Critical patent/CN104458755B/zh
Publication of CN104458755A publication Critical patent/CN104458755A/zh
Application granted granted Critical
Publication of CN104458755B publication Critical patent/CN104458755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种基于机器视觉的多类型材质表面缺陷检测方法。本发明利用子图像灰度差、彩色直方图、像素均匀度作为特征,通过特征学习得到获得平均的合格品图像特征,即理想的合格品特征,并于在线检测阶段计算待检测产品的上述图像特征,设定简单的阈值将缺陷快速分割出来,确定检测产品有无缺陷。最后,本发明综合上述三种特征的检测结果作最终判断,提高了产品检测的稳定性,同时能够满足不同材质的多种工业产品表面缺陷检测的需求。

Description

一种基于机器视觉的多类型材质表面缺陷检测方法
技术领域
本发明涉及检测领域,尤其涉及一种基于机器视觉的多类型材质表面缺陷检测方法。
背景技术
随着人们对产品品质的不断提高,产品在生产过程和生成后都需要进行严格的外观检测,以确保产品外观无瑕疵。目前,绝大部分的产品检测都需要人工完成,人力对产品质量的判断是主观随机的,无定量的标准,且随着工作时间的增加,工人的精力下降,容易产生错误检测和判断。人工检测的低效率使企业需要投入大量的精力和财力来保证产品质量。随着现代计算机技术、图像处理技术、机器视觉技术的发展,利用机器视觉系统应用于工业产品质量检测的自动化表面缺陷检测系统具有良好的应用和前景。表面缺陷检测的目的是检测产品表面的非量化但是视觉上可见的划痕、磨损、突起、污渍、裂隙、气泡、凹坑、印刷缺陷、麻点、水印、指纹等缺陷,将合格产品与存在缺陷的产品区分开来,以降低次品率,提高产品品质。
基于机器视觉的缺陷检测方法绝大多数可归类于纹理分析技术以检测不同纹理表面的缺陷。纹理分析技术总体上可分为四大类:第一类是空间域的统计方法,如分析图像的灰度直方图和灰度共生矩阵等空域特征,利用距离度量判别缺陷;第二类是空频域变换的方法,将空间域的像素图像转换为频率域或其他空间的幅值图像,分析频域中图像的数据,如傅里叶变换,Gabor变换和小波变换等,该类方法是缺陷检测当中应用最多最广的。其他两类是基于结构的方法和基于模型的方法。这些方法通过用来检测特定表面的缺陷,如钢板,LCD显示屏,编织物,瓷砖等材质的表面缺陷。此外,利用各种各样的图像处理技术,如图像增强,图像分割等检测特定产品缺陷的方法也普遍存在。这些方法中图像预处理也是必不可少的。
若仅按照是否需要样本进行特征训练,缺陷检测方法可分为两大类,一类是监督检测,检测产品需先验经验,在提取合格品与缺陷样本的特征基础上,利用机器学习算法,如k近邻、决策树、支持向量机、Logistic回归、自组织映射等监督学习算法对特征进行训练,得到缺陷分类器以对产品表面图像提取特征后进行缺陷判断。另一类是非监督检测,无先验知识,无需检测产品的训练样本而直接对产品的单幅进行缺陷检测。
目前已有的缺陷检测专利包括:专利201210092225提供了一种晶圆表面缺陷检测方法;专利201210065030通过一种模糊识别分类器将铜带表面上的缺陷进行分类,但前提是必须先获得铜带上的缺陷,而这个任务本身是很困难的,该发明并没有给出如何检测出缺陷的方法;专利201210086505利用激光相干性、方向集中和高分辨率的特性,结合光机电一体化以及图像算法的方法进行晶硅抛光片表面质量的检测,实现了晶硅抛光片表面细小裂纹、细小颗粒、沾污、凸凹等缺陷的检测。专利201010534162也提供了一种晶圆表面的缺陷检测方法;专利201010266622提出了一种玻璃划伤缺陷检测方法及其装置;专利200710066671提出了一种微小轴承表面的缺陷进行检测的方法及装置;专利201210101070提出了一种基于印刷质量在线检测的卷盘烟标生产系统及缺陷处理方法。
综上所述,目前已有的缺陷检测算法都只是针对某种特定的物体表面或特定的某类缺陷进行检测。但是,工业产品表面缺陷的产生多种多样,具有不确定性,无规则可循,传统的产品缺陷检测算法只能检测一种材质表面的缺陷,不同的产品表面需要设计开发不同的算法,系统开发周期长,灵活性差。
发明内容
本发明利用子图像灰度差、彩色直方图、像素均匀度作为特征,通过机器学习得到获得平均的合格品图像特征,即理想的合格品特征,并于在线检测阶段计算待检测产品的上述图像特征,设定简单的阈值将缺陷快速分割出来,确定检测产品有无缺陷。最后,本发明综合上述三种特征的检测结果作最终判断,提高了产品检测的稳定性,同时能够满足不同材质的多种工业产品表面缺陷检测的需求。
为了解决现有技术中问题,本发明提供了一种基于机器视觉的多类型材质表面缺陷检测方法,
步骤1:图像采集:
对产品表面进行拍摄,获得图像后进行特征计算;
步骤2:位置对齐:
对获取的图像进行位置对齐,获得位姿一致性的图像;
步骤3:特征计算:
步骤3.1计算子图像灰度差:首先将彩色图像转化为灰度图像,在灰度图像中计算子图像的灰度差特征;
步骤3.2彩色直方图:根据图像的彩色图像的RGB模型中三个通道中像素值的分布来描述的彩色直方图特征;
将单个通道中的0至255个像素强度区间平均分成若干个区间,计算落在每个强度区间的像素的个数,再对其他通道作同样的计算处理,假定在单个通道当中,每个区间包含像素强度数为P,则第k个像素强度区间如式(4)所示:
在确定像素区间的范围后,扫描整幅图像像素强度值并以nk可表示为落在第k个区间内的像素个数,此类像素的强度值在此区间内;再将此推广到RGB三个通道,以nck表示第c个通道的第k个区间的像素个数,作为描述图像的特征;
步骤3.3像素均匀度:计算灰度级图像像素间的均匀度;
步骤4特征融合检测:
步骤4.1学习过程:图像的子图像灰度差、彩色直方图以及像素均匀度特征融合的学习过程包含三个阶段:准备数据、分析数据、训练数据;首先选择若干个无缺陷样品即合格品的图像作为训练图像,根据求取的每幅图像的子图像灰度差、彩色直方图以及像素均匀度特征,对所有图像的特征值求平均值,得到合格产品图像特征的均值,即训练的合格品的理想特征;
4.2检测过程:在得到了训练后的合格品的三种特征:子图像灰度差、彩色直方图以及像素均匀度特征之后,各个特征的检测首先独立对产品表面进行判断;输入待检测产品的图像,分别求出其三种特征,并与训练的对应特征比较,设定一定的阈值,其差值超过阈值的特征中的某一项即为缺陷的特征,如式(12)所示:
式中EI是特征值的差,IT为待检测图像的特征值,是训练的特征值,TI为特征值差的阈值。
判定规则如下:若有基于两种或两种特征以上的缺陷检测结果都为合格品,那么待检测产品合格;若有两个或两个以上的特征检测存在缺陷,则判定产品为不合格品。
作为本发明的进一步改进,步骤2中,位置对齐的方法为:首先,采集一个检测对象的图像作为模板,对于后续输入的图像,利用将模板匹配算法进行定位匹配,获取待检测的对象模板图像在输入图像当中的位置和旋转的角度,再根据所获取的感兴趣对象的中心点和旋转角度调整输入图像,并选择大小合适的目标图像以提取有用信息。
作为本发明的进一步改进,步骤3.1中,计算子图像灰度差的方法如下:在一幅图像f(x,y)中选取尺寸为S像素大小的正方形的子图像,并将每个子图像沿图像宽度的方向平均分为N部分,S可被N整除;首先计算这N部分组成的子图像的灰度值总和,随后移动一个部分的距离,计算由这N-1部分和临近下一个子图像的第一部分组成的新的图像块的平均灰度值,总共连续移动N-1次,直至最后组成的子图像不再包含原有的部分;沿图像高度的方向作同样的平移与灰度值计算处理,最终可计算出N×N个灰度值总和,为图像中的一个子图像所拥有,选取其中最大和最小灰度值总和的差值作为此子图像的灰度差特征;对于像素大小为H×W的图像f(x,y),H和W分别代表图像的高度和宽度,除去最右和最下边界子图像不可平移计算外,可计算的子图像的个数为Nsh×Nsw,分别代表沿图像高度和宽度的子图像个数,其大小如式(1):
对于第(i,j)个子图像,其所包含的N×N个灰度值总和计算如式(2)所示:
k=0,1,2,…,N2-1.
选取其中最大和最小的灰度值总和,以他们的差值作为该子图像的灰度差特征,如式(3)所示:
Bij=max(Adiik)-min(Adijk)(3)
i=0,1,2,…,Nsh-1;j=0,1,2,…,Nsw-1.。
作为本发明的进一步改进,步骤3.2中,在计算图像的彩色直方图之前,对图像进行一致性的变换;采用彩色图像之间的变换方法来提高图像的颜色一致性:首先,将彩色图像由各通道之间相关性大的RGB空间转为几无相关性的lαβ空间,为将源图像变换为与目标图像有相同像素分布,首先将输入的源图像和选取的目标图像都转化为lαβ空间模型,计算得到了其空间数值的平均值和标准偏差,随后减去目标图像的平均值并尺度化,再将源图像的lαβ空间值加上计算得到的值,即可得到新的值;最后再将得到的新的lαβ空间模型转化为RGB图像,即可得到所需与目标图像颜色一致性的图像。
作为本发明的进一步改进,步骤3.3中,计算灰度级图像像素间的均匀度,利用一个(2ω+1)×(2ω+1)的窗口扫描图像,ω是窗口中心点与窗口边界的距离,首先计算窗口内的所有像素大小的总和F:
再根据F来计算x,y方向上的平均像素大小,如式(6)和(7):
再得出窗口中心像素轴与轴的协方差值如式(8)、(9)和(10)所示:
最终计算该点像素的均匀度如式(11)所示:
作为本发明的进一步改进,步骤4.2中,对于子图像灰度差特征,为缩小灰度差阈值范围,可在阈值前乘以S×S,接着设定缺陷的子图像个数的阈值,统计存在着缺陷的子图像的个数是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的。
作为本发明的进一步改进,步骤4.2中,对于检测的图像以作颜色一致性处理的彩色直方图特征,将其与训练的彩色直方图比较,设定一定的像素个数的阈值,超过阈值的像素强度区间中即存在缺陷的像素,并将存在缺陷的像素区间与总的像素区间个数的比值作为错误率;设定错误率的阈值,再确定图像像素区间错误率是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的,对于像素均匀度特征作同样的检测行为
本发明的有益效果是:提出的基于特征融合的多种材质表面缺陷检测方法是由离线的特征学习过程和在线的实时缺陷检测过程所组成。输入的图像提取了描述图像的三种特征:子图像灰度差,彩色直方图,像素均匀度,论述了这三种特征的原理和计算方法,特征的学习过程和缺陷检测的过程,并融合三种特征的进行缺陷判断结果,提出了缺陷判断的综合规则,以确保检测能够更加的准确,保证产品的质量。本发明选择了电子工业生产的电子芯片,贴片电容以及贴片发光LED的表面对其应用融合特征的缺陷检测方法,虽然需要一定的离线训练时间,但在线检测快速有效,对于700*580的图像只需1秒。对于不同材质物体表面图像检测的准确率在93%以上,部分检测的准确率达到98%以上,相比于单独特征的检测准确率有所提高。同时,训练样本的数量至少选择30个以上以保证检测的准确率。多种不同工业产品的检测结果证明了该方法能够适用于多种材质表面的缺陷检测,克服了传统方法检测对象局限的不足。
附图说明
图1是本发明子图像的灰度值总和平移与计算过程;
图2是本发明图像特征的学习过程;
图3是本发明特征融合的缺陷判断规则;
图4是本发明产品多材质表面缺陷检测方法示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
1图像采集
本发明中使用的图像可以从流水线或机器人上下料系统上利用彩色CCD/CMOS工业相机对产品表面进行拍摄,获得合适的图像后进行特征计算。
2位置对齐
为了获得位姿一致性的图像,需要对获取的图像进行位置对齐。首先,采集一个检测对象的图像作为模板,对于后续输入的图像,利用将模板匹配算法进行定位匹配,获取待检测的对象模板图像在输入图像当中的位置和旋转的角度,再根据所获取的感兴趣对象的中心点和旋转角度调整输入图像,并选择大小合适的目标图像以提取有用信息。
3特征计算
3.1子图像灰度差
首先将彩色图像转化为灰度图像,在灰度图像中计算子图像的灰度差特征。在一幅图像f(x,y)中选取尺寸为S像素大小的正方形的子图像,并将每个子图像沿图像宽度的方向平均分为N部分,S可被N整除。首先计算这N部分组成的子图像的灰度值总和,随后移动一个部分的距离,计算由这N-1部分和临近下一个子图像的第一部分组成的新的图像块的平均灰度值,总共连续移动N-1次,直至最后组成的子图像不再包含原有的部分,如图1所示。
沿图像高度的方向作同样的平移与灰度值计算处理,最终可计算出N×N个灰度值总和,为图像中的一个子图像所拥有,选取其中最大和最小灰度值总和的差值作为此子图像的灰度差特征。对于像素大小为H×W的图像f(x,y),H和W分别代表图像的高度和宽度,除去最右和最下边界子图像不可平移计算外,可计算的子图像的个数为Nsh×Nsw,分别代表沿图像高度和宽度的子图像个数,其大小如式(1):
显然,图像尺寸越大,在子图像大小一定时,图像所包含的子图像的数量越多。对于第(i,j)个子图像,其所包含的N×N个灰度值总和计算如式(2)所示:
选取其中最大和最小的灰度值总和,以他们的差值作为该子图像的灰度差特征,如式(3)所示:
Bij=max(Adijk)-min(Adijk)(3)
i=0,1,2,…,Nsh-1;j=0,1,2,…,Nsw-1.
子图像灰度差的实质即是在一块均匀或相对均匀(即灰度值相差不大)的区域当中,获取几块对比度差异明显的小区域或子块,一幅图像的灰度值变化越大的地方,其所在的子图像灰度差值也就越大,而越是均匀的区域,其所在子图像灰度差就越小,直至趋于零。子图像灰度差的特征的建立,主要就是为了能够在准确描述图像的情况下,减少图像特征表示的维数,对于后续的数据计算和存储节省时间和空间。
3.2彩色直方图
彩色直方图特征是根据图像的彩色图像的RGB模型中三个通道中像素值的分布来描述的。将单个通道中的0至255个像素强度区间平均分成若干个区间,计算落在每个强度区间的像素的个数,再对其他通道作同样的计算处理。假定在单个通道当中,每个区间包含像素强度数为P,则第k个像素强度区间如式(4)所示:
若以每8个像素强度为一个区间,对于一幅8位图像就有256/8=32个像素强度区间,为[0,7],[8,15],[16,23],…,[248,255]。在确定像素区间的范围后,扫描整幅图像像素强度值并以nk可表示为落在第k个区间内的像素个数,此类像素的强度值在此区间内.再将此推广到RGB三个通道,以nck表示第c个通道的第k个区间的像素个数,作为描述图像的特征。
由以上彩色直方图计算过程可知,像素区间的数量对直方图特征学习过程的效率直接关联起来。选择合适的像素区间数量是至关重要的,若像素区间数量太小,虽然能够获取维数小的彩色直方图特征,加快后面的学习过程,但每个区间所涵盖的强度范围大,就无法区分颜色,对颜色的分辨能力就越小了,也就无法判断两幅图像的差别;而像素区间数量太多时,获取彩色直方图特征维数变大,特征学习效率降低,虽然颜色的辨识度加大很多,但同时也无法区分缺陷与噪声部分了。因而,像素区间数量的选取是一个两相权衡的选择。
然而,由于工业相机拍摄条件不可能达到绝对理想的状况,可能是光照不均匀或是噪声的干扰导致了图像颜色不一致,获取的源图像在进入特征学习过程中并不一定会有特别稳定的颜色直方图特征,即训练的合格品的图像的颜色一致性不是太好。因此,我们在计算图像的彩色直方图之前,需要对图像进行一致性的变换。本发明采用了Erik Reinhard等人提出的彩色图像之间的变换方法来提高图像的颜色一致性。首先,将彩色图像由各通道之间相关性大的RGB空间转为几无相关性的lαβ空间。为将源图像变换为与目标图像有相同像素分布,首先将输入的源图像和选取的目标图像都转化为lαβ空间模型,计算得到了其空间数值的平均值和标准偏差.随后减去目标图像的平均值并尺度化,再将源图像的lαβ空间值加上计算得到的值,即可得到新的值。最后再将得到的新的lαβ空间模型转化为RGB图像,即可得到所需与目标图像颜色一致性的图像。
通过颜色变换完成了图像的一致性处理之后,即可计算得到图像颜色类似的相同产品的图像,以便得到相类似的彩色直方图。
3.3像素均匀度
最后引入了图像的一个特征,灰度级图像像素间的均匀度。本发明中提取的均匀度特征是将Duming Tsai提出的利用均匀度来实时快速检测一幅匀质的,纹理均匀或者不变形的表面图像的方法加以改进。该算法利用一个(2ω+1)×(2ω+1)的窗口扫描图像,ω是窗口中心点与窗口边界的距离,首先计算窗口内的所有像素大小的总和F:
再根据F来计算x,y方向上的平均像素大小,如式(6)和(7):
再得出窗口中心像素轴与轴的协方差值如式(8)、(9)和(10)所示:
最终计算该点像素的均匀度如式(11)所示:
根据上述公式计算得到了输入图像的像素均匀度特征之后,即可应用其用于表面缺陷检测。
4特征融合检测
4.1学习过程
图像的子图像灰度差、彩色直方图以及像素均匀度特征融合的学习过程包含三个阶段:准备数据,分析数据,训练数据阶段。首先选择若干个无缺陷样品即合格品的图像作为训练图像,利用上述公式求取每幅图像的子图像灰度差、彩色直方图(求取彩色直方图之前需作颜色一致性处理,可将第一张训练图像作为后面图像一致性处理的目标图像)以及像素均匀度特征。对所有图像的特征值求平均值,得到合格产品图像特征的均值,即训练的合格品的理想特征。学习过程对应计算如图2所示。
学习过程所需时间是由输入的合格品的图像数量所决定的,训练图像数量越大,所需要花费的时间越长;合格品图像数量越小,所花费时间越短。如前所述,特征学习过程是离线进行的,只要将训练的结果保存下来,即可对产品进行在线的检测。因而无需太过要求训练时间的长短。另一方面,训练的合格品图像数量越大,所训练出的子图像块的平均灰度差的特征便越接近于理想的合格品图像的特征,消除了不理想的训练样本和部分噪声的影响。
4.2检测过程
在得到了训练后的合格品的三种特征:子图像灰度差、彩色直方图以及像素均匀度特征之后,各个特征的检测首先独立对产品表面进行判断。输入待检测产品的图像,分别求出其三种特征,并与训练的对应特征比较,设定一定的阈值,其差值超过阈值的特征中的某一项即为缺陷的特征,如式(12)所示:
式中EI是特征值的差,IF为待检测图像的特征值,是训练的特征值,TI为特征值差的阈值。
对于子图像灰度差特征,为缩小灰度差阈值范围,可在阈值前乘以S×S,接着设定缺陷的子图像个数的阈值,统计存在着缺陷的子图像的个数是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的。缺陷子块个数的阈值的设定是为了去除个别噪声或偶然因素的堆加对缺陷检测效果产生的影响,使得检测结果更加稳定。
对于检测的图像以作颜色一致性处理的彩色直方图特征,将其与训练的彩色直方图比较,设定一定的像素个数的阈值,超过阈值的像素强度区间中即存在缺陷的像素,并将存在缺陷的像素区间与总的像素区间个数的比值作为错误率。
最后,设定错误率的阈值,再确定图像像素区间错误率是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的。对于像素均匀度特征作同样的检测行为。
子图像灰度差和像素均匀度特征是基于灰度图像所计算的,彩色直方图的计算正好能够弥补描述图像的颜色信息。同时,由于彩色直方图特征并不能够包含图像的位置信息,对于位置的错位缺陷,彩色直方图的特征并不能检测出缺陷,而前两个特征也能够相互弥补。因此,为了严格保证产品质量及检测的准确性,本发明通过子图像灰度差,彩色直方图以及像素均匀度这三种特征融合来综合判断待检测产品的缺陷,使得在保持一定准确率的前提下,检测的对象能够更具一般性,检测产品的范围能够扩展到多种材质表面。
融合特征的缺陷综合判断的具体规则如图3所示,判定规则如下:若有基于两种或两种特征以上的缺陷检测结果都为合格品,那么待检测产品合格;若有两个或两个以上的特征检测存在缺陷,则判定产品为不合格品。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:
步骤1:图像采集:
对产品表面进行拍摄,获得图像后进行特征计算;
步骤2:位置对齐:
对获取的图像进行位置对齐,获得位姿一致性的图像;
步骤3:特征计算:
步骤3.1计算子图像灰度差:首先将彩色图像转化为灰度图像,在灰度图像中计算子图像的灰度差特征;
步骤3.2彩色直方图:根据图像的彩色图像的RGB模型中三个通道中像素值的分布来描述的彩色直方图特征;
将单个通道中的0至255个像素强度区间平均分成若干个区间,计算落在每个强度区间的像素的个数,再对其他通道作同样的计算处理,假定在单个通道当中,每个区间包含像素强度数为P,则第k个像素强度区间如式(4)所示:
I k = [ k P , k P + P - 1 ] , k = 0 , 1 , 2 , ... , ( 256 P - 1 ) - - - ( 4 ) ;
在确定像素区间的范围后,扫描整幅图像像素强度值并以nk可表示为落在第k个区间内的像素个数,此类像素的强度值在此区间内;再将此推广到RGB三个通道,以nck表示第c个通道的第k个区间的像素个数,作为描述图像的特征;
步骤3.3像素均匀度:计算灰度级图像像素间的均匀度;
步骤4特征融合检测:
步骤4.1学习过程:图像的子图像灰度差、彩色直方图以及像素均匀度特征融合的学习过程包含三个阶段:准备数据、分析数据、训练数据;首先选择若干个无缺陷样品即合格品的图像作为训练图像,根据求取的每幅图像的子图像灰度差、彩色直方图以及像素均匀度特征,对所有图像的特征值求平均值,得到合格产品图像特征的均值,即训练的合格品的理想特征;
4.2检测过程:在得到了训练后的合格品的三种特征:子图像灰度差、彩色直方图以及像素均匀度特征之后,各个特征的检测首先独立对产品表面进行判断;输入待检测产品的图像,分别求出其三种特征,并与训练的对应特征比较,设定一定的阈值,其差值超过阈值的特征中的某一项即为缺陷的特征,如式(12)所示:
E I = I T - I ‾ > T I - - - ( 12 )
式中EI是特征值的差,IT为待检测图像的特征值,是训练的特征值,TI为特征值差的阈值;
判定规则如下:若有基于两种或两种特征以上的缺陷检测结果都为合格品,那么待检测产品合格;若有两个或两个以上的特征检测存在缺陷,则判定产品为不合格品。
2.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤2中,位置对齐的方法为:首先,采集一个检测对象的图像作为模板,对于后续输入的图像,利用模板匹配算法进行定位匹配,获取待检测的对象模板图像在输入图像当中的位置和旋转的角度,再根据所获取的感兴趣对象的中心点和旋转角度调整输入图像,并选择大小合适的目标图像以提取有用信息。
3.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤3.1中,计算子图像灰度差的方法如下:在一幅图像f(x,y)中选取尺寸为S像素大小的正方形的子图像,并将每个子图像沿图像宽度的方向平均分为N部分,S可被N整除;首先计算这N部分组成的子图像的灰度值总和,随后移动一个部分的距离,计算由这N-1部分和临近下一个子图像的第一部分组成的新的图像块的平均灰度值,总共连续移动N-1次,直至最后组成的子图像不再包含原有的部分;
沿图像高度的方向作同样的平移与灰度值计算处理,最终可计算出N×N个灰度值总和,为图像中的一个子图像所拥有,选取其中最大和最小灰度值总和的差值作为此子图像的灰度差特征;对于像素大小为H×W的图像f(x,y),H和W分别代表图像的高度和宽度,除去最右和最下边界子图像不可平移计算外,可计算的子图像的个数为Nsh×Nsw,分别代表沿图像高度和宽度的子图像个数,其大小如式(1):
( H S - 1 ) × ( W S - 1 ) = N s h × N s w , ( H S > 1 o r W S > 1 ) - - - ( 1 )
对于第(i,j)个子图像,其所包含的N×N个灰度值总和计算如式(2)所示:
A d i j k = Σ x = ( i + k N ) S S + ( i + k N ) S Σ y = ( j + k N ) S S + ( j + k N ) S f ( x , y ) - - - ( 2 )
k=0,1,2,...,N2-1
选取其中最大和最小的灰度值总和,以他们的差值作为该子图像的灰度差特征,如式(3)所示:
Bij=max(Adijk)-min(Adijk)(3)
i=0,1,2,...,Nsh-1;j=0,1,2,...,Nsw-1。
4.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤3.2中,在计算图像的彩色直方图之前,对图像进行一致性的变换;采用彩色图像之间的变换方法来提高图像的颜色一致性:首先,将彩色图像由各通道之间相关性大的RGB空间转为几无相关性的lαβ空间,为将源图像变换为与目标图像有相同像素分布,首先将输入的源图像和选取的目标图像都转化为lαβ空间模型,计算得到了其空间数值的平均值和标准偏差,随后减去目标图像的平均值并尺度化,再将源图像的lαβ空间值加上计算得到的值,即可得到新的值;最后再将得到的新的lαβ空间模型转化为RGB图像,即可得到所需与目标图像颜色一致性的图像。
5.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤3.3中,计算灰度级图像像素间的均匀度,利用一个(2w+1)×(2w+1)的窗口扫描图像,w是窗口中心点与窗口边界的距离,首先计算窗口内的所有像素大小的总和F:
F = Σ i = - w w Σ j = - w w f ( x + i , y + j ) - - - ( 5 )
再根据F来计算x,y方向上的平均像素大小,如式(6)和(7):
x ‾ = Σ i = - w w Σ j = - w w ( x + i ) f ( x + i , y + j ) / F - - - ( 6 )
y ‾ = Σ i = - w w Σ j = - w w ( y + i ) f ( x + i , y + j ) / F - - - ( 7 )
再得出窗口中心像素轴与轴的协方差值如式(8)、(9)和(10)所示:
m x x = [ Σ i = - w w Σ j = - w w ( x + i ) 2 f ( x + i , y + j ) / F ] - x ‾ 2 - - - ( 8 )
m y y = [ Σ i = - w w Σ j = - w w ( y + j ) 2 f ( x + i , y + j ) / F ] - y ‾ 2 - - - ( 9 )
m x y = [ Σ i = - w w Σ j = - w w ( x + i ) ( y + j ) f ( x + i , y + j ) / F ] - x ‾ y ‾ - - - ( 10 )
最终计算该点像素的均匀度如式(11)所示:
r = 1 2 [ m x x + m y y - ( m x x - m y y ) 2 + 4 m x y 2 ] - - - ( 11 ) .
6.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤4.2中,对于子图像灰度差特征,为缩小灰度差阈值范围,可在阈值前乘以S×S,接着设定缺陷的子图像个数的阈值,统计存在着缺陷的子图像的个数是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的。
7.根据权利要求1所述的一种基于机器视觉的多类型材质表面缺陷检测方法,其特征在于:步骤4.2中,对于检测的图像以作颜色一致性处理的彩色直方图特征,将其与训练的彩色直方图比较,设定一定的像素个数的阈值,超过阈值的像素强度区间中即存在缺陷的像素,并将存在缺陷的像素区间与总的像素区间个数的比值作为错误率;设定错误率的阈值,再确定图像像素区间错误率是否超过了阈值,若超过说明待检测的产品图像的确存在缺陷,将被判定为是不合格的产品,反之,产品是合格的,对于像素均匀度特征作同样的检测行为。
CN201410705536.3A 2014-11-26 2014-11-26 一种基于机器视觉的多类型材质表面缺陷检测方法 Active CN104458755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410705536.3A CN104458755B (zh) 2014-11-26 2014-11-26 一种基于机器视觉的多类型材质表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410705536.3A CN104458755B (zh) 2014-11-26 2014-11-26 一种基于机器视觉的多类型材质表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN104458755A CN104458755A (zh) 2015-03-25
CN104458755B true CN104458755B (zh) 2017-02-22

Family

ID=52905156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410705536.3A Active CN104458755B (zh) 2014-11-26 2014-11-26 一种基于机器视觉的多类型材质表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN104458755B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN105354831B (zh) * 2015-09-30 2018-11-09 广东工业大学 一种基于图像分块方差-加权特征值的多缺陷检测方法
US10186026B2 (en) * 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
CN107154033B (zh) * 2016-03-03 2020-02-14 成都交大光芒科技股份有限公司 一种高铁接触网旋转双耳竖向开口销缺失检测方法及系统
CN106408605A (zh) * 2016-08-30 2017-02-15 浙江克里蒂弗机器人科技有限公司 一种基于颜色与纹理识别技术来判断光伏电池板是否肮脏的方法
CN107063458B (zh) * 2017-02-07 2018-10-26 泉州装备制造研究所 基于机器视觉的瓷砖色度分块检测方法
US20190332969A1 (en) * 2017-02-24 2019-10-31 Omron Corporation Configuring apparatus, method, program and storing medium, and learning data acquiring apparatus and method
JP6358351B1 (ja) * 2017-03-21 2018-07-18 Jfeスチール株式会社 表面欠陥検査方法及び表面欠陥検査装置
CN107192716A (zh) * 2017-04-26 2017-09-22 广东工业大学 一种基于轮廓特征的工件缺陷快速检测方法
CN106990119A (zh) * 2017-04-27 2017-07-28 中科慧远视觉技术(洛阳)有限公司 一种自动检测白玻表面缺陷的视觉检测系统及检测方法
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
CN107248158A (zh) * 2017-07-20 2017-10-13 广东工业大学 一种图像处理的方法及系统
TWI647658B (zh) * 2017-09-29 2019-01-11 樂達創意科技有限公司 影像特徵自動辨識裝置、系統及方法
CN107895363A (zh) * 2017-10-31 2018-04-10 常州大学 基于模板特征的纺织品瑕疵检测方法
CN108154498A (zh) * 2017-12-06 2018-06-12 深圳市智能机器人研究院 一种裂缝缺陷检测系统及其实现方法
CN108280820A (zh) * 2017-12-12 2018-07-13 深圳市智能机器人研究院 一种核岛厂房清水混凝土墙面自动修复系统及其实现方法
CN108362703A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板检测方法和检测设备
CN110046630A (zh) * 2018-01-16 2019-07-23 上海电缆研究所有限公司 物体的缺损模式识别方法/系统/装置及可读存储介质
CN108387585B (zh) * 2018-01-25 2021-10-22 西安理工大学 一种频率自动调节式印刷画面频闪检测装置及检测方法
US10679333B2 (en) * 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
CN108615230A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种轮毂表面异常检测方法和系统
JP6708695B2 (ja) * 2018-04-20 2020-06-10 ファナック株式会社 検査装置
CN108931961B (zh) * 2018-07-05 2020-08-18 西安交通大学 一种基于机器视觉的整体式立铣刀磨破损检测方法
US11321633B2 (en) * 2018-12-20 2022-05-03 Applied Materials Israel Ltd. Method of classifying defects in a specimen semiconductor examination and system thereof
CN111369492B (zh) * 2018-12-25 2023-05-26 合肥欣奕华智能机器股份有限公司 一种显示屏的检测方法及检测装置、检测系统
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
CN109871895B (zh) * 2019-02-22 2021-03-16 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN109949305B (zh) * 2019-03-29 2021-09-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN110174404B (zh) * 2019-05-20 2023-03-31 广州驭视自动化科技有限公司 一种药粒在线缺陷检测装置及系统
TWI771594B (zh) * 2019-06-19 2022-07-21 住華科技股份有限公司 缺陷判斷訓練方法及應用其之系統以及缺陷判斷方法及應用其之系統
CN110349133B (zh) * 2019-06-25 2021-11-23 杭州汇萃智能科技有限公司 物体表面缺陷检测方法、装置
CN110689533B (zh) * 2019-09-27 2022-02-08 中国科学院自动化研究所 板材包边缺陷检测方法、系统、装置
CN110842491B (zh) * 2019-12-06 2021-03-02 宁德侨云电子有限公司 一种线束隔离板的自动化生产方法
CN111242185B (zh) * 2020-01-03 2023-10-27 凌云光技术股份有限公司 一种基于深度学习的缺陷快速初筛方法及系统
WO2021168733A1 (zh) * 2020-02-27 2021-09-02 京东方科技集团股份有限公司 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
CN111421425B (zh) * 2020-03-11 2021-07-13 东北大学 一种基于工业视觉的金属表面修磨系统
CN111855672A (zh) * 2020-07-29 2020-10-30 佛山市南海区广工大数控装备协同创新研究院 一种cof软板缺陷检测的方法
US11321822B2 (en) 2020-07-30 2022-05-03 International Business Machines Corporation Determining image defects using image comparisons
CN114378649B (zh) * 2020-10-16 2023-03-03 中科钢研节能科技有限公司 激光陀螺腔体自动化加工方法及装置
CN113313638A (zh) * 2020-12-23 2021-08-27 深圳市杰恩世智能科技有限公司 一种外观缺陷检测方法
CN114486732B (zh) * 2021-12-30 2024-04-09 武汉光谷卓越科技股份有限公司 一种基于线扫描三维的瓷砖缺陷在线检测方法
CN114419039B (zh) * 2022-03-28 2022-06-24 武汉市融科优品装饰材料有限公司 一种基于模板匹配的装饰墙纸缺陷检测方法
CN114463327A (zh) * 2022-04-08 2022-05-10 深圳市睿阳精视科技有限公司 电子产品内衬包装水印缺陷的多节拍成像检测设备与方法
CN115631198B (zh) * 2022-12-21 2023-08-08 深圳新视智科技术有限公司 玻璃显示屏的裂纹检测方法、装置及计算机设备
CN116664577B (zh) * 2023-08-01 2023-11-14 山东天亚达新材料科技有限公司 基于碳纤维连接头图像处理的异常识别提取方法
CN117094609B (zh) * 2023-10-20 2024-01-12 山东卓越精工集团有限公司 一种基于机器视觉的铝型材生产质量智能管理系统
CN117250200B (zh) * 2023-11-07 2024-02-02 山东恒业金属制品有限公司 一种基于机器视觉的方管生产质量检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152253A (ja) * 1990-10-16 1992-05-26 Sekisui Chem Co Ltd 表面状態検査装置
WO2004107268A1 (en) * 2003-05-30 2004-12-09 Zen Voce Manufacturing Pte Ltd Method and system for detecting top surface non-uniformity of fasteners
CN102288613A (zh) * 2011-05-11 2011-12-21 北京科技大学 一种灰度和深度信息融合的表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288780B1 (en) * 1995-06-06 2001-09-11 Kla-Tencor Technologies Corp. High throughput brightfield/darkfield wafer inspection system using advanced optical techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152253A (ja) * 1990-10-16 1992-05-26 Sekisui Chem Co Ltd 表面状態検査装置
WO2004107268A1 (en) * 2003-05-30 2004-12-09 Zen Voce Manufacturing Pte Ltd Method and system for detecting top surface non-uniformity of fasteners
CN102288613A (zh) * 2011-05-11 2011-12-21 北京科技大学 一种灰度和深度信息融合的表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机器视觉检测技术;赵慧阳;《CNKI中国优秀硕士学位论文全文数据库》;20110301;全文 *

Also Published As

Publication number Publication date
CN104458755A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104458755B (zh) 一种基于机器视觉的多类型材质表面缺陷检测方法
Martínez et al. Quality inspection of machined metal parts using an image fusion technique
Liu et al. Steel surface defect detection using a new Haar–Weibull-variance model in unsupervised manner
Elbehiery et al. Surface defects detection for ceramic tiles using image processing and morphological techniques
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
CN104794491B (zh) 基于预分类的模糊聚类钢板表面缺陷检测方法
CN110009618B (zh) 一种轴类零件表面质量检测方法及装置
CN108648168A (zh) Ic晶圆表面缺陷检测方法
Peng et al. Computer vision algorithm for measurement and inspection of O-rings
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
US20060029257A1 (en) Apparatus for determining a surface condition of an object
Laofor et al. Defect detection and quantification system to support subjective visual quality inspection via a digital image processing: A tiling work case study
CN110148162A (zh) 一种基于复合算子的异源图像匹配方法
CN105334219A (zh) 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109087286A (zh) 一种基于计算机图像处理和模式识别的检测方法及应用
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN111047655A (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
Ali et al. A cascading fuzzy logic with image processing algorithm–based defect detection for automatic visual inspection of industrial cylindrical object’s surface
CN110781913B (zh) 一种拉链布带缺陷检测方法
CN114910480A (zh) 一种基于机器视觉的晶圆表面缺陷检测方法
CN105572143B (zh) 压延过程中压延材料表面周期性缺陷的检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240202

Address after: 398 Xinjiang Road, Xinqian Street, Huangyan District, Taizhou City, Zhejiang Province (self declared)

Patentee after: Taizhou Zhixing Miaoga Information Technology Co.,Ltd.

Country or region after: China

Address before: 518000 C 1-6, innovation and Research Institute, Nanshan District hi tech Zone, Shenzhen, Guangdong

Patentee before: Wu Xiaojun

Country or region before: China

TR01 Transfer of patent right