CN109671078B - 一种产品表面图像异常检测方法及装置 - Google Patents

一种产品表面图像异常检测方法及装置 Download PDF

Info

Publication number
CN109671078B
CN109671078B CN201811585526.5A CN201811585526A CN109671078B CN 109671078 B CN109671078 B CN 109671078B CN 201811585526 A CN201811585526 A CN 201811585526A CN 109671078 B CN109671078 B CN 109671078B
Authority
CN
China
Prior art keywords
product
image
pixel
noised
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811585526.5A
Other languages
English (en)
Other versions
CN109671078A (zh
Inventor
钟勇
霍颖瑜
邹穗萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Liz Technologies Co ltd
Original Assignee
Guangdong Liz Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Liz Technologies Co ltd filed Critical Guangdong Liz Technologies Co ltd
Priority to CN201811585526.5A priority Critical patent/CN109671078B/zh
Publication of CN109671078A publication Critical patent/CN109671078A/zh
Application granted granted Critical
Publication of CN109671078B publication Critical patent/CN109671078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种产品表面图像异常检测方法及装置,本发明首先经过将产品图像与模板图像进行对比判断是否一致,然后根据分割阈值划分去噪产品图像中的产品像素区域、根据分割阈值划分去噪产品图像中的产品像素区域、去噪后再根据产品像素区域判断产品是否有缺陷,即产品是否合格。相对于现有的方法,根据本发明提供的方法开发的识别系统的开发周期短,流程较简单,对于计算机的负载性能要求低,对于不合格产品的识别率高,误检率低,且稳定性强,适合连续的大批量产品表面缺陷的自动化检测。

Description

一种产品表面图像异常检测方法及装置
技术领域
本公开涉及图像处理领域与产品质量检测技术领域,具体涉及一种产品表面图像异常检测方法及装置。
背景技术
在智能制造化的工业生产中,随着产品产量的增加,对于产品的质量的检查需求越来越高,要保证产品的表面与合格样品之间相比无瑕疵,目前大多数的产品检测需要人工完成,将产品表面异常检测的目的是将产品表面上可见的划痕、印刷缺陷、突起、污渍、裂隙、气泡、凹坑等异常,将合格产品与存在缺陷的产品区分开来,以降低次品率,提高产品品质。随着信息化的发展,计算机图形学的发展,现在逐渐将产品表面检测自动化了,目前基于产品表面检测的方法绝为纹理分析技术,用以检测不同纹理表面的缺陷。
目前已有的产品异常检测专利包括:申请号为CN201010534162.5的专利提供了一种晶圆表面的缺陷检测方法;申请号为CN201410705536.3的专利提出了一种基于机器视觉的多类型材质表面缺陷检测方法;申请号为CN201210101070.7的专利提出了一种基于印刷质量在线检测的卷盘烟标生产系统及缺陷处理方法,这些方法的系统开发周期一般长,算法较复杂,对于计算机的负载性能要求高,不适合大批量产品的自动化检测。
发明内容
本公开提供一种产品表面图像异常检测方法及装置,本发明首先经过将产品图像与模板图像进行对比判断是否一致,然后根据分割阈值划分去噪产品图像中的产品像素区域、根据分割阈值划分去噪产品图像中的产品像素区域、去噪后再根据产品像素区域判断产品是否有异常,即是否有缺陷,从而判断产品是否合格。
为了实现上述目的,根据本公开的一方面,提供一种产品表面图像异常检测方法,所述方法包括以下步骤:
步骤1,对产品表面进行图像采集获取产品图像;
步骤2,将产品图像与模板图像进行对比判断是否一致;
步骤3,将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
步骤4,选取去噪产品图像的分割阈值;
步骤5,根据分割阈值划分去噪产品图像中的产品像素区域;
步骤6,根据产品像素区域判断产品是否有缺陷,
模板图像为预先拍摄的通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面的图像。
进一步地,在步骤1中,对产品表面进行图像采集获取产品图像的方法为,
通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的产品表面进行拍摄,从而获取图像,产品在流水线上或上下料机器人上均具有相同的位姿;即每个产品在拍摄时在流水线或上下料机器人系统上的位置、角度、方向一致,从而在彩色CCD/CMOS工业相机对所有产品拍摄时能够采集到相同位置、角度、方向的图像。
进一步地,在步骤2中,将产品图像与模板图像进行对比判断是否一致的方法为,
产品图像与模板图像一致则判断产品为合格产品,产品图像与模板图像不一致则需继续判断产品是否有缺陷,是否一致的判断方法为以下步骤:
步骤2.1,输入模板图像,模板图像为预先拍摄的通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面的图像;
步骤2.2,通过下式将产品图像与模板图像的图像矩阵做减法运算得到图像差值,
Figure BDA0001918987630000021
F0为模板图像的图像矩阵,Fk为产品图像的图像矩阵,k为流水线上或上下料机器人产品的递增的产品顺序号,k=1,2,...,N,若产品图像与模板图像的图像差值一致即ΔFk<T则转到步骤1,即进行下一个产品的检测,若有产品图像与模板图像的图像差值不一致的情况,即ΔFk≥T时,转到步骤2.3,其中,T为对比阈值,默认为0,T可人工进行调整,对比阈值的选取决定了检测灵敏度;
步骤2.3,将F0和Fk中对应像素的特征值进行比较,即将F0和Fk中像素点取值分别用其周围的像素点来表示,即通过以下公式进行比较:
Figure BDA0001918987630000022
式中,δ0(i,j),δk(i,j)分别表示以F0(i,j),Fk(i,j)为中心的邻域,M为邻域中的像素点数,取以(i,j)点为中心,m×n像素的邻域,作为表示像素点(i,j)的表征域δ,M=m×n,当F0(i,j)和Fk(i,j)的欧氏距离小于对比阈值T则判定为一致,m=3像素,n=3像素。
进一步地,在步骤3中,将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像的方法为,在产品图像中,以f(x,y)表示(x,y)点的实际灰度,通过邻域平均方法进行线性滤波去除产品图像的噪声为下式表示,
Figure BDA0001918987630000031
其中,oi为ai点灰度值,ε称为门限,ε=A%L,L为总灰度级数,A为整数,取值范围为5到10,同理,去除模板图像的噪声得到去噪模板图像。
进一步地,在步骤4中,选取去噪产品图像的分割阈值的方法为,设去噪产品图像的原始灰度图像的灰度级为L,灰度为i的像素点数为ni,去噪产品图像的像素总数为N,则去噪产品图像的分割阈值的计算过程如下:
步骤4.1,计算去噪产品图像的灰度级的归一化直方图pi=ni/N,且
Figure BDA0001918987630000032
步骤4.2,计算归一化直方图的灰度均值μ,
Figure BDA0001918987630000033
步骤4.3,用阈值t将灰度级划分为两类(C0,C1),C0中为灰度级[0,t]的像素,C1包含了灰度级为[t+1,L-1]的像素,C0和C1的发生概率ω0和ω1由下式得到:
Figure BDA0001918987630000034
其中,t=0,1,...,L-1;
步骤4.4,计算类C0和C1的灰度均值μ0(t)和μ1(t):
Figure BDA0001918987630000035
步骤4.5,根据C0和C1的灰度均值计算方差
Figure BDA0001918987630000036
Figure BDA0001918987630000037
Figure BDA0001918987630000038
步骤4.6,计算类间方差:
Figure BDA0001918987630000041
在上式中,灰度均值μ0(t)和μ1(t)分别代表去噪产品图像中背景和产品的中心灰度;
步骤4.7,求类间方差σB(t)的最大值,并将具有最大值的σB(t)中t*值作为分割阈值,即
Figure BDA0001918987630000042
同理可以得到去噪模板图像的分割阈值;其中,t=0,1,...,L-1。
进一步地,在步骤5中,根据分割阈值划分去噪产品图像中的产品像素区域:
将去噪产品图像中各个像素的灰度值都与分割阈值相比较,并根据比较结果将对应的像素划分得到去噪产品图像中的产品像素区域,即,
Figure BDA0001918987630000043
其中,f(x,y)是去噪产品图像的原始灰度图像,g(x,y)是分割后的二值化图像,g(x,y)即为产品像素区域,同理可以获得模板图像的产品像素区域。
进一步地,在步骤5中,根据产品像素区域判断产品是否有缺陷的方法为,
令bi(x,y)为产品图像的产品像素区域的二值化图像,b0(x,y)为模板图像的产品像素区域的二值化图像,对bi(x,y)中像素值为1的像素进行标记,得到产品图像的产品像素区域中的疑似缺陷区域Ωi,i=1,2,...,N,k为流水线上或上下料机器人产品的递增的产品顺序号,计算bi(x,y)与b0(x,y)的相似度ξi
Figure BDA0001918987630000044
当ξi<ε时,即认为产品没有缺陷,产品合格;而当ξi≥ε时,即可认为存在缺陷,产品不合格,ε=A%L,L为模板图像的总灰度级数,A为整数,取值范围为5到10。
本发明还提供了一种产品表面图像异常检测装置,所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下装置的单元中:
图像采集单元,用于对产品表面进行图像采集获取产品图像;
初次对比单元,用于将产品图像与模板图像进行对比判断是否一致;
图像去噪单元,用于将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
阈值选取单元,用于选取去噪产品图像的分割阈值;
产品划分单元,用于根据分割阈值划分去噪产品图像中的产品像素区域;
缺陷判断单元,用于根据产品像素区域判断产品是否有缺陷。
本公开的有益效果为:本发明提供一种产品表面图像异常检测方法及装置,相对于现有的方法,根据本发明提供的方法开发的识别系统的开发周期短,流程较简单,对于计算机的负载性能要求低,对于不合格产品的识别率高,误检率低,且稳定性强,适合连续的大批量产品表面缺陷的自动化检测。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为一种产品表面图像异常检测方法的流程图;
图2所示为一种产品表面图像异常检测装置图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种产品表面图像异常检测方法的流程图,下面结合图1来阐述根据本公开的实施方式的一种产品表面图像异常检测方法。
本公开提出一种产品表面图像异常检测方法,具体包括以下步骤:
步骤1,对产品表面进行图像采集获取产品图像;
步骤2,将产品图像与模板图像进行对比判断是否一致;
步骤3,将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
步骤4,选取去噪产品图像的分割阈值;
步骤5,根据分割阈值划分去噪产品图像中的产品像素区域;
步骤6,根据产品像素区域判断产品是否有缺陷,
模板图像为预先拍摄的通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面的图像。
进一步地,在步骤1中,对产品表面进行图像采集获取产品图像的方法为,
通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的产品表面进行拍摄,从而获取图像,产品在流水线上或上下料机器人上均具有相同的位姿;即每个产品在拍摄时在流水线或上下料机器人系统上的位置、角度、方向一致,从而在彩色CCD/CMOS工业相机对所有产品拍摄时能够采集到相同位置、角度、方向的图像。
进一步地,在步骤2中,将产品图像与模板图像进行对比判断是否一致的方法为,
产品图像与模板图像一致则判断产品为合格产品,产品图像与模板图像不一致则需继续判断产品是否有缺陷,是否一致的判断方法为以下步骤:
步骤2.1,输入模板图像,模板图像为预先拍摄的通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面的图像;
步骤2.2,通过下式将产品图像与模板图像的图像矩阵做减法运算得到图像差值,
Figure BDA0001918987630000061
F0为模板图像的图像矩阵,Fk为产品图像的图像矩阵,k为流水线上或上下料机器人产品的递增的产品顺序号,k=1,2,...,N,若产品图像与模板图像的图像差值一致即ΔFk<T则转到步骤1,即进行下一个产品的检测,若有产品图像与模板图像的图像差值不一致的情况,即ΔFk≥T时,转到步骤2.3,其中,T为对比阈值,默认为0,T可人工进行调整,对比阈值的选取决定了检测灵敏度;
步骤2.3,将F0和Fk中对应像素的特征值进行比较,即将F0和Fk中像素点取值分别用其周围的像素点来表示,即通过以下公式进行比较:
Figure BDA0001918987630000062
式中,δ0(i,j),δk(i,j)分别表示以F0(i,j),Fk(i,j)为中心的邻域,M为邻域中的像素点数,取以(i,j)点为中心,m×n像素的邻域,作为表示像素点(i,j)的表征域δ,M=m×n,当F0(i,j)和Fk(i,j)的欧氏距离小于对比阈值T则判定为一致,m=3像素,n=3像素。
进一步地,在步骤3中,将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像的方法为,
在产品图像中,以f(x,y)表示(x,y)点的实际灰度,通过邻域平均方法进行线性滤波去除产品图像的噪声为下式表示,
Figure BDA0001918987630000071
其中,oi为ai点灰度值,ε称为门限,ε=A%L,L为总灰度级数,A为整数,取值范围为5到10,同理,去除模板图像的噪声得到去噪模板图像。
进一步地,在步骤4中,选取去噪产品图像的分割阈值的方法为,设去噪产品图像的原始灰度图像的灰度级为L,灰度为i的像素点数为ni,去噪产品图像的像素总数为N,则去噪产品图像的分割阈值的计算过程如下:
步骤4.1,计算去噪产品图像的灰度级的归一化直方图pi=ni/N,且
Figure BDA0001918987630000072
步骤4.2,计算归一化直方图的灰度均值μ,
Figure BDA0001918987630000073
步骤4.3,用阈值t将灰度级划分为两类(C0,C1),C0中为灰度级[0,t]的像素,C1包含了灰度级为[t+1,L-1]的像素,C0和C1的发生概率ω0和ω1由下式得到:
Figure BDA0001918987630000074
其中,t=0,1,...,L-1;
步骤4.4,计算类C0和C1的灰度均值μ0(t)和μ1(t):
Figure BDA0001918987630000075
步骤4.5,根据C0和C1的灰度均值计算方差
Figure BDA0001918987630000076
Figure BDA0001918987630000077
Figure BDA0001918987630000078
步骤4.6,计算类间方差:
Figure BDA0001918987630000079
在上式中,灰度均值μ0(t)和μ1(t)分别代表去噪产品图像中背景和产品的中心灰度;
步骤4.7,求类间方差σB(t)的最大值,并将具有最大值的σB(t)中t*值作为分割阈值,即
Figure BDA0001918987630000081
同理可以得到去噪模板图像的分割阈值;其中,t=0,1,...,L-1。
进一步地,在步骤5中,根据分割阈值划分去噪产品图像中的产品像素区域:
将去噪产品图像中各个像素的灰度值都与分割阈值相比较,并根据比较结果将对应的像素划分得到去噪产品图像中的产品像素区域,即,
Figure BDA0001918987630000082
其中f(x,y)是去噪产品图像的原始灰度图像,g(x,y)是分割后的二值化图像,g(x,y)即为产品像素区域,同理可以获得模板图像的产品像素区域。
进一步地,在步骤5中,根据产品像素区域判断产品是否有缺陷的方法为,
令bi(x,y)为产品图像的产品像素区域的二值化图像,b0(x,y)为模板图像的产品像素区域的二值化图像,对bi(x,y)中像素值为1的像素进行标记,得到产品图像的产品像素区域中的疑似缺陷区域Ωi,i=1,2,...,N,k为流水线上或上下料机器人产品的递增的产品顺序号,计算bi(x,y)与b0(x,y)的相似度ξi
Figure BDA0001918987630000083
当ξi<ε时,即认为产品没有缺陷,产品合格;而当ξi≥ε时,即可认为存在缺陷,产品不合格,ε=A%L,L为模板图像的总灰度级数,A为整数,取值范围为5到10。
本发明在上下料机器人中生产的印刷包装袋以及LCD显示屏的产品,采用彩色CCD工业相机对产品表面图像采集,并按照本发明的方法进行了检测的测试,结果表明但在线检测快速有效,对于分辨率分别为800*600像素、1024*768像素和1280*900的产品图像进行判断是否合格品的时间分别只需0.21秒、0.3秒和0.45秒。对于不同材质的物体表面图像检测的合格判断的准确率在95%以上,部分产品的合格判断检测的准确率达到98%以上,相比于其他同类技术的检测准确率有所提高。多种不同工业产品的合格判断检测结果证明了该方法能够适用于多种不同类型的产品材质表面的缺陷检测,克服了传统方法对于检测精度和速度的不足。
本公开的实施例提供的一种产品表面图像异常检测装置,如图2所示为本公开的一种产品表面图像异常检测装置图,该实施例的一种产品表面图像异常检测装置包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种产品表面图像异常检测装置实施例中的步骤。
所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下装置的单元中:
图像采集单元,用于对产品表面进行图像采集获取产品图像;
初次对比单元,用于将产品图像与模板图像进行对比判断是否一致;
图像去噪单元,用于将一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
阈值选取单元,用于选取去噪产品图像的分割阈值;
产品划分单元,用于根据分割阈值划分去噪产品图像中的产品像素区域;
缺陷判断单元,用于根据产品像素区域判断产品是否有缺陷。
所述一种产品表面图像异常检测装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种产品表面图像异常检测装置,可运行的装置可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种产品表面图像异常检测装置的示例,并不构成对一种产品表面图像异常检测装置的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种产品表面图像异常检测装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种产品表面图像异常检测装置运行装置的控制中心,利用各种接口和线路连接整个一种产品表面图像异常检测装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种产品表面图像异常检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (4)

1.一种产品表面图像异常检测方法,其特征在于,所述方法包括以下步骤:
步骤1,对产品表面进行图像采集获取产品图像;
步骤2,将产品图像与模板图像进行对比判断是否一致;
步骤3,将不一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
步骤4,选取去噪产品图像的分割阈值;
步骤5,根据分割阈值划分去噪产品图像中的产品像素区域;
步骤6,根据产品像素区域判断产品是否有缺陷;
在步骤2中,将产品图像与模板图像进行对比判断是否一致的方法为:
步骤2.1,输入模板图像,模板图像为预先通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面拍摄的图像;
步骤2.2,通过下式将产品图像与模板图像的图像矩阵做减法运算得到图像差值,
Figure FDA0003855544530000011
F0为模板图像的图像矩阵,Fk为产品图像的图像矩阵,k为流水线上或上下料机器人产品的递增的产品顺序号,k=1,2,…,N,若有产品图像与模板图像的图像差值不一致的情况,即ΔFk≥T时,转到步骤2.3,其中,T为对比阈值,默认为0;
步骤2.3,将F0和Fk中对应像素的特征值进行比较,即将F0和Fk中像素点取值分别用其周围的像素点来表示,即通过以下公式进行比较:
Figure FDA0003855544530000012
式中,δ0(i,j),δk(i,j)分别表示以F0(i,j),Fk(i,j)为中心的邻域,M为邻域中的像素点数,取以(i,j)点为中心,m×n像素的邻域,作为表示像素点(i,j)的表征域δ,M=m×n,当F0(i,j)和Fk(i,j)的欧氏距离小于对比阈值T则判定为一致,m=3像素,n=3像素;
在步骤4中,选取去噪产品图像的分割阈值的方法为:设去噪产品图像的原始灰度图像的灰度级为L,灰度为i的像素点数为ni,去噪产品图像的像素总数为N,则去噪产品图像的分割阈值的计算过程如下:
步骤4.1,计算去噪产品图像的所有灰度级为i的像素点出现的概率pi=ni/N,且
Figure FDA0003855544530000021
步骤4.2,计算归一化直方图的灰度均值μ,
Figure FDA0003855544530000022
步骤4.3,用阈值t将灰度级划分为两类(C0,C1),C0中为灰度级[0,t]的像素,C1包含了灰度级为[t+1,L-1]的像素,C0和C1的发生概率ω0(t)和ω1(t)由下式得到:
Figure FDA0003855544530000023
其中,t=0,1,…,L-1;
步骤4.4,计算类C0和C1的灰度均值μ0(t)和μ1(t):
Figure FDA0003855544530000024
步骤4.5,根据C0和C1的灰度均值计算方差
Figure FDA0003855544530000025
Figure FDA0003855544530000026
Figure FDA0003855544530000027
步骤4.6,计算类间方差:
Figure FDA0003855544530000028
在上式中,灰度均值μ0(t)和μ1(t)分别代表去噪产品图像中背景和产品的中心灰度;
步骤4.7,求σB(t)的最大值,并将具有最大值的σB(t)中t*值作为分割阈值,即
Figure FDA0003855544530000029
同理可以得到去噪模板图像的分割阈值;其中,t=0,1,…,L-1;
在步骤5中,根据分割阈值划分去噪产品图像中的产品像素区域的方法为:
将去噪产品图像中各个像素的灰度值都与分割阈值相比较,并根据比较结果将对应的像素划分得到去噪产品图像中的产品像素区域,即,
Figure FDA0003855544530000031
其中,f(x,y)是去噪产品图像的原始灰度图像,g(x,y)是分割后的二值化图像,g(x,y)即为产品像素区域,同理可以获得模板图像的产品像素区域;
在步骤6中,根据产品像素区域判断产品是否有缺陷的方法为:
令bi(x,y)为产品图像的产品像素区域的二值化图像,b0(x,y)为模板图像的产品像素区域的二值化图像,对bi(x,y)中像素值为1的像素进行标记,得到产品图像的产品像素区域中的疑似缺陷区域Ωi,i=1,2,…,N,计算bi(x,y)与b0(x,y)的相似度ξi
Figure FDA0003855544530000032
当ξi<ε时,即认为产品没有缺陷,产品合格;而当ξi≥ε时,即可认为存在缺陷,产品不合格,ε=A%L,L为模板图像的总灰度级数,A为取值范围5到10之间的整数。
2.根据权利要求1所述的一种产品表面图像异常检测方法,其特征在于,在步骤1中,对产品表面进行图像采集获取产品图像的方法为,通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的产品表面进行拍摄,从而获取图像,产品在流水线上或上下料机器人上均具有相同的位姿。
3.根据权利要求1所述的一种产品表面图像异常检测方法,其特征在于,在步骤3中,将不一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像的方法为,
在产品图像中,以f(x,y)表示(x,y)点的实际灰度,通过邻域平均方法进行线性滤波去除产品图像的噪声为下式表示,
Figure FDA0003855544530000033
其中,oi为ai点灰度值,ε称为门限,ε=A%L,L为总灰度级数,A为取值范围5到10之间的整数,同理,去除模板图像的噪声得到去噪模板图像。
4.一种产品表面图像异常检测装置,其特征在于,所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下装置的单元中:
图像采集单元,用于对产品表面进行图像采集获取产品图像;
初次对比单元,用于将产品图像与模板图像进行对比判断是否一致;
图像去噪单元,用于将不一致的产品图像进行线性滤波去除产品图像的噪声得到去噪产品图像;
阈值选取单元,用于选取去噪产品图像的分割阈值;
产品划分单元,用于根据分割阈值划分去噪产品图像中的产品像素区域;
缺陷判断单元,用于根据产品像素区域判断产品是否有缺陷;
在初次对比单元中,将产品图像与模板图像进行对比判断是否一致的方法为:
步骤2.1,输入模板图像,模板图像为预先通过彩色CCD/CMOS工业相机对流水线上或上下料机器人上的合格产品表面拍摄的图像;
步骤2.2,通过下式将产品图像与模板图像的图像矩阵做减法运算得到图像差值,
Figure FDA0003855544530000041
F0为模板图像的图像矩阵,Fk为产品图像的图像矩阵,k为流水线上或上下料机器人产品的递增的产品顺序号,k=1,2,…,N,若有产品图像与模板图像的图像差值不一致的情况,即ΔFk≥T时,转到步骤2.3,其中,T为对比阈值,默认为0;
步骤2.3,将F0和Fk中对应像素的特征值进行比较,即将F0和Fk中像素点取值分别用其周围的像素点来表示,即通过以下公式进行比较:
Figure FDA0003855544530000042
式中,δ0(i,j),δk(i,j)分别表示以F0(i,j),Fk(i,j)为中心的邻域,M为邻域中的像素点数,取以(i,j)点为中心,m×n像素的邻域,作为表示像素点(i,j)的表征域δ,M=m×n,当F0(i,j)和Fk(i,j)的欧氏距离小于对比阈值T则判定为一致,m=3像素,n=3像素;
在阈值选取单元中,选取去噪产品图像的分割阈值的方法为:
设去噪产品图像的原始灰度图像的灰度级为L,灰度为i的像素点数为ni,去噪产品图像的像素总数为N,则去噪产品图像的分割阈值的计算过程如下:
步骤4.1,计算去噪产品图像的所有灰度级为i的像素点出现的概率pi=ni/N,且
Figure FDA0003855544530000051
步骤4.2,计算归一化直方图的灰度均值μ,
Figure FDA0003855544530000052
步骤4.3,用阈值t将灰度级划分为两类(C0,C1),C0中为灰度级[0,t]的像素,C1包含了灰度级为[t+1,L-1]的像素,C0和C1的发生概率ω0(t)和ω1(t)由下式得到:
Figure FDA0003855544530000053
其中,t=0,1,…,L-1;
步骤4.4,计算类C0和C1的灰度均值μ0(t)和μ1(t):
Figure FDA0003855544530000054
步骤4.5,根据C0和C1的灰度均值计算方差
Figure FDA0003855544530000055
Figure FDA0003855544530000056
Figure FDA0003855544530000057
步骤4.6,计算类间方差:
Figure FDA0003855544530000058
在上式中,灰度均值μ0(t)和μ1(t)分别代表去噪产品图像中背景和产品的中心灰度;
步骤4.7,求σB(t)的最大值,并将具有最大值的σB(t)中t*值作为分割阈值,即
Figure FDA0003855544530000059
同理可以得到去噪模板图像的分割阈值;其中,t=0,1,…,L-1;
在产品划分单元中,根据分割阈值划分去噪产品图像中的产品像素区域的方法为:
将去噪产品图像中各个像素的灰度值都与分割阈值相比较,并根据比较结果将对应的像素划分得到去噪产品图像中的产品像素区域,即,
Figure FDA0003855544530000061
其中,f(x,y)是去噪产品图像的原始灰度图像,g(x,y)是分割后的二值化图像,g(x,y)即为产品像素区域,同理可以获得模板图像的产品像素区域;
在缺陷判断单元中,根据产品像素区域判断产品是否有缺陷的方法为:
令bi(x,y)为产品图像的产品像素区域的二值化图像,b0(x,y)为模板图像的产品像素区域的二值化图像,对bi(x,y)中像素值为1的像素进行标记,得到产品图像的产品像素区域中的疑似缺陷区域Ωi,i=1,2,…,N,计算bi(x,y)与b0(x,y)的相似度ξi
Figure FDA0003855544530000062
当ξi<ε时,即认为产品没有缺陷,产品合格;而当ξi≥ε时,即可认为存在缺陷,产品不合格,ε=A%L,L为模板图像的总灰度级数,A为取值范围5到10之间的整数。
CN201811585526.5A 2018-12-24 2018-12-24 一种产品表面图像异常检测方法及装置 Active CN109671078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585526.5A CN109671078B (zh) 2018-12-24 2018-12-24 一种产品表面图像异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585526.5A CN109671078B (zh) 2018-12-24 2018-12-24 一种产品表面图像异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN109671078A CN109671078A (zh) 2019-04-23
CN109671078B true CN109671078B (zh) 2022-11-01

Family

ID=66146012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585526.5A Active CN109671078B (zh) 2018-12-24 2018-12-24 一种产品表面图像异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN109671078B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业(深圳)有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
CN110136129A (zh) * 2019-05-22 2019-08-16 广东工业大学 一种商品质量检测方法、装置及存储介质
CN112730251B (zh) * 2020-12-30 2023-09-26 凌云光技术股份有限公司 一种用于屏幕颜色缺陷检测的装置及方法
CN112950598B (zh) * 2021-03-09 2024-03-19 深圳棱镜空间智能科技有限公司 工件的瑕疵检测方法、装置、设备及存储介质
CN113781446B (zh) * 2021-09-13 2022-07-22 常州市宏发纵横新材料科技股份有限公司 玻纤表面油污检出方法、装置、存储介质和电子设备
CN114049336B (zh) * 2021-11-18 2024-06-14 国网重庆市电力公司电力科学研究院 Gis套管温度异常检测方法、装置、设备及可读存储介质
CN114913365A (zh) * 2022-04-22 2022-08-16 海门王巢家具制造有限公司 基于机器视觉的人造板质量分类方法及系统
CN116092402B (zh) * 2022-12-30 2024-06-25 翱瑞(深圳)科技有限公司 基于安卓系统快速验证功能的显示屏验证系统
CN116721106B (zh) * 2023-08-11 2023-10-20 山东明达圣昌铝业集团有限公司 一种基于图像处理的型材瑕疵视觉检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122271A (zh) * 2014-07-09 2014-10-29 宁波摩视光电科技有限公司 一种基于aoi的子弹表观缺陷检测方法
CN104360501A (zh) * 2014-10-15 2015-02-18 西安交通大学 一种液晶屏幕缺陷视觉检测方法及装置
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN106251361A (zh) * 2016-08-30 2016-12-21 兰州交通大学 一种钢轨表面缺陷图像自适应分割方法
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN106683099A (zh) * 2016-11-17 2017-05-17 南京邮电大学 一种产品表面缺陷检测方法
CN108346148A (zh) * 2017-09-21 2018-07-31 华南理工大学 一种高密度柔性ic基板氧化区域检测系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977035B2 (en) * 2012-06-13 2015-03-10 Applied Materials Israel, Ltd. System, method and computer program product for detection of defects within inspection images
TWI603074B (zh) * 2015-07-03 2017-10-21 元智大學 光學薄膜缺陷辨識方法及其系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122271A (zh) * 2014-07-09 2014-10-29 宁波摩视光电科技有限公司 一种基于aoi的子弹表观缺陷检测方法
CN104360501A (zh) * 2014-10-15 2015-02-18 西安交通大学 一种液晶屏幕缺陷视觉检测方法及装置
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN106251361A (zh) * 2016-08-30 2016-12-21 兰州交通大学 一种钢轨表面缺陷图像自适应分割方法
CN106683099A (zh) * 2016-11-17 2017-05-17 南京邮电大学 一种产品表面缺陷检测方法
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN108346148A (zh) * 2017-09-21 2018-07-31 华南理工大学 一种高密度柔性ic基板氧化区域检测系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于优化Gabor滤波器的铸坏表面缺陷检测应用研究;徐建亮 等;《表面技术》;20161130;第45卷(第11期);第202-209页 *
基于图像处理的路面裂缝自动检测技术研究;曹佳煜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第03期);第1-82页 *
基于机器视觉的微小零件表面缺陷检测研究;王东 等;《应用科技》;20180831;第45卷(第04期);第131-136页 *
复杂背景下光滑物体表面的缺陷检测技术研究;乔爽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115(第01期);第1-46页 *
用于光学薄膜缺陷检测的快速图像分割算法;钟球盛 等;《机电工程》;20111031;第28卷(第10期);第1170-1175页 *

Also Published As

Publication number Publication date
CN109671078A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109671078B (zh) 一种产品表面图像异常检测方法及装置
JP4095860B2 (ja) 欠陥検査方法及びその装置
CN113109368B (zh) 玻璃裂纹检测方法、装置、设备及介质
TW201724017A (zh) 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US20200357106A1 (en) Method for detecting defects, electronic device, and computer readable medium
CN110189290A (zh) 基于深度学习的金属表面细微缺陷检测方法及装置
Islam et al. Capsule image segmentation in pharmaceutical applications using edge-based techniques
US20230011569A1 (en) Method and apparatus for detecting defect, device, and storage medium
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
CN111598801B (zh) 一种用于微弱Mura缺陷的识别方法
CN111814852B (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN115908415B (zh) 基于边缘的缺陷检测方法、装置、设备及存储介质
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN115272336A (zh) 基于梯度向量的金属零件缺陷精准检测方法
CN116485779A (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
WO2023243202A1 (ja) 画像生成方法及び外観検査装置
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
CN115861315B (zh) 缺陷检测方法和装置
Li et al. Multi-scale morphologic tracking approach for edge detection
CN111028215A (zh) 一种基于机器视觉的检测钢卷端面缺陷方法
CN114166849B (zh) 一种湿度传感器印刷碳线缺陷和感湿膜缺陷的检测方法
CN115496754A (zh) Ssd的弯曲度检测方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant