CN109872303A - 表面缺陷视觉检测方法、装置和电子设备 - Google Patents

表面缺陷视觉检测方法、装置和电子设备 Download PDF

Info

Publication number
CN109872303A
CN109872303A CN201910039533.3A CN201910039533A CN109872303A CN 109872303 A CN109872303 A CN 109872303A CN 201910039533 A CN201910039533 A CN 201910039533A CN 109872303 A CN109872303 A CN 109872303A
Authority
CN
China
Prior art keywords
image
matrix
pixel
feature
img
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910039533.3A
Other languages
English (en)
Other versions
CN109872303B (zh
Inventor
李清勇
王建柱
甘津瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201910039533.3A priority Critical patent/CN109872303B/zh
Publication of CN109872303A publication Critical patent/CN109872303A/zh
Application granted granted Critical
Publication of CN109872303B publication Critical patent/CN109872303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例公开了一种表面缺陷视觉检测方法,包括对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像并进行特征提取,获取每一像素特征向量;根据每一像素特征向量计算超像素块特征向量,并将超像素块特征向量组合构成特征矩阵;超像素块根据预处理结果图像进行超像素分割来获取;获取缺陷图像的先验信息并融合到低秩表示模型中,将特征矩阵分解为低秩矩阵和稀疏矩阵之和;根据超像素元素索引信息将稀疏矩阵转化为显著性图,对显著性图进行后处理,获取表面缺陷检测图,以此避免现有无损检测方式存在检测速度慢或是检测结果易受干扰的问题,加快无损检测的速度、提高无损检测的智能程度、加强无损检测的可回溯性。

Description

表面缺陷视觉检测方法、装置和电子设备
技术领域
本发明属于计算机视觉、工业缺陷检测领域,尤其涉及一种基于图像低秩表示的工业场景的表面缺陷视觉检测方法、装置和电子设备。
背景技术
表面缺陷检测是工业场景质量控制的重要环节。工业场景的表面缺陷不仅会影响产品本身的外观形象,还会在一定程度上对产品本身的功能特性造成损伤。在电子信息技术兴起之前,表面缺陷检测主要依赖于人工检测。这种人工检测方式不仅费时费力,而且检测结果容易受到各种主观因素的影响。为此,研究者们提出了多种无损检测方法。
超声波探伤是利用超声波与试件相互作用,就反射、透射和散射的波进行研究分析,进而获取试件缺陷位置、几何特性等表面特征。一般而言,超声波检测技术能够较好地检测出产品的隐藏缺陷,但通常检测速度较慢,对表面擦伤等表面病害检测能力较弱。
涡流探伤技术利用产品表面在交变磁场作用下生成涡流的状况来判断是否存在表面缺陷。当产品表面没有缺陷时,涡流分布和大小不变;反之,检测线圈能够感知磁场的变化,并转化为电信号后显示出来反映缺陷情况。涡流检测通常速度较快,但对于检测线圈的位置较为敏感。在实际的工业检测场景中,涡流设备安装和调试复杂,检测结果容易受到干扰。
因此,现有无损检测方式存在检测速度慢或是检测结果易受干扰的问题。
发明内容
鉴于上述问题,本发明旨在提出一种表面缺陷视觉检测方法,用于工业场景的表面缺陷检测,以此避免现有无损检测方式存在检测速度慢或是检测结果易受干扰的问题,加快无损检测的速度、提高无损检测的智能程度、加强无损检测的可回溯性。
第一方面,本发明实施例提供了一种表面缺陷视觉检测方法,包括如下步骤:对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像;对所述预处理结果图像进行特征提取,获取每一像素特征向量;根据所述每一像素特征向量计算超像素块特征向量,并将所述超像素块特征向量组合起来构成特征矩阵;所述超像素块根据所述预处理结果图像进行超像素分割来获取;获取缺陷图像的先验信息,将所述先验信息融合到低秩表示模型中,将所述特征矩阵分解为低秩矩阵和稀疏矩阵之和;根据超像素元素索引信息将所述稀疏矩阵转化为显著性图,对所述显著性图进行后处理,获取表面缺陷检测图。
根据本发明表面缺陷视觉检测方法实施例的一种具体实现方式,所述预处理结果图像Img依据如下模型进行计算:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log为对数运算;
ComputeMeanGray(X)为计算矩阵X的平均值;
Normalize(X)为矩阵X中的元素归一化到[0,255];
Src为原始灰度图像;
Img为所述预处理结果图像。
根据本发明表面缺陷视觉检测方法实施例的一种具体实现方式,所述特征提取的特征类型至少包括以下三者之一:
受局部二值模式启发的特征;
基于灰度的特征;以及
纹元特征;并且
所述每一像素特征向量通过将特征进行归一化处理进行表征。
根据本发明表面缺陷视觉检测方法实施例的一种具体实现方式,所述先验信息至少包括以下三者之一:
背景先验;
局部先验;
灰度先验。
根据本发明表面缺陷视觉检测方法实施例的一种具体实现方式,所述后处理包括利用所述预处理结果图像的全局灰度信息对所述显著性图进行处理,依据如下模型进行计算:
globalMeanGray=ComputeMeanGray(Img) (4)
ind=find(Img>globalMeanGray) (5)
其中:
globalMeanGray为所述预处理结果图像Img全部像素的平均灰度;
Ind为所述预处理结果图像Img中灰度值大于globalMeanGray的像素索引;
对初始的显著性图SalMap做如下后处理,
SalMap(ind)=min(SalMap) (6)
其中:
min为求取最小值的函数。
第二方面,本发明实施例提供了一种表面缺陷视觉检测装置,包括:
图像预处理模块,用于对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像;
图像特征提取模块,用于对所述预处理结果图像进行特征提取,获取每一像素特征向量;
超像素分割及构建特征矩阵模块,用于根据所述每一像素特征向量计算超像素块特征向量,并且将所述超像素块特征向量组合起来构成特征矩阵;所述超像素块根据所述预处理结果图像进行超像素分割来获取;
集成先验的低秩表示模型模块,用于获取缺陷图像的先验信息,将所述先验信息融合到低秩表示模型中,将所述特征矩阵分解为低秩矩阵和稀疏矩阵之和;
缺陷图像后处理模块,用于根据超像素元素索引信息将所述稀疏矩阵转化为显著性图,对所述显著性图进行后处理,获取表面缺陷检测图。
根据本发明表面缺陷视觉检测装置实施例的一种具体实现方式,所述预处理结果图像Img依据如下模型进行计算:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log为对数运算;
ComputeMeanGray(X)为计算矩阵X的平均值;
Normalize(X)为矩阵X中的元素归一化到[0,255];
Src为原始灰度图像;
Img为预处理结果图像。
根据本发明表面缺陷视觉检测装置实施例的一种具体实现方式,所述特征提取的特征类型至少包括以下三者之一:
受局部二值模式启发的特征;
基于灰度的特征;以及
纹元特征;并且
所述每一像素特征向量通过将特征进行归一化处理进行表征。
根据本发明表面缺陷视觉检测装置实施例的一种具体实现方式,所述先验信息至少包括以下三者之一:
背景先验;
局部先验;
灰度先验。
根据本发明表面缺陷视觉检测装置实施例的一种具体实现方式,所述后处理包括利用所述预处理结果图像的全局灰度信息对所述显著性图进行处理,依据如下模型进行计算:
globalMeanGray=ComputeMeanGray(Img) (4)
ind=find(Img>globalMeanGray) (5)
其中:
globalMeanGray为所述预处理结果图像Img全部像素的平均灰度;
Ind为所述预处理结果图像Img中灰度值大于globalMeanGray的像素索引;
对初始的显著性图SalMap做如下后处理,
SalMap(ind)=min(SalMap) (6)
其中:
min为求取最小值的函数。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的表面缺陷视觉检测方法。
第四方面,本发明实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的表面缺陷视觉检测方法。
第五方面,本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的表面缺陷视觉检测方法。
本发明实施例提供的表面缺陷视觉检测方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序产品,用于工业场景的表面缺陷,包括对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像并进行特征提取,获取每一像素特征向量;根据每一像素特征向量计算超像素块特征向量,并将超像素块特征向量组合构成特征矩阵;超像素块根据预处理结果图像进行超像素分割来获取;获取缺陷图像的先验信息并融合到低秩表示模型中,将特征矩阵分解为低秩矩阵和稀疏矩阵之和;根据超像素元素索引信息将稀疏矩阵转化为显著性图,对显著性图进行后处理,获取表面缺陷检测图,以此避免现有无损检测方式存在检测速度慢或是检测结果易受干扰的问题,加快无损检测的速度、提高无损检测的智能程度、加强无损检测的可回溯性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例表面缺陷视觉检测方法的整体流程图;
图2为本发明实施例表面缺陷视觉检测方法的原始输入图像示意图;
图3为本发明实施例表面缺陷视觉检测方法中预处理原始输入图像结果示意图;
图4为本发明实施例表面缺陷视觉检测方法中利用SLIC算法进行超像素分割效果示意图;
图5为本发明实施例表面缺陷视觉检测方法中稀疏矩阵对应的显著性图;
图6为本发明实施例表面缺陷视觉检测方法中后处理后的显著性图;
图7为本发明实施例表面缺陷视觉检测方法中经滞后阈值分割和后处理得到的检测结果示意图;
图8为本发明实施例表面缺陷视觉检测装置结构框图;以及
图9为本发明实施例电子设备中控制部的结构框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提出一种表面缺陷视觉检测的方法,可用于高速铁路、普通铁路和地铁的钢轨表面缺陷检测、纺织物工业生产等在线检测场景中。该方法首先对输入图像进行对比度增强等预处理操作,然后提取图像特征,利用SLIC算法对图像进行超像素分割,计算所有超像素块的特征向量构成特征矩阵。充分挖掘缺陷图像的固有先验后,集成先验到低秩表示模型得到对应缺陷目标的稀疏矩阵。转换稀疏矩阵为显著性图,依次借助图像灰度信息和滞后阈值策略对显著性图进行后处理和二值分割,最终检测出图像中的缺陷区域。
参见图1,图1为本发明实施例表面缺陷视觉检测方法的整体流程图,该实施例的方法包括如下步骤:
步骤S11,对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像。
在工业检测领域中,采集到的原始图像通常为灰度图,受外部光照和噪声干扰导致图像对比度较低。因此首先利用非线性对比度增强方法增强图像对比度,从而在一定程度上平滑图像背景区域,凸显缺陷目标。具体如下:
首先,对原始图像进行预处理以增强图像对比度。记原始灰度图像为Src,本发明实施例采用以下图像预处理方法:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log表示对数运算;
ComputeMeanGray(X)表示计算矩阵X的平均值;
Normalize(X)表示矩阵X中的元素归一化到[0,255];
Img表示预处理结果图像。
原始输入图像和进行上述预处理操作后的结果图像分别如图2和图3所示,图2为本发明实施例表面缺陷视觉检测方法的原始输入图像示意图;图3为本发明实施例表面缺陷视觉检测方法中预处理原始输入图像结果示意图。
步骤S12,对预处理结果图像进行特征提取,获取每一像素特征向量。
为了有效区别图像中的缺陷与背景,对预处理结果图像Img进行3种类型的特征提取:
1)受局部二值模式启发的特征
局部二值模式是一种使用广泛的纹理特征描述子,但该特征在表面缺陷检测场景中的辨别性较弱。启发于其二值标记中心点像素与其邻域像素之间差别的思想,本发明实施例提出从水平、竖直和两个对角线共四个方向提取类似于局部二值模式的特征,从而可以获得图像Img中的每个像素点的4维特征表示。
以水平方向为例,对于图像Img中任意一点Img(x,y),在其水平方向上随机选取8个点,分别代表Img(x1,y1),Img(x2,y2),…,Img(x8,y8),通过下式计算水平方向特征
其中
可以发现Fhorizontal值位于[0,255]之间,类似还可以求得竖直方向和两个对角方向的特征,分别记作Fvertical,Fdiag1,Fdiag2
2)基于灰度的特征
设置邻域半径为3分别对图像Img进行中值滤波和均值滤波,加上图像Img的灰度值,可以获得图像Img中的每个像素点基于灰度的3维特征,分别记作Fmedian,Fmean,Fimg。.
3)纹元特征
为了进一步加强特征的表征能力,本发明实施例也提取了图像Img的8维纹元特征,记作Ftexton
上述3种类型特征均需做归一化处理。至此,图像Img中任一像素pi最终可以通过15维的特征向量fi∈R15进行表征。
步骤S13,根据每一像素特征向量计算超像素块特征向量,并且将超像素块特征向量组合起来构成特征矩阵;超像素块根据预处理结果图像进行超像素分割来获取。
为了降低计算负担,同时在低秩表示模型中求解实体级别的稀疏矩阵,该步骤使用SLIC分割算法将原始图像分割为超像素块作为基本处理单元。基于上一步中每个像素的特征表示计算超像素块的特征向量,最终所有超像素块对应的特征向量组合起来构成特征矩阵,具体如下:
使用SLIC算法对S11中得到的图像Img进行超分割,分割得到的超像素集合记作{spi,i=1,...,N},其中N表示分割超像素的个数。一般而言,N可根据图像尺寸和缺陷目标尺寸进行调整,如图4所示,图4为本发明实施例表面缺陷视觉检测方法中利用SLIC算法进行超像素分割效果示意图。
基于S12中图像像素的特征表示,任一超像素spi所对应的特征向量可通过下式进行计算:
其中表示超像素spi内所含像素的灰度均值,表示超像素spi内所含像素灰度值小于的像素个数。通过公式(6)计算超像素的特征表示能够有效处理小尺度缺陷和图像欠分割的情形。计算得到所有超像素的特征表示最终构成图像Img对应的特征矩阵,即
X=[x1,...,xN] (7)
步骤S14,获取缺陷图像的先验信息,将先验信息融合到低秩表示模型中,将特征矩阵分解为低秩矩阵和稀疏矩阵之和。
为了提高低秩表示模型的表征能力,本发明实施例充分挖掘缺陷图像的本质先验用于指导低秩稀疏矩阵的分解过程。在这一步中,本发明实施例首先给出三种先验的学习过程,然后提出集成先验的低秩表示模型用于表面缺陷检测。其中,
1)背景先验
给定输入图像Img的超像素集合{spi,i=1,...,N},随机选取c个超像素,其对应的特征表示分别记作x'1,...,x'c.考虑到缺陷图像的大部分区域为无损的背景区域,随机选取的超像素有较大的概率属于背景区域,因此可通过下式估计无损背景的特征表示xB,即
在实施过程中,c可根据输入图像Img超像素的分割个数进行相应地调整,本发明实施例中设置c=0.1×N.任一超像素spi对应的背景先验通过下式计算:
其中||.||2表示欧式距离。显然,BPi值越大,则表示超像素块spi越有可能属于缺陷区域。
2)局部先验
一般而言,缺陷超像素块的表观不同于其邻域超像素块,特征表示上存在明显差异。本发明实施例对任一超像素spi计算局部先验如下:
其中表示超像素spi的8邻域超像素块索引集合,表示集合的长度。需要指出的是,局部先验在反映超像素块局部差异性的同时,可能也会凸显图像中的高亮背景区域。
3)灰度先验
考虑到缺陷超像素块内像素灰度值通常较小,本发明实施例依此计算灰度先验对背景中的高亮区域进行抑制。与背景先验学习过程类似,随机选取的c个超像素块,这些超像素块对应的平均灰度值记作对任一超像素块spi其灰度先验由下式给出:
其中Indicator为示性函数。如果当前超像素块spi为缺陷块,则IPi值近似为1;若spi属于高亮的背景超像素块,IPi值趋于0.
4)集成先验的低秩表示模型
其中||.||*表示矩阵的核范数,对低秩表示系数矩阵Z进行低秩约束;||.||2,1求解矩阵列向量的2范数之和,对矩阵E进行列稀疏约束。W为对角矩阵,其中第i个对角线元素wi通过下式给出
wi=exp(-BPi×LPi×IPi) (13)
模型(12)利用缺陷图像的固有先验来指导稀疏矩阵的求解过程,整体可通过增广拉格朗日乘子法进行求解。由于矩阵E中的一列对应一个超像素,即求解得到的矩阵E满足实体(列)稀疏性,根据超像素索引可以转化为显著性图,对应图像Img中的缺陷目标。
步骤S15,根据超像素元素索引信息将稀疏矩阵转化为显著性图,对显著性图进行后处理,获取表面缺陷检测图。
步骤S14中得到的稀疏矩阵可根据超像素元素索引信息转换为显著性图。由于分割尺度等原因,显著性图可能无法准确地刻画缺陷的形状信息。为此,我们将利用图像灰度和滞后阈值等对显著性图进行后处理,最终实现较为精准的表面缺陷检测。具体说明如下:
如图5所示,图5为本发明实施例表面缺陷视觉检测方法中稀疏矩阵对应的显著性图。在步骤S14中得到的稀疏矩阵后,根据元素索引关系E可以将稀疏矩阵E转换为相应的显著性图SalMap。可以发现,由于本发明实施例采用超像素为基本处理单位,因此在SalMap中每个超像素块内像素具有相同的显著性值。由于分割尺度等原因,导致显著性图SalMap可能无法准确地描述缺陷形状。考虑到缺陷区域通常灰度值较低,本发明实施例首先利用Img的全局灰度信息对SalMap进行处理,即
globalMeanGray=ComputeMeanGray(Img) (14)
ind=find(Img>globalMeanGray) (15)
其中globalMeanGray表示图像Img全部像素的平均灰度,ind表示图像Img中灰度值大于globalMeanGray的像素索引,对初始的显著性图SalMap做如下后处理,
SalMap(ind)=min(SalMap) (16)
其中min为求取最小值的函数,处理后的结果如图6所示,图6为本发明实施例表面缺陷视觉检测方法中后处理后的显著性图。为了进一步得到二值化结果,使用滞后阈值策略对SalMap进行阈值分割,使用较大的阈值thr1和较小的阈值thr2分割SalMap,SalMap中显著性值大于thr1的像素被认为必定是缺陷像素,小于阈值thr2的像素则被认为必定不是缺陷像素,显著性值位于两者之间且与已经存在的缺陷像素相连接的像素也被认为是缺陷像素。最后,根据不同工业场景的缺陷检测要求利用连通域分析移除二值图像中的异常区域,获得最终的检测结果如图7所示,图7为本发明实施例表面缺陷视觉检测方法中经滞后阈值分割和后处理得到的检测结果示意图。
本发明实施例公开了一种表面缺陷视觉检测方法,包括对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像并进行特征提取,获取每一像素特征向量;根据每一像素特征向量计算超像素块特征向量,并将超像素块特征向量组合构成特征矩阵;超像素块根据预处理结果图像进行超像素分割来获取;获取缺陷图像的先验信息并融合到低秩表示模型中,将特征矩阵分解为低秩矩阵和稀疏矩阵之和;根据超像素元素索引信息将稀疏矩阵转化为显著性图,对显著性图进行后处理,获取表面缺陷检测图。通过本发明实施例,充分挖掘缺陷图像的本质属性,基于图像低秩表示模型实现了工业场景表面缺陷的视觉检测,以此避免现有无损检测方式存在检测速度慢或是检测结果易受干扰的问题,加快无损检测的速度、提高无损检测的智能程度、加强无损检测的可回溯性。
第二方面,本发明实施例还提供了一种表面缺陷视觉检测装置。参照图8,图8为本发明实施例表面缺陷视觉检测装置结构框图,该实施例的装置包括:
图像预处理模块81,用于对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像。
在工业检测领域中,采集到的原始图像通常为灰度图,受外部光照和噪声干扰导致图像对比度较低。因此首先利用非线性对比度增强方法增强图像对比度,从而在一定程度上平滑图像背景区域,凸显缺陷目标。具体如下:
首先,对原始图像进行预处理以增强图像对比度。原始灰度图像为Src,本发明实施例采用以下图像预处理方法:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log表示对数运算;
ComputeMeanGray(X)表示计算矩阵X的平均值;
Normalize(X)表示矩阵X中的元素归一化到[0,255];
Img表示预处理结果图像。
图像特征提取模块82,对预处理结果图像进行特征提取,获取每一像素特征向量。
为了有效区别图像中的缺陷与背景,对预处理结果图像Img进行3种类型的特征提取:
1)受局部二值模式启发的特征
局部二值模式是一种使用广泛的纹理特征描述子,但该特征在表面缺陷检测场景中的辨别性较弱。启发于其二值标记中心点像素与其邻域像素之间差别的思想,本发明实施例提出从水平、竖直和两个对角线共四个方向提取类似于局部二值模式的特征,从而可以获得图像Img中的每个像素点的4维特征表示。
以水平方向为例,对于图像Img中任意一点Img(x,y),在其水平方向上随机选取8个点,分别代表Img(x1,y1),Img(x2,y2),…,Img(x8,y8),通过下式计算水平方向特征
其中
可以发现Fhorizontal值位于[0,255]之间,类似还可以求得竖直方向和两个对角方向的特征,分别记作Fvertical,Fdiag1,Fdiag2
2)基于灰度的特征
设置邻域半径为3分别对图像Img进行中值滤波和均值滤波,加上图像Img的灰度值,可以获得图像Img中的每个像素点基于灰度的3维特征,分别记作Fmedian,Fmean,Fimg。.
3)纹元特征
为了进一步加强特征的表征能力,本发明实施例也提取了图像Img的8维纹元特征,记作Ftexton
上述3种类型特征均需做归一化处理。至此,图像Img中任一像素pi最终可以通过15维的特征向量fi∈R15进行表征。
超像素分割及构建特征矩阵模块83,用于根据每一像素特征向量计算超像素块特征向量,并且将超像素块特征向量组合起来构成特征矩阵;超像素块根据预处理结果图像进行超像素分割来获取。
为了降低计算负担,同时在低秩表示模型中求解实体级别的稀疏矩阵,该步骤使用SLIC分割算法将原始图像分割为超像素块作为基本处理单元。基于上一步中每个像素的特征表示计算超像素块的特征向量,最终所有超像素块对应的特征向量组合起来构成特征矩阵,具体如下:
使用SLIC算法对图像预处理模块81中得到的图像Img进行超分割,分割得到的超像素集合记作{spi,i=1,...,N},其中N表示分割超像素的个数。一般而言,N可根据图像尺寸和缺陷目标尺寸进行调整。
基于图像特征提取模块82中图像像素的特征表示,任一超像素spi所对应的特征向量可通过下式进行计算:
其中表示超像素spi内所含像素的灰度均值,表示超像素spi内所含像素灰度值小于的像素个数。通过公式(6)计算超像素的特征表示能够有效处理小尺度缺陷和图像欠分割的情形。计算得到所有超像素的特征表示最终构成图像Img对应的特征矩阵,即
X=[x1,...,xN] (7)
集成先验的低秩表示模型模块84,用于获取缺陷图像的先验信息,将先验信息融合到低秩表示模型中,将特征矩阵分解为低秩矩阵和稀疏矩阵之和。
为了提高低秩表示模型的表征能力,本发明实施例充分挖掘缺陷图像的本质先验用于指导低秩稀疏矩阵的分解过程。在这一步中,本发明实施例首先给出三种先验的学习过程,然后提出集成先验的低秩表示模型用于表面缺陷检测。其中,
1)背景先验
给定输入图像Img的超像素集合{spi,i=1,...,N},随机选取c个超像素,其对应的特征表示分别记作x'1,...,x'c.考虑到缺陷图像的大部分区域为无损的背景区域,随机选取的超像素有较大的概率属于背景区域,因此可通过下式估计无损背景的特征表示xB,即
在实施过程中,c可根据输入图像Img超像素的分割个数进行相应地调整,本发明实施例中设置c=0.1×N.任一超像素spi对应的背景先验通过下式计算:
其中||.||2表示欧式距离。显然,BPi值越大,则表示超像素块spi越有可能属于缺陷区域。
2)局部先验
一般而言,缺陷超像素块的表观不同于其邻域超像素块,特征表示上存在明显差异。本发明实施例对任一超像素spi计算局部先验如下:
其中表示超像素spi的8邻域超像素块索引集合,表示集合的长度。需要指出的是,局部先验在反映超像素块局部差异性的同时,可能也会凸显图像中的高亮背景区域。
3)灰度先验
考虑到缺陷超像素块内像素灰度值通常较小,本发明实施例依此计算灰度先验对背景中的高亮区域进行抑制。与背景先验学习过程类似,随机选取的c个超像素块,这些超像素块对应的平均灰度值记作对任一超像素块spi其灰度先验由下式给出:
其中Indicator为示性函数。如果当前超像素块spi为缺陷块,则IPi值近似为1;若spi属于高亮的背景超像素块,IPi值趋于0.
4)集成先验的低秩表示模型
其中||.||*表示矩阵的核范数,对低秩表示系数矩阵Z进行低秩约束;||.||2,1求解矩阵列向量的2范数之和,对矩阵E进行列稀疏约束。W为对角矩阵,其中第i个对角线元素wi通过下式给出
wi=exp(-BPi×LPi×IPi) (13)
模型(12)利用缺陷图像的固有先验来指导稀疏矩阵的求解过程,整体可通过增广拉格朗日乘子法进行求解。由于矩阵E中的一列对应一个超像素,即求解得到的矩阵E满足实体(列)稀疏性,根据超像素索引可以转化为显著性图,对应图像Img中的缺陷目标。
缺陷图像后处理模块85,用于根据超像素元素索引信息将稀疏矩阵转化为显著性图,对显著性图进行后处理,获取表面缺陷检测图。
集成先验的低秩表示模型模块84中得到的稀疏矩阵可根据超像素元素索引信息转换为显著性图。由于分割尺度等原因,显著性图可能无法准确地刻画缺陷的形状信息。为此,我们将利用图像灰度和滞后阈值等对显著性图进行后处理,最终实现较为精准的表面缺陷检测。具体说明如下:
在集成先验的低秩表示模型模块84中得到的稀疏矩阵后,根据元素索引关系E可以将稀疏矩阵E转换为相应的显著性图SalMap。可以发现,由于本发明实施例采用超像素为基本处理单位,因此在SalMap中每个超像素块内像素具有相同的显著性值。由于分割尺度等原因,导致显著性图SalMap可能无法准确地描述缺陷形状。考虑到缺陷区域通常灰度值较低,本发明实施例首先利用Img的全局灰度信息对SalMap进行处理,即
globalMeanGray=ComputeMeanGray(Img) (14)
ind=find(Img>globalMeanGray) (15)
其中globalMeanGray表示图像Img全部像素的平均灰度,ind表示图像Img中灰度值大于globalMeanGray的像素索引,对初始的显著性图SalMap做如下后处理,
SalMap(ind)=min(SalMap) (16)
其中min为求取最小值的函数。为进一步得到二值化结果,使用滞后阈值策略对SalMap进行阈值分割,使用较大的阈值thr1和较小的阈值thr2分割SalMap,SalMap中显著性值大于thr1的像素被认为必定是缺陷像素,小于阈值thr2的像素则被认为必定不是缺陷像素,显著性值位于两者之间且与已经存在的缺陷像素相连接的像素也被认为是缺陷像素。最后,根据不同工业场景缺陷检测要求利用连通域分析移除二值图像中的异常区域,获得最终检测结果。
第三方面,本发明实施例还提供了一种电子设备。
图9示出了本发明实施例电子设备中控制部的结构框图,控制部90包括至少一个处理器91(例如CPU),至少一个输入输出接口94,存储器92,和至少一个通信总线93,用于实现这些部件之间的连接通信。至少一个处理器91用于执行存储器92中存储的计算机指令,以使至少一个处理器91能够执行前述任一分表方法的实施例。存储器92为非暂态存储器(non-transitory memory),其可以包含易失性存储器,例如高速随机存取存储器(RAM:Random Access Memory),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个输入输出接口94(可以是有线或者无线通信接口)实现与至少一个其他设备或单元之间的通信连接。
在一些实施方式中,存储器92存储了程序921,处理器91执行程序921,用于执行前述任一表面缺陷视觉检测方法实施例中的内容。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种表面缺陷视觉检测方法,其特征在于,所述方法包括如下步骤:
对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像;
对所述预处理结果图像进行特征提取,获取每一像素特征向量;
根据所述每一像素特征向量计算超像素块特征向量,并且将所述超像素块特征向量组合起来构成特征矩阵;所述超像素块根据所述预处理结果图像进行超像素分割来获取;
获取缺陷图像的先验信息,将所述先验信息融合到低秩表示模型中,将所述特征矩阵分解为低秩矩阵和稀疏矩阵之和;
根据超像素元素索引信息将所述稀疏矩阵转化为显著性图,对所述显著性图进行后处理,获取表面缺陷检测图。
2.根据权利要求1所述的表面缺陷视觉检测方法,其特征在于,
所述预处理结果图像Img依据如下模型进行计算:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log为对数运算;
ComputeMeanGray(X)为计算矩阵X的平均值;
Normalize(X)为矩阵X中的元素归一化到[0,255];
Src为原始灰度图像;
Img为所述预处理结果图像。
3.根据权利要求2所述的表面缺陷视觉检测方法,其特征在于,
所述特征提取的特征类型至少包括以下三者之一:
受局部二值模式启发的特征;
基于灰度的特征;以及
纹元特征;并且
所述每一像素特征向量通过将特征进行归一化处理进行表征。
4.根据权利要求3所述的表面缺陷视觉检测方法,其特征在于,
所述先验信息至少包括以下三者之一:
背景先验;
局部先验;
灰度先验。
5.根据权利要求4所述的表面缺陷视觉检测方法,其特征在于,
所述后处理包括利用所述预处理结果图像的全局灰度信息对所述显著性图进行处理,依据如下模型进行计算:
globalMeanGray=ComputeMeanGray(Img) (4)
ind=find(Img>globalMeanGray) (5)
其中:
globalMeanGray为所述预处理结果图像Img全部像素的平均灰度;
Ind为所述预处理结果图像Img中灰度值大于globalMeanGray的像素索引;
对初始的显著性图SalMap做如下后处理,
SalMap(ind)=min(SalMap) (6)
其中:
min为求取最小值的函数。
6.一种表面缺陷视觉检测装置,其特征在于,包括:
图像预处理模块,用于对输入的原始图像进行增强图像对比度的图像预处理,获取预处理结果图像;
图像特征提取模块,用于对所述预处理结果图像进行特征提取,获取每一像素特征向量;
超像素分割及构建特征矩阵模块,用于根据所述每一像素特征向量计算超像素块特征向量,并且将所述超像素块特征向量组合起来构成特征矩阵;所述超像素块根据所述预处理结果图像进行超像素分割来获取;
集成先验的低秩表示模型模块,用于获取缺陷图像的先验信息,将所述先验信息融合到低秩表示模型中,将所述特征矩阵分解为低秩矩阵和稀疏矩阵之和;
缺陷图像后处理模块,用于根据超像素元素索引信息将所述稀疏矩阵转化为显著性图,对所述显著性图进行后处理,获取表面缺陷检测图。
7.根据权利要求6所述的表面缺陷视觉检测装置,其特征在于,
所述预处理结果图像Img依据如下模型进行计算:
LogSrc=log(1+Src) (1)
MeanGray=ComputeMeanGray(LogSrc) (2)
Img=Normalize(LogSrc-MeanGray) (3)
其中:
log为对数运算;
ComputeMeanGray(X)为计算矩阵X的平均值;
Normalize(X)为矩阵X中的元素归一化到[0,255];
Src为原始灰度图像;
Img为预处理结果图像。
8.根据权利要求7所述的表面缺陷视觉检测装置,其特征在于,
所述特征提取的特征类型包括受局部二值模式启发的的特征和/或基于灰度的特征和/或纹元特征;
所述每一像素特征向量通过将特征进行归一化处理进行表征。
9.根据权利要求8所述的表面缺陷视觉检测装置,其特征在于,
所述先验信息包括背景先验和/或局部先验和/或灰度先验。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述权利要求1-5任一项所述的表面缺陷视觉检测方法。
CN201910039533.3A 2019-01-16 2019-01-16 表面缺陷视觉检测方法、装置和电子设备 Active CN109872303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910039533.3A CN109872303B (zh) 2019-01-16 2019-01-16 表面缺陷视觉检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910039533.3A CN109872303B (zh) 2019-01-16 2019-01-16 表面缺陷视觉检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109872303A true CN109872303A (zh) 2019-06-11
CN109872303B CN109872303B (zh) 2021-04-23

Family

ID=66917745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910039533.3A Active CN109872303B (zh) 2019-01-16 2019-01-16 表面缺陷视觉检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109872303B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN112001909A (zh) * 2020-08-26 2020-11-27 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN112700438A (zh) * 2021-01-14 2021-04-23 成都铁安科技有限责任公司 一种列车车轴镶入部位超声判伤方法及其系统
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN114418957A (zh) * 2021-12-24 2022-04-29 广州大学 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN114943736A (zh) * 2022-07-21 2022-08-26 山东嘉翔汽车散热器有限公司 一种汽车散热翅片生产质量检测方法及系统
CN114972359A (zh) * 2022-08-03 2022-08-30 江苏万喜登家居科技有限公司 基于对称性分析的网状织物缺陷快速检测方法
CN115284012A (zh) * 2021-12-27 2022-11-04 天津北特汽车零部件有限公司 一种摩擦焊空心减震器活塞杆的自动化生产线
CN117421281A (zh) * 2023-10-31 2024-01-19 巨霖科技(上海)有限公司 一种稀疏矩阵可视化方法及装置、电子设备
CN118115498A (zh) * 2024-04-28 2024-05-31 宝鸡拓普达钛业有限公司 用于钛棒的光泽度快速检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
CN107274393A (zh) * 2017-06-12 2017-10-20 郑州轻工业学院 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108447050A (zh) * 2018-03-07 2018-08-24 湘潭大学 一种基于超像素的工件表面缺陷分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
CN107274393A (zh) * 2017-06-12 2017-10-20 郑州轻工业学院 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108447050A (zh) * 2018-03-07 2018-08-24 湘潭大学 一种基于超像素的工件表面缺陷分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINRUI GAN,ET AL: "《A Hierarchical Extractor-Based Visual Rail Surface Inspection System》", 《IEEE SENSORS JOURNAL》 *
JINRUI GAN,ET AL: "《Online Rail Surface Inspection Utilizing Spatial Consistency and Continuity》", 《IEEE TRANSACTIONS ON SYSTEMS,MAN AND CYBERNETICS:SYSTEMS》 *
周诗洋: "《基于视觉显著性和稀疏表示的钢板表面缺陷图像检测方法研究》", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 *
钱晓亮,等: "《基于机器视觉的太阳能电池片表面缺陷检测研究现状及展望》", 《北京工业大学学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340796B (zh) * 2020-03-10 2023-07-21 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN112001909A (zh) * 2020-08-26 2020-11-27 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN112001909B (zh) * 2020-08-26 2023-11-24 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN112700438A (zh) * 2021-01-14 2021-04-23 成都铁安科技有限责任公司 一种列车车轴镶入部位超声判伤方法及其系统
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN114418957A (zh) * 2021-12-24 2022-04-29 广州大学 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN115284012A (zh) * 2021-12-27 2022-11-04 天津北特汽车零部件有限公司 一种摩擦焊空心减震器活塞杆的自动化生产线
CN114943736A (zh) * 2022-07-21 2022-08-26 山东嘉翔汽车散热器有限公司 一种汽车散热翅片生产质量检测方法及系统
CN114972359A (zh) * 2022-08-03 2022-08-30 江苏万喜登家居科技有限公司 基于对称性分析的网状织物缺陷快速检测方法
CN114972359B (zh) * 2022-08-03 2022-10-21 江苏万喜登家居科技有限公司 基于对称性分析的网状织物缺陷快速检测方法
CN117421281A (zh) * 2023-10-31 2024-01-19 巨霖科技(上海)有限公司 一种稀疏矩阵可视化方法及装置、电子设备
CN118115498A (zh) * 2024-04-28 2024-05-31 宝鸡拓普达钛业有限公司 用于钛棒的光泽度快速检测方法及系统

Also Published As

Publication number Publication date
CN109872303B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN109872303B (zh) 表面缺陷视觉检测方法、装置和电子设备
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN114842017A (zh) 一种hdmi线缆表面质量检测方法及系统
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN111145161A (zh) 一种路面裂缝数字图像处理和识别的方法
Yu et al. Efficient crack detection method for tunnel lining surface cracks based on infrared images
Yu et al. A new edge detection approach based on image context analysis
KR100532635B1 (ko) 외형 검사를 위한 이미지 프로세싱 방법
CN105913415A (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN109886921A (zh) 基于数字图像的裂纹尺寸度量方法、装置和电子设备
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN109241867B (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN102930576A (zh) 一种基于特征流的抽象线条画生成方法
JP7226493B2 (ja) 架線摩耗検査方法
CN113436157A (zh) 一种用于受电弓故障的车载图像识别方法
CN115359064A (zh) 工业缺陷检测方法和装置
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN116818778B (zh) 一种汽车部件快速智能检测方法及系统
Li et al. Pavement crack detection using progressive curvilinear structure anisotropy filtering and adaptive graph-cuts
CN113516608B (zh) 轮胎的缺陷检测方法和检测装置、轮胎检测设备
CN117388256A (zh) 基于Swin Transformer的管道焊缝缺陷检测方法
CN116735723A (zh) 一种钢轨伤损超声定位识别系统
CN112686222B (zh) 星载可见光探测器对船舶目标检测的方法和系统
CN114648520A (zh) 轨道缺陷的检测方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190611

Assignee: Beijing Xinxi Technology Co.,Ltd.

Assignor: Beijing Jiaotong University

Contract record no.: X2021990000776

Denomination of invention: Visual detection method, device and electronic equipment for surface defects

Granted publication date: 20210423

License type: Common License

Record date: 20211209

EE01 Entry into force of recordation of patent licensing contract