CN113870342A - 外观缺陷检测方法、智能终端以及存储装置 - Google Patents

Abstract

本发明提供一种外观缺陷检测方法、智能终端以及存储装置，该外观缺陷检测方法包括：S101：根据待检测物体在不同光源方向的多幅图像获取待检测物体的法向量图，利用法向量图获取表面高斯曲率图；S102：通过表面高斯曲率图校正和定位待检测物体的图像，将待检测物体的图像输入缺陷检测模型获取候选缺陷区域，其中，通过前馈神经网络训练形成缺陷检测模型；S103：通过后处理算法对候选缺陷区域进行规则判定，根据判定结果获取待检测物体的缺陷区域。本发明通过将图像转换为表面高斯曲率图以及深度学习、传统视觉、规则算法并用检测的方式减少了产品颜色以及外界环境的影响，提高了外观特征提取的效果，缺陷识别速度快、准确率高，稳定性好。

Description

外观缺陷检测方法、智能终端以及存储装置

技术领域

本发明涉及在图像识别领域，尤其涉及一种外观缺陷检测方法、智能终端以及存储装置。

背景技术

随着国内电子工业的高速发展，电子元器件的市场需求在不断增加。为了保证电子元器件的质量和寿命，对其外观缺陷进行检测是电子元器件生产过程中不可或缺的一个环节。

随着电子元器件趋向微型化、集成化，对检测的要求越来越高。传统的人工检测效率低、检测成本高、稳定性差、无法满足生产过程中实时在线全检的要求，所以，利用机器视觉技术进行外观缺陷检测逐步受到生产厂家的青睐。然而利用二维图像信息进行缺陷检测容易受到样品颜色、光照条件、现场环境等的影响，导致对外观特征的提取不足且外观特征的准确性不高，进而降低了检测准确率。

发明内容

为了克服现有技术的不足，本发明提出一种外观缺陷检测方法、智能终端以及存储装置，利用待检测物体的多幅图像获取待检测物体的表面高斯曲率图，在该表面高斯曲率中定位待检测物体，通过缺陷检测模型识别定位后的图像中的候选缺陷区域，并利用后处理算法进一步从候选缺陷区域中筛选缺陷区域，解决了人工检测效率低、成本高、稳定性差的问题，而且，通过将图像转换为表面高斯曲率图以及深度学习、传统视觉、规则算法并用检测的方式减少了产品颜色以及外界环境的影响，缺陷识别速度快、准确率高，稳定性好。

为解决上述问题，本发明采用的一个技术方案为：一种外观缺陷检测方法，所述外观缺陷检测方法应用于网络控制器，包括：S101：获取待检测物体在不同光源方向的多幅图像，根据所述图像获取所述待检测物体的法向量图，并利用所述法向量图获取所述待检测物体的表面高斯曲率图；S102：通过所述表面高斯曲率图校正和定位待检测物体的图像，将所述待检测物体的图像输入缺陷检测模型获取候选缺陷区域，其中，通过前馈神经网络训练形成缺陷检测模型；S103：通过后处理算法对所述候选缺陷区域进行规则判定，根据判定结果获取所述待检测物体的缺陷区域。

进一步地，所述根据所述图像获取所述待检测物体的法向量图的步骤具体包括：获取所述图像的光强，根据所述光强计算所述待检测物体表面的方向梯度，根据所述方向梯度形成所述法向量图。

进一步地，所述利用所述法向量图获取所述待检测物体的表面高斯曲率图的步骤具体包括：获取所述待检测物体中平面的反照率，根据所述反照率、法向量图获取所述表面高斯曲率图。

进一步地，所述通过所述表面高斯曲率图校正和定位待检测物体的图像的步骤具体包括：对所述表面高斯曲率图进行预处理，对预处理后的图像进行边缘查找，根据查找结果定位所述待检测物体。

进一步地，所述根据查找结果定位所述待检测物体的步骤具体包括：对所述查找结果进行像素邻域计算获取图像中的像素连通区域，对所述像素连通区域进行区域兼并计算获取兼并对象，根据所述兼并对象的整体布局比较结果定位所述待检测物体。

进一步地，所述通过前馈神经网络训练形成缺陷检测模型的步骤具体包括：根据表面高斯曲率图像生成数据集，将所述数据集输入前馈神经网络训练，通过前馈神经网络的实际输出量与期望输出量之间的偏差调整连接权形成缺陷检测模型。

进一步地，所述将所述待检测物体的图像输入缺陷检测模型获取候选缺陷区域的步骤具体包括：将所述表面高斯曲率图像输入所述缺陷检测模型获取图像中像素值位于预设范围的位图以及所述位图存在异常的概率，根据所述概率从所述位图中筛选候选缺陷区域。

进一步地，所述通过后处理算法对所述候选缺陷区域进行规则判定的步骤具体包括：根据所述候选缺陷区域的面积、长宽比、点的数目进行规则判定。

基于相同的发明构思，本发明还提出一种智能终端，智能终端包括：处理器、存储器，所述存储器存储有计算机程序，所述处理器通过所述计算机程序执行如上所述的外观缺陷检测方法。

基于相同的发明构思，本发明又提出一种存储装置，存储装置存储有程序数据，所述程序数据被用于执行如上所述的外观缺陷检测方法。

相比现有技术，本发明的有益效果在于：利用待检测物体的多幅图像获取待检测物体的表面高斯曲率图，在该表面高斯曲率中定位待检测物体，通过缺陷检测模型识别定位后的图像中的候选缺陷区域，并利用后处理算法进一步从候选缺陷区域中筛选缺陷区域，解决了人工检测效率低、成本高、稳定性差的问题，而且，通过将图像转换为表面高斯曲率图以及深度学习、传统视觉、规则算法并用检测的方式减少了产品颜色以及外界环境的影响，提高了外观特征提取的效果，缺陷识别速度快、准确率高，稳定性好。

附图说明

图1为本发明外观缺陷检测方法一实施例的流程图；

图2为本发明外观缺陷检测方法另一实施例的流程图；

图3为本智能终端一实施例的结构图；

图4为本发明存储装置一实施例的结构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

请参阅图1-2，图1为本发明外观缺陷检测方法一实施例的流程图；图2为本发明外观缺陷检测方法另一实施例的流程图。结合图1-2对本发明外观缺陷检测方法进行详细说明。

在本实施例中，外观缺陷检测方法应用于网络控制器，包括：

S101：获取待检测物体在不同光源方向的多幅图像，根据图像获取待检测物体的法向量图，并利用法向量图获取待检测物体的表面高斯曲率图。

在本实施例中，执行该外观缺陷检测方法的设备可以为电脑、产品加工设备、控制平台、流水线加工装置以及其他需要根据产品的图像对其进行外观检测的设备。

在本实施例中，待检测物体为电池，在其他实施例中，待检测物体也可以为手机、手表、主机、键盘以及其他需要进行外观检测的产品。

在本实施例中，使用光度立体法生成待检测物体的法向量图，其中，根据图像获取待检测物体的法向量图的步骤具体包括：获取图像的光强，根据光强计算待检测物体表面的方向梯度，根据方向梯度形成法向量图。

在一个具体的实施例中，获取待检测物体在不同光源方向上的三幅图像。获取图像的发射分布函数

根据图像的辐照度方程E(x,y)＝R(p,q)可得到图像的表面方向与图像亮度之间的对应关系：

式中E(x，y)为图像的规格化亮度(平均灰度值与图像中最大亮度值之比)，Q是反射常数，(p,q)为待检测物体表面的方向梯度，

x,y,z分别为待检测物体的世界坐标，通过相机标定，得到物体像素坐标和世界坐标的矩阵，将像素坐标与该矩阵相乘就可以得到世界坐标。(ps,qs)为光源的方向，ps＝-cosV0tanH0，qs＝-sinV0tanH0，(V0，H0)为光源的倾角与仰角，安装光源时可实际测得。根据上述公式，对于在3个不同的光照条件下得到的3幅光照图像可以得到以下方程组：

式中E1(x,y),E2(x,y),E3(x,y)分别对应3幅图像像素点的规格化亮度(灰度值与图像上最大灰度值之比)，(p,q)为物体表面的方向梯度，(p1,q1),(p2,q2),(p3,q3)分别为3幅图像的光源方向。通过对方程组求解得到图像上各象素点的表面方向梯度，在实际情况中由于图像已离散化。因此

和

可用它们的一次差分近似地表示：

设图像的起始点(x₀,y₀)，高度为z0(起始点通常为图像中心点)，则可以求出起始点附近的四个点：A、(x₀+1,y₀),B、(x₀-1,y₀),C、(x₀,y₀+1),Z、(x₀,y₀-1)。物体表面法向量N与物体表面上的向量V1及V2垂直，那么有：

V1＝(x+1,y,z_x+1,y-(x,y,z_x,y))

＝(1,0,z_x+1,y-z_x,y)

N*V1＝0

(n_x,n_y,n_z)·(1,0,z_x+1，y-z_x,y)＝0

n_x+n_z(z_x+1，y-z_x,y)＝0

以及

V2＝(x,y+1,z_x,y+1-(x,y,z_x,y))

＝(0,1,z_x,y+1-z_x,y)

N*V2＝0

(n_x,n_y,n_z)·(0,1,z_x,y+1-z_x,y)＝0

n_y+n_z(z_x,y+1-z_x,y)＝0

仔细观察上面两个式子，会构成一个线性表达式：M·z＝v，其中，n_x,n_y,n_z分别表示物体表面法向量N在xyz方向上的分向量，v由各个像素点的法向量计算而得，M则是一个尺寸为(2*m,m)的稀疏矩阵，其中，m为像素个数，z则是各个像素点的深度坐标构成。这个式子可以线性二乘法求解，这样就求得了法向量图。

在本实施例中，利用法向量图获取待检测物体的表面高斯曲率图的步骤具体包括：获取待检测物体中平面的反照率，根据反照率、法向量图获取表面高斯曲率图。

在一个具体的实施例中，通过光度立体法获取待检测物体的反照率以及法向量图，并由此计算待检测物体的表面高斯曲率图。通过表面高斯曲率图提高了缺陷的识别度，从而便于检测缺陷。

S102：通过表面高斯曲率图校正和定位待检测物体的图像，将待检测物体的图像输入缺陷检测模型获取候选缺陷区域，其中，通过前馈神经网络训练形成缺陷检测模型。

通过表面高斯曲率图校正和定位待检测物体的图像的步骤具体包括：对表面高斯曲率图进行预处理，对预处理后的图像进行边缘查找，根据查找结果定位待检测物体。

在本实施例中，预处理包括裁剪、灰度化以及滤波处理，在其他实施例中，也可以包括去噪、重采样以及其他能够提高图像识别效果的处理方式。

根据查找结果定位待检测物体的步骤具体包括：对查找结果进行像素邻域计算获取图像中的像素连通区域，对像素连通区域进行区域兼并计算获取兼并对象，根据兼并对象的整体布局比较结果定位待检测物体。

其中，根据待检测物体在图像中的特性(如灰度值特性、高斯曲率值、字符分布方式等)对像素连通区域进行区域兼并计算。

在一个具体的实施例中，在校正和定位待检测物体的过程中，通过warpAffine(仿射变换)、rmap(重映射)两个函数在图像中校正和定位待检测物体。Rmap函数所做的就是将原图的某一个像素以某种规则映射到新的图中。利用该函数，可以完成图像的校正和定位等功能。具体实现流程包括：首先对图像进行裁剪、灰度与滤波处理，在此基础上使用Canny算法进行多轮边缘查找，再将其查找结果(阈化图像)进行像素邻域计算以得到分布在图像内多个像素连通区域，然后对这些区域根据待检测区域的特性进行多次区域兼并运算，之后将多轮处理后得到的多个兼并对象作信号整体布局上的比较分析，从而淘汰不良结果。最后根据最优兼并结果确定需要待检测区域在图像中的位置，其中，信号整体布局上的比较分析包括：如果这些兼并对象在信号整体布局上表现为高低频信号分布均匀，则为ok，如果信号整体布局上表现为高低频信号分布不均，某些区域高频区域集中或者高低频信号分布无规律，可以判断该信号整体布局对应的兼并对象为不良结果，并淘汰不良结果。

在本实施例中，通过前馈神经网络训练形成缺陷检测模型的步骤具体包括：根据表面高斯曲率图像生成数据集，将数据集输入前馈神经网络训练，通过前馈神经网络的实际输出量与期望输出量之间的偏差调整连接权形成缺陷检测模型。

本发明通过一个语义分割全卷积网络将输入图像每个像素作为样本训练，在最后进行反卷积得到像素级的预测结果，根据该预测结果优化缺陷检测模型。模型识别缺陷的功能是由神经网络的神经元的输入输出激活特性、网络的拓扑结构、连接权的大小和神经元的阈值决定的，神经网络的拓扑结构一旦固定下来，训练就归结为连接权系数的调整，缺陷检测模型的训练是一个监督学习过程，是利用单元将希望输出与实际输出之间的偏差作为连接权调整的参考，最终减小这种偏差。用ω_kj表示神经网络中输入层第j个神经元到隐含层第k个神经元之间的连接权重，用ω_lk表示隐含层第k个神经元到输出层第l个神经元之间的连接权重。训练模式集合取：S＝{(I，T)}，式中：I和T分别为缺陷检测模型的输入及对应的期望输出量。用O来表示输入I时神经网络的实际输出向量，神经网络的训练就是用训练集合S来调整ω_lk和ω_kj，使O与T一致，因此，利用递归反馈技术进行计算，

则有：Δω_kj(n+1)＝μδ_lδγ_kj+αΔω_kj(n) (1)

Δω_lk(n+1)＝μδ_kδγ_kj+αΔω_lk(n) (2)

式中：μ为学习步长；α为记忆因子；n为节点数；δ为偏置数，该偏置数起到了对神经元激活状态控制的作用，加入偏置数后增加了函数的灵活性，提高了神经元的拟合能力，γ为影响因子。通过该公式调整ω_lk和ω_kj。

将待检测物体的图像输入缺陷检测模型获取候选缺陷区域的步骤具体包括：将表面高斯曲率图像输入缺陷检测模型获取图像中像素值位于预设范围的位图以及位图存在异常的概率，根据概率从位图中筛选候选缺陷区域。

在本实施例中，缺陷检测模型对图像进行像素级的推理。在推理后得到两个输出，一个为图像分割后得到的掩码(mask)就是位图，来选择哪个像素允许拷贝，哪个像素不允许拷贝。如果mask像素的值位于我们预设的阈值范围内，我就拷贝它，否则不拷贝。得到的mask中，感兴趣的区域是存在缺陷的区域，表明感兴趣区域的像素值在我们设定的阈值范围内，而非感兴趣区域都是背景，表明那些区域的像素值超过我们设定的阈值范围。一旦原图与mask图进行与运算后，得到的结果图只留下原始图中感兴趣区域的图像了。另一个为通过分类网络得到的感兴趣区域存在异常的概率，将该概率和参数中设定的缺陷概率进行比较，若大于设定的缺陷概率则确定存在异常概率的区域为缺陷区域。

S103：通过后处理算法对候选缺陷区域进行规则判定，根据判定结果获取待检测物体的缺陷区域。

在本实施例中，通过后处理算法对候选缺陷区域进行规则判定的步骤具体包括：根据候选缺陷区域的面积、长宽比、点的数目进行规则判定。其中，将候选区域面积不小于第一设定值的区域确定为缺陷区域，通过长宽比对面积小于第一设定值的区域进行点线划分。并根据线的长宽度判断待检测物体是否存在缺陷。若划分为点，则根据点的面积以及感兴趣区域内点的数量判断待检测物体是否存在缺陷。

在一个具体的实施例中，通过后处理算法遍历每一个产品，对产品进行规则判定，其中，规则判定的逻辑是：检测待检测物体中候选缺陷区域的面积，如果小于设定的值，则不是缺陷，否对候选缺陷区域则进行点线的划分，此处根据缺陷的长宽比来确定是点还是线，如果长宽比大于等于3则判定是线，否则为点；如果是点，会判断点的面积，根据点的面积判断是否为缺陷区域，判断完面积再根据待检测物体的ROI(感兴趣区域)内的点的数目进行判断，数目小于设定的数值则确定待检测物体不存在缺陷，若否，则确定存在缺陷；如果为线的话，根据线的长度宽度规则判读该线是否为缺陷区域。

本发明基于Pytorch框架搭建前馈神经网络对待检测物体的图像进行缺陷识别，首先对图片进行预处理，编写预处理策略，然后对网络进行设计，基础网络的选择和Loss的设计，再用框架提供的策略优化算法，最后开始训练，通过训练出来的模型识别待检测物体存在缺陷的区域。在训练和识别速度方面比现有的技术要快，平均识别一幅图只需要200ms左右，比现有的技术要快上18％。准确率高，稳定性好，在恶劣的现场环境中，正确率能达到99.8％，漏检0.3％，有效提升了缺陷识别的速度和准确性。

有益效果：本发明外观缺陷检测方法利用待检测物体的多幅图像获取待检测物体的表面高斯曲率图，在该表面高斯曲率中定位待检测物体，通过缺陷检测模型识别定位后的图像中的候选缺陷区域，并利用后处理算法进一步从候选缺陷区域中筛选缺陷区域，解决了人工检测效率低、成本高、稳定性差的问题，而且，通过将图像转换为表面高斯曲率图以及深度学习、传统视觉、规则算法并用检测的方式减少了产品颜色以及外界环境的影响，提高了外观特征提取的效果，缺陷识别速度快、准确率高，稳定性好。

基于相同的发明构思，本发明还提出一种智能终端，请参阅图3，图3为本发明智能终端一实施例的结构图。结合图3对本发明的智能终端进行说明。

在本实施例中，智能终端包括：处理器、存储器，所述存储器存储有计算机程序，所述处理器通过所述计算机程序执行如上述实施例所述的外观缺陷检测方法。

智能终端可以为电脑、产品加工设备、控制平台、流水线加工装置以及其他需要根据产品的图像对其进行外观检测的设备。

基于相同的发明构思，本发明又提出一种存储装置，请参阅图4，图4为本发明存储装置一实施例的结构图。结合图4对本发明的存储装置进行说明。

在本实施例中，存储装置存储有程序数据，该程序数据被用于执行如上述实施例所述的外观缺陷检测方法。

在本发明所提供的实施例中，应该理解到，所揭露的智能终端/存储装置和方法，可以通过其他的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个存储装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些码，装置或单元的间接耦合或通讯连接，可以是电性，机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种外观缺陷检测方法，其特征在于，所述外观缺陷检测方法包括：

S101：获取待检测物体在不同光源方向的多幅图像，根据所述图像获取所述待检测物体的法向量图，并利用所述法向量图获取所述待检测物体的表面高斯曲率图；

S102：通过所述表面高斯曲率图校正和定位待检测物体的图像，将所述待检测物体的图像输入缺陷检测模型获取候选缺陷区域，其中，通过前馈神经网络训练形成缺陷检测模型；

S103：通过后处理算法对所述候选缺陷区域进行规则判定，根据判定结果获取所述待检测物体的缺陷区域。

2.如权利要求1所述的外观缺陷检测方法，其特征在于，所述根据所述图像获取所述待检测物体的法向量图的步骤具体包括：

获取所述图像的光强，根据所述光强计算所述待检测物体表面的方向梯度，根据所述方向梯度形成所述法向量图。

3.如权利要求1所述的外观缺陷检测方法，其特征在于，所述利用所述法向量图获取所述待检测物体的表面高斯曲率图的步骤具体包括：

获取所述待检测物体中平面的反照率，根据所述反照率、法向量图获取所述表面高斯曲率图。

4.如权利要求1所述的外观缺陷检测方法，其特征在于，所述通过所述表面高斯曲率图校正和定位待检测物体的图像的步骤具体包括：

对所述表面高斯曲率图进行预处理，对预处理后的图像进行边缘查找，根据查找结果定位所述待检测物体。

5.如权利要求4所述的外观缺陷检测方法，其特征在于，所述根据查找结果定位所述待检测物体的步骤具体包括：

对所述查找结果进行像素邻域计算获取图像中的像素连通区域，对所述像素连通区域进行区域兼并计算获取兼并对象，根据所述兼并对象的整体布局比较结果定位所述待检测物体。

6.如权利要求1所述的外观缺陷检测方法，其特征在于，所述通过前馈神经网络训练形成缺陷检测模型的步骤具体包括：

根据表面高斯曲率图像生成数据集，将所述数据集输入前馈神经网络训练，通过前馈神经网络的实际输出量与期望输出量之间的偏差调整连接权形成缺陷检测模型。

7.如权利要求1所述的外观缺陷检测方法，其特征在于，所述将所述待检测物体的图像输入缺陷检测模型获取候选缺陷区域的步骤具体包括：

将所述表面高斯曲率图像输入所述缺陷检测模型获取图像中像素值位于预设范围的位图以及所述位图存在异常的概率，根据所述概率从所述位图中筛选候选缺陷区域。

8.如权利要求1所述的外观缺陷检测方法，其特征在于，所述通过后处理算法对所述候选缺陷区域进行规则判定的步骤具体包括：

根据所述候选缺陷区域的面积、长宽比、点的数目进行规则判定。

9.一种智能终端，其特征在于，智能终端包括：处理器、存储器，所述存储器存储有计算机程序，所述处理器通过所述计算机程序执行如权利要求1-8任一项所述的外观缺陷检测方法。

10.一种存储装置，其特征在于，所述存储装置存储有程序数据，所述程序数据被用于执行如权利要求1-8任一项所述的外观缺陷检测方法。

Images