CN113450307A - 一种产品边缘缺陷检测方法 - Google Patents

Abstract

一种产品边缘缺陷检测方法，首先输入模板图像和样本图像，然后通过对模板图像和样本图像采集质心、目标轮廓以及形心以及偏角等信息构建一个特征图，之后以最小残差和为损失函数构建出样本图像到模板图像的映射模型的迭代优化方法，从而进行特征图的匹配，再根据匹配结果得到全局映射矩阵，完成差影过程，接着使用自适应阈值得到粗分割区域。然后针对工业图像样本稀缺问题，通过建模缺陷从而得到大量的人工缺陷样本预训练数据集，使用此样本集对多尺度集成残差神经网络进行预训练，接着使用真实缺陷样本集进行迁移训练，得到的结果用于对粗分割区域进行缺陷类型识别。

Description

一种产品边缘缺陷检测方法

技术领域

本发明属于玻璃检测技术领域，涉及一种玻璃表面缺陷检测，具体涉及一种手机玻璃盖板缺陷检测方法。

背景技术

几年来，随着我国5G的普及和有线网络速度的提升以及资费的下降，越来越多的网络用户从PC端转向移动端。在2020年，移动端网民占比达到了99.2％，因此手机的保有量和增长速度逐年递增。由于玻璃盖板相比金属具有更好的机械和光学性能，且成本低于陶瓷，收到许多手机企业的青睐。然而在实际的生产、制造以及运输的过程当中，不可避免的会出现对玻璃盖板各种类型的损伤。因此在生产过程中及时且严格的质量检验既可以避免人力物力的浪费，也可以提高生产效率，降低成本。

近年来我国已经成为主要的玻璃盖板生产国。但是由于其复杂的工业特性，尤其是进入2.5D和3D玻璃时代，由于采用了更加先进的制作工艺以及移动终端客户对质量要求的提高，在生产过程中不可避免的会出现各种各样不同的瑕疵，常见的缺陷种类包括划痕、异色、丝印不良、凹凸点、溢墨、牙缺等。

由于各种缺陷需要检测员在无环境光照的环境下使用 1000lux-1500lux的照明设备进行照明，并且需要质检员不断翻转盖板，并在一些特定的光线角度或观察视线下才能捕捉到瑕疵。因此这就对于取代人工目检的玻璃盖板自动化检测设备的设计和制造提出了非常高的要求。

相较于人工检测存在的稳定性差、培训成本高、精确度低等问题，基于机器视觉的自动化检测方案具有更高的检测精度、工作可持续时间长、平均成本低等优点。已经广泛应用于金属、药品、纺织品、木材以及各类饮料包装等生产线上。

在机器学习领域，没有一个比较通用的方法进行缺陷的检测。其中有一种算法直接通过神经网络预测缺陷位置和种类，其缺点是严重依赖人工标注的数据集，但是由于工业图像的特殊性和稀缺性，其很难获得大规模、同种类的缺陷样本，这也直接影响了其检测精度和效果。另一种则是采用传统的图像处理方法，其采用直接提取缺陷特征向量然后进行分类的方法进行处理，其缺点是严重的依赖人工算法的调教并且稳定性差。另一种算法通过图像增强的方式提高缺陷在画面中的对比度，从而使得识别算法可以进行对应区域的缺陷识别。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种手机玻璃盖板缺陷检测方法，是一种融合传统图像处理算法和深度学习的两段式手机玻璃盖板缺陷检测方法。

为了实现上述目的，本发明采用的技术方案是：

一种产品边缘缺陷检测方法，其特征在于，包括以下步骤：

步骤1、图像采集：

采集一副完整清晰的、没有缺陷的基准图像I_T和待测图像I_s，其图片内容只存在一个玻璃盖板，不存在同时拍摄多个盖板的情况，并且玻璃盖板的轮廓层次清晰，不存在虚焦、成像模糊、严重的失真情况；

步骤2、建立特征图：

首先，利用sobel算子处理I(x，y)，通过连通域确定其轮廓结构信息，其返回值表示为：c_i＝{c₁，c₂，...，c_n}，表示每一个轮廓的像素集合，并且有表示连通矩阵E_ij和顶点信息矩阵V_ij，表示其结构信息；

其次，计算每一个子轮廓结构的几何中心

表示每一个轮廓的坐标和的平均值，最外层轮廓确定其外接矩阵坐标，并作为最外层轮廓的子结构加入结构信息数据结构；

然后，通过连通矩阵遍历轮廓结构，确定其几何中心与相连轮廓中心的欧氏距离dis和偏转角度angle，最终结果存入连通矩阵E_ij＝ (dis，angle)，此时E_ij表示邻接矩阵；最后标记最外层轮廓的几何中心作为结构信息数据结构的根节点N_root；

步骤3、以最小残差和进行特征图匹配；

图像表示为I_T(i，j)，样本图像表示为I_S(i，j)，则差影法可以抽象为： I_res(i，j)＝f(IS(i，j)，M)-IT(i，j)，I_res(i，j)表示为残差图像，表示为差影的结果，M为映射矩阵，作为工业图像处理，相机和承载面的距离是固定的，且通过第三条假设可知，物体不存在仿射变换或者非线性变换，由此可以推断f函数(样本图像映射到模板图像)应是一种刚性变换，公式如下：

x′、y′表示样本图像在刚性变换之后的结果，x、y则表示样本图像变换前的坐标，因此求得映射矩阵的三个未知数(θ，t_x，t_y)，可以得到目标结果I_res(i，j)；

差影之后的图像应是极小部分的瑕疵区域有明显的灰度值，而大部分区域的灰度值应都接近于0；最理想的情况是整幅残差图像皆为黑色，说明映射建模完美且待测样本没有瑕疵；因此相对于映射的差异，瑕疵所造成的灰度值可以忽略不计；通过残差图像的绝对值的灰度值之和来描述匹配结果的好坏，描述如下：

图像匹配通过特征点的提取转换为特征点的直接匹配问题，因此 I_s(i，j)与I_T(i，j)的映射矩阵M可以通过I_S(i，j)的特征点集E_s和I_T(i，j) 的特征点集E_T来决定，通过残差图像的绝对值的灰度值之和来描述匹配结果，遍历特征图得到最优化映射矩阵M，然后将待测图像映射到基准图像坐标系；

步骤4、计算差影结果；

首先确定匹配对(N_s，N_T)，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y，从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离，即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)，对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle，通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，判断公式为(1-1)，遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果，通过公式I_res(i，j)＝abs(f(I_S(i，j)，M)-I_T(i，j))即可计算出差影图，根据差影图进行自适应灰度直方图均衡，得出粗分割区域；

步骤5、线性形态缺陷建模：

首先，使用随机漫步算法生成缺陷的骨架；

其次，骨骼被转换成一个连接区域，并通过形态学扩张操作扩展该区域；

然后，根据高斯分布确定生成的线性区域的灰度值；

最后，通过图像融合算法生成合成图像，通过裁剪操作得到局部缺陷图像；

步骤6、由于内部结构的差异，块状缺陷的生成原理也不同，一种是块状内部颜色中空的结构，称之为斑点结构，另一种是在块状边缘以内的区域存在一些其他的灰度值变化或者几何结构，称之为簇状结构，因此需要针对这两种不同的特性分别进行仿真建模，如下：

首先，随机生成一个不规则的闭合曲线；

其次，根据不规则曲线内部生成的缺陷区，分别用不同的原理处理从而得到斑点结构和簇状结构；

然后，接着在缺陷区域填充阶段，根据高斯分布和现有的纹理确定生成的块状区域的灰度值；

最后，同线性缺陷一样进行简单的图形融合生成最后的合成图像；

步骤7建立人工缺陷样本数据集和真实样本数据集：

通过手机真实标注样本和线性和块状形态的缺陷建模，构建两个数据集，并且在神经网络训练结果输出时进行人工标注，逐步扩大真实样本数据集规模；

步骤8由于数据集分为两部分，人工合成数据集以及真实缺陷数据集，为了实现在小样本集的情况下的精确检测，利用人工合成的缺陷数据集，将其应用到深度学习分类和目标检测任务中，首先，使用人工合成数据集对深度学习算法进行训练，得到初步的训练模型，然后，由于真实缺陷数据集的数量不足，因此需要对真实缺陷进行剪切、旋转、缩放、坐标变换、加噪声等操作扩充真实缺陷数据集，然后利用扩充之后的真实数据集对初步训练模型进行进一步的训练，最后就会得到一个性能良好的玻璃盖板缺陷识别网络。

所述的图像匹配通过特征点的提取转换为特征点，I_S(i，j)与I_T(i，j) 的映射矩阵M可以通过I_S(i，j)的特征点集E_s和I_T(i，j)的特征点集E_T来决定，如下；

首先，确定匹配对(N_s，N_T)，即样本的根节点和模板图像的根节点，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y；

其次，从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离，即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)，对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值 V_s(j)和V_T(l)和其对应的偏转角度angle；

然后、通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果。

所述的线性形态缺陷得骨架形成原理通过下列公式描述：

上式中n代表线性骨架的像素点总长度，(x_i，y_i)代表在第i个骨架点的坐标位置，θ_i表示点i的骨架梯度方向角，Δθ表示在θ_i的基础上角度偏移随机变化，其变化规律符合有限角度变化内的均匀分布，Δφ表示是否存在角度突变，sgn为signal函数，s表示骨架长度变化的步长，通过改变公式1-2中各变量的值，就可以调整合成不同长度、方向和曲率的瑕疵形态。

所述的线性形态缺陷，由于线性缺陷一般都具有一定的宽度，并且不同的缺陷在有些局部区域的宽度并不相同，为了得到一个具有一定像素宽度且符合实际形态特征的缺陷图像，缺陷区域的填充操作如下：

首先，需要将这些点集按照时间序列进行连接，并且对应的连接线形成一个单位像素的宽度用于后续处理；

接着，在连接好的骨架的基础上运用形态学膨胀操作，根据实际缺陷的宽度确定膨胀程度，由于有些区域的宽度不同，因此可以根据需要选取一些点进行额外的膨胀或者腐蚀操作改变其宽度值，采取在某些拐点进行腐蚀操作减小其宽度，某些连线的中心区域进行膨胀操作，对于同一幅线性骨架点集经过不同的区域填充算法处理，可以处理出不同的瑕疵形态；

此外，线性划痕缺陷的形状可以是不连续的，为了实现这种效果，在进行区域生成之前，需要将线性骨骼切分成多段，通过随机去除一些点群来实现缺陷的不连续，根据不同的拍摄环境、打光方式和采取独特的点群去除算法或者瑕疵宽度改变方法来适应不同硬件环境所面临的实际情况。

所述的线性划痕缺陷得中心区域的颜色一般都比边界区域更深，相比于边界区域，中心区域相对背景颜色差值的绝对值更大，在线性缺陷模拟的过程中，中心区域到边界区域的灰度值应符合高斯分布，即以单位像素的骨架为中心区域垂直向外符合高斯分布，越靠近骨架的像素值越大，越远离骨架的像素值越小，分布函数如下：

sgn是sign函数，它的值为1或-1，其物理意义为若缺陷整体成亮色，则sgn应该取值为1，反之若相比背景色缺陷整体灰度值偏暗，则其值为-1.

最后是使用图像融合技术生成人工缺陷图像，具体数学描述如下：

I_fusion(i，j)＝(1-α)*I_background(i，j)+α*I_defect(i，j) (1-3)

上式中I_fusion(i，j)、I_background(i，j)、I_defect(i，j)分别为融合图像、无瑕疵图像和缺陷区域图像在坐标(i，j)处的灰度值，α表示融合系数，在0～1之间进行取值，α越接近0，缺陷灰度约不明显，越接近无瑕疵的背景颜色，相反，越接近1，背景纹理越不明显，越凸显瑕疵的形状变化，为了使缺陷与背景在瑕疵边界区域的转换更加自然，可以在图像融合之后进行均值滤波(mean filtering)操作。

对待测物体的轮廓提取特征中心作为特征点构造特征图，并记录每个特征点相对几何中心的距离和偏转角度,步骤3)中的基于最小残差和进行特征图匹配，包括特征图的构建方法和匹配方法。

线性形态缺陷的建模和块状形态缺陷建模，包括缺陷建模的方法和流程。

所述的多尺度残差神经网络的网络结构。

所述的模板匹配进一步包括如下步骤：

a.计算基准图像和待测图像的结构树，得到特征图；

b.通过最小残差和进行特征图的匹配；

c.经过匹配的特征图计算得到映射矩阵；

d.差影之后自适应灰度值滤波得到粗分割区域。

所述的神经网络训练进一步包括如下步骤：

a.通过线性形态缺陷的建模和块状形态缺陷建模构建人工缺陷数据库；

b.对真实缺陷进行人工标注，构建真实缺陷数据库；

c.使用人工缺陷数据库对多尺度残差神经网络进行预训练；

d.使用真实缺陷数据库对神经网络进行迁移学习。

本发明的有益效果是：

检测的更加清楚，清晰，准确率高。

附图说明

图1为本发明实施例所述粗分割区域定位流程图

图2为本发明实施例所述区域识别流程图

图3为本发明实施例所述块状缺陷包络生成示意图

图4为本发明实施例所述特征图匹配效果图，其中红线表示几何特征图，绿色表示对应的匹配点。

图5为本发明实施例所述块状缺陷人工生成流程图。

图6为本发明实施例所述神经网络训练流程图。

图7为本发明实施例所述神经网络单元结构示意图。

图8为本发明实施例所述多尺度残差神经网络总体结构示意图。

具体实施方式

下面结合实施例详述本发明。为使本发明的目的、技术方案及优点更加清楚、明确，以下对本发明进一步详细说明，但本发明并不局限于这些实施例。

如图1、图2所示，分别为本实施例所述产品缺陷检测方法的流程图(上)、(下)；图1、图2结合在一起，构成完整的产品缺陷检测方法流程图。其中，具体流程包括以下步骤：

步骤1图像采集，需要采集一副完整清晰的、没有缺陷的基准图像I_T和待测图像I_s。其图片内容只存在一个玻璃盖板，不存在同时拍摄多个盖板的情况。并且玻璃盖板的轮廓层次清晰，不存在虚焦、成像模糊、严重的失真等情况。

步骤2建立特征图。首先利用sobel算子处理I(x，y)，通过连通域确定其轮廓结构信息。其返回值表示为：c_i＝{c₁，c₂，...，c_n}，表示每一个轮廓的像素集合，并且有表示连通矩阵E_ij和顶点信息矩阵V_ij，表示其结构信息。其次计算每一个子轮廓结构的几何中心

表示每一个轮廓的坐标和的平均值。最外层轮廓确定其外接矩阵坐标，并作为最外层轮廓的子结构加入结构信息数据结构。然后通过连通矩阵遍历轮廓结构，确定其几何中心与相连轮廓中心的欧氏距离dis和偏转角度angle，最终结果存入连通矩阵E_ij＝ (dis，angle)，此时E_ij表示邻接矩阵。最后标记最外层轮廓的几何中心作为结构信息数据结构的根节点N_root

步骤3以最小残差和进行特征图匹配模板。图像表示为I_T(i，j)，样本图像表示为I_S(i，j)，则差影法可以抽象为：I_res(i，j)＝ f(I_S(i，j)，M)-I_T(i，j)。I_res(i，j)表示为残差图像，表示为差影的结果。 M为映射矩阵，作为工业图像处理，相机和承载面的距离是固定的。且通过第三条假设可知，物体不存在仿射变换或者非线性变换，由此可以推断f函数(样本图像映射到模板图像)应是一种刚性变换。公式如下：

x′、y′表示样本图像在刚性变换之后的结果，x、y则表示样本图像变换前的坐标。因此我们只要求得映射矩阵的三个未知数(θ，t_x，t_y)，就可以得到目标结果I_res(i，j)。

差影之后的图像应是极小部分的瑕疵区域有明显的灰度值，而大部分区域的灰度值应都接近于0。最理想的情况是整幅残差图像皆为黑色，说明映射建模完美且待测样本没有瑕疵。因此相对于映射的差异，瑕疵所造成的灰度值可以忽略不计。我们可以通过残差图像的绝对值的灰度值之和来描述匹配结果的好坏。描述如下：

图像匹配的问题可以通过特征点的提取转换为特征点的直接匹配问题，因此I_S(i，j)与I_T(i，j)的映射矩阵M可以通过I_S(i，j)的特征点集 E_s和I_T(i，j)的特征点集E_T来决定。首先确定匹配对(N_s，N_T)，即样本的根节点和模板图像的根节点，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y。接着从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离。即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)。对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle。然后通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ。遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果，其最终结果如图4所示。

步骤4计算差影结果。首先确定匹配对(N_s，N_T)，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y。从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离。即Dif＝ abs(E_s(i，j).dis-E_T(k，l).dis)。对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle。通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，判断公式为(2-3)。遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果。通过公式I_res(i，j)＝f(I_S(i，j)，M)-I_T(i，j)即可计算出差影图。根据差影图进行自适应灰度直方图均衡，得出粗分割区域。

步骤5线性缺陷的合成过程主要分为以下几个步骤。首先，使用随机漫步算法生成缺陷的骨架。接下来，骨骼被转换成一个连接区域，并通过形态学扩张操作扩展该区域。然后，根据高斯分布确定生成的线性区域的灰度值。最后，通过图像融合算法生成合成图像，通过裁剪操作得到局部缺陷图像。

线性缺陷的骨架形成原理通过下列公式描述：

上式中n代表线性骨架的像素点总长度，(x_i，y_i)代表在第i个骨架点的坐标位置。θ_i

表示点i的骨架梯度方向角，Δθ表示在θ_i的基础上角度偏移随机变化，其变化规律符合有限角度变化内的均匀分布。Δφ表示是否存在角度突变，sgn为signal函数，s表示骨架长度变化的步长。通过改变公式3-2中各变量的值，就可以调整合成不同长度、方向和曲率的瑕疵形态。

由于线性缺陷一般都具有一定的宽度，并且不同的缺陷在有些局部区域的宽度并不相同。为了得到一个具有一定像素宽度且符合实际形态特征的缺陷图像，缺陷区域的填充操作是必不可少的。

首先需要将这些点集按照时间序列进行连接，并且对应的连接线形成一个单位像素的宽度用于后续处理。接着在连接好的骨架的基础上运用形态学膨胀操作，根据实际缺陷的宽度确定膨胀程度。由于有些区域的宽度不同，因此可以根据需要选取一些点进行额外的膨胀或者腐蚀操作改变其宽度值。我们采取在某些拐点进行腐蚀操作减小其宽度，某些连线的中心区域进行膨胀操作。这种方法符合我们实际观测，在实际的划伤灰尘等等情况中往往都在某些段落呈现出两头细长且中间较为粗壮的形态特征。因此对于同一幅线性骨架点集经过不同的区域填充算法处理，可以处理出不同的瑕疵形态。

此外，线性划痕缺陷的形状可以是不连续的。为了实现这种效果，我们在进行区域生成之前，需要将线性骨骼切分成多段。因此，可以通过随机去除一些点群来实现缺陷的不连续。根据上述分析，可以根据不同的拍摄环境、打光方式和采取独特的点群去除算法或者瑕疵宽度改变方法来适应不同硬件环境所面临的实际情况。

由实际观测可知，中心区域的颜色一般都比边界区域更深，也就是说，相比于边界区域，中心区域相对背景颜色差值的绝对值更大。因此，在线性缺陷模拟的过程中，中心区域到边界区域的灰度值应符合高斯分布，即以单位像素的骨架为中心区域垂直向外符合高斯分布，越靠近骨架的像素值越大，越远离骨架的像素值越小。分布函数如下：

sgn是sign函数，它的值为1或-1。其物理意义为若缺陷整体成亮色，则sgn应该取值为1，反之若相比背景色缺陷整体灰度值偏暗，则其值为-1.

最后是使用图像融合技术生成人工缺陷图像，具体数学描述如下：

I_fusion(i，j)＝(1-α)*I_background(i，j)+α*I_defect(i，j)

上式中I_fusion(i，j)、I_background(i，j)、I_defect(i，j)分别为融合图像、无瑕疵图像和缺陷区域图像在坐标(i，j)处的灰度值，α表示融合系数，在0～1之间进行取值。α越接近0，缺陷灰度约不明显，越接近无瑕疵的背景颜色。相反，越接近1，背景纹理越不明显，越凸显瑕疵的形状变化。为了使缺陷与背景在瑕疵边界区域的转换更加自然，可以在图像融合之后进行均值滤波(mean filtering)操作。

步骤6由于内部结构的差异，块状缺陷的生成原理也不同。一种是块状内部颜色中空的结构，称之为斑点结构。另一种是在块状边缘以内的区域存在一些其他的灰度值变化或者几何结构，称之为簇状结构。因此需要针对这两种不同的特性分别进行仿真建模，以达到更好的效果。

首先，随机生成一个不规则的闭合曲线。然后根据不规则曲线内部生成的缺陷区，分别用不同的原理处理从而得到斑点结构和簇状结构。接着在缺陷区域填充阶段，根据高斯分布和现有的纹理确定生成的块状区域的灰度值。最后同线性缺陷一样进行简单的图形融合生成最后的合成图像，如图5所示。

假设从一个规则的圆形开始研究闭合曲线的性质。如图3所示是一个闭合规则的圆形。假设其中心为O，从O随机的向外发射出几条射线，射线与圆形边界交点表示为A_i∈{A₁，A₂，A₃，A₄，......，A_n-1，A_n}，各个射线之间的夹角也可以表示为Δθ_i∈ {Δθ₁，Δθ₂，Δθ₃，Δθ₄，......，Δθ_n-1，Δθ_n}。可以很清楚的看到虽然Δθ_i的分布是随机的且

但是O到A_i的距离OA_i确是相等的。

若需要生成一个任意形状的闭合曲线，则我们在标准圆形的基础上在引入一个自由维度，即OA_i的距离。首先，在0到2π的区间内生成n-1个随机数，然后从小到大将其排列，得到 {θ₁，θ₂，θ₃，θ₄，......，θ_n-1}，此过程可以表示为以下公式：

上式中random和sort分别表示随机数生成函数和排序函数。接着，通过下式即可以计算每一个随机角度的值：

当确定了偏转角度的值，接下来需要确定OA_i的距离和A_i点的坐标值，称之为结构点。具体结构点的坐标值可有以下公式确定：

上式中，ρ表示结构坐标点到中心点的距离，ρ_μ表示基础偏移量的值，ρ_σ是一个介于0到σ之间符合均匀分布的随机数，它决定了ρ高斯分布的半径大小。sgn是sign函数，它的值为1或-1。按i的顺序依次连接每一个生成的点，即可得到生成的不规则曲线的骨架。改变公式 3-6的值，既可以调整合成缺陷的大小和形状。

此时的骨架是n条直线所围成的形状，因此我们需要对骨架的棱角进行一定的完善，才能达到模拟真实缺陷的效果。这里可以考虑在公式3-6的基础之上通过数学的方法直接生成曲线闭合曲线，也可以通过图像处理的方法对连接之后的骨架进行滤波从而滤除瑕疵的高频信息。这里我们采用图像滤波的方式处理，因为滤波不但可以去除直线连接点处的曲率突变所引起的高频，而且可以通过滤波操作提前优化背景和瑕疵边缘的突变，让图像融合算法更加简洁。具体滤波核选择高斯核。选择高斯核的原因是其不但可以最大限度的保留低频信息，而且高频的抑制效果也很出色，整个滤波核的值的改变也比较平滑，符合本操作所需的条件。

在边界区域范围确定之后，需要对曲线内部区域进行进一步仿真。对于斑点结构的块状缺陷，其闭合不规则曲线内部所围成的区域即为斑点缺陷区域。同样对于具有簇状结构的块状缺陷，将簇状纹理图像与不规则曲线相融合用以生成簇状缺陷图像。

斑点缺陷图像的生成较为简单。只需要填充内部区域即可。因为我们在生成块状区域骨架时确定了一个中心点O，因此我们可以在高斯模糊生成曲线闭合区域之前从O点开始先用水漫填充算法先进行内部区域填充，然后再用高斯核滤除高频生成曲线，接着确定曲线边界。总体算法流程图如下

相较于斑点缺陷，纹理缺陷图像的生成流程会比较复杂。由于纹理块状缺陷不仅存在曲线边界之内的纹理性瑕疵，而且也有可能存在瑕疵与边界相重叠的情况。针对这种情况，纹理块状图像的内部区域填充主要采用柏林噪声(Perlin Noise)和分形技术(Fractal Technologies)来实现。首先生成不同频率和振幅的二维柏林噪声图像，然后应用分形叠加法获得更丰富的纹理图像。

柏林噪声生成随机纹理图像的描述如下：

首先定义一个二维网格平面，在每一个网格的角点处生成一个随机梯度向量g_u，v，表示为：

其中，grad_x和grad_y分别表示行方向和列方向的梯度值。P(x，y) 表示二维网格中坐标为(x，y)的点，向量n_0，0，n_0，1，n_1，0和n_1，1是点P相邻的四个角点的方向向量，计算公式如下：

每个梯度向量与方向向量的点积分别为w_0，0，w_0，1，w_1，0和w_1，1，数学描述为：

柏林噪声衰减函数表示为：

f(t)＝6t⁵-15t⁴+10t³

然后将w_0，0，w_0，1，w_1，0和w_1，1作为权重值，对柏林噪声衰减函数的值按行、列方向进行加权。公式如下：

其中，噪声(x，y)为插值后的噪声值，为了产生更丰富的纹理，我们采用不同频率和振幅的二维柏林噪声图像进行分形叠加，描述为：

式中w为叠加分量的权值系数，s为叠加分量的频率控制量，f为分形叠加的方法，不同的叠加方法可以产生出不同模式的图像。例如 f操作可以是绝对值变换，也可以是正余弦变换。

斑点缺陷的灰度值可以通过随机闭合曲线和不同的高斯核来确定，纹理缺陷的灰度值测定则可以通过高斯纹理、柏林噪声纹理核实际缺陷的纹理来进行定型。

步骤7建立人工缺陷样本数据集和真实样本数据集。通过手机真实标注样本和线性和块状形态的缺陷建模，构建两个数据集，并且在神经网络训练结果输出时进行人工标注，逐步扩大真实样本数据集规模。

步骤8由于数据集分为两部分：人工合成数据集以及真实缺陷数据集。为了实现在小样本集的情况下的精确检测，我们需要充分的利用人工合成的缺陷数据集，将其应用到深度学习分类和目标检测任务中。因此如图6所示，我们借鉴了迁移学习的思路，首先使用人工合成数据集对深度学习算法进行训练，得到初步的训练模型。然后，由于真实缺陷数据集的数量不足，因此需要对真实缺陷进行剪切、旋转、缩放、坐标变换、加噪声等操作扩充真实缺陷数据集，然后利用扩充之后的真实数据集对初步训练模型进行进一步的训练，最后就会得到一个性能良好的玻璃盖板缺陷识别网络。

参考图7的结构，本文采用的神经网络结构依然使用多层次、多路的结构具体如图8所示。因为第二章的预分割算法的作用，输入神经网络的图像分辨率不会太高，因此相对而言网络的结构不必特别复杂。图中的Block_n表示不同深度的Block，每一个Block为三个ShortCut结构串联。正因其深度不同，因此在不同深度其卷积维度也不尽相同。虽然本结构可以继续深入Block_4等等，但是由于拍摄数据集的结构一般不是很复杂并且图片灰度表现也较为单一。经测试较深的路径并不能带来较为明显的精度提升，相反还会由于训练参数的增加造成梯度弥散、训练时间过长等等问题。因此本文采用Block_3 作为最深的训练单元。

每一个Block层的结构相同，但是参数却不一样。由于其高层应该提取高层次的维度特征，因此层数越高，其维度应越多。本文设计时Block_1的维度为64，Block_2的维度为128，Block_3的维度为 256。在Maxout计算后特征图reshape为1维向量进行全连接操作，之后输出预测结果。

Claims (10)

1.一种产品边缘缺陷检测方法，其特征在于，包括以下步骤：

步骤1、图像采集：

采集一副完整清晰的、没有缺陷的基准图像I_T和待测图像I_s，其图片内容只存在一个玻璃盖板，不存在同时拍摄多个盖板的情况，并且玻璃盖板的轮廓层次清晰，不存在虚焦、成像模糊、严重的失真情况；

步骤2、建立特征图：

首先，利用sobel算子处理I(x，y)，通过连通域确定其轮廓结构信息，其返回值表示为：c_i＝{c₁，c₂，...，c_n}，表示每一个轮廓的像素集合，并且有表示连通矩阵E_ij和顶点信息矩阵V_ij，表示其结构信息；

其次，计算每一个子轮廓结构的几何中心

表示每一个轮廓的坐标和的平均值，最外层轮廓确定其外接矩阵坐标，并作为最外层轮廓的子结构加入结构信息数据结构；

然后，通过连通矩阵遍历轮廓结构，确定其几何中心与相连轮廓中心的欧氏距离dis和偏转角度angle，最终结果存入连通矩阵E_ij＝(dis，angle)，此时E_ij表示邻接矩阵；最后标记最外层轮廓的几何中心作为结构信息数据结构的根节点N_root；

步骤3、以最小残差和进行特征图匹配；

图像表示为I_T(i，j)，样本图像表示为I_S(i，j)，则差影法可以抽象为：I_res(i，j)＝f(I_S(i，j)，M)-I_T(i，j)，I_res(i，j)表示为残差图像，表示为差影的结果，M为映射矩阵，作为工业图像处理，相机和承载面的距离是固定的，且通过第三条假设可知，物体不存在仿射变换或者非线性变换，由此可以推断f函数(样本图像映射到模板图像)应是一种刚性变换，公式如下：

x′、y′表示样本图像在刚性变换之后的结果，x、y则表示样本图像变换前的坐标，因此求得映射矩阵的三个未知数(θ，t_x，t_y)，可以得到目标结果I_res(i，j)；

差影之后的图像应是极小部分的瑕疵区域有明显的灰度值，而大部分区域的灰度值应都接近于0；最理想的情况是整幅残差图像皆为黑色，说明映射建模完美且待测样本没有瑕疵；因此相对于映射的差异，瑕疵所造成的灰度值可以忽略不计；通过残差图像的绝对值的灰度值之和来描述匹配结果的好坏，描述如下：

图像匹配通过特征点的提取转换为特征点的直接匹配问题，因此I_S(i，j)与I_T(i，j)的映射矩阵M可以通过I_S(i，j)的特征点集E_s和I_T(i，j)的特征点集E_T来决定，通过残差图像的绝对值的灰度值之和来描述匹配结果，遍历特征图得到最优化映射矩阵M，然后将待测图像映射到基准图像坐标系；

步骤4、计算差影结果；

首先确定匹配对(N_s，N_T)，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y，从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离，即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)，对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle，通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，判断公式为(1-1)，遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果，通过公式I_res(i，j)＝abs(f(I_S(i，j)，M)-I_T(i，j))即可计算出差影图，根据差影图进行自适应灰度直方图均衡，得出粗分割区域；

步骤5、线性形态缺陷建模：

首先，使用随机漫步算法生成缺陷的骨架；

其次，骨骼被转换成一个连接区域，并通过形态学扩张操作扩展该区域；

然后，根据高斯分布确定生成的线性区域的灰度值；

最后，通过图像融合算法生成合成图像，通过裁剪操作得到局部缺陷图像；

步骤6、由于内部结构的差异，块状缺陷的生成原理也不同，一种是块状内部颜色中空的结构，称之为斑点结构，另一种是在块状边缘以内的区域存在一些其他的灰度值变化或者几何结构，称之为簇状结构，因此需要针对这两种不同的特性分别进行仿真建模，如下：

首先，随机生成一个不规则的闭合曲线；

其次，根据不规则曲线内部生成的缺陷区，分别用不同的原理处理从而得到斑点结构和簇状结构；

然后，接着在缺陷区域填充阶段，根据高斯分布和现有的纹理确定生成的块状区域的灰度值；

最后，同线性缺陷一样进行简单的图形融合生成最后的合成图像；

步骤7建立人工缺陷样本数据集和真实样本数据集：

通过手机真实标注样本和线性和块状形态的缺陷建模，构建两个数据集，并且在神经网络训练结果输出时进行人工标注，逐步扩大真实样本数据集规模；

步骤8由于数据集分为两部分，人工合成数据集以及真实缺陷数据集，为了实现在小样本集的情况下的精确检测，利用人工合成的缺陷数据集，将其应用到深度学习分类和目标检测任务中，首先，使用人工合成数据集对深度学习算法进行训练，得到初步的训练模型，然后，由于真实缺陷数据集的数量不足，因此需要对真实缺陷进行剪切、旋转、缩放、坐标变换、加噪声等操作扩充真实缺陷数据集，然后利用扩充之后的真实数据集对初步训练模型进行进一步的训练，最后就会得到一个性能良好的玻璃盖板缺陷识别网络。

2.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，所述的图像匹配通过特征点的提取转换为特征点，I_S(i，j)与I_T(i，j)的映射矩阵M可以通过I_S(i，j)的特征点集E_s和I_T(i，j)的特征点集E_T来决定，如下；

首先，确定匹配对(N_s，N_T)，即样本的根节点和模板图像的根节点，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y；

其次，从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离，即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)，对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle；

然后、通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果。

3.根据权利要求2所述的一种产品边缘缺陷检测方法，其特征在于，所述的线性形态缺陷得骨架形成原理通过下列公式描述：

上式中n代表线性骨架的像素点总长度，(x_i，y_i)代表在第i个骨架点的坐标位置，θ_i表示点i的骨架梯度方向角，Δθ表示在θ_i的基础上角度偏移随机变化，其变化规律符合有限角度变化内的均匀分布，Δφ表示是否存在角度突变，sgn为signal函数，s表示骨架长度变化的步长，通过改变公式1-2中各变量的值，就可以调整合成不同长度、方向和曲率的瑕疵形态。

4.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，所述的线性形态缺陷，由于线性缺陷一般都具有一定的宽度，并且不同的缺陷在有些局部区域的宽度并不相同，为了得到一个具有一定像素宽度且符合实际形态特征的缺陷图像，缺陷区域的填充操作如下：

首先，需要将这些点集按照时间序列进行连接，并且对应的连接线形成一个单位像素的宽度用于后续处理；

接着，在连接好的骨架的基础上运用形态学膨胀操作，根据实际缺陷的宽度确定膨胀程度，由于有些区域的宽度不同，因此可以根据需要选取一些点进行额外的膨胀或者腐蚀操作改变其宽度值，采取在某些拐点进行腐蚀操作减小其宽度，某些连线的中心区域进行膨胀操作，对于同一幅线性骨架点集经过不同的区域填充算法处理，可以处理出不同的瑕疵形态；

此外，线性划痕缺陷的形状可以是不连续的，为了实现这种效果，在进行区域生成之前，需要将线性骨骼切分成多段，通过随机去除一些点群来实现缺陷的不连续，根据不同的拍摄环境、打光方式和采取独特的点群去除算法或者瑕疵宽度改变方法来适应不同硬件环境所面临的实际情况。

5.根据权利要求4所述的一种产品边缘缺陷检测方法，其特征在于，所述的线性划痕缺陷得中心区域的颜色一般都比边界区域更深，相比于边界区域，中心区域相对背景颜色差值的绝对值更大，在线性缺陷模拟的过程中，中心区域到边界区域的灰度值应符合高斯分布，即以单位像素的骨架为中心区域垂直向外符合高斯分布，越靠近骨架的像素值越大，越远离骨架的像素值越小，分布函数如下：

sgn是sign函数，它的值为1或-1，其物理意义为若缺陷整体成亮色，则sgn应该取值为1，反之若相比背景色缺陷整体灰度值偏暗，则其值为-1.

最后是使用图像融合技术生成人工缺陷图像，具体数学描述如下：

I_fusion(i，j)＝(1-α)*I_background(i，j)+α*I_defect(i，j) (1-3)

上式中I_fusion(i，j)、I_background(i，j)、I_defect(i，j)分别为融合图像、无瑕疵图像和缺陷区域图像在坐标(i，j)处的灰度值，α表示融合系数，在0～1之间进行取值，α越接近0，缺陷灰度约不明显，越接近无瑕疵的背景颜色，相反，越接近1，背景纹理越不明显，越凸显瑕疵的形状变化，为了使缺陷与背景在瑕疵边界区域的转换更加自然，可以在图像融合之后进行均值滤波(mean filtering)操作。

6.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，对待测物体的轮廓提取特征中心作为特征点构造特征图，并记录每个特征点相对几何中心的距离和偏转角度，步骤3)中的基于最小残差和进行特征图匹配，包括特征图的构建方法和匹配方法。

7.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，线性形态缺陷的建模和块状形态缺陷建模，包括缺陷建模的方法和流程。

8.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，所述的多尺度残差神经网络的网络结构。

9.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，所述的模板匹配进一步包括如下步骤：

a.计算基准图像和待测图像的结构树，得到特征图；

b.通过最小残差和进行特征图的匹配；

c.经过匹配的特征图计算得到映射矩阵；

d.差影之后自适应灰度值滤波得到粗分割区域。

10.根据权利要求1所述的一种产品边缘缺陷检测方法，其特征在于，其特征在于：神经网络训练进一步包括如下步骤：

a.通过线性形态缺陷的建模和块状形态缺陷建模构建人工缺陷数据库；

b.对真实缺陷进行人工标注，构建真实缺陷数据库；

c.使用人工缺陷数据库对多尺度残差神经网络进行预训练；

d.使用真实缺陷数据库对神经网络进行迁移学习。

Images