CN107610111B - 一种基于深度学习的焊点图像检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的焊点图像检测方法，包括以下步骤：步骤1，对焊点图像划分有效子区域；步骤2，对子区域图像进行预处理，得到对应子区域图像的二值图；步骤3，对每个子区域图像对应的二值图进行第一步识别，获得疑似焊点区域，步骤4，利用深度学习网络对疑似焊点区域进行识别若步骤4没有疑似焊点区域则结合二值图和原图进行滑窗识别，步骤5，识别结果判断，若经过以上4步能识别到焊点则待识别区域有焊点，若以上步骤均不能识别到焊点则待识别区域没有焊点。本发明的处理方法既在一定程度上减小了滑窗的计算量，又通过双重验证提高了检测的精度，本发明方法比传统单一检测的方法有更优地鲁棒性。

Description

一种基于深度学习的焊点图像检测方法

技术领域

本发明属于图像检测领域，特别是涉及一种基于深度学习的焊点图像检测方法。

背景技术

在冲压件人工焊接的生产线上，由于焊接工艺的不成熟，往往会导致虚焊、漏焊、过焊等现象，对于比较复杂的工件，尤其有多个面，每个面上都有几个焊点的情况，漏焊的概率更大，目前的检测方式基本都是采用人工检测，这样大大增加了工人的工作量，而使得工作效率低下。传统的图像检测方法对多角度焊点图像都需要通过相机标定对每个角度的图像进行矫正，然后通过图像定位和模板匹配的方法来检测，且抗干扰能力比较差，容易出现漏检或错检的情况；或通过滑窗、特征提取及分类器识别相结合的方法来进行识别，该方法计算量大，识别的精度完全依赖提取的特征是否合适、分类器参数是否调好。

发明内容

本发明针对现有技术的不足，提供一种基于深度学习的钢板焊点检测方法。

为了达到上述目的，本发明提供的技术方案是一种基于深度学习的钢板焊点检测方法，包括以下步骤：

步骤1，对焊点图像划分有效子区域；

步骤2，对子区域图像进行预处理，得到对应子区域图像的二值图；

步骤3，对每个子区域图像结合对应的二值图进行第一步识别，包括以下子步骤，

步骤3.1，对二值图进行边界去噪椭圆检测，实现方式如下，

首先，提取二值图像的外轮廓，按逆时针方向对提取的外轮廓做多边形拟合，将每条拟合的线段矢量化，得到向量分别通过计算两向量与基准向量(1,0)之间的夹角α_i-1和α_i，得到两相邻矢量的夹角θ＝α_i-α_i-1，若夹角θ在一定范围之内，则保留，得到一条有效曲线段；

其次，对每条曲线段进行最小二乘椭圆拟合，得到一个椭圆方程，根据曲线段上所有点到对应的椭圆方程的平均距离作为误差判断依据，若误差小于设置参数ε₁，则该曲线段为有效弧线；

最后，将误差最小的前三位中曲线最长的一段有效弧作为基准弧线，依次加入其它有效弧线，直到加入所有有效弧线，最终通过最小二乘椭圆拟合得到一个最佳椭圆方程；

步骤3.2，计算最佳椭圆方程的长轴a、短轴b，若满足γ₁<a<γ₂、γ₃<b<γ₄、进入步骤3.3的处理；

步骤3.3，提取二值图像的内轮廓，以步骤3.2中得到的最佳椭圆为外边界、二值图像的内轮廓为内边界构建椭圆环，将外边界按一定比例扩大得到一外围，设外围与外边界之间的区域对应原图的像素均值为V₁，椭圆环区域对应原图的像素均值为V₂，内边界包围区域对应原图的像素均值为V₃，令Δ₁＝V₁-V₂，Δ₂＝V₃-V₂，若Δ₁和Δ₂均大于某一阈值φ，则标记最佳椭圆的外接矩形区域为疑似焊点区域；

步骤4，利用深度学习网络对疑似焊点区域进行识别，针对步骤3没有检测到疑似焊点的子区域，以其二值图像所有连通域为模板，寻找连通域的左上角点和右下角点，形成一个包含整个连通域的ROI区域，以ROI区域的每个像素点为候选框中心点，按半径为r、步长ω进行滑窗搜索，将每一候选框图像作为深度学习网络的输入，获得识别结果；

步骤5，识别结果判断，若经过以上4步能识别到焊点则待识别区域有焊点，若以上步骤均不能识别到焊点则待识别区域没有焊点。

进一步的，所述步骤2的实现方式如下，

步骤2.1，对子区域原图进行全局明暗分析，得到子区域图像的偏差值τ₁和明暗值τ₂，其中偏差值τ₁和明暗值τ₂的计算过程如下，

其中，M、N为子区域图像的长和宽，V_ij为点(i,j)的像素值，N_k表示子区域图像在像素值k的像素个数；

当偏差值τ₁和明暗值τ₂在一定范围内时，对子区域原图做直方图统计，若直方图中像素值最大像素的个数大于或等于像素值第二大像素个数的2.5倍，则对子区域图像作均值补偿，若直方图中像素值最大像素的个数小于像素值第二大像素个数的2.5倍，则不做均值补偿，然后对处理后的图像进行Retinex增强；当偏差值τ₁和明暗值τ₂不在上述范围内时，则不对子区域原图作任何处理，最终得到图像A；

步骤2.2，通过步骤2.1中得到的偏差值τ₁和明暗值τ₂，若偏差值τ₁大于一定阈值，则对子区域原图按一定参数值进行gamma增强，若偏差值τ₁小于或等于一定阈值，则不作处理，得到图像B；

步骤2.3，融合图像A和图像B得到增强图C；

步骤2.4，对增强图C进行自适应阈值分割得到二值图D；

步骤2.5，对二值图D进行降噪处理。

进一步的，所述步骤4中的深度学习网络为VGG-16网络。

与现有技术相比，本发明的优点：通过自定义特征进行目标区域定位，再对目标区域进行VGG深度模型进行识别，若仍找不到焊点则再采用滑动窗口的方式小范围搜索识别检测。采用VGG深度模型替代传统的特征提取(如LBP、HOG特征等特征)及分类器相结合识别的方式，避免了特征选取不当，手动调参不合适等问题，通过自学习的方式提高了识别的精度。该处理方法既在一定程度上减小了滑窗的计算量，又通过双重验证提高了检测的精度。该方法比传统单一检测的方法有更优地鲁棒性。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例中边界去噪椭圆检测示意图，(a)为定位曲线段示意图，(b)为合并弧线示意图。

图3为本发明实施例中灰度特征判断示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

本发明实施例的流程包括如下处理步骤：

1、对焊点图像划分有效子区域

工件上的焊点均为人工焊接，且根据焊接工艺的要求，即每个焊点均有自己所要求的小区域范围，而每次采集图像时工件的位置是固定的，所以每个焊点在图像中的位置也有固定的小区域范围。本发明实施例中定义这个小区域范围为有效区域，需要在图像中划分有效区域进行检测，由于工件在拍摄场景中的位置固定，只需要对每个角度的第一张图像进行各焊点有效子区域划分，后面检测图像的有效区域均根据第一次标记即可。

2、对子区域图像进行预处理

步骤2.1，对子区域图像进行全局明暗分析，得到偏差值τ₁和明暗值τ₂，其中偏差值和明暗值的计算过程如下：

其中，M、N为子区域图像的长和宽，V_ij为点(i,j)的像素值，N_k表示子区域图像在像素值k的像素个数。

若τ₁>0.9且τ₂<50，则表示图像整体偏暗，按条件对图像做均值补偿或不补偿，是否做均值补偿的条件为：对图像做直方图统计，若直方图中像素值最大像素的个数大于或等于像素值第二大像素个数的2.5倍，则将最大像素的坐标映射到原图像中，并用图像均值作为补偿；然后对经过上述处理之后的图像做Retinex增强，得到图像A；如果偏差值和明暗值不在τ₁>0.9且τ₂<50的范围内，则不对子区域原图作任何处理。对图像作均值补偿主要是为了减少光照不均匀的影响，即减小该区域局部反光问题，同时也有一定的降噪作用；Retinex图像增强可以在动态范围压缩、边缘增强、颜色恒常三个方面达到平衡，对保边去噪有较好的效果；

步骤2.2，按条件对子区域原图进行gamma增强或不增强，得到图像B；通过步骤2.1中对子区域原图进行全局明暗分析判断，若τ₁>1.0，则对图像进行增强(τ₂<0时，α＝0.4；τ₂≥0时，α＝2.2)；否则不做增强。gamma增强主要是对图像的明暗对比度做一定的增强；

步骤2.3，叠加A和B作为预处理后的增强图C，两种增强方式的结合在提高对比度的同时大大减少周边噪声的干扰。

步骤2.4，将增强后的图像C进行自适应阈值分割得到二值图D。

步骤2.5，对二值图D进行降噪处理，首先，去除二值图D中连通域(即二值图像中的白色像素块)的凸起：通过对二值图像进行从左向右从上向下的扫描，去掉横轴和纵轴小于n₁个像素数的像素块；其次，去除小噪声：去除小于n₂个像素的连通域，本实施例中n₁＝3、n₂＝3)。

3、第一步识别，亦精定位

特征分析：焊点虽为圆环状，但不可能对所有焊点都垂直角度拍摄，部分焊点会出现些许形变，焊点的形态均可视作椭圆环状；而成形的冲压件上，焊点周围可能会有焊渣、磨具拉伸纹、划痕等情况，在同一拍摄角度下，焊点所在每个面的角度不一致可能会导致光照不均匀，视觉上可能会呈现焊点部分边界不闭合、有拖尾、其他噪声干扰等现象。

步骤3.1，对二值图像D进行边界去噪椭圆检测：提取二值图像D的外轮廓；

定位曲线段，按逆时针方向对提取的外轮廓做多边形拟合，将每条拟合的线段矢量化，得到向量分别通过计算两向量与基准向量(1,0)之间的夹角α_i-1和α_i，得到两相邻矢量的夹角θ＝α_i-α_i-1，若夹角θ在一定范围之内(0.1<θ<1.35)，则保留，得到一条有效曲线段。例如，若向量与基准向量的夹角α₅，向量与基准向量的夹角α₆，两相邻矢量的夹角θ＝α₆-α₅在规定的范围之外，则只有组成一条有效线段，若满足条件，则其组成另一条有效线段，如图2(a)；

确定有效弧线，对每条曲线段进行最小二乘椭圆拟合，得到一个椭圆方程，根据拟合曲线段上所有点到对应的椭圆方程的平均距离作为误差判断依据，若小于设置参数ε₁(ε₁＝1.7)，则为有效弧线；

合并弧线，将上一步中拟合误差最小的前三位中曲线最长的那一段有效弧作为基准弧线，依次加入其它有效弧线，按上一步依据判断误差，直到计算完所有有效弧线，最终得到一个最佳椭圆方程，如图2(b)；

步骤3.2，椭圆参数误差判断，通过得到的最佳椭圆方程，计算其长轴a、短轴b，若满足γ₁<a<γ₂、γ₃<b<γ₄、(其中γ₁＝20，γ₂＝115，γ₃＝15，γ₄＝90)，则进行步骤3.3的计算；

步骤3.3，灰度特征判断，焊点外边界的临近像素与焊点环内像素有一个突变，焊点环内像素与焊点内边界里面的像素也有一个突变(如图3)，结合二值图像和原图，通过区域像素值突变的特性来判断是否为疑似焊点区域。假设图3中粗实线为焊点椭圆环的外边界，细实线为焊点椭圆环的内边界(即二值图中焊点内轮廓，本实施例可通过opencv中提取轮廓函数findContours得到)，虚线与粗实线之间的区域1为焊点外区域(其中，虚线是通过最佳拟合椭圆按比例扩大划定的)，粗实线与细实线之间的区域2为焊点上的区域，细实线内的区域3为焊点内区域，1、2、3像素均值存在明暗明的变化，这个明暗明的突变可视为本发明实施例对焊点的一个自定义特征。设区域1的均值V₁为虚线与粗实线之间区域对应原图的像素均值，区域2的均值V₂为粗实线与细实线之间的区域对应原图的像素均值，区域3的均值V₃为细实线内部区域对应原图的像素均值，设Δ₁＝V₁-V₂，Δ₂＝V₃-V₂，若Δ₁和Δ₂均大于某一阈值(设置阈值为10)，则标记粗实线(即步骤3.2得到的最佳椭圆)的外接矩形区域为疑似焊点区域。

4、第二步识别

因为每个工件表面的氧化程度不同，使得金属表面反光程度不同，再加上光源、相机角度等多方面因素的影响，导致不同工件同一个角度同一区域的焊点成像也不尽相同，部分氧化比较严重且有污渍或是焊渣的情况，部分工件氧化较轻且反光比较严重的情况，因此会导致第一步识别中疑似焊点区域定位不到焊点，为了保证识别率，对于没有识别目标的区域采用以二值图为模板进行滑窗识别(因为焊点区域多少都会存在连通域中，这样可以减小滑窗的次数)。

通过第一步识别得到一系列疑似焊点的目标区域，对该区域通过深度学习的方式进行识别，本发明实施例中采用了VGG-16网络对焊点进行二分类(VGG-16网络是一个16层网络的CNN模型，包括5个group的卷积层，2层fc全连接图像特征层和一层fc分类特征层，VGG-16网络属于现有技术，本发明不予撰述，具体可参加文献：K.Simonyan andA.Zisserman.Very deep convolutional networks for large-scale imagerecognition.arXiv:1409.1556,2014)，通过对大量焊点样本数据和非焊点样本进行训练(本实施例中训练的焊点样本和非焊点样本各8500张)，得到一组最优的权重参数。为了保证识别的精度，若上一步没有识别到疑似目标的子区域，则以二值图像所有连通域为模板，对子区域图像进行搜索识别(以一个连通域为例，寻找连通域的左上角点和右下角点，形成一个包含整个连通域的ROI区域，以这个ROI区域的每个像素点为候选框中心点，按半径为r、步长ω进行搜索，本发明实施例中设置r＝30、ω＝2，再将候选框图像作为VGG-16输入层的数据，采用得到的最优权重作为测试网络的参数，进行分类识别)。

5、判断结果

识别结果：若经过以上4步能识别到焊点则该区域有焊点；若以上步骤均不能识别则该区域没有焊点。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于深度学习的焊点图像检测方法，其特征在于，包括如下步骤：

步骤1，对焊点图像划分有效子区域；

步骤2，对子区域图像进行预处理，得到对应子区域图像的二值图；

步骤3，对每个子区域图像结合对应的二值图进行第一步识别，包括以下子步骤，

步骤3.1，对二值图进行边界去噪椭圆检测，实现方式如下，

首先，提取二值图像的外轮廓，按逆时针方向对提取的外轮廓做多边形拟合，将每条拟合的线段矢量化，得到向量分别通过计算两向量与基准向量(1,0)之间的夹角α_i-1和α_i，得到两相邻矢量的夹角θ＝α_i-α_i-1，若夹角θ在一定范围之内，则保留，得到一条有效曲线段；

其次，对每条曲线段进行最小二乘椭圆拟合，得到一个椭圆方程，根据曲线段上所有点到对应的椭圆方程的平均距离作为误差判断依据，若误差小于设置参数ε₁，则该曲线段为有效弧线；

最后，将误差最小的前三位中曲线最长的一段有效弧作为基准弧线，依次加入其它有效弧线，直到加入所有有效弧线，最终通过最小二乘椭圆拟合得到一个最佳椭圆方程；

步骤3.2，计算最佳椭圆方程的长轴a、短轴b，若满足γ₁<a<γ₂、γ₃<b<γ₄、进入步骤3.3的处理；

步骤3.3，提取二值图像的内轮廓，以步骤3.2中得到的最佳椭圆为外边界、二值图像的内轮廓为内边界构建椭圆环，将外边界按一定比例扩大得到一外围，设外围与外边界之间的区域对应原图的像素均值为V₁，椭圆环区域对应原图的像素均值为V₂，内边界包围区域对应原图的像素均值为V₃，令Δ₁＝V₁-V₂，Δ₂＝V₃-V₂，若Δ₁和Δ₂均大于某一阈值φ，则标记最佳椭圆的外接矩形区域为疑似焊点区域；

步骤4，利用深度学习网络对疑似焊点区域进行识别，针对步骤3没有检测到疑似焊点的子区域，以其二值图像所有连通域为模板，寻找连通域的左上角点和右下角点，形成一个包含整个连通域的ROI区域，以ROI区域的每个像素点为候选框中心点，按半径为r、步长ω进行滑窗搜索，将每一候选框图像作为深度学习网络的输入，获得识别结果；

步骤5，识别结果判断，若经过以上4步能识别到焊点则待识别区域有焊点，若以上步骤均不能识别到焊点则待识别区域没有焊点。

2.如权利要求1所述的一种基于深度学习的焊点图像检测方法，其特征在于：所述步骤2的实现方式如下，

步骤2.1，对子区域原图进行全局明暗分析，得到子区域图像的偏差值τ₁和明暗值τ₂，其中偏差值τ₁和明暗值τ₂的计算过程如下，

其中，M、N为子区域图像的长和宽，V_ij为点(i,j)的像素值，N_k表示子区域图像在像素值k的像素个数；

当偏差值τ₁和明暗值τ₂在一定范围内时，对子区域原图做直方图统计，若直方图中像素值最大像素的个数大于或等于像素值第二大像素个数的2.5倍，则对子区域图像作均值补偿，若直方图中像素值最大像素的个数小于像素值第二大像素个数的2.5倍，则不做均值补偿，然后对处理后的图像进行Retinex增强；当偏差值τ₁和明暗值τ₂不在上述范围内时，则不对子区域原图作任何处理，最终得到图像A；

步骤2.2，通过步骤2.1中得到的偏差值τ₁和明暗值τ₂，若偏差值τ₁大于一定阈值，则对子区域原图按一定参数值进行gamma增强，若偏差值τ₁小于或等于一定阈值，则不作处理，得到图像B；

步骤2.3，融合图像A和图像B得到增强图C；

步骤2.4，对增强图C进行自适应阈值分割得到二值图D；

步骤2.5，对二值图D进行降噪处理。

3.如权利要求2所述的一种基于深度学习的焊点图像检测方法，其特征在于：所述步骤4中的深度学习网络为VGG-16网络。