CN110503638A - 螺旋胶质量在线检测方法 - Google Patents

Abstract

本发明涉及一种螺旋胶质量在线检测方法，将螺旋胶质量检测标准分为三级，一级检测缺陷即检测螺旋胶的连续性、溢胶、螺旋胶变形等，二级检测螺旋胶的胶宽，三级检测螺旋胶的胶量。运用OPENCV视觉库预处理实时采集的螺旋胶图片，一级检测时将采集的数据分成四类，分别为正常螺旋胶、断胶螺旋胶、溢胶螺旋胶、变形螺旋胶，通过改进CaffeNet网络模型训练数据，达到检测缺陷的目的；二级检测时通过Canny边缘检测算法识别分割图像中螺旋胶边缘，从而根据边缘点的坐标信息计算出胶宽；三级检测时运用像素投影的方法，计算出竖直方向上代表螺旋胶的像素点累计值，计算出螺旋胶的胶量。本发明方法能够较好的解决螺旋胶质量检测问题。

Description

螺旋胶质量在线检测方法

技术领域

本发明涉及一种检测技术，特别涉及一种基于CaffeNet网络模型及机器视觉的螺旋胶质量在线检测方法。

背景技术

螺旋胶是涂胶过程中机器人在螺旋式轨迹下运行后的胶条形状。在汽车生产中，螺旋式涂胶是一种比较常见的涂胶工艺，目的是保证胶条连续性，同时又达到该工位需求的涂胶量，该方法极大的提高涂胶效率，避免来回涂胶造成的位置偏差、检测困难、耗时长等缺点。随着越来越多的涂胶机器人使用，涂胶环节越来越自动化，传统涂胶质量检测手段已经满足不了自动化涂胶工艺，且涂胶质量对产品有着至关重要的影响。因此涂胶自动检测技术成为涂胶工艺中至关重要环节，涂胶检测主要对涂胶过程中出胶量、涂胶速度、涂胶位置、胶的宽度、胶条连续性等进行测量，并与质量标准对比是否达到要求，不同车型、涂胶工位、涂胶位置的涂胶要求都有差别。

传统的涂胶检测方法自动化程度低，主要是由人工检测和离线检测：人工检测，涂胶时，现场的质量检查员运用检测工具如钢直尺、游标卡尺等，通过与生产工艺中的质量检测要求对比进行测量。质检员测量经验不同影响着测量时间及测量结果准确性，很难达到检测结果整齐划一的质量要求，同时工作人员在测量工位操作时，现场具有一些的不确定因素，影响着质检人员的安全。离线监测是将涂胶完的工件成品置于事先布置好的检测环境下进行检测，该检测方法具有一定的局限性，只适用于体积较小、质量较轻的零件，对于汽车白车身类似的大型焊装件不适用。离线检测出质量问题时的返工件处理也十分的耗时耗力，成本较高。

发明内容

本发明是针对涂胶机器人应用越来越广泛，涂胶轨迹越来越复杂，现在检测手段跟不上的问题，提出了一种螺旋胶质量在线检测方法，为汽车制造业提高涂胶质量、增加生产效率、降低人力成本。

本发明的技术方案为：一种螺旋胶质量在线检测方法，包括如下步骤：

1)对螺旋胶质量在线检测的相机进行标定，并误差分析，标定精度；用标定后相机对待测螺旋胶进行图像数据采集；

2)图像预处理：对步骤1)图像数据进行预处理，分割出有效螺旋胶图像，预处理依次包括ROI提取、图像滤波处理、图像二值化处理、形态学处理；

3)检测一：缺陷检测，首先采集正常类、变形类、断胶类、溢胶类四类螺旋胶图片作为训练模集，每类在不同视野与光照情况下取相同张数图片做训练集，将训练集送入改进CaffeNet网络模型训练进行缺陷检测识别训练，改进CaffeNet网络模型依次包括预处理层、卷积层和全连接层，预处理层依次包括ROI提取、图像滤波处理、图像二值化处理、形态学处理；预处理层输出图像数据送入卷积层后输出输出256个特征映射图，全连接层中FC6、FC7和FC8层神经元数量依次分别为256、256、4，FC8有Softmax分类器，输出分类概率；最后训练后的模型对步骤1)待测螺旋胶的缺陷进行识别；

4)检测二：胶宽检测，首选将步骤2)预处理后的图像进行Canny边缘检测，边缘检测算法依次包括：滤波处理消除噪声，计算像素点梯度，判定局部极大值，双阈值检测；接着在带边缘线图像上按螺旋划分区域，计算每个区域内边缘线与中心线相交点中的最远距离的两点的坐标距离即为该区域内的胶宽；最后统计该图像的最大胶宽、最小胶宽、平均胶宽与标准模板比较，确定胶宽是否合格；

5)检测三：胶量检测，首先定义总胶量为步骤2)采集的待测螺旋胶图像数据预处理后黑色区域，即为螺旋胶在二维平面所占面积；螺旋胶的胶量计算与胶宽计算类似，先将预处理后图片黑色像素点竖直投影到水平方向，接着计算竖直方向上累积黑色像素点外轮廓距离，取最大值、最小值、与平均值，最后与标准模板库中的胶量范围比对，确定胶量是否合格。

本发明的有益效果在于：本发明螺旋胶质量在线检测方法，可以为国内在该领域研究增砖添瓦，扩展机器视觉在线检测技术在国内的发展；对于国内的整车制造厂商来说，不仅能够提供高精度的在线检测效果，还能提高汽车生产的效率为厂商降低了劳动成本，减轻劳动人员的工作强度，改善工作环境；将螺旋胶质量在线检测方法运用到实际生产线中，便于实现制造自动化，为汽车生产提供助力；在有关涂胶的传统机器视觉检测领域做出创新，将卷积神经网络运用到螺旋胶识别和缺陷检测中，提高了检测效率。

附图说明

图1为本发明部分标定图像；

图2为本发明相机标定过程图；

图3为本发明MATLAB上标定时标定图片与相机空间位置对应关系图；

图4为本发明相机标定后的重投影误差图；

图5为本发明ROI提取示意图；

图6为本发明中值滤波处理前后对比图；

图7为本发明OTSU最大类间方差法二值化效果图；

图8为本发明形态学处理前后对比效果图；

图9为本发明改进后的CaffeNet网络模型结构图；

图10为本发明数据集分类图；

图11为本发明CaffeNet网络模型改进前后损失值变化对比图；

图12为本发明CaffeNet网络模型改进前后分类准确率变化对比图；

图13为本发明位边缘检测前后效果图；

图14为本发明划分区域示意图；

图15为本发明螺旋胶预处理后竖直投影效果图。

具体实施方式

基于CaffeNet网络模型及机器视觉的螺旋胶质量在线检测方法的具体步骤如下：

第一步：对螺旋胶质量在线检测系统搭建的硬件平台上的相机进行标定，采集15幅标定图像，图1所示为部分标定图像，图像大小为1280×960，标定板与相机的距离为140mm，标定板棋盘格大小为3mm×3mm，每采集一张标定板图片后，人为调整标定板的角度、方向、位置等，并保持标定板在相机覆盖视野范围内。标定板选型时要注意控制标定板大小能够占相机视野大部分空间，且棋盘格数量要多，标定时能提高精度。基于VisualStudio2015和MATLAB2014平台对相机标定并做误差分析，通过OPENCV视觉库相关图像处理函数，运用张正友相机标定方法对采集的15张图片标定，在MATLAB2014平台标定后做误差分析。图2为相机标定过程图。图3表示在MATLAB上标定时标定图片与相机空间位置对应关系。通过对比两者标定结果，误差在可接受范围内。通过重投影误差显示相机标定结果精度。图4为相机标定后的重投影误差图，图中所示重投影误差大部分均小于0.3个像素，标定结果精确，达到检测要求。

第二步：对原始图片预处理，理论上螺旋胶图片中出现的干扰信息越少，检测结果越准确。图5为ROI(region of interest，感兴趣区)提取示意图，选择矩形剪裁，其优势在于现在大部分图像处理方法和理论技术都是基于矩形建立，因此选用矩形剪裁框更加有利于后续的图像处理。

中值滤波运用了典型的非线性统计排序滤波器对图像进行处理，将像素点周围像素的灰度值进行排序，取其中值来替代该像素点的灰度，中值滤波能够有效地去除椒盐和脉冲噪声，并且保留图像边缘。图6中左图和右图分别为中值滤波前后对比图。

二值化处理选用全局阈值二值化的方法对螺旋胶ROI图像进行预处理。实现方法双峰法、最大类间方差法(OTSU)等。由于最大类间方差法(OTSU)将双峰法寻找阈值进行改进，且二值化效果比双峰法好，因此只对最大类间方差法做简单介绍，在图像的直方图中寻找波谷确定阈值T，将图片中所有像素点的灰度值与阈值T比较大小，分成两部分，在将这两部分中的灰度值求取方差和类间方差，最后比较两者之间的关系，寻找出最佳阈值即方差比最大时的阈值。图7为OTSU最大类间方差法二值化的效果图，从图片中可以明显观察到能够清晰的分割出螺旋胶区域即为图片中的黑色区域，便于后续的算法处理。

形态学处理，其中开运算与闭运算是运用腐蚀与膨胀的先后转换从而达到处理二值图片的目的。开运算即先腐蚀再膨胀，达到消除二值图片中的白色小空洞，一些离散的白点或者面积较小的干扰物，不影响目标物面积前提下同时达到平滑其边缘的目的，其公式为：

为二值开运算，先进行腐蚀处理，后再进行膨胀的处理；结构元为E；Θ为腐蚀运算；⊕为膨胀运算。

闭运算(I·E)是先进性膨胀处理再进行腐蚀处理，可以平滑目标物边缘并且消除二值图片中的黑色小面积区域等，公式为：

I·E＝{I⊕E}ΘE

形态学处理前后对比效果图如图8所示，图8中左边为二值化效果图，右边为先经过开运算，再经过闭运算后的效果图，能够有效的修正螺旋胶图像。

第三步：基于改进CaffeNet网络模型的螺旋胶缺陷检测，改进后的CaffeNet网络模型结构包括九层，图9为其结构示意图，改进点有两处，依次为添加了预处理P0以及修改全连接层大小。其中C1到C5为卷积层，FC6到FC8为全连接层，C1和C2层包含卷积(conv)、激活(relu)、下采样(pool)、局部响应归一化(norm)四个阶段，C1有96个卷积核，大小为11*11，步长为4，下采样步长为2，输出96个特征映射图，大小为27*27；C2有256个卷积核，大小为5*5，步长为1，下采样步长为2，输出256个特征映射图，大小为13*13。C3和C4包含两个阶段分比为卷积、激活，且都有384个卷积核，大小为3*3，步长为1，输出384个特征映射图，大小为13*1。C5包含卷积、激活和下采样阶段，有256个卷积核，大小为3*3，步长为1，下采样步长为2，输出256个特征映射图，大小为6*6。FC6到FC8层神经元数量为256，256，4，F8有Softmax分类器，输出分类概率。

接着开始训练数据，先将数据集分为4类(这里的数据集是没有预处理的图像数据)，每类在不同视野与光照情况下取400张图片做训练集，100张图片作为测试集。所有图片训练时会经过翻转，剪裁等处理，每类图片如下图10所示，第一类为正常螺旋胶图片，第二类为变形螺旋胶图片，第三类为溢胶螺旋胶或涂胶量过多的螺旋胶图片，第四类为断胶螺旋胶图片。然后进行训练参数设：学习率0.1，训练次数500次，迭代100次测试正确率，50次保存一次训练模型。参数在CaffeNet模型slover.prototxt中调整。最后得出训练结果，CaffeNet网络模型改进前后损失值变化对比如图11所示，模型分类准确率变化对比如图12所示。

将对待测螺旋胶图像数据送入训练后的CaffeNet网络模型进行螺旋胶缺陷检测，得到螺旋胶类型。

第四步：胶宽检测，首选将预处理后的图像进行Canny边缘检测，边缘检测算法依次包括：滤波处理消除噪声，计算像素点梯度，判定局部极大值，双阈值检测。边缘检测前后的效果图如图13所示，右边带边缘线的图为边缘检测后效果，接着在带边缘线图像上按螺旋划分区域计算每个区域内边缘线与中心线相交点中的最远距离的两点的坐标距离即为该区域内的胶宽，如图14所示为划分区域示意图。最后统计该图片的最大胶宽、最小胶宽、平均胶宽与标准模板比较，确定胶宽是否合格。

第五步：胶量检测，首先定义总胶量为螺旋胶预处理后黑色区域即为螺旋胶在二维平面所占面积。螺旋胶的胶量计算与胶宽计算类似，先将预处理后图片黑色像素点竖直投影到水平方向，接着计算竖直方向上累积黑色像素点外轮廓距离，取最大值、最小值、与平均值，最后与标准模板库中的胶量范围比对，检测胶量是否合格。图15为螺旋胶预处理后竖直投影效果图。

第六步：螺旋胶质量在线检测系统的硬件平台搭建的目的是模拟焊装车间涂胶机器人涂胶流程，为检验视觉系统可行性提供实验平台。整个硬件系统主要负责数据采集、传输、存储和输出，包括螺旋胶图像采集，工控机对机器人状态的信息的接收和储存，螺旋胶图像检测结果分析并显示在显示器中并将结果保存到本地等。在硬件系统上进行算法验证，证明了本文算法的可靠性与稳定性。

Claims (1)

1.一种螺旋胶质量在线检测方法，其特征在于，包括如下步骤：

1)对螺旋胶质量在线检测的相机进行标定，并误差分析，标定精度；用标定后相机对待测螺旋胶进行图像数据采集；

2)图像预处理：对步骤1)图像数据进行预处理，分割出有效螺旋胶图像，预处理依次包括ROI提取、图像滤波处理、图像二值化处理、形态学处理；

3)检测一：缺陷检测，首先采集正常类、变形类、断胶类、溢胶类四类螺旋胶图片作为训练模集，每类在不同视野与光照情况下取相同张数图片做训练集，将训练集送入改进CaffeNet网络模型训练进行缺陷检测识别训练，改进CaffeNet网络模型依次包括预处理层、卷积层和全连接层，预处理层依次包括ROI提取、图像滤波处理、图像二值化处理、形态学处理；预处理层输出图像数据送入卷积层后输出输出256个特征映射图，全连接层中FC6、FC7和FC8层神经元数量依次分别为256、256、4，FC8有Softmax分类器，输出分类概率；最后训练后的模型对步骤1)待测螺旋胶的缺陷进行识别；

4)检测二：胶宽检测，首选将步骤2)预处理后的图像进行Canny边缘检测，边缘检测算法依次包括：滤波处理消除噪声，计算像素点梯度，判定局部极大值，双阈值检测；接着在带边缘线图像上按螺旋划分区域，计算每个区域内边缘线与中心线相交点中的最远距离的两点的坐标距离即为该区域内的胶宽；最后统计该图像的最大胶宽、最小胶宽、平均胶宽与标准模板比较，确定胶宽是否合格；

5)检测三：胶量检测，首先定义总胶量为步骤2)采集的待测螺旋胶图像数据预处理后黑色区域，即为螺旋胶在二维平面所占面积；螺旋胶的胶量计算与胶宽计算类似，先将预处理后图片黑色像素点竖直投影到水平方向，接着计算竖直方向上累积黑色像素点外轮廓距离，取最大值、最小值、与平均值，最后与标准模板库中的胶量范围比对，确定胶量是否合格。