CN108537808A - 一种基于机器人示教点信息的涂胶在线检测方法 - Google Patents

Abstract

本发明公开了一种基于机器人示教点信息的涂胶在线检测方法，将机器人涂胶轨迹中的胶枪头轨迹点作为示教点信息，通过该先验信息，提取胶条轮廓，本方法包括以下步骤：示教点坐标转换，将示教点坐标信息转换到图像坐标系下；示教点位置校正，将涂胶外部的示教点校正到内部；示教点插值运算，选取关键点，关键点包括起始点、待搜索点、终止点；利用上述步骤中得到的关键点，在沿涂胶方向，采用卷积算法提取涂胶图像的边界；对检测到的边界利用追踪方法进行边界校正；从而实现对被涂胶条边缘的提取，直观分析胶条的连续性。

Description

一种基于机器人示教点信息的涂胶在线检测方法

技术领域

本发明涉及涂胶检测领域，具体而言，涉及一种基于机器人示教点信息的涂胶在线检测方法。

背景技术

随着制造业工艺的不断进步和对产品质量需求的不断提高，涂胶检测技术已经广泛地应用于各大制造企业中。涂胶质量检测的好坏直接影响到厂商的信誉、产品的性能及使用者的人身安全。近年来，图像处理技术日新月异，发展迅速，是目前较为主流的目标检测方法，基于机器视觉的在线检测技术现已广泛地应用于国防、医学、电子、烟酒、包装、食品等多个领域的检测，通过研究基于视觉的涂胶检测技术，可进一步改善现阶段涂胶错检率较高的现状。

基于视觉的涂胶质量在线检测技术可以提高检测准确率的同时并保证高检测效率。对于汽车生产企业而言，可大量的减少企业的人力成本，从而减少企业的投资成本，且以机器人代替人力，减轻工作人员的工作强度，改善工作环境，提高检测的质量，为企业带来一定的经济价值和效益。

在机器人涂胶检测过程中，机器人末端装有夹具，相机和胶枪固定在机器人末端的夹具上，当机器人移动涂胶时，相机、胶枪头也同步跟着移动，胶枪头将涂胶涂在工件表面；相机实时采集涂胶图像，通过视觉检测算法处理图像，实现对涂胶连续性、胶宽进行自动化测量。

机器人示教指的是在人工参与指导下，通过编程的方式与机器人通信，让机器人记录下所要经过和停留的空间位置坐标，并设置一定的移动方式，包括移动速度、移动加速度、停留时间等参数，组合成机器人的移动路线，事先设定好的空间坐标点称之为示教点。根据机器人涂胶的特点，示教信息能够直接定位涂胶检测位置，缩小检测范围。

现有的涂胶检测方法中，直接利用边缘检测、灰度分析等图像处理算法对涂胶质量进行检测，检测结果容易受到背景信息干扰。

发明内容

为了解决上述问题，在机器人涂胶过程中，根据机器人涂胶工业特点，本发明提出了一种基于机器人示教点信息的涂胶在线检测方法，机器人在涂胶过程中，实时传输位姿信息，由于胶枪与相机相对静止，故胶枪头在视野中的位置是固定的，将胶枪头涂胶轨迹路线上的离散点，作为本发明方法中的示教点先验信息，进行涂胶质量检测，本发明检测方法包括如下步骤：

胶枪头在每幅图像中的位置为已知，这些离散的位置点即可作为本发明检测方法中的先验信息，利用坐标转换关系获得图像中的示教点位置。

步骤a、示教点坐标转换：

通过标定过程，将机器人坐标系下的示教点的三维坐标点，转换成相机坐标系下的二维坐标；所述标定过程包括机器人手眼标定、相机标定。

步骤b、示教点校正:

1)根据灰度值判断初始示教点是否需要校正：以相邻两示教点的连线作为中心线，分别向两侧选取相同大小的区域，计算出两侧区域对应的的最小灰度值；选取胶枪头处一点，计算出以该点为中心的邻域U(8)的平均灰度值；

若两侧区域对应的的最小灰度值与平均灰度值相近，则认为在示教点两侧区域内的点是涂胶内部的点，否则为背景点，认为所述中心线已经偏出涂胶，需要进行校正；

2)校正示教点：若判断中心线已经偏离涂胶，且至少有一侧区域内的点是涂胶内部的点，则将示教点移到此涂胶内部区域内，使其符合是涂胶内部的点，完成示教点校正；

否则若两侧区域都没有涂胶内部点，则认为此处为断胶；

3)对其余的示教点依次进行迭代,将所有示教点校正到涂胶内部；

进一步的，根据涂胶轨迹的曲率，采用插值法对示教点进行插值运算，且涂胶轨迹曲率越大，差值次数越多。

对于一些曲率较大的涂胶，有限的示教点不能很好地表现出涂胶的形状，因此，对示教点进行适量的插值，可使示教点拟合的效果更佳。

步骤c、关键点的选取:

关键点主要包括起始点、搜索点(即校正、差值后的示教点)、终止点。

采用微分的思想，将涂胶划分为多段，以每段边缘的位置，即沿涂胶方向的直线段代替涂胶的真实边缘，由于弯曲的线段是由更多的直线段组成，涂胶的弯曲程度影响划分的区域个数，以插值运算后的示教点连线的曲率表示涂胶的弯曲程度。

选取校正后n个示教点中机器人位姿反馈时间最早的示教点作为起始点，机器人位姿反馈时间最晚的示教点作为终止点，计算涂胶的平均曲率；

将所有校正后的示教点按时间反馈顺序进行首尾相接求出涂胶轨迹线，对涂胶轨迹线进行采样，选取出涂胶的关键点；

步骤d、提取涂胶图像的边界:

由于涂胶的形状是任意的，而求涂胶的灰度、梯度分布时，应该沿着涂胶的方向做投影统计，使用卷积的方法，实现图像特征的提取。

从起始关键点开始，在沿涂胶的法线方向上，以相邻两关键点的连线作为中心线，分别向两侧选取相同大小的区域，在两个区域内做卷积运算；并在其余关键点的两侧区域依次进行卷积运算，得出灰度、梯度的特征；

计算所有关键点两侧区域的平均灰度值，从起始关键点开始向两侧区域内寻找灰度值大于平均灰度值的位置，形成新区域，形成新区域U_scl，U_scr；

计算新区域U_scl、U_scr的最大梯度值，则最大梯度值所在的点为区域U_scl、U_scr内涂胶的左右边界的位置；

对其余关键点连线的两侧区域重复上述计算过程，寻找不同区域内的边界位置，直到求出所有区域的边界；

步骤e、基于追踪的方法对涂胶边界位置校正：

1)将上述步骤检测出的边界区域分为n段，设置上、下边界的容错区域，即上、下边界的检测结果在容错区域内部的，则认为是涂胶边界检测正常的；若检测边界在容错区域外部的，即认为是涂胶边界检测有误或者涂胶质量有问题；

2)由于相邻涂胶段的边界是连续的，相邻涂胶段的检测边缘的位置应该是十分接近的，基于这一特征，对检测边界在容错区域外部的涂胶段进行边界位置校正：

所述边界位置校正首先从检测结果中选出检测结果为正常的涂胶段，以该涂胶段为起始点，分别向前和向后两个方向依次校正；

3)所述向前校正，首先选取当前的涂胶段d_j{j∈[1,n]}和前一段的涂胶段d_j-1{j-1∈[1,n]}，计算当前相邻两段的上边界的差值和下边界的差值；

设置阈值，若上边界的差值超出阈值，则需要校正第j-1段上边界的检测边界，若下边界的差值超出阈值，则需要校正第j-1段下边界的检测边界；反之，则认为第j-1段的边界检测正确；

若第j-1段需要校正，则应该以第j段的检测结果为基础，校正上边界检测结果时，寻找边缘可能出现跳变的距离峰值，以此距离峰值为范围，划定上边界的搜索区域，在该搜索区间内寻找最大梯度，作为最可能是上边界的位置，替换掉检测错误的上边界；同理，校正下边界检测结果时，同样，划定下边界的搜索区域，寻找最大梯度位置替代检测错误的下边界；

4)所述向后校正，首先选取当前的涂胶段和后一段的涂胶段，计算当前相邻两段的上边界的差值和下边界的差值；并重复步骤3)过程；

5)重复上述步骤，对[j+1,n]涂胶段进行校正，完成整个涂胶的校正。

综上所述，本发明与现有技术中相比，具有的优点和积极效果是：

在机器人涂胶过程中，本检测方法可以依据示教点作为先验信息对涂胶轨迹进行快速定位，通过对示教点的校正、插值以及关键点选取，较少涂胶轨迹误差，进一步通过卷积运算获取图像特征，提取涂胶轮廓，最后对检测轮廓分段进行修正，完成对涂胶轨迹的准确分析，直观获取被涂胶条的质量，本方法采用视觉检测原理，能够对机器人涂胶进行自动化测量，完成对涂胶质量的分析。

附图说明

图1是本发明方法流程示意图；

图2是示教点连线示意图；

图3是根据示教点计算曲率图；

图4卷积区域示意图

图5是灰度投影图；

图6是梯度投影图；

图7是追踪模型示意图。

具体实施方式

在机器人涂胶过程中，将相机和胶枪固定在机器人末端的夹具上，当机器人移动涂胶时，相机、胶枪头也同步跟着移动；机器人末端装有夹具，夹具上安装着胶枪，经过计算后的移动坐标，可使机器人将涂胶涂在物体指定的位置上，根据机器人涂胶工业特点，本发明提出了一种基于机器人示教点信息的涂胶在线检测方法，现给出如下实施例加以阐述，如图1所示，本实施例中，包括以下步骤:

步骤a、示教点坐标转换：

通过机器人手眼标定、相机标定，将机器人坐标系下的示教点的三维坐标点，转换成相机坐标系下的二维坐标；

胶枪是不断移动的，每张图片中涂胶的灰度分布是不同的，而胶枪头处的灰度值与涂胶灰度值大致相近。由于胶枪与相机相对静止，故胶枪在视野中的位置是固定的，示教点是胶枪在机器人的控制下计划行走的路线，而实际涂胶轨迹与示教点有所差异，因此对示教点进行校正。

本实施例中，基于机器人涂胶的特点，根据机器人实时传送位姿信息，将胶枪涂胶示教点作为有效的先验信息。

步骤b、示教点校正:

(1)计算灰度值：如图2所示，以相邻两示教点P_ct的连线作为中心线，分别向左、向右选取相同大小的区域U_l、U_r，L表示区域的长度，W_g表示涂胶的宽度，L＝2W_g，以确保涂胶在搜索区域内，同时缩小搜索范围，提高效率。

基于涂胶的平均灰度值比背景灰度值低的特性，计算出左、右区域的最小灰度值G_minl、G_minr；胶枪是不断移动的，每张图片中涂胶的灰度分布是不同的，而胶枪头处的灰度值与涂胶灰度值大致相近，选取胶枪头处一点Obj_gh，计算出以Obj_gh为中心的邻域U(8)的平均灰度值G_mean；

如下面公式所示，若G_minl、G_minr与G_mean相近，则认为在区域U_l、U_r内的点P(G_meanl)、P(G_meanr)是涂胶内部U_g的点，否则P(G_meanl)、P(G_meanr)为背景点U_bg，认为所述中心线已经偏出涂胶，需要进行校正；

(2)示教点校正：若判断中心线已经偏离涂胶，且P(G_meanl)、P(G_meanr)至少有一个是涂胶内部的点，将示教点移到P(G_meanl)、P(G_meanr)较小的一边，使其符合是涂胶内部的点，完成示教点校正；否则认为此处为断胶；

利用上面公式，对其余的示教点依次进行迭代，将示教点全部校正到涂胶轨迹上；

(3)示教点插值：据涂胶轨迹的曲率，采用线性插值法对示教点进行插值运算，线性插值是一种较为简单的插值方法，其插值函数为一次多项式。

步骤c、关键点的选取:

选取校正后n个示教点P_ct中机器人位姿反馈时间最早的示教点作为起始点P_cts及相邻点和机器人位姿反馈时间最晚的示教点P_ctl及相邻点，如图3所示,根据它们的角度差b及P_cts到P_ctl的弧长为ΔS，计算涂胶的平均曲率K；

将所有校正后的示教点P_ct按远近顺序进行首尾相接求出示教线，对示教线进行采样，选取出涂胶的关键点KP_ct；

其中，分段个数

步骤d、提取涂胶图像的边界:

使用卷积的方法，实现图像特征的提取，图像的卷积运算实际上是在图像中分割出与模板尺寸一样大小的像素块，使像素块中的像素点与模板对应部分相乘并求和。不同的卷积核对图像进行卷积操作可以实现不同的功能，常用的卷积核可实现锐化图像、边缘检测、浮雕滤波、高斯滤波、运动模糊等功能。

由信号频谱分析可知，用一个模板对图像做卷积运算等价于模板的傅里叶变换去乘图像的傅里叶变换，从而实现图像处理的目的，不同的卷积核可得到不同的处理效果。涂胶边缘的方向与涂胶方向一致，因此在处理每一个区域时，应沿涂胶的法线方向分析其灰度、梯度的特征。

(1)设计卷积核：求涂胶图像沿涂胶的法线方向的灰度和梯度投影，根据该方向的斜率进行设计卷积核的参数和尺寸，卷积核的宽度为W，高度为H，投影方向为θ，则灰度投影和梯度投影的卷积核应该满足

从离胶枪头最近的初始点开始，沿示教线方向，选取相邻关键点KP_cti和KP_cti+1，由于涂胶的角度不是90度，选取区域U_cl代替U_l，U_cr代替U_r，如图4所示：确定左右区域U_cl、U_cr，分别在U_cl、U_cr内作卷积计算，求出该区域内涂胶的两侧边缘，两点的距离d，倾角为θ，则区域U_cl和U_cr的高度h＝d×sinθ，选取灰度投影的卷积核M1为高度h，宽度为

设涂胶两侧的图像区域分别为fu_cl与fu_cr，根据下面公式对其卷积，其中M为卷积核：

图像区域尺寸为L×h，卷积核尺寸为w×h，卷积结果为1×L，即为沿涂胶方向的灰度投影，则区域U_cl+U_cr的卷积结果如图5所示。

选取梯度投影的卷积核M2为高度h，宽度为

进行卷积，图像区域尺寸为L×h，卷积核尺寸为w×h，卷积结果为1×L，即为沿涂胶方向的梯度投影，则区域U_cl+U_cr的卷积结果如图6所示。

由图5可以看出，涂胶灰度分布整体偏低，条纹阴影的灰度值略高于涂胶，由图6可以看出条纹阴影与背景的边界远比条纹与涂胶的边界明显。可先通过灰度分布特征将非白色背景的区域筛选出来，再根据梯度投影特征找到涂胶与条纹的边界。

(2)求出区域U_cl和U_cr的平均灰度值M_cl，M_cr，从KP_ct开始向左和向右寻找灰度值大于M_cl和灰度值大于M_cr的位置A_cl，A_cr，构成新区域U_scl，U_scr；

求出新区域U_scl、U_scr的最大梯度值GMax_scl、GMax_scr，则GMax_scl与GMax_scr所在的点为区域U_scl、U_scr内涂胶的左右边界的位置；

对其余关键点的左右区域重复上述步骤，直到求出所有区域内的边界；

步骤e基于追踪的方法对涂胶边界位置校正

涂胶检测错误分为三种情况，第一种检测错误是涂胶本身质量有问题，在机器人涂胶的时候由于各种因素，导致涂胶在涂抹的时候涂抹不均匀，导致涂胶过于粗或者过于细。第二种情况是涂胶周围的阴影条纹分布严重，其灰度分布与涂胶十分接近，且涂胶与条纹阴影有直接的交集，即涂胶与条纹阴影无明显的分界线，从而导致涂胶边界检测错误，把条纹阴影的外边界当成了涂胶的边界，使得涂胶边界检测宽度过于大，如图7中d1，d2，d5等区域。第三种情况是涂胶内部有反光现象，且反光区域较大，在某一段的检测区域看，反光区域已经把涂胶分为两半，被分为两半的涂胶由于在灰度上分布一致，白色的反光区域使得涂胶的一半被误认为是条纹阴影，因此，检测涂胶边界的宽度过于小，如d6等。

对于错误情况，设计一种对检测结果进行校正的涂胶边界追踪校正算法，具体步骤如下:

(1)将检测的边界区域分为n段，用d_i{i＝1,2,3,...,n}表示，每一段上边界检测结果为di_a{i＝1,2,3,...,n}，每一段的下边界检测结果为di_b{i＝1,2,3,...,n}，设置上、下边界的容错区域分别为C1、C2，即检测结果在容错区域C1、C2内部的，即认为是涂胶边界检测正常的，若检测边界在C1、C2外部的，即认为是涂胶边界检测有误或者是涂胶边界检测正确而涂胶质量有问题。

(2)由于相邻涂胶段的边界是连续的，相邻涂胶段的检测边缘的位置应该是十分接近的，基于这一特征，对检测边界在容错区域外部的涂胶段进行边界位置校正：

首先从检测结果中选出检测结果在正常容错区域C1、C2内的涂胶段，以该涂胶段为起始点，分别向前和向后两个方向依次校正；

(3)对于向前校正，首先选取当前的涂胶段d_j{j∈[1,n]}和前一段的涂胶段d_j-1{j-1∈[1,n]}，计算当前相邻两段的上边界的差值dd_a和下边界的差值dd_b；

不管涂胶质量是否有问题，相邻涂胶段的边界是连续的，相邻涂胶段的检测边缘的位置应该是十分接近的，通过第j-1段和第j段的检测边界相比较，且由于第j段是认为检测正常的，所以若第j-1段和第j段的检测结果差异很大，则认为第j-1段是检测有误的，需要进行校正。

根据相机像素和实际涂胶情况，设置阈值ε，若dd_a＞ε，则需要校正第j-1段上边界的检测边界，若dd_b＞ε，则需要校正第j-1段下边界的检测边界；反之，则认为第j-1段的边界检测正确；

若第j-1段需要校正，则应该以第j段的检测结果为基础，校正上边界检测结果时，划定区域[dj_a-Ω,dj_a+Ω]，Ω是边缘可能出现跳变的距离峰值；在该区间内寻找最大梯度作为最可能是边界的位置dj_a'，并令dj_a＝dj_a'；同理，校正下边界检测结果时，划定区域[dj_b-Ω,dj_b+Ω]，Ω是边缘可能出现跳变的距离峰值；在该区间内寻找最大梯度作为最可能是边界的位置dj_b'，并令dj_b＝dj_b'；

以上完成了第j-1段的校正，若j-1＞1，则j＝j-1，对第j-2段涂胶进行校正，直到j＝1为止，将标准涂胶段dj段以前的全部校正完毕；

(4)所述向后校正，首先选取当前的涂胶段和后一段的涂胶段，计算当前相邻两段的上边界的差值和下边界的差值；并重复步骤(3)过程；

(5)以此类推，重复上述步骤，对[j+1,n]涂胶段进行校正，完成整个涂胶的校正。

根据本实施例检测过程，提取出的涂胶边缘，能够直观判断胶条是否存在断胶，经过对胶条边缘的像素坐标计算，能够得到所涂胶宽，实现对胶条质量的判断。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种基于机器人示教点信息的涂胶在线检测方法，其特征在于，所述涂胶检测方法包括如下步骤：

步骤a、示教点坐标转换：

通过标定过程，将机器人坐标系下的示教点的三维坐标点，转换成相机坐标系下的二维坐标；

步骤b、示教点校正:

1)根据灰度值判断初始示教点是否需要校正：以相邻两示教点的连线作为中心线，分别向两侧选取相同大小的区域，计算出两侧区域对应的最小灰度值；选取胶枪头处一点，计算出以该点为中心的邻域U(8)的平均灰度值；

若两侧区域对应的的最小灰度值与平均灰度值相近，则认为在示教点两侧区域内的点是涂胶内部的点，否则为背景点，认为所述中心线已经偏出涂胶，需要进行校正；

2)校正示教点：若判断中心线已经偏离涂胶，且至少有一侧区域内的点是涂胶内部的点，则将示教点移到此涂胶内部区域中，使其符合是涂胶内部的点，完成示教点校正；

否则若两侧区域都没有涂胶内部点，则认为此处为断胶；

3)对其余的示教点依次进行迭代,将所有示教点校正到涂胶内部；

步骤c、关键点的选取:

选取校正后n个示教点中机器人位姿反馈时间最早的示教点作为起始点，机器人位姿反馈时间最晚的示教点作为终止点，计算涂胶的平均曲率；

将所有校正后的示教点按时间反馈顺序进行首尾相接求出涂胶轨迹线，对涂胶轨迹线进行采样，选取出涂胶的关键点；

步骤d、提取涂胶图像的边界:

从起始点开始，在沿涂胶的法线方向上，以相邻两关键点的连线作为中心线，分别向两侧选取相同大小的区域，在两个区域内做卷积运算；并在其余关键点的两侧区域依次进行卷积运算，得出灰度、梯度的特征；

计算所有关键点两侧区域的平均灰度值，从起始关键点开始向两侧区域内寻找灰度值大于平均灰度值的位置，形成新区域U_scl，U_scr；

计算新区域U_scl、U_scr的最大梯度值，则最大梯度值所在的点为区域U_scl、U_scr内涂胶的左右边界的位置；

对其余关键点连线的两侧区域重复上述计算过程，寻找不同区域内的边界位置，直到求出所有区域的边界。

2.根据权利要求1所述的一种基于机器人示教点信息的涂胶在线检测方法，其特征在于，所述步骤a中,所述示教点是胶枪在机器人的控制下计划行走的路线上的离散点，即胶枪头的涂胶轨迹点。

3.根据权利要求1所述的一种基于机器人示教点信息的涂胶在线检测方法，其特征在于，所述步骤b中还包括：根据涂胶轨迹的曲率，采用插值法对校正后的示教点进行插值运算，且涂胶轨迹曲率越大，差值次数越多。

4.根据权利要求1所述的一种基于机器人示教点信息的涂胶在线检测方法，其特征在于，所述涂胶检测方法还包括步骤：

步骤e、基于追踪的方法对涂胶边界位置校正：

1)将上述步骤检测出的边界区域分为n段，设置上、下边界的容错区域，即上、下边界的检测结果在容错区域内部的，则认为是涂胶边界检测正常的；若检测边界在容错区域外部的，即认为是涂胶边界检测有误或者涂胶质量有问题；

2)由于相邻涂胶段的边界是连续的，相邻涂胶段的检测边缘的位置应该是十分接近的，基于这一特征，对检测边界在容错区域外部的涂胶段进行边界位置校正：

所述边界位置校正首先从检测结果中选出检测结果为正常的涂胶段，以该涂胶段为起始点，分别向前和向后两个方向依次校正；

3)所述向前校正，首先选取当前的涂胶段d_j{j∈[1,n]}和前一段的涂胶段d_j-1{j-1∈[1,n]}，计算当前相邻两段的上边界的差值和下边界的差值；

设置阈值，若上边界的差值超出阈值，则需要校正第j-1段上边界的检测边界，若下边界的差值超出阈值，则需要校正第j-1段下边界的检测边界；反之，则认为第j-1段的边界检测正确；

若第j-1段需要校正，则应该以第j段的检测结果为基础，校正上边界检测结果时，寻找边缘可能出现跳变的距离峰值，以此距离峰值为范围，划定上边界的搜索区域，在该搜索区间内寻找最大梯度，作为最可能是上边界的位置，替换掉检测错误的上边界；同理，校正下边界检测结果时，同样，划定下边界的搜索区域，寻找最大梯度位置替代检测错误的下边界；

4)所述向后校正，首先选取当前的涂胶段和后一段的涂胶段，计算当前相邻两段的上边界的差值和下边界的差值；并重复步骤3)过程；

5)重复上述步骤，对[j+1,n]涂胶段进行校正，完成整个涂胶的校正。