CN108982546A - 一种智能机器人涂胶质量检测系统及方法 - Google Patents

Abstract

本发明公开了一种智能机器人涂胶质量检测系统及方法，检测系统包括双目立体定位装置，该模块由双目立体摄像机、光源、滤光片构成，主要用于涂胶之前的涂胶位置的定位；涂胶机器人装置，包括计算机控制系统、胶枪调节装置和胶枪、微型计算机，负责响应于双目立体模块所采集的信息而定位的涂胶位置；激光扫描组件，包括激光传感器和激光扫描仪，与双目立体定位装置和涂胶机器人装置进行通信，负责在涂胶前后分别进行三维点云建模，使用抽样特征点进行计算，获取涂胶过程中关键参数。本发明通过将机器视觉技术与机器人技术相结合，使机器人具有环境感知能力，提高产品涂胶表面处理的生产效率和生产质量。

Description

一种智能机器人涂胶质量检测系统及方法

技术领域

本发明设计属于机器人涂胶领域，具体涉及到一种智能机器人涂胶质量检测系统及方法。

背景技术

随着智能机器人技术的进一步普及与应用，工业机器人被应用到工业化进程的方方面面，诸如涂胶、焊接、搬运等。胶接材料的表面处理是整个胶接过程中最重要的工序之一，也是胶接成功与失败的关键。由于复杂的作业环境以及高精密的准确性以及稳定性，表面质量甚至直接取决于涂胶质量。涂胶机器人的优势在于能广泛应用于各类密封胶的涂胶需求，随着电子及控制技术的发展，自动涂胶设备逐步从简单的涂胶机演变为智能涂胶机器人系统。

对于涂胶工艺来说，涂胶厚度和均匀性是非常关键的质量参数，它直接影响到后续工艺的质量，从而影响产品的性能、成品率及可靠性等。当前的涂胶技术或者涂胶机器人技术仍有无法解决的问题，如涂胶厚度不均、涂胶均匀性差、涂胶位置定位不准确等问题。

发明内容

针对上述技术问题，本发明的目的在于提供一种智能机器人涂胶质量检测系统及方法，本发明通过将机器视觉技术与机器人技术相结合，使机器人具有环境感知能力，将机器人路径规划技术与视觉测量技术相结合，提高国防领域产品涂胶表面处理的生产效率和生产质量。

为实现上述目的，本发明是根据以下技术方案实现的：

根据本发明的一个方面，本发明提供一种涂胶机器人涂胶质量检测系统，其特征在于，包括：

双目立体定位装置(1)，所述双目立体定位装置(1)包含双目相机(11)、光源(12)，通过支架进行固定所述双目相机(11)和所述光源(12)，所述双目相机(11)用于对胶枪图像进行清晰拍摄；

涂胶机器人装置(2)，所述双目立体定位装置(1)安装于所述涂胶机器人装置(2)的末端，所述涂胶机器人装置(2)与所述双目立体定位装置(1)电性连接，所述涂胶机器人装置(2)响应于所述双目立体定位装置(1)采集的参数并通过机器人路径规划算法进行动作；

激光扫描组件(3)，所述激光扫描组件(3)分别与所述双目立体定位装置(1)和所述涂胶机器人装置(2)电性连接，所述激光扫描组件(3)将检测到的参数反馈至所述双目立体定位装置(1)和所述涂胶机器人装置(2)，通过所述支架进行固定所述激光扫描组件(3)。

上述技术方案中，所述涂胶机器人装置(2)包括机器人控制系统(21)、胶枪与胶枪调节装置(22)、微型计算机(23)，其中，通过微型计算机(23)对机器人控制系统(21)的运动路径监测进而控制胶枪与胶枪调节装置(22)。

上述技术方案中，所述的激光扫描组件(3)包括激光传感器(31)与激光扫描装置(32)，其中，通过调节激光传感器(31)与激光扫描装置(32)使得视角相交。

根据本发明的另一个方面，本发明提供一种涂胶机器人涂胶质量检测方法，根据上述的检测系统实现的，其特征在于，包括如下步骤：

步骤S1：对涂胶机器人装置(2)、双目立体视觉模块(1)、激光扫描组件(3)进行标定；

步骤S2：通过双目摄像机对输入图像进行采集和预处理操作并且对目标图像进行目标亚像素级边缘检测以及特征点抓取与坐标获取以实现目标定位，并对涂胶机器人进行初步的路径规划；

步骤S3：涂胶之前，利用激光扫描组件(3)对涂胶表面进行扫描，并选取基准点，构建表面轮廓，同时根据生成点的坐标集合进行进一步细化的机器人路径规划；

步骤S4：涂胶完成后进行二次扫描，生成由目标特征点构成的三位点云模型，根据统计学原理得出抽样的涂胶图像的特征点三维坐标；根据涂胶参数设定涂胶质量的评价体系，该评价体系用于对涂胶质量进行实时监测，当超出所给定阈值时，进行报警操作并自动进行定位；

步骤S5：使用两次扫描点云坐标对涂胶前后两次扫描所获取的特征点坐标进行代数运算，得出包括胶厚、均匀度的关键参数；

步骤S6:将涂胶前后所获取的涂胶路径坐标信息发送到所述的涂胶机器人装置(2)；

步骤S7：所述双目立体定位装置(1)和所述涂胶机器人装置(2)根据反馈的涂胶实时信息进行实时调整。

上述技术方案中，所述涂胶机器人装置(2)包括机器人控制系统(21)、胶枪与胶枪调节装置(22)、微型计算机(23)，其中，通过微型计算机监测机器人运动路径进而实现对胶枪与胶枪调节装置的控制。

上述技术方案中，所述的激光扫描组件(3)包括激光传感器(31)与激光扫描装置(32)，通过调节激光传感器(31)与激光扫描装置(32)使得视角相交。

相对于现有技术，本发明具有的有益效果是：

本发明涂前定位：针对高精密的检测需求，通过高斯-拉普拉斯边缘检测算法与三次插值方法进行亚像素级边缘提取，以获得精确地喷涂位置；

本发明采用手眼标定方法对机器人末端位姿进行标定，同时针对激光传感器进行激光标定，与所述的双目立体相机进行多方法融合标定，可最大程度的减小畸变；

本发明分别在涂胶前后进行两次涂胶，并分别生成表面点云模型，且依据统计学原理对点云坐标进行处理，筛选出特征点，依据特征点对前后两次坐标进行计算，从而进行关键参数的计算。

本发明在涂胶之前建立目标模型的标准信息库，在线实时检测，结合数据信息库中原有数据，对采集图像进行分析、处理与计算获得涂胶质量信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的智能机器人涂胶质量检测方法的简要示意图；

图2为卷积网络架构示意图；

其中，附图标记：1-双目立体定位装置，2-涂胶机器人装置，21-机器人控制系统，22-胶枪与胶枪调节装置，23-微型计算机；3-激光扫描组件，31-激光传感器，32-激光扫描仪。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本发明的一种涂胶机器人涂胶质量检测系统，包括：双目立体视觉定位模块(1)、涂胶机器人装置(2)以及激光扫描组件(3)。

其中，双目立体定位装置(1)被安装于涂胶机器人装置(2)末端，其中所述双目立体定位装置(1)包含双目相机(11)、光源(12)，通过支架或辅助装置进行固定所述双目相机(11)和所述光源(12)，并能保持与胶枪之间的相对位置关系，且足适用与拍摄涂胶部分的深度信息并进行数据分析，其主要根据视差原理来进行目标涂胶位置的确定，以实现较为精确的定位；所述双目相机(11)用于对胶枪图像进行清晰拍摄；

所述双目立体定位装置(1)仍然可通过对已涂胶位置进行取边缘特征点、中心线特征点等进行进一步定位；在该实施方案，在双目立体相机安装完成后应对双目立体相机进行标定，主要是获取双目相机获取相机的内参和外参，以减小图像畸变；并且对激光传感器进行激光标定法校正、以及对涂胶机器人末端进行位姿标定，使得相对坐标关系得到确定；准备工作完成，首先使用双目立体摄像机进行图像采集，并进行初步的图像预处理，能获取其关键的坐标信息，包含亚像素级别边缘信息、中心线拟合信息等；且于本实施方案中，信息获取成功后即可将信息发送至机器人控制系统，使之进行下一步操作。所述的实验实施方式，出于涂胶工艺的高精密性，所以采取一种基于高斯-拉普拉斯边缘检测算法以及三次差值方法的亚像素边缘提取方法，以便使该算法同时具备平滑、锐化、低噪音、高精度等优点，用插值函数近似恢复像边缘过渡区的一维连续光强函数，再根据亚像元边缘检测的理论，求出像边缘特征点的坐标。

涂胶机器人装置(2)与所述双目立体定位装置(1)电性连接，所述涂胶机器人装置(2)响应于所述双目立体定位装置(1)采集的参数动作；

参照图1，所述的涂胶机器人装置(2)包括机器人控制系统(21)、胶枪与胶枪调节装置(22)、微型计算机(23)。机器人控制系统(21)主要包含控制器以及示教盒。通过机器人控制系统以及微型计算机(23)实现涂胶机器人装置的互相通信，胶枪调节装置与胶枪末端的位姿信号通过信号线发送至涂胶机器人装置，通过微型计算机处理后，将信息与机器人控制系统通信，并使胶枪调节装置与胶枪响应于双目立体模块(1)发送的涂胶位置信息，并通过机器人控制系统进行求解处理，并根据此将信息发送至涂胶机器人装置，使之按照设定的动作进行操作。

激光扫描组件(3)分别与所述双目立体定位装置(1)和所述涂胶机器人装置(2)电性连接，所述激光扫描组件(3)将检测到的参数反馈至所述双目立体定位装置(1)和所述焊接机器人模块(2)，通过所述支架或所述辅助装置进行固定所述激光扫描组件(3)。

激光扫描组件(3)包括激光传感器(31)与激光扫描装置(32)，其中，激光传感器(31)与激光扫描仪(32)通过支架在胶枪位置进行安装，并分别与双目立体定位装置及涂胶机器人装置相通信；该模块主要负责在涂胶前后对目标区域进行扫描，使之形成三维点云模型，通过统计学方法进行“奇点”去除以及计算样本的选取，选择对应点的坐标位置进行运算，以此确定涂胶的关键参数，如胶厚、均匀度等；并且通过表面扫描，可确定所述的双目立体模块(1)的定位准确性，据此形成激光扫描的辅助反馈机制，并能实时通过指令与双目立体模块(1)、涂胶机器人装置(2)进行通信，实现精密的涂胶工序。

本发明提供一种涂胶机器人涂胶质量检测方法，包括如下步骤：

步骤S1：对涂胶机器人装置(2)、双目立体视觉模块(1)、激光扫描组件(3)进行标定以最小化畸变对涂胶质量检测精度的影响；

步骤S2：通过双目摄像机对输入图像进行采集和预处理操作并且对目标图像进行目标亚像素级边缘检测以及特征点抓取与坐标获取以实现目标定位，并对涂胶机器人进行初步的路径规划；

步骤S3：涂胶之前，利用激光扫描组件(3)对涂胶表面进行扫描，并选取基准点，构建表面轮廓，同时根据生成点的坐标集合进行进一步细化的机器人路径规划；

步骤S4：涂胶完成后进行二次扫描，生成由目标特征点构成的三位点云模型，根据统计学原理得出抽样的涂胶图像的特征点三维坐标；根据涂胶参数设定涂胶质量的评价体系，该评价体系用于对涂胶质量进行实时监测，当超出所给定阈值时，进行报警操作并自动进行定位；

步骤S5：使用两次扫描点云坐标对涂胶前后两次扫描所获取的特征点坐标进行代数运算，得出包括胶厚、均匀度的关键参数；

步骤S6:将涂胶前后所获取的涂胶路径坐标信息发送到所述的涂胶机器人装置(2)；

步骤S7：所述双目立体定位装置(1)和所述涂胶机器人装置(2)根据反馈的涂胶实时信息进行实时调整。

出于实际工作环境复杂性，以避免产生的反光、弧光等因素的影响对涂胶跟踪精度的影响以及对双目摄像机的硬件破坏，本实施方案通过对视觉系统加装专用颜色的滤光片以滤除杂光，以及安装专用漫反射光源，使得系统在较为理想状态下获取轨道光截曲面，采用背景校正、阈值分割技术对目标物体背景进行提取，排除其他干扰因素对检测结果的影响，最大可能减轻干扰因素对结果的影响，不仅增强了通过提高输入图像的清晰度来提高涂胶跟踪的精度，同时也使镜头与摄像机免受弧光的影响。所述的漫反射光源应当根据镜头及相机规模进行设计，以保证胶枪负载的情况下优化检测效果；所述的滤光片应当针对不同型材的涂胶根据其波长专门进行设计。

优选的，涂胶工作的效率与检测速度以及涂胶缺陷，包括涂胶位置、气泡、均匀性差、厚度不均等问题，针对此类问题，通过构建卷积网络，采用一种在线训练+在线修正的方式对模型进行反复训练，对典型的缺陷进行训练，增强系统的学习能力，智能的对缺陷进行分类、调整与预测，增强精准涂胶的准确度与可信度。其中部分算法如下：

其离散卷积定义为：

其离散的卷积公式为：

为了进一步减少运算数据量，降低网络训练时间，卷积神经网络采用了在卷积层后面连接一个下采样层的方式来减少数据量。下采样的基本原理是根据图像相对不变性的属性，对图像相邻区域的特征信息进行聚合统计。

图2为卷积网络架构示意图；如图2所示，通过构建卷积网络，使用在线训练+修正方式对模型进行反复矫正以增强系统学习能力；如图2所示，系统主要分为输入层InputLayer、输出层Output Layer以及隐藏层Hidden Layers，通过包含多层的隐藏层，能够提高网络的精度和表达能力。

本发明包括安全报警模块，给涂胶质量检测体系进行阈值设置，当反馈的涂胶跟踪信息与根据双目立体定位装置所给定信息想对比，当期偏差大于设定好的阈值时，则会对计算机控制系统发送警报，并进行下一步的精密校准。

该实施方案同时利用深度学习模型训练涂胶的不同涂覆表面，包括平面、球面及不规则表面等实现自主智能化识别，并且可同时实现多角度、多平面、或多个涂胶位置同时进行涂胶工作。

具体来说，本发明在使用时，首先在机器人末端进行双目摄像机、光源、滤光片、以及激光传感器、激光扫描仪的安装，优化模块安装位置，使之能对胶枪末端进行拍摄与扫描；其次通过双目立体相机对标定信息进行采集，进行双目标定；对涂胶机器人末端进行手眼标定；同时对激光传感器进行标定，采用现场标定的方法，在保证测量值可信度及不确定度之不可替代性；使用双目立体相机对涂胶位置或者已涂覆位置进行图像采集，通过滤波、开闭运算等方法进行预处理；采用基于高斯-拉普拉斯边缘检测算法以及三次差值方法的亚像素边缘提取方法，以便使该算法同时具备平滑、锐化、低噪音、高精度等优点；可通过获取涂胶信息的特征信息进行涂胶轨迹的拟合，以进行精密的涂胶信息的跟踪；通过激光传感器与激光扫描仪对涂前目标区域或表面进行扫描，并构建三位点云模型；双目立体模块将信息经微型计算机传递给计算机控制系统，涂胶机器人接受指令后进行逆向求解，以获取其运动轨迹，从而控制胶枪进行涂胶操作；通过激光传感器与激光扫描仪对涂胶后区域或表面进行扫描，并构建三位点云模型，通过统计学原理对“奇点”进行剔除并选择计算样本；通过对应的坐标点计算，获取关键参数，如胶厚、均匀性等；把经过计算的参数进行返回并记录，设定自动报警系统，当某参数误差超过所设定阈值时进行报警，并自动或者人工对焊枪位置进行微调，以保证涂胶质量；据此可建立涂胶的精度模型，以可视化方式进行展示并记录。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种涂胶机器人涂胶质量检测系统，其特征在于，包括：

双目立体定位装置(1)，所述双目立体定位装置(1)包含双目相机(11)、光源(12)，通过支架进行固定所述双目相机(11)和所述光源(12)，所述双目相机(11)用于对胶枪图像进行清晰拍摄；

涂胶机器人装置(2)，所述双目立体定位装置(1)安装于所述涂胶机器人装置(2)的末端，所述涂胶机器人装置(2)与所述双目立体定位装置(1)电性连接，所述涂胶机器人装置(2)响应于所述双目立体定位装置(1)采集的参数并通过机器人路径规划算法进行动作；

激光扫描组件(3)，所述激光扫描组件(3)分别与所述双目立体定位装置(1)和所述涂胶机器人装置(2)电性连接，所述激光扫描组件(3)将检测到的参数反馈至所述双目立体定位装置(1)和所述涂胶机器人装置(2)，通过所述支架进行固定所述激光扫描组件(3)。

2.根据权利要求1所述的一种涂胶机器人涂胶质量检测系统，其特征在于，所述涂胶机器人装置(2)包括机器人控制系统(21)、胶枪与胶枪调节装置(22)、微型计算机(23)，其中，通过微型计算机(23)对机器人控制系统(21)的运动路径监测进而控制胶枪与胶枪调节装置(22)。

3.根据权利要求1所述的一种涂胶机器人涂胶质量检测系统，其特征在于，所述的激光扫描组件(3)包括激光传感器(31)与激光扫描装置(32)，其中，通过调节激光传感器(31)与激光扫描装置(32)使得视角相交。

4.一种涂胶机器人涂胶质量检测方法，根据权利要求1-3任一项所述的检测系统实现的，其特征在于，包括如下步骤：

步骤S1：对涂胶机器人装置(2)、双目立体视觉模块(1)、激光扫描组件(3)进行标定；

步骤S2：通过双目摄像机对输入图像进行采集和预处理操作并且对目标图像进行目标亚像素级边缘检测以及特征点抓取与坐标获取以实现目标定位，并对涂胶机器人进行初步的路径规划；

步骤S3：涂胶之前，利用激光扫描组件(3)对涂胶表面进行扫描，并选取基准点，构建表面轮廓，同时根据生成点的坐标集合进行进一步细化的机器人路径规划；

步骤S4：涂胶完成后进行二次扫描，生成由目标特征点构成的三位点云模型，根据统计学原理得出抽样的涂胶图像的特征点三维坐标；根据涂胶参数设定涂胶质量的评价体系，该评价体系用于对涂胶质量进行实时监测，当超出所给定阈值时，进行报警操作并自动进行定位；

步骤S5：使用两次扫描点云坐标对涂胶前后两次扫描所获取的特征点坐标进行代数运算，得出包括胶厚、均匀度的关键参数；

步骤S6:将涂胶前后所获取的涂胶路径坐标信息发送到所述的涂胶机器人装置(2)；

步骤S7：所述双目立体定位装置(1)和所述涂胶机器人装置(2)根据反馈的涂胶实时信息进行实时调整。

5.根据权利要求4所述的一种涂胶机器人涂胶质量检测方法，其特征在于，所述涂胶机器人装置(2)包括机器人控制系统(21)、胶枪与胶枪调节装置(22)、微型计算机(23)，其中，通过微型计算机监测机器人运动路径进而实现对胶枪与胶枪调节装置的控制。

6.根据权利要求4所述的一种涂胶机器人涂胶质量检测方法，其特征在于，所述的激光扫描组件(3)包括激光传感器(31)与激光扫描装置(32)，通过调节激光传感器(31)与激光扫描装置(32)使得视角相交。