CN113514471A - 一种涂胶效果图像检测方法 - Google Patents

Abstract

本发明公开了一种涂胶效果图像检测方法，包括以下操作步骤：1)建立涂胶质量标准信息库；2)进行在线监测，将采集的涂胶胶线图像所对应涂胶位置输入到涂胶质量标准信息库中，进行分析检测，本技术方案通过将采集到的标定物图像进行图像处理和分析，得到标定结果及标定物与图像边界的交点坐标，如此得到的图像预测值和实际值接近，从而建立涂胶质量标准信息库，从而有效解决了现有采用相机标定的犯法，无法给出涂胶轨迹上任意位置的标定结果，同时也解决了在采集具体图像时，由于相机的固定，而实际操作中标定物与图像边界交点需要随机器人末端姿态变化，需要提前确定，从而导致分析不准确等情况。

Description

一种涂胶效果图像检测方法

技术领域

本发明涉及涂胶检测技术领域，具体涉及一种涂胶效果图像检测方法。

背景技术

随着机器人技术的日益成熟和汽车产业的告诉发展，越来越多的工业机器人投入到汽车生产中。目前，汽车业已成为工业机器人最主要的应用领域之一，包括焊接、喷漆、涂胶、装配及物流等多个环节均出现了工业机器人的身影。作为汽车生产重要组成部分的涂胶环节，由于其工作环境恶劣、工作强度大以及运动准确性和平稳性要求高的特点，正逐步由手工涂胶到机器人涂胶的转变，涂胶自动化已渐渐成为一种趋势。

汽车前盖涂胶是指机器人携带胶枪在外板的特定位置涂折边胶，决定涂胶质量的主要参数包括胶体的直径尺寸和涂胶的位置距离，其中，直径尺寸误差主要由于加热温度变化导致胶体过度稀释和粘稠，以及胶枪出胶量和机器人涂胶速度配合不准确造成的，而涂胶位置误差的产生原因包括机器人涂胶轨迹误差及重复定位误差，前盖外板尺寸变形及夹具装夹误差。

汽车前盖涂胶质量作为整车质量的关键一环，是国家相关部门的重点监管项目。传统的涂胶质量检测方法包括人工检测和离线视觉检测，人工检测是在涂胶过程中，由质检工作人员凭借自身经验，通过对比生产文件中对该型前盖的具体涂胶要求，通过专用工具进行校验。离线视觉检测则是将涂胶的前盖置于摄像头下拍成的照片，再经软件处理得到涂胶的质量参数。

以上两种方法均有较为明显的缺陷，人工检测主要依靠质检人员的经验和技术水平，具有不确定性，无法达到现代化工业生产的质量统一的标准；后者属于成品检验的一种，当经过该检测发现存在质量问题时只能使用机器人对前盖进行重新涂胶，既浪费生产时间又增加了涂胶成本。而随着科技的发展，离线视觉检测已经成为主要的检测方法。

通过上述分析可知，以上两种方法均有较为明显的缺陷，人工检测方法依靠质检人员的经验和技术水平，均有不确定性。

针对上述提出的缺陷，基于上述提出的缺陷，现提供一种涂胶效果图像检测方法。

发明内容

本发明提供一种涂胶效果图像检测方法，采用建立涂胶质量标信息库，并将采集到胶线图像所对应的涂胶位置输入到涂胶质量标准信息库中，根据得到的标定信息实现对该胶线图像进行分析检测，从而解决了现有胶线图像采集过程中出现的，无法给出涂胶轨迹上任意位置的标定结果等技术问题。

本发明通过下述技术方案实现：

一种涂胶效果图像检测方法，包括以下操作步骤，

1)建立涂胶质量标准信息库；

2)进行在线监测，将采集的涂胶胶线图像所对应涂胶位置输入到涂胶质量标准信息库中，进行分析检测。

其中，在线监测的具体方法为：在线质检系统通过PCI-E总线网卡经由以太网控制相机周期采集标定物图像，机器人控制器读取图像采集时刻对应机器人状态信息，并将数据通过以太网传给在线质检系统，在线质量分析系统建立涂胶信息神经网络，并将其权值阈值保存至本地数据库中，从而得到涂胶质量标准信息库。

现有面临的情况是，汽车前盖板折边胶的总体长度较长、涂胶区域较大，为实现涂胶质量的在线检测，需要将相机、镜头及光源等检测装置安装在机器人末端的胶枪上，在跟随胶枪进行涂胶作业的过程中，实时采集折边胶图像供后续处理分析使用。

考虑到汽车前盖的外板表面为一复杂空间曲面，且外板边缘还有翘曲部分，因而机器人在涂折边胶的过程中会不断改变胶枪的位置姿态，固定在胶枪上的视觉装置姿态也会随之变化。

在分析图像中被检测物体的实际尺寸和位置时，需要事先获得像素距离与实际距离的比例关系，而上述比例关系一般通过相机标定得到。由于相机和镜头相对前盖外板的位置姿态时刻变化，导致图像与物体间的投影比例也会随之改变，因而需要在实际在线检测之前对涂胶轨迹上每一个图像采集位置进行相机标定。

且综合考虑前盖外板曲面复杂，且折边胶线为空间三维物体，传统的二维平面标定无法满足检测精度的需要。

因此，考虑到两幅标定物图像的机器人末端位置姿态相近时，其标定结果和交点坐标也十分接近。故在标定位置的分布足够密集时，可通过拟合预测得到涂胶轨迹上两相邻标定位置间任意涂胶位置所对应的标定结果和交点坐标的近似值。建立包含涂胶轨迹上任意位置所对应的标定结果和交点坐标近似值的涂胶质量标准信息库，可为实际在线检测时，提高检测精度。

进一步的优选，具体检测方法为：在线质检系统周期采集胶线图像并读取工业机器人状态信息，并将读取到的数据经以太网回传给在线质检系统，结合涂胶质量标准信息库对胶线图像进行处理分析后得到其质量信息，在线质检系统通过外围设备输出，并判断是否报警，完成涂胶质量检测。

进一步的优选，所述涂胶质量标准信息库建立方法为：

首先对采集到的每一幅标定物图像进行图像处理和分析，得到其标定结果及标定物与图像边界的交点坐标，然后以各标定物图像对应的涂胶位置为输入，以相应的标定结果和交点坐标为期望输出，进行神经网络的样本训练，若标定位置的分布密集，则该神经网络得到的预测值与实际值接近，则训练好的神经网络即为涂胶质量标准信息库。

进一步的优选，在线检测时，将当前采集到的胶线图像所对应的涂胶位置输入到涂胶质量标准信息库中，根据得到的标定信息和交点坐标就可以对该胶线图像进行分析检测。

进一步的优选，在线质检系统、本地数据库均安装在视觉系统工控机中，视觉系统工控机还分别与报警灯、显示器连接。

进一步的优选，所述视觉系统工控机与光源控制器连接，光源控制器可调节用于工业相机照明的光源亮度，工业相机通过PCI-E与视觉系统工控机连接。

进一步的优选，所述工业机器人上固定有涂胶系统，涂胶系统上设置安装机构，安装机构分别与工业相机、光源连接。光源的设置可使获取图像中目标物体与背景之间产生明显的区别，对比度较高，利于后续图像处理，同时减少外界光线对视觉系统的干扰。

加装工业相机、镜头和光源等视觉装置，实时采集涂胶图像送至视觉系统工控机进行图像处理，并结合在线检测之前建立的涂胶质量标准信息库及涂胶机器人系统的相关数据，对折边胶的截面直径和涂胶位置等质量信息进行分析，根据检测结果判断是否发出报警信号，同时将必要信息保存在本地数据库中，方便追溯查询。

具体在线检测方法为：将当期采集的胶线图像所对应的涂胶位置输入到涂胶质量标准信息库中，根据得到的标定信息和交点坐标就可以对该胶线图像进行分析检测。

信息库具体建立方法为：首先对采集到每一幅标定物图像进行图像处理和分析，得到其标定结果及标定物与图像便捷的交点坐标，然后以各标定物图像对应的涂胶位置好(机器人末端位置姿态)为输入，以相应的标定结果和焦点坐标为期望输出，进行神经网络的样本训练。如果训练样本足够充分(即标定位置的分布足够密集)，则通过该神经网络得到预测值将于实际值非常接近，此时训练好的神经网络即为上述涂胶质量标准信息库。

进一步地，所述安装机构为千分尺支架结构件，千分尺支架结构件通过销钉固定在涂胶系统的工业相机上。

进一步地，相机标定过程中，每一幅标定物图像采集时刻末端位置姿态可通过在线质检系统读取，且工业相机的安装位置固定时，图像处理分析得到的标定结果和该标定物图像对应的机器人末端位置姿态一一映射关系。如此操作，可使机器人在标定过程中，重复定为精度达到-0.20到0.20mm的偏差。

本发明与现有技术相比，具有如下的优点和有益效果：

1)本技术方案所述的检测方法中，相机标定过程中，每一幅标定物图像采集时刻对应的机器人末端位置姿态即机器人涂胶位置读取出来，且使用的涂胶机器人重复定位精度达到了0.20mm，基本上可以认为每次涂胶轨迹都相同，当相机、镜头的安装位置固定时，经过图像处理分析得到的标定结果和该标定物图像对应的机器人末端位置姿态形成一一映射关系。

2)本技术方案通过将采集到的标定物图像进行图像处理和分析，得到标定结果及标定物与图像边界的交点坐标，如此得到的图像预测值和实际值接近，从而建立涂胶质量标准信息库，从而有效解决了现有采用相机标定的犯法，无法给出涂胶轨迹上任意位置的标定结果，同时也解决了在采集具体图像时，由于相机的固定，而实际操作中标定物与图像边界交点需要随机器人末端姿态变化，需要提前确定，从而导致分析不准确等技术问题。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例：

一种涂胶效果图像检测方法，具体包括以下操作步骤：

1)建立涂胶质量标准信息库；

2)进行在线监测，将采集的涂胶胶线图像所对应涂胶位置输入到涂胶质量信息库中，进行分析检测；

3)在线质检系统通过PCI-E总线网卡经由以太网控制相机周期采集标定物图像，机器人控制器读取图像采集时刻对应机器人状态信息，并将数据通过以太网传给在线质检系统，在线质量分析系统建立涂胶信息神经网络，并将其权值阈值保存至本地数据库中，从而得到涂胶质量标准信息库。

进一步地，具体检测方法为：在线质检系统周期采集胶线图像并读取工业机器人状态信息，并将读取到的数据经以太网回传给在线质检系统，结合涂胶质量标准信息库对胶线图像进行处理分析后得到其质量信息，在线质检系统通过外围设备输出，并判断是否报警，完成涂胶质量检测。

其中，所述涂胶质量标准信息库建立方法为：

首先对采集到的每一幅标定物图像进行图像处理和分析，得到其标定结果及标定物与图像边界的交点坐标，然后以各标定物图像对应的涂胶位置为输入，以相应的标定结果和交点坐标为期望输出，进行神经网络的样本训练，若标定位置的分布密集，则该神经网络得到的预测值与实际值接近，则训练好的神经网络即为涂胶质量标准信息库。

在线检测时，将当前采集到的胶线图像所对应的涂胶位置输入到涂胶质量标准信息库中，根据得到的标定信息和交点坐标就可以对该胶线图像进行分析检测。

所述在线质检系统、本地数据库均安装在视觉系统工控机中，视觉系统工控机还分别于报警灯、显示器连接。

其中，所述视觉系统工控机与光源控制器连接，光源控制器可调节用于工业相机照明的光源亮度，工业相机通过PCI-E与视觉系统工控机连接。

其中，所述工业机器人上固定有涂胶系统，涂胶系统上设置安装机构，安装机构分别于工业相机、光源连接。

光源的选择，具体可为LED灯，具体厂家为欧普特公司，该光源为大功率LED环形阵列发光，具有高亮度、无阴影的特点。为了调节光源连读，使获得最好的光照效果，可采用数字恒流型光源控制器与光源连接，对光源连读进行很好的调节。

在本实施中采用的工业相机，在涂胶质量检测中，主要作用是负责采集标定物或胶线的图像，并将其传回工控机进行下一步的处理，因此相机直接影响后续图像处理与分析，对整个检测效果都有决定性影响。

本实施例中主要用于检测汽车前盖机器人涂胶情况，在具体使用的装置上，工业相机、光学镜头、光源灯均固定安装在机器人末端的胶枪上。

其中，所述安装机构为千分尺支架结构件，千分尺支架结构件通过销钉固定在涂胶系统的工业相机上。千分尺支架结构件为现有结构，设置的主要作用是为了方便工业相机等视觉装置采集图像相对于目标物体的角度和位置调整。同时，安装方便，便于灵活调整。本实施例中，千分尺支架结构件在应用时，可以加粗支撑杆，采用滚花和在外周设置外螺纹的方式增加连接部分的摩擦，然后通过螺钉对连接装置安装位置的固定，如此既保留了原结构的灵活性，又满足涂胶过程中对视觉装置的稳定性要求。

进一步地，相机标定过程中，每一幅标定物图像采集时刻末端位置姿态可通过在线质检系统读取，且工业相机的安装位置固定时，图像处理分析得到的标定结果和该标定物图像对应的机器人末端位置姿态一一映射关系。如此操作，可使机器人在标定过程中，重复定为精度达到-0.20到0.20mm的偏差。

汽车前盖外板曲面复杂，且边缘有折边和翘曲部分，工业相机、光学镜头、光源等光源装置固定在胶枪上跟随机器人涂胶运动时不断变换位置姿态，采用双相机设置，避免涂胶轨迹的部分区域出现标定物或胶线被胶枪头或车盖折边挡住的现象，影响对图像的采集。

本实施例中工控机是涂胶质量在线检测系统的核心部件，主要作用是对图像数据的高速处理分析，完成在线检测。具体采用的工控机型号可为ARK-3500F-00A1E。且工控机外围应用到的设备，主要包括PCI-E总线网卡，显示器、警示灯、打印机及鼠标键盘灯。工控机可以通过以太网与外围设备连接。

具体应用过程为：在线质检系统通过PCI-E总线网卡由以太网控制相机周期采集标定物图像，同时从机器人控制器中读取图像采集时时刻对应的机器人状态信息，采集到的数据信息通过以太网传给在线质检系统，通过在线质检系统的处理分析得到涂胶信息神经网络，并将其权值阈值保存至本地数据库中，从而得到涂胶质量标准信息库，在线检测时，软件控制相机周期采集胶线图像并读取机器人状态信息，读取获得的机器人状态信息经以太网回传给在线质检系统，结合涂胶质量标准信息库对胶线图像进行处理分析后得到其质量信息，同时在线质检系统将相关信息通过外围设备输出，并判断是否发出质量报警，从而完成涂胶质量的检测。

本实施例通过建立涂胶质量标准信息库，采集图像的标定物对应涂胶位置作为输入端，图像的标定结果与图像边界的交点坐标为输出端，采用这种拟合预测的方法，进行涂胶效果的检测准确度相对于现有技术中采用人工检测、离线采样检测更高。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种涂胶效果图像检测方法，其特征在于：包括以下操作步骤，

1)建立涂胶质量标准信息库；

2)进行在线监测，将采集的涂胶胶线图像所对应涂胶位置输入到涂胶质量信息库中，进行分析检测。

2.根据权利要求1所述的一种涂胶效果图像检测方法，其特征在于：在线监测的具体方法为：在线质检系统通过PCI-E总线网卡经由以太网控制相机周期采集标定物图像，机器人控制器读取图像采集时刻对应机器人状态信息，并将数据通过以太网传给在线质检系统，在线质量分析系统建立涂胶信息神经网络，并将其权值阈值保存至本地数据库中，从而得到涂胶质量标准信息库

3.根据权利要求1所述的一种涂胶效果图像检测方法，其特征在于：具体检测方法为：在线质检系统周期采集胶线图像并读取工业机器人状态信息，并将读取到的数据经以太网回传给在线质检系统，结合涂胶质量标准信息库对胶线图像进行处理分析后得到其质量信息，在线质检系统通过外围设备输出，并判断是否报警，完成涂胶质量检测。

4.根据权利要求3所述的一种涂胶效果图像检测方法，其特征在于：所述涂胶质量标准信息库建立方法为：

首先对采集到的每一幅标定物图像进行图像处理和分析，得到其标定结果及标定物与图像边界的交点坐标，然后以各标定物图像对应的涂胶位置为输入，以相应的标定结果和交点坐标为期望输出，进行神经网络的样本训练，若标定位置的分布密集，则该神经网络得到的预测值与实际值接近，则训练好的神经网络即为涂胶质量标准信息库。

5.根据权利要求4所述的一种涂胶效果图像检测方法，其特征在于：在线检测时，将当前采集到的胶线图像所对应的涂胶位置输入到涂胶质量标准信息库中，根据标定信息和交点坐标就对胶线图像分析检测。

6.根据权利要求5所述的一种涂胶效果图像检测方法，其特征在于：在线质检系统、本地数据库均安装在视觉系统的工控机中，视觉系统的工控机还分别与报警灯、显示器连接。

7.根据权利要求6所述的一种涂胶效果图像检测方法，其特征在于：所述视觉系统工控机与光源控制器连接，光源控制器可调节用于工业相机照明的光源亮度，工业相机通过PCI-E与视觉系统的工控机连接。

8.根据权利要求7所述的一种涂胶效果图像检测方法，其特征在于：所述工业机器人上固定有涂胶系统，涂胶系统上设置安装机构，安装机构分别与工业相机、光源连接。

9.根据权利要求8所述的一种涂胶效果图像检测方法，其特征在于：所述安装机构为千分尺支架结构件，千分尺支架结构件通过销钉固定在涂胶系统的工业相机上。

10.根据权利要求9所述的一种涂胶效果图像检测方法，其特征在于：相机标定过程中，每一幅标定物图像采集时刻末端位置姿态可通过在线质检系统读取，且工业相机的安装位置固定时，图像处理分析得到的标定结果和该标定物图像对应的机器人末端位置姿态一一映射关系。