CN115965628A - 一种工件涂装质量在线动态检测方法及检测系统 - Google Patents

Abstract

本发明公开了一种工件涂装质量在线动态检测方法及检测系统，采集待检测工件的图像数据并预处理，筛选出待检测工件摆动幅度最大时的点云数据，通过点云配准方法得到第一目标位姿，控制机械臂带动末端执行机构前往第一目标位姿；采用位移传感器实时采集末端执行机构与待检测工件之间的距离信息，并构建实时检测平面坐标系作为第二目标位姿，控制机械臂带动末端执行机构实时到达第二目标位姿；采用光纤传感器检测末端执行机构与待检测工件的贴合状态，当末端执行机构与待检测工件贴合后，通过吸盘吸气，将末端执行机构吸附到待检测工件表面，末端执行机构上的涂装质量检测模块对待检测工件进行涂装质量检测。该方法可实现工件涂装质量在线动态检测。

Description

一种工件涂装质量在线动态检测方法及检测系统

技术领域

本发明涉及机器人三维视觉、物体6D位姿估计及平面动态跟踪技术领域，尤其是涉及一种工件涂装质量在线动态检测方法及检测系统。

背景技术

工程车辆，如挖机、泵车、起重机等，需长期在室外完成作业任务，由于室外环境条件复杂，且工程车辆大部分结构部件由钢材制成，若未采取防锈或防锈不当极易导致车辆钢材结构生锈，致使车辆频繁维修甚至报废，为延长这些工程车辆的使用寿命，减少后期维修、保养成本，这些工程车辆在生产过程中，需要着重考虑钢材防锈问题。

为钢材结构喷涂防锈漆是最经济有效的防锈手段，涂装质量与钢材防锈能力直接相关，因此涂装质量指标，如膜厚、光泽度、色差等，也成为考核工程车辆生产制造质量的一个重要标准。在喷涂环节中，喷涂厂房需处理的待喷涂的工（部）件种类多、体积大，需喷涂面积大，厂房大多设计为钩索悬挂工件进行流水线作业，即工件通过钩索悬挂于上方导轨，导轨带动工件完成各生产工序。此种工作模式下，工件一直处于一种无序晃动状态，传统通过示教方式控制机械臂实现自动化涂装质量检测的方法无法解决工件晃动问题，不能应用于上述工况；而人工进行涂装质量检测费时费力，且存在安全隐患。因此，为实现涂装质量自动化在线动态检测需提供动态贴合、动态跟随工件的方法来解决待检测工件的晃动问题。

本发明旨在提出一种基于多传感器融合的工件涂装质量在线检测方法，来实现对现有涂装质量检测模式进行升级改造。目前喷涂厂房采用的漆面质量检测仪器多为手持式，若想实现自动化检测作业，需对检测仪器进行更换或者改造，但考虑到单个检测仪器成本较高，且各厂房针对待检类型工件已经形成了较为完善的评价指标，更换或改装检测仪器都存在一定难度。因此，为实现涂装质量自动化在线检测需考虑如何在不更改现有检测仪器的前提下完成相关检测数据的获取。

综上，如何解决悬挂工件晃动问题和涂装质量检测仪器改装、更换问题，实现工件涂装质量自动化在线检测是该领域目前存在的比较棘手的难题。

发明内容

针对上述问题，本发明提供了一种工件涂装质量在线动态检测方法及检测系统。

一种工件涂装质量在线动态检测方法，该方法包括以下步骤：

S1、预设末端执行机构的初始位姿，通过末端执行机构上的3D相机以预设采集频率实时采集预设帧数待检测工件的图像数据，图像数据包括RGB图像和点云数据，以单次采集的RGB图像和点云数据为一组，依次对每组图像数据进行预处理，筛选出待检测工件摆动幅度最大时的点云数据；

S2、采用点云配准方法获取摆动幅度最大时的点云数据对应的待检测工件位姿，根据待检测工件位姿得到第一目标位姿，控制机械臂带动固定在其末端的末端执行机构前往第一目标位姿；

S3、采用末端执行机构上的位移传感器组件实时采集末端执行机构与待检测工件之间的距离信息，根据距离信息构建实时检测平面坐标系，将实时检测平面坐标系作为第二目标位姿，控制机械臂带动末端执行机构实时到达第二目标位姿，使末端执行机构与待检测工件逐渐靠近直至贴合；

S4、采用末端执行机构上的光纤传感器组件检测末端执行机构与待检测工件的贴合状态，当末端执行机构与待检测工件贴合后，机械臂启动自由驱动模式，末端执行机构上的吸盘吸气，将末端执行机构的端面吸附到待检测工件的表面；

S5、采用末端执行机构上的涂装质量检测模块对待检测工件的表面进行涂装质量检测，检测完成后，吸盘放气，由待检测工件的摆动推动末端执行机构到达待检测工件摆动时的极限位置，随后机械臂退出自由驱动模式，带动末端执行机构回归其初始位姿。

优选地，S1中依次对每组图像数据进行预处理，筛选出待检测工件摆动幅度最大时的点云数据，具体包括：

S11、通过每组图像数据中的RGB图像识别待检测工件所在区域，并生成掩膜；

S12、通过掩膜对每组图像数据中的点云数据进行切割，分离出待检测工件对应的切割后点云数据；

S13、对切割后点云数据进行滤波，得到滤波后的点云数据；

S14、依次计算滤波后的点云数据的AABB包围盒，依照AABB包围盒的边长确定待检测工件摆动幅度最大时的点云数据。

优选地，S2中采用点云配准方法获取摆动幅度最大时的点云数据对应的待检测工件位姿，具体包括：

S21、读取待检测工件的3D模型点云数据，将3D模型点云数据的重心点与3D相机坐标系的原点重合，以此作为source点云数据，将3D模型点云数据的重心点作为source点云数据的初始重心点，将3D模型点云数据的姿态作为source点云数据的初始姿态，将待检测工件摆动幅度最大时的点云数据作为target点云数据；

S22、读取target点云数据中各坐标轴上的最大值与最小值分别作为target点云数据的AABB包围盒的最远角点和最近角点的坐标位置；

S23、通过target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，以AABB包围盒的重心点坐标为基准，通过改变source点云数据的重心点位置，直到source点云数据的重心点与target点云数据的AABB包围盒重心点重合，根据重合后source点云数据的姿态与source点云数据的初始姿态的差异得到第一转换矩阵；

S24、使用FPFH算法对source点云数据和target点云数据进行粗配准，根据粗配准后source点云数据的姿态与S23中重合后source点云数据的姿态的差异得到第二转换矩阵；

S25、使用ICP算法对第二转换矩阵进行优化，完成精配准，根据精配准后的source点云数据的姿态与S24中粗配准后source点云数据的姿态的差异得到第三转换矩阵；

S26、通过第一转换矩阵、第二转换矩阵和第三转换矩阵得到source点云数据与target点云数据之间的转换矩阵，将source点云数据经过转换矩阵进行坐标转换，将相机坐标系下的待检测工件位姿转换到机械臂基底坐标系下的待检测工件位姿。

优选地，S23中通过target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，具体公式为：

其中，

式中，为target点云数据的AABB包围盒的最远角点坐标，为target点云数据的AABB包围盒的最近角点坐标，，，分别为target点云数据各坐标轴上的最大值，，，分别为target点云数据各坐标轴上的最小值，，，分别为target点云数据的AABB包围盒的重心点坐标。

优选地，S23中的第一转换矩阵，具体公式为：

式中，为第一转换矩阵，，，分别为target点云数据的AABB包围盒的重心点坐标。

优选地，S26中通过第一转换矩阵、第二转换矩阵和第三转换矩阵得到source点云数据与target点云数据之间的转换矩阵，具体公式为：

式中，为target点云数据，为source点云数据，为source点云数据与target点云数据之间的转换矩阵，为第一转换矩阵，为第二转换矩阵，为第三转换矩阵。

优选地，位移传感器组件包括第一位移传感器、第二位移传感器、第三位移传感器，S3中采用末端执行机构上的位移传感器组件实时采集末端执行机构与工件之间的距离信息，根据距离信息构建实时检测平面坐标系，具体包括：

S31、采用末端执行机构上的第一位移传感器、第二位移传感器、第三位移传感器实时采集末端执行机构与工件之间的距离信息；

S32、根据第一位移传感器、第二位移传感器、第三位移传感器在末端执行机构上的安装位置确定机械臂末端坐标系下的第一位移传感器、第二位移传感器、第三位移传感器的二维坐标；

S33、将距离信息和二维坐标拓展为机械臂末端坐标系下第一位移传感器、第二位移传感器、第三位移传感器的三维坐标；

S34、根据三维坐标计算第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量；

S35、根据机械臂末端坐标系与实时检测平面的法向量构建实时检测平面坐标系。

优选地，S34中根据三维坐标计算第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量，实时检测平面的法向量具体为：

其中，

式中，为第二位移传感器指向第一位移传感器的三维向量，为第三位移传感器指向第一位移传感器的三维向量，，，为第i个位移传感器对应的三维坐标，，为实时检测平面的法向量。

优选地，S35中根据机械臂末端坐标系与实时检测平面的法向量构建实时检测平面坐标系，实时检测平面坐标系具体为：

式中，为实时检测平面坐标系，为实时检测平面坐标系下的x轴正方向，为实时检测平面坐标系下的y轴正方向，为实时检测平面坐标系下的z轴正方向。

一种使用上述工件涂装质量在线动态检测方法的动态检测系统，动态检测系统包括：机械臂、工控机和末端执行机构，工控机与机械臂连接，末端执行机构安装在机械臂的末端，工控机中设有位姿计算模块、通信模块、运动控制模块，末端执行机构包括支架、3D相机、位移传感器组件、光纤传感器组件、吸盘、涂装质量检测模块，

3D相机固定于支架上，用于对包含待检测工件的实时场景进行图像采集，得到实时图像数据，并发送至位姿计算模块；

位移传感器组件固定在支架上，用于实时采集末端执行机构与待检测工件之间的距离信息，并发送至位姿计算模块；

位姿计算模块用于接收实时图像数据和距离信息，经过处理，输出目标位姿信息，并通过通信模块发送目标位姿信息至运动控制模块；

运动控制模块接收目标位姿信息后，经过处理得到目标位姿，控制机械臂带动固定在其末端的末端执行机构到达目标位姿；

光纤传感器组件固定于支架的贴合面上，用于检测末端执行机构与待检测工件贴合状态，并将贴合OK的信号通过通信模块发送至运动控制模块；

吸盘固定于支架的中央，运动控制模块接收到通信模块发送的贴合OK的信号后，控制吸盘完成抽气动作，将末端执行机构吸附在待检测工件表面；

涂装质量检测模块固定于支架上，用于对待检测工件表面的涂装质量进行检测。

上述一种工件涂装质量在线动态检测方法及检测系统，对待检测工件通过实时3D点云模型配准分析，获取待检测工件位姿；使用位移传感器形成检测平面，根据位移传感器实时检测到的待检测工件与机械臂上的末端执行机构之间的距离信息，实时动态调整机械臂上的末端执行机构的位姿，使其与待检测工件柔性贴合；配合机械臂自由驱动模式，保证检测仪器在检测时末端执行机构的端面与待检测工件表面稳定贴合，可解决检测过程中工件晃动问题。另外，末端执行机构可搭载任意涂装质量指标检测仪器，实现对应指标数据的获取；配有吸盘，可进一步保证检测过程中末端执行机构的端面与待检测工件表面的保持相对静止，保证检测数值的可靠性，以实现工件涂装质量在线检测。

附图说明

图1是本发明一实施例中一种工件涂装质量在线动态检测方法的流程图；

图2是本发明一实施例中一种工件涂装质量在线动态检测系统示意图；

图3是本发明一实施例中一种工件涂装质量在线动态检测系统的末端执行机构示意图，图3（a）为末端执行机构的顶部示意图，图3（b）为末端执行机构的底部示意图。

附图标记说明：

1、机械臂；2、工控机；3、末端执行机构；31、光泽仪；32、膜厚仪；33、位移传感器组件；34、色度仪；35、3D相机；36、光纤传感器组件；37、吸盘；38、支架。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

一种工件涂装质量在线动态检测方法，该方法包括以下步骤：

S1、预设末端执行机构的初始位姿，通过末端执行机构上的3D相机以预设采集频率实时采集预设帧数待检测工件的图像数据，图像数据包括RGB图像和点云数据，以单次采集的RGB图像和点云数据为一组，依次对每组图像数据进行预处理，筛选出待检测工件摆动幅度最大时的点云数据；

S2、采用点云配准方法获取摆动幅度最大时的点云数据对应的待检测工件位姿，根据待检测工件位姿得到第一目标位姿，控制机械臂带动固定在其末端的末端执行机构前往第一目标位姿；

S3、采用末端执行机构上的位移传感器组件实时采集末端执行机构与待检测工件之间的距离信息，根据距离信息构建实时检测平面坐标系，将实时检测平面坐标系作为第二目标位姿，控制机械臂带动末端执行机构实时到达第二目标位姿，使末端执行机构与待检测工件逐渐靠近直至贴合；

S4、采用末端执行机构上的光纤传感器组件检测末端执行机构与待检测工件的贴合状态，当末端执行机构与待检测工件贴合后，机械臂启动自由驱动模式，末端执行机构上的吸盘吸气，将末端执行机构的端面吸附到待检测工件的表面；

S5、采用末端执行机构上的涂装质量检测模块对待检测工件的表面进行涂装质量检测，检测完成后，吸盘放气，由待检测工件的摆动推动末端执行机构到达待检测工件摆动时的极限位置，随后机械臂退出自由驱动模式，带动末端执行机构回归其初始位姿。

具体地，参见图1，图1为本发明一实施例中一种工件涂装质量在线动态检测方法的流程图。

一种工件涂装质量在线动态检测方法，首先预设安装在机械臂末端的末端执行机构的初始位姿，通过末端执行机构上的3D相机以大于等于20Hz的采集频率实时采集大于等于60帧待检测工件的图像数据，实时图像数据包括RGB图像和点云数据，以单次采集的RGB图像和点云数据为一组；然后对图像数据以组为单位依次进行预处理，筛选出待检测工件的摆动幅度最大时的点云数据；接着采用点云配准方法获取摆动幅度最大时点云数据对应的待检测工件位姿，根据待检测工件位姿得到第一目标位姿，具体是以最大摆动位置处的待检测工件位姿为参考，将距离最大摆动位置处的工件位姿10cm处作为第一目标位姿，控制机械臂带动末端执行机构前往第一目标位姿；接着采用位移传感器组件实时采集机械臂末端执行机构与待检测工件之间的距离信息，根据距离信息构建检测平面坐标系，将检测平面坐标系的坐标原点及x、y、z轴的正方向作为第二目标位姿，控制机械臂带动末端执行机构到达第二目标位姿，第二目标位姿随待检测工件晃动而动态更新，通过逐渐减小检测平面坐标系中z轴数值，机械臂带动末端执行机构逐渐靠近待测工件直至末端执行机构与待检测工件贴合；最后采用光纤传感器组件检测末端执行机构与待检测工件的贴合状态，当末端执行机构与待检测工件贴合后，机械臂启动自由驱动模式，末端执行机构上的吸盘吸气，将末端执行机构吸附到待检测工件的表面，末端执行机构上的涂装质量检测模块对待检测工件的表面进行涂装质量检测，检测完成后，吸盘放气，由待检测工件的摆动推动末端执行机构到达待检测工件摆动时的极限位置，这样可以防止机械臂回归过程中发生碰撞，随后机械臂退出自由驱动模式，带动末端执行机构回归到末端执行机构的初始位姿。

在一个实施例中，S1中依次对每组图像数据进行预处理，筛选出待检测工件摆动幅度最大时的点云数据，具体包括：

S11、通过每组图像数据中的RGB图像识别待检测工件所在区域，并生成掩膜；

S12、通过掩膜对每组图像数据中的点云数据进行切割，分离出待检测工件对应的切割后点云数据；

S13、对切割后点云数据进行滤波，得到滤波后的点云数据；

S14、依次计算滤波后的点云数据的AABB包围盒，依照AABB包围盒的边长确定待检测工件摆动幅度最大时的点云数据。

具体地，首先通过RGB图像识别待检测工件所在区域并生成掩膜，然后通过掩膜对点云数据进行切割，从点云数据中分离出待检测工件的切割后点云数据；接着采用滤波手段滤除切割后点云数据中的离散点，以减少对后续分析的影响，由此得到滤波后的点云数据；最后依次计算各组滤波后的点云数据的AABB包围盒（Axis-aligned bounding box），并剔除包围盒边长突变的数据，依照包围盒的边长确定待检测工件摆动幅度最大时的点云数据。

在一个实施例中，S2中采用点云配准方法获取摆动幅度最大时的点云数据对应的待检测工件位姿，具体包括：

S21、读取待检测工件的3D模型点云数据，将3D模型点云数据的重心点与3D相机坐标系的原点重合，以此作为source点云数据，将3D模型点云数据的重心点作为source点云数据的初始重心点，将3D模型点云数据的姿态作为source点云数据的初始姿态，将待检测工件摆动幅度最大时的点云数据作为target点云数据；

S22、读取target点云数据中各坐标轴上的最大值与最小值分别作为target点云数据的AABB包围盒的最远角点和最近角点的坐标位置；

S23、通过target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，以AABB包围盒的重心点坐标为基准，通过改变source点云数据的重心点位置，直到source点云数据的重心点与target点云数据的AABB包围盒重心点重合，根据重合后source点云数据的姿态与source点云数据的初始姿态的差异得到第一转换矩阵；

S24、使用FPFH算法对source点云数据和target点云数据进行粗配准，根据粗配准后source点云数据的姿态与S23中重合后source点云数据的姿态的差异得到第二转换矩阵；

S25、使用ICP算法对第二转换矩阵进行优化，完成精配准，根据精配准后的source点云数据的姿态与S24中粗配准后source点云数据的姿态的差异得到第三转换矩阵；

S26、通过第一转换矩阵、第二转换矩阵和第三转换矩阵得到source点云数据与target点云数据之间的转换矩阵，将source点云数据经过转换矩阵进行坐标转换，将相机坐标系下的待检测工件位姿转换到机械臂基底坐标系下的待检测工件位姿。

具体地，首先读取由3D模型生成的待检测工件的完整点云数据，并将其重心点设置为3D相机坐标系的原点，以此作为source点云数据，3D模型点云数据的重心点作为source点云数据的初始重心点，3D模型点云数据的姿态作为source点云数据的初始姿态，将待检测工件摆动幅度最大时的点云数据作为target点云数据，点云配准目的是变换source点云姿态，使其与target点云重合，获得其转换矩阵；接着使用待检测工件target点云数据进行分析：取target点云数据坐标系中各坐标轴上的最大值，，，与坐标轴上的最小值，，，分别保存为，，计算target点云数据的AABB包围盒的重心点，通过改变source点云数据重心点的位置，直至source点云数据的重心点与target点云数据的AABB包围盒重心点重合，将重合后source点云数据的姿态与source点云数据的初始姿态的差异作为第一转换矩阵；

使用FPFH（Fast Point Feature Histograms）算法对source点云数据和target点云数据进行粗配准，根据粗配准后source点云数据的姿态与重合后source点云数据的姿态的差异得到旋转矩阵为，平移矩阵为，根据旋转矩阵和平移矩阵得到第二转换矩阵；

使用ICP（Iterative Closest Point）算法对粗配准后得到的第二转换矩阵进行优化，完成精配准，根据精配准后的source点云数据的姿态与粗配准后source点云数据的姿态的差异得到旋转矩阵为，平移矩阵为，根据旋转矩阵和平移矩阵得到第三转换矩阵；

根据、和计算得到source点云数据与target点云数据之间的转换矩阵，将source点云数据通过转换矩阵对进行转换，将相机坐标系下的待检测工件6D姿态转换到机械臂基底坐标系下的待检测工件6D姿态。

在一个实施例中，S23中通过target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，具体公式为：

其中，

式中，为target点云数据的AABB包围盒的最远角点坐标，为target点云数据的AABB包围盒的最近角点坐标，，，分别为target点云数据各坐标轴上的最大值，，，分别为target点云数据各坐标轴上的最小值，，，分别为target点云数据的AABB包围盒的重心点坐标。

具体地，使用待检测工件点云数据进行分析，取待检测工件点云数据中各坐标轴上的最大值与最小值，然后通过，计算target点云数据的AABB包围盒的重心点。

在一个实施例中，S23中的第一转换矩阵，具体公式为：

式中，为第一转换矩阵，，，分别为target点云数据的AABB包围盒的重心点坐标。

在一个实施例中，S26中通过第一转换矩阵、第二转换矩阵和第三转换矩阵得到source点云数据与target点云数据之间的转换矩阵，具体公式为：

式中，为target点云数据，为source点云数据，为source点云数据与target点云数据之间的转换矩阵，为第一转换矩阵，为第二转换矩阵，为第三转换矩阵。

具体地，以target点云数据的AABB包围盒的重心点坐标为基准，通过改变source点云数据重心点的位置，直至source点云数据的重心点与target点云数据的AABB包围盒重心点重合，由此得到的第一转换矩阵为：

式中，为第一转换矩阵，分别为target点云AABB包围盒的重心点的轴的坐标值。

使用FPFH（Fast Point Feature Histograms）算法对source点云数据和target点云数据进行粗配准，根据粗配准后source点云数据的姿态与重合后source点云数据的姿态的差异得到旋转矩阵和平移矩阵，并在此基础上得到第二转换矩阵：

使用ICP（Iterative Closest Point）算法对粗配准得到的第二转换矩阵进行优化，完成精配准，根据精配准后的source点云数据的姿态与粗配准后source点云数据的姿态的差异得到旋转矩阵和平移矩阵，并在此基础上得到第三转换矩阵：

根据第一转换矩阵、第二转换矩阵和第三转换矩阵得到source点云数据与target点云数据之间的转换关系，具体公式为：

式中，为target点云数据，为source点云数据，为source点云数据与target点云数据之间的转换矩阵，为第一转换矩阵，为第二转换矩阵，为第三转换矩阵。

在一个实施例中，位移传感器组件包括第一位移传感器、第二位移传感器、第三位移传感器，S3中采用末端执行机构上的位移传感器组件实时采集末端执行机构与工件之间的距离信息，根据距离信息构建实时检测平面坐标系，具体包括：

S31、采用末端执行机构上的第一位移传感器、第二位移传感器、第三位移传感器实时采集末端执行机构与工件之间的距离信息；

S32、根据第一位移传感器、第二位移传感器、第三位移传感器在末端执行机构上的安装位置确定机械臂末端坐标系下的第一位移传感器、第二位移传感器、第三位移传感器的二维坐标；

S33、将距离信息和二维坐标拓展为机械臂末端坐标系下第一位移传感器、第二位移传感器、第三位移传感器的三维坐标；

S34、根据三维坐标计算第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量；

S35、根据机械臂末端坐标系与实时检测平面的法向量构建实时检测平面坐标系。

在一个实施例中，S34中根据三维坐标计算第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量，实时检测平面的法向量具体为：

其中，

式中，为第二位移传感器指向第一位移传感器的三维向量，为第三位移传感器指向第一位移传感器的三维向量，，，为第i个位移传感器对应的三维坐标，，为实时检测平面的法向量。

在一个实施例中，S35中根据机械臂末端坐标系与实时检测平面的法向量构建实时检测平面坐标系，实时检测平面坐标系具体为：

式中，为实时检测平面坐标系，为实时检测平面坐标系下的x轴正方向，为实时检测平面坐标系下的y轴正方向，为实时检测平面坐标系下的z轴正方向。

具体地，

1）通过三个位移传感器实时采集固定在机械臂上的末端执行机构与工件之间的距离信息，将测量数值视为z轴长度，记录机械臂末端坐标系下的三个位移传感器的二维坐标、、，将三个位移传感器的二维坐标拓展为三维坐标、、。

2）根据三维坐标计算三个位移传感器构成的实时检测平面的法向量：

式中，为第二位移传感器指向第一位移传感器的三维向量，为第三位移传感器指向第一位移传感器的三维向量，，，为第i个位移传感器对应的三维坐标，，为实时检测平面的法向量。

3）根据机械臂末端坐标系与计算得到的实时检测平面的法向量构建实时检测平面坐标系：

其中，，，。

以实时检测平面坐标系作为第二目标位姿，通过机械臂带动末端执行机构到达第二目标位姿，由于第二目标位姿是根据三个位移传感器实时采集的距离信息不断更新，因此可通过逐渐减小实时检测平面坐标系中z轴数值，使机械臂带动末端执行机构逐渐靠近待测工件直至末端执行机构与待检测工件贴合。

一种工件涂装质量在线动态检测系统，采用工件涂装质量在线动态检测方法进行检测，动态检测系统包括：机械臂、工控机和末端执行机构，工控机与机械臂连接，末端执行机构安装在机械臂的末端，工控机中设有位姿计算模块、通信模块、运动控制模块，末端执行机构包括支架、3D相机、位移传感器组件、光纤传感器组件、吸盘、涂装质量检测模块，

3D相机固定于支架上，用于对包含待检测工件的实时场景进行图像采集，得到实时图像数据，并发送至位姿计算模块；

位移传感器组件固定在支架上，用于实时采集末端执行机构与待检测工件之间的距离信息，并发送至位姿计算模块；

位姿计算模块用于接收实时图像数据和距离信息，经过处理，输出目标位姿信息，并通过通信模块发送目标位姿信息至运动控制模块；

运动控制模块接收目标位姿信息后，经过处理得到目标位姿，控制机械臂带动固定在其末端的末端执行机构到达目标位姿；

光纤传感器组件固定于支架的贴合面上，用于检测末端执行机构与待检测工件贴合状态，并将贴合OK的信号通过通信模块发送至运动控制模块；

吸盘固定于支架的中央，运动控制模块接收到通信模块发送的贴合OK的信号后，控制吸盘完成抽气动作，将末端执行机构吸附在待检测工件表面；

涂装质量检测模块固定于支架上，用于对待检测工件表面的涂装质量进行检测。

具体地，参考图2和图3，图2是本发明一实施例中一种工件涂装质量在线动态检测系统示意图，图3是本发明一实施例中一种工件涂装质量在线动态检测系统的末端执行机构示意图，图3（a）为末端执行机构的顶部示意图，图3（b）为末端执行机构的底部示意图。

在图2中，一种工件涂装质量在线动态检测系统，包括机械臂1、工控机2和末端执行机构3，其中工控机2与机械臂1连接，末端执行机构3安装在机械臂1的末端，机械臂1通过工控机2带动末端执行机构3运动，运动控制模块、位姿计算模块、通信模块设置在工控机2中。

在图3（a）和（b）中，末端执行机构3包括支架38、3D相机35、位移传感器组件33、光纤传感器组件36、吸盘37、涂装质量检测模块，其中，3D相机35、位移传感器组件33、涂装质量检测模块、光纤传感器组件36和吸盘37均固定安装在支架38的对应位置上，吸盘37固定于支架38待贴合面的中央，光纤传感器组件36围绕吸盘37均匀设置。

3D相机35对包含待检测工件的实时场景进行图像采集，得到实时图像数据，并发送至位姿计算模块；

位移传感器组件33包括三个激光位移传感器，三个激光位移传感器固定安装在支架38上，实时采集末端执行机构与工件之间的距离信息，并发送至位姿计算模块；位姿计算模块计算目标位姿并将目标位姿通过通信模块发送至运动控制模块；

光纤传感器组件36包括三个光纤传感器，三个光纤传感器用于检测末端执行机构3与待测工件贴合状态（此处光纤传感器做0、1状态检测用，0为未贴合，1为贴合OK），并将贴合OK的信号通过通信模块发送至运动控制模块；

运动控制模块控制机械臂1带动末端执行机构3到达目标位姿，控制吸盘37吸气或放气，使末端执行机构3与待测工件表面贴合或分开；

涂装质量检测模块包括光泽仪31、膜厚仪32以及色度仪34（可根据实施需求对其进行任意组合），用于对待检测工件表面的涂装质量进行检测。

进一步地，作为对上述一种工件涂装质量在线动态检测系统的改进，该动态检测系统的末端执行机构3上还包括一个缓冲结构（图3中未示出），该缓冲结构固定于末端执行机构3上，具体为末端执行机构3与待测工件间的贴合面处，且略高于涂装质量检测模块的检测面，可防止在吸附过程中剧烈碰撞导致涂装质量检测模块损坏。

关于一种工件涂装质量在线检测系统的具体限定可以参见上文中对于一种工件涂装质量在线动态检测方法的限定，在此不再赘述。

上述一种工件涂装质量在线动态检测方法及检测系统，对待检测工件通过实时3D点云模型配准分析，获取待检测工件位姿；使用位移传感器形成检测平面，根据位移传感器实时检测到的工件与机械臂上的末端执行机构之间的距离信息，实时动态调整机械臂上的末端执行机构的位姿，使其与待检测工件柔性贴合；配合机械臂自由驱动模式，保证检测仪器在检测时末端执行机构的端面与待检测工件表面稳定贴合，可解决检测过程中工件晃动问题。另外，末端执行机构可搭载任意涂装质量指标检测仪器，实现对应指标数据的获取；配有吸盘，可进一步保证检测过程中末端执行机构的端面与待检测工件表面的保持相对静止，保证检测数值的可靠性，以实现工件涂装质量在线检测。

以上对本发明所提供的一种工件涂装质量在线动态检测方法及检测系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种工件涂装质量在线动态检测方法，其特征在于，所述方法包括：

S1、预设末端执行机构的初始位姿，通过所述末端执行机构上的3D相机以预设采集频率实时采集预设帧数待检测工件的图像数据，所述图像数据包括RGB图像和点云数据，以单次采集的RGB图像和点云数据为一组，依次对每组所述图像数据进行预处理，筛选出所述待检测工件摆动幅度最大时的点云数据；

S2、采用点云配准方法获取所述摆动幅度最大时的点云数据对应的待检测工件位姿，根据所述待检测工件位姿得到第一目标位姿，控制机械臂带动固定在其末端的末端执行机构前往所述第一目标位姿；

S3、采用所述末端执行机构上的位移传感器组件实时采集所述末端执行机构与所述待检测工件之间的距离信息，根据所述距离信息构建实时检测平面坐标系，将所述实时检测平面坐标系作为第二目标位姿，控制机械臂带动所述末端执行机构实时到达所述第二目标位姿，使所述末端执行机构与所述待检测工件逐渐靠近直至贴合；

S4、采用所述末端执行机构上的光纤传感器组件检测所述末端执行机构与所述待检测工件的贴合状态，当所述末端执行机构与所述待检测工件贴合后，机械臂启动自由驱动模式，所述末端执行机构上的吸盘吸气，将所述末端执行机构的端面吸附到所述待检测工件的表面；

S5、采用所述末端执行机构上的涂装质量检测模块对所述待检测工件的表面进行涂装质量检测，检测完成后，所述吸盘放气，由所述待检测工件的摆动推动所述末端执行机构到达所述待检测工件摆动时的极限位置，随后机械臂退出自由驱动模式，带动所述末端执行机构回归其初始位姿。

2.如权利要求1所述的工件涂装质量在线动态检测方法，其特征在于，所述S1中依次对每组所述图像数据进行预处理，筛选出所述待检测工件摆动幅度最大时的点云数据，具体包括：

S11、通过每组所述图像数据中的RGB图像识别所述待检测工件所在区域，并生成掩膜；

S12、通过所述掩膜对每组所述图像数据中的点云数据进行切割，分离出所述待检测工件对应的切割后点云数据；

S13、对所述切割后点云数据进行滤波，得到滤波后的点云数据；

S14、依次计算所述滤波后的点云数据的AABB包围盒，依照所述AABB包围盒的边长确定所述待检测工件摆动幅度最大时的点云数据。

3.如权利要求2所述的工件涂装质量在线动态检测方法，其特征在于，所述S2中采用点云配准方法获取所述摆动幅度最大时的点云数据对应的待检测工件位姿，具体包括：

S21、读取所述待检测工件的3D模型点云数据，将所述3D模型点云数据的重心点与3D相机坐标系的原点重合，以此作为source点云数据，将所述3D模型点云数据的重心点作为所述source点云数据的初始重心点，将所述3D模型点云数据的姿态作为所述source点云数据的初始姿态，将所述待检测工件摆动幅度最大时的点云数据作为target点云数据；

S22、读取所述target点云数据中各坐标轴上的最大值与最小值分别作为所述target点云数据的AABB包围盒的最远角点和最近角点的坐标位置；

S23、通过所述target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，以所述AABB包围盒的重心点坐标为基准，通过改变所述source点云数据的重心点位置，直到所述source点云数据的重心点与所述target点云数据的AABB包围盒重心点重合，根据重合后source点云数据的姿态与source点云数据的初始姿态的差异得到第一转换矩阵；

S24、使用FPFH算法对所述source点云数据和所述target点云数据进行粗配准，根据粗配准后source点云数据的姿态与S23中重合后source点云数据的姿态的差异得到第二转换矩阵；

S25、使用ICP算法对所述第二转换矩阵进行优化，完成精配准，根据精配准后的source点云数据的姿态与S24中粗配准后source点云数据的姿态的差异得到第三转换矩阵；

S26、通过所述第一转换矩阵、第二转换矩阵和第三转换矩阵得到所述source点云数据与所述target点云数据之间的转换矩阵，将所述source点云数据经过所述转换矩阵进行坐标转换，将相机坐标系下的待检测工件位姿转换到机械臂基底坐标系下的待检测工件位姿。

4.如权利要求3所述的工件涂装质量在线动态检测方法，其特征在于，所述S23中通过所述target点云数据的AABB包围盒的最远角点和最近角点的坐标位置计算AABB包围盒的重心点坐标，具体公式为：

其中，式中，为target点云数据的AABB包围盒的最远角点坐标，为target点云数据的AABB包围盒的最近角点坐标，，，分别为target点云数据各坐标轴上的最大值，，，分别为target点云数据各坐标轴上的最小值，，，分别为target点云数据的AABB包围盒的重心点坐标。

5.如权利要求4所述的工件涂装质量在线动态检测方法，其特征在于，所述S23中的第一转换矩阵，具体公式为：

式中，为第一转换矩阵，，，分别为target点云数据的AABB包围盒的重心点坐标。

6.如权利要求5所述的工件涂装质量在线动态检测方法，其特征在于，所述S26中通过所述第一转换矩阵、第二转换矩阵和第三转换矩阵得到所述source点云数据与所述target点云数据之间的转换矩阵，具体公式为：

式中，为target点云数据，为source点云数据，为source点云数据与target点云数据之间的转换矩阵，为第一转换矩阵，为第二转换矩阵，为第三转换矩阵。

7.如权利要求6所述的工件涂装质量在线动态检测方法，其特征在于，所述位移传感器组件包括第一位移传感器、第二位移传感器、第三位移传感器，所述S3中采用所述末端执行机构上的位移传感器组件实时采集所述末端执行机构与所述待检测工件之间的距离信息，根据所述距离信息构建实时检测平面坐标系，具体包括：

S31、采用所述末端执行机构上的第一位移传感器、第二位移传感器、第三位移传感器实时采集所述末端执行机构与所述待检测工件之间的距离信息；

S32、根据所述第一位移传感器、第二位移传感器、第三位移传感器在所述末端执行机构上的安装位置确定机械臂末端坐标系下的第一位移传感器、第二位移传感器、第三位移传感器的二维坐标；

S33、将所述距离信息和所述二维坐标拓展为机械臂末端坐标系下第一位移传感器、第二位移传感器、第三位移传感器的三维坐标；

S34、根据所述三维坐标计算所述第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量；

S35、根据机械臂末端坐标系与所述实时检测平面的法向量构建实时检测平面坐标系。

8.如权利要求7所述的工件涂装质量在线动态检测方法，其特征在于，所述S34中根据所述三维坐标计算所述第一位移传感器、第二位移传感器、第三位移传感器构成的实时检测平面的法向量，所述实时检测平面的法向量具体为：

其中，式中，为第二位移传感器指向第一位移传感器的三维向量，为第三位移传感器指向第一位移传感器的三维向量，，，为第i个位移传感器对应的三维坐标，，为实时检测平面的法向量。

9.如权利要求8所述的工件涂装质量在线动态检测方法，其特征在于，所述S35中根据机械臂末端坐标系与所述实时检测平面的法向量构建实时检测平面坐标系，所述实时检测平面坐标系具体为：

式中，为实时检测平面坐标系，为实时检测平面坐标系下的x轴正方向，为实时检测平面坐标系下的y轴正方向，为实时检测平面坐标系下的z轴正方向。

10.一种工件涂装质量在线动态检测系统，采用如权利要求1-9任一项所述的工件涂装质量在线动态检测方法进行检测，其特征在于，所述动态检测系统包括：机械臂、工控机和末端执行机构，所述工控机与所述机械臂连接，所述末端执行机构安装在所述机械臂的末端，所述工控机中设有位姿计算模块、通信模块、运动控制模块，所述末端执行机构包括支架、3D相机、位移传感器组件、光纤传感器组件、吸盘、涂装质量检测模块，

所述3D相机固定于所述支架上，用于对包含待检测工件的实时场景进行图像采集，得到实时图像数据，并发送至所述位姿计算模块；

所述位移传感器组件固定在所述支架上，用于实时采集所述末端执行机构与待检测工件之间的距离信息，并发送至所述位姿计算模块；

所述位姿计算模块用于接收所述实时图像数据和所述距离信息，经过处理，输出目标位姿信息，并通过所述通信模块发送所述目标位姿信息至所述运动控制模块；

所述运动控制模块接收所述目标位姿信息后，经过处理得到目标位姿，控制所述机械臂带动固定在其末端的所述末端执行机构到达所述目标位姿；

所述光纤传感器组件固定于所述支架的贴合面上，用于检测所述末端执行机构与待检测工件贴合状态，并将贴合OK的信号通过所述通信模块发送至所述运动控制模块；

所述吸盘固定于所述支架的中央，所述运动控制模块接收到所述通信模块发送的贴合OK的信号后，控制所述吸盘完成抽气动作，将所述末端执行机构吸附在所述待检测工件表面；

所述涂装质量检测模块固定于所述支架上，用于对所述待检测工件表面的涂装质量进行检测。

Images