CN112934541A - 基于视觉3d重建的自动喷涂装置及方法 - Google Patents

Abstract

本发明涉及智能喷涂技术领域，具体涉及一种基于视觉3D重建的自动喷涂装置及方法。该基于视觉3D重建的自动喷涂装置包括用于输送检测待喷涂构件的流水线传送带及相机组，还包括喷涂机构，喷涂机构包括喷涂机械臂及喷涂机械臂连接的喷涂装置，喷涂机械臂连接位置传感器；流水线传送带、第一相机、第二相机、第三相机、位置传感器、喷涂机械臂及喷涂装置均连接嵌入式计算单元；嵌入式计算单元连接有云计算单元，提供一种能够自动喷涂作业，简化操作，从而提高作业效率，节省生产成本，提高喷涂厚度的均匀性的基于视觉3D重建的自动喷涂装置及方法。

Description

基于视觉3D重建的自动喷涂装置及方法

技术领域

本发明涉及智能喷涂技术领域，具体涉及一种基于视觉3D重建的自动喷涂装置及方法。

背景技术

目前，随着我国产业结构的升级，对钢结构构件的需求逐年增大。传统对钢结构构件的喷涂方式主要为手工喷涂、示教离线喷涂机器人等。然而手工喷涂存在效率低、质量差、无法保证漆膜厚度的均匀性、危害喷涂人员的身体健康等弊端。示教离线喷涂机器人存在柔性作业差、成本较高、效率低、编程工作量大、操作复杂繁琐、对工件相对定位精度要求较高等诸多缺点，此外对工作人员具有较高的专业要求。不同型号、不同系列、不同尺寸的工件都需要定制一套喷涂工艺程序，操作及其繁琐，无法适应流水线式的多种类钢构件的混合喷涂或单种类钢构件的并行喷涂。

示教离线喷涂机器人的自动化程度也有待提高，作业过程中往往需要操作人员时时关注喷涂的状态，必要时对喷涂机器人或构件进行适当的调整，以满足喷涂工艺要求，同一套喷涂工艺算法只能适用于完全相同的构件，无法适配于同型号不同系列不同尺寸的构件，无法做到一定的兼容性,耗费大量的人工成本，喷涂效率和覆盖率都比较低。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种能够自动喷涂作业，简化操作，从而提高作业效率，节省生产成本，提高喷涂厚度的均匀性的基于视觉3D重建的自动喷涂装置及方法。

本发明为解决其技术问题所采用的技术方案为：基于视觉3D重建的自动喷涂装置，包括用于输送检测待喷涂构件的流水线传送带及相机组，流水线传送带以0.01m/s～0.05m/s的速度并排输送多个构件，每一排构件为一组，每组间构件的纵向间距保持1m左右，每组内构件横向间距与构件高度、相机安装位置等有关，以相机视野盲区尽可能少为依准。所述相机组包括在流水线传送带正上方设置的第一相机、流水线传送带一侧设置的第二相机及流水线传送带另一侧设置有第三相机；

流水线传送带一侧设置的位置传感器，位置传感器用于采集流水线传送带上待喷涂构件和各相机的位姿、速度数据；

还包括喷涂机构，所述喷涂机构包括喷涂机械臂及喷涂机械臂连接的喷涂装置，所述喷涂机械臂连接位置传感器；

所述流水线传送带、第一相机、第二相机、第三相机、位置传感器、喷涂机械臂及喷涂装置均连接嵌入式计算单元；

所述嵌入式计算单元连接有云计算单元。位置传感器采集的数据信息传输给嵌入式计算单元和喷涂机械臂，用于辅助视觉3D建模和喷涂机械臂的纵向定位。嵌入式计算单元接收第一相机、第二相机、第三相机的图像数据和所述位置传感器的数据，进行3D模型的计算，如图像特征的提取和匹配、稀疏重建、稠密重建、喷涂对象识别、喷涂路径规划、喷涂时序指令生成等。喷涂机械臂解析嵌入式计算单元发送的喷涂时序指令，完成构件的喷涂作业。云计算单元用于刻画记录喷涂装置每次喷涂任务过程的数据画像，如操作人员信息，设备开关机时间，设备运行时间、设备运行状态，生产资源消耗，生产任务统计，构件详细信息等。

所述第一相机通过第一相机安装支架安装在流水线传送带的正上方，第一相机安装的高度能够使第一相机的视野覆盖整个流水线传送带的宽度。第一相机负责采集流水线传送带上每一组构件的上视角图片轮廓数据，并传输给嵌入式计算单元。

所述第二相机及第三相机分别通过对应的第二相机安装支架及第三相机安装支架支撑固定，所述第二相机及第三相机的高度低于所述第一相机的高度。设置时，通过第二相机及第三相机的高度略低于第一相机，其位置以其视野尽可能覆盖到一组构件的对应一侧的侧边为宜，负责采集流水线传送带上每一组构件的侧面视角图片轮廓数据，并传输给嵌入式计算单元。

所述第一相机、第二相机及第三相机分别通过连接组件与对应的安装支架连接；

所述连接组件包括与安装支架连接的安装座，所述安装座通过第二旋转轴连接有活动支架，所述活动支架通过第一旋转轴连接对应的相机，所述第一旋转轴及第二旋转轴连接微型电机及转轴位置传感器，微型电机及转轴位置传感器均连接嵌入式计算单元。微型电机与第一旋转轴及第二旋转轴传动连接，使得相机能够围绕第一旋转轴及第二旋转轴做空间上2个自由度的旋转运动。使得相机视野能够随构件的运动而相应运动，确保构件在一个建模周期内大部分在相机视野中。相机的具体数量和安装位置有器视场角、构件的复杂度及待扫描范围相应设置。

所述喷涂机械臂设置两个，两个喷涂机械臂关于流水线传送带对称设置，喷涂机械臂拥有沿流水线传送带宽度方向和垂直流水线传送带方向运动的2个自由度，喷涂装置为喷枪，喷涂机械臂末端安装有6把喷枪。对于位于流水线传送带上方的喷涂机械臂，其中2把用于喷涂待喷涂构件的端面，2把用于喷涂待喷涂构件的左侧面和顶面，2把用于喷涂待喷涂构件的右侧面和顶面，同理位于流水线传送带下方的喷涂机械臂主要喷涂待喷涂构件的底面及侧面，实现较为全面的喷涂。喷涂装置适用于H型构件、槽型构件、平板型构件、方型构件、圆型构件、简单特殊型材，如具有端面、墩板、筋板、腹板、安装腿等。由于相机所拍照的图片只能重建待喷涂构件的顶面、侧面和端面的轮廓，无法重建底面的轮廓，所以提供如下两种方案，方案1)对于非对称构件，如槽型构件，在已知侧面、顶面和端面数据的情况下，工艺算法可自动拟合底面数据，上下喷涂机械臂独立运动喷涂；方案2)对于对称构件，如H型构件，除了采用1)方案，还可只规划上喷涂机械臂的喷涂轨迹，下喷涂机械臂做跟随喷涂。

所述嵌入式计算单元包括传感器数据获取模块、视觉3D重建模块、喷涂对象识别提取模块、喷涂工艺分析模块、喷涂策略规划模块、喷涂作业解析模块、动作执行模块、数据库模块、全局定位模块、监控服务模块、数据画像模块。

传感器数据获取模块通过UDP协议获得第一相机、第二相机、第三相机采集的待喷涂构件的轮廓图片数据、位置传感器及转轴位置传感器采集的待喷涂构件及各相机位姿、速度的测量数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定，提高3D重建的效率和鲁棒性；

视觉3D重建模块将第一相机、第二相机、第三相机多视角拍摄的图像序列及其相机空间位姿作为3D重建系统的输入；然后分析图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标；之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云；最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的三维模型；

喷涂对象识别提取模块首先根据分离出单个待喷涂构件的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理，排除因环境、设备噪声等对数据的干扰，以增加3D重建数据的稳定性和一致性。对整体轮廓数据进行分割后计算待喷涂构件的数量和几何特征信息；

喷涂工艺分析模块根据喷涂工艺参数提取喷涂工件的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

喷涂策略规划模块在结合相关的喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件之间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

喷涂作业解析模块用于把喷涂轨迹转换为按时间序列定义的相关控制指令，如流水线传送带控制指令、喷涂机械臂控制指令、喷枪控制指令、喷漆压力控制指令、喷漆种类控制指令等；

动作执行模块用于按时间序列执行有关控制指令，如控制流水线传送带、喷涂机械臂和喷枪按时间序列到达某一坐标位置完成喷涂作业，控制喷漆压力按时间序列变换漆压等；

数据库模块用于存储若干喷涂构件的3D点云模型模版、喷涂工艺参数，如漆膜厚度、喷涂速度、流水线速度、喷涂轨迹纵向间隔、喷漆压力、喷枪类型等、点云算法超参数，如模版匹配阈值、迭代次数、搜索半径、单元格数量、外点阈值、采样数量等、员工账户权限、员工操作记录、系统运行信息，如设备开关机时间，设备运行时间、设备运行状态，生产资源消耗，生产任务统计等；

全局定位模块为构件3D模型的重建提供位置服务，起到对齐3D模型坐标系和喷涂机械臂坐标系的作用，使数据在不同的操作空间态具有一致性；

监控服务模块用于监控设备各部件和软件算法的中间处理状态信息，如各传感器异常信息、机械臂异常信息、流水线传送带异常信息、误操作信息、算法处理异常信息等。当出现异常信息时，会向操作人员进行警告通知；

数据画像模块用于以UI的形式动态展示各数据，如构件3D模型视觉重建、点云平面实体化、喷涂轨迹离散化、喷涂轨迹标注、喷涂动作关键点标注、喷涂面积、预计油漆用量、设备运行信息等。

一种基于视觉3D重建的自动喷涂方法，包括以下步骤：

信息录入：数据库模块内预先录入若干喷涂构件的3D点云模型模版、喷涂工艺参数，如漆膜厚度、喷涂速度、流水线速度、喷涂轨迹纵向间隔、喷漆压力、喷枪类型等、点云算法超参数，如模版匹配阈值、迭代次数、搜索半径、单元格数量、外点阈值、采样数量等信息录入喷涂工艺数据库；

构件运输：将同类型的若干待喷涂构件按一定间距并排放在流水线传送带上，流水线传送带按一定速率进行输送；

数据采集：第一相机、第二相机、第三相机采集待喷涂构件的轮廓图片数据，位置传感器及转轴位置传感器采集待喷涂构件和对应相机的位姿、速度的测量数据；当一组待喷涂构件到达相机组的采集区域时，会通过UDP协议把第一相机、第二相机、第三相机分别对待喷涂构件的轮廓图片数据传输给传感器数据获取模块，同时位置传感器及转轴位置传感器对待喷涂构件和各相机的位姿、速度的测量数据传输给传感器数据获取模块，此过程中第一相机、第二相机、第三相机会跟随待喷涂构件一起转动视野角度，进行全程连续的图片采集；

数据处理及构件喷涂：包括以下子步骤：

S1：传感器数据获取模块接收各相机及位置传感器采集的数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定，提高3D重建的效率和鲁棒性；

S2：第一相机、第二相机、第三相机多视角拍摄的图像序列及其相机空间位姿作为视觉3D重建模块中3D重建系统的输入，视觉3D重建模块分析输入的图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标，之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云，最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的3D模型；

S3：通过全局定位模块的位姿变换服务，将3D模型坐标系和喷涂机械臂坐标系进行对齐变换，使构件完整的三维模型在不同的操作空间态具有一致性；

S4：此时三维模型仍存在许多因环境、设备噪声等因素产生的噪点。喷涂对象识别提取模块首先分离出单个待喷涂构件的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理，以增加3D重建数据的稳定性和一致性；对整体轮廓数据进行分割后计算待喷涂构件的数量和几何特征信息；

S5：喷涂工艺分析模块获取若干待喷涂构件的轮廓数据，检索匹配数据库模块中3D点云模型模版，匹配成功后提取其对应的工艺参数；根据喷涂工艺参数提取待喷涂构件的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

S6：喷涂策略规划模块结合相关喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

S7：喷涂作业解析模块把喷涂轨迹转换为按时间序列定义的相关控制指令，如流水线传送带控制指令、喷涂机械臂控制指令、喷枪控制指令、喷漆压力控制指令、喷漆种类控制指令等，把基于空间位姿的高级轨迹数据转换为基于时间序列的低级控制指令；

S8：流水线传送带接收有关控制指令把已采集过的若干待喷涂构件输送到喷涂机械臂的作业区内并对齐坐标系，动作执行模块按时间序列执行控制指令，控制流水线传送带、喷涂机械臂和喷涂装置即喷枪，按时间序列到达某一坐标位置完成喷涂作业；

数据处理及构件喷涂还包括以下子步骤：

S9：监控服务模块实时监控喷涂装置及运行的状态信息，当出现异常信息时，向操作人员进行警告通知；

S10：喷涂装置及运行的状态数据以UI的形式动态展示。

与现有技术相比，本发明具有以下有益效果：

(1)适用于多种类钢构件流水线式的柔性喷涂作业。

(2)可并行喷涂多个同种类的构件，具有较高的喷涂覆盖率、喷涂准确性、喷涂效率。

(3)对构件在流水线传送带上的摆放位置要求不高，只要保证每组内构件的横向间距不要过于太近即可。

(4)对操作人员专业素质要求不高，操作简便，需要人工过多干预。

(6)根据扫描的构件3D模型自动选择喷涂工艺算法和喷涂工艺参数，生成喷涂轨迹，自动化程度高。

(7)构件3D重建的主要传感器采用相机，整体成本比较低。

附图说明

图1是本发明结构示意图。

图2是本发明连接组件结构示意图。

图3是本发明嵌入式计算单元的框图。

图4是本发明视觉3D重建流程图。

图5是本发明H型构件3D点云模型示意图。

图6为本发明相机安装示意图。

图7为本发明喷涂机械臂左侧运动时喷涂示意图。

图8为本发明喷涂机械臂右侧运动时喷涂示意图。

图9为本发明喷涂机械臂喷涂前端面示意图。

图10为本发明喷涂机械臂喷涂后端面示意图。

图中：1、流水线传送带；2、第一相机安装支架；3、第二相机安装支架；4、第二相机；5、待喷涂构件；6、喷涂机械臂；7、位置传感器；8、第一相机；9、第三相机；10、第三相机安装支架；11、嵌入式计算单元；12、云计算单元；41、安装座；42、活动支架；43、工业相机；44、第一旋转轴；45、第二旋转轴。

具体实施方式

下面结合附图对本发明实施例做进一步描述：

实施例

如图1至图10所示，包括用于输送检测待喷涂构件5的流水线传送带1及相机组，流水线传送带1以0.01m/s～0.05m/s的速度并排输送多个构件，每一排构件为一组，每组间构件的纵向间距保持1m左右，每组内构件横向间距与构件高度、相机安装位置等有关，以相机视野盲区尽可能少为依准。相机组包括在流水线传送带1正上方设置的第一相机8、流水线传送带1一侧设置的第二相机4及流水线传送带1另一侧设置有第三相机9；

流水线传送带1一侧设置的位置传感器7，位置传感器7用于采集流水线传送带1上待喷涂构件5和各相机的位姿、速度数据；

还包括喷涂机构，喷涂机构包括喷涂机械臂6及喷涂机械臂6连接的喷涂装置，喷涂机械臂6连接位置传感器7；

流水线传送带1、第一相机8、第二相机4、第三相机9、位置传感器7、喷涂机械臂6及喷涂装置均连接嵌入式计算单元11；

嵌入式计算单元11连接有云计算单元12。位置传感器7采集的数据信息传输给嵌入式计算单元11和喷涂机械臂6，用于辅助视觉3D建模和喷涂机械臂的纵向定位。嵌入式计算单元11接收第一相机8、第二相机4、第三相机9的图像数据和位置传感器7的数据，进行3D模型的计算，如图像特征的提取和匹配、稀疏重建、稠密重建、喷涂对象识别、喷涂路径规划、喷涂时序指令生成等。喷涂机械臂6解析嵌入式计算单元11发送的喷涂时序指令，完成构件的喷涂作业。云计算单元12用于刻画记录喷涂装置每次喷涂任务过程的数据画像，如操作人员信息，设备开关机时间，设备运行时间、设备运行状态，生产资源消耗，生产任务统计，构件详细信息等。

第一相机8通过第一相机安装支架2安装在流水线传送带1的正上方，第一相机8安装的高度能够使第一相机8的视野覆盖整个流水线传送带1的宽度。第一相机8负责采集流水线传送带1上每一组构件的上视角图片轮廓数据，并传输给嵌入式计算单元11。

第二相机4及第三相机9分别通过对应的第二相机安装支架3及第三相机安装支架10支撑固定，第二相机4及第三相机9的高度低于第一相机8的高度。设置时，通过第二相机4及第三相机9的高度略低于第一相机8，其位置以其视野尽可能覆盖到一组构件的对应一侧的侧边为宜，负责采集流水线传送带1上每一组构件的侧面视角图片轮廓数据，并传输给嵌入式计算单元。

第一相机8、第二相机4及第三相机9分别通过连接组件与对应的安装支架连接；

连接组件包括与安装支架连接的安装座41，安装座41通过第二旋转轴45连接有活动支架42，活动支架42通过第一旋转轴44连接对应的相机，第一旋转轴44及第二旋转轴45连接微型电机及转轴位置传感器，微型电机及转轴位置传感器均连接嵌入式计算单元11。如图2所示，微型电机与第一旋转轴44及第二旋转轴45传动连接，使得相机能够围绕第一旋转轴44及第二旋转轴45做空间上2个自由度的旋转运动。使得相机视野能够随构件的运动而相应运动，确保构件在一个建模周期内大部分在相机视野中。相机的具体数量和安装位置有器视场角、构件的复杂度及待扫描范围相应设置。

喷涂机械臂6设置两个，两个喷涂机械臂6关于流水线传送带1对称设置，喷涂机械臂6拥有沿流水线传送带1宽度方向和垂直流水线传送带1方向运动的2个自由度，其具体结构采用现有技术，不再过多赘述。喷涂装置为喷枪，喷涂机械臂6末端安装有6把喷枪。对于位于流水线传送带1上方的喷涂机械臂6，其中2把用于喷涂待喷涂构件5的端面，2把用于喷涂待喷涂构件5的左侧面和顶面，2把用于喷涂待喷涂构件5的右侧面和顶面，同理位于流水线传送带1下方的喷涂机械臂6主要喷涂待喷涂构件5的底面及侧面，实现较为全面的喷涂。喷涂装置适用于H型构件、槽型构件、平板型构件、方型构件、圆型构件、简单特殊型材，如具有端面、墩板、筋板、腹板、安装腿等。由于相机所拍照的图片只能重建待喷涂构件5的顶面、侧面和端面的轮廓，无法重建底面的轮廓，所以提供如下两种方案，方案1对于非对称构件，如槽型构件，在已知侧面、顶面和端面数据的情况下，工艺算法可自动拟合底面数据，上下喷涂机械臂6独立运动喷涂；方案2对于对称构件，如H型构件，除了采用1方案，还可只规划上喷涂机械臂的喷涂轨迹，下喷涂机械臂做跟随喷涂。

嵌入式计算单元11包括传感器数据获取模块、视觉3D重建模块、喷涂对象识别提取模块、喷涂工艺分析模块、喷涂策略规划模块、喷涂作业解析模块、动作执行模块、数据库模块、全局定位模块、监控服务模块、数据画像模块。

传感器数据获取模块通过UDP协议获得第一相机8、第二相机4、第三相机9采集的待喷涂构件5的轮廓图片数据、位置传感器7及转轴位置传感器采集的待喷涂构件5及各相机位姿、速度的测量数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定，提高3D重建的效率和鲁棒性；

视觉3D重建模块将第一相机8、第二相机4、第三相机9多视角拍摄的图像序列及其相机空间位姿作为3D重建系统的输入；然后分析图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标；之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云；最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的三维模型；

喷涂对象识别提取模块首先根据分离出单个待喷涂构件5的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理，排除因环境、设备噪声等对数据的干扰，以增加3D重建数据的稳定性和一致性。对整体轮廓数据进行分割后计算待喷涂构件5的数量和几何特征信息；

喷涂工艺分析模块根据喷涂工艺参数提取喷涂工件的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

喷涂策略规划模块在结合相关的喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件5之间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

喷涂作业解析模块用于把喷涂轨迹转换为按时间序列定义的相关控制指令，如流水线传送带控制指令、喷涂机械臂控制指令、喷枪控制指令、喷漆压力控制指令、喷漆种类控制指令等；

动作执行模块用于按时间序列执行有关控制指令，如控制流水线传送带、喷涂机械臂和喷枪按时间序列到达某一坐标位置完成喷涂作业，控制喷漆压力按时间序列变换漆压等；

数据库模块用于存储若干喷涂构件的3D点云模型模版、喷涂工艺参数，如漆膜厚度、喷涂速度、流水线速度、喷涂轨迹纵向间隔、喷漆压力、喷枪类型等、点云算法超参数，如模版匹配阈值、迭代次数、搜索半径、单元格数量、外点阈值、采样数量等、员工账户权限、员工操作记录、系统运行信息，如设备开关机时间，设备运行时间、设备运行状态，生产资源消耗，生产任务统计等；

全局定位模块为构件3D模型的重建提供位置服务，起到对齐3D模型坐标系和喷涂机械臂坐标系的作用，使数据在不同的操作空间态具有一致性；

监控服务模块用于监控设备各部件和软件算法的中间处理状态信息，如各传感器异常信息、机械臂异常信息、流水线传送带异常信息、误操作信息、算法处理异常信息等。当出现异常信息时，会向操作人员进行警告通知；

数据画像模块用于以UI的形式动态展示各数据，如构件3D模型视觉重建、点云平面实体化、喷涂轨迹离散化、喷涂轨迹标注、喷涂动作关键点标注、喷涂面积、预计油漆用量、设备运行信息等。

实施例2

一种基于视觉3D重建的自动喷涂方法，包括以下步骤：

信息录入：数据库模块内预先录入若干喷涂构件的3D点云模型模版、喷涂工艺参数，如漆膜厚度、喷涂速度、流水线速度、喷涂轨迹纵向间隔、喷漆压力、喷枪类型等、点云算法超参数，如模版匹配阈值、迭代次数、搜索半径、单元格数量、外点阈值、采样数量等信息录入喷涂工艺数据库；

构件运输：将同类型的若干待喷涂构件5按一定间距并排放在流水线传送带1上，流水线传送带1按一定速率进行输送；

数据采集：第一相机8、第二相机4、第三相机9采集待喷涂构件5的轮廓图片数据，位置传感器7及转轴位置传感器采集待喷涂构件5和对应相机的位姿、速度的测量数据；当一组待喷涂构件5到达相机组的采集区域时，会通过UDP协议把第一相机8、第二相机4、第三相机9分别对待喷涂构件5的轮廓图片数据传输给传感器数据获取模块，同时位置传感器7及转轴位置传感器对待喷涂构件5和各相机的位姿、速度的测量数据传输给传感器数据获取模块，此过程中第一相机8、第二相机4、第三相机9会跟随待喷涂构件5一起转动视野角度，进行全程连续的图片采集；

数据处理及构件喷涂：包括以下子步骤：

S1：传感器数据获取模块接收各相机及位置传感器采集的数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定，提高3D重建的效率和鲁棒性；

S2：第一相机8、第二相机4、第三相机9多视角拍摄的图像序列及其相机空间位姿作为视觉3D重建模块中3D重建系统的输入，视觉3D重建模块分析输入的图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标，之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云，最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的3D模型；

S3：通过全局定位模块的位姿变换服务，将3D模型坐标系和喷涂机械臂坐标系进行对齐变换，使构件完整的三维模型在不同的操作空间态具有一致性；

S4：此时三维模型仍存在许多因环境、设备噪声等因素产生的噪点。喷涂对象识别提取模块首先分离出单个待喷涂构件5的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理，以增加3D重建数据的稳定性和一致性；对整体轮廓数据进行分割后计算待喷涂构件5的数量和几何特征信息；

S5：喷涂工艺分析模块获取若干待喷涂构件5的轮廓数据，检索匹配数据库模块中3D点云模型模版，匹配成功后提取其对应的工艺参数；根据喷涂工艺参数提取待喷涂构件5的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

S6：喷涂策略规划模块结合相关喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件5间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

S7：喷涂作业解析模块把喷涂轨迹转换为按时间序列定义的相关控制指令，如流水线传送带控制指令、喷涂机械臂控制指令、喷枪控制指令、喷漆压力控制指令、喷漆种类控制指令等，把基于空间位姿的高级轨迹数据转换为基于时间序列的低级控制指令；

S8：流水线传送带1接收有关控制指令把已采集过的若干待喷涂构件5输送到喷涂机械臂6的作业区内并对齐坐标系，动作执行模块按时间序列执行控制指令，控制流水线传送带1、喷涂机械臂6和喷涂装置即喷枪，按时间序列到达某一坐标位置完成喷涂作业，如控制喷漆压力按时间序列变换漆压等；

数据处理及构件喷涂还包括以下子步骤：

S9：监控服务模块实时监控喷涂装置及运行的状态信息，如各传感器异常信息、机械臂异常信息、流水线传送带异常信息、误操作信息、算法处理异常信息、员工权限、员工操作记录、系统运行信息，如设备开关机时间，设备运行时间、设备运行状态，生产资源消耗，生产任务统计等等。当出现异常信息时，向操作人员进行警告通知。

S10：喷涂装置及运行的状态数据以UI的形式动态展示，如构件3D点云模型重建、点云平面实体化、喷涂轨迹离散化、喷涂轨迹标注、喷涂动作关键点标注、喷涂面积、预计油漆用量、设备运行信息等。

一组构件的喷涂作业完成后，流水线传送带1把构件输送到人工补漆的工位补漆，之后进入烘干房进行烘干作业。

Claims (9)

1.一种基于视觉3D重建的自动喷涂装置，其特征在于，包括用于输送检测待喷涂构件(5)的流水线传送带(1)及相机组，所述相机组包括在流水线传送带(1)正上方设置的第一相机(8)、流水线传送带(1)一侧设置的第二相机(4)及流水线传送带(1)另一侧设置有第三相机(9)；

流水线传送带(1)一侧设置的位置传感器(7)；

还包括喷涂机构，所述喷涂机构包括喷涂机械臂(6)及喷涂机械臂(6)连接的喷涂装置，所述喷涂机械臂(6)连接位置传感器(7)；

所述流水线传送带(1)、第一相机(8)、第二相机(4)、第三相机(9)、位置传感器(7)、喷涂机械臂(6)及喷涂装置均连接嵌入式计算单元(11)；

所述嵌入式计算单元(11)连接有云计算单元(12)。

2.根据权利要求1所述的基于视觉3D重建的自动喷涂装置，其特征在于，所述第一相机(8)通过第一相机安装支架(2)安装在流水线传送带(1)的正上方，第一相机(8)安装的高度能够使第一相机(8)的视野覆盖整个流水线传送带(1)的宽度。

3.根据权利要求2所述的基于视觉3D重建的自动喷涂装置，其特征在于，所述第二相机(4)及第三相机(9)分别通过对应的第二相机安装支架(3)及第三相机安装支架(10)支撑固定，所述第二相机(4)及第三相机(9)的高度低于所述第一相机(8)的高度。

4.根据权利要求3所述的基于视觉3D重建的自动喷涂装置，其特征在于，所述第一相机(8)、第二相机(4)及第三相机(9)分别通过连接组件与对应的安装支架连接；

所述连接组件包括与安装支架连接的安装座(41)，所述安装座(41)通过第二旋转轴(45)连接有活动支架(42)，所述活动支架(42)通过第一旋转轴(44)连接对应的相机，所述第一旋转轴(44)及第二旋转轴(45)连接微型电机及转轴位置传感器，微型电机及转轴位置传感器均连接嵌入式计算单元(11)。

5.根据权利要求4所述的基于视觉3D重建的自动喷涂装置，其特征在于，所述喷涂机械臂(6)设置两个，两个喷涂机械臂(6)关于流水线传送带(1)对称设置，喷涂机械臂(6)拥有沿流水线传送带(1)宽度方向和垂直流水线传送带(1)方向运动的2个自由度，喷涂装置为喷枪，喷涂机械臂(6)末端安装有6把喷枪。

6.根据权利要求1所述的基于视觉3D重建的自动喷涂装置，其特征在于，所述嵌入式计算单元(11)包括传感器数据获取模块、视觉3D重建模块、喷涂对象识别提取模块、喷涂工艺分析模块、喷涂策略规划模块、喷涂作业解析模块、动作执行模块、数据库模块、全局定位模块、监控服务模块、数据画像模块。

7.根据权利要求6所述的基于视觉3D重建的自动喷涂装置，其特征在于，传感器数据获取模块通过UDP协议获得第一相机(8)、第二相机(4)、第三相机(9)采集的待喷涂构件(5)的轮廓图片数据、位置传感器(7)及转轴位置传感器采集的待喷涂构件(5)及各相机位姿、速度的测量数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定；

视觉3D重建模块将第一相机(8)、第二相机(4)、第三相机(9)多视角拍摄的图像序列及其相机空间位姿作为3D重建系统的输入；然后分析图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标；之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云；最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的三维模型；

喷涂对象识别提取模块首先根据分离出单个待喷涂构件(5)的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理，排除因环境、设备噪声等对数据的干扰，对整体轮廓数据进行分割后计算待喷涂构件(5)的数量和几何特征信息；

喷涂工艺分析模块根据喷涂工艺参数提取喷涂工件的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

喷涂策略规划模块在结合相关的喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件(5)之间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

喷涂作业解析模块用于把喷涂轨迹转换为按时间序列定义的相关控制指令；

动作执行模块用于按时间序列执行有关控制指令；

数据库模块用于存储若干喷涂构件的3D点云模型模版、喷涂工艺参数、点云算法超参数、员工账户权限、员工操作记录、系统运行信息；

全局定位模块为构件3D模型的重建提供位置服务；

监控服务模块用于监控设备各部件和软件算法的中间处理状态信息，当出现异常信息时，会向操作人员进行警告通知；

数据画像模块用于以UI的形式动态展示各数据。

8.一种基于视觉3D重建的自动喷涂方法，其特征在于，包括以下步骤：

信息录入：数据库模块内预先录入若干喷涂构件的3D点云模型模版、喷涂工艺参数、点云算法超参数信息录入喷涂工艺数据库；

构件运输：将同类型的若干待喷涂构件(5)按一定间距并排放在流水线传送带(1)上，流水线传送带(1)按一定速率进行输送；

数据采集：第一相机(8)、第二相机(4)、第三相机(9)采集待喷涂构件(5)的轮廓图片数据，位置传感器(7)及转轴位置传感器采集待喷涂构件(5)和对应相机的位姿、速度的测量数据；当一组待喷涂构件(5)到达相机组的采集区域时，会通过UDP协议把第一相机(8)、第二相机(4)、第三相机(9)分别对待喷涂构件(5)的轮廓图片数据传输给传感器数据获取模块，同时位置传感器(7)及转轴位置传感器对待喷涂构件(5)和各相机的位姿、速度的测量数据传输给传感器数据获取模块，此过程中第一相机(8)、第二相机(4)、第三相机(9)会跟随待喷涂构件(5)一起转动视野角度，进行全程连续的图片采集；

数据处理及构件喷涂：包括以下子步骤：

S1：传感器数据获取模块接收各相机及位置传感器采集的数据，得到各相机相对于其所拍摄照片的全局空间位姿，作为3D重建时各相机位姿优化的初始值，并与图片数据相绑定；

S2：第一相机(8)、第二相机(4)、第三相机(9)多视角拍摄的图像序列及其相机空间位姿作为视觉3D重建模块中3D重建系统的输入，视觉3D重建模块分析输入的图像序列，提取构件的纹理特征，根据纹理特征提取出表征轮廓的稀疏特征点，对每对图片中的特征点进行匹配并保留满足几何约束的匹配，利用这些匹配约束优化相机位姿并得到匹配特征点的3D坐标，之后利用相机位姿、特征点匹配约束和特征点3D坐标，使用MVS技术获得更稠密的点云，最后根据这些点云重建物体表面信息，并进行纹理映射，还原出构件的3D模型；

S3：通过全局定位模块的位姿变换服务，将3D模型坐标系和喷涂机械臂坐标系进行对齐变换；

S4：喷涂对象识别提取模块首先分离出单个待喷涂构件(5)的轮廓数据，再对数据进行滤波、降采样、平滑、剔除外点等处理；对整体轮廓数据进行分割后计算待喷涂构件(5)的数量和几何特征信息；

S5：喷涂工艺分析模块获取若干待喷涂构件(5)的轮廓数据，检索匹配数据库模块中3D点云模型模版，匹配成功后提取其对应的工艺参数；根据喷涂工艺参数提取待喷涂构件(5)的所有待喷涂面并进行参数化表示，根据各喷涂面的参数方程离散化出每个喷涂周期的喷涂路径；

S6：喷涂策略规划模块结合相关喷涂工艺参数拟合各喷涂面内的喷涂路径和各待喷涂构件(5)间的行走路径，形成具有时间和速度特性的喷涂轨迹，覆盖每组构件的待喷涂区域；

S7：喷涂作业解析模块把喷涂轨迹转换为按时间序列定义的相关控制指令，把基于空间位姿的高级轨迹数据转换为基于时间序列的低级控制指令；

S8：流水线传送带(1)接收有关控制指令把已采集过的若干待喷涂构件(5)输送到喷涂机械臂(6)的作业区内并对齐坐标系，动作执行模块按时间序列执行控制指令，控制流水线传送带(1)、喷涂机械臂(6)和喷涂装置按时间序列到达某一坐标位置完成喷涂作业。

9.根据权利要求8所述的基于视觉3D重建的自动喷涂装置，其特征在于，数据处理及构件喷涂还包括以下子步骤：

S9：监控服务模块实时监控喷涂装置及运行的状态信息，当出现异常信息时，向操作人员进行警告通知。

S10：喷涂装置及运行的状态数据以UI的形式动态展示。

Images