CN117443853A - 一种基于视觉识别定位的五轴激光曲面清洗方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉识别定位的五轴激光曲面清洗方法及系统，将用于测试、带曲面、需清洗的工件移动到运动平台，并将其三维模型导入，进行相机标定；控制运动平台使用于测试、带曲面、需清洗的工件进行多角度转动，同时通过相机对该用于测试、带曲面、需清洗的工件进行遍历，并结合优化定位分割模型得到需清洗区域的坐标以及形状；将三维振镜激光器移动到一个需清洗区域的正上方，再根据该需清洗区域的形状在3D激光打标软件中进行贴图，按标记顺序对需清洗区域进行激光清洗。本发明无需人为检测，利用三维振镜激光器的自动焦距补偿功能，使激光每一时刻始终聚焦在曲面工件表面，再根据分割区域形状进行曲面清洗，解决了曲面清洗问题。

Description

一种基于视觉识别定位的五轴激光曲面清洗方法及系统

技术领域

本发明涉及曲面清洗的技术领域，尤其涉及到一种基于视觉识别定位的五轴激光曲面清洗方法及系统。

背景技术

金属材料广泛应用于航空航天、船舶等领域，而金属锈蚀是一种那以避免的问题，需要通过清洗锈蚀、残留漆层再进行涂装等工序对其进行定期保养维护。现阶段主要的清洗方法主要通过机械清洗，如打磨、喷砂；化学清洗、水射清洗、超声波清洗。其中机械清洗方法效率低，清洗工作所产生高密度粉尘散步空气中对施工人员的身体健康造成极大损害，且喷砂处理过程中钢砂不断冲击基材以此实现清洗，造成表面变形其性能发生变化。化学试剂清洗会腐蚀基材，清洗所产生的废液没有适当的处理回收对环境造成极大污染。水射流清洗和超声波清洗相比前两种方法更加环保对基材损伤相对较小，但费用高昂清洗效率低。虽然传统清洗方法依然占有较大比例，但因各方法自身存在的局限性，迫切需要一种效率高、清洗质量好、绿色的新型清洗方法。

而近年来随着激光技术的不断发展，激光技术被应用于清洗领域，并发现其效果有显著优势。与传统清洗方法相比，激光清洗的优点主要集中在：清洗参数可调，可实现精准清洗且清洗范围广泛；清洗对基材的损伤小，保证清洗后基材性能不变；“绿色”清洗方式对环境污染较小；清洗效率高，成本低更易实现自动化。激光清洗技术的众多优势使其更适应今天的清洗行业发展，所具有的巨大潜力，必然会取代传统清洗方式。

但目前激光清洗加工仍需人工操作，清洗设备难以实现自动化的清洗和检测，严重影响了清洗效率，而且，对于一些复杂曲面，普通激光器很难做到对其表面进行均匀清洗。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉识别定位的五轴激光曲面清洗方法。

为实现上述目的，本发明所提供的技术方案为：

一种基于视觉识别定位的五轴激光曲面清洗方法，包括：

新建定位分割模型；

采集多张用于训练、带曲面、需清洗的工件的图像，并通过该多张工件图像对新建的定位分割模型进行训练，得到优化定位分割模型；

将用于测试、带曲面、需清洗的工件移动到运动平台，并将其三维模型导入3D激光打标软件中，进行相机标定；

控制运动平台使用于测试、带曲面、需清洗的工件进行多角度转动，同时通过相机对该用于测试、带曲面、需清洗的工件进行遍历，并结合优化定位分割模型得到需清洗区域的坐标以及形状；

依据得到的需清洗区域的坐标，将三维振镜激光器移动到一个需清洗区域的正上方，再根据该需清洗区域的形状在3D激光打标软件中进行贴图，按标记顺序对该需清洗区域进行激光清洗。

本技术方案能够对曲面进行区域识别定位清洗，解决曲面清洗问题，并且大大提高清洗效率。

进一步地，进行激光清洗后，还包括：

判断清洗结果是否满足清洁度要求，若不满足，则进行二次区域定位识别清洗，若满足要求，则清洗下一个需清洗区域，直至用于测试、带曲面、需清洗的工件已清洗完全。

进一步地，通过设置清洁度阈值判断当前清洗结果是否满足清洁度要求。

进一步地，定位分割模型包括YOLOv5目标检测定位模型和U-net图像分割模型。

进一步地，YOLOv5目标检测定位模型的损失函数如下：

Loss＝λ₁L_cls+λ₂L_obj+λ₃L_loc

其中，L_cls为分类损失，采用BCE loss； L_obj为分obj损失，采用BCE loss,L_loc为定位损失，采用的是CIoU loss；

设标签为y，输入为x，网络预测结果为BCE loss函数为：

所使用的CIoU损失函数公式如下：

其中，G和P分别表示真实目标框和预测目标框；w^gt、h^gt分别表示真实矩形框的宽、高；w、h分别表示预测矩形框的宽、高。

进一步地，三维振镜激光器对需清洗区域进行激光清洗的过程中，三维振镜激光器通过自身的电机移动镜头，改变聚焦镜的焦距从而应对曲面出现的高低落差，使发出的激光每一时刻始终聚焦在需清洗的带曲面的工件表面。

为实现上述目的，本发明另外提供一种基于视觉识别定位的五轴激光曲面清洗系统，用于实现上述的基于视觉识别定位的五轴激光曲面清洗方法，包括：控制模块、三维振镜激光器、五轴移动平台、视觉模块；

其中，五轴移动平台包括激光器调节单元、位于激光器调节单元一侧的工件调节单元；

所述激光器调节单元包括X直线移动子单元、Y直线移动子单元、Z直线移动子单元；

所述三维振镜激光器连接在Z直线移动子单元上；

所述X直线移动子单元、Y直线移动子单元、Z直线移动子单元相互配合，调节三维振镜激光器在X、Y、Z三个方向上的位置；

所述工件调节单元包括支撑座、U旋转子单元、V旋转子单元、运动平台；所述V旋转子单元安装在支撑座上；运动平台通过U旋转子单元与V旋转子单元连接，在U旋转子单元和V旋转子单元的配合下进行竖向和横向旋转；

所述控制模块分别与三维振镜激光器、X直线移动子单元、Y直线移动子单元、Z直线移动子单元、U旋转子单元、V旋转子单元、视觉模块电连接。

进一步地，所述控制模块包括主控计算机和运动控制卡；

所述主控计算机与运动控制卡电连接；

所述运动控制卡分别与三维振镜激光器、X直线移动子单元、Y直线移动子单元、Z直线移动子单元、U旋转子单元、V旋转子单元、视觉模块电连接。

进一步地，所述视觉模块包括视觉检测计算机和相机；

所述视觉检测计算机与运动控制卡电连接；

所述相机对着运动平台，并分别与运动控制卡、视觉检测计算机电连接。

与现有技术相比，本技术方案原理及优点如下：

将需清洗的带曲面的工件移动到运动平台，并将其三维模型导入3D激光打标软件中，进行相机标定；接着，控制运动平台使需清洗的带曲面的工件进行多角度转动，同时通过相机对需清洗的带曲面的工件进行遍历，并结合优化定位分割模型得到需清洗区域的坐标以及形状；最后，依据得到的需清洗区域的坐标，将三维振镜激光器移动到需清洗区域的正上方，再根据需清洗区域的形状在3D激光打标软件中进行贴图，按标记顺序对需清洗区域进行激光清洗。

本技术方案基于机器视觉得到需清洗区域的坐标以及形状，无需人为检测，而且，利用三维振镜激光器的自动焦距补偿功能，使激光每一时刻始终聚焦在曲面工件表面，再根据分割区域形状进行曲面清洗，解决了曲面清洗问题，并且大大提高了清洗效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于视觉识别定位的五轴激光曲面清洗系统的示意图；

图2为本发明一种基于视觉识别定位的五轴激光曲面清洗方法的原理流程图(省略了定位分割模型新建以及优化步骤)；

图3为本发明一种基于视觉识别定位的五轴激光曲面清洗方法中使用的YOLOv5目标检测定位模型的结构示意图；

图4为本发明一种基于视觉识别定位的五轴激光曲面清洗方法中使用的U-net图像分割模型的结构示意图。

附图标记：

1-主控计算机；2-运动控制卡；3-三维振镜激光器；4-X直线移动子单元；5-Y直线移动子单元；6-Z直线移动子单元；7-U旋转子单元；8-V旋转子单元；9-支撑座；10-运动平台；11-视觉检测计算机；12-CCD工业相机。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种基于视觉识别定位的五轴激光曲面清洗系统，包括控制模块、三维振镜激光器3、五轴移动平台、视觉模块。

其中，五轴移动平台包括激光器调节单元、位于激光器调节单元一侧的工件调节单元。

激光器调节单元包括X直线移动子单元4、Y直线移动子单元5、Z直线移动子单元6；三维振镜激光器3通过连接座连接在Z直线移动子单元6上；Y直线移动子单元5位于X直线移动子单元4和Z直线移动子单元6之间，X直线移动子单元4、Y直线移动子单元5、Z直线移动子单元6相互配合，调节三维振镜激光器3在X、Y、Z三个方向上的位置。

工件调节单元包括支撑座9、U旋转子单元7、V旋转子单元8、运动平台10；V旋转子单元8安装在支撑座9上；运动平台10通过U旋转子单元7与V旋转子单元8连接，在U旋转子单元7和V旋转子单元8的配合下进行竖向和横向旋转。

具体地，本实施例中，X直线移动子单元4包括X直线移动轴和X直线直流电机，X直线移动轴由X直线直流电机控制；Y直线移动子单元5包括Y直线移动轴和Y直线直流电机，Y直线移动轴由Y直线直流电机控制；Z直线移动子单元6包括Z直线移动轴和Z直线直流电机，Z直线移动轴由Z直线直流电机控制；U旋转子单元7包括U旋转轴和U伺服电机，U旋转轴由U伺服电机控制；V旋转子单元8包括V旋转轴和V伺服电机，V旋转轴由V伺服电机控制。

具体地，本实施例中，控制模块包括主控计算机1和运动控制卡2；主控计算机1与运动控制卡2电连接；运动控制卡2分别与X直线直流电机、Y直线直流电机、Z直线直流电机、U伺服电机、V伺服电机、视觉模块电连接，并通过激光器控制卡与三维振镜激光器3电连接。

具体地，本实施例中，视觉模块包括视觉检测计算机11和CCD工业相机12；视觉检测计算机11与运动控制卡2电连接；CCD工业相机12对着运动平台10，并分别与运动控制卡2、视觉检测计算机11电连接。

如图2所示，本实施例的工作原理如下：

在视觉检测计算机11内新建定位分割模型，该定位分割模型包括YOLOv5目标检测定位模型和U-net图像分割模型；

其中，YOLOv5目标检测定位模型对清洗区域进行定位，其损失函数如下：

Loss＝λ₁L_cls+λ₂L_obj+λ₃L_loc

其中，L_cls为分类损失，采用BCE loss；L_obj为分obj损失，采用BCE loss,L_loc为定位损失，采用的是CIoU loss；

设标签为y，输入为x，网络预测结果为BCE loss函数为：

所使用的CIoU损失函数公式如下：

其中，G和P分别表示真实目标框和预测目标框；w^gt、h^gt分别表示真实矩形框的宽、高；w、h分别表示预测矩形框的宽、高。

YOLOv5目标检测定位模型和U-net图像分割模型分别如图3和图4所示。

接着，通过CCD工业相机12采集多张用于训练、带曲面、需清洗的工件的图像，并通过该多张工件图像对新建的定位分割模型进行训练，得到优化定位分割模型；其中，该多张带曲面的工件图像按比例8：1：1进行训练集、验证集、测试集的划分；

再接着，将用于测试、带曲面、需清洗的工件移动到运动平台10，并将其三维模型导入3D激光打标软件中，进行相机标定；

进行相机标定的原理如下：

首先将世界坐标系转换为相机坐标系，世界坐标系到相机坐标系的转换属于刚体变换，通过旋转和平移即可获得，其中旋转矩阵为R，平移矩阵为T，即：

然后将相机坐标系转换为图像坐标系，相机坐标系到图形坐标系通过透视投影关系：得到，即：

最后将图像坐标系转换为像素坐标系，像素坐标系的单位为pixel，其中u₀,v₀为成像平面中心点在像素坐标系下的坐标，d_x和d_y分别表示在像素坐标系下x轴和y轴方向每个像素的物理尺寸：

主控计算机1通过运动控制卡2控制运动平台10使用于测试、带曲面、需清洗的工件进行多角度转动，同时通过CCD工业相机12对该用于测试、带曲面、需清洗的工件进行遍历，并结合优化定位分割模型得到需清洗区域的坐标以及形状，其中包括矩形框大小以及矩形框的宽W、高H、中心坐标(x,y)；

控制运动平台10使用于测试、带曲面、需清洗的工件进行多角度转动的过程中，通过主控计算机1控制运动控制卡2使U旋转子单元7和V旋转子单元8配合；

得到需清洗区域的坐标以及形状后，主控计算机1依据需清洗区域的坐标，通过运动控制卡2控制X直线移动子单元4、Y直线移动子单元5、Z直线移动子单元6，将三维振镜激光器3移动到一个需清洗区域的正上方，再根据该需清洗区域的形状在3D激光打标软件中进行贴图，按标记顺序对该需清洗区域进行激光清洗。

具体地，贴图采用等弧长投影原理，如：将平面曲线P(t)投影到曲面上得到新的曲线S(u，v),其相互之间的关系为：

进行激光清洗后，通过设置的清洁度阈值判断当前清洗结果是否满足清洁度要求，若不满足，则进行二次区域定位识别清洗，若满足要求，则清洗下一个需清洗区域，直至用于测试、带曲面、需清洗的工件已清洗完全。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，包括：

新建定位分割模型；

采集多张用于训练、带曲面、需清洗的工件的图像，并通过该多张工件图像对新建的定位分割模型进行训练，得到优化定位分割模型；

将用于测试、带曲面、需清洗的工件移动到运动平台，并将其三维模型导入3D激光打标软件中，进行相机标定；

控制运动平台使用于测试、带曲面、需清洗的工件进行多角度转动，同时通过相机对该用于测试、带曲面、需清洗的工件进行遍历，并结合优化定位分割模型得到需清洗区域的坐标以及形状；

依据得到的需清洗区域的坐标，将三维振镜激光器移动到一个需清洗区域的正上方，再根据该需清洗区域的形状在3D激光打标软件中进行贴图，按标记顺序对该需清洗区域进行激光清洗。

2.根据权利要求1所述的一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，进行激光清洗后，还包括：

判断清洗结果是否满足清洁度要求，若不满足，则进行二次区域定位识别清洗，若满足要求，则清洗下一个需清洗区域，直至用于测试、带曲面、需清洗的工件已清洗完全。

3.根据权利要求2所述的一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，通过设置清洁度阈值判断当前清洗结果是否满足清洁度要求。

4.根据权利要求1所述的一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，定位分割模型包括YOLOv5目标检测定位模型和U-net图像分割模型。

5.根据权利要求4所述的一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，YOLOv5目标检测定位模型的损失函数如下：

Loss＝λ₁L_cls+λ₂L_obj+λ₃L_loc

其中，L_cls为分类损失，采用BCE loss；L_obj为分obj损失，采用BCE loss,L_loc为定位损失，采用的是CIoU loss；

设标签为y，输入为x，网络预测结果为BCE loss函数为：

所使用的CIoU损失函数公式如下：

其中，G和P分别表示真实目标框和预测目标框；w^gt、h^gt分别表示真实矩形框的宽、高；w、h分别表示预测矩形框的宽、高。

6.根据权利要求1所述的一种基于视觉识别定位的五轴激光曲面清洗方法，其特征在于，三维振镜激光器对需清洗区域进行激光清洗的过程中，三维振镜激光器通过自身的电机移动镜头，改变聚焦镜的焦距从而应对曲面出现的高低落差，使发出的激光每一时刻始终聚焦在需清洗的带曲面的工件表面。

7.一种基于视觉识别定位的五轴激光曲面清洗系统，其特征在于，用于实现权利要求1-5任一所述的基于视觉识别定位的五轴激光曲面清洗方法，包括控制模块、三维振镜激光器、五轴移动平台、视觉模块；

其中，五轴移动平台包括激光器调节单元、位于激光器调节单元一侧的工件调节单元；

所述激光器调节单元包括X直线移动子单元、Y直线移动子单元、Z直线移动子单元；

所述三维振镜激光器连接在Z直线移动子单元上；

所述X直线移动子单元、Y直线移动子单元、Z直线移动子单元相互配合，调节三维振镜激光器在X、Y、Z三个方向上的位置；

所述工件调节单元包括支撑座、U旋转子单元、V旋转子单元、运动平台；所述V旋转子单元安装在支撑座上；运动平台通过U旋转子单元与V旋转子单元连接，在U旋转子单元和V旋转子单元的配合下进行竖向和横向旋转；

所述控制模块分别与三维振镜激光器、X直线移动子单元、Y直线移动子单元、Z直线移动子单元、U旋转子单元、V旋转子单元、视觉模块电连接。

8.根据权利要求6所述的一种基于视觉识别定位的五轴激光曲面清洗系统，其特征在于，所述控制模块包括主控计算机和运动控制卡；

所述主控计算机与运动控制卡电连接；

所述运动控制卡分别与三维振镜激光器、X直线移动子单元、Y直线移动子单元、Z直线移动子单元、U旋转子单元、V旋转子单元、视觉模块电连接。

9.根据权利要求7所述的一种基于视觉识别定位的五轴激光曲面清洗系统，其特征在于，所述视觉模块包括视觉检测计算机和相机；

所述视觉检测计算机与运动控制卡电连接；

所述相机对着运动平台，并分别与运动控制卡、视觉检测计算机电连接。