CN110116116A - 基于计算机视觉的机器人激光清洗路径规划系统及方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的机器人激光清洗路径规划系统及方法。该系统中包括：视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置。采用基于计算机视觉的示教方法，用户通过示教装置完成路径规划，以人机协作的方式指导机器人对目标工件的进行激光清洗。此方法应用于小型工件的流水线作业，可提高工作效率；对于待加工的大型工件，可提高示教效率，同时充分结合了人的经验，避免在真实复杂环境中视觉自动识别方法失误率高的问题。

Description

基于计算机视觉的机器人激光清洗路径规划系统及方法

技术领域

本发明涉及机器人技术与应用领域，更具体地说，涉及一种利用机器视觉方法，对机器人激光清洗路径进行规划。

背景技术

随着轨道交通的快速发展，地铁和高速列车产量大大增加。铝合金和钢作为轨道交通生产的主要材料，应用在高铁上时采用的连接方式主要为焊接，因此，为避免焊缝缺陷、提高焊接质量，在制造和检修过程中，常需要对一些复杂结构材料进行锈蚀、油污和油漆去除，在焊接前对焊接材料进行焊前清洗。

随着生产工艺与要求的提高，传统的处理方式如机械打磨法、化学腐蚀法等存在着清洗过程耗时长、效率低、损伤基材、加工成本高以及存在作业环境恶劣和环境污染等缺点，因此逐渐被淘汰，而采用激光清洗方式则可以很好的解决上述问题。

激光清洗利用激光能量密度高、聚焦性强、方向性好等特点，通过透镜组合聚焦光束，把光束集中到一个很小的区域中，利用激光脉冲的振动、分子的光分解或相变或它们的粒子联合作用等克服污物与基体表面之间的结合力，使污物脱离表面而达到清洗的目的。激光清洗作为当前最有前景的新型清洗方法，具有高效、绿色无污染、无损伤、非接触式清洗等特点，但如何有效提高激光清洗任务的自动化程度是当前工业界面临的一个难题。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于计算机视觉的机器人激光清洗路径规划系统及方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于计算机视觉的机器人激光清洗路径规划系统，该系统包括视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置；其中：

所述视觉运动捕捉模块包括若干个红外摄像机；其中，每个红外摄像机连接到计算机工作站，将数据同步传输到计算机工作站；

所述深度摄像头安装于机械臂末端和示教装置上；所述深度摄像头连接到计算机工作站，用于拍摄并传输目标工件的彩色图像与深度图像到计算机工作站；其中，计算机工作站利用接收到彩色图像与深度图像，采用ICP算法对目标工件进行三维重建，进一步得到示教装置与目标工件的相对位姿；

示教装置上设有若干个示教标记点；示教装置在示教的过程中，该装置上设有的若干个示教标记点共同构成一个刚体，经由视觉运动捕捉模块进行拍摄并传输到计算机工作站，由计算机工作站进一步处理得到所述刚体的空间坐标，然后根据所述空间坐标得到示教装置末端的空间姿态；

所述机械臂连接到计算机工作站，所述机械臂末端固定有激光清洗装置；计算机工作站根据处理得到的示教装置末端的空间姿态，对机械臂的运动路径进行规划，并驱动机械臂沿着规划好的路径运动；其中，在机械臂沿着规划好的路径运动时，计算机工作站根据示教装置与目标工件的相对位姿，对设于机械臂末端的激光清洗装置和目标工件之间的相对位姿进行调整的同时，驱动激光清洗装置对目标工件的进行激光清洗。

进一步的，在搭建若干台红外摄像机时，通过T型和L型标定工具，对由若干个红外摄像机构成的摄像机系统的空间坐标系进行标定。

进一步的，所述示教装置还包括轨迹定义控制开关、深度摄像头控制开关和无线通信模块，其中：

所述无线通信模块与计算机工作站无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。

进一步的，所述计算机工作站包括计算机主机，以及运行在计算机主机内的控制软件；所述控制软件包括用于接收和处理所有实时数据的数据处理模块、用于对机械臂进行运动控制和标定的机械臂控制模块和机械臂标定模块、用于对目标工件进行三维重建的三维重建模块、用于显示或回放机械臂运动过程的可视化模块，以及用于对激光清洗装置进行控制的激光控制模块。

进一步的，所述计算机工作站还包括与计算机主机相连的显示终端；所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放；其中，可视化模块的实时显示包括真实录像，以及利用OpenGL软件进行三维场景模拟。

进一步的，深度摄像将拍摄得到的目标工件的深度图像和彩色图像传输到计算机工作站，所述计算机工作站在接收到数据后，一方面利用数据处理模块对彩色图像与深度图像进行处理，得到目标工件的点云数据；另一方面通过三维重建模块对所述点云数据进行滤波处理后，针对滤波后的数据，采用ICP算法对目标工件进行三维重建，最终得到目标工件的3D点云模板；其中，根据由所述3D点云模板得到目标工件与示教装置之间的相对位姿，且3D点云模板存储于三维重建模块，便于在对目标工件进行二次清洗时，利用当前存储的3D点云模板，判断在当前清洗与上次清洗的过程中，目标工件与示教装置的相对位姿是否存在偏差。

进一步的，当对目标工件进行二次激光清洗，机械臂从初始状态运行至由机械臂控制模块规划好的路径起始点的过程中，由设于机械臂末端的深度摄像头对目标工件再次进行三维重建；其中，将当前清洗过程中得到的3D点云模板，与上次清洗过程中已进行处理并存储于三维重建模块的3D点云模板进行匹配；若目标工件与示教装置的相对位姿存在偏差，则利用机械臂控制模块对机械臂进行实时的运动补偿，进一步提高激光清洗过程的精确度。

本发明一种基于计算机视觉的机器人激光清洗路径规划方法，具体包括：

S1、搭建视觉运动捕捉模块，具体为：以机械臂为中心，呈环形布置并搭建若干台红外摄像机；其中，每台红外摄像机的中心均对准工件台的操作区域；搭建完成后，标定摄像机系统的空间坐标系；

S2、通过机械臂控制软件控制机械臂末端运动，同时利用步骤S1搭建好的红外摄像机拍摄并传输机械臂上的每个关节标记点的位置到机械臂标定模块中，该模块利用接收到的数据对机械臂进行标定；

S3、标定完成后，用户根据目标工件待清洗的区域，驱动示教装置开始进行示教；示教过程中，一方面利用步骤S1搭建好的红外摄像机拍摄并传输示教标记点构成的刚体空间位置到数据处理模块；另一方面利用设于示教装置上的深度摄像头，拍摄并传输目标工件的彩色图像与深度图像到数据处理模块；其中，由数据处理模块进一步计算得到示教装置末端的空间姿态，以及目标工件的点云数据；而得到的所述点云数据经由三维重建模块，对其进行滤波处理后，利用该项数据对目标工件进行三维重建，进一步得到目标工件的3D点云模板，以及示教装置与目标工件的相对位姿；

S4、机械臂控制模块根据步骤S2处理得到的示教装置末端的空间姿态，对机械臂进行运动路径规划，驱动机械臂完成相应运动；在机械臂沿着规划好的路径运动时，机械臂控制模块调整好激光清洗装置与目标工件的相对位姿后，由激光控制模块驱动激光清洗装置沿着机械臂的运动路径对目标工件进行激光清洗；其中，在机械臂运动的过程中，与可视化模块连接的显示终端，对机械臂的运动过程进行实时显示。

在本发明所述的一种基于计算机视觉的机器人激光清洗路径规划方法及系统中，用户通过示教装置对机械臂进行示教，使机械臂末端沿着示教杆定义的路径完成相应的运动。同时，采用基于计算机视觉的示教方法，用户通过示教装置完成路径规划的时候，以人机协作的方式指导机器人对目标工件的进行激光清洗。此方法应用于小型工件的流水线作业，可提高工作效率，具有广阔的应用前景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于计算机视觉的机器人激光清洗路径规划系统的结构图；

图2是本发明基于计算机视觉的机器人激光清洗路径规划系统的方法流程图；

图3是示教装置的结构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，其为本发明中机械臂示教系统的结构图，在本发明提出的一种机械臂示教系统中，该系统包括视觉运动捕捉模块、计算机工作站、示教装置和机械臂，其中：

1、视觉捕捉模块：

所述视觉运动捕捉模块包括8个红外摄像机，且每台摄像机通过云台支架进行固定，每台摄像机离地的距离为2.5米；在对上述8个红外摄像机进行搭建的时候，一方面将摄像机呈正方形的布置在场地内，其中，正方形的半径长为3米，每台红外摄像机的中心均对准工件台的操作区域；另一方面，搭建完成后，需利用T型和L型标定工具标定由8台摄像机构成的摄像机系统的空间坐标系，以保证计算机工作站能够有效并准确的获取标记点或刚体的空间坐标；

所述视觉运动捕捉模块以有线的方式连接到计算机工作站，其中，每台红外摄像机通过线缆连接到数据交换机的输入端，其输出端连接到计算机工作站，进一步将所述每个红外摄像机处理所得的数据同步传输到计算机工作站；本实施例中，数据获取帧率为240FPS。

2、示教装置：

本实施例中，采用手持示教杆对机械臂的运动路径进行预定义，所述示教杆上设有8个示教标记点、轨迹定义控制开关、深度摄像头控制开关、深度摄像头和无线通信模块；其中：

本实施例中所述示教标记点采用反光球体，使得摄像机能够定位到示教杆；打开控制开关，即可驱动示教杆开始示教工作，而在整个示教的过程中，该装置上设有的8个反光球体共同构成一个刚体，经由摄像系统进行拍摄并传输到计算机工作站，由计算机工作站进一步处理得到所述刚体的空间坐标，然后根据所述空间坐标得到示教杆末端的空间姿态；

所述无线通信模块与计算机工作站的USB接口无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，当开启轨迹定义控制开关和深度摄像头控制开关对示教杆进行控制的时候，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。

本实施例中，在示教杆内还设有电源模块，所述电源模块可采用由两节5号电池组成，进一步对示教杆进行供电；或者通过Micro USB充电口对示教杆进行充电；其中，由电源开关按钮控制其通断模式(整个示教杆的设计图，请参考图3，其中，所述手持示教杆包括轨迹定义开关按钮1、深度摄像头开关按钮2、无线通信模块3、电源模块4、电源开关按钮5、Micro USB充电口6、USB接口7、深度摄像头8和8个标记点9)，通过手持示教杆末端规划清洗路径，对机械臂进行示教。

3、计算机工作站

所述计算机工作站包括计算机主机、与计算机主机相连的显示终端，以及运行在计算机主机内的控制软件，通过所述控制软件对计算机主机接收到的所有数据进行处理；

所述控制软件包括用于处理数据的数据处理模块、用于对机械臂进行运动路径规划的机械臂控制模块、用于对机械臂进行标定的机械臂标定模块、对激光清洗装置进行控制的激光控制模块、用于对目标工件进行三维重建的三维重建模块和用于显示或回放机械臂运动过程的可视化模块；其中，所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放。

4、机械臂

所述机械臂连接到计算机工作站，所述机械臂末端固定有激光清洗装置和深度摄像头；所述机械臂连接到计算机主机的USB接口；在示教杆进行示教的过程中，所述计算机工作站根据处理所得的示教杆末端的空间姿态数据，对机械臂进行运动路径规划，并驱动机械臂末端按照规划好的路径，完成相应的运动；其中，在机械臂沿着规划好的路径运动时，利用安装于机械臂末端和示教杆上的深度摄像头对目标工件进行拍摄，实时传输目标工件的彩色、深度图像到计算机工作站，站内由数据处理模块和三维重建模块对该项数据采用ICP算法对目标工件进行三维重建后，进一步得到示教杆与目标工件的相对位姿；而当计算机工作站根据所得的示教杆与目标工件的相对位姿，对设于机械臂末端的激光清洗装置和目标工件之间的相对位姿进行调整的同时，激光控制模块驱动激光清洗装置对目标工件的进行激光清洗。

作为一个优选的实施例，为了保证机械臂的定位精度，在对机械臂进行路径规划前，需利用机械臂上设有的多个关节标记点，对机械臂进行标定。

作为一个优选的实施例，当对目标工件进行二次激光清洗，机械臂从初始状态运行至由机械臂控制模块规划好的路径起始点的过程中，由设于机械臂末端的深度摄像头对目标工件再次进行三维重建；其中，将当前清洗过程中得到的3D点云模板，与上次清洗过程中已进行处理并存储于三维重建模块的3D点云模板进行匹配；若目标工件与示教装置的相对位姿存在偏差，则利用机械臂控制模块对机械臂进行实时的运动补偿，进一步提高激光清洗过程的精确度。

请参考图2，其为本发明基于计算机视觉的机器人激光清洗路径规划系统的方法流程图，其中，具体的处理步骤包括：

S1、环境搭建：搭建视觉运动捕捉模块，具体为：以机械臂为中心，呈环形布置并搭建8台红外摄像机；其中，每台红外摄像机的中心均对准工件台的操作区域；搭建完成后，标定摄像机系统的空间坐标系；

S2、机械臂标定：通过机械臂控制软件控制机械臂末端运动，同时利用步骤S1搭建好的红外摄像机拍摄并传输机械臂上的每个关节标记点的位置到机械臂标定模块中，该模块利用接收到的数据对机械臂进行标定；

S3、数据处理：标定完成后，用户根据目标工件待清洗的区域，驱动示教杆开始进行示教；示教过程中，一方面利用步骤S1搭建好的红外摄像机拍摄并传输示教标记点构成的刚体空间位置到数据处理模块；另一方面利用设于示教装置上的深度摄像头，拍摄并传输目标工件的彩色图像与深度图像到数据处理模块；其中，由数据处理模块进一步计算得到示教杆末端的空间姿态，以及目标工件的点云数据；而得到的所述点云数据经由三维重建模块，对其进行滤波处理后，利用该项数据对目标工件进行三维重建，进一步得到目标工件的3D点云模板，以及示教杆与目标工件的相对位姿；

S4、路径规划：机械臂控制模块根据步骤S2处理得到的示教杆末端的空间姿态，对机械臂进行运动路径规划，驱动机械臂完成相应运动；在机械臂沿着规划好的路径运动时，机械臂控制模块调整好激光清洗装置与目标工件的相对位姿后，由激光控制模块驱动激光清洗装置沿着机械臂的运动路径对目标工件进行激光清洗；其中，在机械臂运动的过程中，与可视化模块连接的显示终端，对机械臂的运动过程进行实时显示。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.本发明提出了一种基于计算机视觉的机器人激光清洗路径规划系统，其特征在于，该系统包括视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置；其中：

所述视觉运动捕捉模块包括若干个红外摄像机；其中，每个红外摄像机连接到计算机工作站，将数据同步传输到计算机工作站；

所述深度摄像头安装于机械臂末端和示教装置上；所述深度摄像头连接到计算机工作站，用于拍摄并传输目标工件的彩色图像与深度图像到计算机工作站；其中，计算机工作站利用接收到彩色图像与深度图像，采用ICP算法对目标工件进行三维重建，进一步得到示教装置与目标工件的相对位姿；

示教装置上设有若干个示教标记点；示教装置在示教的过程中，该装置上设有的若干个示教标记点共同构成一个刚体，经由视觉运动捕捉模块进行拍摄并传输到计算机工作站，由计算机工作站进一步处理得到所述刚体的空间坐标，然后根据所述空间坐标得到示教装置末端的空间姿态；

所述机械臂连接到计算机工作站，所述机械臂末端固定有激光清洗装置；计算机工作站根据处理得到的示教装置末端的空间姿态，对机械臂的运动路径进行规划，并驱动机械臂沿着规划好的路径运动；其中，在机械臂沿着规划好的路径运动时，计算机工作站根据示教装置与目标工件的相对位姿，对设于机械臂末端的激光清洗装置和目标工件之间的相对位姿进行调整的同时，驱动激光清洗装置对目标工件的进行激光清洗。

2.根据权利要求1所述的机器人激光清洗路径规划系统，其特征在于，在搭建若干台红外摄像机时，通过T型和L型标定工具，对由若干个红外摄像机构成的摄像机系统的空间坐标系进行标定。

3.根据权利要求1所述的机器人激光清洗路径规划系统，其特征在于，所述示教装置还包括轨迹定义控制开关、深度摄像头控制开关和无线通信模块，其中：

所述无线通信模块与计算机工作站无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。

4.根据权利要求1所述的机器人激光清洗路径规划系统，其特征在于，所述计算机工作站包括计算机主机，以及运行在计算机主机内的控制软件；所述控制软件包括用于接收和处理所有实时数据的数据处理模块、用于对机械臂进行运动控制和标定的机械臂控制模块和机械臂标定模块、用于对目标工件进行三维重建的三维重建模块、用于显示或回放机械臂运动过程的可视化模块，以及用于对激光清洗装置进行控制的激光控制模块。

5.根据权利要求4所述的机器人激光清洗路径规划系统，其特征在于，所述计算机工作站还包括与计算机主机相连的显示终端；所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放；其中，可视化模块的实时显示包括真实录像，以及利用OpenGL软件进行三维场景模拟。

6.根据权利要求4所述的机器人激光清洗路径规划系统，其特征在于，深度摄像将拍摄得到的目标工件的深度图像和彩色图像传输到计算机工作站，所述计算机工作站在接收到数据后，一方面利用数据处理模块对彩色图像与深度图像进行处理，得到目标工件的点云数据；另一方面通过三维重建模块对所述点云数据进行滤波处理后，针对滤波后的数据，采用ICP算法对目标工件进行三维重建，最终得到目标工件的3D点云模板；其中，根据由所述3D点云模板得到目标工件与示教装置之间的相对位姿，且3D点云模板存储于三维重建模块，便于在对目标工件进行二次清洗时，利用当前存储的3D点云模板，判断在当前清洗与上次清洗的过程中，目标工件与示教装置的相对位姿是否存在偏差。

7.根据权利要求6所述的机器人激光清洗路径规划系统，其特征在于，当对目标工件进行二次激光清洗，机械臂从初始状态运行至由机械臂控制模块规划好的路径起始点的过程中，由设于机械臂末端的深度摄像头对目标工件再次进行三维重建；其中，将当前清洗过程中得到的3D点云模板，与上次清洗过程中已进行处理并存储于三维重建模块的3D点云模板进行匹配；若目标工件与示教装置的相对位姿存在偏差，则利用机械臂控制模块对机械臂进行实时的运动补偿，进一步提高激光清洗过程的精确度。

8.一种基于计算机视觉的机器人激光清洗路径规划方法，其特征在于，具体包括：

S1、搭建视觉运动捕捉模块，具体为：以机械臂为中心，呈环形布置并搭建若干台红外摄像机；其中，每台红外摄像机的中心均对准工件台的操作区域；搭建完成后，标定摄像机系统的空间坐标系；

S2、通过机械臂控制软件控制机械臂末端运动，同时利用步骤S1搭建好的红外摄像机拍摄并传输机械臂上的每个关节标记点的位置到机械臂标定模块中，该模块利用接收到的数据对机械臂进行标定；

S3、标定完成后，用户根据目标工件待清洗的区域，驱动示教装置开始进行示教；示教过程中，一方面利用步骤S1搭建好的红外摄像机拍摄并传输示教标记点构成的刚体空间位置到数据处理模块；另一方面利用设于示教装置上的深度摄像头，拍摄并传输目标工件的彩色图像与深度图像到数据处理模块；其中，由数据处理模块进一步计算得到示教装置末端的空间姿态，以及目标工件的点云数据；而得到的所述点云数据经由三维重建模块，对其进行滤波处理后，利用该项数据对目标工件进行三维重建，进一步得到目标工件的3D点云模板，以及示教装置与目标工件的相对位姿；

S4、机械臂控制模块根据步骤S2处理得到的示教装置末端的空间姿态，对机械臂进行运动路径规划，驱动机械臂完成相应运动；在机械臂沿着规划好的路径运动时，机械臂控制模块调整好激光清洗装置与目标工件的相对位姿后，由激光控制模块驱动激光清洗装置沿着机械臂的运动路径对目标工件进行激光清洗；其中，在机械臂运动的过程中，与可视化模块连接的显示终端，对机械臂的运动过程进行实时显示。