CN112643207B - 基于计算机视觉的激光自动除锈系统及方法 - Google Patents

基于计算机视觉的激光自动除锈系统及方法 Download PDF

Info

Publication number
CN112643207B
CN112643207B CN202011450685.1A CN202011450685A CN112643207B CN 112643207 B CN112643207 B CN 112643207B CN 202011450685 A CN202011450685 A CN 202011450685A CN 112643207 B CN112643207 B CN 112643207B
Authority
CN
China
Prior art keywords
image
rgb
target object
image information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011450685.1A
Other languages
English (en)
Other versions
CN112643207A (zh
Inventor
胡茂海
汪斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011450685.1A priority Critical patent/CN112643207B/zh
Publication of CN112643207A publication Critical patent/CN112643207A/zh
Application granted granted Critical
Publication of CN112643207B publication Critical patent/CN112643207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/36—Removing material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • B23K26/702—Auxiliary equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明公开了一种基于计算机视觉的激光自动除锈系统及方法，该系统包括：物件传输模块，用于将目标物体传输至设定区域；图像采集模块，设置在机器臂上，用于采集目标物体的深度图像信息和RGB图像信息；RGB‑Depth匹配模块，用于对RGB彩色图像和深度图像进行匹配融合，获得RGB‑D图像；上位机，用于根据RGB‑D图像、深度图像信息，下发机器臂控制指令以及除锈指令；机器臂控制模块，用于响应于机器臂控制指令，控制机器臂完成相应的运动；激光除锈机，设置在机器臂上，用于响应于除锈指令进行激光除锈。

Description

基于计算机视觉的激光自动除锈系统及方法
技术领域
本发明属于激光除锈技术，具体为一种基于计算机视觉的激光自动除锈系统及方法。
背景技术
目标物体是铁道车辆制动的一个重要组成部件，它的损伤故障对铁路交通安全有着很大的影响，尤其是对安全性能要求更为严格的铁道客车，其制动梁的损伤故障将直接威胁着人们的生命安全。由于长时间裸露在空气中，目标物体也很容易生锈，目标物体的生锈将严重影响了铁道车辆的行车安全，为此，需要定期为目标物体进行除锈。传统的除锈方法都是由工人完成的，但是这种重复性的劳动导致生产效率低，合格率低、资源浪费严重，并且工人在使用激光除锈机时会损害眼睛和手，危害人体健康。
发明内容
本发明提出了一种基于计算机视觉的激光自动除锈系统。
实现本发明的技术解决方案为：一种基于计算机视觉的激光自动除锈系统，包括：
物件传输模块，用于将目标物体传输至设定区域；
图像采集模块，设置在机器臂上，用于采集目标物体的深度图像信息和RGB图像信息；
RGB-Depth匹配模块，用于对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
上位机，用于根据RGB-D图像、深度图像信息，下发机器臂控制指令以及除锈指令；
机器臂控制模块，用于响应于机器臂控制指令，控制机器臂完成相应的运动；
激光除锈机，设置在机器臂上，用于响应于除锈指令进行激光除锈；
电源模块，用于供电。
优选地，所述图像采集模块包括深度相机和RGB彩色相机，分别采集深度图像和RGB图像。
优选地，所述的RGB-Depth匹配模块对对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像的具体步骤为：
步骤1，读取彩色图像和深度图像的图像数据；
步骤2，将彩色图像和深度图像信息分别经过ORB特征检测算法进行特征点检测，若检测出来的特征点数量与图像特征点不符，则返回步骤1重新获取图像信息；
步骤3，将获取的特征点通过BRIEF算法计算描述子来描述特征点的属性；
步骤4，利用ORB特征检测算法进行RGB彩色图与深度图的点对点对应；
步骤5，在彩色图像上和深度图像上找出3对对应点，获取这三对对应点坐标，对彩色图像进行旋转平移，通过旋转平移矩阵使彩色图像上的特征点与深度图像上相对应的特征点重合，得到重合后的RGB-D图像，完成图像匹配。
优选地，利用ORB特征检测算法进行RGB图像与深度图像的点对点对应的具体步骤为：
利用ORB算法分别获取RGB图像与深度图像的特征点并生成其所对应的特征描述符；
设定一个阈值，当RGB图像的描述子与深度图像的描述子相似度大于设定阈值，判断这两个特征点匹配成功。
优选地，上位机根据同步RGB-D图像、深度图像，下发机器臂控制指令的具体方法为：
上位机将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
上位机根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
上位机根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离。
本发明还提出了一种基于计算机视觉的激光自动除锈方法，具体步骤为：
将目标物体传输至设定区域；
采集目标物体的深度图像信息和RGB图像信息；
对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
根据RGB-D图像、深度图像信息，下发机器臂控制指令；
响应于机器臂控制指令，控制机器臂完成相应的运动；
响应于除锈指令进行激光除锈。
优选地，根据RGB-D图像、深度图像信息，下发机器臂控制指令包括：
将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
上根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离。
本发明与现有技术相比，其显著优点为：1.采用彩色图像与深度图像相结合的方式使目标物体定位更加精确，进而提高除锈机对目标物件的除锈精度；2.本发明利用上位机控制其他模块的运行，大大提高了自动化程度和生产效率；3.利用机器代替人工来进行除锈操作，既保护了工人的安全，也提高了生产的成功率。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的原理图。
图2是本发明的工作流程图。
图3是本发明的工作原理示意图。
具体实施方式
一种基于计算机视觉的激光自动除锈系统，包括：
物件传输模块，用于将目标物体传输至设定区域；
在某些实施例中，调整传送带传输速率参数，目标物体通过物件传输模块送至拍摄区域，停留一段时间并通知图像采集模块物体已到达指定拍摄区域，可以进行拍摄；
图像采集模块，设置在机器臂上，用于采集目标物体的深度图像信息和RGB图像信息；
具体地，在拍摄区域内，深度相机结合RGB相机对目标物体进行拍摄，获取图像信息和目标物在相机坐标系下的空间位置；
RGB-Depth匹配模块，用于对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
上位机，用于根据RGB-D图像、深度图像信息，下发机器臂控制指令以及除锈指令；
机器臂控制模块，用于响应于机器臂控制指令，控制机器臂完成相应的运动；
激光除锈机，设置在机器臂上，用于响应于除锈指令进行激光除锈；
电源模块，用于供电。
所述图像采集模块包括深度相机和RGB彩色相机，分别采集深度图像和RGB图像。
进一步的实施例中，所述的RGB-Depth匹配模块对对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像的具体步骤为：
步骤1，读取彩色图像和深度图像的图像数据；
步骤2，将彩色图像和深度图像信息分别经过ORB特征检测算法进行特征点检测，若检测出来的特征点数量与图像特征点不符，则返回步骤1重新获取图像信息；
步骤3，将获取的特征点通过BRIEF算法计算描述子来描述特征点的属性；
步骤4，利用ORB特征检测算法进行RGB彩色图与深度图的点对点对应；
步骤5，在彩色图像上和深度图像上找出3对对应点，获取这三对对应点坐标，对彩色图像进行旋转平移，通过旋转平移矩阵使彩色图像上的特征点与深度图像上相对应的特征点重合，得到重合后的RGB-D图像，完成图像匹配。
进一步的实施例中，利用ORB特征检测算法进行RGB图像与深度图像的点对点对应的具体步骤为：
利用ORB算法分别获取RGB图像与深度图像的特征点并生成其所对应的特征描述符；
设定一个阈值，当RGB图像的描述子与深度图像的描述子相似度大于设定阈值，判断这两个特征点匹配成功。
进一步的实施例中，上位机根据同步RGB-D图像、深度图像，下发机器臂控制指令的具体方法为：
上位机将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
上位机根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
上位机根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离。
基于计算机视觉的激光自动除锈系统的工作原理为：
将目标物体传输至设定区域；
采集目标物体的深度图像信息和RGB图像信息；
对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
上位机将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
上位机根据偏移角度和偏移距离发出机械臂控制指令，所述机器臂控制模块响应于控制指令控制机器臂进行上下左右移动，使目标物体端面正处于相机的光轴中心；
上位机根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂控制指令，机器臂控制模块响应于控制指令控制机器臂进行前后运动，使机器臂调整相机到目标物体端面的距离。
至此相机到目标物体的空间坐标位置已调整到设定的相对位置，完成了除锈前的准备工作，上位机发出除锈指令，机械臂控制模块控制机器臂移动到目标物体需要除锈的位置，激光除锈机开始工作进行激光除锈。
一种基于计算机视觉的激光自动除锈方法，具体步骤为：
将目标物体传输至设定区域；
采集目标物体的深度图像信息和RGB图像信息；
对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
根据RGB-D图像、深度图像信息，下发机器臂控制指令；
响应于机器臂控制指令，控制机器臂完成相应的运动；
响应于除锈指令进行激光除锈。
进一步的实施例中，根据RGB-D图像、深度图像信息，下发机器臂控制指令包括：
将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离。
本发明的一个具体实例：
物件传输模块：一种用于承载并带动目标物体的传送带。
图像采集模块：在拍摄区域获取目标物体的深度图像信息和RGB图像信息。
RGB-Depth匹配模块：基于计算机视觉的图像匹配算法对深度图像和RGB图像进行特征点识别，获取同步RGB-D图像信息。
上位机:在图像采集模块中获取信息并进行特征匹配后，发出指令控制机器臂运动至特定的位置对目标物体固定区域进行激光除锈。
机器臂控制模块:机器臂夹持激光除锈机，根据上位机发出的指令完成相应的运动状态。
激光除锈机:对目标物体进行除锈。
电源模块:为物件传输模块、图像采集模块、RGB-Depth匹配模块、激光除锈机、机器臂控制模块、上位机提供电源。
本发明以轨道制动梁除锈制作为例，基于计算机视觉的自动激光除锈系统。在制作流水线上利用工业相机对轨道制动梁进行拍摄，获取轨道制动梁的深度图像信息和彩色图像信息，再与标准模板进行图像特征匹配，利用计算机视觉三维重建算法完成轨道制动梁的识别与精准定位；操纵机器臂调整工业相机角度，使轨道制动梁端平面与相机光轴垂直，再操纵机器臂按设定好的路线移动到指定位置，激光除锈机启动运行，沿着已设路径进行除锈；除锈操作完毕后，传送带将除锈完毕的轨道制动梁传送至生产终点。
具体使用步骤：
将工业相机和激光除锈机固定在机器臂上，使用矫正板对工业相机进行畸变矫正，并统一相机坐标系和世界坐标系的光轴方向和单位长度。其中工业相机有深度摄像头和彩色摄像头，保证两摄像头光轴平行。
上位机控制传送带将轨道制动梁送至拍摄区域后停下，等待相机获取图像信息。工业相机获取到拍摄指令后对轨道制动梁进行拍摄，获取深度图像信息和彩色图像信息，获取彩色摄像头坐标系下轨道制动梁的三个顶角坐标(x1,y1,z1),(x2,y2,z2),(x3,y3,z3)获取深度摄像头坐标系下轨道制动梁的三个顶角坐标(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3)。
上位机将获取的图像信息与模板图像信息利用ORB特征检测算法进行匹配，其步骤如下：
寻找特征点，在要观察的像素点P周围的16个像素进行比较，若这16个像素点有连续多个像素点同时大于或同时小于P点的像素，则将P点作为候选特征点，然后设置阈值t筛选所有的候选特征点来得到ORB特征点；
描述特征点，得到特征点后需要用描述子的方式来描述这些特征点的属性。ORB采用BRIEF算法来计算一个特征点的描述子。BRIEF算法步骤如下：
以关键点p为圆心，以d为半径做圆O；
在圆O内选取4个点对，分别为P1(A,B)、P2(A,B)、P3(A,B)、P4(A,B)
在P1这个点对中，若A点的像素灰度大于B点的像素灰度，则P1(A,B)为1，反之则为0；
同理P2(A,B)、P3(A,B)、P4(A,B)也能得到1或者0这样的值，这些值按点对的顺序就成为了最终的描述子。
特征点匹配，得到了描述子后设定一个阈值h，当特征点A和B的描述子的相似度大于阈值h时则判断A,B为相同的特征点。
特征点匹配完毕后，对图像进行旋转平移，使彩色图像上的轨道制动梁顶点坐标(x1,y1,z1),(x2,y2,z2),(x3,y3,z3)与深度图像中轨道制动梁顶点坐标(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3)重合，即完成RGB-D图像匹配，新的图像不仅拥有图像的彩色信息还有深度信息，实现轨道制动梁在相机坐标系下的三维精准定位。
上位机将获取的RGB-D图像信息与模板图像信息进行匹配，检测轨道制动梁端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离。
上位机根据偏移角度和偏移距离发出机械臂控制指令，所述机器臂控制模块响应于控制指令控制机器臂进行上下左右移动，使目标物体端面正处于相机的光轴中心；
上位机根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂控制指令，机器臂控制模块响应于控制指令控制机器臂进行前后运动，使机器臂调整相机到目标物体端面的距离。
至此相机到轨道制动梁的空间坐标位置已调整到设定的相对位置，上位机发出指令给机器臂使其按固定路线进行移动，并到达指定位置使激光除锈机工作。
除锈完毕后，机器臂回到初始位置，传送带将除锈完毕的轨道制动梁送离工作区域，到达生产终点。

Claims (4)

1.一种基于计算机视觉的激光自动除锈系统，其特征在于，包括：
物件传输模块，用于将目标物体传输至设定区域；
图像采集模块，设置在机器臂上，用于采集目标物体的深度图像信息和RGB图像信息；
RGB-Depth匹配模块，用于对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像，具体步骤为：
步骤1，读取彩色图像和深度图像的图像数据；
步骤2，将彩色图像和深度图像信息分别经过ORB特征检测算法进行特征点检测，若检测出来的特征点数量与图像特征点不符，则返回步骤1重新获取图像信息；
步骤3，将获取的特征点通过BRIEF算法计算描述子来描述特征点的属性；
步骤4，利用ORB特征检测算法进行RGB彩色图与深度图的点对点对应，具体方法为：
利用ORB算法分别获取RGB图像与深度图像的特征点并生成其所对应的特征描述子；
设定一个阈值，当RGB图像的描述子与深度图像的描述子相似度大于设定阈值，判断这两个特征点匹配成功；
步骤5，在彩色图像上和深度图像上找出3对对应点，获取这三对对应点坐标，对彩色图像进行旋转平移，通过旋转平移矩阵使彩色图像上的特征点与深度图像上相对应的特征点重合，得到重合后的RGB-D图像，完成图像匹配；
上位机，用于根据RGB-D图像、深度图像信息，下发机器臂控制指令以及除锈指令，具体步骤为：
上位机将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
上位机根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
上位机根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离；
机器臂控制模块，用于响应于机器臂控制指令，控制机器臂完成相应的运动；
激光除锈机，设置在机器臂上，用于响应于除锈指令进行激光除锈；
电源模块，用于供电。
2.根据权利要求1所述的基于计算机视觉的激光自动除锈系统，其特征在于，所述图像采集模块包括深度相机和RGB彩色相机，分别采集深度图像和RGB图像。
3.基于权利要求1或2所述系统的激光自动除锈方法，其特征在于，具体步骤为：
将目标物体传输至设定区域；
采集目标物体的深度图像信息和RGB图像信息；
对RGB彩色图像和深度图像进行匹配融合，获得RGB-D图像；
根据RGB-D图像、深度图像信息，下发机器臂控制指令以及除锈指令；
响应于机器臂控制指令，控制机器臂完成相应的运动；
响应于除锈指令进行激光除锈。
4.根据权利要求3所述的激光自动除锈方法，其特征在于，根据RGB-D图像、深度图像信息，下发机器臂控制指令包括：
将获取的RGB-D图像信息与模板图像信息进行匹配，检测目标物体端面是否处于相机光轴中心，若不是处于相机光轴中心，则计算出偏移角度和偏移距离；
根据偏移角度和偏移距离发出机械臂第一控制指令，所述机械臂第一控制指令用于使目标物体端面正处于相机的光轴中心；
根据深度图像信息获取目标物体端面到相机的距离，并发出机械臂第二控制指令，所述机械臂第二控制指令用于使机器臂调整相机到目标物体端面的距离。
CN202011450685.1A 2020-12-12 2020-12-12 基于计算机视觉的激光自动除锈系统及方法 Active CN112643207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011450685.1A CN112643207B (zh) 2020-12-12 2020-12-12 基于计算机视觉的激光自动除锈系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011450685.1A CN112643207B (zh) 2020-12-12 2020-12-12 基于计算机视觉的激光自动除锈系统及方法

Publications (2)

Publication Number Publication Date
CN112643207A CN112643207A (zh) 2021-04-13
CN112643207B true CN112643207B (zh) 2022-09-30

Family

ID=75354659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011450685.1A Active CN112643207B (zh) 2020-12-12 2020-12-12 基于计算机视觉的激光自动除锈系统及方法

Country Status (1)

Country Link
CN (1) CN112643207B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113798681B (zh) * 2021-08-17 2023-10-03 山东泰开隔离开关有限公司 一种隔离开关触头激光除锈系统及除锈方法
CN113962994B (zh) * 2021-12-21 2022-03-15 武汉智能兴运铁路配件有限公司 基于图像处理的三连杆上锁销清洁度检测方法
CN114654101B (zh) * 2022-04-29 2022-11-08 中建四局安装工程有限公司 一种激光除锈方法及激光除锈装置
CN115625427B (zh) * 2022-12-21 2023-04-07 广东国玉科技股份有限公司 激光除锈方法、激光除锈设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105665970A (zh) * 2016-03-01 2016-06-15 中国科学院自动化研究所 用于焊接机器人的路径点自动生成系统和方法
CN207430817U (zh) * 2017-10-23 2018-06-01 广州铁路职业技术学院 激光除锈装置
CN108435713A (zh) * 2018-03-29 2018-08-24 苏州香农智能科技有限公司 一种基于机器视觉的轮毂除漆系统
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
CN110116116A (zh) * 2019-05-14 2019-08-13 中国地质大学（武汉） 基于计算机视觉的机器人激光清洗路径规划系统及方法
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111882602A (zh) * 2019-12-31 2020-11-03 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111890356A (zh) * 2020-06-30 2020-11-06 深圳瀚维智能医疗科技有限公司 机械臂坐标系和相机坐标系标定方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105665970A (zh) * 2016-03-01 2016-06-15 中国科学院自动化研究所 用于焊接机器人的路径点自动生成系统和方法
CN207430817U (zh) * 2017-10-23 2018-06-01 广州铁路职业技术学院 激光除锈装置
CN108435713A (zh) * 2018-03-29 2018-08-24 苏州香农智能科技有限公司 一种基于机器视觉的轮毂除漆系统
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
CN110116116A (zh) * 2019-05-14 2019-08-13 中国地质大学（武汉） 基于计算机视觉的机器人激光清洗路径规划系统及方法
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111882602A (zh) * 2019-12-31 2020-11-03 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111890356A (zh) * 2020-06-30 2020-11-06 深圳瀚维智能医疗科技有限公司 机械臂坐标系和相机坐标系标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112643207A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112643207B (zh) 基于计算机视觉的激光自动除锈系统及方法
CN111192307B (zh) 基于激光切割三维零部件的自适应纠偏方法
CN108182689B (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN103264738B (zh) 一种汽车风挡玻璃的自动装配系统及自动装配方法
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN102490523B (zh) 一种基于计算机视觉的自动激光雕刻系统及其使用方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
JP5736622B1 (ja) 検出装置およびこの装置を具えたマニプレータの動作制御
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨系统及其打磨方法
CN113333998A (zh) 一种基于协作机器人的自动化焊接系统及方法
CN102284769A (zh) 基于单目视觉传感的机器人初始焊位识别系统及方法
CN115972093B (zh) 工件表面的测量方法及装置、机翼壁板软模的打磨方法
WO2023193362A1 (zh) 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN114434036B (zh) 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法
CN115464657A (zh) 一种由电机驱动的旋转扫描装置的手眼标定方法
CN113319859B (zh) 一种机器人示教方法、系统、装置及电子设备
CN110779933A (zh) 基于3d视觉传感阵列的表面点云数据获取方法和系统
CN210847488U (zh) 基于计算机视觉的机器人激光清洗路径规划装置
CN112884848B (zh) 一种基于双目视觉的智能天车控制系统、方法、终端
CN115661726B (zh) 一种轨道列车工件装配的自主视频采集与分析方法
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法
CN204870091U (zh) 一种工业机器人激光打标机
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Hu Maohai

Inventor after: Wang Binbin

Inventor before: Wang Binbin

Inventor before: Hu Maohai

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant