CN112530267B - 一种基于计算机视觉的机械臂智能示教方法及应用 - Google Patents

一种基于计算机视觉的机械臂智能示教方法及应用 Download PDF

Info

Publication number
CN112530267B
CN112530267B CN202011492064.XA CN202011492064A CN112530267B CN 112530267 B CN112530267 B CN 112530267B CN 202011492064 A CN202011492064 A CN 202011492064A CN 112530267 B CN112530267 B CN 112530267B
Authority
CN
China
Prior art keywords
target
mechanical arm
path
tracking
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011492064.XA
Other languages
English (en)
Other versions
CN112530267A (zh
Inventor
刘今越
胡占宇
李文秀
冯重阳
李学飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202011492064.XA priority Critical patent/CN112530267B/zh
Publication of CN112530267A publication Critical patent/CN112530267A/zh
Application granted granted Critical
Publication of CN112530267B publication Critical patent/CN112530267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种基于计算机视觉的机械臂智能示教方法及应用，包括步骤1、目标物沿着期望的路径运动，将彩色图输入到目标检测模型进行检测；步骤2、将检测结果输入到目标跟踪模型中进行跟踪，得到像素目标路径；步骤3、将深度图映射到彩色图，得到目标路径Path1；步骤4、点云的三维重建，得到目标路径Path1的点云图像；步骤5、目标路径Path1的点云图像进行线特征提取，得到线特征集；将目标路径Path1与线特征集进行匹配，得到目标路径Path2；步骤6、对机械臂进行手眼标定，得到目标路径Path3，目标路径Path3即为机械臂的工作路径。该方法能够应用于建筑场景中，使机械臂完成焊接、装配或修补任务。

Description

一种基于计算机视觉的机械臂智能示教方法及应用
技术领域
本发明属于智能建筑技术领域，具体是一种基于计算机视觉的机械臂智能示教方法及应 用。
背景技术
目前，工业机器人的示教方式一般分为三种：在线示教、离线示教和牵引示教。
在线示教是大部分机器人都采用的示教方式，即工程师通过操纵示教盒，控制机械臂移 动，完成预期动作，以获取作业轨迹。在线示教的优点是不需要离线建立环境模型，缺点是 需要人工准确操作机械臂的运动，才能获得精确的作业轨迹，示教过程繁琐，且效率低。
离线示教是通过PC端的软件重建三维虚拟工作场景，根据工件及加工所需操作，自动 生成运动轨迹以进行仿真和进一步调整，无误后传输给机器人，驱动机器人按照既定的运动 轨迹工作。离线示教的优点是自动生成加工轨迹，但是该方式只适用于场景相对固定的工况， 例如流水线上某一操作工序，更换新的动作后则需要重新获得运动轨迹，难以适用于工作位 置不断变化的场景，而且成本较高。
牵引示教，也叫力反馈示教，是指人手拖动机器人末端，做出相应动作然后记录位置， 完成示教。优点是能够实现复杂示教。缺点是成本过高，负载小，同时工人在整个示教过程 中直接与通电的机械臂接触，安全系数很低。
综上，面对工作场景不断变化、工作位置随时变化以及环境复杂的建筑场景，例如打磨 墙面、焊接钢架等，上述三种示教方式都不能高效地完成示教工作，因此本申请提出一种基 于计算机视觉的机械臂智能示教方法。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于计算机视觉的机械臂 智能示教方法及应用。
本发明解决所述技术问题采用的技术方案是：
一种基于计算机视觉的机械臂智能示教方法，其特征在于，包括以下步骤：
步骤1、目标物沿着期望的路径运动，RGB-D相机获取彩色图和深度图，将彩色图输入 到目标检测模型中进行检测，并输出检测结果；
步骤2、将检测结果输入到目标跟踪模型中进行跟踪，输出跟踪结果，得到彩色镜头坐 标系下的像素目标路径；
步骤3、将深度图映射到彩色图，将像素目标路径映射至彩色镜头坐标系下，得到目标 路径Path1；
步骤4、点云的三维重建，得到目标路径Path1的点云图像；
步骤5、目标路径Path1的点云图像进行线特征提取，得到线特征集；将目标路径Path1 与线特征集进行匹配，得到精确的目标路径Path2；
步骤6、对机械臂进行手眼标定，将目标路径Path2转换至机械臂基坐标系下，得到目标 路径Path3，目标路径Path3即为机械臂的工作路径；
通过上述步骤完成机械臂的智能示教。
所述目标物为直径为50mm的小球。
上述目标检测与跟踪交替进行，具体为：将第一帧图像输入到目标检测模型，检测出目 标在当前帧图像中的位置，再将此位置传递给目标跟踪模型来跟踪目标，目标跟踪模型输出 第二帧至第m帧图像的跟踪结果；再将第m+1帧图像输入到目标检测模型来校正第m+2帧 及后续图像的跟踪结果。
本发明还提供一种基于计算机视觉的机械臂智能示教方法的应用，其特征在于，该方法 能够应用于建筑场景中，使机械臂完成焊接、装配或修补任务。
与现有技术相比，本发明的有益效果在于：
1.本发明创新性的将深度学习、三维重建等技术应用在机械臂示教领域，用于在复杂建 筑场景下示教机械臂的工作路径，为智能化的建筑施工提供了理论基础。使用时仅需要人工 操纵目标物画出机械臂的工作路径，系统通过跟踪目标物则能得到准确的机械臂工作路径， 从而完成示教。本发明不受环境的限制，尤其适用于工作环境复杂，工作位置不断变化的建 筑施工场景，环境适应能力强，效率更高。
2.本发明采用目标检测与跟踪交替运行，将第一帧图像的检测结果输入跟踪模型中，跟 踪模型输出第二帧至第m帧图像的跟踪结果，然后将第m+1帧图像的检测结果再次输入跟 踪模型中，以校正后续图像的跟踪结果，不需要每帧图像都进行目标检测，在保证检测精度 的同时保证跟踪速度。试验证明，本发明的根跟踪速度可达34FPS(帧/秒)。
附图说明
图1为本发明的整体流程图；
图2(a)为利用本发明的目标检测模型在浅色背景下的检测结果图；
图2(b)为利用本发明的目标检测模型在深色背景下的检测结果图；
图2(c)为利用本发明的目标检测模型在复杂背景下的检测结果图；
图3(a)为利用本发明的目标跟踪模型进行跟踪试验得到的第1帧图像的跟踪结果；
图3(b)为利用本发明的目标跟踪模型进行跟踪试验得到的第81帧图像的跟踪结果；
图3(c)为利用本发明的目标跟踪模型进行跟踪试验得到的第161帧图像的跟踪结果；
图3(d)为利用本发明的目标跟踪模型进行跟踪试验得到的第257帧图像的跟踪结果；
图4(a)为目标物沿着直线I运动时的彩色图；
图4(b)为目标物沿着直线I运动时的深度图；
图4(c)为目标物沿着直线I运动时的映射图；
图4(d)为目标物沿着直线II运动时的彩色图；
图4(e)为目标物沿着直线II运动时的深度图；
图4(f)为目标物沿着直线II运动时的映射图；
图5(a)为本发明的目标路径Path1的原始点云图像；
图5(b)本发明的目标路径Path1滤波后的云图像；
图6为本发明的步骤5中提取到的线特征集的结果图；
图7为本发明的步骤5中提取到的目标路径Path2的结果图；
图8是本发明的示教结果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的说明，但并不以此作为对本申请权利要求保 护范围的限定。
本实施例以示教建筑场景中墙角路径(目标物先沿着竖直墙面向下运动至墙角处，然后 沿着地面水平运动，运动路径呈L型)为例，由于建筑场景中墙角位置各不相同，若按照传 统示教方法，则需要每个场景重复一次复杂且安全系数低的示教，故引入计算机视觉中的目 标检测、目标跟踪、三维重建等方式得到精确的机械臂的工作路径，并实时传输给控制系统， 控制机械臂按照此工作路径运动。示教过程为：手持目标物沿着目标路径运动，在此过程中 利用RGB-D相机(RGB-D相机固定在机械臂末端)获取实时数据流，得到彩色图像(RGB) 和深度图像(Depth)，彩色图像用于目标检测和跟踪，深度图像用于点云重建和线特征提取。
本发明为一种基于计算机视觉的机械臂智能示教方法(简称方法，参见图1-8)，该方法 的具体步骤是：
步骤1、目标检测
传统机器视觉中，针对目标检测大多采用OpenCV视觉处理库中的模板匹配或者方向梯 度直方图(HOG)、尺度不变特征变换(SIFT)的方式，这些目标检测方式的精度低，且受环境光照等因素的影响较大，一旦识别种类变化或者外部环境较复杂，则检测效果很差。本申请使用基于卷积神经网络的端到端的目标检测算法(SSD)，该算法能够满足本申请的数据处理效率高、实时性好以及在复杂环境下对目标的精确检测。
1.1、数据集制作
对于检测算法而言，目标物尺寸越大，检测结果越准确，但是目标物尺寸越小，则能够 更精确地表达机械臂的工作路径，为了在复杂环境中能够实现精确检测，同时能够得到较为 准确的工作路径，本申请使用SSD算法进行目标检测，选取红色和蓝色两种小球(直径50mm) 作为目标物。在实际应用中，针对不同背景选择相对突出的红色球或者蓝色球，例如建筑物 的墙面带有偏红色的油漆，则选用蓝色球作为目标物，反之，选用红色球。在随机环境下分 别采集红色球和蓝色球各800张图片作为实验数据，对每张图片上的小球都标注真实框 (GroundTruth)。
1.2、目标检测模型训练
本申请采用SSD模型作为目标检测模型，包括Conv1～Conv11个卷积层。为了适应实际 应用中被检测的目标物尺度变化较大的情况，本申请利用Conv4、Conv7、Conv8、Conv9、 Conv10和Conv11这六个卷积层来提取特征图；利用固定大小与宽高的先验框作为区域生成， 通过公式(1)计算每个特征图对应的先验框尺度；
Figure BDA0002840993320000041
式(1)中，r∈[1,6]，分别对应Conv4、Conv7、Conv8、Conv9、Conv10和Conv11这 六个卷积层；Sr表示第r个特征图的先验框尺度；Smin的取值为0.2，Smax的取值为0.9，分别 表示Conv4与Conv11对应的先验框尺度与原图的比例；
对于第1、5、6个特征图，特征图上每个点对应四种尺度的先验框，其宽高分别为{sr,sr}、
Figure BDA0002840993320000042
对于第2、3、4个特征图，特征图上每个点对 应{sr,sr}、
Figure BDA0002840993320000043
这六种尺 度的先验框；
利用IOU将先验框与标注的真实框匹配，分别按照公式(2)和(3)计算目标检测模型训练的定位损失smooth(x)和分类损失H(p,q)；
Figure BDA0002840993320000044
Figure BDA0002840993320000045
式(2)和(3)中，x为预测偏移量与真实值之间的偏差，p(x)为样本的真实分布；q(x) 为模型预测的分布。
将步骤1.1得到的数据集输入到检测模型中进行训练，随着训练的进行，模型的损失逐 渐收敛，直到达到最大迭代次数，检测模型的训练过程终止，得到训练后的检测模型。模型 训练的学习率为0.0001，训练120个epoch(迭代次数)。
1.3手持目标物，使目标物沿着期望的路径运动，使用训练后的检测模型进行目标检测， 并输出检测结果。
图2为利用本申请的检测模型在不同背景下利用红色球进行目标检测的结果图，如图2 (a)为浅色背景下的检测结果，准确率为100％；如图2(b)为深色背景下的检测结果，准 确率为100％；如图2(c)为复杂背景下的检测结果，准确率为99％，目标检测结果准确性较高。
步骤2、目标跟踪
传统的很多目标跟踪算法都是通过在线学习的方式得到目标模型，但只能学习到比较简 单的模型。本申请的目标跟踪属于相似性跟踪问题，孪生网络结构可以很好的解决相似性学 习问题，Siamese FC算法将这一特点用到了目标跟踪上，避免了在线调整网络参数，基于全 卷积孪生网络的目标跟踪通过离线训练调整网络参数，得到网络模型，在线跟踪阶段只进行 网络的前向传播，不再调整网络参数，从而保证了能在满足速度实时性的前提下，跟踪结果 也能达到很高的成功率和精度。
2.1、目标跟踪模型的训练
SiameseFC算法提出了公式(4)的深度相似性学习函数f(m,n)，用于比较样本图像m和 搜索图像n之间的相似性；如果两个图象描述的是同一个目标，则返回高分，否则返回低分；
f(m,n)＝g(φ(m),φ(n)) (4)
公式(4)中，g表示相似性度量函数，φ表示特征提取器。
使用ILSVRC15数据库中用于目标检测的视频对全卷积孪生网络模型(目标跟踪模型) 进行训练，得到训练后的全卷积孪生网络模型，也就是跟踪模型；本实施例一共训练50个 epoch(迭代次数)，每个epoch有50000个采样对；
按照公式(5)的逻辑损失计算目标跟踪模型的训练损失l(y,s)；
l(y,s)＝log(1+exp(-ys)) (5)
公式(5)中，s表示候选位置的得分，y∈(1,-1)，表示真实类别；
训练时采用所有候选位置的平均loss来表示，则最终的损失函数为公式(6)；
Figure BDA0002840993320000051
公式(6)中，D表示最终得到的score map(得分映射)，h表示score map中所有候选位置，y[h]表示h位置的真实得分，v[h]表示h位置的候选得分；
全卷积孪生网络模型的输出y(h)为公式(7)的正、负样本的概率，在搜索图像上，只要 和目标的距离不超过R，则为正样本，否则为负样本；
Figure BDA0002840993320000052
公式(7)中，e为全卷积孪生网络模型的总步长，本实施例e＝8；c为目标的中心，R为搜索半径，本实施例R＝16。
2.2、将步骤1.3得到的检测结果输入到目标跟踪模型中，输出跟踪结果，得到彩色镜头 坐标系下的像素目标路径P(u,v)。
图3为利用本申请的目标跟踪模型进行跟踪试验的结果图，图3(a)为第1帧图像的跟 踪结果，图3(b)为第81帧图像的跟踪结果，图3(c)为第161帧图像的跟踪结果，图3 (d)为第257帧图像的跟踪结果，跟踪速度可达34FPS(帧/秒)。
本申请需要在保证检测精度的同时确保实时性，而目标检测模型参数量大、运算复杂， 并不能达到检测实时性，因此将目标检测与目标跟踪交替进行；将第一帧图像输入到目标检 测模型，检测出目标在当前帧图像中的位置，再将此位置传递给目标跟踪模型来跟踪目标， 目标跟踪模型输出第二帧至第m帧图像的跟踪结果；再将第m+1帧图像输入到目标检测模 型来校正第m+2帧及后续图像的跟踪结果，以此完成目标检测与目标跟踪交替运行，得到每 帧图像中目标的具体位置(u,v)从而得到连续的像素目标路径P(u,v)，便可实现实时跟踪的目 的。
步骤3、将深度图映射到彩色图，将像素目标路径P(u,v)映射至彩色镜头坐标系下，得到 目标路径
Figure BDA0002840993320000061
本实施例中彩色图的分辨率为1280*960，深度图的分辨率为640*480，分别为彩色镜头 和深度镜头拍摄，两个镜头的坐标系不重合，因此需要将深度图映射到彩色图，索引得到像 素目标路径P(u,v)对应的深度，进而得到映射后的目标路径
Figure BDA0002840993320000062
映射过程为：
利用公式(8)将深度图的像素点还原到深度镜头坐标系下，得到深度镜头坐标系下的深 度点
Figure BDA0002840993320000063
Figure BDA0002840993320000064
式(8)中，Z为深度值，Kd为深度镜头内参，
Figure BDA0002840993320000065
为深度图上的目标位置；
利用公式(9)将深度镜头坐标系下的深度点
Figure BDA0002840993320000066
转换到世界坐标系下，得到世界坐标系 下的深度点Pw；
Figure BDA0002840993320000067
式(8)中，Tw2d为世界坐标系到深度镜头坐标系的转换矩阵；
利用公式(10)将世界坐标系下的深度点Pw转换到彩色镜头坐标系下，得到彩色镜头坐 标系下的深度点
Figure BDA0002840993320000068
Figure BDA0002840993320000071
式(10)中，Tw2c为世界坐标系到彩色镜头坐标系的转换矩阵；
利用(11)将彩色镜头坐标系下的深度点
Figure BDA0002840993320000072
映射到z＝1的彩色平面上；
Figure BDA0002840993320000073
式(11)中，Kc为彩色镜头内参，
Figure BDA0002840993320000074
表示按z轴归一化；
经过上述映射后，将目标在彩色图上的像素坐标转换到彩色镜头坐标系下，即将像素目 标路径P(u,v)映射至彩色镜头坐标系下，得到目标路径
Figure BDA0002840993320000075
图4(a)为目标物沿着直线I运动时的彩色图，图4(b)为目标物沿着直线I运动时的深度图，图4(c)为目标物沿着直线I运动时的映射图，映射图的目标中心所绘出的点则表示实时检测并跟踪得到的目标位置；图4(d)为目标物沿着直线II运动时的彩色图，图4(e)为目标物沿着直线II运动时的深度图，图4(d)为目标物沿着直线II运动时的映射图，直 径I和直线II构成的目标物的运动路径。
步骤4、点云的三维重建
使用联合双边滤波器对目标路径
Figure BDA0002840993320000076
对应的深度图去噪，将去噪后的深度图转换 为点云图像，得到目标路径
Figure BDA0002840993320000077
的原始点云图像，如图5(a)；在原始点云图像中以 RGB-D相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围，将阈值范围内的点 作为样本点，得到剔除背景后的点云；然后对剔除背景后的点云进行滤波处理，得到滤波后 的点云，以此完成点云的重建。
在点云的重建过程中，存在着无用背景信息和离散点等大量干扰点云数据，而这些干扰 点云会导致特征提取复杂和后续巨大的计算量，因此在原始点云图像中以RGB-D相机的位 置为坐标原点，分别在x,y,z三个方向上设定阈值范围(xmin,xmax)、(ymin,ymax)和(zmin,zmax)，将阈值范围内的点Qj作为样本点，以剔除点云图像中位于安装场景以外的无用背景点云和部分干扰点云，得到剔除背景后的点云；阈值范围的设定需要保证整个安装场景 的完整性，其中Qj满足公式(12)；
Qj＝(xj,yj,zj)，xj∈(xmin,xmax)，yj∈(ymin,ymax)，zj∈(zmin,zmax) (12)
由于建筑施工场景环境复杂、相机精度以及采集误差等因素的影响，剔除背景后的点云 仍存在较多的噪声点，利用基于统计滤波器的方法对剔除背景后的点云进行滤波处理，得到 滤波后的点云图像，也就是目标路径
Figure BDA0002840993320000081
的点云图像(如图5(b))，以去除噪声点， 完成点云的重建，重建后的点云能较清晰地体现出相机视野内目标物的原本特征。
步骤5、获得精确的工作路径
5.1、对目标路径
Figure BDA0002840993320000082
的点云图像进行线特征提取
由于建筑施工场景中机械臂大多沿着边线运动，例如修补门框、墙角机械臂需要沿着门 框边缘或墙角边缘运动，而且实际使用过程中目标物位置与相机视点之间存在偏差(相机与 目标物不完全处于正视位置，相机视点不一定位于目标物的几何中心)、人工使用目标物示 教时的操作误差等，步骤3得到的目标路径
Figure BDA0002840993320000083
存在不可避免和不可预估的误差，因 此本申请使用k近邻搜索算法提取目标路径
Figure BDA0002840993320000084
中的线特征，得到线特征集
Figure BDA0002840993320000085
以获得机械臂精确的工作路径；
采用R-tree的k近邻搜索算法查找步骤4中重建后的点云中当前点Pi的k个近邻点Nq(q＝0,1,…,k-1)，并将k个近邻点与当前点Pi组成局部型面参考点集M，以最小二乘法拟合该点集的切平面；而后将点集M向其切平面投影，则投影点集为 M'＝{(x'i,y'i,z'i)|i＝0,1,…,k}；以当前点的投影点Pi'为起始点，N'q(q＝0,1,…,k-1)为终点定义 向量
Figure BDA0002840993320000086
在向量
Figure BDA0002840993320000087
中任取一个子向量
Figure BDA0002840993320000088
求子向量
Figure BDA0002840993320000089
与切平面 法向量的叉积
Figure BDA00028409933200000810
然后计算向量
Figure BDA00028409933200000811
中的其余子向量与
Figure BDA00028409933200000812
和
Figure BDA00028409933200000813
的夹角αq,βq，若βq≥90°， 则αq＝360°-αq；最后利用快速排序法将αq(q＝0,1,…,k-1)从大到小排序，则相邻子向量之 间的夹角δq满足公式(13)；
Figure BDA00028409933200000814
当相邻子向量之间的最大夹角δmax大于角度阈值ε(本实施例取π/4)，可判断当前点为 线特征，从而得到线特征集
Figure BDA00028409933200000815
如图6所示。
5.2将目标路径
Figure BDA00028409933200000816
与线特征集
Figure BDA00028409933200000817
进行匹配，得到精确的目标路径
Figure BDA00028409933200000818
步骤5.1得到的线特征集
Figure BDA0002840993320000091
中的线特征的精度高，但并不都是机械臂的工作路 径，因此需要将目标路径
Figure BDA0002840993320000092
与线特征集
Figure BDA0002840993320000093
进行匹配，以目标路径
Figure BDA0002840993320000094
为基准，在线特征集
Figure BDA0002840993320000095
内，使用直线平行度、距离为度量，认为直线平行度小于0.1，距离小于10mm的线特征为最为匹配的线特征，进而筛选出所有匹配的线特征，得到目标路径
Figure BDA0002840993320000096
此目标路径即为机械臂期望的工作路径，如图7所示。
步骤6、手眼标定(eye-in-hand)，将相机坐标系下的目标路径转换至机械臂基坐标系下， 方便控制系统控制机械臂运动；
步骤5得到的目标路径
Figure BDA0002840993320000097
为相机坐标系下的坐标点，将目标路径
Figure BDA0002840993320000098
上的点按照公式(14)转换至机械臂基坐标系下，得到目标路径
Figure BDA0002840993320000099
即为机械臂 的工作路径；
Figure BDA00028409933200000910
其中，R为旋转矩阵，T为平移矩阵，(u,v)为目标在彩色镜头坐标系下的像素位置，M2G矩阵为机械臂末端坐标系到机械臂基坐标系的转换矩阵，C2M矩阵为相机坐标系到机械臂末端坐标系的转换矩阵，K为相机内参。
本申请的方法能够应用于建筑场景中，使机械臂完成焊接、修补裂纹、装配等任务。
图8为本实施例的示教结果示意图，图中“实际所需工作路径”为机械臂期望的目标路 径，此目标路径作为比较的基准。“线特征集匹配结果”为目标路径Path3，“检测跟踪结果” 为目标路径Path1。由图可知，目标路径Path3与机械臂期望的目标路径基本重合，两者的平 均误差为1.07mm，误差较小。
本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于计算机视觉的机械臂智能示教方法，其特征在于，包括以下步骤：
步骤1、手持目标物，使目标物沿着期望的路径运动，RGB-D相机获取彩色图和深度图，将彩色图输入到目标检测模型中进行检测，并输出检测结果；针对不同背景选择相对突出的红色球或者蓝色球作为目标物，若背景偏红色，则选用蓝色球作为目标物，反之选用红色球；
步骤2、将检测结果输入到目标跟踪模型中进行跟踪，输出跟踪结果，得到彩色镜头坐标系下的像素目标路径；
目标检测与跟踪交替进行，具体为：将第一帧图像输入到目标检测模型，检测出目标在当前帧图像中的位置，再将此位置传递给目标跟踪模型来跟踪目标，目标跟踪模型输出第二帧至第m帧图像的跟踪结果；再将第m+1帧图像输入到目标检测模型来校正第m+2帧及后续图像的跟踪结果；
步骤3、将深度图映射到彩色图，将像素目标路径映射至彩色镜头坐标系下，得到目标路径Path1；
步骤4、使用联合双边滤波器对目标路径对应的深度图去噪，将去噪后的深度图转换为点云图像，得到目标路径的原始点云图像；在原始点云图像中以RGB-D相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的点云；然后对剔除背景后的点云进行滤波处理，得到滤波后的点云，完成点云的三维重建，得到目标路径Path1的点云图像；
步骤5、目标路径Path1的点云图像进行线特征提取，得到线特征集；将目标路径Path1与线特征集进行匹配，以目标路径Path1为基准，在线特征集内使用直线平行度、距离为度量，认为直线平行度小于0.1，距离小于10mm的线特征为最为匹配的线特征，进而筛选出所有匹配的线特征，得到精确的目标路径Path2；
步骤6、对机械臂进行手眼标定，将目标路径Path2转换至机械臂基坐标系下，得到目标路径Path3，目标路径Path3即为机械臂的工作路径；
通过上述步骤完成机械臂的智能示教。
2.根据权利要求1所述的基于计算机视觉的机械臂智能示教方法，其特征在于，所述目标物为直径为50mm的小球。
3.一种基于计算机视觉的机械臂智能示教方法的应用，其特征在于，该方法能够应用于建筑场景中，使机械臂完成焊接、装配或修补任务。
CN202011492064.XA 2020-12-17 2020-12-17 一种基于计算机视觉的机械臂智能示教方法及应用 Active CN112530267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492064.XA CN112530267B (zh) 2020-12-17 2020-12-17 一种基于计算机视觉的机械臂智能示教方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492064.XA CN112530267B (zh) 2020-12-17 2020-12-17 一种基于计算机视觉的机械臂智能示教方法及应用

Publications (2)

Publication Number Publication Date
CN112530267A CN112530267A (zh) 2021-03-19
CN112530267B true CN112530267B (zh) 2022-11-08

Family

ID=75001121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492064.XA Active CN112530267B (zh) 2020-12-17 2020-12-17 一种基于计算机视觉的机械臂智能示教方法及应用

Country Status (1)

Country Link
CN (1) CN112530267B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113319854B (zh) * 2021-06-25 2023-01-20 河北工业大学 一种洗浴机器人的视觉示教方法及系统
CN116587327B (zh) * 2023-06-20 2024-06-18 广东电网有限责任公司广州供电局 运动控制系统、带电作业机器人检测方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675502A (en) * 1985-12-23 1987-06-23 General Electric Company Real time tracking control for taught path robots
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking
JP5459678B2 (ja) * 2011-02-17 2014-04-02 株式会社東芝 移動体画像追尾装置
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
CN104834309B (zh) * 2015-04-10 2018-08-21 浙江工业大学 基于目标跟踪控制策略的单移动机器人最优巡回控制方法
CN105760824B (zh) * 2016-02-02 2019-02-01 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN106826815B (zh) * 2016-12-21 2019-05-31 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN107160364B (zh) * 2017-06-07 2021-02-19 华南理工大学 一种基于机器视觉的工业机器人示教系统及方法
CN107263449B (zh) * 2017-07-05 2020-01-10 中国科学院自动化研究所 基于虚拟现实的机器人远程示教系统
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN109108942B (zh) * 2018-09-11 2021-03-02 武汉科技大学 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统
US11170526B2 (en) * 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496770A (zh) * 2020-04-09 2020-08-07 上海电机学院 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模糊自适应PID焊缝轨迹跟踪的机器人焊接前瞻控制方法;谢光等;《高技术通讯》;20161115;第第26卷卷;第883-889页 *

Also Published As

Publication number Publication date
CN112530267A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
CN107186708B (zh) 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN103192397B (zh) 视觉机器人离线编程方法和系统
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
Zou et al. An end-to-end calibration method for welding robot laser vision systems with deep reinforcement learning
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN113421291B (zh) 利用点云配准技术和三维重建技术的工件位置找正方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN110866969A (zh) 基于神经网络与点云配准的发动机叶片重构方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN113267452A (zh) 一种基于机器视觉的发动机缸体表面缺陷检测方法及系统
CN114037703B (zh) 基于二维定位和三维姿态解算的地铁阀门状态检测方法
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN117315025A (zh) 一种基于神经网络的机械臂6d位姿抓取方法
Devgon et al. Orienting novel 3D objects using self-supervised learning of rotation transforms
CN108469729B (zh) 一种基于rgb-d信息的人体目标识别与跟随方法
CN116342621A (zh) 基于空间运动目标三维重构的几何参数辨识方法及系统
CN114926531A (zh) 基于双目视觉的大视场下工件焊缝自主定位方法及系统
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
Huo et al. A robotic defect inspection system for free-form specular surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant