CN110065068B - 一种基于逆向工程的机器人装配作业演示编程方法及装置 - Google Patents

一种基于逆向工程的机器人装配作业演示编程方法及装置 Download PDF

Info

Publication number
CN110065068B
CN110065068B CN201910274691.7A CN201910274691A CN110065068B CN 110065068 B CN110065068 B CN 110065068B CN 201910274691 A CN201910274691 A CN 201910274691A CN 110065068 B CN110065068 B CN 110065068B
Authority
CN
China
Prior art keywords
assembly
workpiece
module
robot
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910274691.7A
Other languages
English (en)
Other versions
CN110065068A (zh
Inventor
熊蓉
周忠祥
王越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910274691.7A priority Critical patent/CN110065068B/zh
Publication of CN110065068A publication Critical patent/CN110065068A/zh
Application granted granted Critical
Publication of CN110065068B publication Critical patent/CN110065068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于逆向工程的机器人装配作业演示编程方法及装置,包括在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构等步骤,包括的三维扫描仪、双目相机等装置,本发明当需要对生产流程或者装配工件进行调整时,只需要重新演示装配作业,无需对机器人进行重新编程,大大提高了产品的生产效率,此项技术尤其适用于具有多品种、小批量、短周期特点的柔性制造产业。

Description

一种基于逆向工程的机器人装配作业演示编程方法及装置
技术领域
本发明涉及逆向工程技术以及工业机器人演示编程技术,具体地说,涉及一种基于逆向工程的机器人装配作业演示编程方法及装置。
背景技术
逆向工程技术,指的是借助一定的测量手段,对实物或模型进行全面的测量,测量之后依据测量所得到的数据进行模型的重建。逆向工程技术包含广泛的技术方向,如形状反求、材料反求、工艺反求等,在工业领域中主要有以下几个方面的应用:对新产品进行改型设计或仿形设计;对已有的产品进行复制,明确原产品的设计意图;对磨损的零件进行还原;对模型进行数字化检测,便于模型间的对比分析,如分析产品变形原因、检测焊接质量等。逆向工程加快了产品设计速度和制造速度,同时也为产品的设计制造提供了很好的技术支持,是当前制造业中进行信息传递的重要途径。
机器人技术发展迅速,在工业生产、科学研究、军事军备和社会生活等方面都有广泛的应用。在世界各地的工厂里,工业机器人已经可以出色完成日常操作任务,比如上下料、搬运、焊接、喷涂、打磨等。传统的工业机器人只可以完成指定动作的任务,虽然有精度高、执行迅速快的优点,但是却缺乏灵活性。而且当需要改变操作对象与操作动作的时候,就需要对机器人进行重新编程,有时甚至需要更新整条生产线。所以随着工业产品愈发显著的生产时间短、更新频率高、生命周期短等特点,传统的机器人编程方式无法适应新的需求,需要一种更为灵活的编程方式来提高编程效率,缩短机器人重新编程时间。
工业机器人演示编程技术正是可以满足这些要求的一个重要发展方向。演示编程是从操作人员的演示过程提取有效信息并转化为机器人运动程序的技术。与传统的编程方式相比,演示编程不需要专业的机器人工程师进行编程,降低了对人员专业知识的需求,而且人的演示操作过程替代了以往的编程过程,降低了编程时间。
将逆向工程技术与机器人演示编程技术相结合,能够实现对缺少CAD模型文件的装配体中各工件的生产制造以及装配。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种基于逆向工程的机器人装配作业演示编程方法及装置,实现对装配体的生产和装配。本发明是通过以下技术方案来实现的:
本发明公开了一种基于逆向工程的机器人装配作业演示编程方法,包括以下步骤:
在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构;
操作人员根据拆解装配体的过程,在视觉观测系统中演示此装配体的装配过程,视觉观测系统从操作人员的演示过程中提取工件的装配知识,工件的装配知识包括操作人员使用的装配动作,操作的工件,以及装配动作完成后工件的位姿,并将装配知识发送给装配知识处理系统;
装配知识处理系统对接收到的装配知识进行处理,具体是对工件的位姿进行优化,并将处理之后的装配知识发送给机器人程序生成系统;
机器人程序生成系统根据接收到的装配知识生成机器人运动程序。
作为进一步地改进,本发明所述的工件模型重构系统包括点云数据采集模块以及工件模型重构模块;
所述的视觉观测系统包括以下模块:图像采集模块、工件识别模块、工件位姿估计模块以及装配动作识别模块;
所述的机器人程序生成系统中包括机器人动作库以及装配知识解析模块。
作为进一步地改进,本发明所述的工件模型重构系统中的点云数据采集模块用于采集工件的点云数据,工件模型重构模块根据采集到的点云数据重构工件模型;
所述的视觉观测系统中的图像采集模块用于采集相机视野中的RGB图像,工件识别模块用于识别操作者操作的工件,工件位姿估计模块用于估计工件的位姿,装配动作识别模块用于识别操作者使用的装配动作;
所述的装配知识处理系统用于根据工件之间的装配关系优化视觉观测系统中产生的工件位姿,其中使用的装配关系包括但不限于轴对齐关系以及面贴合关系;
所述的机器人动作库由专业的机器人工程师提前建立,其中的机器人动作包括但不限于拿起、放下、按压、拧。
作为进一步地改进,本发明所述的视觉观测系统中工件识别模块使用的算法包括但不限于Faster R-CNN;
所述的视觉观测系统中装配动作识别模块使用的算法根据每个装配动作的特征对装配动作进行分类,使用的特征包括工件的二维运动轨迹、操作人员的手势以及操作手的三维运动轨迹,使用的分类器包括但不限于支持向量机;
视觉观测系统中工件位姿估计模块使用的算法包括但不限于基于点对特征的三维位姿估计算法。
作为进一步地改进,本发明所述的轴对齐关系的计算具体为,对于物体a 的轴a1以及物体b的轴b1,若满足下式:
Adj(Ta)L1 o·[Adj(Tb)L2 o]T-Adj(Tb)L2 o·[Adj(Ta)L1 o]T=0 1)
则a1与b1满足共轴关系,其中L1 o,L2 o分别为a1在物体a自身坐标系中的普鲁克坐标以及b1在物体b自身坐标系中的普鲁克坐标,Ta,Tb分别为物体a和物体b 在世界坐标系中的位姿;
面贴合关系的计算具体为,对于物体c的面c1以及物体d的面d1,若满足下式:
Tc -Tπ1 o·(Td -Tπ2 o)T-Td -Tπ2 o·(Tc -Tπ1 o)T=0 2)
则c1与d1满足共面关系,其中π1 o2 o分别为c1在物体c自身坐标系中的普鲁克坐标以及d1在物体d自身坐标系中的普鲁克坐标,Tc,Td分别为物体c和物体d 在世界坐标系中的位姿。
作为进一步地改进,本发明所述的工件位姿的初始值由视觉观测系统中工件位姿估计模块得到,但是该结果无法满足工件装配精度的要求,装配知识处理系统基于位姿初始值根据公式1)和公式2)计算工件之间粗糙的装配关系并对装配关系进行选择,从而删除错误的装配关系,保留正确的装配关系,最后基于正确的装配关系优化工件的位姿。
作为进一步地改进,本发明所述的机器人程序生成系统解析装配知识处理系统的结果,从机器人运动库中选择对应的动作,使机器人抓取指定的工件完成装配作业。
作为进一步地改进,本发明所述的方法通过以下装置执行:
工件模型重构系统中使用的装置包括三维扫描仪以及第一计算模块,三维扫描仪用于获取工件的点云数据,第一计算模块用于对工件的点云数据进行处理并重构工件三维模型;
视觉观测系统中使用装置包括双目相机以及第二计算模块,双目相机用于获取操作人员演示过程中的图像,第二计算模块用于运行工件识别模块、工件位姿估计模块、以及装配动作识别模块中的算法;
装配知识处理系统中使用的第三计算模块根据视觉观测系统得到的装配知识,计算工件之间的装配关系并优化工件的位姿;
机器人程序生成系统中使用的第四计算模块根据接收到的装配知识生成机器人运动程序。
本发明还公开了一种基于逆向工程的机器人装配作业演示编程装置,所述的三维扫描仪包括但不限于Handyscan700,视觉观测系统使用的传感器包括但不限于双目相机,三维扫描仪用于工件点云数据的采集,双目相机用于获取双目图像;双目相机之间刚性连接,各相机之间的位姿相对关系已经事先标定得知。
作为进一步地改进,本发明所述的装置还包括处理器、存储器以及存储在存储器中的程序,所述计算机程序被处理器执行时实现基于逆向工程的机器人装配作业演示编程方法的步骤。
根据实物进行工件模型重构以及从操作人员的演示操作中提取工件装配知识,并将该知识转化为工业机器人的程序,从而使工业机器人完成相应操作的方法及装置。
对比现有的技术,本发明的有益效果在于:
对于一个实际装配体,在没有其三维模型的情况下,使用逆向工程技术可以实现装配体各工件的三维模型重构,并进行制作;在此基础上,使用机器人演示编程技术,可以将装配体的装配任务快速高效地部署到机器人平台上,从而实现对此装配体的快速生产。当需要对生产流程或者装配工件进行调整时,只需要重新演示装配作业,无需对机器人进行重新编程,大大提高了产品的生产效率,此项技术尤其适用于具有多品种、小批量、短周期特点的柔性制造产业。
附图说明
图1为本发明一种基于逆向工程的机器人装配作业演示编程方法中工件模型重构流程示意图;
图2为本发明一种基于逆向工程的机器人装配作业演示编程方法中机器人演示编程系统的流程示意图。
具体实施方式
下面,结合说明书附图,通过具体实施方式对本发明的技术方案作进一步地描述:
本发明公开了一种基于逆向工程的机器人装配作业演示编程方法及装置,由以下系统构成:工件模型重构系统、视觉观测系统、装配知识处理系统以及机器人程序生成系统,每个系统又包含了为实现特定功能而使用的软件算法和硬件装置。
本发明公开了一种基于逆向工程的机器人装配作业演示编程方法,包括以下步骤:
1、在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构;
2、操作人员根据拆解装配体的过程,在视觉观测系统中演示此装配体的装配过程,视觉观测系统从操作人员的演示过程中提取工件的装配知识,工件的装配知识包括操作人员使用的装配动作,操作的工件,以及装配动作完成后工件的位姿,并将装配知识发送给装配知识处理系统;
3、装配知识处理系统对接收到的装配知识进行处理,具体是对工件的位姿进行优化,并将处理之后的装配知识发送给机器人程序生成系统;
4、机器人程序生成系统根据接收到的装配知识生成机器人运动程序。
其中工件模型重构系统中包括了点云数据采集模块以及工件模型重构模块,视觉观测系统中包括了以下模块:图像采集模块、工件识别模块、工件位姿估计模块以及装配动作识别模块,每个模块的详细介绍如下:
图像采集模块的功能是采集相机视野中的RGB图像,并将其传递给后续的各个模块;
为了获得操作人员操作的工件,本发明设计了工件识别模块。该模块使用 FasterR-CNN实现,能够实现对操作工件的准确识别;
为了使工业机器人系统能够识别操作人员使用的装配动作,本发明设计了装配动作识别模块,该模块融合了底层特征以及中层特征,最后得到操作人员使用的动作类别,底层特征包括操作手的手势外观特征、操作手的三维运动轨迹特征、操作物体的二维轨运动轨迹特征。中层特征从底层特征提取得到,根据操作手的手势外观特征可以得到不同的操作动作对应的手势类型分布,根据操作手的三维运动轨迹特征可以得到演示动作高度变化的类型以及操作手的平面轨迹方向直方图,根据操作物体的二维运动轨迹特征可以得到操作物体的平面轨迹方向直方图,根据中层特征最终得到演示动作的类别。
由于大部分的工业机器人使基于位置控制的,为了使工业机器人系统能够成功执行装配任务,需要从操作人员的演示过程中提取工件的位姿信息,为了实现上述的功能,本发明设计了工件位姿估计模块,该模块使用双目视觉以及基于物体的点对特征对场景中的物体进行位姿估计,从而得到物体的六自由度位姿。
其中装配知识处理系统详细介绍如下:
由于视觉传感器精度以及位姿估计算法精度的限制,工件位姿估计模块的结果无法满足机器人装配作业的需要。作为进一步的改进,本发明设计了装配知识处理系统对视觉观测系统的提取结果进行处理。装配知识处理系统利用操作工件的轴、面两种几何元素定义了两个操作工件之间的装配关系,分为轴对齐关系与面贴合关系,根据这两种装配关系,可以约束两个操作工件之间的相对位姿。
工件的轴、面元素从重构的工件模型中自动提取得到。
轴对齐关系的计算具体为,对于工件a的轴a1以及工件b的轴b1,若满足下式:
Adj(Ta)L1 o·[Adj(Tb)L2 o]T-Adj(Tb)L2 o·[Adj(Ta)L1 o]T=0 1)
则a1与b1满足共轴关系。其中L1 o,L2 o分别为a1在工件a自身坐标系中的普鲁克坐标以及b1在工件b自身坐标系中的普鲁克坐标,Ta,Tb分别为工件a和工件b 在世界坐标系中的位姿。
面贴合关系的计算具体为,对于工件c的面c1以及工件d的面d1,若满足下式:
Tc -Tπ1 o·(Td -Tπ2 o)T-Td -Tπ2 o·(Tc -Tπ1 o)T=0 2)
则c1与d1满足共面关系。其中π1 o2 o分别为c1在工件c自身坐标系中的普鲁克坐标以及d1在工件d自身坐标系中的普鲁克坐标,Tc,Td分别为工件c和工件d 在世界坐标系中的位姿。
但是正如上文所述,视觉观测系统得到的操作工件的位姿是不精确的,两个工件之间的装配关系也不是严格满足的,装配知识处理系统基于含有噪声的工件位姿计算工件之间的装配关系,并对装配关系进行筛选,删除错误的装配关系,然后根据装配关系的筛选结果计算工件位姿,按照这种迭代的方式交替计算工件位姿以及工件之间的装配关系,直到工件的位姿结果不再改变,即计算过程收敛,从而得到优化之后的工件位姿。
其中机器人程序生成系统中包括机器人动作库以及装配知识解析模块,各模块详细介绍如下:
机器人程序生成系统根据装配知识处理系统产生的装配知识生成工业机器人运动程序。本发明提出建立工业机器人基本运动模板库,然后工业机器人程序生成系统根据装配知识处理系统产生的装配知识,从工业机器人基本运动模板库中提取相应的运动模板,并根据装配知识调整模板参数,最终形成工业机器人运动程序。
本发明所述的基于逆向工程的机器人装配作业演示编程方法通过以下装置执行:
工件模型重构系统中使用的装置包括三维扫描仪以及第一计算模块,三维扫描仪用于获取工件的点云数据,第一计算模块用于对工件的点云数据进行处理并重构工件三维模型。
视觉观测系统中使用装置包括双目相机以及第二计算模块,双目相机用于获取操作人员演示过程中的图像,第二计算模块用于运行工件识别模块、工件位姿估计模块、以及装配动作识别模块中的算法。
装配知识处理系统中使用的第三计算模块根据视觉观测系统得到的装配知识,计算工件之间的装配关系并优化工件的位姿。
机器人程序生成系统中使用的第四计算模块根据接收到的装配知识生成机器人运动程序。
三维扫描仪包括但不限于Handyscan700,视觉观测系统使用的双目相机,也可以使用深度传感器,双目相机之间刚性连接,各相机之间的位姿相对关系已经事先标定得知,装置还包括处理器、存储器以及存储在存储器中的程序,计算机程序被处理器执行时实现基于逆向工程的机器人装配作业演示编程方法。
图1为本发明中工件模型重构流程图,通过三维激光扫描仪获取工件点云数据,在Geomagic Studio中对点云进行处理,包括去除体外孤点、滤除噪声点以及滤除重叠点云,然后进行曲线、曲面和实体的重建,并对重建得到的工件模型进行精度分析,直到精度满足要求为止。
图2为本发明中机器人装配作业演示编程方法流程示意图,视觉观测系统提取操作人员演示的装配知识,并传递给装配知识处理系统,经过处理后的装配知识被传递给机器人程序生成系统,生成机器人运动程序。视觉观测系统包括图像采集模块、工件识别模块、装配动作识别模块、以及工件位姿估计模块。
使用两台工业相机构建双目视觉系统,作为视觉观测系统的传感设备,采集双目图像。
操作工件识别模块中使用了Faster R-CNN,在在线使用该模块之前,需要采集图像并进行标注,以制作训练数据集,然后使用训练数据集对此模型进行训练。该模块在线运行时,使用训练好的模型进行识别,从而获得操作人员操作的工件类别。
装配动作识别模块融合了动作的底层特征以及中层特征,并使用支持向量机分类算法对特征进行分类,从而实现对演示动作的识别。底层特征包括操作手的手势外观特征、操作手的三维运动轨迹特征、操作物体的二维轨运动轨迹特征。中层特征从底层特征提取得到,根据操作手的手势外观特征可以得到不同的操作动作对应的手势类型分布,根据操作手的三维运动轨迹特征可以得到演示动作高度变化的类型以及操作手的平面轨迹方向直方图,根据操作物体的二维运动轨迹特征可以得到操作物体的平面轨迹方向直方图。根据中层特征最终得到演示动作的类别。在在线使用之前,需要采集常用动作的特征数据对分类器进行训练,当分类器的分类准确率符合要求之后,才可以在线使用。
在从演示过程中提取到装配知识以后,装配知识处理系统会对视觉观测系统的结果进行优化,基于操作工件之间的装配关系,对操作工件的位姿进行优化,得到精确的工件位姿。并使用优化后的工件位姿修正视觉观测的结果,将修正之后的演示知识发送给工业机器人程序生成模块。
工业机器人程序生成模块根据收到的演示知识,使用预定义好的基本运动模板,生成工业机器人运动程序。
本实施例中的方法与前述实施例中的装置是基于同一发明构思下的两个方面,本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备执行本发明各个实施例或者实施例的某些部分所述的方法,计算机设备可以是个人计算机,服务器,或者网络设备等。
描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的,作为模块或单元示意的部件可以是或者也可以不是物理模块,既可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种基于逆向工程的机器人装配作业演示编程方法,其特征在于,包括以下步骤:
在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构;
操作人员根据拆解装配体的过程,在视觉观测系统中演示此装配体的装配过程,视觉观测系统从操作人员的演示过程中提取工件的装配知识,工件的装配知识包括操作人员使用的装配动作,操作的工件,以及装配动作完成后工件的位姿,并将装配知识发送给装配知识处理系统;
所述的装配知识处理系统对接收到的装配知识进行处理,具体是对工件的位姿进行优化,并将处理之后的装配知识发送给机器人程序生成系统;
机器人程序生成系统根据接收到的装配知识生成机器人运动程序;
所述的工件模型重构系统包括点云数据采集模块以及工件模型重构模块;
所述的视觉观测系统包括以下模块:图像采集模块、工件识别模块、工件位姿估计模块以及装配动作识别模块;
所述的机器人程序生成系统中包括机器人动作库以及装配知识解析模块;
所述的工件模型重构系统中的点云数据采集模块用于采集工件的点云数据,工件模型重构模块根据采集到的点云数据重构工件模型;
所述的视觉观测系统中的图像采集模块用于采集相机视野中的RGB图像,工件识别模块用于识别操作者操作的工件,工件位姿估计模块用于估计工件的位姿,装配动作识别模块用于识别操作者使用的装配动作;
所述的装配知识处理系统用于根据工件之间的装配关系优化视觉观测系统中产生的工件位姿,其中使用的装配关系包括轴对齐关系以及面贴合关系;
所述的机器人动作库由专业的机器人工程师提前建立,其中的机器人动作包括拿起、放下、按压、拧。
2.如权利要求1所述的基于逆向工程的机器人装配作业演示编程方法,其特征在于,
所述的视觉观测系统中工件识别模块使用的算法包括Faster R-CNN;
所述的视觉观测系统中装配动作识别模块使用的算法根据每个装配动作的特征对装配动作进行分类,使用的特征包括工件的二维运动轨迹、操作人员的手势以及操作手的三维运动轨迹,使用的分类器包括支持向量机;
视觉观测系统中工件位姿估计模块使用的算法包括基于点对特征的三维位姿估计算法。
3.如权利要求1或2所述的基于逆向工程的机器人装配作业演示编程方法,其特征在于,
轴对齐关系的计算具体为,对于物体a的轴a1以及物体b的轴b1,若满足下式:
Adj(Ta)L1 o·[Adj(Tb)L2 o]T-Adj(Tb)L2 o·[Adj(Ta)L1 o]T=0 1)
则a1与b1满足共轴关系,其中L1 o,L2 o分别为a1在物体a自身坐标系中的普鲁克坐标以及b1在物体b自身坐标系中的普鲁克坐标,Ta,Tb分别为物体a和物体b在世界坐标系中的位姿;
面贴合关系的计算具体为,对于物体c的面c1以及物体d的面d1,若满足下式:
Tc -Tπ1 o·(Td -Tπ2 o)T-Td -Tπ2 o·(Tc -Tπ1 o)T=0 2)
则c1与d1满足共面关系,其中π1 o2 o分别为c1在物体c自身坐标系中的普鲁克坐标以及d1在物体d自身坐标系中的普鲁克坐标,Tc,Td分别为物体c和物体d在世界坐标系中的位姿。
4.如权利要求3中所述的基于逆向工程的机器人装配作业演示编程方法,其特征在于,
工件位姿的初始值由视觉观测系统中工件位姿估计模块得到,但是工件位姿的初始值无法满足工件装配精度的要求,装配知识处理系统基于位姿初始值根据公式1)和公式2)计算工件之间粗糙的装配关系并对装配关系进行选择,从而删除错误的装配关系,保留正确的装配关系,最后基于正确的装配关系优化工件的位姿。
5.如权利要求1或2中所述的基于逆向工程的机器人装配作业演示编程方法,其特征在于,
机器人程序生成系统解析装配知识处理系统的结果,从机器人运动库中选择对应的动作,使机器人抓取指定的工件完成装配作业。
6.如权利要求1或2中所述的基于逆向工程的机器人装配作业演示编程方法,其特征在于,所述的方法通过以下装置执行:
工件模型重构系统中使用的装置包括三维扫描仪以及第一计算模块,三维扫描仪用于获取工件的点云数据,第一计算模块用于对工件的点云数据进行处理并重构工件三维模型;
视觉观测系统中使用装置包括双目相机以及第二计算模块,双目相机用于获取操作人员演示过程中的图像,第二计算模块用于运行工件识别模块、工件位姿估计模块、以及装配动作识别模块中的算法;
装配知识处理系统中使用的第三计算模块根据视觉观测系统得到的装配知识,计算工件之间的装配关系并优化工件的位姿;
机器人程序生成系统中使用的第四计算模块根据接收到的装配知识生成机器人运动程序。
CN201910274691.7A 2019-04-08 2019-04-08 一种基于逆向工程的机器人装配作业演示编程方法及装置 Active CN110065068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910274691.7A CN110065068B (zh) 2019-04-08 2019-04-08 一种基于逆向工程的机器人装配作业演示编程方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910274691.7A CN110065068B (zh) 2019-04-08 2019-04-08 一种基于逆向工程的机器人装配作业演示编程方法及装置

Publications (2)

Publication Number Publication Date
CN110065068A CN110065068A (zh) 2019-07-30
CN110065068B true CN110065068B (zh) 2021-04-16

Family

ID=67367178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910274691.7A Active CN110065068B (zh) 2019-04-08 2019-04-08 一种基于逆向工程的机器人装配作业演示编程方法及装置

Country Status (1)

Country Link
CN (1) CN110065068B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768347B (zh) * 2020-05-15 2021-08-03 成都飞机工业(集团)有限责任公司 一种判定零件工装是否适合从模拟量改为数字量的方法
CN112917516B (zh) * 2021-02-01 2022-04-01 北京航空航天大学 用于自主装配机器人的知识学习与推理执行系统
CN113134839B (zh) * 2021-04-26 2022-06-10 湘潭大学 一种基于视觉和力位图像学习的机器人精密柔性装配方法
CN114043484B (zh) * 2021-11-29 2023-10-03 青岛理工大学 一种基于视觉的工业机器人装配的模仿学习系统及方法
WO2024016283A1 (zh) * 2022-07-21 2024-01-25 西门子股份公司 组装辅助方法及装置
CN115829963B (zh) * 2022-11-28 2023-11-03 江苏凯威特斯半导体科技有限公司 一种等离子喷涂图像数据识别分析方法和系统
CN117245672B (zh) * 2023-11-20 2024-02-02 南昌工控机器人有限公司 摄像头支架模块化装配的智能运动控制系统及其方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009012132A (ja) * 2007-07-05 2009-01-22 Denso Wave Inc 多関節型ロボットおよびワーク受け渡し方法
CN105956234B (zh) * 2016-04-21 2019-01-22 哈尔滨工业大学 基于逆向工程的汽轮机部套虚拟检测及修配方法
CN105867300A (zh) * 2016-05-26 2016-08-17 中国科学院等离子体物理研究所 一种对具有复杂轮廓的大型成型焊接件逆向再加工方法
CN106228563B (zh) * 2016-07-29 2019-02-26 杭州鹰睿科技有限公司 基于三维视觉的自动装配系统
CN108994830A (zh) * 2018-07-12 2018-12-14 上海航天设备制造总厂有限公司 用于打磨机器人离线编程的系统标定方法
CN109571487B (zh) * 2018-09-12 2020-08-28 河南工程学院 一种基于视觉的机器人演示学习方法

Also Published As

Publication number Publication date
CN110065068A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN111679291B (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
Patil et al. Extraction of weld seam in 3d point clouds for real time welding using 5 dof robotic arm
Zhang et al. Point cloud based three-dimensional reconstruction and identification of initial welding position
Ferreira et al. A low-cost laser scanning solution for flexible robotic cells: spray coating
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
Zhang et al. Deep learning-based robot vision: High-end tools for smart manufacturing
Sulaiman et al. DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS.
Biqing et al. Research on Picking Identification and Positioning System Based on IOT.
CN111275758B (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
CN113793383A (zh) 一种3d视觉识别取放系统及方法
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
Kim et al. Digital twin for autonomous collaborative robot by using synthetic data and reinforcement learning
Wu et al. A novel approach for porcupine crab identification and processing based on point cloud segmentation
Frank et al. Stereo-vision for autonomous industrial inspection robots
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
Zogopoulos et al. Image-based state tracking in augmented reality supported assembly operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant