CN107428009A - 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统 - Google Patents

用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统 Download PDF

Info

Publication number
CN107428009A
CN107428009A CN201580077848.7A CN201580077848A CN107428009A CN 107428009 A CN107428009 A CN 107428009A CN 201580077848 A CN201580077848 A CN 201580077848A CN 107428009 A CN107428009 A CN 107428009A
Authority
CN
China
Prior art keywords
industrial robot
touch
screen
coordinate system
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077848.7A
Other languages
English (en)
Other versions
CN107428009B (zh
Inventor
顾颢
李庆伟
李劲松
田冀焕
亓利伟
王建疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Technology AG
Original Assignee
ABB Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Technology AG filed Critical ABB Technology AG
Publication of CN107428009A publication Critical patent/CN107428009A/zh
Application granted granted Critical
Publication of CN107428009B publication Critical patent/CN107428009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G05B19/4015—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes going to a reference at the beginning of machine cycle, e.g. for calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4147—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by using a programmable interface controller [PIC]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39021—With probe, touch reference positions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39032—Touch probe senses constraint known plane, derive kinematic calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Numerical Control (AREA)

Abstract

因此本发明的目的是提供一种用于校准触摸屏的触摸屏坐标系的方法和使用该方法的工业机器人系统和控制系统，该方法利用用于工业机器人调试的工业机器人的工业机器人坐标系，其中：触摸屏被布置在工业机器人的工作范围内。该方法包括：将末端执行器附接至工业机器人；(a)以柔顺的方式使工业机器人移动，直到末端执行器的触笔接触触摸屏上的点；(b)当末端执行器的触笔接触触摸屏的点时，记录末端执行器的触笔在工业机器人坐标系中的位置；(c)记录触摸屏上的接触点在触摸屏坐标系中的位置；重复步骤(a)、(b)和(c)以用于触摸屏上的至少另两次接触，其中至少三个接触点中的两个接触点限定出平行于工业机器人坐标系的X轴或Y轴的线，并且至少三个接触点中的另一个接触点被远离线布置；以及基于末端执行器触笔的至少三个位置和接触点的至少三个位置来计算工业机器人坐标系与触摸屏坐标系之间的关系。经校准的触摸屏适合用作多功能工具以用于各种类型的工业机器人调试、例如绝对准确度校准、手眼校准和路径生成与修正。它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。这在为了小部件组装而工业机器人在紧凑的局部工作区域中的绝对准确度特别重要的情况下特别有用。

Description

用于工业机器人调试的方法、使用该方法的工业机器人系统 和控制系统
技术领域
本发明涉及程序控制的工业机器人，并且特别地涉及用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统。
背景技术
工业机器人调试在当前的机器人应用中是枯燥乏味的、重复的、依赖于操作者的。特别地，在机器人单元搭建、恢复和复制上花费相当多的工程时间和精力。已提出用于工业机器人调试的很多解决方案，并且为各种调试任务设计了各种解决方案，诸如工具中心点(TCP)校准、工作对象校准、机器人运动学校准、手眼校准和路径生成与修正。
专利WO 2006079617 A1公开一种用于具有工具的机器人的TCP校准装置，其具有基于确定的位置来计算机器人工具的中心点的位置的计算模块。装置具有用于捕获机器人工具的针对多个不同工具取向的图像的照相机，和用于基于图像来确定机器人工具在取向上的位置的图像处理单元。计算模块基于所确定的位置来计算机器人工具的中心点的位置。
为了执行绝对准确度校准的不同任务，例如优化工业机器人的运动学参数，专利EP 1120204 A2教导工业机器人校准涉及使用被相对于机器人基座校准的测量触笔将机器人移动到具有已知绝对坐标的三个或更多参考标记和使用参考标记来确定机器人的姿态。机器人的针对参考标记的相对坐标通过坐标变换被变换成绝对坐标。
进一步的不同任务是关于在机器人单元中手眼校准固定照相机配置。目的是算出照相机与工业机器人基座之间的位置和取向关系。专利WO 2014161603 A1在其发明背景部分中描述了用以确定照相机的外在参数的传统途径是将照相机朝向2D(二维)棋盘校准。接着通过首先限定机器人TCP(工具中心点)并接着将指向工具轻推至棋盘的限定工作对象的点而手动地指明对应的框架。接着照相机的坐标系与机器人的坐标系之间的关系可以被确定。
又另一不同任务涉及通过工业机器人编程进行的路径生成和修正。WO2004108363 A1谈到了用于例如工业机器人的、基于运行程序指令之后获得的姿态与期望的姿态之间的差异，通过调整微调坐标系来进行的微调。在针对微调坐标系中的选定的姿态产生指令之前，在该系统中计算出选定的姿态。在确定运行程序指令之后所获得的姿态与期望的姿态之间的差异之前，由机器人运行程序指令。基于差异来调整微调坐标系。
期望一种用于多个任务的工业机器人调试系统。例如，调试工程师希望看到用于各种调试任务的功能在一个工业机器人单元中实施，例如TCP校准、绝对精度校准、手眼校准和路径生成与修正。然而，在一个机器人单元中将用于各种调试任务的各种系统单纯地并置具有缺点，例如相对高的系统复杂性和成本。另外，将各种调试系统放到一起使得机器人单元占据相对大的空间。
发明内容
根据本发明的一个方面，提供一种用于校准触摸屏的触摸屏坐标系的方法，该方法利用用于工业机器人调试的工业机器人的工业机器人坐标系，其中：触摸屏被布置在工业机器人的工作范围内，该方法包括：将末端执行器附接至工业机器人；(a)以柔顺的方式使工业机器人移动，直到末端执行器的触笔接触触摸屏上的点；(b)当末端执行器的触笔接触触摸屏的点时，记录末端执行器的触笔在工业机器人坐标系中的位置；(c)记录触摸屏上的接触点在触摸屏坐标系中的位置；重复步骤(a)、(b)和(c)，以用于触摸屏上的至少另两次接触，其中至少三个接触点中的两个接触点限定平行于工业机器人坐标系的X轴或Y轴的线，并且至少三个接触点中的另一个接触点被远离线布置；以及基于末端执行器触笔的至少三个位置和接触点的至少三个位置来计算工业机器人坐标系与触摸屏坐标系之间的关系。
经校准的触摸屏适合用作多功能工具以用于各种类型的工业机器人调试，例如绝对准确度校准、手眼校准和路径生成与修正。它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。这在为了小部件组装而工业机器人在紧凑的局部工作区域中的绝对准确度特别重要的情况下特别有用。
根据本发明的另一方面，提供一种用于校准被附接至工业机器人的工具的工具中心点的方法，该方法利用工业机器人的工业机器人坐标系，其中：触摸屏被布置在工业机器人的工作范围内，该方法包括：(d)以柔顺的方式使工业机器人移动，直到工具的工具中心点接触触摸屏上的点；(e)当工业机器人接触触摸屏的点时，记录工业机器人在工业机器人坐标系中的姿势；(f)记录触摸屏上的接触点在触摸屏坐标系中的位置；重复步骤(d)、(e)和(f)，以用于触摸屏上的至少另两次接触，其中当工具接触触摸屏时，工具被以不同的姿态布置；以及基于工业机器人的至少三个姿势和接触点的至少三个位置来计算工具中心点在工业机器人坐标系中的位置。
根据本发明的另一方面，提供一种用于优化另一工业机器人的运动学参数的方法，其中：触摸屏被布置在另一工业机器人的工作范围内，并且触摸屏的触摸屏坐标系已根据前述的方法利用工业机器人的工业机器人坐标系进行了校准，该前述的方法用于利用工业机器人坐标系来校准触摸屏的触摸屏坐标系，该用于优化另一工业机器人的运动学参数的方法包括：将末端执行器附接至另一工业机器人，该另一工业机器人的基座被布置在与工业机器人相同的位置；(g)以柔顺的方式使另一工业机器人移动，直到末端执行器的触笔接触触摸屏上的点；(h)当末端执行器触笔接触触摸屏上的点时，记录另一工业机器人在工业机器人坐标系中的姿势；(i)记录触摸屏上的接触点在触摸屏坐标系中的位置；重复步骤(g)、(h)和(i)，以用于触摸屏上的至少另一次接触，其中接触的数目等于或高于另一工业机器人的运动学参数的数目；基于另一工业机器人的至少两个姿势、接触点的至少两个位置和工业机器人坐标系与触摸屏坐标系之间的关系来优化另一工业机器人的运动学参数。
根据本发明的另一方面，提供一种用于利用工业机器人的工业机器人系统来校准照相机的照相机坐标系的方法，其中：触摸屏被布置在工业机器人的工作范围内，并且触摸屏的触摸屏坐标系已根据前述的方法利用工业机器人的工业机器人坐标系进行了校准，该前述的方法用于利用工业机器人坐标系来校准触摸屏的触摸屏坐标系，该用于校准照相机的照相机坐标系的方法包括：(j)在触摸屏上显示图案；(k)确定图像上的点在触摸屏坐标系中的位置；(l)拍摄图案的图像；(m)确定图像上的点在照相机坐标系中的位置；针对在触摸屏上旋转的图案，重复步骤(j)、(k)和(m)至少一次；基于至少两个拍摄的图像，借助于图像识别来计算照相机坐标系与触摸屏坐标系之间的关系；基于照相机坐标系与触摸屏坐标系之间的关系和触摸屏坐标系与工业机器人坐标系之间的关系来计算工业机器人坐标系与照相机坐标系之间的关系。
根据本发明的另一方面，提供一种用于对工业机器人编程的方法，其中：触摸屏被布置在工业机器人的工作范围内，并且触摸屏的触摸屏坐标系已根据前述的方法利用工业机器人的工业机器人坐标系进行了校准，该前述的方法用于利用工业机器人坐标系来校准触摸屏的触摸屏坐标系，该用于对工业机器人编程的方法包括：在触摸屏上设定目标路径；记录目标路径上的目标点在触摸屏坐标系中的位置；基于目标路径上的点在触摸屏坐标系中的位置、工业机器人坐标系与触摸屏坐标系之间的关系和工业机器人的运动学模型来计算工业机器人在工业机器人坐标系中的应该达到和沿着目标路径移动的工业机器人姿势；以柔顺的方式使工业机器人以设定为目标姿势的工业机器人姿势移动以接触触摸屏；记录接触点在触摸屏坐标系中的位置；计算目标点的位置与接触点的位置之间的偏差信息；和基于偏差信息来修正工业机器人。
调试设备的实施不必要具有大面积。例如，手机大小的移动装置能胜任工具中心点(TCP)校准、工作对象校准、机器人运动学校准、手眼校准和路径生成与修正。另外，接触探针不必要具有位移测量功能。用以触发接触面板的可伸缩探针就足够了。所以，与用于多个调试任务的各种系统并置的多任务工业机器人调试系统相比，用于单元校准的设备的成本可能相对低。此外，在机器人单元设计阶段，具有用于将调试设备安装在部件保持器(例如，托盘、夹具、修正台)上和机器人工具(例如，夹持器)上的机械特征并不是一个大问题。因此，可以使用已知的机械约束将调试设备附接到机器人单元上。因此，可以进行自动校准。
根据本发明的另一方面，提供一种工业机器人调试系统，包括工业机器人、末端执行器和触摸屏，其中：工业机器人、末端执行器和触摸屏被配置成执行根据前述方法中的任一项的方法。
根据本发明的另一方面，提供一种工业机器人调试控制系统，其适于控制工业机器人和触摸屏执行根据前述方法中的任一项的方法。
附图说明
将在以下文本中参照附图中图示出的优选示例性实施例更详细地说明本发明的技术方案，其中：
图1图示出根据本发明的实施例的工业机器人调试系统；
图2图示出根据本发明的实施例、在利用用于工业机器人调试的工业机器人的工业机器人坐标系而进行的触摸屏的触摸屏坐标系的校准期间、使末端执行器移动的工业机器人；
图3图示出根据本发明的实施例，通过使用经校准的触摸屏来优化另一工业机器人的运动学参数；
图4图示出根据本发明的实施例，利用工业机器人的工业机器人系统来校准照相机的照相机坐标系；
图5图示出根据本发明的实施例，对工业机器人编程以用于路径生成和修正；
图6图示出根据本发明的实施例，通过使用工业机器人和经校准的触摸屏而进行的附接至工业机器人的工具的工具中心点的校准；
图7示出图示出根据本发明的实施例的用于工业机器人调试的校准方法的流程图；
图8示出图示出基于图7的方法进行的另一工业机器人的运动学参数的优化的流程图；
图9示出图示出基于图7的方法利用工业机器人坐标系来校准照相机坐标系的流程图；
图10示出图示出基于图7的方法在机器人调试中对工业机器人编程的流程图；和
图11示出图示出根据本发明的实施例的用于工业机器人调试的TCP校准方法的流程图；
附图中使用的附图标记及其含义被以总结的形式列在附图标记列表中。原则上，同样的部件在图中提供有相同的附图标记。
具体实施方式
图1图示出根据本发明的实施例的工业机器人调试系统。如图1所示，工业机器人系统1包括工业机器人10和触摸屏11。工业机器人10的姿势、位置和移动参考工业机器人坐标系xr、yr、zr，例如工业机器人的基座坐标系。工业机器人10设置有包括至少一个处理器、存储器和通信部件的工业机器人控制器100。在该示例中，工业机器人控制器100被用于执行根据本发明的方法中的步骤中的大多数步骤。触摸屏11是具有触摸屏控制器110的电子视觉显示器，触摸屏控制器110可以读取和记录相对于触摸屏坐标系xt、yt、zt的由触笔接触的位置。触笔可以是基于电磁的、基于超声波的和基于机械的。触摸屏11也可以显示和控制如何显示。优选触摸屏控制器110具有运行APP的计算能力。优选地，关于测量能力，来自WACOM的市售平板可以达到5微米的触感。工业机器人控制器100和触摸屏控制器110可以经由构成工业机器人调试控制系统的通信链路彼此通信。末端执行器12被以相对于工业机器人坐标系xr、yr、zr的已知位置附接至工业机器人凸缘101，并且触摸屏11被布置在工业机器人10的工作范围内，使得末端执行器12可以与工业机器人10一起移动并且当工业机器人11采取某种具有预编程的机器人目标的姿势时接触触摸屏11。其末端具有触笔的末端执行器12可以与工业机器人100处于固定关系，工业机器人100具有基于电磁、基于超声波或基于机械的触笔，触笔可利用电磁束、超声波束或机械接触来接触触摸屏。对应地，触摸屏11可以检测读取和记录接触点的电磁束、超声波束或机械接触。与和工业机器人10处于固定关系的末端执行器相比，替代的末端执行器的不同之处在于它的触笔可以相对于工业机器人10可以自适应地伸缩。
工业机器人系统1必须是自动且准确的，以使末端执行器12的触笔接触触摸屏11。为了实现自动且准确的接触点，需要机器人的软且柔顺的控制。为了实现机器人的这种软且柔顺的控制，可以使用包括力/扭矩传感器的力控制。如果机器人设施中不包括力控制，则可以使触摸屏控制器110适应以向工业机器人控制器100发送指示发生接触的信号，以便使机器人移动到与触摸屏11接触，但是对于找到接触点的确切的准确位置仍然是柔顺的。一旦末端执行器12处于接触位置，就可以在触摸屏控制器110内读取位置数据并将其与参考值一起使用，以用于计算工业机器人坐标系xr、yr、zr与触摸屏坐标系xt、yt、zt之间的关系。
触摸屏校准
图2图示出根据本发明的实施例，在利用用于工业机器人调试的工业机器人的工业机器人坐标系而进行的触摸屏的触摸屏坐标系的校准期间，工业机器人使末端执行器移动。工业机器人控制器100被编程并且例如利用软伺服、以柔顺的方式控制工业机器人10移动，直到末端执行器的触笔接触触摸屏11上的点。在机器人坐标系xr、yr、zr中利用机器人软件中的内置数学运算来计算触笔。当末端执行器的触笔接触触摸屏11的点时，工业机器人控制器100可以记录末端执行器的触笔在工业机器人坐标系xr、yr、zr中的位置Ps1。触摸屏控制器110可以记录触摸屏11上的接触点在触摸屏坐标系xt、yt、zt中的位置Pt1。经编程的工业机器人控制器100接着控制工业机器人10重复步骤以用于触摸屏11上的至少另两次接触，该至少两次接触具有在工业机器人坐标系xr、yr、zr中的触笔位置Ps2、Ps3和在触摸屏坐标系xt、yt、zt中的接触点位置Pt2、Pt3，其中在Pt1、Pt2、Pt3处的至少三个接触点中的两个限定出平行于工业机器人坐标系xr、yr、zr的X轴或Y轴的线，并且在Pt1、Pt2、Pt3处的至少三个接触点中的另一个被远离该线布置。例如如图2所示，在Pt1、Pt2处的两个接触点限定出平行于工业机器人坐标系的X轴的线L，并且在Pt3处的接触点被远离线L布置。工业机器人控制器100可以基于末端执行器触笔的至少三个位置Ps1、Ps2、Ps3和接触点的至少三个位置Pt1、Pt2、Pt3来计算工业机器人坐标系xr、yr、zr与触摸屏坐标系xt、yt、zt之间的关系。作为替代，触摸屏控制器可以完成该计算。特别地，例如，通过触笔位置Ps1、Ps2、Ps3，可以获得(Z轴方向)触摸屏11关于工业机器人坐标系xr、yr、zr的平面等式。由位置Pt1、Pt2相对于触摸屏坐标系xt、yt、zt限定的线L沿着工业机器人坐标系xr、yr、zr的X轴，所以通过感测线L与触摸屏坐标系xt、yt、zt的X轴之间的相对于触摸屏坐标系xt、yt、zt的角度β，可以相对于工业机器人坐标系xr、yr、zr来识别触摸屏坐标系xt、yt、zt的X轴。挑选接触点的位置Pt1、Pt2、Pt3中的一个(例如Pt1)作为原点，确定相对于工业机器人坐标系xr、yr、zr的触摸屏面板。由于接触点的位置Pt1、Pt2、Pt3是已知的，所以可以通过平移原点来确定工业机器人坐标系与触摸屏坐标系之间的关系。
在替代实施例中，可以施加超过三次接触。额外的接触点可以用于触摸屏11的平面方程的线性最小二乘拟合，以及如果额外接触点是沿着线L，则可用于线L方程的最小二乘拟合。
经校准的触摸屏适于用作多功能工具以用于各种类型的工业机器人调试、例如绝对准确度校准、手眼校准和路径生成与修正，这将在下文中描述。它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。这在为了小部件组装而工业机器人在紧凑的局部工作区域中的绝对准确度特别重要的情况下特别有用。
机器人运动学校准
通过经校准的触摸屏获得的3D位置可以用于识别机器人运动学参数。图3图示出根据本发明的实施例的通过使用经校准的触摸屏来优化另一工业机器人的运动学参数。例如，触摸屏坐标系已利用根据按照图1和图2的实施例的工业机器人坐标系进行了校准。如图3所示，另一工业机器人30被布置在相对于经校准的触摸屏11与工业机器人10基本上相同的地方，因此与如在前述文本中计算出的另一工业机器人坐标系与触摸屏坐标系之间的关系相比，另一工业机器人坐标系与触摸屏坐标系之间的关系被维持。触摸屏11也被布置在另一工业机器人30的工作范围内。末端执行器32被附接至另一工业机器人凸缘301。末端执行器12或类似物可以用于末端执行器32。
另一工业机器人控制器300被编程并且例如利用软伺服、以柔顺的方式控制另一工业机器人30移动，直到末端执行器32的触笔接触触摸屏11上的点。在机器人坐标系xr、yr、zr中利用机器人软件中的内置数学运算来计算触笔。在末端执行器32的触笔接触触摸屏11的点时，另一工业机器人控制器300可以记录另一工业机器人30在工业机器人坐标系xr、yr、zr中的姿势POSr1。触摸屏控制器110可以记录触摸屏11上的接触点在触摸屏坐标系xt、yt、zt中的位置P’t1。经编程的另一工业机器人控制器300接着控制另一工业机器人30重复步骤以用于触摸屏11上的至少另一次接触，其中接触的数目等于或高于另一工业机器人30的运动学参数的数目。例如，如果另一工业机器人具有4个运动学参数，那么是触摸屏11上的至少另三个接触，该至少另三个接触具有在工业机器人坐标系xr、yr、zr中的另一工业机器人姿势POSr2、POSr3、POSr4和在触摸屏坐标系xt、yt、zt中的接触点位置P’t2、P’t3、P’t4。另一工业机器人控制器300可以基于另一工业机器人的至少两个姿势、接触点的至少两个位置和工业机器人坐标系与触摸屏坐标系之间的关系来优化另一工业机器人的运动学参数。特别地，例如，另一工业机器人控制器300可以利用作为至少N个接触(N等于关注的运动学参数的数目)的机器人DH参数的函数将触笔位置计算为Pi’。典型地，串联机器人可以通过DenavitHartenberg(DH)模型来描述，该DH模型针对每个机器人连杆具有四个参数。即，连杆长度、连杆偏移、连杆扭曲和关节角度。因此，6轴机器人总共具有24个DH参数。在对所有DH参数校准的情况下，要求至少24次接触。
POSri＝f(DH)(i＝1至n) (1)
其中DH参数针对每个机器人连杆由连杆长度a、连杆偏移d、连杆扭曲α和关节角度θ组成。
关于n个预编程的目标，可以利用如下目标函数来解决优化问题：
minΣ||POSri-POSrj|-|P’ti-P’tj||,(i,j＝1至n,i≠j) (2)
经优化的DH参数将是用于机器人运动学的经校准的输出。
在机器人运动学校准之后，调试设备可以用于通过利用替代目标接触面板来验证机器人准确度。
在替代实施例中，可以施加超过三次接触。额外的接触点可以用于非线性最小二乘拟合以用于运动学校准来削弱在一个接触处的测量误差。
经校准的触摸屏可以被再度使用，以用于绝对准确度校准，而不用引入用于机器人运动学校准的附加的硬件。它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。并且也减小了所占据的空间。
手眼校准
手眼校准是用于机器人单元中的固定照相机配置。目的是算出照相机与机器人基座之间的位置和取向关系。通过经校准的触摸屏所获得的位置可以用于手眼校准。图4图示出根据本发明的实施例的利用工业机器人的工业机器人系统来校准照相机的照相机坐标系。如图4所示，触摸屏11被布置在工业机器人10的工作范围内，并且触摸屏坐标系已根据按照图1和图2的实施例利用工业机器人坐标系进行了校准。作为替代，工业机器人10可以用被布置在相对于经校准的触摸屏11与工业机器人10基本上相同的地方的另一工业机器人来替换，因此与如在前述文本中计算出的另一工业机器人坐标系与触摸屏坐标系之间的关系相比，另一工业机器人坐标系与触摸屏坐标系之间的关系被维持。
触摸屏控制器110可以控制例如以棋盘的外观在触摸屏11上显示图案。照相机40被配置成指向于布置在工业机器人10的工作范围内的触摸屏11。照相机控制器41包括编程单元(例如CPU)和计算机可读存储介质。照相机控制器41被配置成控制照相机拍照、从照相机41接收以图像的形式的信息，该图像是显示在触摸屏11上的图案的图像，并且确定图像的点在照相机坐标系xc、yc、zc上的坐标。触摸屏控制器110被配置成控制触摸屏11在触摸屏11上显示图案PT1并且确定对于图像上的点在触摸屏坐标系中的位置A。照相机控制器41被配置成控制照相机41拍摄图案PT1的图像，并且确定图像上的点A在照相机坐标系中的位置。触摸屏控制器110被配置成使图案旋转至少一次，并且旋转后的图案用PT2来指示。触摸屏控制器110和照相机控制器41被配置成针对旋转后的图案PT2，控制触摸屏11和照相机40重复步骤。因此，知道了点A相对于触摸屏坐标系xt、yt、zt和照相机坐标系xc、yc、zc的坐标，其可以被传输至工业机器人控制器100。工业机器人控制器100可以基于至少两次所拍摄的图像通过图像识别来计算照相机坐标系与触摸屏坐标系之间的关系，并且进一步基于照相机坐标系与触摸屏坐标系之间的关系和触摸屏坐标系与工业机器人坐标系之间的关系来计算工业机器人坐标系与照相机坐标系之间的关系。存在有基于如图4所示的已知图像图案信息用于照相机校准的许多算法。例如，其中一个算法由R.Y.Tsai在1986年IEEE会议计算机视觉会议记录第364页至374页的文章：用于3D机械视觉的高效且准确的照相机校准技术(article R.Y.Tsai,An Efficient and Accurate Camera Calibration Techniquefor 3D Machine Vision,Proc.of IEEE Conf Computer Vision,pages 364-374,1986)进行了讨论并公开；其中另一个算法由Paul Beardsle、David Murray、Andrew Zisserman在1992年计算机视觉ECCV'92计算机科学讲座笔记第588卷第312页至320页的使用多个图像的照相机校准(Paul Beardsley、David Murray,Andrew Zisserman,Camera CalibrationUsing Multiple Images,Computer Vision—ECCV'92Lecture Notes in ComputerScience Volume 588,pp 312-320,1992)解决；算法中的又另一个算法由Douskos V.、Kalisperakis I.、Karras G.在Wichman公司2007年第1卷第132页至140页光学3-D测量技术VIII中的使用平面棋盘图案的数字照相机的自动校准(Douskos V.,Kalisperakis I.,Karras G.,Automatic Calibration of Digital Cameras Using Planar Chess-boardPatterns,Optical 3-D Measurement Techniques VIII,Wichman,vol.1,pp.132-140,2007)公开。一些算法可作为开源库或工具箱得到，诸如由英特尔公司在2000年6月最初发布并在2014年10月发布的稳定版的OpenCV。利用OpenCV的照相机校准由Y.M.Wang、Y.Li、和J.B.Zheng在2010年中国成都第三届国际信息科学与互动科学会议(ICIS 2010)上的基于OpenCV的照相机校准技术中进一步进行了描述。作为替代，触摸屏控制器可以完成该计算。
在替代实施例中，可以施加超过两次旋转。额外的旋转用于非线性最小二乘拟合以用于照相机校准来削弱一次图像识别的测量误差。
可以看出，除了表现为用于工业机器人的绝对准确度校准的装置外，经校准的触摸屏也可以被再度使用用于工业机器人系统的手眼校准。利用相同的经校准的触摸屏，可以实现多个调试任务，诸如绝对准确度校准和手眼校准。不需要集成专用于手眼校准的附加硬件。再次，它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。
路径生成与修正
通过经校准的触摸屏获得的3D位置可以用于机器人路径生成与修正。图5图示出根据本发明的实施例对工业机器人编程以用于路径生成和修正。如图5所示，触摸屏11被布置在工业机器人10的工作范围内，并且触摸屏坐标系已根据按照图1和图2的实施例利用工业机器人坐标系进行了校准。作为替代，工业机器人10可以用被布置在相对于经校准的触摸屏11与工业机器人10基本上相同的地方的另一工业机器人来替换，因此与如在前述文本中计算出的另一工业机器人坐标系与触摸屏坐标系之间的关系相比，另一工业机器人坐标系与触摸屏坐标系之间的关系被维持。
触摸屏控制器110可以控制在触摸屏11上设定目标路径TP1，例如圆形、矩形、三角形或呈不规则形状。触摸屏控制器110被配置成记录目标路径TP1上的目标点在触摸屏坐标系xt、yt、zt中的位置P”t1、P”t2、P”t3…P”tn。由于工业机器人坐标系xr、yr、zr与触摸屏坐标系xt、yt、zt之间是已知的，所以工业机器人控制器100被配置成基于目标路径上的点在触摸屏坐标系中的位置P”t1、P”t2、P”t3…P”tn、工业机器人坐标系与触摸屏坐标系之间的关系和工业机器人的运动学模型，来计算工业机器人在工业机器人坐标系xr、yr、zr中应该达到和沿着目标路径TP1移动的工业机器人姿势POS’r1、POS’r2、POS’r3…POS’rn。工业机器人控制器100接着以柔顺的方式控制工业机器人10以设定为目标姿势的工业机器人姿势POS’r1、POS’r2、POS’r3…POS’rn移动到接触触摸屏11。触摸屏控制器110记录接触点在触摸屏坐标系xt、yt、zt中的位置P”’t1、P”’t2、P”’t3…P”’tn，并将它们发送至工业机器人控制器100。工业机器人控制器100计算出目标点的位置P”t1、P”t2、P”t3…P”tn与接触点的位置P”’t1、P”’t2、P”’t3…P”’tn之间的偏差信息，并且例如通过如下方程：POS’ri+(P”ti-P”’ti),(i＝1-n)、基于偏差信息来修正工业机器人。
除了用作如由本发明的实施例所描述的外，经校准的触摸屏可以被再度使用以用于工业机器人系统的路径生成与修正，而不用在真实工作对象(例如3C产品)上运行调试程序。利用相同的经校准的触摸屏，可以实现多个调试任务，例如绝对准确度校准和手眼校准。不需要集成专用于路径生成与修正的附加硬件。再次，它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。
工业机器人路径、尤其是不规则的路径不容易编程，因为它由与移动关联的数百个目标组成。对于分配过程，路径编程甚至更难，因为它还要求特定高度和工具取向。归因于难以取得路径的数值描述和这些路径的频繁改变，利用离线工具对不规则的路径编程是不方便的。在用于3C产品的分配中，路径图案是由过程工程师利用他的经验随机地绘制的。为了解决在机器人路径生成与修正期间的这种问题，用户可以在触摸屏11上绘制目标路径TP1，并且在目标路径设定的步骤中涉及的目标路径遵循由用户绘制的目标路径。基于所提出的简易机器人调试设备，适用于自动地给路径编程并快速修正实际路径。
TCP校准
图6图示出根据本发明的实施例通过使用工业机器人和经校准的触摸屏而进行的附接至工业机器人的工具的工具中心点的校准。工具60被以固定的关系附接至工业机器人凸缘101。触摸屏11被布置在工业机器人10的工作范围内，并且触摸屏11的触摸屏坐标系xt、yt、zt已根据如按照图1和图2所说明的解决方案利用工业机器人10的工业机器人坐标系xr、yr、zr进行了校准。如图6所示，工业机器人控制器100被编程并且例如利用软伺服、以柔顺的方式控制工业机器人移动，直到工具60的TCP接触触摸屏11上的点，当工具60接触触摸屏时，触发信号将被发送至工业机器人控制器100用于停止运动。当工业机器人10接触触摸屏11的点时，工业机器人控制器100可以记录工业机器人10在工业机器人坐标系xr、yr、zr中的姿势POS”r1。触摸屏控制器110可以记录触摸屏11上的接触点在触摸屏坐标系xt、yt、zt中的位置P””t1。经编程的工业机器人控制器100接着控制工业机器人10重复步骤以用于触摸屏11上的至少另两次接触，该两次接触具有在工业机器人坐标系xr、yr、zr中的工业机器人姿势POS”r2、POS”r3和在触摸屏坐标系xt、yt、zt中的接触点位置P””t2、P””t3，其中当工业机器人采取三个姿势POS”r1、POS”r2、POS”r3时，工具姿势之间彼此不同。接着，工业机器人控制器100可以基于工业机器人的至少三个姿势、接触点在触摸屏坐标系xt、yt、zt中的至少三个位置和工业机器人坐标系与触摸屏坐标系之间的预先确定的关系来计算工具中心点在工业机器人坐标系xr、yr、zr中的位置。示例性算法在此后描述。相对于工业机器人坐标系的接触点Pi可以被呈现为：
Pti＝R0i TCP+T0i (3)
其中R0i是TCP0相对于工业机器人坐标系的旋转矩阵，而T0i是TCP0相对于其的平移向量。TCP表示相对于工业机器人凸缘101的工具中心点。TCP0表示工业机器人凸缘101相对于工业机器人坐标系的姿势，并因此R0i和T0i都可以利用机器人软件中的内置数学运算从工业机器人姿势POS”r1、POS”r2、POS”r3来计算。
Pi相对于触摸屏坐标系的2D位置由触摸屏控制器11记录。关于n个接触点，方程被获得为：
(R0i-R0j)TCP＝(Pti-Ptj)-(T0i-T0j)i,j＝1至n,i≠j (4)
其中借助于从P””t1、P””t2、P””t3相对于触摸屏坐标系的位置进行的触摸屏的2D测量，Pi-Pj是已知值。因此TCP可以作为线性方程来求解。
在替代实施例中，可以施加超过三次接触。额外的接触点可以用于线性最小二乘拟合以用于计算TCP。
为了实现作为TCP校准的机器人调试，经校准的触摸屏也是适用的，而不使用专用于TCP校准的附加硬件。再次，它对于提高工业机器人系统的集成度很有帮助，降低了系统复杂性和成本。
图7示出图示出根据本发明的实施例的用于工业机器人调试的校准方法的流程图。应理解的是，流程图的每个方框可以通过计算机程序指令来实施。
在下面的示例中，如图1所示，触摸屏位于工业机器人的工作范围内，工业机器人具有附接至工业机器人凸缘的末端执行器。工业机器人和触摸屏共用的点必须被建立。这意味着工业机器人以柔顺的方式使末端执行器的触笔移动，直到它在接触点接触触摸屏(方框70)。当执行器触笔接触触摸屏时，末端执行器触笔相对于工业机器人坐标系的位置必须被确定。这意味着通过已知方法相对于工具坐标系来确定末端执行器的触笔，例如：通过如在设计中的标称机械关系确定固定探针；通过感测与标称机械关系的初始位置相距的追踪距离进一步计算易处理的探针。末端执行器坐标系相对于工业机器人坐标系(例如工业机器人的基座坐标系)是已知的。当末端执行器触笔已被确定时，其位置在工业机器人系统中是已知的，并因此被记录在工业机器人坐标系中(方框71)。接触点在触摸屏坐标系中的位置也必须被确定(方框72)。触摸屏坐标系中的接触点位置可以通过任何已知的触摸屏(例如IPad)来确定，这些触摸屏具有将其屏幕上的接触点相对于触摸屏坐标系定位的功能。本领域技术人员应理解的是，方框71和72的顺序可以颠倒。图2的校准算法要求有关至少三个接触点的位置信息，重复方框70、71、72中描述的步骤以用于至少另两次接触，其中至少三个接触点中的两个接触点限定出平行于工业机器人坐标系的X轴或Y轴的线，并且至少三个接触点中的另一个接触点被远离该线布置。当至少三个参考位置中的所有参考位置已被读取和存储时，工业机器人控制器基于末端执行器触笔的至少三个位置和接触点的至少三个位置来计算工业机器人坐标系与触摸屏坐标系之间的关系(方框73)。最初，接触点在机器人坐标系中的位置被基于测得的机器人位置而确定，并且接触点在触摸屏坐标系中的位置被基于在触摸屏上测得的接触点而确定。此后基于接触点的至少三个位置，计算工业机器人坐标系与触摸屏坐标系之间的关系。
工业机器人坐标系与触摸屏坐标系之间的关系可以用于机器人调试，这将在利用之后涉及图8、图9和图10的示例来描述。
图8示出图示出基于图7的方法进行的另一工业机器人的运动学参数的优化的流程图。
在下面的示例中，触摸屏如图3所示位于另一工业机器人的工作范围内，该另一工业机器人具有附接至工业机器人凸缘的末端执行器，其中图1的工业机器人用布置在相对于经校准的触摸屏与前者基本上相同的地方的另一工业机器人替换。另一工业机器人和触摸屏共用的点必须被建立。这意味着另一工业机器人以柔顺的方式使末端执行器的触笔移动，直到它在接触点接触触摸屏(方框80)。当执行器触笔接触触摸屏时，末端执行器触笔相对于工业机器人坐标系的姿势必须被确定。这意味着通过已知方式相对于末端执行器坐标系来确定末端执行器的触笔，例如：通过如在设计中的标称机械关系确定固定探针；通过感测与标称机械关系的初始位置相距的追踪距离来进一步计算易处理的探针。末端执行器坐标系相对于工业机器人坐标系(例如工业机器人的基座坐标系)是已知的。当末端执行器触笔已被确定时，其位置在工业机器人系统中是已知的，并因此被记录在工业机器人坐标系中(方框81)。接触点在触摸屏坐标系中的位置也必须被确定(方框82)。触摸屏坐标系中的接触点位置可以通过任何已知的触摸屏(例如IPad)来确定，这些触摸屏具有将其屏幕上的接触点相对于触摸屏坐标系定位的功能。本领域技术人员应理解的是，方框81和82的顺序可以颠倒。图3的校准算法要求有关至少两个接触点的位置信息，重复方框80、81、82中描述的步骤以用于至少另一次接触，其中接触的数目等于或高于另一工业机器人的运动学参数的数目。当至少两个参考位置中的所有参考位置已被读取和存储时，工业机器人控制器基于另一工业机器人的至少两个姿势、接触点的至少两个位置和工业机器人坐标系与触摸屏坐标系之间的关系来优化另一工业机器人的运动学参数(方框83)。
图9示出图示出基于图7的方法利用工业机器人坐标系来校准照相机坐标系的流程图。
在下面的示例中，触摸屏位于如图4所示的工业机器人的工作范围内。为了建立触摸屏坐标系与照相机坐标系之间的关系，在触摸屏上显示例如棋盘的图案(方框90)。确定图像上的点在触摸屏坐标系中的位置(方框91)。例如像IPad的已知触摸屏具有将其上显示的点定位在自己的坐标系中的功能。当图案显示在触摸屏上时，照相机拍摄其图像(方框92)。在方框93中，照相机控制器通过诸如由Cognex开发的In-sight Explorer和由Itseez.开发的OpenCV的已知图像识别算法来确定图像上的点在照相机坐标系中的位置。为了得到用于图4的算法的使用的足够的信息，分别针对显示在触摸屏上的图案和作为其旋转的结果而出现的另一图案，照相机必须拍摄至少两个图片，因此针对在触摸屏上旋转的图案，重复方框90、91、92和93中的r个步骤至少一次。当图案上和旋转图案上的点的位置被确定时，工业机器人基于照相机坐标系与触摸屏坐标系之间的关系和触摸屏坐标系与工业机器人坐标系之间的关系来计算工业机器人坐标系与照相机坐标系之间的关系(方框94)。
图10示出图示出基于图7的方法在机器人调试中对工业机器人编程的流程图。
在下面的示例中，触摸屏如图5所示位于工业机器人的工作范围内。对于工业机器人的修正可以通过基于在运行程序指令之后获得的姿势与期望的姿势之间的差异调整微调坐标系来实现是已知的。期望的姿势必须建立在目标路径上。触摸屏控制器可以在触摸屏上设定目标路径并记录目标路径上的目标点在触摸屏坐标系中的位置(方框100)。作为替代，特别是在不规则目标路径的状况下，对触摸屏控制器编程是不容易的，因为它由与移动关联的数百个目标组成。用户可以在触摸屏上绘制期望的路径并且设定遵循如由用户在触摸屏上绘制的期望路径的目标路径。触摸屏，作为人机界面的手段，提供如下功能：使得用户能够在其上绘制按他希望的目标路径，例如在1:1比例部件模型上的目标路径。接着，工业机器人姿势的序列必须被确定，工业机器人应该采取这些姿势的序列来达到这些姿态并沿着目标路径移动。工业机器人控制器可以基于目标路径上的点在触摸屏坐标系中的位置坐标、工业机器人坐标系与触摸屏坐标系之间的关系和工业机器人的运动学模型来计算工业机器人在工业机器人坐标系中应该达到和沿着目标路径移动的工业机器人姿势(方框101)。这意味着目标路径在触摸屏坐标系中被确定。触摸屏坐标系对于工业机器人坐标系是已知的。当目标路径已被确定时，工业机器人应该达到和沿着目标路径移动的姿势在工业机器人坐标系中是已知的。当涉及目标路径的姿势的序列被确定时，工业机器人控制器以柔顺的方式控制工业机器人以设定为目标姿势的工业机器人姿势移动到接接触触屏(方框102)。触摸屏控制器可以记录接触点在触摸屏坐标系中的位置(方框103)。在知道目标路径和由工业机器人所运行的路径时，工业机器人控制器可以计算目标点的位置与接触点的位置之间的偏差信息，并且使用如图5描述的算法基于偏差信息来修正工业机器人(方框104)。
图11示出图示出根据本发明的实施例的用于工业机器人调试的TCP校准方法的流程图。
在下面的示例中，触摸屏如图6所示位于工业机器人的工作范围内，该工业机器人具有被附接至工业机器人凸缘的工具。工业机器人与触摸屏共用的点必须被建立。这意味着工业机器人以柔顺的方式使工具的工具中心点(TCP)移动，直到它在接触点接触触摸屏(方框110)。当TCP接触触摸屏时，触摸屏控制器记录触摸屏上的接触点在触摸屏坐标系中的位置(方框111)。当工业机器人接触触摸屏的点时，工业机器人控制器也记录工业机器人在工业机器人坐标系中的姿势(方框112)。本领域技术人员应理解的是，方框111和112的顺序可以颠倒。图6的校准算法要求有关至少三个接触点的位置信息，重复方框110、111、112中描述的步骤以用于至少另两次接触，其中工具在接触触摸屏时被以不同的姿态布置。当至少三个参考位置中的所有参考位置已被读取和存储时，工业机器人控制器基于工业机器人的至少三个姿势和接触点的至少三个位置来计算工具中心点在工业机器人坐标系中的位置(方框113)。TCP在触摸屏坐标系中被确定。触摸屏坐标系相对于工业机器人坐标系是已知的。当TCP已在触摸屏坐标系中被确定时，其在工业机器人坐标系中是已知的。最初，接触点在机器人坐标系中的位置被基于测得的机器人位置而确定，并且接触点在触摸屏坐标系中的位置被基于在触摸屏上所测得的的接触点而确定。此后，工具中心点在工业机器人坐标系中的位置是基于工业机器人的至少三个姿势和接触点的至少三个位置。
尽管已在一些优选实施例的基础上描述了本发明，但本领域技术人员应领会的是，这些实施例不应限制本发明的范围。在不脱离本发明的精神和概念的情况下，对实施例的任何变化和修改都应当在对本领域具有普通知识和技能的那些人的理解之内，因此落入由所附权利要求限定的本发明的范围。

Claims (12)

1.一种用于校准触摸屏的触摸屏坐标系的方法，所述方法利用用于工业机器人调试的工业机器人的工业机器人坐标系，其中：所述触摸屏被布置在所述工业机器人的工作范围内，所述方法包括：
将末端执行器附接至所述工业机器人；
(a)以柔顺的方式使所述工业机器人移动，直到所述末端执行器的触笔接触所述触摸屏上的点；
(b)当所述末端执行器的所述触笔接触所述触摸屏的所述点时，记录所述末端执行器的所述触笔在所述工业机器人坐标系中的位置；
(c)记录所述触摸屏上的所述接触点在所述触摸屏坐标系中的位置；
重复步骤(a)、(b)和(c)，以用于所述触摸屏上的至少另两次接触，其中至少三个所述接触点中的两个接触点限定平行于所述工业机器人坐标系的X轴或Y轴的线，并且至少三个所述接触点中的另一个接触点被远离所述线布置；以及
基于所述末端执行器触笔的至少三个所述位置和所述接触点的至少三个所述位置来计算所述工业机器人坐标系与所述触摸屏坐标系之间的关系。
2.根据权利要求1所述的方法，其中：
所述末端执行器对于所述工业机器人处于固定关系。
3.根据权利要求1所述的方法，其中：
所述末端执行器的触笔适于相对于所述工业机器人可以自适应地伸缩。
4.根据权利要求1或2所述的方法，其中：
所述工业机器人借助于力控制来移动。
5.根据权利要求1所述的方法，进一步包括：
所述触摸屏向所述工业机器人发送指示发生所述接触的信号。
6.一种用于校准被附接至工业机器人的工具的工具中心点的方法，所述方法利用工业机器人的工业机器人坐标系，其中：触摸屏被布置在所述工业机器人的工作范围内，所述方法包括：
(d)以柔顺的方式使所述工业机器人移动，直到所述工具的所述工具中心点接触所述触摸屏上的点；
(e)当所述工具的所述工具中心点接触所述触摸屏的所述点时，记录所述工业机器人在所述工业机器人坐标系中的姿势；
(f)记录所述触摸屏上的所述接触点在所述触摸屏坐标系中的位置；
重复步骤(d)、(e)和(f)，以用于所述触摸屏上的至少另两次接触，其中当所述工具接触所述触摸屏时，所述工具被以不同的姿态布置；以及
基于所述工业机器人的至少三个所述姿势和所述接触点的至少三个所述位置来计算所述工具中心点在所述工业机器人坐标系中的位置。
7.一种用于优化另一工业机器人的运动学参数的方法，其中：触摸屏被布置在所述另一工业机器人的工作范围内，并且所述触摸屏的触摸屏坐标系已利用根据权利要求1至4中的任一项所述的工业机器人的所述工业机器人坐标系进行了校准，所述方法包括：
将末端执行器附接至所述另一工业机器人，所述另一工业机器人的基座被布置在与所述工业机器人相同的位置；
(g)以柔顺的方式使所述另一工业机器人移动，直到所述末端执行器的触笔接触所述触摸屏上的点；
(h)当所述末端执行器触笔接触所述触摸屏上的点时，记录所述另一工业机器人在所述工业机器人坐标系中的姿势；
(i)记录所述触摸屏上的所述接触点在所述触摸屏坐标系中的位置；
重复步骤(g)、(h)和(i)，以用于所述触摸屏上的至少另一次接触，其中所述接触的数目等于或高于所述另一工业机器人的所述运动学参数的数目；
基于所述另一工业机器人的所述至少两个姿势、所述接触点的所述至少两个位置和所述工业机器人坐标系与所述触摸屏坐标系之间的所述关系来优化所述另一工业机器人的运动学参数。
8.一种用于校准照相机的照相机坐标系的方法，所述方法利用工业机器人的工业机器人系统，其中：触摸屏被布置在所述工业机器人的工作范围内，并且所述触摸屏的触摸屏坐标系已利用根据权利要求1至4中的任一项所述的工业机器人的工业机器人坐标系进行了校准，所述方法包括：
(j)在所述触摸屏上显示图案；
(k)确定所述图像上的点在所述触摸屏坐标系中的位置；
(l)拍摄所述图案的图像；
(m)确定所述图像上的所述点在所述照相机坐标系中的位置；
针对在所述触摸屏上旋转的图案，重复步骤(j)、(k)、(l)和(m)至少一次；
基于至少两个拍摄的所述图像，借助于图像识别来计算所述照相机坐标系与所述触摸屏坐标系之间的关系；
基于所述照相机坐标系与所述触摸屏坐标系之间的所述关系和所述触摸屏坐标系与所述工业机器人坐标系之间的所述关系来计算所述工业机器人坐标系与所述照相机坐标系之间的关系。
9.一种用于对工业机器人编程的方法，其中：触摸屏被布置在所述工业机器人的工作范围内，并且所述触摸屏的触摸屏坐标系已利用根据权利要求1至4中的任一项所述的工业机器人的工业机器人坐标系进行了校准，所述方法包括：
在所述触摸屏上设定目标路径；
记录所述目标路径上的目标点在所述触摸屏坐标系中的位置；
基于所述目标路径上的所述点在所述触摸屏坐标系中的所述位置坐标、所述工业机器人坐标系与所述触摸屏坐标系之间的所述关系和所述工业机器人的运动学模型来计算所述工业机器人在所述工业机器人坐标系中的应该达到和沿着所述目标路径移动的工业机器人姿势；
以柔顺的方式使所述工业机器人以设定为目标姿势的所述工业机器人姿势移动，以接触所述触摸屏；
记录所述接触点在所述触摸屏坐标系中的位置；
计算目标点的所述位置与所述接触点的所述位置之间的偏差信息；和
基于所述偏差信息来修正所述工业机器人。
10.根据权利要求9所述的方法，进一步包括：
由用户在所述触摸屏上绘制目标路径；
其中：
在设定目标路径的所述步骤中所涉及的所述目标路径遵循由所述用户绘制的所述目标路径。
11.一种工业机器人调试系统，包括工业机器人、末端执行器和触摸屏，其中：
所述工业机器人、所述末端执行器和所述触摸屏被配置成执行根据权利要求1至10中的任一项所述的方法。
12.一种工业机器人调试控制系统，适于控制工业机器人和触摸屏执行根据权利要求1至10中的任一项所述的方法。
CN201580077848.7A 2015-04-02 2015-04-02 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统 Active CN107428009B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075792 WO2016154995A1 (en) 2015-04-02 2015-04-02 Method for industrial robot commissioning, industrial robot system and control system using the same

Publications (2)

Publication Number Publication Date
CN107428009A true CN107428009A (zh) 2017-12-01
CN107428009B CN107428009B (zh) 2020-07-24

Family

ID=57006525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077848.7A Active CN107428009B (zh) 2015-04-02 2015-04-02 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统

Country Status (4)

Country Link
US (2) US10786904B2 (zh)
EP (1) EP3277468A4 (zh)
CN (1) CN107428009B (zh)
WO (1) WO2016154995A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110154017A (zh) * 2018-02-16 2019-08-23 欧姆龙株式会社 输送机跟踪系统以及校准方法
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法
CN111015667A (zh) * 2019-12-27 2020-04-17 深圳前海达闼云端智能科技有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN111989194A (zh) * 2018-04-17 2020-11-24 Abb瑞士股份有限公司 用于控制机器人臂的方法
US11162787B2 (en) 2018-12-20 2021-11-02 Industrial Technology Research Institute Measuring program compiling device and measuring program compiling method
CN113601514A (zh) * 2021-09-29 2021-11-05 季华实验室 机器人手眼标定精度验证系统
CN113785195A (zh) * 2019-05-13 2021-12-10 Abb瑞士股份有限公司 工件上的测试对象的非破坏性检测
CN114052915A (zh) * 2021-11-02 2022-02-18 武汉联影智融医疗科技有限公司 手术机器人定位精度的测试方法、系统和模体
CN114322752A (zh) * 2020-09-30 2022-04-12 合肥欣奕华智能机器有限公司 一种玻璃自动化传输的方法、装置及设备
WO2023035228A1 (en) * 2021-09-10 2023-03-16 Abb Schweiz Ag Method and apparatus for tool management in robot system
CN112767493B (zh) * 2020-12-30 2023-06-13 浙江大学 Stewart平台运动学参数的机器视觉标定方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128284A1 (en) 2016-01-29 2017-08-03 Abb Schweiz Ag Method for calibrating touchscreen panel with industrial robot and system, industrial robot and touchscreen using the same
KR102576842B1 (ko) 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
CN110198812B (zh) 2017-02-24 2022-02-18 Abb瑞士股份有限公司 用于选择用于工业机器人调试的初始点的方法和装置
EP3602214B1 (en) 2017-03-27 2022-01-26 ABB Schweiz AG Method and apparatus for estimating system error of commissioning tool of industrial robot
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
JP7035727B2 (ja) * 2018-03-30 2022-03-15 日本電産株式会社 キャリブレーション精度の評価方法及び評価装置
CN108648208A (zh) * 2018-05-14 2018-10-12 西安工程大学 一种嵌入式裁片挂片机器人控制系统及机器人控制方法
KR102561103B1 (ko) * 2018-11-16 2023-07-31 삼성전자주식회사 로봇 보정 시스템 및 그것의 보정 방법
US11707842B2 (en) 2018-11-27 2023-07-25 Fanuc Corporation Robot system and coordinate conversion method
JP6928015B2 (ja) * 2018-11-27 2021-09-01 ファナック株式会社 ロボットシステムおよび座標変換方法
JP7283150B2 (ja) * 2019-03-15 2023-05-30 日本電気株式会社 制御装置、検査システム、制御方法、プログラム
KR102292561B1 (ko) * 2019-05-31 2021-08-25 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
CN111409107B (zh) * 2020-03-30 2023-03-17 伯朗特机器人股份有限公司 工业机器人摆动偏差性能测试方法
US11584013B2 (en) * 2020-03-31 2023-02-21 Wipro Limited System, device and method for determining error in robotic manipulator-to-camera calibration
CN111578829B (zh) * 2020-04-17 2021-11-02 季华实验室 一种用于标定多机器人协同工作坐标系的装置及标定方法
CN112388646A (zh) * 2020-10-13 2021-02-23 中铭谷智能机器人(广东)有限公司 一种单块钣金机器人智能喷漆方法
KR102384648B1 (ko) * 2020-10-30 2022-04-11 한국전자기술연구원 터치를 이용한 로봇의 캘리브레이션 시스템 및 방법
CN113733088A (zh) * 2021-09-07 2021-12-03 河南大学 一种基于双目视觉的机械臂运动学自标定方法
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078114A1 (en) * 2002-10-21 2004-04-22 Cordell Andrew W. Robot with tactile sensor device
EP1647369A2 (en) * 2004-10-18 2006-04-19 Fanuc Ltd Robot with learning control function and method for controlling the robot
CN102015221A (zh) * 2008-04-30 2011-04-13 Abb技术有限公司 用于确定机器人坐标系与位于机器人工作范围内的本地坐标系之间的关系的方法和系统
US20120146956A1 (en) * 2010-12-09 2012-06-14 T-Mobile Usa, Inc. Touch Screen Testing Platform
CN103538061A (zh) * 2012-07-11 2014-01-29 精工爱普生株式会社 机器人系统、机器人、机器人控制装置及方法以及程序
US20140229005A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Robot system and method for controlling the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044308A (en) * 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
DE10003611A1 (de) 2000-01-28 2001-08-09 Duerr Systems Gmbh Verfahren zum Einmessen eines Roboters
US6836702B1 (en) 2003-06-11 2004-12-28 Abb Ab Method for fine tuning of a robot program
EP1841570A1 (en) 2005-01-26 2007-10-10 Abb Ab Device and method for calibrating the center point of tool mounted on a robot by means of a camera
DE102009041734B4 (de) * 2009-09-16 2023-11-02 Kuka Roboter Gmbh Vermessung eines Manipulators
WO2012062374A1 (en) * 2010-11-12 2012-05-18 Abb Technology Ag A control system and an operating device for controlling an industrial robot comprising a touch -screen
US9652077B2 (en) * 2010-12-09 2017-05-16 T-Mobile Usa, Inc. Touch screen testing platform having components for providing conductivity to a tip
US20130342468A1 (en) 2012-06-20 2013-12-26 Chimei Innolux Corporation Method for determining touch location on a touch panel and touch panel module
KR101349862B1 (ko) 2012-07-06 2014-01-10 삼성중공업 주식회사 로봇의 작업 경로 생성 시스템 및 그 방법
DE102012019347A1 (de) * 2012-10-02 2014-04-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bedienen eines elektro-mechanischen Antriebssystems mittels eines Touchscreenhandgeräts
JP5672326B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム
EP2981397B1 (en) 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
US9477330B2 (en) * 2013-11-05 2016-10-25 Microsoft Technology Licensing, Llc Stylus tilt tracking with a digitizer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078114A1 (en) * 2002-10-21 2004-04-22 Cordell Andrew W. Robot with tactile sensor device
EP1647369A2 (en) * 2004-10-18 2006-04-19 Fanuc Ltd Robot with learning control function and method for controlling the robot
CN102015221A (zh) * 2008-04-30 2011-04-13 Abb技术有限公司 用于确定机器人坐标系与位于机器人工作范围内的本地坐标系之间的关系的方法和系统
US20120146956A1 (en) * 2010-12-09 2012-06-14 T-Mobile Usa, Inc. Touch Screen Testing Platform
CN103538061A (zh) * 2012-07-11 2014-01-29 精工爱普生株式会社 机器人系统、机器人、机器人控制装置及方法以及程序
US20140229005A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Robot system and method for controlling the same

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110154017A (zh) * 2018-02-16 2019-08-23 欧姆龙株式会社 输送机跟踪系统以及校准方法
CN111989194A (zh) * 2018-04-17 2020-11-24 Abb瑞士股份有限公司 用于控制机器人臂的方法
US11162787B2 (en) 2018-12-20 2021-11-02 Industrial Technology Research Institute Measuring program compiling device and measuring program compiling method
CN113785195A (zh) * 2019-05-13 2021-12-10 Abb瑞士股份有限公司 工件上的测试对象的非破坏性检测
CN110936378A (zh) * 2019-12-04 2020-03-31 中科新松有限公司 一种基于增量补偿的机器人手眼关系自动标定方法
CN111015667A (zh) * 2019-12-27 2020-04-17 深圳前海达闼云端智能科技有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN111015667B (zh) * 2019-12-27 2021-09-28 达闼机器人有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN114322752B (zh) * 2020-09-30 2024-03-12 合肥欣奕华智能机器股份有限公司 一种玻璃自动化传输的方法、装置及设备
CN114322752A (zh) * 2020-09-30 2022-04-12 合肥欣奕华智能机器有限公司 一种玻璃自动化传输的方法、装置及设备
CN112767493B (zh) * 2020-12-30 2023-06-13 浙江大学 Stewart平台运动学参数的机器视觉标定方法
WO2023035228A1 (en) * 2021-09-10 2023-03-16 Abb Schweiz Ag Method and apparatus for tool management in robot system
CN113601514A (zh) * 2021-09-29 2021-11-05 季华实验室 机器人手眼标定精度验证系统
CN113601514B (zh) * 2021-09-29 2022-01-18 季华实验室 机器人手眼标定精度验证系统
CN114052915A (zh) * 2021-11-02 2022-02-18 武汉联影智融医疗科技有限公司 手术机器人定位精度的测试方法、系统和模体
CN114052915B (zh) * 2021-11-02 2023-11-21 武汉联影智融医疗科技有限公司 手术机器人定位精度的测试方法、系统和模体

Also Published As

Publication number Publication date
US20200061837A1 (en) 2020-02-27
CN107428009B (zh) 2020-07-24
WO2016154995A1 (en) 2016-10-06
EP3277468A1 (en) 2018-02-07
US11207781B2 (en) 2021-12-28
US20180126557A1 (en) 2018-05-10
EP3277468A4 (en) 2019-10-16
US10786904B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
CN107428009A (zh) 用于工业机器人调试的方法、使用该方法的工业机器人系统和控制系统
JP6685199B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
CN109910000B (zh) 基于视觉的操纵系统的校准以及操作
US9508148B2 (en) Vision-guided alignment system and method
CN107883831B (zh) 测量系统和测量方法
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
JP5670416B2 (ja) ロボットシステム表示装置
WO2016079967A1 (en) Robot and robot system
US11403780B2 (en) Camera calibration device and camera calibration method
CN110298888B (zh) 基于单轴高精度位移平台的相机标定方法
US20170339335A1 (en) Finger camera offset measurement
CN109945780A (zh) 物体检查系统以及物体检查方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
EP4129584A1 (en) Calibration system, information processing system, robot control system, calibration method, information processing method, robot control method, calibration program, information processing program, calibration device, information processing device, and robot control device
Scaria et al. Cost Effective Real Time Vision Interface for Off Line Simulation of Fanuc Robots
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
CN116061196B (zh) 一种多轴运动平台运动学参数标定方法和系统
Toffano An Autonomous System for the Evaluation of a Robot Tool Center Point using Computer Vision
Kirkpatrick et al. Motion capture based calibration for industrial robots
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant