CN104412188A - 用于在虚拟环境中对工业机器人进行编程的方法 - Google Patents

用于在虚拟环境中对工业机器人进行编程的方法 Download PDF

Info

Publication number
CN104412188A
CN104412188A CN201280074701.9A CN201280074701A CN104412188A CN 104412188 A CN104412188 A CN 104412188A CN 201280074701 A CN201280074701 A CN 201280074701A CN 104412188 A CN104412188 A CN 104412188A
Authority
CN
China
Prior art keywords
workpiece
robot
cloud
steps
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280074701.9A
Other languages
English (en)
Inventor
F.坎格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Technology AG
Original Assignee
ABB T&D Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB T&D Technology AG filed Critical ABB T&D Technology AG
Publication of CN104412188A publication Critical patent/CN104412188A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37205—Compare measured, vision data with computer model, cad data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37572—Camera, tv, vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40383—Correction, modification program by detection type workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45238—Tape, fiber, glue, material dispensing in layers, beads, filling, sealing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)

Abstract

为了对工业机器人(60)进行编程以对工件(30，120)进行工作，机器人(60)提供有能够从工件(30，120)提取点云(20，110)的视觉系统(10)。点云(20，110)从工件(30，120)来提取，并且使其变成包括至少一个表面的工件模型(40，130)。在包括工件模型(40,130)的虚拟环境(50)中规定机器人(60)与工件(30，120)的交互。由此得到机器人路径(70，140)。

Description

用于在虚拟环境中对工业机器人进行编程的方法
技术领域
本发明涉及一种用于对工业机器人进行编程以对工件进行工作的方法。
背景技术
在教导包括视觉系统的机器人以对新工件进行工作时，存在两个频繁的编程任务：对视觉系统进行编程以识别工件，以及对机器人进行编程以与工件进行交互。为了使视觉系统识别工件，识别算法需要被创建。识别算法的基础通常是由像素组成的二维(2D)投影或者表示工件的形状的三维(3D)点云。通过识别工件的特性形状，并且定义容限(从潜在工件所推断的像素需要落入其中，以便被识别为工件)，来创建识别算法。
为了对机器人进行编程以与工件进行交互，机器人通常相对实际工件慢行进，或者在虚拟环境中相对工件的CAD模型来设计机器人路径。为了后一目的，工件的CAD模型需要存在。在一些情况下，用于工件的原始设计的CAD模型存在，但是在其他情况下，这些CAD模型可能不可用或者极其复杂，并且对于创建机器人路径的目的是复杂的。在这些情况下，出现对于主要为了创建机器人路径的目的而创建CAD模型的需要。
例如从US6246468已知从点云自动生成CAD模型。因此，为了设计机器人路径的目的的CAD模型能够按照US6246468来生成，只要存在能够从工件提取点云的可用视觉系统。但是，工业机器人中的视觉系统按常规仅用于识别工件而不是用于设计机器人路径的目的。因此，尚未存在对于使工业机器人的视觉系统所生成的点云变成CAD模型的需要。但是，如果工业机器人的同一视觉系统能够用于工件识别的目的以及用于路径设计的目的，则存在将要获得的时间和设备方面的极大利益。
发明内容
本发明的一个目的是提供一种用于对工业机器人进行编程以对工件进行工作的有效方法。
这个目的通过所附权利要求1所述的方法来实现。
本发明基于如下认识：工业机器人的视觉系统能够不仅用于识别工件，而且还用于设计机器人路径。
按照本发明的第一方面，提供一种用于对工业机器人进行编程以对工件进行工作的方法，该机器人包括能够从工件提取点云的视觉系统。该方法包括下列步骤：从第一工件提取第一点云；使第一点云变成包括至少一个表面的第一工件模型；以及规定机器人在包括第一工件模型的虚拟环境中与第一工件的交互，由此得到第一机器人路径。通过将从点云所得到的工件模型用于设计机器路径，不需要创建用于设计虚拟环境中的机器人路径的合成CAD模型。
按照本发明的一个实施例，该方法包括下列步骤：将从工件所提取的训练点云用于训练视觉系统，以识别工件，由此得到识别算法。这个措施提供识别到来的工件的可能性。
按照本发明的一个实施例，该方法包括下列步骤：从第二工件提取第二点云；以及对第二点云应用识别算法。通过这个措施，识别潜在工件，并且能够对其应用机器路径。
按照本发明的一个实施例，该方法包括下列步骤：对第二工件应用第一机器人路径。通过对于除了作为用于创建第一机器人路径的基础的工件之外的其他工件应用第一机器人路径，单个机器人路径足以处理若干工件。
按照本发明的一个实施例，该方法包括下列步骤：使第二点云变成包括至少一个表面的第二工件模型。这个措施提供在虚拟环境中创建第二工件的单独机器人路径的可能性。
按照本发明的一个实施例，该方法包括下列步骤：在包括第二工件模型的虚拟环境中规定机器人和第二工件的交互，由此得到第二机器人路径。通过得到第二机器人路径，当并非全部工件均相同时，机器人的操作可更好地适合单独特性。
按照本发明的一个实施例，该方法包括下列步骤：基于对机器人与第一或第二工件的交互所设置的规则或者多个规则自动得到第一或第二机器人路径。通过这个措施，在并非全部工件均相同时使机器人的操作适合工件的单独特性时，避免手动输入。
按照本发明的一个实施例，该方法包括下列步骤：空间对齐训练点云和第一点云。当用于训练视觉系统并且得到第一机器人路径的数据集均共享同一坐标系基础时，第一机器人路径能够直接应用到所识别工件。
附图说明
将参照附图更详细地说明本发明，附图包括
图1示出具有第一工件的本发明的一个实施例，以及
图2示出具有第二工件的本发明的相同实施例。
具体实施方式
参照图1，视觉系统10从第一工件30提取第一点云20，以及使第一点云20进一步成为第一工件模型40，其能够在虚拟环境50中处理。第一工件模型40是由完全定义表面或者完全定义固体元件(包括表面)所组成的CAD模型。在虚拟环境50中，机器人60与第一工件30的交互能够例如通过定义机器人60的工具中心点(TCP)沿用的、相对第一工件模型40的第一机器人路径70来规定。在图1的示例中，机器人60将在圆形第一工件30中的正方形开口90周边涂敷胶水。由此得到第一机器人路径70，其能够传递到机器人控制器100中，以用于实现随实际机器人60的对应移动。要注意，即使本例的第一机器人路径70包括与第一工件模型40的多个交互点，但是单个交互点也可被认为是机器人路径。
按照本发明，视觉系统10还用于其识别工件及其位置和取向的常规目的。为此，视觉系统10需要被训练成识别工件，以及从第一工件30所提取的第一点云20能够用作用于训练视觉系统10的训练点云。视觉系统10的训练按照常规方式进行，以及由此得到识别算法。要注意，同一(第一点云20)可用于得到第一机器人路径70以及作为用于得到识别算法的训练点云，但是这些点云不一定需要是相同的。在第一点云20与训练点云不同的情况下，点云的一个或两者则可使用最佳拟合对齐经过空间调整，以便相互一致。计算空间调整确保所得到的第一机器人路径70对应于识别算法所提供的位置和取向。此外，所需空间调整量例如可通过应用从训练点云所得到的识别算法以定位第一点云20来自动计算。应当注意，本技术领域的技术人员显而易见，以上所述的空间调整也可通过使用第一工件模型40的CAD表面表示而不是第一点云20本身来计算。
一旦存在识别算法，它能够对于从其他潜在工件所提取的其他点云来应用。参照图2，识别算法例如能够对于从第二工件120所提取的第二点云110来应用。当识别第二工件120时，先前得到的第一机器人路径70能够对第二工件120来施加，以便实现如对于第一工件30相同的结果。如果第二工件120的位置和/或取向与第一工件30是不同的，则第二工件120的坐标系最终需要经过调整。备选地，能够按照与第一点云20相同的方式使第二点云110变成第二工件模型130。由此，单独第二机器人路径140能够在虚拟环境50中设计用于第二工件120。将单独机器人路径设计用于不同工件可以是合乎需要的，特别是当工件不相同时。
在一些实施例中，有可能自动化第一和第二机器人路径70、140以及任何后续机器人路径的设计。在虚拟环境50中机器人60与第一工件30的交互能够通过设置使得有可能无需对其完全固定的情况下而定义机器人路径的规则、以某种灵活性来规定。例如，图1的正方形开口90的轮廓能够采用视觉系统10来识别，并且其尺寸能够自动确定。然后能够例如规定，机器人路径将以在开口90之外5 mm偏移来跟随轨迹，而不管其实际形状和尺寸。因此，第一机器人路径70将接收正方形形状。但是，在对具有三角形开口150的第二工件120应用同一规则时，第二机器人路径140将接收三角形形状。通过自动设计机器人路径，使系统更为灵活并且是有利的，特别是在工件不相同时。
本发明并不局限于以上所示的实施例，但是本领域的技术人员在如权利要求书所限定的本发明的范围之内按照多种方式对其修改。虽然所述实施例列示单个机器人和视觉系统，技术领域的技术人员显而易见，以上所述的方法和实施例能够适用于其中多个机器人可对同一工件进行工作的系统，工件是固定的或者由机器人来保持。视觉系统也可以是固定的或者安装于(一个或多个)机器人上。

Claims (9)

1. 一种用于对工业机器人(60)进行编程以对工件(30，120)进行工作的方法，所述机器人(60)包括能够从所述工件(30，120)提取点云(20，110)的视觉系统(10)，所述方法包括下列步骤：
- 从第一工件(30)提取第一点云(20)；
- 使所述第一点云(20)变成包括至少一个表面的第一工件模型(40)；以及
- 在包括所述第一工件模型(40)的虚拟环境(50)中规定所述机器人(60)与所述第一工件(30)的交互，由此得到第一机器人路径(70)。
2. 如权利要求1所述的方法，包括下列步骤：
- 将从工件(30，120)所提取的训练点云(20，110)用于训练所述视觉系统(10)，以识别所述工件(30，120)，由此得到识别算法。
3. 如权利要求2所述的方法，包括下列步骤：
- 从第二工件(120)提取第二点云(110)；以及
- 对所述第二点云(110)应用所述识别算法。
4. 如权利要求3所述的方法，包括下列步骤：
- 对所述第二工件(120)应用所述第一机器人路径(70)。
5. 如权利要求3所述的方法，包括下列步骤：
- 使所述第二点云(110)变成包括至少一个表面的第二工件模型(130)。
6. 如权利要求5所述的方法，包括下列步骤：
- 在包括所述第二工件模型(130)的虚拟环境(50)中规定所述机器人(60)和所述第二工件(120)的交互，由此得到第二机器人路径(140)。
7. 如以上权利要求中的任一项所述的方法，包括下列步骤：
- 基于对所述机器人(60)与所述第一工件(30)的所述交互所设置的规则或者多个规则自动得到所述第一机器人路径(70)。
8. 如权利要求6所述的方法，包括下列步骤：
- 基于对所述机器人(60)与所述第二工件(120)的所述交互所设置的规则或者多个规则自动得到所述第二机器人路径(140)。
9. 如权利要求2所述的方法，其中，所述训练点云(20，110)与所述第一点云(20)是不同的，包括下列步骤：
- 空间对齐所述训练点云(20，110)和所述第一点云(20)。
CN201280074701.9A 2012-07-13 2012-07-13 用于在虚拟环境中对工业机器人进行编程的方法 Pending CN104412188A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/063823 WO2014008949A1 (en) 2012-07-13 2012-07-13 A method for programming an industrial robot in a virtual environment

Publications (1)

Publication Number Publication Date
CN104412188A true CN104412188A (zh) 2015-03-11

Family

ID=46583977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074701.9A Pending CN104412188A (zh) 2012-07-13 2012-07-13 用于在虚拟环境中对工业机器人进行编程的方法

Country Status (4)

Country Link
US (1) US20150165623A1 (zh)
EP (1) EP2872954A1 (zh)
CN (1) CN104412188A (zh)
WO (1) WO2014008949A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168118A (zh) * 2017-05-31 2017-09-15 东莞市安域机器人有限公司 一种数控机械臂加工中心

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055667B2 (en) 2016-08-03 2018-08-21 X Development Llc Generating a model for an object encountered by a robot
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6826076B2 (ja) 2018-07-17 2021-02-03 ファナック株式会社 自動経路生成装置
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109940606B (zh) * 2019-01-29 2021-12-03 中国工程物理研究院激光聚变研究中心 基于点云数据的机器人引导系统及方法
US11170526B2 (en) 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US20060099334A1 (en) * 2004-11-08 2006-05-11 O'brien Joseph Apparatus and method for applying a coating to a windshield
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4235214B2 (ja) * 2006-07-04 2009-03-11 ファナック株式会社 ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
CN102405447A (zh) * 2009-04-11 2012-04-04 Abb股份公司 机器人系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168118A (zh) * 2017-05-31 2017-09-15 东莞市安域机器人有限公司 一种数控机械臂加工中心

Also Published As

Publication number Publication date
US20150165623A1 (en) 2015-06-18
WO2014008949A1 (en) 2014-01-16
EP2872954A1 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104412188A (zh) 用于在虚拟环境中对工业机器人进行编程的方法
US10060857B1 (en) Robotic feature mapping and motion control
CN103990571B (zh) 自动喷漆的实现方法及装置
US20190036337A1 (en) System for robotic 3d printing
CN104759379B (zh) 基于喷涂目标三维成像技术的全流程闭环智能喷涂机器人
CN106041946B (zh) 基于图像处理的机械人打磨生产方法及应用其的生产系统
US8315738B2 (en) Multi-arm robot system interference check via three dimensional automatic zones
US10540779B2 (en) Posture positioning system for machine and the method thereof
Maiolino et al. Flexible robot sealant dispensing cell using RGB-D sensor and off-line programming
US10427300B2 (en) Robot program generation for robotic processes
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN103809463A (zh) 用于机器人模拟器的示教点指令选择方法
CN107838922B (zh) 一种机器人免重复示教的方法
CN103995934A (zh) 自动打磨的实现方法及装置
Kim CAD‐based automated robot programming in adhesive spray systems for shoe outsoles and uppers
CN103713579A (zh) 一种工业机器人作业方法
Holubek et al. Offline programming of an ABB robot using imported CAD models in the RobotStudio software environment
CN108170166A (zh) 机器人的跟随控制方法及其智能装置
CN110171000A (zh) 坡口切割方法、装置及控制设备
CN112338922B (zh) 一种五轴机械臂抓取放置方法及相关装置
CN110355753A (zh) 机器人控制装置、机器人控制方法和存储介质
US11897142B2 (en) Method and device for creating a robot control program
Penttilä et al. Virtual reality enabled manufacturing of challenging workpieces
WO2023061695A1 (en) Method and apparatus for hand-eye calibration of robot
Zogopoulos et al. Image-based state tracking in augmented reality supported assembly operations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180509

Address after: Baden, Switzerland

Applicant after: ABB TECHNOLOGY LTD.

Address before: Zurich

Applicant before: ABB T & D Technology Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150311