CN111712355B - 在装配线中装配零件 - Google Patents

在装配线中装配零件 Download PDF

Info

Publication number
CN111712355B
CN111712355B CN201980011152.2A CN201980011152A CN111712355B CN 111712355 B CN111712355 B CN 111712355B CN 201980011152 A CN201980011152 A CN 201980011152A CN 111712355 B CN111712355 B CN 111712355B
Authority
CN
China
Prior art keywords
agv
real
robot
end effector
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980011152.2A
Other languages
English (en)
Other versions
CN111712355A (zh
Inventor
J·阿特佳斯
R·庞斯·贝尔特兰
J·比达尔·里巴斯
张飚
R·卡萨奈尔斯·莫伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN111712355A publication Critical patent/CN111712355A/zh
Application granted granted Critical
Publication of CN111712355B publication Critical patent/CN111712355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31014—Synchronization between AGV movement and workpiece treatment chambers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39248—Visual servoing combined with inertial measurements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40111—For assembly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40571—Camera, vision combined with force sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50393—Floor conveyor, AGV automatic guided vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)

Abstract

公开了一种用于在诸如汽车最后装配线的装配线中装配零件的方法。该方法包括：利用自动引导车(AGV)使零件沿着装配线前进；布置第一实时视觉系统以在至少两个方向上监测AGV的位置；并且将第一实时视觉系统的读数提供给被布置成控制装配线的装配单元的控制器，以对由AGV推动或支承的零件执行自动化操作。还公开了一种装配线。

Description

在装配线中装配零件
本申请要求于2018年2月6日提交的EP18382065.3的权益和优先权。
技术领域
本公开涉及用于在诸如汽车最后装配线的装配线中装配零件的方法、装配单元以及装配线。
背景技术
用于制造车身的汽车生产线通常包括最后装配线，在该最后装配线中，人类操作者和/或机器人可以操作以装配诸如座椅、门、挡风玻璃、车轮、转向机构等的零件。车身通常通过合适的运输装置(诸如，输送机或AGV(自动引导车))沿着装配线连续地前进。
用于这种装配线的装配机器人包括末端执行器，该末端执行器承载工具或承载要附接或安装到车身的装配元件，并且控制该机器人的末端执行器在车身的目标位置执行某种操作。在某些情况下，可以在平行于装配线的轨道上驱动机器人。
然而，在这种应用中，机器人自动化还不能在很大程度上取代人类操作者：在最后装配线中，存在误差、公差和不准确性的多种源，例如由零件的连续运动、例如在生产线中的可能是不规则的、例如受到振动的车身。这使得通常关于预定程序运行的机器人难以有效地工作。
US20060167587公开了一种装配线，其中，车身通过输送机连续前进。在输送机驱动器的轮轴上设置数字编码器，并且控制装配机器人的末端执行器以跟踪输送机的移动，从而采用相对于车身有效静止的位置。为了纠正由于相对于输送机驱动器轮轴的输送机振动而导致的误差，该文献在输送机上设置了光学传感器，比较相对移动在多个周期内的频率和幅度，并且将机器人装配动作同步到输送机移动的峰值。诸如测量激光器的机器人引导传感器测量末端执行器到达车身上的目标所需的移位。在其它实施方式中，车身停止在机器人前面，并且使用测量激光器确定目标点的坐标。
即使该文献教导了用于补偿由于输送机振动导致的误差的解决方案，但是该解决方案涉及将装配操作同步到输送机移动周期的特定点和估计点，这使得目标可能在测量激光器的读数与实际装配操作之间移动。
此外，在该文献中，补偿输送机上的滑轨和/或滑轨上的车身的位置的误差需要停止输送机以确定车身的点的坐标。因此，该文献没有教导如何在不停止输送机的情况下补偿这种误差。
在US20060167587中未解决定位误差(诸如，由于编码器在输送机驱动器轮轴上的有限分辨率导致的)的其它源。
期望通过提供至少部分克服现有技术缺点的用于装配零件的方法和系统来促进装配线并且尤其是汽车最后装配线中的更高程度的机器人自动化。例如，期望提供在运动中(即，在移动零件上)执行装配操作和/或允许补偿多个误差源的解决方案。
发明内容
根据第一方面，提供了一种用于在诸如汽车最后装配线的装配线中装配零件的方法。该方法包括：利用自动引导车(AGV)使零件沿着装配线前进；布置第一实时视觉系统以在至少两个方向上监测AGV的位置；并且将第一实时视觉系统的读数提供给被布置成控制装配线的装配单元的视觉伺服控制器，以对由AGV推动或支承的零件执行自动化操作。
在至少两个方向上实时监测AGV的移动并且在装配单元的视觉伺服控制中使用读数允许非常快速且准确地定位零件的必须执行操作的目标区域，例如，甚至在零件到达装配单元的到达区域之前；此外，可以基于第一实时视觉系统使装配单元的移动与AGV的移动同步，使得装配单元可以在零件上工作，就好像其相对于零件是静止的，并且因此不需要补偿AGV的前进及其定位误差(例如，由于地板的不平坦以及AGV的随后竖直振动)：这允许提高装配单元的整体操作的准确性和/或速度。
该方法也是安全的，例如，在AGV停止的情况下，装配单元与执行操作的零件之间发生碰撞的风险较小，因为装配单元可以与AGV的前进实时同步。
在一些示例中，装配单元包括设置有末端执行器的工业机器人，并且零件具有要执行装配操作的目标区域，该方法包括，在零件前进时：将第一实时视觉系统的读数提供给机器人的控制器，以使机器人的移位与AGV沿着所述装配线在前进方向上的前进同步；以及利用工业机器人在目标区域处执行装配操作；利用工业机器人执行的装配操作包括：视觉伺服处理，其中，至少基于被布置成监测目标区域的位置的第二实时视觉系统的读数来实时控制机器人的末端执行器的移动；以及顺应行为处理，其中，控制机器人的末端执行器的移动以至少允许末端执行器在至少一个方向上的顺应行为。
第一实时视觉系统和第二实时视觉系统的组合具有多个优点。因为第一视觉系统提供针对沿着装配线行进并且到达第二视觉系统的各个单独零件的准确定位信息，使得第二视觉系统可以具有较小的视场，所以第二视觉系统可以非常快速地定位目标区域，以便开始其相关联的视觉伺服处理。当然，这意味着对零件的操作所需的时间更少。
此外，如上所述的两个实时视觉系统的组合允许执行单个视觉系统可能无法实现的自动化操作，或者可能会经受误差甚至碰撞的风险。
例如，复杂的装配操作(诸如，在汽车最后装配线中将驾驶舱安装在车辆中)难以自动化，因为其涉及机器人首先将驾驶舱通过打开的门插入车身中，并且然后将驾驶舱安装在车身内部的正确位置。适当地被配置并附接在机器人的末端执行器上以定位第二操作的目标并且安装驾驶舱的视觉系统不能从车身外部看到其目标区域，并且不容易被配置成安全地定位开口和门的位置，对于操作的第一零件，这取决于装配线中的较早装配工位。在这种情况下，可以至少在机器人或其末端执行器的第一操作或移动的第一零件中使用监测AGV的移动的第一实时视觉系统的读数，而监测目标区域的位置的第二实时视觉系统可以在机器人或其末端执行器的第二操作或移动的第二零件中开始操作。
在第二实时视觉系统由于其已经定位目标区域而开始操作之后，第一实时视觉系统也可以继续操作，两个系统的输出在视觉伺服控制器中组合，该视觉伺服控制器被布置成控制在操作期间机器人的末端执行器的移动：因此末端执行器的这种移动可以是AGV的移动与AGV上的目标零件的移动之和。
在两个视觉系统中的一者可以定位目标区域并且执行整个装配操作的操作中，提供另外冗余系统允许更高装配速度，和/或检测例如系统中的一者的定位误差或故障，从而防止进一步损坏。
在一些示例中，机器人的控制器可以使机器人的移位同步，使得机器人基于第一实时视觉系统的读数在轨道上与AGV的前进同步地行进，并且其可以基于第一实时视觉系统的读数使机器人的末端执行器与AGV的振动同步地移位，例如，在竖直方向上与AGV的竖直振动同步。
在一些示例中，机器人的控制器可以基于第一实时视觉系统的读数使机器人的末端执行器至少与AGV沿着装配线在前进方向上的前进同步地移位，并且其可以基于第一实时视觉系统的读数使机器人的末端执行器还与AGV的竖直振动同步地移位。
实时视觉系统可以以非常准确的方式监测或跟踪AGV，使得也可以在机器人及其末端执行器与AGV的移动同步的水平上补偿或减少由于AGV振动导致的目标区域的竖直或其它定位误差。
第一实时视觉系统的视觉传感器可以捕获AGV的标记或特征的图像，第一实时视觉系统的图像处理模块可以基于所捕获的图像提供表示AGV的移位的误差信号，并且控制器至少基于该误差信号来控制装配单元(例如，机器人)。
根据第二方面，本公开提供了一种汽车最后装配线，该汽车最后装配线包括：运输系统，该运输系统具有自动引导车(AGV)以使零件沿着装配线前进；装配单元；以及第一实时视觉系统，该第一实时视觉系统被布置成在至少两个方向上监测AGV的位置，第一实时视觉系统的读数被提供给视觉伺服控制器，该视觉伺服控制器被布置成控制要对由AGV推动或支承的零件执行的自动化操作。
在一些示例中，装配单元包括：工业机器人，该工业机器人设置有末端执行器；第二实时视觉系统，该第二实时视觉系统被布置成监测沿着装配线前进的零件的目标区域的位置；顺应行为系统，允许末端执行器在至少一个方向上的顺应行为；以及机器人控制器，控制机器人的末端执行器的移动，以在零件的目标区域处执行装配操作；其中，第一实时视觉系统的输出和第二实时视觉系统的输出连接到装配单元的机器人的控制器，并且其中，机器人控制器被配置成执行装配操作，该装配操作包括：基于第一实时视觉系统的所述读数，使工业机器人的移位与AGV沿着装配线在前进方向上的前进同步；视觉伺服处理，其中，基于第二实时视觉系统的读数来实时控制机器人的末端执行器的移动；以及顺应行为处理，其中，控制机器人的末端执行器的移动以允许其顺应行为。
可以通过使整个机器人沿着平行于前进方向的轨道移动(例如，将机器人安装在附加可编程线性轴上)来执行工业机器人与AGV沿着装配线在前进方向上的前进同步的移位，或者在更成本有效的变型例中，通过以机器人的末端执行器与AGV的前进同步地移位的方式操作机器人的可编程轴来节省轨道和额外轴的成本。
在后一种情况下，在机器人的基座静止的情况下，提供监测AGV的移动的第一个实时视觉系统尤其有用，因为操作的周期时间受AGV的前进速度和末端执行器的工作区域或最大范围(maximum reach)限制：减少定位第一视觉系统允许的目标区域所需的时间因此是最有效的，因为这意味着在装配操作自身中可以采用更高比例的可用循环时间。
在一些示例中，第一实时视觉系统包括：视觉传感器，捕获AGV的标记或特征的图像；以及图像处理模块，接收所捕获的图像并且基于所捕获的图像向控制器提供表示AGV的移位的误差信号。
在上面提到的不同示例中的任一个中，第一实时视觉系统可以设置有视觉传感器(诸如，相机)，该视觉传感器可以对应于一个或更多个装配单元固定地安装在装配线中，或者可以沿着AGV的路径的至少一部分可移位地被安装，例如沿着一个或更多个装配单元操作的路径的长度可移位地被安装。在第一种情况下，视觉传感器可以检测各个AGV的到达并且监测其移动，直到AGV离开传感器的视场为止，或者直到装配单元完成对AGV承载的零件的操作为止。在第二种情况下，传感器可以沿着AGV的路径安装在托架上，并且托架的移动可以由视觉伺服控制器控制，以跟随AGV在其前进方向上的移动；或者传感器可以被安装在装配单元的机器人上，该机器人在平行于AGV的路径的轨道上可移位，并且由视觉伺服控制器控制，以跟随AGV在前进方向上的移动。
第一实时视觉系统还可以设置有两个或更多个视觉传感器：例如，可以设置两个或更多个固定传感器，以对应于对由AGV承载的零件执行操作的装配单元覆盖AGV的所有行进路径。
第一实时视觉系统的视觉传感器可以被布置成监测AGV的一个或更多个特征或标记：例如，视觉传感器(特别是但不仅是固定视觉传感器)可以被布置成首先检测并且监测AGV在前进方向上的前端区域的标记或特征，并且然后在AGV的后端区域的另一个标记或特征进入传感器的视场时检测并且监测该另一个标记或特征。
本文还公开了一种用于在诸如汽车最后装配线的装配线中装配零件的方法，该方法包括：使零件(例如车身)沿着装配线前进，该零件具有要执行装配操作的目标区域；以及在零件前进的同时，利用设置有末端执行器的工业机器人在目标区域处执行装配操作。利用工业机器人执行的装配操作包括：视觉伺服处理，其中，至少基于被布置成监测目标区域的位置的实时视觉系统的读数来实时控制机器人的末端执行器的移动；以及顺应行为处理，其中，控制机器人的末端执行器的移动以至少允许末端执行器在至少一个方向上的顺应行为。
如本公开中所采用的，视觉伺服是指基于视觉的机器人控制方法，其中，机器人执行特定操作(例如，将铰链销插入到销孔中)的自由度不根据预定程序(对于每次重复操作都是相同的)来控制，而是使用由视觉传感器提供的信息来实时控制，使得机器人由视觉系统逐步引导朝向目标区域，并且每次执行操作时，机器人都可能经历不同移动。
在本公开中，顺应行为是指一种机器人控制方法，其中，机器人在至少一个移动方向上是“柔软的”，即，它不是刚性的，使得允许机器人根据所施加的外力(例如，如果遇到机械阻力)从预期轨迹偏离一定程度。存在利用顺应行为控制机器人(诸如，使用力传感器)的多个方法和技术。
在本文所公开的用于装配零件的方法中，装配机器人及其末端执行器(其可以例如承载要在其目标区域处的零件上装配的元件)的移动通过使用来自直接或间接监测车身或其它零件的目标区域的实际位置的视觉系统的数据实时地执行视觉伺服处理来进行。
基于对目标区域的监测的这种实时视觉伺服允许至少部分地补偿由于跟踪零件的前进中的公差(例如，由于跟踪输送机运动的编码器的分辨率)导致的误差以及由于输送机或其它运输系统的振动或其它不均匀移动导致的相对于零件的预期轨迹的误差、以及由于零件的CAD设计与零件的物理形状/特征之间的差异导致的误差、以及零件在输送机上的定位误差。此外，这可以在不停止零件的前进的情况下实现。
换句话说，与预期轨迹的偏离、振动以及目标区域的定位中的其它不准确性可以通过以下事实解决：通过视觉系统实时引导机器人，该视觉系统监测在其上执行装配操作的实际零件的目标区域的位置。
当末端执行器或由末端执行器保持的装配元件接触零件时，顺应行为处理与视觉伺服相结合在组装操作的最后移动中安全且有效地处理机器人的末端执行器的定位中的小残留误差。
在一些示例中，零件可以以恒定或可变速度沿着装配线连续前进。
如上所述，本公开的组装方法对于连续移动的零件尤其有效，因为视觉伺服和顺应行为提供了至少部分地实时补偿机器人的末端执行器(或由末端执行器承载的装配元件)与零件之间由多个源导致的定位误差的能力，因此零件的连续前进不是装配操作的准确性的主要障碍。
在一些实施方式中，实时视觉系统包括视觉传感器，该视觉传感器安装在机器人上，以使得视觉传感器与末端执行器一起移动。然而，在上述方法的实施方式中，视觉传感器也可以安装在机器人的另一个零件上，或者可以在机器人外部。
实时视觉系统可以包括视觉传感器，该视觉传感器被布置成获得目标区域的图像。然而，可能优选的是布置视觉传感器以获得与目标区域一起移动的标记的图像，例如，靠近目标区域的标记。如果传感器被安装成与机器人的末端执行器一起移动，则这特别有用，但不是完全的，因为末端执行器自身可能会在某个点处阻碍视觉传感器对目标区域的视线。如果目标区域由于其配置而无法通过人工视觉系统(例如，如果缺乏对比度)容易地跟踪，则标记也可能是更好的解决方案。
标记可以是零件自身的可见元件或特征，例如，可以是提供清晰对比图像以供视觉传感器快速且准确地检测的标记，诸如，零件中的孔、开口的边缘或特定形状或线。其也可以是图形符号、条形码、QR码等形式的标记，其可以被施加在零件上或者设置在随后附接到零件的标签上，并且在这种情况下，标记可以在装配操作之前被设置在零件上，并且在装配操作之后从零件去除。
在该方法的一些实施方式中，在顺应行为处理期间，至少基于安装在机器人上以检测作用于末端执行器的外力的力/扭矩传感器的读数来控制机器人的末端执行器的移动。
力/扭矩传感器通常可以设置有电阻应变计以测量在几个自由度(例如，在所有六个自由度(三个力和三个扭矩))中施加的应变，以及设置有合适电子设备以处理来自应变计的信号并且与外部装置(例如，机器人控制器)通信。
这样的传感器可以例如被插入在机器人的腕部和末端执行器之间，以检测两个元件之间的应变，并且提供有关作用于末端执行器的外力的信息，并因此提供有关末端执行器与被执行装配操作的零件之间的相对位置的信息。
在该方法的一些实施方式中，视觉伺服处理和顺应行为处理中的每个在装配操作期间同时起作用，并且末端执行器的移动是由这两个处理的组合产生的。
例如，可以基于实时视觉系统引导末端执行器朝向最后装配位置会集，但是通过顺应行为(例如，根据力/扭矩传感器的读数)修改或缓和这种会聚，以优化机器人安全且有效地执行装配操作的最后步骤的能力，这通常是更关键的步骤。
例如，机器人控制器可以从实时视觉系统接收表示根据视觉系统的末端执行器的期望位置的信号，并且还可以同时从顺应行为系统接收表示根据顺应行为系统的末端执行器的期望位置的信号，并且机器人控制器可以基于所接收的信号的组合来实时地控制末端执行器的移动。
在装配操作开始时，尽管末端执行器及其承载的装配元件仍与目标区域相距一定距离，但是由于没有外力作用于末端执行器，所以来自顺应行为系统的信号通常为零或可忽略不计。
因此，在此阶段，来自顺应行为系统的信号在组合中不产生影响，并且控制器在由视觉系统信号发送和引导时移动末端执行器。
然而，当装配元件或末端执行器与外部对象(诸如，目标区域或相邻区域)之间存在物理相互作用(即，接触)时，来自顺应行为系统的信号将不为零。根据视觉系统，末端执行器应该移动到的期望位置将与根据顺应行为系统的期望位置不同。
然后，机器人控制器将组合期望位置，例如，进行加权求和，并且相应地移动末端执行器。在组合中给予视觉系统和顺应行为系统的相对权重可能取决于特定装配操作：例如，在更脆弱的零件的情况下，可以给予顺应行为系统更大的相对权重，而在装配操作可用的时间有限的情况下，可以给予视觉系统更大的相对权重。
因此，将理解的是，视觉伺服处理和顺应行为处理可以同时发生，并且基于视觉系统的输入和顺应行为系统的输入二者来实时控制机器人的末端执行器的移动。
在该方法的一些实施方式中，零件在输送机上前进，并且在装配操作之前和期间，机器人被控制成与输送机的前进同步地在装配线的前进方向上行进。在该方法的示例中，输送机可以是适合支承零件和使零件前进的任何运输系统，诸如，由链条驱动的输送机上的滑轨、悬挂在吊运式输送斗上的滑轨、自动引导车或其它。
根据各个装配操作的具体情况，可以使机器人基座相对于输送机维持静止，并且通过控制基座与腕部之间的机器人轴，考虑输送机的速度，使机器人的末端执行器移动。在其它情况下，机器人可以安装在平行于装配线的轨道上，并且使其沿着该轨道行进。这可能是有用的，例如，如果装配操作需要的移位比末端执行器的最大范围更长，或者需要提供末端执行器相对于目标区域的更好定位、和/或为装配操作提供更大的灵活性。在这种情况下，机器人控制器可以控制沿着轨道的移位，作为机器人的附加线性轴。
可以通过多种方式来跟踪输送机的前进，诸如，使用被布置成读取输送带的驱动器轮轴的旋转的编码器。
在一些示例中，一旦机器人与输送机的前进同步地行进，并且在开始装配操作的视觉伺服处理之前，通过进行相机捕获(例如，零件的总体图像)来确定零件的目标区域的位置，并且使机器人的末端执行器朝向目标区域的位置移动，直到预定距离为止。
该移动可以是机器人执行器以相对较快的速度(即，平均比视觉伺服处理和顺应行为处理期间的速度更快的速度)到目标区域的第一接近。在一些示例中，并且根据操作，可以将机器人的末端执行器或由末端执行器保持的装配元件放置在距目标区域50mm至500mm之间的距离(例如，100mm到200mm之间的距离)处。
在以上公开的任何方法的实施方式中，可以通过自动引导车(AGV)使零件沿着装配线前进。在这种情况下，可以布置附加实时视觉系统以监测AGV的位置，并且可以将附加实时视觉系统的读数提供给机器人的控制器。
附加实时视觉系统允许不仅跟踪AGV在装配线方向上的前进，还跟踪其移动，例如，在竖直方向(例如，由于不平坦的地板)和/或垂直于前进方向的水平方向(即，x-y-z坐标系的三个方向)。因此，AGV的跟踪可以更准确，并且可以在机器人与AGV的移动同步的水平上补偿或减少由于AGV振动导致的目标区域的竖直或其它定位误差。
本文还公开了一种用于诸如汽车最后装配线的装配线的装配单元。该装配单元可以包括：工业机器人，该工业机器人设置有末端执行器；实时视觉系统，该实时视觉系统被布置成监测沿着装配线前进的零件的目标区域的位置；顺应行为系统，允许末端执行器在至少一个方向上的顺应行为；以及机器人控制器，控制机器人的末端执行器的移动，以在零件的目标区域处执行装配操作，该机器人控制器被配置成执行装配操作，该装配操作至少包括：视觉伺服处理，其中，基于实时视觉系统的读数来实时控制机器人的末端执行器的移动；以及顺应行为处理，其中，控制机器人的末端执行器的移动以允许其顺应行为。
在装配单元的一些实施方式中，实时视觉系统包括视觉传感器和图像处理模块，以将由视觉传感器捕获的图像与参考图像进行比较，并且提供表示末端执行器的当前位置与期望位置之间的差异的误差信号。
在这样的装配单元中，顺应行为系统可以包括传感器，以检测作用于末端执行器的外力，使得机器人控制器可以在装配操作的至少一个步骤期间(例如，一旦末端执行器或末端执行器保持的装配元件接触目标区域)利用顺应行为来控制末端执行器的移动。
这种外力可以通过确定机器人的致动器消耗的电流来检测，例如，用于移动各个机器人轴的内部电动机：电动机的消耗电流与电动机上的扭矩成比例，并且电动机上的扭矩是机器人动力学和作用于机器人的外力的函数，因此感测或测量消耗电流允许确定外力。
在其它示例中，顺应行为系统可以包括在机器人的腕部与末端执行器之间安装在机器人上的力/扭矩传感器。力/扭矩传感器的输出可以连接到机器人的控制器，使得该控制器可以利用顺应行为来控制末端执行器的移动。
根据另一方面，本公开提供了一种汽车最后装配线，该汽车最后装配线包括：运输系统，以沿着装配线使诸如车身的零件前进；以及如以上示例中的任一个所公开的装配单元，该装配单元被布置成在零件或车身的目标区域中执行装配操作。
根据一些实施方式，本文公开的汽车最后装配线还包括：标记施加单元，该标记施加单元被布置在装配单元上游，用于将标记施加到零件；以及标记去除单元，该标记去除单元被布置在装配单元下游，用于从零件去除标记。
在一些示例中，汽车装配线的运输系统包括自动引导车(AGV)，并且装配单元包括附加实时视觉系统，该附加实时视觉系统被布置成在AGV沿着装配线前进时监测AGV的位置，其中，附加实时视觉系统的输出连接到装配单元的机器人的控制器。
本文还公开了一种装配线，诸如，例如汽车最后装配线，该装配线包括：自动引导车(AGV)，使零件沿着装配线前进，该AGV设置有AGV标记；实时视觉系统，该实时视觉系统被布置成在AGV沿着装配线前进时跟踪AGV标记的位置；以及视觉伺服控制单元，控制要对通过AGV推动的零件执行的自动化操作。
这种标记可以是AGV自身的可见元件或特征，例如，AGV主体的孔、开口的边缘或AGV的特定形状或线。这种标记也可以是能够被施加在AGV上或设置在随后附接到AGV的标签上的图形符号、条形码、QR码等形式的标记。
如果标记不是AGV自身的特征，则可以在采用AGV沿着装配线运输零件之前(例如，当AGV静止时)在AGV上设置标记。
AGV可以设置有多个标记，以便于利用视觉系统对AGV进行监测，例如，如果AGV的前进可以将标记带出视觉系统的视场之外。附加地或另选地，视觉系统的视觉传感器可以可移位地安装在托架上，托架可移位地安装在平行于AGV前进的轨道上。
例如，视觉伺服控制单元可以基于实时视觉系统的读数来控制工业机器人的操作。例如，其可以使工业机器人的移位与AGV沿着装配线在前进方向上的前进同步，并且也可以使机器人的移动与AGV在xyz坐标系的其它方向上的移动同步，例如，在竖直方向上，例如以解决由于AGV行进的地板的不平坦而导致的AGV的振动。这允许准确跟踪AGV，并且允许补偿或减少由于AGV振动导致的竖直误差或其它方向上的定位误差。
在阅读说明书之后，实施方式的其它目的、优点和特征对于本领域技术人员将变得显而易见，或者可以通过实践而获知。
附图说明
下面将参照附图通过非限制性示例的方式来描述本设备的特定实施方式，其中：
图1例示了根据示例的具有装配单元的装配线的简化平面图；
图2是具有类似于图1的装配单元的装配线的示意图；
图3是根据一些实施方式的装配单元的控制电路的框图；
图4是根据示例的方法的一部分的流程图；
图5示意性地示出了装配单元的实施方式，其中，视觉系统监测标记；
图6和图7是根据本文公开的示例的方法的流程图；
图8例示了在装配线包括具有AGV的运输系统的示例中的具有装配单元的装配线的简化侧视图；
图9示意性地示出了装配单元的实施方式，其中，第一视觉系统监测AGV，并且第二视觉系统监测车身零件上的标记；以及
图10是根据本文公开的示例的方法的流程图。
具体实施方式
图1和图2分别以平面图和示意图示出了装配线10(在该示例中为汽车最后装配线)，其中，零件(在此情况下是车身20)在诸如设置在输送机30上的滑轨(未示出)的运输系统上在前进方向D1上行进，经过装配单元50。例如，可以以大约100mm/s的连续速度运输车身20。
车身20或其它零件包括要执行装配操作的目标区域21。可以利用本文公开的方法和单元的实施方式执行的装配操作的示例可以是在插入其它内部元件之前拆卸门、装配车辆驾驶舱、放置地毯、放置座椅、放置电池、放置备用轮、通过滚动将密封接合部固定到适当位置、装配门等。
可以设置测量设备以监测输送机的前进：例如，可以与输送机30的驱动器轮轴(未示出)相对应地布置数字编码器31。
装配单元50包括工业机器人60，该工业机器人60可以包括控制器以及基座与腕部之间的多个可编程自由度或轴，各个自由度具有由机器人控制器控制的相关驱动元件(诸如，电动机)(工业机器人的这样的细节是已知的，并且未在图中示出)。
机器人60设置有附接到机器人腕部的对应末端执行器61，例如，夹持器或其它合适的元件。在该示例中，机器人60安装在轨道70上，并且设置有合适的驱动器(未示出)，使得机器人60可以在方向D1上平行于输送机行进。
根据本文公开的示例，装配单元50还包括具有可以安装在机器人上的视觉传感器81(例如，相机)的视觉系统80。视觉传感器81可以被安装成使得视觉传感器81与机器人60的末端执行器61一起移动。
在图2上，已经通过E1、E2、E3、E4、E5指示了系统中可能发生的误差和公差的许多不同源，E1、E2、E3、E4、E5分别表示：
E1：输送机跟踪，其可能由于有限编码器分辨率而不准确，例如，+/-2mm；
E2：由于输送机的移动不如编码器监测的驱动器轮轴的移动那么平滑，导致由输送机动力学(振动)产生的误差；
E3：各个车身与滑轨之间以及各个滑轨与输送机之间的定位误差、以及由于一个车身与另一车身之间的几何形状差异而导致的误差；
E4：与视觉系统可以提供的帧速率相关的误差；
E5：与机器人运动学相关的误差。
如以上概述所解释的，本文公开的装配方法和装配单元的实施方式允许以有效的方式补偿误差E1、E2和E3，因为实时视觉伺服不受这些误差源影响。也可以利用其它解决方案来补偿误差E3，但是尤其难以利用已知解决方案来补偿误差E1和E2。此外，顺应行为处理允许解决任何剩余的误差，诸如，误差E4和E5。
图3是装配单元50的示例控制电路的示意性框图。
如先前公开的，装配单元50包括：工业机器人60，该工业机器人60包括附接到腕部的末端执行器61；以及视觉系统80，该视觉系统80具有视觉传感器81(例如，相机)，该视觉传感器81安装在机器人上，使得其与末端执行器61一起移动。
市场上可获得的适合于此应用的视觉传感器的示例可以是RealSenseTMCamera SR300。
视觉系统80(并且尤其是视觉传感器81)可以被布置成通过获得目标区域21自身的目标区域21的图像来直接实时监测车身20的目标区域21的位置，或者通过获得与目标区域21一起移动的标记22(如图5的示意图所示)的图像来间接地实时监测车身20的目标区域21的位置。
通常，标记22将是车身20的另一点或区域，以使得目标区域21与标记22之间没有相对移动、振动等，并且在初始位置与最后装配位置之间，在末端执行器61的整个轨迹期间，位于保持在视觉传感器81的视场中的位置。
标记22可以例如是具有图形符号的标签，其在装配操作之前被施加到车身20的合适点，并且通常在之后被去除。
然而，也可以使用车身的可见元件作为标记22，例如，车身的具有明确限定边缘和鲜明对比(其可以通过计算机视觉系统容易地监测)的元件。车身上的合适元件的示例可以是孔、孔或开口的边缘、线或特定形状。
回到图3，装配单元50还可以包括力/扭矩传感器100，例如，安装在机器人60上的腕部与末端执行器61之间，该力/扭矩传感器100提供作用于末端执行器的外力的读数。
力/扭矩传感器100通常可以设置有电阻应变计以测量在几个自由度(例如，在所有六个自由度(三个力和三个扭矩))中施加的应力，并且设置有合适的电子设备以处理来自应变计的读数并且将对应信号提供给机器人控制器200(稍后将对其进行描述)。信号取决于作用于末端执行器的外力，并且因此它们表示末端执行器与外部零件(即，由机器人60在其上进行装配操作的零件)之间的物理相互作用或接触的情况。
在顺应行为处理中控制机器人时可以采用的商业上可获得的力/扭矩传感器的示例是可以从德国Schunk(www.schunk.com)获得的六轴力矩传感器FT系列的传感器。
组装单元50还可以包括图像处理模块82、视觉控制器模块90、力/扭矩控制器模块210、机器人模块的实时接口220以及先前引用的机器人控制器模块200。
图像处理模块82可以被配置成通过例如在图像处理模块82中包括的通信子模块与视觉传感器81中包括的通信子模块之间建立的通信从视觉传感器81接收目标区域21或标记22的图像。可以借助于例如加密密钥和/或在它们之间建立的SSL隧道来确保所述通信。
通过图像处理模块82对图像的处理可以包括：
-从相机或其它视觉传感器81接收图像；
-在接收到的图像上检测特征，该特征可以是图像中的对象的位置和取向(基于位置的视觉伺服–PBVS)，也可以是更抽象的特征，诸如，图像的点、直线、曲线等(基于图像的视觉伺服–IBVS)；
-计算检测到的特征与参考图像中的相同特征之间的误差，该参考图像在较早学习步骤中被存储在图像处理模块中。当相机位于已知位置时(例如，在装配操作结束时)，当机器人的末端执行器完成在目标区域处的装配时，相机将看到参考图像中的特征。因此，该误差表示相机的当前位置与期望位置之间的差异，并且因此还表示末端执行器的当前位置与期望位置之间的差异；
-将计算出的误差发送至视觉控制器模块90。
因此，通过将视觉传感器捕获的图像与在学习处理中先前获得并存储在图像处理模块中的参考图像进行比较来计算误差。
根据一些示例，图像处理模块82可以被配置成以至少15Hz的频率(例如，至少20Hz的频率)接收和处理图像。在一些示例中，频率可以在20Hz至40Hz之间，例如，每40毫秒至50毫秒(即，25Hz至20Hz的频率)接收和处理图像，以允许以使得至少部分地补偿以上关于图2所述的误差的方式跟随目标区域。
此外，视觉控制器模块90可以被配置成：
-计算校正从图像处理模块82接收的误差所必须的相机81的速度。可以基于控制定律来计算该速度，例如：
速度VVS＝增益*J*误差
其中，增益可以是例如比例、积分和/或微分增益(PID)，并且J是交互矩阵或雅可比(Jacobian)矩阵，其是限定误差与相机的速度之间的动态关系的矩阵。在一些示例中，增益可以是可变的，例如，其可以是误差的函数，例如，其可以反过来取决于误差，以使得如果误差的值低，则增益可以较高。相反，如果误差值高，则增益可能较低。基本上，这种情况中的主要目的是避免对于很高的误差值(当末端执行器仍远离目标时)，相机的速度过高，存在发生事故的风险，而对于很低的误差值(当末端执行器非常靠近目标时)，速度太低，并且存在末端执行器可能花费太长时间才能到达目标的风险；
-将在相机坐标系中计算出的速度转换到机器人的末端执行器61的坐标系(工具中心点，TCP)；
-根据速度计算位置增量ΔXVS；
-从所计算的位置增量ΔXVS和末端执行器61的当前位置XC计算末端执行器61的期望位置XVS，该当前位置XC是从机器人模块的实时接口220接收的；
-将所计算的期望位置XVS发送至机器人模块的实时接口220。
基于视觉系统80的读数，可以采用该期望位置XVS来控制机器人的末端执行器61的移动。
该处理可以每4毫秒(即，250Hz的频率)被执行。所述指示时间是参考示例。由于该频率可能高于图像处理模块82的频率，所以视觉控制模块90将根据图像处理模块提供的相同误差信号(并且因此计算的相同位置增量)在多次连续迭代中提供连续的期望位置XVS，但是将位置增量应用于由机器人模块的实时接口220提供的新位置XC，因为机器人的末端执行器在各个迭代处都会移动。
基本上，视觉系统80、图像处理模块82、视觉控制器模块90、到机器人的实时接口220以及机器人控制器模块200允许执行视觉伺服处理，以在组装操作期间控制末端执行器的移动。因此，在此处理中，基于视觉系统80的读数实时控制机器人的末端执行器的移动。
力/扭矩控制器模块210可以被配置成：
-从力/扭矩传感器100接收力和扭矩值；
-从接收到的力值减去参考值(例如，由于机器人的末端执行器61的重量和装配元件的重量导致的弯曲力矩)，从而获得净力和扭矩值；
-根据净力/扭矩值来计算速度，该速度应用旨在允许末端执行器的一定程度的顺应行为的增益和变换，以：
速度VFC＝增益*M*净力/扭矩
其中，M是变换矩阵，该变换矩阵与增益一起构成控制定律，该控制定律建立机器人如何根据检测到的力和扭矩条件进行响应和移动，以使其顺应并防止损坏机器人和/或环境。增益可以是恒定的，或者增益可以是可变的，例如，力的函数。可以根据特定装配操作，考虑所需的精度、损坏机器人自身和零件的风险等，针对各个应用建立增益和变换矩阵。
-根据速度计算位置增量ΔXFC；
-从所计算的位置增量ΔXFC和末端执行器61的当前位置XC计算末端执行器61的期望位置XFC，该当前位置XC是从机器人模块的实时接口220接收的；
-将所计算的期望位置XFC发送至机器人模块的实时接口220。
该处理可以每4毫秒(即，250Hz的频率)被执行。所述指示时间是参考示例。此频率可以与视觉控制模块90的频率相同，使得机器人模块的实时接口220将在各次迭代时接收期望位置XVS和XFC。
力/扭矩传感器100、力/扭矩控制器模块210、机器人模块的实时接口220以及机器人控制器模块200允许执行顺应行为处理，以在装配操作期间控制末端执行器的移动。因此，在该处理中，可以基于力传感器100的读数实时控制机器人的末端执行器的移动。
力-扭矩传感器100和力控制器模块210可以被认为是顺应行为系统。在其它示例中，可以基于不同的顺应行为系统实时地控制末端执行器的移动。
在顺应行为系统的另一示例中，可以省略诸如力/扭矩传感器100的外部传感器，并且该系统可以将机器人的内部电动机上的扭矩(其与消耗电流成比例)用作力/扭矩控制器模块210(其可以是机器人控制器200的一部分)的输入。然后，可以通过相对于机器人的内部动力学模型的扭矩变化来检测由于与环境的物理相互作用(例如，与目标区域接触)导致的末端执行器上的外力。如上所述，然后可以应用控制定律和增益，以便计算期望速度，使末端执行器在至少一个方向上顺应。
在另一示例中，顺应行为系统可以是被动的：例如，可以预见机械浮选系统，其中，末端执行器不是刚性地安装在腕部上，而是插入有弹簧元件等，使得如果末端执行器接触对象，则其行为是相对顺应的，这取决于安装件的弹性特征。在这种情况下，在装配操作的顺应行为处理中，仅基于视觉系统控制末端执行器，但是由于浮动安装，响应于末端执行器与环境的对象的物理相互作用，允许相对于预期路径的某些偏差。
其它顺应行为系统可以结合多于一个解决方案：例如，其可以包括力/扭矩控制模块并且还包括用于末端执行器的机械浮选系统。
机器人模块的实时接口220可以被配置成：
-接收由力/扭矩控制器模块210和视觉控制器模块90生成的期望位置XFC和XVS；
-通过平均值、加权和或其它方式组合接收到的期望位置XFC和XVS，以获得所得到的期望位置XD；
-将期望位置XD发送至机器人控制器模块200。
所得到的期望位置XD尤其取决于力/扭矩控制器模块210和视觉控制器模块90施加的增益。增益可以适应于各个特定装配操作或装配操作的各个阶段：例如，当涉及装配操作的零件尤其脆弱时，施加到力/扭矩控制器模块210的增益可以更高，以给顺应行为分量更大的权重并避免损坏零件的风险，即使这可能使操作速度变慢，因为可能不会紧密地跟随视觉系统设定的轨迹。
机器人控制器模块200可以被配置成从机器人模块的实时接口220接收期望位置XD，并且作用于机器人60的电动机或任何其它驱动元件，以将末端执行器61移动到期望位置XD。
机器人控制器模块200和机器人模块的实时接口220可以是相同的模块，也可以是不同的模块，即，机器人模块220的实时接口可以在机器人控制器模块200的外部或不在机器人控制器模块200的外部。
在另一方面，表述“机器人控制器”在本文中可以被用作包括模块200和220二者以及视觉控制器模块90、力控制器模块210等的至少一部分。
所有误差、速度、位置增量ΔXFC和ΔXVS、当前位置XC和期望位置XFC、XVS、XD都是矢量变量，其包括相对于一个或更多个坐标系的移位和旋转。增益也可以是矢量变量。
此外，即使以上描述是在以下情况下进行的：力/扭矩控制器模块210和视觉控制器模块90从位置增量确定期望位置，并且从速度确定位置增量，然后组合期望的位置，但是其它系统可以结合速度或位置增量或者结合例如位置和位置增量或速度工作。在一些情况下，例如，如果以速度或位置增量在机器人模块的实时接口220中进行组合，则无需将当前位置XC提供给视觉控制器模块90和力控制器模块210。
如果图3的不同电路(例如，图像处理模块82和视觉传感器81)彼此足够靠近，则它们可以进行有线连接(例如，通过以太网技术)或者可以通过短程无线通信技术(例如，蓝牙(例如，BLE-低功耗蓝牙)、NFC、Zigbee或WiFi技术)进行连接。如果它们很远，则可以通过远程无线通信技术(诸如，GSM、GPRS、3G、4G或卫星技术)或有线技术(例如，通过光纤、ADSL等)进行连接。
参照图3公开的任何模块可以包括或可以通过电子装置、计算装置或它们的组合来实现，也就是说，所述电子装置或计算装置可以互换地使用，以使得所描述的装置的一部分可以是电子装置，并且另一部分可以是计算装置，或者所有描述的装置可以是电子装置，或者所有描述的装置可以是计算装置。
图4是示意性地例示了视觉伺服处理和顺应行为处理如何利用装配单元在装配操作期间进行操作的流程图，该组装单元设置有诸如以上关于图3所述的实时视觉系统和顺应行为系统。
在用于装配零件的方法的该示例中，在框510中获得目标区域或标记的图像。
在框520中，计算所获得的图像与参考之间的误差。
在框530中，根据误差和当前位置XC确定视觉系统的期望位置XVS。
同时，在框540中感测在末端执行器上的力，并且在框550中，根据感测到的力和当前位置XC确定顺应行为系统的期望位置XFC。
在框560中，基于XVS和XFC来计算组合的期望位置XD。
在框570中使用该期望位置XD来相应地移动机器人的末端执行器。
在框580中，确定装配操作是否已经完成。在肯定时，操作结束；否则，将末端执行器的当前位置XC馈送到框530和550，以进行后续迭代。
以给定频率重复框510、520和540中的操作，来提供所获得的图像中的误差和感测到的力的更新值，直到操作结束为止。
在实践中，当从在框540中感测到的力获得的末端执行器上的外力为零或可忽略不计时，该方法处于对目标区域的接近步骤中，执行视觉伺服处理，其中，末端执行器的移动基于视觉系统的期望位置XVS。
当从框540中感测到的力获得的在末端执行器上的外力不为零或可忽略不计时，该方法处于与目标区域物理相互作用的步骤，同时执行视觉伺服处理与顺应行为处理，其中，末端执行器的移动基于视觉系统的期望位置XVS和顺应行为系统的期望位置XFC的组合，如上面关于图3所述。
图6例示了用于在装配线中装配零件的方法的示例的流程图：例如，用于在车身20上装配门。
在框610中，诸如车身20的零件在装配线中前进，并且在框620中，在机器人控制器200的控制下开始装配操作。
机器人控制器200利用至少由框630表示的视觉伺服处理和由框640表示的顺应行为处理，可以实时控制末端执行器61在车身前进的同时在车身20的目标区域21处执行期望装配操作。例如，一旦检测到由末端执行器保持的装配元件与车身的目标区域接触或非常接近车身的目标区域，顺应行为处理640就可以开始。
在视觉伺服处理630中，控制器200基于视觉系统80的读数来控制末端执行器61的移动，如上所述，视觉系统80提供与目标区域21的位置有关的信号。
在顺应行为处理640中，控制器200例如根据来自力/力矩传感器100的信号控制末端执行器61的移动，以至少允许在至少一个方向上的一定程度的顺应行为。然而，在该步骤期间，视觉系统80的读数也可以继续影响末端执行器的移动。
以上方法的步骤630和640可以将机器人60的末端执行器61逐渐地从初始位置引导朝向最后位置，在该初始位置中，由末端执行器保持的装配元件与目标区域相距一距离，在最后位置中，装配操作完成：例如，例如通过将一个或两个铰链销插入车身的对应铰链衬套中，将由末端执行器保持的门安装在车身上。
该方法可以包括多于一个视觉伺服处理或顺应行为处理，并且这些处理可以是交替的和/或同时的：例如，一旦装配元件(例如，门的铰链销)到达目标区域并且在那里与车身(例如，与车身上的门的铰链衬套)接触，机器人控制器200仍然维持视觉伺服处理以引导末端执行器的最后移动，但是顺应行为处理也如上所述例如通过组合来自视觉系统和顺应行为系统的信号进行操作，以便校正或允许从由视觉伺服控制预期的移动的偏离。
在图6的示例的视觉伺服处理和顺应行为处理之前，用于在装配线中装配零件的方法可以包括其它步骤。参照图1至图3所示的装配单元50，通过图7的流程图例示了这种方法的示例。
在图7中，在框710中，车身20在输送机30上前进，并且在框720中，车身20例如借助于激光传感器(未示出)相对于输送机的坐标系被参考。
在框730中，具有由末端执行器61保持的装配元件(未示出)的机器人60被控制以在轨道70上与输送机30的前进同步地在装配线的前进方向D1上行进，该前进方向D1由数字编码器31的读数确定。结果，机器人60和目标区域21现在以大约相同的速度平行移动，并且因此维持恒定相互位置，除了以上关于图2所讨论的定位误差E1、E2和E3之外。
在框740中，通过例如通过相机捕获来拍摄零件的总体图像(即，来自一定距离的允许识别零件中的目标区域(或标记，如果使用了标记的话)的图像)来确定零件的目标区域21的位置，并且在框750中，机器人的末端执行器61以比视觉伺服处理的速度更快的相对较快速度朝向目标区域21的位置移动。这种近似使装配元件与目标区域相距预定距离：将根据操作、要装配的零件的形状和尺寸、所需的准确度等来选择该距离。例如，其可以是距目标区域50mm至500mm之间的距离。在一些简单的情况下，可以将机器人的末端执行器61朝向目标区域21的位置移动，而无需拍摄图像来确定零件的位置。
总体图像通常将利用视觉系统80的相同相机或视觉传感器81拍摄，但是也可以利用不同的专用相机(未示出)拍摄。在其它示例中，该步骤可能不是必须的，或者可以使用较简单的检测器(诸如，激光检测器)来定位目标区域。在其它示例中，可以使用视觉伺服处理来进行对目标区域的初始近似。
当采用标记22时(参见图5)，框750中的近似还使标记22进入视觉传感器81的视场中。
通过相机捕获定位的对目标区域21的近似允许补偿在图2中所讨论的由于例如车身在输送机上的定位误差或CAD设计与各个单独车身之间的偏离导致的误差E3。
然后可以在框760中发起视觉伺服处理，并且在框770中发起顺应行为处理(如针对图6中的框630和框640所讨论的)。
例如，如以上关于图3所述，通过装配操作的视觉伺服进行控制允许至少部分地补偿以上关于图2所述的定位误差E1、E2。如果如上所述，基于相机捕获的第一近似中未对误差E3进行补偿，则还可以补偿误差E3。通过允许在装配操作的最后移动中的顺应行为来解决任何残留误差。
图8和图9例示了具有装配单元的装配线的其它实施方式。如图8所示，可以由自动引导车(AGV)35代替输送机来提供沿着装配线并且经过装配单元50的车身20或其它零件的运输。在图9中，AGV 35以虚线示出，因为它在车身20下方。
AGV 35可以包括具有轮的驱动单元36和适于支撑车身20的托架37。托架37通过在竖直方向上自由移动的杆(未示出)附接到驱动单元36。其它AGV可以包括不同的构造。例如，驱动单元可以使托架前进，但是托架自身可以不安装在驱动单元上，并且可以支承车身或其它零件的重量。
AGV 35被配置成跟随诸如标记或地板上的线、磁铁、灯等(未示出)的元件沿着前进方向(垂直于图8中的纸张)在地面上(例如，在汽车生产线10中的不规则地板400上方)输送车身20。
在图8的示例中，组装单元50可以包括附加实时视觉系统80'，该附加实时视觉系统80'被布置成在AGV 35沿着装配线10前进时监测AGV 35的位置，其中，如图9中示意性地示出的，实时视觉系统80'的输出还连接到装配单元50的机器人60的控制器200。
实时视觉系统80'与上述视觉系统80类似，并且允许跟踪AGV 35在预期前进方向以及其它方向上的移动，例如，可能例如由不平坦地板导致的在竖直方向D2上的意外移动。
因此，AGV 35的跟踪更加准确，并且在机器人60与AGV 35的移动的同步中，可以补偿或考虑由于AGV振动导致的目标区域21的竖直定位误差或其它方向上的误差，使得机器人60可以与AGV的前进同步地在轨道70上行进，并且其末端执行器可以竖直地或在与AGV的振动同步的其它方向上移位。
为了促进对AGV移动的准确跟踪，AGV可以在合适位置设置有AGV标记38，使得实时视觉系统80'可以跟踪AGV标记38的位置。这样的AGV标记可以打印在AGV上、永久附接到AGV或者仅暂时附接到AGV。合适标记38也可以是AGV自身的特征，诸如，孔、边缘等。通常，AGV比车身具有更多的直线和边缘，并且因此具有适于被视觉系统80'跟踪的多个特征。
AGV还可以设置有多个标记，以便于通过视觉系统80'对其进行监测，使得在AGV前进时，在视觉系统80'的视场中总是存在标记。在其它示例中，视觉系统80'或至少该视觉系统的视觉传感器(未示出)可以被可移位地安装在例如可以在平行于AGV路径的轨道上移位的托架上。
在一些实施方式中，视觉系统80'可以连接到不同于通过机器人60控制装配操作的视觉伺服控制单元的视觉伺服控制单元(未示出)。
在图8的示例中，视觉系统80'被布置成与机器人60一起沿着轨道70行进，而在图9的示例中，实时视觉系统80'被布置成沿着AGV的路径(即，沿着装配线)静止，以监测AGV的标记或特征38。
如图9所示，用于监测目标区域21或与目标区域21一起移动的标记22的实时视觉系统80的传感器81和实时视觉系统80'的传感器(未示出)都连接到机器人控制器200。根据上述示例，基于两个实时视觉系统80和80'的输入，控制器200控制机器人60及其末端执行器61在至少两个方向上的移动和操作。如上所述，控制器200还可以接收力/扭矩传感器的输入。
在图10的示例流程图中，在框1010中，使车身20在AGV上前进，并且在框1020中，实时视觉系统80'通过视觉伺服处理检测并且开始监测AGV 35。
在框1030中，使机器人60与AGV 35的移动同步：例如，由控制器200控制机器人60与AGV 35的前进同步地在轨道70(图8)上行进，并且可以使末端执行器61相对于机器人60的基座的移动与AGV 35的竖直振动同步。结果，机器人60的末端执行器和目标区域21以大约相同的速度和相同的竖直振动平行地移动，并且因此除了各个车身与AGV之间的定位误差之外，维持恒定相互位置。
在框1040中，借助于AGV的移动的视觉伺服控制，使机器人的末端执行器61以相对较快的速度朝向目标区域21的位置移动，并且移动到相对准确的位置，使得目标区域21或标记22进入视觉传感器81的视场中。可选地，在框1040中使末端执行器朝向目标区域移动之前，可以通过拍摄零件的总体图像来确定该目标区域的位置，如图7的框740中所解释的；然而，在一些情况下，可以省略此步骤。
如以上针对图6和图7所讨论的，然后可以在框1050中发起视觉伺服处理，并且在框1060中发起顺应行为处理。
如框1020、1030中那样，由实时视觉系统80'对AGV移动的监测以及机器人与AGV移动的同步可以在框1050和1060的视觉伺服处理和顺应行为处理期间继续。控制器200可以组合这两个系统的输出，使得末端执行器的移动可以是AGV的移动和目标零件在AGV上的移动的总和。
还可以预见提供一种实时视觉系统，该实时视觉系统用于跟踪自动引导车(AGV)在装配线或使用这种AGV使零件前进的任何其它类型的制造线中在一个方向或在更多个方向上的移动，并且这与特定装配单元或制造线的其它元件的配置或操作无关。例如，可以在装配线中设置该实时视觉系统，其中，装配单元可以利用与包括本说明书中公开的视觉伺服处理和/或顺应行为处理的方法不同的方法来操作。
用于跟踪AGV的移动的这样的实时视觉系统可以具有如本公开中所描述的用于视觉系统的任何特征，该视觉系统被布置成监测目标区域并且用于控制机器人操作，并且其输出或读数可以被提供给如本文所述那样操作视觉伺服控制系统以用于机器人控制。
这种视觉伺服控制系统可以控制机器人或任何其它类型的装配单元，以对由AGV运输的零件执行制造操作，或者可以控制AGV自身的移动。根据各个特定情况，顺应行为处理可能被包括在操作中，也可能不被包括在操作中。
实际上，例如以上所公开的，在AGV的任何应用中，除了装配线中的前进零件之外，可以提供用于通过使用被布置成监测AGV的位置的实时视觉系统来跟踪AGV在一个方向或在更多个方向上的移动。实时视觉系统的输出可以连接到控制器，该控制器被布置成控制要对AGV或由AGV推动或支承的零件执行的自动操作，或者控制AGV自身的位置或操作。可以在这样的系统或方法中采用诸如以上公开的标记。
本文还公开了一种用于操作制造线(例如，汽车最后装配线)的控制系统，该制造线包括用于运输零件或工件的运输系统。该控制系统包括被布置成跟踪运输系统的特征或标记的移动的实时视觉系统和视觉伺服控制单元，以基于实时视觉系统的输出来控制运输系统的位置或操作，和/或控制要对由运输系统运输的零件或工件执行的制造操作。实时视觉系统或其视觉传感器可以沿着运输系统的路径的至少一部分可移位地安装和/或其可以被布置成跟踪运输系统的至少两个标记的移动。实时视觉系统可以被布置成在至少两个方向(例如，水平前进方向和竖直方向)上跟踪运输系统的特征或标记的移动。
运输系统可以是任何类型的，诸如，链条驱动的辊式输送机、托盘或滑轨输送机、滑板输送机、AGV(自动引导车)、高架输送机(诸如，高架小车或运输车)等。视觉系统可以被布置成跟踪运输系统的输送机、滑轨、滑板、AGV、运载车或其它元件的特征或标记的移动。
具有实时视觉系统和视觉伺服控制单元的这种控制系统可以具有如本公开中针对控制机器人操作的视觉系统和视觉伺服系统描述的任何特征，并且可以相应地进行操作。取决于各个特定情况，顺应行为处理可以被包括在系统中，也可以不被包括在系统中。
在本文公开的方法和装配单元的示例中，可以采用一个工业机器人或多个工业机器人，它们可以共同工作、同步工作或彼此独立地工作。当采用多个机器人时，它们可以各自具有关联的视觉系统，或者可以使用来自同一视觉系统的数据控制它们。
在本公开中，“工业机器人”是根据ISO标准8373的定义在三个或更多个轴上可编程的自动控制可重新编程的多用途操纵器。
可以在诸如本文所公开的装配线中采用的商业工业机器人的示例可以是型号IRB4600、IRB 6700、IRB 7600等，所有这些都可以从ABB,Zurich,Switzerland(http://www.abb.com)获得。
可以将由工业机器人操作的不同末端执行器安装在机器人的腕部上：例如，用于处理将要安装在装配线中的诸如车身的零件上的装配元件的夹持器、诸如焊接工具的工具等。
机器人可以通过机器人基座直接固定到地板，或者可以安装在支承结构上、安装在屋顶上、安装在轨道上等。
出于完整性的原因，本发明的各个方面在以下编号的条款中列出：
条款1.一种用于在诸如汽车最后装配线的装配线中装配零件的方法，所述方法包括：
-使零件沿着所述装配线前进，所述零件具有要执行装配操作的目标区域，以及
-在所述零件前进的同时，利用设置有末端执行器的工业机器人在所述目标区域执行所述装配操作，
-利用所述工业机器人执行的所述装配操作包括
-视觉伺服处理，其中，至少基于被布置成监测所述目标区域的位置的实时视觉系统的读数来实时控制所述机器人的所述末端执行器的移动，以及
-顺应行为处理，其中，控制所述机器人的所述末端执行器的移动以至少允许所述末端执行器在至少一个方向上的顺应行为。
条款2.根据条款1所述的方法，其中，所述实时视觉系统包括视觉传感器，所述视觉传感器安装在所述机器人上，使得所述视觉传感器与所述末端执行器一起移动。
条款3.根据前述条款中的任一项所述的方法，其中，所述实时视觉系统包括视觉传感器，所述视觉传感器被布置成获得与所述目标区域一起移动的标记的图像，所述标记在所述零件的可见元件、施加在所述零件上的标记或施加到所述零件的标签上设置的标记之间被选择。
条款4.根据前述条款中的任一项所述的方法，其中，在所述顺应行为处理中，至少基于作用于所述末端执行器的外力来控制所述机器人的所述末端执行器的所述移动。
条款5.根据条款4所述的方法，其中，在所述顺应行为处理中，至少基于安装在所述机器人上以检测作用于所述末端执行器的外力的力/扭矩传感器的读数来控制所述机器人的所述末端执行器的所述移动。
条款6.根据前述条款中的任一项所述的方法，其中，所述视觉伺服处理和顺应行为处理中的各个在所述装配操作期间同时启用，并且所述末端执行器的所述移动是由这两个处理的组合得到的。
条款7.根据前述条款中的任一项所述的方法，其中，所述零件在输送机上前进，并且在所述装配操作之前和期间，所述机器人被控制为与所述输送机的前进同步地在所述装配线的前进方向上行进。
条款8.根据条款7所述的方法，其中，一旦所述机器人与所述输送机的所述前进同步地行进，并且在开始所述装配操作的视觉伺服处理之前，通过对所述零件进行相机捕获来确定所述零件的所述目标区域的所述位置，并且使所述机器人的所述末端执行器朝向所述目标区域的所述位置移动，直到预定距离为止。
条款9.一种用于诸如汽车最后装配线的装配线的装配单元，所述装配单元包括：
-工业机器人，所述工业机器人设置有末端执行器，
-实时视觉系统，所述实时视觉系统被布置成监测沿着所述装配线前进的零件的目标区域的位置，
-顺应行为系统，所述顺应行为系统允许所述末端执行器在至少一个方向上的顺应行为，以及
-机器人控制器，所述机器人控制器控制所述机器人的所述末端执行器的移动，以在所述零件的所述目标区域处执行装配操作，
-所述机器人控制器被配置成执行装配操作，所述装配操作包括
-视觉伺服处理，其中，基于所述实时视觉系统的读数来实时控制所述机器人的所述末端执行器的所述移动，以及
-顺应行为处理，其中，控制所述机器人的所述末端执行器的所述移动以允许其顺应行为。
条款10.根据条款9所述的装配单元，其中，所述实时视觉系统包括视觉传感器和图像处理模块，以将由所述视觉传感器捕获的图像与参考图像进行比较，并且提供表示所述末端执行器的当前位置与期望位置之间的差异的误差信号。
条款11.根据条款9或10中的任一项所述的装配单元，其中，所述顺应行为系统包括传感器，以检测作用于所述末端执行器的外力。
条款12.根据条款9至11中的任一项所述的装配单元，其中
-所述视觉系统被布置成根据所述视觉系统提供表示所述末端执行器的期望位置的信号，
-所述顺应行为系统被布置成根据所述顺应行为系统提供表示所述末端执行器的期望位置的信号，以及
-所述机器人控制器被配置成接收来自所述实时视觉系统的所述信号和来自所述顺应行为系统的所述信号，并且基于所接收的信号的组合来实时控制所述末端执行器的所述移动。
条款13.一种汽车最后装配线，所述汽车最后装配线包括用于使零件沿着所述装配线前进的运输系统，以及根据条款9至12中的任一项所述的装配单元。
条款14.根据条款13所述的汽车最后装配线，所述汽车最后装配线还包括：在所述装配单元上游的用于将标记施加到所述零件的标记施加单元、以及在所述装配单元下游的用于从所述零件去除所述标记的标记去除单元。
条款15.根据条款13或14中的任一项所述的汽车最后装配线，其中，所述运输系统包括自动引导车(AGV)，并且所述装配单元包括附加实时视觉系统，所述附加实时视觉系统被布置成在所述AGV沿着所述装配线前进时监测所述AGV的位置，其中，所述附加实时视觉系统的输出连接到所述装配单元的所述机器人的控制器。
条款16.一种用于控制自动引导车(AGV)的系统，所述系统包括：实时视觉系统，所述实时视觉系统被布置成跟踪所述AGV的特征或标记的移动；以及视觉伺服控制单元，以根据所述实时视觉系统的输出来控制所述AGV的所述位置或操作或控制要对所述AGV或对所述AGV上支承的零件执行的操作。
条款17.根据条款16所述的系统，其中，所述AGV被编程为沿着预定路径行进，并且至少所述实时视觉系统的视觉传感器沿着所述AGV的所述预定路径的至少一部分被可移位地安装。
条款18.根据条款16或17中的任一项所述的系统，其中，所述实时视觉系统被布置成在至少两个方向上，优选地在水平前进方向和竖直方向上，跟踪所述AGV的特征或标记的所述移动。
条款19.根据条款16或18中的任一项所述的系统，其中，所述实时视觉系统被布置成跟踪所述AGV的至少两个标记的移动。
条款20.一种制造线，所述制造线包括：自动引导车(AGV)，以使零件沿着所述线前进；以及根据条款16至19中的任一项所述的用于控制自动引导车(AGV)的系统。
条款21.一种制造线，所述制造线包括：自动引导车(AGV)，以使零件沿着所述线前进；实时视觉系统，所述实时视觉系统被布置成跟踪所述AGV的标记的移动；以及视觉伺服控制单元，以基于所述实时视觉系统的输出来控制要对所述AGV或对所述AGV上支承的零件执行的操作。
条款22.根据条款21所述的制造线，其中，所述实时视觉系统被布置成在至少水平前进方向和竖直方向上跟踪所述AGV的标记的所述移动。
条款23.一种用于操作例如汽车最后装配线的制造线的控制系统，所述制造线包括用于运输零件或工件的运输系统，所述控制系统包括
-实时视觉系统，所述实时视觉系统被布置成跟踪所述运输系统的特征或标记的移动，以及
-视觉伺服控制单元，以基于所述实时视觉系统的输出来控制所述运输系统的位置或操作，和/或控制要对由运输系统运输的所述零件或工件执行的制造操作。
条款24.根据条款23所述的控制系统，其中，至少所述实时视觉系统的视觉传感器沿着所述运输系统的路径的至少一部分被可移位地安装。
条款25.根据条款23或24中的任一项所述的系统，其中，所述实时视觉系统被布置成在至少两个方向上，优选地在水平前进方向和竖直方向上，跟踪所述运输系统的特征或标记的所述移动。
条款26.根据条款23或25中的任一项所述的系统，其中，所述实时视觉系统被布置成跟踪所述运输系统的至少两个标记的移动。
条款27.一种制造线，所述制造线包括用于使零件沿着所述线前进的运输系统、以及根据条款23至26中的任一项所述的控制系统。
尽管本文仅公开了多个特定实施方式和示例，但是本领域技术人员将理解的是，其它另选实施方式和/或所公开的创新的用途及其明显的修改和等同方案也是可能的。此外，本公开涵盖所描述的特定实施方式的所有可能组合。

Claims (6)

1.一种用于在装配线中装配零件的方法，所述方法包括：利用自动引导车AGV使零件沿着所述装配线前进；布置第一实时视觉系统以在至少两个方向上跟踪所述AGV的移动，所述第一实时视觉系统设置有固定地安装在所述装配线中的视觉传感器，所述至少两个方向包括所述AGV沿着所述装配线的前进方向和所述AGV的竖直振动方向；并且将所述第一实时视觉系统的读数提供给被布置成控制所述装配线的装配单元的视觉伺服控制器，以对由所述AGV推动或支承的所述零件执行自动化操作，
其中，所述装配单元包括设置有机器人基座和机器人腕部以及附接至所述机器人腕部的末端执行器的工业机器人，并且所述零件具有要执行装配操作的目标区域，
所述方法包括，在所述零件前进时，
-将所述第一实时视觉系统的所述读数提供给所述工业机器人的控制器，以
-基于所述第一实时视觉系统的所述读数，使所述工业机器人的移位或所述工业机器人的所述末端执行器的移位与所述AGV沿着所述装配线在前进方向上的前进同步，以及
-使所述工业机器人的所述末端执行器相对于所述机器人基座的移位在竖直方向上与所述AGV的所述竖直振动同步，以及
-利用所述工业机器人在所述目标区域处执行所述装配操作，
利用所述工业机器人执行的所述装配操作包括
-视觉伺服处理，其中，至少基于包括安装在所述工业机器人上以与所述末端执行器一起移动的视觉传感器并且被布置成监测所述目标区域的位置的第二实时视觉系统的读数来实时控制所述工业机器人的所述末端执行器的移动，以及
-顺应行为处理，其中，控制所述工业机器人的所述末端执行器的所述移动，以至少允许所述末端执行器在至少一个方向上的顺应行为。
2.根据权利要求1所述的方法，其中，所述第一实时视觉系统的视觉传感器捕获所述AGV的标记或特征的图像，所述第一实时视觉系统的图像处理模块基于所捕获的图像提供表示所述AGV的移位的误差信号，并且所述视觉伺服控制器至少基于所述误差信号来控制所述装配单元。
3.根据权利要求1所述的方法，其中，所述第一实时视觉系统被布置成监测所述AGV的至少两个标记的位置。
4.根据权利要求1所述的方法，其中，所述装配线是汽车最后装配线。
5.一种汽车最后装配线，所述汽车最后装配线包括：运输系统，所述运输系统具有自动引导车AGV以使零件沿着所述汽车最后装配线前进；装配单元；以及第一实时视觉系统，所述第一实时视觉系统设置有固定地安装在所述汽车最后装配线中的视觉传感器并且被布置成在至少两个方向上跟踪所述AGV的移动，所述至少两个方向包括所述AGV沿着所述汽车最后装配线的前进方向和所述AGV的竖直振动方向，所述第一实时视觉系统的读数被提供给视觉伺服控制器，所述视觉伺服控制器被布置成控制要对由所述AGV推动或支承的零件执行的自动化操作，
其中，所述装配单元包括：
-工业机器人，所述工业机器人设置有机器人基座和机器人腕部、以及附接至所述机器人腕部的末端执行器，
-第二实时视觉系统，所述第二实时视觉系统包括安装在所述工业机器人上以与所述末端执行器一起移动的视觉传感器并且被布置成监测沿着所述汽车最后装配线前进的零件的目标区域的位置，
-顺应行为系统，所述顺应行为系统允许所述末端执行器在至少一个方向上的顺应行为，以及
-机器人控制器，所述机器人控制器控制所述工业机器人的所述末端执行器的移动，以在所述零件的所述目标区域处执行装配操作，
其中，所述第一实时视觉系统的输出端和所述第二实时视觉系统的输出端连接到所述机器人控制器，并且所述机器人控制器被配置成执行装配操作，所述装配操作包括：
-基于所述第一实时视觉系统的所述读数，使所述工业机器人的移位或所述工业机器人的所述末端执行器的所述移位与所述AGV沿着所述汽车最后装配线在前进方向上的前进同步，
-使所述工业机器人的所述末端执行器相对于所述机器人基座的移位在竖直方向上与所述AGV的所述竖直振动同步，以及
-视觉伺服处理，其中，还基于所述第二实时视觉系统的读数来实时控制所述工业机器人的所述末端执行器的所述移动，以及
-顺应行为处理，其中，控制所述工业机器人的所述末端执行器的所述移动以允许所述末端执行器的顺应行为。
6.根据权利要求5所述的汽车最后装配线，其中，所述第一实时视觉系统包括：视觉传感器，所述视觉传感器捕获所述AGV的标记或特征的图像；以及图像处理模块，所述图像处理模块接收所捕获的图像并且基于所捕获的图像向所述视觉伺服控制器提供表示所述AGV的移位的误差信号。
CN201980011152.2A 2018-02-06 2019-02-06 在装配线中装配零件 Active CN111712355B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18382065.3A EP3520971A1 (en) 2018-02-06 2018-02-06 Assembling parts in an assembly line
EP18382065.3 2018-02-06
PCT/EP2019/052911 WO2019154858A1 (en) 2018-02-06 2019-02-06 Assembling parts in an assembly line

Publications (2)

Publication Number Publication Date
CN111712355A CN111712355A (zh) 2020-09-25
CN111712355B true CN111712355B (zh) 2023-10-03

Family

ID=61256876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011152.2A Active CN111712355B (zh) 2018-02-06 2019-02-06 在装配线中装配零件

Country Status (5)

Country Link
US (1) US11890706B2 (zh)
EP (2) EP3520971A1 (zh)
CN (1) CN111712355B (zh)
ES (1) ES2965233T3 (zh)
WO (1) WO2019154858A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11426874B2 (en) * 2019-04-30 2022-08-30 Flexiv Ltd. Robot-based insertion mounting of workpieces
US11679508B2 (en) * 2019-08-01 2023-06-20 Fanuc Corporation Robot device controller for controlling position of robot
EP4051462A4 (en) * 2019-10-29 2023-10-18 ABB Schweiz AG SYSTEM AND METHOD FOR ROBOT EVALUATION
EP3944932A1 (en) * 2020-07-27 2022-02-02 ABB Schweiz AG A method and an assembly unit for performing assembling operations
JP2022052995A (ja) * 2020-09-24 2022-04-05 セイコーエプソン株式会社 ロボットの制御方法およびロボットシステム
CN112757292A (zh) * 2020-12-25 2021-05-07 珞石（山东）智能科技有限公司 基于视觉的机器人自主装配方法及装置
EP4052859A1 (de) * 2021-03-05 2022-09-07 AyTec Automation GmbH Förder- und montagevorrichtung für kraftfahrzeuge
CN112896379A (zh) * 2021-03-09 2021-06-04 矩阵数据科技(上海)有限公司 一种新型汽车装配工艺
CN113400318B (zh) * 2021-07-16 2023-03-24 四川成焊宝玛焊接装备工程有限公司 机器人用户坐标系补偿方法、汽车在线滚边系统及方法
CN113878588B (zh) * 2021-11-12 2023-03-31 哈尔滨工业大学（深圳） 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
WO2023141886A1 (zh) * 2022-01-27 2023-08-03 宁德时代新能源科技股份有限公司 车辆总装生产线和车辆总装的方法
CN114881527B (zh) * 2022-06-06 2022-11-04 安徽大学江淮学院 一种汽车智能组装在线可视化追溯智能管理系统
CN115292540B (zh) * 2022-07-22 2023-06-13 杭州易有料科技有限公司 多模态零件信息识别方法、装置、设备和计算机可读介质
CN117647964B (zh) * 2024-01-29 2024-04-23 中航西飞民用飞机有限责任公司 用于飞机总装配的协同跟随移动移载平台控制系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102910223A (zh) * 2011-08-05 2013-02-06 通用汽车环球科技运作有限责任公司 用于机器人组装的运动停止工作站
CN103264738A (zh) * 2013-06-07 2013-08-28 上海发那科机器人有限公司 一种汽车风挡玻璃的自动装配系统及自动装配方法
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0304942B1 (en) * 1987-08-27 1994-08-10 Nissan Motor Co., Ltd. Production system using unmanned automatically guided vehicles
WO1992017312A1 (en) * 1991-04-01 1992-10-15 Gmfanuc Robotics Corporation Method and system for the flexible assembly of assemblies
GB0125079D0 (en) 2001-10-18 2001-12-12 Cimac Automation Ltd Auto motion:robot guidance for manufacturing
KR100454714B1 (ko) * 2002-02-16 2004-11-05 한국과학기술연구원 작업용 로봇, 작업용 로봇을 위한 액츄에이터 및 작업용 로봇의 제어방법
WO2009123956A1 (en) * 2008-03-31 2009-10-08 Abb Research Robot parts assembly on a workpiece moving on an assembly line
CN104827469B (zh) * 2013-10-10 2016-10-19 精工爱普生株式会社 机器人控制装置、机器人系统、机器人以及机器人控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102910223A (zh) * 2011-08-05 2013-02-06 通用汽车环球科技运作有限责任公司 用于机器人组装的运动停止工作站
CN103264738A (zh) * 2013-06-07 2013-08-28 上海发那科机器人有限公司 一种汽车风挡玻璃的自动装配系统及自动装配方法
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Heping Chen, William Eakins, Jianjun Wang, George Zhang,Thomas Fuhlbrigge.Robotic Wheel Loading Process in Automotive Manufacturing Automation.The 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems.2009,第3814-3819页. *

Also Published As

Publication number Publication date
EP3749491A1 (en) 2020-12-16
US20200368861A1 (en) 2020-11-26
WO2019154858A1 (en) 2019-08-15
US11890706B2 (en) 2024-02-06
CN111712355A (zh) 2020-09-25
EP3520971A1 (en) 2019-08-07
ES2965233T3 (es) 2024-04-11
EP3749491B1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
CN111712355B (zh) 在装配线中装配零件
CN112059363B (zh) 一种基于视觉测量的无人爬壁焊接机器人及其焊接方法
US9333654B2 (en) Robot parts assembly on a workpiece moving on an assembly line
TWI637830B (zh) 自走式關節機器人
KR101980817B1 (ko) 생산 시스템
US20060167587A1 (en) Auto Motion: Robot Guidance for Manufacturing
CN104044131A (zh) 机器人系统、校正方法及被加工物制造方法
JP6748126B2 (ja) 作業ロボットシステム
US10232899B1 (en) Virtual stop station
CN110267770A (zh) 机器人系统及其控制方法
CN106965417B (zh) 一种用于智能电子产品嵌线3d打印的系统及打印方法
JP2020116687A (ja) 追随ロボットおよび作業ロボットシステム
JP7000378B2 (ja) 無人搬送ロボットシステム
US20220024041A1 (en) Method and an assembly unit for performing assembling operations
EP3904015B1 (en) System and method for setting up a robotic assembly operation
JP6816060B2 (ja) 作業ロボットシステムおよび作業ロボット
CN107272693A (zh) 基于全向车与装配工位自动对接系统及方法
Storm et al. Model predictive control approach for assembling large components in motion
JP6901434B2 (ja) ロボットシステムおよびロボット
JP2008264901A (ja) 移動ロボット及びその自動連結方法、並びにパラレルリンク機構の駆動制御方法
JPH0221992B2 (zh)
KR102113636B1 (ko) 변위센서를 이용한 차체제조시스템
KR100842088B1 (ko) 연속컨베이어 기반 차체 위치계측시스템 및 그 방법
JP2009143293A (ja) ガラス搬送装置及びその制御方法、並びに車両の製造方法
WO2023166588A1 (ja) 作業ロボットシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant