CN115519551A - 用于车辆平台的无固定装置组装的方法和系统 - Google Patents
用于车辆平台的无固定装置组装的方法和系统 Download PDFInfo
- Publication number
- CN115519551A CN115519551A CN202210633141.1A CN202210633141A CN115519551A CN 115519551 A CN115519551 A CN 115519551A CN 202210633141 A CN202210633141 A CN 202210633141A CN 115519551 A CN115519551 A CN 115519551A
- Authority
- CN
- China
- Prior art keywords
- component
- robotic
- assembly
- components
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 239000012636 effector Substances 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 6
- 238000004026 adhesive bonding Methods 0.000 claims description 5
- 238000003466 welding Methods 0.000 claims description 5
- 238000005304 joining Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
- B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
- B62D65/024—Positioning of sub-units or components with respect to body shell or other sub-units or components
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D53/00—Making other particular articles
- B21D53/88—Making other particular articles other parts for vehicles, e.g. cowlings, mudguards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P2700/00—Indexing scheme relating to the articles being treated, e.g. manufactured, repaired, assembled, connected or other operations covered in the subgroups
- B23P2700/50—Other automobile vehicle parts, i.e. manufactured in assembly lines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40033—Assembly, microassembly
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40307—Two, dual arm robot, arm used synchronously, or each separately, asynchronously
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40571—Camera, vision combined with force sensor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40586—6-DOF force sensor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40604—Two camera, global vision camera, end effector neighbourhood vision camera
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manufacturing & Machinery (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Automatic Assembly (AREA)
- Manipulator (AREA)
Abstract
本公开提供“用于车辆平台的无固定装置组装的方法和系统”。一种用于组装车辆平台的系统包括:机器人组装系统,所述机器人组装系统具有至少两个机器人臂;视觉系统,所述视觉系统捕获组装框架的图像;以及控制系统,所述控制系统被配置为基于来自所述视觉系统的图像、来自至少两个机器人臂的力反馈以及部件定位模型来控制机器人组装系统以组装车辆平台。控制系统还被配置为:从图像识别车辆平台的第一部件和第二部件的组装特征;基于图像和部件定位模型来操作机器人臂以将第一部件和第二部件取向到相应的标称位置;并且基于力反馈来操作机器人臂以将第一部件组装到第二部件。
Description
技术领域
本公开涉及用于组装车辆平台的方法和系统。
背景技术
本部分中的陈述仅提供了与本公开相关的背景信息,并且可能不构成现有技术。
在制造具有多个部件的模块化车辆平台时,通常的做法是在组装期间采用对准工具来控制部件的位置。例如,刚性固定装置通常用于对准和组装车辆平台的特定部件。在一些应用中,采用多个固定装置以便制造单个车辆平台。另外,此类刚性固定装置通常不适用于不同大小和/或形状的车辆平台,从而需要用于不同车辆平台的单独的固定装置组。
本公开解决与组装模块化车辆平台相关的这些和其他问题。
发明内容
本部分提供了对本公开的总体概述并且不是对其全部范围或其所有特征的全面公开。
在一种形式中,本公开涉及一种用于组装车辆平台的系统。系统包括机器人组装系统、视觉系统和控制系统。机器人组装系统包括可操作以定位车辆平台的部件的至少两个机器人臂。至少两个机器人臂中的每一个包括末端执行器和被配置为提供力反馈的力传感器。至少两个机器人臂包括被配置为定位第一部件的第一机器人臂和被配置为定位第二部件的第二机器人臂。车辆平台的部件包括第一部件和第二部件。视觉系统包括一个或多个多维成像装置,所述一个或多个多维成像装置被配置为捕获车辆平台的部件将要定位到的一个或多个组装框架的图像。控制系统被配置为基于来自视觉系统的图像、来自至少两个机器人臂的力反馈以及部件定位模型来控制机器人组装系统以组装车辆平台。控制系统包括处理器和存储可由处理器执行的指令的非暂时性计算机可读介质。指令包括:从来自视觉系统的图像识别第一部件和第二部件的一个或多个组装特征;基于来自视觉系统的图像和部件定位模型来分别操作第一机器人臂和第二机器人臂以将第一部件和第二部件取向到相应的标称位置;以及基于力反馈来操作第一机器人臂和第二机器人臂以将第一部件组装到第二部件。
在一些变型中,部件定位模型是被配置为基于部件的当前位置来为第一机器人臂和第二机器人臂提供期望的机器人臂位置的经训练模型。
在一些变型中,为了将第一部件组装到第二部件,控制系统的指令还包括:确定来自力传感器的力反馈是否高于限定的设置点,以及响应于力反馈高于限定的设置点而指示机器人组装系统结束第一部件与第二部件的组装。
在一些变型中,视觉系统的一个或多个多维成像装置中的至少一个固定到机器人组装系统。
在一些变型中,视觉系统的一个或多个多维成像装置中的至少一个在机器人组装系统外部。
在一些变型中,为了将第一部件和第二部件取向到相应的标称位置,控制系统的指令还包括:基于在图像中识别的组装特征来确定第一部件和第二部件的当前位置;由部件定位模型基于当前位置和标称位置来计算第一部件和第二部件的位置偏移;以及基于位置偏移来操作第一机器人臂和第二机器人臂以将第一部件和第二部件提供到相应的标称位置。
在一些变型中,一个或多个成像装置被配置为使一个或多个组装框架的图像与视觉系统坐标系相关联,并且控制系统的指令还包括将一个或多个组装框架的图像从视觉系统坐标系转换到与机器人组装系统相关联的机器人坐标系。
在一些变型中,系统还包括机器人接合系统,所述机器人接合系统被配置为将第一部件固定地固定到第二部件作为固定过程的一部分。控制系统的指令还包括操作机器人接合系统以固定地固定组装的第一部件和第二部件。
在一些变型中,机器人接合系统包括一个或多个末端执行器工具,所述一个或多个末端执行器工具被配置为经由焊接、粘合剂粘结、机械紧固或其组合将第一部件固定地固定到第二部件。
在一些变型中,机器人组装系统被配置为在通过机器人接合系统的固定过程期间控制第一部件和第二部件的位置。
在一种形式中,本公开涉及一种组装车辆平台的方法。所述方法包括由机器人组装系统定位车辆平台的第一部件和第二部件,其中机器人组装系统包括至少两个机器人臂,所述至少两个机器人臂中的每一个包括末端执行器和被配置为提供力反馈的力传感器,并且所述至少两个机器人臂包括被配置为定位第一部件的第一机器人臂和被配置为定位第二部件的第二机器人臂。所述方法还包括由视觉系统捕获车辆平台的第一部件和第二部件将要定位到的一个或多个组装框架的图像,其中视觉系统包括一个或多个多维成像装置。所述方法还包括:由控制系统从来自视觉系统的图像识别第一部件和第二部件的一个或多个组装特征;由控制系统基于来自视觉系统的图像和部件定位模型来操作第一机器人臂和第二机器人臂以将第一部件和第二部件取向到相应的标称位置;以及由控制系统基于来自力传感器的力反馈来操作第一机器人臂和第二机器人臂以将第一部件组装到第二部件。
在一些变型中,部件定位模型是被配置为分别基于第一部件和第二部件的当前位置来为第一机器人臂和第二机器人臂提供期望的机器人臂位置的经训练模型。
在一些变型中,为了将第一部件组装到第二部件,所述方法还包括:由控制系统确定力反馈是否高于限定的设置点;以及由控制系统响应于力反馈高于限定的设置点而指示机器人组装系统结束第一部件到第二部件的组装。
在一些变型中,为了将第一部件和第二部件取向到相应的标称位置,所述方法还包括:由控制系统基于从图像中识别的组装特征来确定第一部件和第二部件的当前位置;由控制系统经由部件定位模型基于当前位置和标称位置来计算第一部件和第二部件的位置偏移;以及由控制系统基于位置偏移来操作第一机器人臂和第二机器人臂以将第一部件和第二部件提供到相应的标称位置。
在一些变型中,所述方法还包括由视觉系统使一个或多个组装框架的图像与视觉系统坐标系相关联;以及由控制系统将一个或多个组装框架的图像从视觉系统坐标系转换到与机器人组装系统相关联的机器人坐标系。
在一些变型中,所述方法还包括由控制系统操作机器人接合系统以在固定过程期间固定地固定组装的第一部件和第二部件。
在一些变型中,机器人接合系统包括一个或多个末端执行器工具,所述一个或多个末端执行器工具被配置为经由焊接、粘合剂粘结、机械紧固或其组合将第一部件固定地固定到第二部件。
在一些变型中,所述方法还包括由机器人组装系统在机器人接合系统的固定过程期间控制第一部件和第二部件的位置。
在一种形式中,本公开涉及一种用于组装车辆平台的系统。系统包括机器人组装系统、视觉系统和控制系统。机器人组装系统包括至少两个机器人臂,所述至少两个机器人臂可操作以定位车辆平台的部件,其中至少两个机器人臂中的每一个包括末端执行器和被配置为提供力反馈的力传感器。至少两个机器人臂包括被配置为定位第一部件的第一机器人臂和被配置为定位第二部件的第二机器人臂,其中车辆平台的部件包括第一部件和第二部件。视觉系统包括一个或多个多维成像装置,所述一个或多个多维成像装置被配置为捕获车辆平台的部件将要定位到的一个或多个组装框架的图像。控制系统被配置为基于来自视觉系统的图像、来自至少两个机器人臂的力反馈以及部件定位模型来控制机器人组装系统以组装车辆平台。控制系统包括处理器和存储可由处理器执行的指令的非暂时性计算机可读介质,并且指令包括:从来自视觉系统的图像识别第一部件和第二部件的组装特征;基于所识别的组装特征来确定第一部件和第二部件的当前位置;由部件定位模型基于第一部件和第二部件的当前位置和标称位置来计算第一部件和第二部件的位置偏移;基于位置偏移来操作第一机器人臂和第二机器人臂以将第一部件和第二部件提供到相应的标称位置;基于力反馈来操作第一机器人臂和第二机器人臂以将第一部件组装到第二部件;确定来自力传感器的力反馈是否高于限定的设置点;以及响应于力反馈高于限定的设置点而指示机器人组装系统结束第一部件与第二部件的组装。
在一些变型中,系统还包括机器人接合系统,所述机器人接合系统被配置为将第一部件固定地固定到第二部件作为固定过程的一部分,其中控制系统的指令还包括操作机器人接合系统以将组装的第一部件和第二部件固定地固定。
根据本文中提供的描述,另外的适用领域将变得显而易见。应当理解,描述和具体示例仅意图用于说明目的,而不意在限制本公开的范围。
附图说明
为了可以很好地理解本公开,现在将参考附图通过举例的方式描述本公开的各种形式,在附图中:
图1A是根据本公开的车辆平台的透视图;
图1B和图1C示出了图1A的车辆平台的部件;
图2示出了根据本公开的用于组装车辆平台的无固定装置组装系统;
图3是根据本公开的无固定装置组装系统的控制系统的框图;
图4是根据本公开的车辆平台的机器人臂操纵部件和坐标转换的透视图;以及
图5是根据本公开的组装例程的流程图。
本文中描述的附图仅用于说明目的,而并非意图以任何方式限制本公开的范围。
具体实施方式
以下描述本质上仅仅是示例性的并且不意图限制本公开、应用或用途。应理解,贯穿附图,对应的附图标记指示相似或对应的零件和特征。
通常,本公开提供了一种无固定装置组装系统,所述无固定装置组装系统被配置为使用部件定位模型以对车辆平台的部件进行取向并且使用力反馈控制来接合部件来组装模块化车辆平台。
参考图1A至图1C,在示例性应用中,车辆平台10包括多个部件,诸如导轨12A和节点12B(统称为“部件12”)。在一种形式中,部件12中的每一个包括用于确定部件的位置(例如,沿着x轴、y轴、z轴的位置和/或围绕横摆轴线、俯仰轴线、侧倾轴线的旋转位置)的组装特征。组装特征可以包括但不限于基准点、组装接口点和/或结构特征。例如,导轨12A包括接口点14A-1、14A-2、14A-3和14A-4、开口14A-5(即,结构特征)以及基准表面14A-6(统称为“导轨组装特征14A”)。节点12B包括接口点14B-1、14B-2、14B-3和14B-4、开口14B-5和基准表面14B-6(统称为“节点组装特征14B”)。
如本文所使用的,术语“结构”不应被解释为将部件限制为承受载荷部件,或者被配置为将结构载荷传递到相邻的附接部件的承受载荷部件。此外,“节点”应被解释为意指被配置为以模块化方式与相邻部件配合的部件的一个或多个特征。
如本文所述,本公开的固定装置组装系统采用用于捕获部件的图像的视觉系统,以及用于识别组装特征并控制机器人组装系统以将部件定位到期望位置并组装部件的控制系统。因此,关于诸如导轨12A和节点12B的部件,无固定装置组装系统被配置为在不使用刚性固定装置或其他固定对准工具的情况下组装车辆平台10。另外,无固定装置组装系统100适于组装不同类型的车辆平台,从而提供动态组装系统。例如,无固定装置组装系统100可以在一个时间段内组装Ford Bronco的部件,然后在另一个时间段内组装Ford Mach-E的部件,以及然后在另一个时间段内组装Ford F-150的部件。应当理解,这些车辆平台仅是示例性的,并且不应该被解释为限制本公开的范围。
参考图2和图3,在一种形式中,本公开的无固定装置组装系统100包括机器人组装系统102、一个或多个多维成像装置104A、104B以及用于控制机器人组装系统102的控制系统106。
在一种形式中,机器人组装系统102包括用于定位部件的至少两个机器人臂。例如,在图2中,机器人总成102包括提供为多轴工业机器人臂的机器人臂110A和110B(统称为“机器人臂110”)。机器人臂110包括末端执行器112A和112B(统称为“末端执行器112”)和集成的力传感器114A和114B(统称为“力传感器114”)诸如测力传感器,其被配置为提供力反馈。在一种形式中,力传感器114被配置为检测具有多个自由度(例如,6自由度)的力和扭矩,并且将检测到的力和扭矩作为信号(例如,模拟信号和/或数字信号)输出到控制系统106以进行进一步分析。如本文所使用的,术语定位包括获得/抓住、移动和/或保持部件。
在所提供的示例性应用中,作为第一机器人臂的机器人臂112A被配置为定位第一部件,并且作为第二机器人臂的机器人臂112B被配置为定位不同于第一部件的第二部件。一起控制机器人臂110以将第一部件组装到第二部件。虽然机器人臂110设置在两个单独的机器人上,但是可以采用具有一个或多个机器人臂的其他类型的机器人,诸如具有两个或更多个独立控制的机器人臂的单个机器人。
在一种形式中,除了机器人组装系统102之外,无固定装置组装系统100还包括机器人接合系统120,所述机器人接合系统被配置为固定地固定部件作为接合过程的一部分。在一种形式中,机器人接合系统120包括机器人工具臂121和一个或多个末端执行器工具122。在一种形式中,末端执行器工具122被配置为经由例如焊接、粘合剂粘结、机械紧固或其组合固定地固定部件。在示例性应用中,在固定过程期间,机器人组装系统102可操作以在末端执行器工具122经由机器人工具臂121沿着所组装的第一部件和第二部件的接口移动以将部件接合在一起时控制第一部件和第二部件的位置。
多维成像装置104A、104B形成用于组装过程的视觉系统。在一种形式中,成像装置104A、104B包括架空成像装置104A和设置在机器人臂110处的机器人中央成像装置104B(统称为“成像装置104”或“视觉系统104”)。多维成像装置104被配置为捕获部件将被定位到的且在成像装置104的视野内的一个或多个组装框架126的图像。多维成像装置104可以被提供为二维(2D)相机、三维(3D)相机、2D扫描仪和/或3D扫描仪以及其他合适的多维相机。虽然在图2中未示出,但是成像装置104经由有线和/或无线通信链路可通信地耦合到控制系统106。
控制系统106被配置为基于来自视觉系统104的图像、来自至少两个机器人臂110的力反馈以及部件定位模型130来控制机器人组装系统102以组装部件。更具体地,在一种形式中,控制系统106被配置为基于来自视觉系统的图像来操作第一机器人臂和第二机器人臂以将第一部件和第二部件取回并取向到相应的标称位置。控制系统106还被配置为基于力反馈操作第一机器人臂和第二机器人臂以将第一部件组装到第二部件,并且被配置为操作机器人接合系统120以固定地固定所组装的第一部件和第二部件。
参考图3,在一种形式中,控制系统106包括组装过程控制器132、用于控制机器人组装系统102的机器人组装控制器134以及用于控制机器人接合系统120的机器人接合控制器136。如本文所述,组装过程控制器132被配置为确定部件的位置,经由机器人组装系统102组装部件,并且经由机器人接合系统120接合所组装的部件。
机器人组装控制器134被配置为控制机器人组装系统102的移动,并且更具体地,控制机器人臂110的移动。例如,机器人组装控制器134被配置为驱动设置在机器人臂110中的马达和/或致动器以控制末端执行器112的位置,并且因此控制部件的位置。更具体地,在一种形式中,机器人组装控制器包括用于使机器人臂110执行一个或多个任务(诸如取回部件、定位部件和组装部件)的软件程序。
机器人接合控制器136被配置为控制机器人接合系统120的移动和末端执行器工具122的操作以固定地固定所组装的部件。更具体地,在一种形式中,机器人接合控制器136包括软件程序,以使机器人接合系统120执行一个或多个任务(诸如固定过程),以移动机器人工具臂121,并且更具体地,移动末端执行器工具122。
在一种形式中,组装过程控制器132包括部件取回模块140、具有部件定位模型130的位置控制模块142、组装控制模块144和部件接合模块146。部件取回模块140被配置为控制机器人组装系统102以取回要组装的部件。例如,部件可以设置在机器人组装系统102的机器人臂110的操作范围内的工作台区域中。部件取回模块140向机器人组装控制器134传输命令以使机器人臂从工作台区域取回相应的零件。在一些变型中,部件取回模块140可以处理来自成像装置104的图像以定位部件的指定组装特征(例如,部件的表面)并且用相应的部件对机器人臂110的末端执行器112取向。在一些变型中,在成像装置104设置在机器人臂110处的情况下,机器人组装控制器134被配置为处理来自机器人臂110处的成像装置104的图像以识别部件的指定组装特征,并且使机器人臂110取回部件。
一旦被取回,位置控制模块142就被配置为确定部件的位置,基于来自视觉系统的图像将要组装的部件定位到相应的标称位置,并且组装部件。为了确定部件的位置,位置控制模块142被配置为识别部件的一个或多个组装特征并确定组装特征的位置。更具体地,具有部件的组装框架的图像最初与和视觉系统相关联的坐标系(即,视觉系统坐标系)相关联。位置控制模块142被配置为将图像从视觉系统坐标系转换到与机器人组装系统102相关联的坐标系(即,机器人坐标系)。
例如,参考图4,图像400示出了由第一机器人臂404A提供的第一部件402A和由第二机器人臂404B提供的第二部件402B。关于视觉系统坐标系406提供与第一部件402A和第二部件402B相关的图像数据。然而,机器人组装系统在其自身的坐标系(即,机器人坐标系)内操作,并且因此,位置控制模块142使用已知技术(例如,一系列线性方程以及其他技术)来将图像400转换到机器人坐标系408。
继续参考图3,使用已知的图像图案技术,位置控制模块142识别部件处的一个或多个组装特征并确定指定的组装特征在机器人坐标系中的位置。例如,参考图1,用于定位部件的组装特征包括导轨12A的接口点14A-1至14-4和节点12B的接口点14B-1至14B-4。
利用部件的当前位置,并且更具体地,利用组装特征的当前位置,位置控制模块142控制机器人组装系统以将部件取向到标称位置。具体地,使用部件定位模型130,位置控制模块142被配置为计算位置偏移以将第一部件和第二部件取向到相应的标称位置。在一种形式中,部件定位模型130被提供为经训练的神经网络模型,所述经训练的神经网络模型被配置为使用部件的当前位置,并且更具体地,使用组装特征的位置作为输入来确定部件的标称位置以对部件进行组装。基于标称位置,部件定位模型130还计算部件的位置偏移,并且为机器人臂110提供期望的机器人臂位置以将部件放置在相应的标称位置处。利用期望的机器人臂位置,位置控制模块142指示机器人组装控制器134操作机器人臂110以将部件定位在相应的标称位置处。
一旦处于标称位置,组装控制模块144就被配置为基于来自力传感器的力反馈来组装部件。在一种形式中,组装控制模块144被配置为使机器人组装控制器134移动机器人臂以啮合部件。当部件啮合时,组装控制模块144确定来自力传感器的力反馈是否高于力设置点(即,限定的设置点),其中力设置点指示用于组装部件的力过大或过量。如果是,则组装控制模块144命令机器人组装控制器134结束部件的组装。例如,机器人臂110停止将部件推到一起,并且可以将部件放置在指定区域中以供进一步检查。在一种形式中,组装控制模块144被配置为监测力反馈以在部件略微未对准的情况下经由末端执行器112调整部件的位置。
在一些变型中,组装控制模块144还基于一个或多个指定的组装特征来组装部件,所述一个或多个指定的组装特征可以与用于取回和/或确定部件的位置的指定的组装特征相同和/或不同。例如,参考图1A至图1C,指定的组装特征包括导轨12A的开口14A-5和节点12B的开口14B-5。使用来自成像装置104的图像,组装控制模块144识别开口14A-5和14B-5并确定开口之间的距离是否在距离阈值内。如果是,则部件被啮合。如果否,则机器人组装系统102根据力反馈继续啮合部件。
一旦啮合,部件接合模块146就被配置为经由机器人接合控制器136操作机器人接合系统136以固定地固定第一部件和第二部件。在一种形式中,部件接合模块146向机器人接合控制器136发出命令以执行固定过程以使机器人接合系统120将部件固定地固定在一起。在一些变型中,部件接合模块146经由机器人组装系统102控制第一部件和第二部件的位置。例如,机器人组装系统102在固定过程期间与机器人接合系统120结合工作以固定地固定部件。
应容易理解,控制系统106可以以各种合适的方式配置以执行关于组装过程控制器132、机器人组装控制器134和机器人接合控制器136描述的功能。例如,组装控制模块144的某些操作(诸如监测力反馈)可以由机器人组装控制器134执行。在另一个示例中,在无固定装置组装系统100外部执行接合操作的情况下,控制系统106可以不具有部件接合模块146或机器人接合控制器136。
参考图5,提供了由本公开的固定装置组装系统执行的示例性组装例程500。在502处,固定装置组装系统使机器人组装系统取回第一部件和第二部件。在504处,固定装置组装系统捕获机器人组装系统将取回的第一部件和第二部件定位在其中的一个或多个组装框架的图像。在506处,固定装置组装系统基于捕获的图像来识别第一部件和第二部件的组装特征,并且在508处,基于捕获的图像和部件定位模型来操作机器人组装系统以将第一部件和第二部件取向到相应的标称位置。在510处,固定装置组装系统操作机器人组装系统以基于力反馈将第一部件组装到第二部件。
应当容易理解,例程500是示例性例程,并且可以提供其他例程。例如,例程可以基于组装特征中的一个或多个来验证部件的组装。也就是说,基于来自视觉系统的图像,控制系统被配置为识别指定的组装特征并确定部件是否被组装。(例如,指定的组装特征之间的距离、指定的组装特征的位置/取向以及其他组装特征特性)。
除非本文另有明确指示,否则指示机械/热性质、组成百分比、尺寸和/或公差或其他特性的所有数值在描述本公开的范围时应理解为由词语“约”或“大约”修饰。出于各种原因期望进行这种修饰,所述原因包括:工业实践;材料、制造和组装公差;以及测试能力。
如本文所使用,短语A、B和C中的至少一个应被解释为使用非排他性逻辑“或”表示逻辑(A或B或C),并且不应被解释为表示“A中的至少一者、B中的至少一者以及C中的至少一者”。
在本申请中,术语“控制器”和/或“模块”可指以下项、是以下项的一部分或包括以下项:专用集成电路(ASIC);数字、模拟或混合模拟/数字离散电路;数字、模拟或混合模拟/数字集成电路;可组合的逻辑电路;现场可编程门阵列(FPGA);执行代码的处理器电路(共享、专用或群组);存储由处理器电路执行的代码的存储器电路(共享、专用或群组);提供所描述的功能性的其他合适的硬件部件(例如,作为热通量数据模块的一部分的运算放大器电路积分器);或者以上项的一些或全部的组合,诸如在片上系统中。
术语存储器是术语计算机可读介质的子集。如本文所使用的术语计算机可读介质不涵盖通过介质(诸如在载波上)传播的暂时性电信号或电磁信号;因此,术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器电路(诸如快闪存储器电路、可擦除可编程只读存储器电路或掩模只读电路)、易失性存储器电路(诸如静态随机存取存储器电路或动态随机存取存储器电路)、磁性存储介质(诸如模拟或数字磁带,或者硬盘驱动器)和光学存储介质(诸如CD、DVD或蓝光光盘)。
本申请中所描述的设备和方法可由专用计算机部分地或完全地实现,所述专用计算机通过将通用计算机配置为执行计算机程序中体现的一种或多种特定功能来创建。功能框、流程图组成部分和上文描述的其他要素用作软件规范,所述软件规范可通过技术人员或程序员的常规工作来转译成计算机程序。
本公开的描述本质上仅仅是示例性的,并且因此,不脱离本公开的实质的变型意图在本公开的范围内。不应将此类变型视为脱离本公开的精神和范围。
在本发明的一个方面,所述方法的特征还在于,由控制系统操作机器人接合系统以在固定过程期间固定地固定组装的第一部件和第二部件。
根据实施例,机器人接合系统包括一个或多个末端执行器工具,所述一个或多个末端执行器工具被配置为经由焊接、粘合剂粘结、机械紧固或其组合将第一部件固定地固定到第二部件。
根据实施例,本发明的特征还在于,由机器人组装系统在机器人接合系统的固定过程期间控制第一部件和第二部件的位置。
根据本发明,提供了一种用于组装车辆平台的系统,所述系统具有:机器人组装系统,所述机器人组装系统包括可操作以定位车辆平台的部件的至少两个机器人臂,其中:所述至少两个机器人臂中的每一个包括末端执行器和被配置为提供力反馈的力传感器,并且所述至少两个机器人臂包括被配置为定位第一部件的第一机器人臂和被配置为定位第二部件的第二机器人臂,其中车辆平台的部件包括第一部件和第二部件;视觉系统,所述视觉系统包括一个或多个多维成像装置,所述一个或多个多维成像装置被配置为捕获车辆平台的部件将要定位到的一个或多个组装框架的图像;以及控制系统,所述控制系统被配置为基于来自视觉系统的图像、来自至少两个机器人臂的力反馈以及部件定位模型来控制机器人组装系统以组装车辆平台:控制系统包括处理器和存储可由处理器执行的指令的非暂时性计算机可读介质,并且指令包括:从来自视觉系统的图像识别第一部件和第二部件的组装特征;基于所识别的组装特征来确定第一部件和第二部件的当前位置;通过部件定位模型基于第一部件和第二部件的当前位置和标称位置来计算第一部件和第二部件的位置偏移;基于位置偏移来操作第一机器人臂和第二机器人臂以将第一部件和第二部件提供在相应的标称位置处;基于力反馈来操作第一机器人臂和第二机器人臂以将第一部件组装到第二部件;确定来自力传感器的力反馈是否高于限定的设置点;以及响应于力反馈高于限定的设置点而指示机器人组装系统结束第一部件和第二部件的组装。
根据实施例,本发明的特征还在于:机器人接合系统,所述机器人接合系统被配置为将第一部件固定地固定到第二部件作为固定过程的一部分,其中控制系统的指令还包括操作机器人接合系统以将组装的第一部件和第二部件固定地固定。
Claims (15)
1.一种用于组装车辆平台的系统,所述系统包括:
机器人组装系统,所述机器人组装系统包括可操作以定位所述车辆平台的部件的至少两个机器人臂,其中:
所述至少两个机器人臂中的每一个包括末端执行器和被配置为提供力反馈的力传感器,并且
所述至少两个机器人臂包括被配置为定位第一部件的第一机器人臂和被配置为定位第二部件的第二机器人臂,其中所述车辆平台的所述部件包括所述第一部件和所述第二部件;
视觉系统,所述视觉系统包括一个或多个多维成像装置,所述一个或多个多维成像装置被配置为捕获所述车辆平台的所述部件将要定位到的一个或多个组装框架的图像;以及
控制系统,所述控制系统被配置为基于来自所述视觉系统的所述图像、来自所述至少两个机器人臂的所述力反馈以及部件定位模型来控制所述机器人组装系统以组装所述车辆平台:
所述控制系统包括处理器和存储能够由所述处理器执行的指令的非暂时性计算机可读介质,以及
所述指令包括:
从来自所述视觉系统的所述图像识别所述第一部件和所述第二部件的一个或多个组装特征;
基于来自所述视觉系统的所述图像和所述部件定位模型来操作所述第一机器人臂和所述第二机器人臂以将所述第一部件和所述第二部件取向到相应的标称位置;以及
基于所述力反馈来操作所述第一机器人臂和所述第二机器人臂以将所述第一部件组装到所述第二部件。
2.如权利要求1所述的系统,其中所述部件定位模型是被配置为基于所述部件的当前位置来为所述第一机器人臂和所述第二机器人臂提供期望的机器人臂位置的经训练模型。
3.如权利要求1所述的系统,其中为了将所述第一部件组装到所述第二部件,所述控制系统的所述指令还包括:
确定来自所述力传感器的所述力反馈是否高于限定的设置点;以及
响应于所述力反馈高于所述限定的设置点而指示所述机器人组装系统结束所述第一部件和所述第二部件的组装。
4.如权利要求1所述的系统,其中所述视觉系统的所述一个或多个多维成像装置中的至少一个固定到所述机器人组装系统。
5.如权利要求1所述的系统,其中所述视觉系统的所述一个或多个多维成像装置中的至少一个在所述机器人组装系统外部。
6.如权利要求1所述的系统,其中为了将所述第一部件和所述第二部件取向到所述相应的标称位置,所述控制系统的所述指令还包括:
基于在所述图像中识别的所述组装特征来确定所述第一部件和所述第二部件的当前位置;
由所述部件定位模型基于所述当前位置和所述标称位置来计算所述第一部件和所述第二部件的位置偏移;以及
基于所述位置偏移来操作所述第一机器人臂和所述第二机器人臂以将所述第一部件和所述第二部件提供在相应的标称位置。
7.如权利要求1所述的系统,其中:
所述一个或多个成像装置被配置为使所述一个或多个组装框架的所述图像与视觉系统坐标系相关联,并且
所述控制系统的所述指令还包括将所述一个或多个组装框架的所述图像从所述视觉系统坐标系转换到与所述机器人组装系统相关联的机器人坐标系。
8.如权利要求1至7中任一项所述的系统,其还包括:
机器人接合系统,所述机器人接合系统被配置为将所述第一部件固定地固定到所述第二部件作为固定过程的一部分,
其中所述控制系统的所述指令还包括操作所述机器人接合系统以固定地固定组装的所述第一部件和所述第二部件。
9.如权利要求8所述的系统,其中所述机器人接合系统包括一个或多个末端执行器工具,所述一个或多个末端执行器工具被配置为经由焊接、粘合剂粘结、机械紧固或其组合将所述第一部件固定地固定到所述第二部件。
10.如权利要求8所述的系统,其中所述机器人组装系统被配置为在通过所述机器人接合系统的所述固定过程期间控制所述第一部件和所述第二部件的位置。
11.一种组装车辆平台的方法,所述方法包括:
由机器人组装系统定位所述车辆平台的第一部件和第二部件,其中所述机器人组装系统包括至少两个机器人臂,所述至少两个机器人臂中的每一个包括末端执行器和力传感器,所述力传感器被配置为提供力反馈,并且所述至少两个机器人臂包括被配置为定位所述第一部件的第一机器人臂和被配置为定位所述第二部件的第二机器人臂;
由视觉系统捕获所述车辆平台的所述第一部件和所述第二部件将要定位到的一个或多个组装框架的图像,其中所述视觉系统包括一个或多个多维成像装置;
由控制系统从来自所述视觉系统的所述图像识别所述第一部件和所述第二部件的一个或多个组装特征;
由所述控制系统基于来自所述视觉系统的所述图像和部件定位模型来操作所述第一机器人臂和所述第二机器人臂以将所述第一部件和所述第二部件取向到相应的标称位置;以及
由所述控制系统基于来自所述力传感器的所述力反馈来操作所述第一机器人臂和所述第二机器人臂以将所述第一部件组装到所述第二部件。
12.如权利要求11所述的方法,其中所述部件定位模型是被配置为分别基于所述第一部件和所述第二部件的当前位置来为所述第一机器人臂和所述第二机器人臂提供期望的机器人臂位置的经训练模型。
13.如权利要求11所述的方法,其还包括:为了将所述第一部件组装到所述第二部件,
由所述控制系统确定所述力反馈是否高于限定的设置点;以及
由所述控制系统响应于所述力反馈高于所述限定的设置点而指示所述机器人组装系统结束所述第一部件到所述第二部件的组装。
14.如权利要求11所述的方法,其还包括:为了将所述第一部件和所述第二部件取向到所述相应的标称位置:
由所述控制系统基于从所述图像识别的所述组装特征来确定所述第一部件和所述第二部件的当前位置;
通过所述控制系统经由所述部件定位模型基于所述当前位置和所述标称位置计算所述第一部件和所述第二部件的位置偏移;以及
由所述控制系统基于所述位置偏移来操作所述第一机器人臂和所述第二机器人臂,以将所述第一部件和所述第二部件提供在相应的标称位置处。
15.如权利要求11所述的方法,其还包括:
通过所述视觉系统使所述一个或多个组装框架的所述图像与视觉系统坐标系相关联;以及
由所述控制系统将所述一个或多个组装框架的所述图像从所述视觉系统坐标系转换到与所述机器人组装系统相关联的机器人坐标系。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/357,592 | 2021-06-24 | ||
US17/357,592 US11603150B2 (en) | 2021-06-24 | 2021-06-24 | Method and system for fixtureless assembly of a vehicle platform |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115519551A true CN115519551A (zh) | 2022-12-27 |
Family
ID=84388467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210633141.1A Pending CN115519551A (zh) | 2021-06-24 | 2022-06-07 | 用于车辆平台的无固定装置组装的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11603150B2 (zh) |
CN (1) | CN115519551A (zh) |
DE (1) | DE102022114864A1 (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010180B2 (en) * | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
US9785610B1 (en) * | 2011-11-15 | 2017-10-10 | Hunter Engineering Company | Visual display of vehicle wheel assembly for vehicle wheel service system |
US20150336271A1 (en) | 2014-05-20 | 2015-11-26 | GM Global Technology Operations LLC | System and method for fixtureless component location in assembling components |
US9713870B2 (en) * | 2014-05-30 | 2017-07-25 | GM Global Technology Operations LLC | System and method for locating vehicle components relative to each other |
US10095214B2 (en) * | 2015-08-21 | 2018-10-09 | Processchamp, Llc | System and method for joining workpieces to form an article |
US10712730B2 (en) * | 2018-10-04 | 2020-07-14 | The Boeing Company | Methods of synchronizing manufacturing of a shimless assembly |
US11559897B2 (en) | 2018-10-26 | 2023-01-24 | George K. Ghanem | Reconfigurable, fixtureless manufacturing system and method assisted by learning software |
US11034024B2 (en) | 2019-02-15 | 2021-06-15 | GM Global Technology Operations LLC | Fixtureless component assembly |
US10899012B2 (en) | 2019-02-15 | 2021-01-26 | GM Global Technology Operations LLC | Coordinated robot to robot component assembly |
EP4179398A2 (en) * | 2020-06-16 | 2023-05-17 | Arrival Limited | Robotic production environment for vehicles |
-
2021
- 2021-06-24 US US17/357,592 patent/US11603150B2/en active Active
-
2022
- 2022-06-07 CN CN202210633141.1A patent/CN115519551A/zh active Pending
- 2022-06-13 DE DE102022114864.5A patent/DE102022114864A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220410995A1 (en) | 2022-12-29 |
DE102022114864A1 (de) | 2022-12-29 |
US11603150B2 (en) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8180487B1 (en) | Calibrated vision based robotic system | |
US20200298411A1 (en) | Method for the orientation of an industrial robot, and industrial robot | |
JP6238421B2 (ja) | 関節の少なくとも1つの特性を求める方法およびシステム | |
US9132924B2 (en) | Device for spatially orienting at least two subgroup components and method | |
US20190160682A1 (en) | Robot system and method for controlling robot system | |
KR101947825B1 (ko) | 로봇, 및 로봇을 작동시키기 위한 방법 | |
JP5803159B2 (ja) | ロボット監視システム、及びロボット監視システムの異常判定方法 | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP2011230243A (ja) | ロボットの教示手順校正装置および方法 | |
US9746848B2 (en) | System and method for adaptive positioning of a work piece | |
CN113195171A (zh) | 用于带有工具偏移量的相机-机器人系统的自动校准 | |
Zacharias et al. | Positioning mobile manipulators to perform constrained linear trajectories | |
CN114589487B (zh) | 用于无固定装置组装的准确位置控制 | |
US11141855B2 (en) | Robot system, method of controlling robot arm, recording medium, and method of manufacturing an article | |
CN115519551A (zh) | 用于车辆平台的无固定装置组装的方法和系统 | |
CN113580126A (zh) | 用于设置机器人装配操作的系统和方法 | |
CN114555240A (zh) | 末端执行器以及末端执行器的控制装置 | |
Lueth et al. | Reliability and integrated capabilities of locomotion and manipulation for autonomous robot assembly | |
JP5447150B2 (ja) | ロボットの制御装置およびロボットを制御する方法 | |
US20200009727A1 (en) | System and Method for Detection and Correction of Robot Payload Position | |
JP2018167333A (ja) | ロボット制御装置、ロボットおよびロボットシステム | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
US20210042665A1 (en) | Learning software assisted fixtureless object pickup and placement system and method | |
WO2022086692A1 (en) | Learning software assisted object joining | |
JP2015085457A (ja) | ロボット、ロボットシステム及びロボット制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |