CN102448679B - 至少一个物体以高精度定位到空间最终位置的方法和系统 - Google Patents

至少一个物体以高精度定位到空间最终位置的方法和系统 Download PDF

Info

Publication number
CN102448679B
CN102448679B CN201080023382.XA CN201080023382A CN102448679B CN 102448679 B CN102448679 B CN 102448679B CN 201080023382 A CN201080023382 A CN 201080023382A CN 102448679 B CN102448679 B CN 102448679B
Authority
CN
China
Prior art keywords
dimensional image
industrial robot
coordinate system
spatial coordinate
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080023382.XA
Other languages
English (en)
Other versions
CN102448679A (zh
Inventor
贝恩德·瓦尔泽
伯恩哈德·麦茨勒
贝亚特·埃比舍尔
克努特·西尔克斯
波·佩特尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN102448679A publication Critical patent/CN102448679A/zh
Application granted granted Critical
Publication of CN102448679B publication Critical patent/CN102448679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36412—Fine, autonomous movement of end effector by using camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39387—Reflex control, follow movement, track face, work, hand, visual servoing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40555—Orientation and distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40604—Two camera, global vision camera, end effector neighbourhood vision camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/06—Communication with another machine
    • Y10S901/08—Robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/14—Arm movement, spatial
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/31—Gripping jaw
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及至少一个物体以高精度定位到空间内的最终位置的方法和系统。物体在抓取误差内被工业机器人抓取和保持。确定用于工业机器人的、修正抓取误差的补偿变量。物体通过在直至在预定误差内到达最终位置前重复的以下步骤，被高精度调整移动到最终位置：利用三维图像拍摄装置拍摄三维图像。由三维图像拍摄装置的位置、由角度测量单元测定的三维图像拍摄装置的角度取向、三维图像和在物体上的特征的已知情况确定空间坐标系内的物体实际位置。计算物体实际位置和最终位置之间的位置差。在考虑补偿变量的情况下由工业机器人实际位置和与位置差关联的变量来计算工业机器人的新的理论位置。调整工业机器人到新的理论位置。

Description

至少一个物体以高精度定位到空间最终位置的方法和系统
技术领域
本发明涉及利用工业机器人和光学三维图像拍摄装置以高精度将至少一个具有可光学测量的已知特征的物体定位到空间最终位置的方法，以及用于执行该方法的相应系统。这种方法和系统尤其应用在例如汽车业中的自动化加工生产线的安装和制造过程中，其中，一个物体如金属板件或其它车身部件应借助工业机器人被高精度置入某个空间位置和取向，以便执行加工作业。
背景技术
从现有技术中已知的搬运输送系统，尤其是工业机器人如活节臂机器人，为了按照规定的空间位置和取向定位借助抓取装置被抓住的物体而具有内部测量系统，内部测量系统能够测量搬运输送系统的组成部分的位置，因此打探到抓取装置的空间位置和取向。此时需要区分涉及轴的坐标系和涉及空间的坐标系。涉及轴的坐标系总是涉及机器人的轴及其各自位置。从机器人的这些独立轴和组成部分的运动链及其相应位置中，得到在运动链末端的机器人工具即抓取装置的明确方位(位置和取向)。但是，工业机器人的抓取装置的方位最好关于空间通过所谓的TCP(工具中心点)来描述。它是位于机器人工具的适当位置上的假想参照点。为了说明机器人工具应占据哪个方位，TCP的空间位置及其转动被定义。尤其是利用所谓的Denavit-Hartenberg转换，借助机器人控制装置计算出这些独立的机器人轴必须占据哪个位置，从而机器人工具占据规定的方位。包括其TCP的抓取装置的方位最好涉及全局坐标系、空间坐标系或者网格坐标系，其例如直接或间接涉及到第一轴、主轴线、底座基础或者机器人的机器人底座并与之耦联。其余子坐标系涉及全局坐标系、空间坐标系或网格坐标系。当然，全局坐标系、空间坐标系或网格坐标系不一定是绝对全局系统，而是该系统也可以下属有另一个系统。就是说，此时涉及这样的坐标系，它在操作过程内构成上级参照系。该系统大多与车间、工作室或生产操作室的地面相关联。
因此，包括被抓物体在内的抓取装置可通过给机器人控制装置输入相应信息被调整移动到某个预定位置。就是说，被抓物体通过抓取装置的位置设定被定位在空间内。但在此情况下，尤其出现以下两个问题。
其一，设计用于保持笨重物体的常见工业机器人的测量系统没有精确到使抓取装置能像在许多加工方法中所需要的那样，占据空间内的如此精确的方位。尽管工业机器人的驱动足够精确，但其测量系统则不然。运动链使各个测量机构的测量误差倍增。这不仅由各个测量机构尤其是活节臂机器人的角度传感器的测量精度产生，而且由机器人执行操作机构的不可避免的弹性产生。
其二，从抓取装置的位置和进而其空间方位还无法必然得到物体的空间方位，这是因为该物体大多只能在抓取误差内被抓住。抓取误差通常远高于所要求的定位精度。因此，抓取误差即物体相对于抓取装置的相对方位同样要加以考虑。对此采用了单独的、不再属于机器人的测量系统，尤其是非接触式光学测量系统。只有它才实现了以期望的精度按照预定方位在空间内定位物体。
WO 2007/004983 A1(Pettersson)公开一种工件尤其是压制板件或复合板的对接焊接方法。要对接的工件被工业机器人保持并被其相对定位以便相互焊接在一起。在产生焊接联接的过程中，工件被工业机器人保持在各自位置上，从而工件的相对位置彼此保持不变。焊接例如借助焊接机器人来进行。测量系统测量工件位置，以允许在焊接作业前定位工件。测量尤其在焊接作业中连续进行。所述的方法允许不采用在其它情况下常见的工件特定且制造复杂的模具和工件支座(在焊接前，工件必须被固定在其中)。工业机器人可以被通用于具有不同造型和结构的工件，这是因为可以通过用测量系统测量工件位置来识别和监控工件以及精确地相互定位部件。因此，唯一的系统可被用于不同的工件。工件支座的更换因此是多余的。根据公开内容，所述方法尤其适用于板件焊接，主要用在汽车业中。作为可行的测量系统，总体提出激光三角定位法，按照该方法，测量在工件上事先确定下来的点。对此，例如将反射器设置在工件上。根据说明书内容，每个反射器的位置可以借助一个光源和一个两维检测器来确定，从而工件的位置和取向可借助三个这样的点来测定。WO 2007/004983 A1未详细描述测量系统的具体结构。
US 5,380,978(Pryor)描述了利用工业机器人在空间中定位物体尤其是板件的方法。作为测量系统，尤其使用了摄像机，其为了三维测量物体空间方位而具有相应的立体底座。摄像机可转动以调整视界，并且在一个特殊实施方式中呈经纬仪摄像机形式，它也可以具有激光测距仪。所述的经纬仪此时用作摄像机的精确调整装置。类似的测量系统也在US 4,851,905(Pryor)和US 5,706,408(Pryor)中有描述。
在US 2009/055024 A1(Kay)中描述了机械臂和控制系统，其中，一个固定取向的且具有有限视界的3D扫描装置对准机械臂和目标物体。机械臂和目标物体都具有多个标记，这些标记位于3D扫描装置的固定视界内。在目标物体和机械臂之间的相对空间方位借助3D扫描装置来测量。机械臂借助3D扫描装置被如此控制，即，目标物体可被机械臂抓住。上述系统的缺点在于，3D扫描装置的固定的有限视界只允许在机械臂和目标物体之间存在很有限的距离，这是因为这两个部件的这些标记始终必须位于该视界内。因为由此需要3D扫描装置的大视界和有限的图像分辨率，所以只能获得有限的定位精度，这是因为不能以足够高的精度来测量这些标记。因为所述方法只描述了相对调整不抓取物体的机械臂移向待抓取的物体，因而只需要实现该标记相互间的相对位置测量，所以不需要测量在空间内的3D扫描装置的绝对位置和取向。因此完全省掉了呈确定在空间坐标系内的3D扫描装置位置或者测量在空间坐标系内的取向形式的提供参照。
在EP 1 345 099 A2(TECMEDIC)中描述了一种方法，其用于确定由机器人手爪不精确抓住的工件的存放，并且用于利用机器人安装工件到物体，其包括手爪、带有传感器如摄像机的图像处理系统和计算机。多个位置固定的或者安装在机械臂上的且相互间隔的摄像机各自具有固定的视界，在这里，摄像机的视界交叠。首先，测量校准物体和校准工件的方位。工件被机器人不精确地抓住。工件被移入实际预保持位置。根据将工件从事先结合校准工件求出的理论预保持位置存放在实际预保持位置上来计算出实际矢量，它表示机器人抓取误差。基于该实际矢量，计算用于手爪调整移动的转换，在这里，计算在工件和物体之间所需要的相对运动。根据实际矢量的调整移动仅通过机器人定位系统来进行，在这里基于以下前提，机器人能以足够高的精度定位工件并且机器人误差不重要。因为摄像机视界是有限且不可调的，所以该方法可能仅被用在有限的空间区域内。虽然借助该方法测量手爪的抓取误差，但无法测量机器人定位系统中可能有的不精确性。其前提是理想化的极高的机器人精度。此外，摄像机必须借助外参照系在全局坐标系中被提供参照。
在WO 2005/039836(ISRA Vision)中描述一种方法，其利用执行机构的至少一个控制装置来定向搬运输送装置的运动。为控制装置规定涉及可光学测量的物体的运动过程。根据已知物体的位置和/或运动状态和涉及该物体的运动过程，计算出用于搬运输送装置的执行机构的控制指令。相应的操作指令被发送给要运动的执行机构。换句话说，搬运输送装置跟随物体并且跟踪它运动，此时该物体既没有被搬运输送装置抓取，也没有被定位。图像拍摄通过固定不动的或者可随搬运输送装置移动的且具有固定的相对视界的摄像机来进行。
大多数这些系统和方法的共同点在于，在物体上的多个表征点的位置是利用非接触式摄影坐标测量在图像处理系统的帮助下来确定的。
为了在物体表面靠近进行非接触式摄影坐标测量，由从不同视角重现物体的图像通过将图像数据转换到一个物体坐标系(物体在该物体坐标系中是待测量的，并且该物体坐标系构成例如物体CAD模型的基础)而推断出物体尺寸及其相对于图像内其它物体的相对方位。对此，这些图像数据在数据处理装置中被处理。坐标系计算的基础是确定参与图像的相对摄像机方位。
在此情况下，如从现有技术中知道的那样存在以下可能性，利用唯一的摄像机时间错开地从不同视角拍摄物体表面的待测表面部分，随后利用图像处理系统分别将两维图像数据处理成所谓的三维图像。此时给三维图像的图像点分别分配深度信息，从而每个待研究的图像点，尤其是所有图像点，分配有在图像坐标系内的三维图像坐标，图像坐标系由摄像机及其透视来定。从现有技术中知道了不同的图像处理方法，用于从以不同视角表示相同场景的多个两维图像产生这种三维图像。
还是同样从现有技术中知道的那样存在以下可能性，代替从不同的视角用一个摄像机错时拍摄表面部分，执行借助多个摄像机的基本同时的拍摄。这不仅有以下优点，即无需摄像机运动就能三维测量表面部分，而且省掉了测量各自摄像机取向，因为摄像机相互间可具有固定的相对取向和距离。
现有技术公开了不同的三维图像拍摄装置，它们基本由两个或三个相互分隔的摄像机组成，就是说它们具有立体支座且相互固定连接地安装在一个共同壳体中，以便从各自不同的但固定的相对视角拍摄场景。因为被拍的表面部分不一定非要具有允许图像电子处理的表征图像特征，所以可以在表面部分上设置多个标记。该标记可利用由三维图像拍摄装置投射到表面部分上的结构化的光线尤其是例如投射光栅或光学交叉标记的激光束来产生。通常，这种三维图像拍摄装置也包括图像处理器，其根据基本上同时拍摄的不同视角的多个图像推导出三维图像。
这种三维图像拍摄装置例如是CogniTens公司的以商标名“Optigo”和“OptiCell”已知的图像拍摄系统，其包括按照等边三角形布置的三个摄像机，以及例如是ActiCM公司的“Advent”系统，其具有两个并列的高分辨率CCD摄像机和一个用于投射结构化光线到待拍摄部分上的投影机。
待测被拍图像元素的坐标确定一般借助在图像内的被参照标记实现，从该标记开始进行真正的3D坐标测量。在此情况下，涉及被拍三维图像和进而三维图像拍摄装置的图像坐标系被转换到物体要在其中被测量且例如构成物体CAD模型的基础的物体坐标系。该转换基于被拍参照标记而发生，该被拍参照标记在物体坐标系内的位置是已知的。利用从现有技术中知道的三维图像拍摄装置，此时获得小于0.5毫米的精度。
此外，公开了尤其呈具有光电测距仪的3D扫描仪形式的3D扫描系统，其在表面区域执行深度扫描并产生“点云(Punktwolke)”。在此情况下，分为顺次系统、并行系统和全并行系统，在顺次系统中，用点状测量光逐点地扫描表面，在并行系统中，线状测量光以线条方式扫描表面，在全并行系统中，表面区内的许多点被同时扫描，因此执行该表面区的深度记录。通常，所有这些系统的共同点是，深度扫描利用至少一个对准表面和/或移动经过表面的测距光进行。尤其是顺次系统是广为流传的，并且例如以商品名“Leica HDS 6000”、“Leica ScanStation 2”、“Trimble GX 3D Scanner”、“Zoller+IMAGER 5003”和“Zoller+IMAGER 5006”可买到。作为其它系统，例如举出“3rd Tech DeltaSphere3000IR”、“Basis Software Surphaser 25HSX”、“Basis Software Surphaser 25HS”、“Callidus precision Systems CPW 8000”、“Callidusprecision Systems CP 3200”、“Faro Europe LS 420”、“Faro Europe LS 880”、“I-Site4400-LR”、“I-Site 4400-CR”、“Optech ILRIS-3DER”、“Optech ILRIS-3D”、“Riegl LaserMeasurement Systems LMS-Z420i/LMS-Z390i”、“Riegl Laser Measurement SystemsLPM-321”和“Trimble VX”。
此外，存在RIM摄像机，也称为RIM(Range Imaging System)或者范围成像系统，借此可以拍摄物体图像，同时能测量用于每个图像点的或一组图像点的深度信息。因此，可以借助唯一的装置来拍摄一个三维图像，在此三维图像中，每个图像点或者多组图像点对应一个深度信息即距摄像机的间距信息。
每个三维图像拍摄装置的一个问题构成由结构决定受限的拍摄范围，在此拍摄范围内可以实现具有期望分辨率的图像拍摄。因此，在立体测量大型物体时，不可避免地从三维图像拍摄装置的不同位置和取向进行多次单独的立体拍摄。随后，许多较小图像拍摄利用重叠图像区域的搭配并借助被拍表面部分内的多个标记拼合成较大的立体总图像。从现有技术中公开了完成该任务的不同做法。这些方法的一个共同问题在于，这些单独的应被拼合成一幅较大图像的三维图像必须具有重叠区域。借助图像处理系统无法实现：三维图像拍摄装置位置从具有至少一个参照点第一表面部分到与第一表面部分相间隔但没有参照点的第二表面部分的离散变化，假如事先没有拍摄连接这两个表面部分的其它图像。因此需要完成多次中间图像拍摄，以便将这两个待测的间隔的表面部分在光学上连接起来并且允许实现关联的图像处理。因为拍摄了许多没有直接测量内容的三维图像，整个测量方法变得缓慢，占用了存储器和计算机资源。而且，在图像拍摄中必然带有少量测量误差的坐标测量在许多图像组合时对测量精度有显著影响，尤其是参照点相距很远的情况下。
使用具有在物体坐标系内的已知位置的多个参照点因为摄像机视界有限而是不可避免的。所述的单纯摄影测量系统的优点在于，不必求出在物体坐标系内的三维图像拍摄装置的各个摄像机的绝对位置和取向，因为被拍图像点的绝对位置确定是根据同样被拍的图像参考点的位置的已知情况、摄像机相互间相对取向以及通过三角测量法算出的待测点相对于图像参照点的相对位置来进行的。该测量系统因此可以被限制到图像校准的、且其相互间的相对位置已知的摄像机和图像处理装置。
所有这些系统的缺点在于，因为摄像机视界有限且图像分辨率有限，所以视界调整因摄像机或待测物体的转动或位置变化而通常无法避免。这主要在测量较大的要高精度测量的物体时是这种情形，因为图像分辨率有限，摄像机距物体的某个距离为了保持期望的测量精度而不应被超过，但是摄像机视界在如此靠近物体时只允许拍摄物体的一部分。因此，或是需要采用大量的参照点，从而在每次图像拍摄时都要动用位于视界内的相应数量的参照点、优选三个参照点，或是动用已事先确定的物体点的位置，尤其是物体上的标记。
在此情况下，如上所述，由三维图像拍摄装置的不同位置和取向完成多次独立的立体拍摄。随后，许多较小的图像拍摄借助重叠图像区域的搭配并借助在被拍表面部分内的标记被拼合成一个较大的立体总图像。这费时且要求使用本身无需测量的标记。
此外，从现有技术中知道了这样的测量系统和方法，其中三维图像拍摄装置由工业机器人的头部或者便携式坐标测量设备所携载并可调整移动。因为昂贵的高分辨率三维图像拍摄装置很重，有时超过10公斤，因此以比得上图像拍摄精度的必要精度来精确测定三维图像拍摄装置的位置是做不到的，这是因为这将要求如此稳定构成搬运输送系统，即三维图像拍摄装置的应用范围可能会被局限到固定不动的系统。工业机器人因为其明显小于精确三维图像拍摄装置的较低测量精度而不适用于提供外参照。便携式坐标测量设备仍然不是设计用来携载重物的并且在高机械载荷情况下无法提供可用于提供参照的测量结果。为此缘故，可能由搬运输送系统提供的、能打探到三维图像拍摄装置的绝对位置和/或相对位置的位置测量值可能无法被考虑用于给不同的无关联的表面部分的图像拍摄且尤其是多次三维图像拍摄提供参照。
虽然上述的测量系统也适用于借助搬运输送系统在空间内高精度定位物体并且也被用于此，但迄今从现有技术中知道的系统有许多缺点。因为基本单纯通过图像处理来实现的上述测量方法需要相对长的时间并且测量本身不用需要测量的参照或辅助标记。因为摄像机视界有限，所以三维图像拍摄装置大多紧邻操作作业设置，一般在机械臂上或离物体很近。因为与之相关的离操作作业近，三维图像拍摄装置遇到可能有的颗粒和因操作作业如在焊接中出现的热力影响。同样由于靠近操作作业，其它搬运输送系统必须协调适配于三维图像拍摄装置的搬运输送系统，以避免碰撞。三维图像拍摄装置的运动和与其相关的重新提供参照要求比较多的时间，使得整个工作过程变得缓慢。因此，迄今完全放弃了远离操作作业布置三维图像拍摄装置的方式。
因此，一方面是使用具有最好小于0.1毫米的精度的高精度非接触式3D测量系统来借助工业机器人高精度定位定位物体，另一方面是未直接遇到操作作业的测量系统，该测量系统必须灵活操作且应测量尽量大的动作和运动空间且尤其可自由定位，这两个目标表明了在借助工业机器人的工业物体定位领域内存在目前尚未彻底解决的目标冲突。
发明内容
因此，本发明的任务是提供一种特点为灵活、精确和高速操作的方法和相应的系统，其用于利用工业机器人将至少一个物体高精度定位到空间位置。
首先将概述本发明的方法。随后，在示出了示意所示的实施例的附图的帮助下来说明本发明的可能有的优选改进方案。
将至少一个物体以高精度定位到空间最终位置的方法将借助工业机器人和光学三维图像拍摄装置来执行。第一工业机器人可调整移动到预定位置处。该第一工业机器人是内校准的，并且在三维空间坐标系内被校准并与之相互关联。光学三维图像拍摄装置在三维空间坐标系内被校准，并且按照已知取向被定位在已知位置上，该光学三维图像拍摄装置被构造用于电子拍摄在一定视界内的三维图像，其中，该三维图像分别由分别对应一个深度信息的多个图像点组成。光学三维图像拍摄装置具有驱动单元，该驱动单元用于以造成视界移动的方式调整三维图像拍摄装置的取向。此外，光学三维图像拍摄装置具有在空间坐标系内被校准的角度测量单元，用于高精度测量三维图像拍摄装置的角度取向，从而可在空间坐标系内确定该视界。该方法包括以下步骤：
具有已知的可光学测量的第一特征的第一物体在抓取误差内被第一工业机器人抓取和保持。
给第一工业机器人确定修正抓取误差的第一补偿变量，从而第一物体在空间坐标系内可通过预定第一工业机器人的位置被补偿调整。第一补偿变量的确定通过以下步骤来实现：借助驱动单元使三维图像拍摄装置的视界对准被保持在第一工业机器人的第一补偿位置上的第一物体的第一特征的至少一部分。拍摄至少一个第一三维图像。根据三维图像拍摄装置位置、由角度测量单元测定的三维图像拍摄装置角度取向、该第一三维图像和在第一物体上的第一特征的已知情况来确定在第一工业机器人的第一补偿位置上的第一物体的在空间坐标系内的位置。通过考虑第一工业机器人的第一补偿位置和在第一工业机器人的第一补偿位置上的第一物体的至少被确定的位置来确定第一补偿变量。
第一物体通过以下的重复进行的步骤被高精度调整移动到第一最终位置，直到在预定误差内到达第一最终位置：用三维图像拍摄装置拍摄至少一个另外的第一三维图像。根据三维图像拍摄装置的位置、由角度测量单元测量的三维图像拍摄装置角度取向、该另外的第一三维图像和在第一物体上的第一特征的已知情况来确定第一物体的在空间坐标系内的实际位置。计算第一物体实际位置和第一最终位置之间的位置差。在考虑第一补偿变量的情况下由第一工业机器人的实际位置和与该位置差关联的变量来计算第一工业机器人的新的理论位置，并且调整第一工业机器人到新的理论位置。
本发明系统利用工业机器人将至少一个物体高精度定位到空间最终位置，本发明系统包括第一工业机器人、光学三维图像拍摄装置和控制装置。第一工业机器人被如此校准，即，它能调整移动到多个规定位置。为此，工业机器人被内校准并与空间坐标系相关联。光学三维图像拍摄装置在一个三维空间坐标系内被校准，并且按照已知取向被定位在已知位置上，光学三维图像拍摄装置被构造用于电子拍摄在一定视界内的三维图像，在这里，三维图像分别由各对应一个深度信息的多个图像点组成。光学三维图像拍摄装置具有驱动单元用于以造成视界调整的方式调整三维图像拍摄装置的取向，并且具有在空间坐标系内被校准的角度测量单元用于高精度测量三维图像拍摄装置的角度取向，从而可以在空间坐标系内确定视界。控制装置具有被构造用于图像处理的数据处理器。控制装置如此与第一工业机器人和光学三维图像拍摄装置数据连接，以便给该控制装置提供由光学三维图像拍摄装置拍摄的三维图像，给控制装置提供由角度测量单元测定的三维图像拍摄装置角度取向，驱动单元通过控制装置被控制以调整三维图像拍摄装置的取向，并且第一工业机器人被调整移动到由控制装置预定的位置处。
控制装置及其数据处理器如此构成且如此与上述部件数据连接，即通过信号接收、信号分析、信号计算和信号输出来执行以下步骤：
第一物体具有该控制装置已知的可光学测量的第一特征，该第一物体在抓取误差内被第一工业机器人抓取和保持。
通过控制装置给第一工业机器人确定修正抓取误差这样的第一补偿变量，从而第一物体在空间坐标系内可以通过预定第一工业机器人的位置被补偿调整。利用控制装置的第一补偿变量的确定是通过以下步骤来进行的：利用驱动使三维图像拍摄装置的视界对准被保持在第一工业机器人的第一补偿位置上的第一物体的第一特征的至少一部分。拍摄至少一个第一三维图像。根据三维图像拍摄装置位置、由角度测量单元测定的三维图像拍摄装置角度取向、该第一三维图像和在第一物体上的第一特征的已知情况来确定在第一工业机器人的第一补偿位置上的第一物体的在空间坐标系内的位置。通过考虑第一工业机器人的第一补偿位置和在第一工业机器人的第一补偿位置上的第一物体的至少被确定的位置来确定第一补偿变量。
在直到在预定误差内到达第一最终位置前，利用控制装置通过重复进行以下步骤来高精度调整第一物体移向第一最终位置：拍摄至少一个另外的第一三维图像。通过三维图像拍摄装置位置、由角度测量单元测定的三维图像拍摄装置角度取向、该另外的第一三维图像和在第一物体上的第一特征的已知情况来确定第一物体的在空间坐标系内的实际位置。计算在第一物体实际位置和第一最终位置之间的位置差。在考虑第一补偿变量情况下，由第一工业机器人实际位置和与位置差关联的变量来计算第一工业机器人的一个新的理论位置。调整第一工业机器人到该新的理论位置。
附图说明
以下将结合示意所示的实施例来描述本发明的方法和本发明的系统，其中：
图1a示出本发明的方法和系统，其利用光学三维图像拍摄装置定位第一物体；
图1b示出方法过程的流程图；
图2示出方法和系统，其具有两个工业机器人用于定位第一和第二物体；和
图3示出方法和系统，其具有三个工业机器人，用于定位第一和第二物体以及一个加工工具。
具体实施方式
图1a示出用于将第一物体高精度定位到空间第一最终位置的系统和方法过程的第一实施例。方法步骤如图1b所示。将一起描述图1a和图1b。
本发明的方法用于利用至少一个工业机器人将至少一个物体高精度定位到空间最终位置。最终位置涉及该物体以小于0.5毫米、最好小于0.2毫米、尤其小于0.1毫米的精度所占据的位置和取向。最终位置一般是指物体的这种位置和取向，即，在该方法范围中，该物体应当所处的位置和取向。当然，该物体随后可以被置入一个或任何多个其它的新的最终位置。
方法组成部分包括第一工业机器人11和光学三维图像拍摄装置1。为了利用该系统执行该方法，还设有控制装置9。
第一工业机器人11被构造用于抓取第一物体12。例如工业机器人11是带有手爪11a的活节臂机械手，它可在六个自由度内调整移动。手爪11a呈气动爪形式，例如用于抓取板件。不过，手爪也可以是机械爪，尤其是爪钳，或者用于机械连接工业机器人11的可移动部件的其它手爪。通过给工业机器人11规定手爪11a的理论位置，手爪11a可以调整移动到可预定的多个位置。为此，工业机器人11具有内部的测量、调整和坐标转换系统。工业机器人11一般是指如之前所述的搬运输送系统，它适用于抓取并定位一个物体。
光学三维图像拍摄装置1在三维空间坐标系内被校准，并且按照已知取向被定位在位置P上。以下将描述位置P的测定。因此，位置以及角度取向在第一物体12也将被定位在其中的坐标系中是间接知晓或直接知晓的。三维图像拍摄装置1被构造用来电子拍摄在一定视界内的三维图像，在这里，该三维图像分别由多个图像点组成，每个图像点分别被指定了一个深度信息。三维图像拍摄装置1被光学校准，从而能在视界8内进行在拍摄图像中的光学测量。
光学三维图像拍摄装置一般是指用于拍摄可光学测量的且具有各自深度信息的点的电子装置，在这里，光学三维图像拍摄装置具有为此所需的配备，尤其是物镜和相应的图像拍摄元件(尤其是CCD图像传感器或者CMOS图像传感器)、测距单元和相应的电子装置。物镜可以是任何物镜，例如定焦物镜、调焦物镜或可变焦距物镜，尤其是具有马达调焦和自动聚焦功能。光学三维图像拍摄装置是内部校准的，从而尤其在光学元件、图像传感器或电子装置中可能有的误差如失真可被考虑到和补偿。因此，该光学三维图像拍摄装置适于摄影测量。
此外，光学三维图像拍摄装置1具有至少一个驱动单元3用于以造成视界8移动的方式调整光学三维图像拍摄装置的取向。例如驱动单元3是转动单元，用于使光学三维图像拍摄装置绕两个转动轴线转动。在一个可能的但非必要的实施变型中，所述转动轴线可以是一个关于该空间坐标系是水平的水平轴线(Kippachse)H和一个竖直的竖轴线V。
此外，光学三维图像拍摄装置1具有在空间坐标系内被校准的角度测量单元4，用于高精度测量光学三维图像拍摄装置的角度取向，从而可以在空间坐标系内确定视界8。因为光学三维图像拍摄装置1的涉及到光学拍摄装置和角度测量单元的内部校准以及光学三维图像拍摄装置1在空间坐标系内的外部参照，每个图像点高精度地限定空间坐标系内的一个点，其根据以下五个方面来得到：第一、根据在图像传感器上的图像点位置即两维拍摄图像；第二、根据被指定给该图像点的深度信息(由此得到三维图像)；第三、根据借助角度测量单元4测定的光学三维图像拍摄装置1的取向；第四、根据光学三维图像拍摄装置1的已知位置；以及第五、根据相应的校准参数。
在所示的实施例中，角度测量单元4分别测定在空间坐标系内以竖轴线V为中心的水平角度取向α和以水平轴线H为中心的竖直角度取向β。水平的水平轴线H和竖直的竖轴线V基本上相交。因此，光学三维图像拍摄装置1以一种3D摄像经纬仪的形式构成，在这里，它是指具有三维图像拍摄装置的经纬仪，该三维图像拍摄装置或是同轴并入经纬仪中，或是不同轴地尤其安置在经纬仪的望远镜上。
光学三维图像拍摄装置1借助自身的测量系统在空间内被参照和校准，从而位置P和外校准参数借助三维图像拍摄装置1被求出。
在空间坐标系内的光学三维图像拍摄装置1的位置P通过用三维图像拍摄装置1瞄准位置固定的瞄准标记T来确定。位置固定的瞄准标记T和第一物体12的已知的可光学测量的第一特征13最好如此相互间隔，即，瞄准位置固定的瞄准标记T和拍摄该至少一个第一三维图像在三维图像拍摄装置1视界8的不同取向中进行。换句话说，三维图像拍摄装置1的视界8的取向的改变在通过瞄准位置固定的瞄准标记T来测量位置P后、且在拍摄第一物体12上的第一特征13之前是必需的，因为有限的视界8不可能允许同时拍摄瞄准标记T和在第一物体12上的第一特征13，如图1所示。利用三维图像拍摄装置1瞄准位置固定的瞄准标记T是指，瞄准标记T位于三维图像拍摄装置1的视界8内并且对应于该瞄准标记T的图像点的位置可被测量，或者瞄准标记T的位置借助三维图像拍摄装置1的附加单元例如光电测距仪5被确定出。
控制装置9具有设计用于图像处理的数据处理器。控制装置9至少与第一工业机器人11和光学三维图像拍摄装置1数据连接。给控制装置9提供由光学三维图像拍摄装置1拍摄的三维图像以便执行图像处理。而且，控制装置9获得由角度测量单元4测量的三维图像拍摄装置1的角度取向，作为输入信号。驱动单元3通过控制装置9被控制用于调整三维图像拍摄装置1的方向。第一工业机器人11可以被调整移动到由控制装置9规定的多个位置。为此所需的数据连接可以借助电压信号、无线电信号、光信号或其它通讯手段来实现。参照和校准参数，尤其是参与部件的各个位置、取向和尺寸，被存储在控制装置9中(只要是执行该方法所需要的)。控制装置9可以是例如具有合适接口的个人电脑这样的单元，以及是多个相互通讯或者联网的、地点分开的独立部件，这些独立部件例如是一些独立装置的组成部分。尤其是，应做抽象理解的控制装置9可以是三维图像拍摄装置1和/或第一工业机器人11的组成部分。
应该被定位到空间最终位置的第一物体12具有已知的可光学测量的第一特征13。第一特征13可以是任何特征，其可借助光学三维图像拍摄装置1被测量。就是说，术语“可光学测量”是指可用光学三维图像拍摄装置1测量的能力，不一定非指人眼可见性。
可光学测量的特征可以由物体特征构成，尤其是其形状、表面起伏和表面特性例如角、边、孔、缺口和槽。作为替代或补充，该特征可以被施加至物体上，例如以标贴或彩色标记的形式。该特征最好在至少两维上延伸，例如呈不在一条直线上的三个点的形式。这些特征是这样的，即，其位置确定尽量明确无疑地限定了在空间内的物体方位(即位置和取向)。
物体12是任何要在空间中高精度定位的物体，它可被第一工业机器人11抓取和保持，例如是金属板件。
以下，将描述根据本发明的方法过程，在这里，也参见图1b，其示出了呈流程图形式的方法过程。
在步骤50中，例如位于存放位置的第一物体12被第一工业机器人11借助其手爪11a在抓取误差内被抓取和保持。抓取误差大于这样的误差，在该误差内第一物体12应被定位在最终位置上。尤其是，没有物体强制对中机构的气动手爪无法实现高精度抓取，因此物体相对于手爪的相对位置具有误差，应当补偿该误差，就是说应当修正该误差。
在可选的、在本发明改进方案中进行的步骤51中，第一工业机器人11以未知的抓取误差保持第一物体12，该第一工业机器人11被调整移动到第一补偿位置以确定第一补偿变量。在第一工业机器人11的补偿位置，光学三维图像拍摄装置1能清楚看到第一物体12以便进行三维图像拍摄。只要在抓取后已保证这种能见度并且第一物体12已就位，那么也能省掉步骤51。
在随后的步骤52中求出第一补偿变量以修正抓取误差。用于第一工业机器人11的进行抓取误差修正的第一补偿变量用于在空间坐标系内通过规定第一工业机器人11的位置来补偿调整第一物体12。补偿调整是指，在设定机器人手爪11a应占据的位置时，抓取物体时存在的抓取误差将被修正。就是说，通过修正变量即第一补偿变量顾及到抓取误差。该抓取误差可能在所有六个自由度上出现，因此补偿变量可以取尤其呈张量(Tensor)形式的相应数值。理想情况下，即在手爪11a准确抓取第一物体时，补偿变量可以等于零。
第一补偿变量的确定通过以下子步骤进行。首先，借助驱动单元3使光学三维图像拍摄装置1对准(尤其是使其转动到)第一物体12的第一特征13的至少一部分，所述第一物体12被保持在第一工业机器人11的第一补偿位置上。构成第一特征13的至少三个点最好位于视界8内。现在，第一三维图像借助光学三维图像拍摄装置1被拍摄下来。随后，由该三维图像确定出第一物体12(其被保持在第一工业机器人11的第一补偿位置上)的在空间坐标系内的位置。通过确定3个表征特征的位置，已经可以实现该位置确定。第一物体12的位置一方面根据下列条件来确定：光学三维图像拍摄装置1的位置P的已知情况、由角度测量单元4测定的光学三维图像拍摄装置1的角度取向以及该第一三维图像。利用这些信息，已经可以尤其通过在控制装置9内的图像处理来确定在空间坐标系内的单独测定的点的位置。为了由此推导出物体的位置，还需要了解在第一物体12上的第一特征13，以便能由第一特征13的位置或姿态推导出第一物体的空间位置。如果例如由电子模型中知道了板件在哪些位置具有特定的孔，那么就可以由这些孔的位置推导出物体位置。现在，第一补偿变量是通过下列措施确定的，即，通过考虑第一工业机器人11的第一补偿位置(根据该第一补偿位置得到无误差抓取时的理想位置)，并且通过考虑在第一工业机器人11第一补偿位置上的第一物体12的至少被确定的位置(即，实际位置)。
在本发明改进方案中，物体11特征13基本上从可通过控制装置9的电子数据处理器来处理的模型中知晓。在此情况下，它可以是借助CAD得到的电子模型。借助在电子数据处理器上执行的图像处理，在模型中和/或在图像拍摄中识别出特征13，并且来自模型的特征13和来自拍摄图像的特征13被相互对应起来。在空间坐标系内的物体12位置由在空间坐标系内的所拍摄特征13的测定位置以及被对应的特征3来确定。这样的图像处理和特征识别方法由现有技术所公开且在此不必进一步说明。
因为现在知道了，第一物体12以什么样的误差被抓住且已经确定了相应的第一补偿变量，所以现在可以利用第一工业机器人11在第一工业机器人11的传感器的测量精度范围内定位第一物体12。但是，该测量精度不够高，因此引起进一步的定位问题。
例如，因为加工误差和环境参数，第一物体11(如板件)本身可在尺寸和形状方面遇到要考虑在内的一定公差。为此缘故，本发明在一个改进方案中规定了要考虑第一物体的变化。
在本发明的改进方案中，根据可选的步骤53，确定出所拍摄特征13的彼此相对位置并且与基本上从上述模型中知道的特征的相对位置相互比较。在本发明的一个变型中，当超出所拍摄的特征13的相对位置和基本上从模型中知道的特征的相对位置之间的一个偏差时，发出错误警报。在本发明的一个改进方案中，在发出错误警报的情况下，物体12被新的物体12换掉，从而该方法以步骤50继续进行，如图1b示例性所示。或者，使模型适配于被测物体12。因此，例如借助CAD得到的模型可以适配于被抓取物体12的实际尺寸。适配调整后的模型在此情况下确定物体12应占据的在空间坐标系内的最终位置。如果最终位置例如由物体12的已经占据最终位置的局部尤其是一条棱边来确定，则要通过调整模型来相应考虑该局部的变形。
在同样为可选的步骤54中，第一工业机器人11在考虑到第一补偿变量的情况下，从第一补偿位置被调整移动到这样的位置，在该位置上，第一物体12被定位在靠近第一最终位置的第一接近位置。这是如此做到的，给目前为其设定了第一补偿位置的第一工业机器人11规定一个新位置作为输入值，在该新位置上，第一物体12位于第一接近位置。三维图像拍摄装置1的视界8借助驱动单元3对准现在就位于第一接近位置的第一物体12的第一特征13的至少一部分。
在步骤55中，第一物体12被高精度定位到第一最终位置。为此，重复以下步骤，直到在预定误差内达到第一最终位置为止。首先，借助三维图像拍摄装置1拍摄至少一个另外的第一三维图像。在空间坐标系内的第一物体12实际位置仍然根据下列条件来确定：三维图像拍摄装置1的位置P、由角度测量单元4测定的三维图像拍摄装置1的角度取向、该另外的第一三维图像和第一物体12上的第一特征13的已知情况。现在，将该实际位置与理论位置(即，第一最终位置)相互比较。计算第一物体12实际位置和第一最终位置之间的位置差。随后计算第一工业机器人11的新的理论位置。这是在考虑第一补偿变量的情况下，根据第一工业机器人11的实际位置和与该位置差关联的变量来实现。与位置差关联的变量最好是乘以小于或等于1的系数的位置差。这意味着，新的理论位置是工业机器人11的这样一个位置，在该位置，第一物体12位于在实际位置和第一最终位置之间的位置上。如果该系数等于1，则该新的理论位置是这样的位置，在此位置上，第一物体12从实际位置出发以逼近方式被送往第一最终位置，只要这可以借助工业机器人11的不精确的传感器机构和执行机构来实现。不过，因为其通常非常不准确，不足以让第一物体12仅利用一个步骤55就在预定误差内到达第一最终位置，所以该系数最好小于1，优选小于0.95，尤其小于0.9，例如小于0.8，但最好大于0。借助小于1但大于0的系数，工业机器人11的新的理论位置是这样的，即，在工业机器人11调整进入新的理论位置后，第一物体12接近第一最终位置，但还是没有完全到达第一最终位置。
第一工业机器人11随后通过设定新的理论位置来调整移动。换句话说，第一工业机器人得到一个新的位置输入值，从该新的位置输入值产生其新的理论位置。该新的理论位置因此借助第一工业机器人11的传感器机构和执行机构被接近。接着，重复上述步骤。就是说，重新拍摄至少一个另外的第一三维图像，据此确定第一物体12的实际位置并且计算出第一物体12实际位置和第一最终位置之间的位置差。如果第一物体又没有在第一最终位置的期望误差内，则为第一工业机器人11重新设定一个新的理论位置，该新的理论位置在考虑第一补偿变量的情况下根据其实际位置和与该位置差关联的变量计算得出。重复这些步骤，直到第一物体12已经高精度地在误差内到达第一最终位置。
所述方法的一个主要优点在于，物体空间位置的测定可以借助很少量的三维图像拍摄来进行，这些三维图像拍摄除了物体特征外不必示出其它参考标记，由此一来，该方法加快了许多。在调整三维图像拍摄装置视界后，无需提供新参照就能进行摄影测量的图像分析。这尤其对于物体被输送系统搬运较远距离并且随后被精确定位的工业应用是有意义的，这是因为按照三维图像拍摄装置转向物体特征的形式做出的视界改变既不要求重新提供参照，也不要求动用原先测量的图像和/或参照标记。因此，保证了快速、高精度且过程可靠的定位。因为三维图像拍摄装置的转动没有导致因重新提供参照或关联定向引起的时间损失，所以拍摄装置可以远离操作作业布置，尤其是2至5米远，从而该操作作业不受影响并且测量技术装置没有直接接触到该操作作业。这尤其对焊接方法是有利的，因为灵敏的测量技术装置几乎不受影响。
在一个可能的实施方式中，三维图像拍摄装置1如此构成，即，至少一个第一摄像机2a借助驱动单元3分别围绕一个关于该空间坐标系是水平的水平轴线H和一个竖直的竖轴线V来调整取向。通过角度测量单元4，可以分别测定在空间坐标系内的以水平轴线H为中心的竖直角度取向β和以竖轴线V为中心的水平角度取向α。尤其是，水平的水平轴线H和竖直的竖轴线V基本上相交。利用第一摄像机2a，可以拍摄由许多图像点组成的两维图像。为了给所有这些图像点或者至少图像点组(以下同样简化理解为一个图像点)分配深度信息并且由两维图像推导出三维图像，存在不同的下述可能性。
在一个变型中，三维图像拍摄装置1具有光电测距仪5。依据光电测距仪5的类型，其测量光相对于第一摄像机2a被调整取向，其相对于第一摄像机2a的相对角度取向可被高精度测量。三维图像通过测量深度信息并且通过将深度信息分配给多个图像点来产生。利用光电测距仪5、尤其是利用测量光相对于第一摄像机2a的相应的相对角度取向，对与图像点对应的物体12部分进行光学深度测量，由此测定该深度信息。为了掌握深度信息，可采用激光扫描仪。
例如光电测距仪5呈点扫描仪形式。深度信息测定通过借助点扫描仪的顺次扫描来实现，在这里，至少一条点状测量光逐点地(例如从一行到另一行)光学扫描对应于视界8的物体12表面。
或者，光电测距仪5以线扫描仪形式构成。深度信息测量通过利用线扫描仪的并行扫描实现，在这里，至少一条线状测量光以“线”的方式光学扫描对应于视界8的物体12表面。
还有以下可能，将光电测距仪5构成为面深度测量仪(也称为面扫描仪)。深度信息测定通过利用面深度测量仪的“全并行”扫描实现，在这里，至少一个面状测量光(它尤其由许多测量光构成的光束构成)以“面”的方式光学扫描对应于视界8的物体12表面。因此，光学面深度测量仪尤其全并行地且基本同时地扫描三维图像拍摄装置1的视界8的整个表面。三维图像通过借助光学的面深度测量仪的全并行深度测量的深度信息测量和通过分配深度信息给多个图像点来产生。可分配给这些图像点的深度信息因此通过对应于视界8的物体12表面的面深度拍摄来获得。
如上所述，这种用于顺次或者并行或全并行扫描的点、线、面扫描仪由现有技术公开。最好，光电测距仪5和第一摄像机2a相互耦联并且可共同借助驱动单元3被调整移动。尤其是，它们构成一个共同单元。
作为替代方式或附加方式，可以以范围成像摄像机(RIM)形式构成三维图像拍摄装置1的第一摄像机2a，用于直接拍摄三维图像。就是说，第一摄像机2a本身如此构成，即，可以给每个点或多组图像点分配一个深度信息。
这种尤其基于渡越时间的范围成像摄像机(RIM)是几年前就能在市场上买到的。在RIM摄像机中，信号发射器发出调制射束。此时所用的调制方法在当前的传感器中一般基于振幅调制原理。发射的射束的一部分在物体空间内被反射，并且部分被前置的光学元件成像到特定的图像传感器上。该图像传感器的特点在于，每个单独的像素能够解调所接收的光线，就是说，尤其是确定信号的相位或者说渡越时间。作为这种RIM摄像机的例子，指出CSEM(瑞士)的SwissRanger SR-2和SwissRanger SR-3000以及(德国)PMD技术的3k-S型号。SwissRanger具有组合式CCD/CMOS传感器。测距依靠相位差法，其中单值范围(Eindeutigkeitsbereich)高达7.5米。此外，被物体反射的信号通过光学元件成像到传感器的各像素上，执行相应的距离计算，这样测量结果就是距离图(Distanzbild)。传感器的参数为124×160像素(SR-2)或者176×144像素(SR-3000)。此外有这样的RIM摄像机，它在CMOS图像传感器中植入有单光子雪崩二极管(SPAD)。这样，实现了直接的渡越时间测量法，借此将距离测量简化为渡越时间测量。接收射束的解调在已知的RIM摄像机中通常利用间接渡越时间测量尤其通过四次顺序的强度测量来完成。此时，在每个像素中，正弦形振幅调制波借助四次错开90°的整体式强度测量来重现。根据这四个测量，可以计算出相位和进而经过的距离。因为在摄像机系统中的几何关系，现在可以针对每个像素从像素坐标和距离中计算出三维坐标。因为在所有像素中的测距的同时性，所以可用每个图像推导出一个相应的3D模型。
在另一个变型中，如图1a所示，三维图像拍摄装置1具有第二摄像机2b，第二摄像机尤其在同一个壳体中如此与第一摄像机2a相连并如此与第一摄像机2a间隔布置，即，摄像机2a、2b的至少部分重叠的视界在其重叠区域内构成三维图像拍摄装置1的视界8。根据摄像机2a、2b的相互相对的视角的已知情况，利用图像处理来产生在三维图像拍摄装置1的视界8内的三维图像。这种三维图像拍摄装置例如是：CogniTens公司的以商标名“Optigo”和“OptiCell”已知的图像拍摄系统，它包括按照等边三角形布置的三个摄像机；以及ActiCM公司的“Advent”系统，其具有两个并列的高分辨率CCD摄像机以及一个将结构化光线投射到待拍摄部分上的投光机。
已针对在空间内自由定位单独一个第一物体描述了上述定位方法。但是，以下情况也是可能的，在所述方法和组成部件的辅助下来定位至少一个第二物体，和/或第一物体相对于第二物体被精确调整取向，或第二物体相对于第一物体被精确调整取向。这种方法将如下所述。同样可以实现的是，上述的特征也与第二物体的定位以及每个其它物体的定位相结合。但是，为了更简单的说明，放弃说明在定位第一物体时可能有的改进方案也用于定位其它物体。不过，这些组合方式同样是本发明的组成部分。
图2示出了这样的改进。除了图1a所示实施方式的在此不再重新介绍的主要组成部件外，设有第二工业机器人21和物体支座24。在高精度调整第一物体12至第一最终位置之前，如上所述，一个第二物体22被第二工业机器人21抓住并且被置入物体支座24中。物体支座24呈所谓的固定物形式，它能接纳第二物体22。对此，物体支座24可以具有相应形状，例如用以避免物体变形，和/或具有相应的夹紧装置来固定该物体。当安放在物体支座24中之后，第二物体22处于空间坐标系内的第二最终位置上。或者，可以不利用第二工业机器人21而是以人工方式将第二物体安放在物体支座24内。在一个实施变型中，物体支座24如此以强制对中的方式构成，即，第二物体22被高精度地安放到预定的第二最终位置。在此情况下可以省略利用测量技术装置的第二最终位置测定。但如果不是这种情况，则确定空间坐标系内的第二最终位置。第二物体22为此具有已知的可光学测量的第二特征23。在将第二物体22安置在物体支座24中后，如此确定第二物体22的在空间坐标系内的第二最终位置，即，首先利用驱动单元3使三维图像拍摄装置1的视界8对准第二物体22的第二特征23的至少一部分。拍摄第二三维图像。现在，根据三维图像拍摄装置1的位置P、角度测量单元4测定的三维图像拍摄装置1的角度取向、第二三维图像和第二物体22上的第二特征23的已知情况，确定第二物体22的在空间坐标系内的第二最终位置。
或者，在高精度调整第一物体12到第一最终位置之前，第二物体22在抓取误差内被第二工业机器人21抓住，但没有安放到物体支座24中，而是被保持住。第二工业机器人21被调整移动到第二工业机器人21的一个最终位置，在此最终位置上，第二物体22处于第二最终位置。第二物体22的在空间坐标系内的第二最终位置通过以下步骤来确定：
借助驱动单元3使三维图像拍摄装置1的视界8对准第二物体22的第二特征23的至少一部分。拍摄至少一个第二三维图像。根据三维图像拍摄装置1的位置P、角度测量单元4测定的三维图像拍摄装置1的角度取向、第二三维图像和第二物体22上的第二特征23的已知情况，确定第二物体22的在空间坐标系内的第二最终位置。
在图2的情况下，根据第二物体22的第二最终位置，并且根据在第一物体12与第二物体22两者之间的预定相对位置，计算第一物体12的第一最终位置。因为第一物体12高精度地相对于第二物体22定位，所以现在例如可以执行精确联接两个物体的对接方法。
图3示出本发明的另一个实施方式，其中，第二物体22以及呈加工工具形式的第三物体32被高精度调整移动。
第二物体22具有已知的可光学测量的第二特征23，该第二物体22在抓取误差内被第二工业机器人21抓取和保持。针对第二工业机器人21确定修正抓取误差的第二补偿变量，从而第二物体22在空间坐标系内可通过第二工业机器人21的位置设定被补偿调整。如此实现第二补偿变量的确定，即，利用驱动单元3使三维图像拍摄装置1的视界8对准被保持在第二工业机器人21的第二补偿位置上的第二物体22的第二特征23的至少一部分。拍摄至少一个第二三维图像。在第二工业机器人21的第二补偿位置上的第二物体22的在空间坐标系内的位置是根据三维图像拍摄装置1的位置P、由角度测量单元4测定的三维图像拍摄装置1的角度取向、第二三维图像和在第二物体22上的第二特征23的已知情况来确定的。第二补偿变量通过考虑第二工业机器人21的第二补偿位置和第二物体22的在第二工业机器人21第二补偿位置上的至少被确定的位置来确定。随后，第二物体22被高精度调整移动到第二最终位置。这通过在直至以预定误差到达第二最终位置前重复进行的以下步骤来实现。首先，拍摄至少一个另外的第二三维图像。根据三维图像拍摄装置1的位置P、由角度测量单元4测定的三维图像拍摄装置1的角度取向、该另外的第二三维图像和在第二物体22上的第二特征23的已知情况，确定空间坐标系内的第二物体22实际位置。计算出在第二物体22实际位置和第二最终位置之间的位置差。在考虑第二补偿变量的情况下根据第二工业机器人21的实际位置和与该位置差关联的变量计算出第二工业机器人21的新的理论位置之后，将第二工业机器人21调整移动到新的理论位置。重复这些步骤，直到第二物体22已经以预定误差到达第二最终位置。
就是说，代替根据图2的两个物体12和22的相对定位，在图3的实施方式中，两个物体12和22相互独立地被高精度单独定位。
在本发明的改进方案中，在第二物体22被抓取后，第二工业机器人21被调整移动到第二工业机器人21的第二补偿位置以确定第二补偿变量。
本发明的另一个实施变型规定，在直至以预定误差到达第二最终位置前重复进行的步骤之前，在考虑第二补偿变量的情况下将第二工业机器人21从第二补偿位置调整移动到这样的位置，在此位置上，第二物体22被定位在一个靠近第二最终位置的第二接近位置上。随后，借助驱动单元3使三维图像拍摄装置1的视界8对准位于第二接近位置上的第二物体22的第二特征23的至少一部分。
不过同样如图3所示，而且也在图2的实施方式中可行的，设有一个呈加工工具形式的第三物体32。加工工具32在保持误差内被第三工业机器人31保持。加工工具32或者与之关联的第三工业机器人31部分例如加工工具32的支座具有已知的可光学测量的第三特征33。为了能通过规定第三工业机器人31的位置来补偿调整空间坐标系内的加工工具32，而确定用于第三工业机器人31的、对保持误差进行修正的第三补偿变量。为此，首先借助驱动单元3使三维图像拍摄装置1的视界8对准第三特征33的至少一部分。在此情况下，加工工具32被保持在第三工业机器人31的第三补偿位置上。拍摄至少一个第三三维图像。在第三工业机器人31的第三补偿位置上在空间坐标系内的加工工具32位置是根据下列条件确定的：三维图像拍摄装置1的位置P、由角度测量单元4测定的三维图像拍摄装置1的角度取向、第三三维图像和第三特征33的已知情况。第三补偿变量的确定通过考虑第三工业机器人31的第三补偿位置和至少加工工具32的在第三工业机器人31第三补偿位置上的被确定位置来实现。
本发明还规定，加工工具32被高精度调整移动到第三最终位置，其做法是通过在直至以预定误差到达第三最终位置前重复进行的以下步骤。拍摄至少一个另外的第三三维图像。在空间坐标系内的加工工具32实际位置是根据三维图像拍摄装置1的位置P、由角度测量单元4测定的三维图像拍摄装置1的角度取向、另外的第三三维图像和第三特征33的已知情况来确定的。计算出第三物体32实际位置和第三最终位置之间的位置差。第三工业机器人31的新的理论位置是在考虑到第三补偿变量的情况下根据第三工业机器人21的实际位置和与该位置差关联的变量计算得出的。随后，第三工业机器人31被调整移动到新的理论位置。重复这些步骤，直到加工工具32位于第三最终位置的误差范围内。
加工工具32例如是焊接工具，用于对接焊接第一物体12和第二物体22。任何其它的加工工具、尤其是对接工具也是可用的。虽然在这里结合第一物体12和第二物体22描述加工工具32，尤其是用于接合该物体，本发明同样包括相对于仅一个物体定位加工工具。例如对只在一个物体上执行像切削加工这样的工序的加工工具来说，情况就是如此。
本发明也包括未明确示出的组合的特征的组合。
所述的系统组成部件、尤其是测量部件如拍摄装置的特点在于其可移动性和灵活性。因此，所述方法可以借助可在短时间内安装在加工系统中的独立部件来执行。通过自校准自参照的组成部件，可以在困难的工作条件下保证足够高的操作可靠性。具有相对不精确的测量系统的比较不精确的搬运输送系统可以基于补偿变量的确定和在到达最终位置前重复进行的步骤被用于高精度定位物体。本发明允许，不直接参与操作作业、非接触且相隔足够远地，在很大的测量范围内执行物体位置的快速测量。三维图像拍摄装置的转动没有导致测量过程的由摄像机重新提供参照引起的延迟，这是因为按照本发明可以省掉重新提供参照。因此，根据本发明的、在空间中高精度定位物体的方法和系统的特点是处理速度高。

Claims (38)

1.一种借助工业机器人将至少一个物体高精度定位到空间最终位置的方法，该方法包括：
·第一工业机器人(11)，其能够被调整移动到可预定的位置处；和
·光学三维图像拍摄装置(1)，
*所述光学三维图像拍摄装置在三维空间坐标系中被校准并且按照已知取向定位在位置(P)上，
*所述光学三维图像拍摄装置被构造用于在规定的视界(8)内电子拍摄三维图像，其中所述三维图像分别由多个图像点组成，所述多个图像点被分别指定了一个深度信息，
*所述光学三维图像拍摄装置具有驱动单元(3)，用以按照调整所述视界(8)的方式调整所述三维图像拍摄装置(1)的取向，
*所述光学三维图像拍摄装置具有在所述空间坐标系内被校准的角度测量单元(4)，所述角度测量单元(4)用于高精度测量所述三维图像拍摄装置(1)的角度取向，从而能够在所述空间坐标系中确定所述视界(8)，
其中，
·所述三维图像拍摄装置(1)在所述空间坐标系内的位置(P)是通过借助所述三维图像拍摄装置(1)瞄准位置固定的瞄准标记(T)来确定的，
·第一物体(12)具有已知的可光学测量的第一特征(13)，所述第一物体(12)被所述第一工业机器人(11)在抓取误差内抓取和保持，
·给所述第一工业机器人(11)确定这样的修正抓取误差的第一补偿变量，使得所述第一物体(12)在所述空间坐标系内能够通过预定所述第一工业机器人(11)的位置而被补偿调整，其中，通过以下步骤确定所述第一补偿变量：
*利用所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准被保持在所述第一工业机器人(11)的所述第一补偿位置上的所述第一物体(12)的所述第一特征(13)的至少一部分，
*拍摄至少一个第一三维图像，
*根据以下条件确定在所述第一工业机器人(11)的所述第一补偿位置上的所述第一物体(12)的在所述空间坐标系内的位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向、
-所述第一三维图像、和
-在所述第一物体(12)上的所述第一特征(13)的已知情况，
*通过考虑以下条件来确定所述第一补偿变量：
-所述第一工业机器人(11)的所述第一补偿位置，和
-在所述第一工业机器人(11)的所述第一补偿位置上的、所述第一物体(12)的至少所被确定的位置，
·所述第一物体(12)被高精度调整移动到第一最终位置，这通过直至在预定误差内到达所述第一最终位置之前，重复以下步骤来实现：
*拍摄至少一个另外的第一三维图像，
*通过以下条件确定所述第一物体(12)的在所述空间坐标系内的实际位置：
-所述三维图像拍摄装置(1)的位置(P)，
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向，
-所述另外的第一三维图像，和
-所述第一物体(12)上的所述第一特征(13)的已知情况，
*计算在所述第一物体(12)的实际位置和所述第一最终位置之间的位置差，
*在考虑所述第一补偿变量的情况下根据以下条件计算出所述第一工业机器人(11)的一个新的理论位置：
-所述第一工业机器人(11)的实际位置，和
-与所述位置差关联的变量，
*调整所述第一工业机器人(11)到所述新的理论位置，
其中，所述位置固定的瞄准标记和所述第一物体(12)的已知的可光学测量的所述第一特征(13)如此相间隔，即，瞄准所述位置固定的瞄准标记(T)和拍摄所述至少一个第一三维图像是在所述三维图像拍摄装置(1)的视界(8)的彼此不同的取向上进行的，并且
在直至在预定误差内到达所述第一最终位置前重复进行的所述步骤之前，
·所述第一工业机器人(11)在考虑所述第一补偿变量的情况下从所述第一补偿位置被调整移动到这样的位置，在所述位置上，所述第一物体(12)被定位在靠近所述第一最终位置的第一接近位置上，和
·借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准定位在所述第一接近位置上的所述第一物体(12)的所述第一特征(13)的至少一部分。
2.根据权利要求1所述的方法，其中，所述变量与所述位置差关联，并且所述变量由所述位置差乘以小于或等于1的系数构成。
3.根据权利要求1或2所述的方法，其中，在抓取所述第一物体(12)后，所述第一工业机器人(11)被调整移动到所述第一工业机器人(11)的所述第一补偿位置，以确定所述第一补偿变量。
4.根据权利要求1或2所述的方法，其中，在将所述第一物体(12)高精度调整移动到所述第一最终位置之前，
·第二物体(22)被第二工业机器人(21)抓住或被人工抓住，并被置入在所述空间坐标系内的第二最终位置上的物体支座(24)中。
5.根据权利要求4所述的方法，其中，
·所述第二物体(22)具有已知的可光学测量的第二特征(23)，
并且在将所述第二物体(22)安置在所述物体支座(24)中之后，
·所述第二物体(22)的在所述空间坐标系内的所述第二最终位置通过以下步骤来确定：
*借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准所述第二物体(22)的所述第二特征(23)的至少一部分，
*拍摄至少一个第二三维图像，
*根据以下条件确定所述第二物体(22)的在所述空间坐标系内的所述第二最终位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向、
-所述第二三维图像、和
-在所述第二物体(22)上的所述第二特征(23)的已知情况，
其中，所述第一物体(12)的所述第一最终位置是根据所述第二物体(22)的所述第二最终位置和在所述第一物体(12)与所述第二物体(22)之间的预定的相对位置来计算的。
6.根据权利要求1或2所述的方法，其中，在将所述第一物体(12)高精度调整移动到所述第一最终位置之前，
·具有已知的可光学测量的第二特征(23)的第二物体(22)在抓取误差内被第二工业机器人(21)抓取和保持，
·所述第二工业机器人(21)被调整移动到所述第二工业机器人(21)的最终位置，在所述最终位置，所述第二物体(22)处于第二最终位置，
·通过以下步骤确定所述第二物体(22)的在所述空间坐标系内的第二最终位置：
*借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准所述第二物体(22)的所述第二特征(23)的至少一部分，
*拍摄至少一个第二三维图像，和
*根据以下条件确定所述第二物体(22)的在所述空间坐标系内的所述第二最终位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向、
-所述第二三维图像、和
-在所述第二物体(22)上的所述第二特征(23)的已知情况，
其中，所述第一物体(12)的所述第一最终位置是根据所述第二物体(22)的所述第二最终位置和在所述第一物体(12)与所述第二物体(22)之间的预定的相对位置来计算的。
7.根据权利要求1或2所述的方法，其中，在将所述第一物体(12)高精度调整移动到所述第一最终位置之前，
·具有已知的可光学测量的第二特征(23)的第二物体(22)在抓取误差内被第二工业机器人(21)抓取和保持，
·给所述第二工业机器人(21)确定这样的修正抓取误差的第二补偿变量，使得所述第二物体(22)在所述空间坐标系内能够通过预定所述第二工业机器人(21)的位置被补偿调整，其中，所述第二补偿变量的确定通过以下步骤来完成：
*借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准被保持在所述第二工业机器人(21)的第二补偿位置上的所述第二物体(22)的所述第二特征(23)的至少一部分，
*拍摄至少一个第二三维图像，
*根据以下条件确定在所述第二工业机器人(21)的所述第二补偿位置上的所述第二物体(22)的在所述空间坐标系内的位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向、
-所述第二三维图像、和
-在所述第二物体(22)上的所述第二特征(23)的已知情况，
*考虑以下条件来确定所述第二补偿变量：
-所述第二工业机器人(21)的所述第二补偿位置，和
-在所述第二工业机器人(21)的所述第二补偿位置上的所述第二物体(22)的至少所被确定的位置，
·所述第二物体(22)被高精度调整移动到第二最终位置，这是通过在以预定误差到达所述第二最终位置前重复进行以下步骤实现的：
*拍摄至少一个另外的第二三维图像、
*根据以下条件来确定所述第二物体(22)的在所述空间坐标系内的实际位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向、
-所述另外的第二三维图像、和
-在所述第二物体(22)上的所述第二特征(23)的已知情况，
*计算在所述第二物体(22)的实际位置和所述第二最终位置之间的位置差,
*在考虑所述第二补偿变量的情况下根据下列条件计算所述第二工业机器人(21)的一个新的理论位置：
-所述第二工业机器人(21)的实际位置、和
-与所述位置差关联的变量，
*将所述第二工业机器人(21)调整移动到所述新的理论位置。
8.根据权利要求7所述的方法，其中，在抓取所述第二物体(22)后，所述第二工业机器人(21)被调整移动到所述第二工业机器人(21)的所述第二补偿位置，以确定所述第二补偿变量。
9.根据权利要求7所述的方法，其中，在直至以预定误差到达所述第二最终位置前重复进行的所述步骤之前，
·所述第二工业机器人(21)在考虑所述第二补偿参数的情况下从所述第二补偿位置被调整移动到这样的位置，在所述位置上，所述第二物体(22)被定位在靠近所述第二最终位置的第二接近位置上，
·借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准位于所述第二接近位置上的所述第二物体(22)的所述第二特征(23)的至少一部分。
10.根据权利要求1或2所述的方法，其中，
·呈加工工具形式的第三物体(32)在保持误差内被第三工业机器人(31)保持，
·所述第三物体(32)或所述第三工业机器人(31)的与之连接的部分具有已知的可光学测量的第三特征(33)，
·给所述第三工业机器人(31)确定这样的修正抓取误差的第三补偿变量，使得所述第三物体(32)能够在所述空间坐标系内通过预定所述第三工业机器人(31)的位置被补偿调整，其中，所述第三补偿变量的确定通过以下步骤进行：
*借助所述驱动单元(3)使所述三维图像拍摄装置(1)的视界(8)对准被保持在所述第三工业机器人(31)的第三补偿位置上的所述第三物体(32)的所述第三特征(33)的至少一部分，
*拍摄至少一个第三三维图像，
*根据以下条件来确定在所述第三工业机器人(31)的所述第三补偿位置上的所述第三物体(32)的在所述空间坐标系内的位置：
-所述三维图像拍摄装置(1)的位置(P)
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向，
-所述第三三维图像，和
-所述第三特征(33)的已知情况，
*考虑以下条件来确定所述第三补偿变量：
-所述第三工业机器人(31)的所述第三补偿位置，和
-在所述第三工业机器人(31)的所述第三补偿位置上的所述第三物体(32)的至少被确定的位置。
11.根据权利要求10所述的方法，其中，
·所述第三物体(32)被高精度调整移动到第三最终位置，这是通过在以预定误差到达所述第三最终位置前重复以下步骤实现的：
*拍摄至少一个另外的第三三维图像，
*根据以下条件来确定所述第三物体(32)的在所述空间坐标系内的实际位置：
-所述三维图像拍摄装置(1)的位置(P)
-由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向，
-所述另外的第三三维图像，和
-所述第三特征(33)的已知情况，
*计算在所述第三物体(32)的实际位置和所述第三最终位置之间的位置差，
*在考虑所述第三补偿变量的情况下根据以下条件来计算所述第三工业机器人(31)的一个新的理论位置：
-所述第三工业机器人(31)的实际位置，和
-与所述位置差关联的变量，
*将所述第三工业机器人(31)调整移动到所述新的理论位置。
12.根据权利要求1或2所述的方法，其中，
·根据可由电子数据处理器处理的模型来掌握所述特征(13；23；33)，
·借助在电子数据处理器上执行的图像处理，这些特征(13；23；33)在所述模型中和/或在拍摄图像中被识别，并且
来自所述模型的这些特征(13；23；33)和来自所述拍摄图像的特征(13；23；33)被相互对应起来，
·所述物体(12；22；32)的在所述空间坐标系内的位置根据以下条件确定：
*所拍摄的特征(13；23；33)的在所述空间坐标系内的被确定的位置，和
*所述被相互对应的特征(13；23；33)。
13.根据权利要求12所述的方法，其中，
·确定出所拍摄的特征(13；23；33)彼此之间的相对位置，并且与根据所述模型掌握的特征的相对位置进行相互比较。
14.根据权利要求13所述的方法，其中，当超过了在根据所述模型掌握的特征的相对位置与被拍摄的特征的相对位置之间的一个偏差时，发出错误警报。
15.根据权利要求14所述的方法，其中，
当发出所述错误警报时，用新的物体(12；22；32)换掉所述物体(12；22；32)。
16.根据权利要求13所述的方法，其中，
所述模型被调整适配于被检测的物体(12；22；32)。
17.根据权利要求16所述的方法，其中，适配调整后的模型确定在所述空间坐标系内的最终位置。
18.根据权利要求1或2所述的方法，其中，所述三维图像拍摄装置(1)是如此构成的：
·至少一个第一摄像机(2a)借助所述驱动单元(3)能够分别绕关于所述空间坐标系是水平的水平轴线(H)和竖直的竖轴线(V)来调整取向，
·通过所述角度测量单元(4)分别测定在所述空间坐标系内的以所述竖轴线(V)为中心的水平角度取向(α)和以所述水平轴线(H)为中心的竖直角度取向(β)。
19.根据权利要求18所述的方法，其中，
所述三维图像拍摄装置(1)是如此构成的：所述水平的水平轴线(H)和所述竖直的竖轴线(V)相交。
20.根据权利要求18所述的方法，其中，
·所述第一摄像机(2a)被构成为范围成像摄像机，用以直接拍摄三维图像，所述三维图像由分别被指定了深度信息的多个图像点组成。
21.根据权利要求18所述的方法，其中，
·所述三维图像拍摄装置(1)具有光电测距仪(5)，并且
·所述三维图像通过如下方式产生：
*借助所述光电测距仪(5)对所述物体(12,22,32)的对应于所述多个图像点的部分进行至少一次光学深度测量来掌握深度信息，和
*将所述深度信息与所述多个图像点对应起来。
22.根据权利要求21所述的方法，其中，所述光电测距仪(5)被构成为点扫描仪，借助所述点扫描仪通过顺次扫描来检测深度信息，在此，至少一个点状测量光逐点地光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
23.根据权利要求21所述的方法，其中，所述光电测距仪(5)被构成为线扫描器，借助所述线扫描器通过并行扫描来检测深度信息，在此，至少一条线状测量光逐行地光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
24.根据权利要求21所述的方法，其中，所述光电测距仪(5)被构成为面深度测量仪，借助所述面深度测量仪通过全并行扫描来检测深度信息，在此，至少一个面状测量光以面的方式光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
25.根据权利要求24所述的方法，其中，所述面状测量光通过由多个测量光构成的光束所形成。
26.根据权利要求18所述的方法，其中，
所述三维图像拍摄装置(1)
·具有第二摄像机(2b)，所述第二摄像机如此与所述第一摄像机(2a)耦联，并如此相对所述第一摄像机(2a)间隔设置，即，这些摄像机(2a,2b)的至少部分交叠的视界在其重叠区域内构成所述三维图像拍摄装置(1)的视界(8)，
·在所述三维图像拍摄装置(1)的视界(8)内的所述三维图像是根据这些摄像机(2a,2b)的相对视角的已知情况借助图像处理来产生的。
27.一种利用工业机器人将至少一个物体以高精度定位到空间最终位置上的系统，所述系统具有：
·第一工业机器人(11)，其能够被调整移动到可预定的位置处，
·光学三维图像拍摄装置(1)，
*所述光学三维图像拍摄装置在三维空间坐标系中被校准并且按照已知取向定位在已知的位置(P)上，
*所述光学三维图像拍摄装置被构造用于在规定的视界(8)内电子拍摄三维图像，其中所述三维图像分别由多个图像点组成，所述多个图像点被分别指定了一个深度信息，
*所述光学三维图像拍摄装置具有驱动单元(3)，用以按照调整所述视界(8)的方式调整所述三维图像拍摄装置(1)的取向，
*所述光学三维图像拍摄装置具有在所述空间坐标系内被校准的角度测量单元(4)，所述角度测量单元(4)用于高精度测量所述三维图像拍摄装置(1)的角度取向，从而能够在所述空间坐标系中确定所述视界(8)，
·控制装置(9)，所述控制装置具有被构造用于图像处理的数据处理器，
其中，所述控制装置(9)如此与所述第一工业机器人(11)和所述光学三维图像拍摄装置(1)数据连接：
·给所述控制装置(9)提供由所述光学三维图像拍摄装置(1)拍摄下的三维图像，
·给所述控制装置(9)提供由所述角度测量单元(4)测定的所述三维图像拍摄装置(1)的角度取向，
·借助所述控制装置(9)来控制所述驱动单元(3)，以调整所述三维图像拍摄装置(1)的取向，和
·所述第一工业机器人(11)被调整移动到由所述控制装置(9)预定的位置处，
其中，所述控制装置(9)及其数据处理器是如此构成的，即，
·第一物体(12)具有所述控制装置(9)已知道的可光学测量的第一特征(13)，所述第一物体(12)在抓取误差内被所述第一工业机器人(11)抓取和保持，
·由所述控制装置(9)给所述第一工业机器人(11)确定这样的补偿抓取误差的第一补偿变量，使得所述第一物体(12)在所述空间坐标系内能够通过预定所述第一工业机器人(11)的位置被补偿调整，其中，利用所述控制装置(9)通过以下步骤来确定所述第一补偿变量：
*借助所述驱动单元(3)使得所述三维图像拍摄装置(1)的视界(8)对准被保持在所述第一工业机器人(11)的第一补偿位置上的第一物体(12)的第一特征(13)的至少一部分，
*拍摄至少一个第一三维图像，
*根据以下条件确定在所述第一工业机器人(11)的所述第一补偿位置上的所述第一物体(12)的在所述空间坐标系内的位置：
-所述三维图像拍摄装置(1)的位置(P)、
-由所述角度测量单元(4)所测定的所述三维图像拍摄装置(1)的角度取向、
-所述第一三维图像、和
-在所述第一物体(12)上的所述第一特征(13)的已知情况，
*通过考虑以下条件来确定所述第一补偿变量：
-所述第一工业机器人(11)的所述第一补偿位置，和
-在所述第一工业机器人(11)的所述第一补偿位置上的所述第一物体(12)的至少被确定的位置，
·所述第一物体(12)通过所述控制装置(9)被高精度调整移动到第一最终位置，这通过直至在预定误差内到达所述第一最终位置之前重复进行的以下步骤实现：
*拍摄至少一个另外的第一三维图像，
*根据以下条件确定所述第一物体(12)的在所述空间坐标系内的实际位置：
-所述三维图像拍摄装置(1)的位置(P)、
-所述三维图像拍摄装置(1)的由所述角度测量单元(4)测定的角度取向，
-所述另外的第一三维图像、和
-在所述第一物体(12)上的所述第一特征(13)的已知情况，
*计算在所述第一物体(12)的实际位置和所述第一最终位置之间的位置差，
*在考虑所述第一补偿变量情况下根据以下条件计算所述第一工业机器人(11)的一个新的理论位置：
-所述第一工业机器人(11)的实际位置，和
-与所述位置差关联的变量，
*调整所述第一工业机器人(11)到所述新的理论位置。
28.根据权利要求27所述的系统，其中，与所述位置差关联的所述变量由所述位置差乘以小于或等于1的系数构成。
29.根据权利要求27所述的系统，其中，所述控制装置(9)被构造用于执行根据权利要求1或2所述的方法。
30.根据权利要求27所述的系统，其中，所述光学三维图像拍摄装置(1)是如此构成的：
·至少一个第一摄像机(2a)借助所述驱动单元(3)能够分别围绕一个关于所述空间坐标系是水平的水平轴线(H)和一个竖直的竖轴线(V)被调整取向，
·通过所述角度测量单元(4)分别测定在所述空间坐标系内的以所述竖轴线(V)为中心的水平角度取向(α)和以所述水平轴线(H)为中心的竖直角度取向(β)。
31.根据权利要求30所述的系统，其中，所述水平的水平轴线(H)和所述竖直的竖轴线(V)相交。
32.根据权利要求30所述的系统，其中，
·所述第一摄像机(2a)被构成为范围成像摄像机，用以直接拍摄三维图像，所述三维图像由分别被指定有深度信息的多个图像点组成。
33.根据权利要求30所述的系统，其中，
·所述三维图像拍摄装置(1)具有光电测距仪(5)，
·所述控制装置(9)及其数据处理器和/或所述三维图像拍摄装置如此构成，以便通过下述方式产生三维图像：
*通过所述光电测距仪(5)对所述物体(12,22,32)的对应于所述多个图像点的部分进行至少一次光学深度测量来掌握所述深度信息，和
*将所述深度信息与所述多个图像点对应起来。
34.根据权利要求33所述的系统，其中，所述光电测距仪(5)被构造为点扫描仪，借助所述点扫描仪通过顺次扫描来检测深度信息。
35.根据权利要求34所述的系统，其中，至少一个点状测量光逐点地光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
36.根据权利要求33所述的系统，其中，所述光电测距仪(5)被构造为线扫描器，借助所述线扫描器通过并行扫描来检测深度信息，在这里，至少一条线状测量光逐行地光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
37.根据权利要求33所述的系统，其中，所述光电测距仪(5)被构造为面深度测量仪，借助所述面深度测量仪通过全并行扫描来检测深度信息，在此，至少一个面状测量光以面的方式光学扫描所述物体(12,22,32)的对应于所述视界(8)的表面。
38.根据权利要求37所述的系统，其中，所述至少一个面状测量光由多个测量光构成的光束所形成。
CN201080023382.XA 2009-05-27 2010-05-26 至少一个物体以高精度定位到空间最终位置的方法和系统 Active CN102448679B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09161295.2 2009-05-27
EP09161295A EP2255930A1 (de) 2009-05-27 2009-05-27 Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
PCT/EP2010/057282 WO2010136507A1 (de) 2009-05-27 2010-05-26 Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum

Publications (2)

Publication Number Publication Date
CN102448679A CN102448679A (zh) 2012-05-09
CN102448679B true CN102448679B (zh) 2014-11-19

Family

ID=41171198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023382.XA Active CN102448679B (zh) 2009-05-27 2010-05-26 至少一个物体以高精度定位到空间最终位置的方法和系统

Country Status (7)

Country Link
US (1) US8798794B2 (zh)
EP (2) EP2255930A1 (zh)
JP (1) JP5377758B2 (zh)
CN (1) CN102448679B (zh)
AU (1) AU2010251981B2 (zh)
CA (1) CA2763576C (zh)
WO (1) WO2010136507A1 (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098315A1 (en) 2002-11-19 2004-05-20 Haynes Leonard Steven Apparatus and method for facilitating the selection of products by buyers and the purchase of the selected products from a supplier
WO2009146359A1 (en) 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
EP2269783A1 (de) * 2009-06-30 2011-01-05 Leica Geosystems AG Kalibrierungsverfahren für ein Messsystem
US8761990B2 (en) * 2011-03-30 2014-06-24 Microsoft Corporation Semi-autonomous mobile device driving with obstacle avoidance
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
EP2781297A4 (en) * 2011-11-16 2015-12-09 Nissan Motor COMBINED MANUFACTURING METHOD AND MANUFACTURING DEVICE THEREFOR
US9573215B2 (en) 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US8605294B2 (en) * 2012-03-09 2013-12-10 Chung-Shan Institute of Science and Technology, Armaments, Bureau, Ministry of National Defense Actuating apparatus, actuating system and method for actuating a working stage to move relative to a platform with high-precision positioning capability
US20140000516A1 (en) * 2012-06-29 2014-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Digital point marking transfer
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
DE102012217912B4 (de) * 2012-10-01 2014-11-06 Siemens Aktiengesellschaft Verfahren zum Erzeugen eines Bauteils, Brenner und Turbine
EP2728306A1 (en) 2012-11-05 2014-05-07 Hexagon Technology Center GmbH Method and device for determining three-dimensional coordinates of an object
US9368045B2 (en) 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
EP2762829B1 (en) * 2013-02-05 2020-05-27 Hexagon Technology Center GmbH Variable modelling of a measuring device
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US9769930B2 (en) * 2013-03-19 2017-09-19 Muth Mirror Systems, Llc Module placement device and method
JP5713047B2 (ja) * 2013-04-18 2015-05-07 株式会社安川電機 移動ロボット、移動ロボットの位置決めシステム、及び、移動ロボットの位置決め方法
US11090753B2 (en) 2013-06-21 2021-08-17 Illinois Tool Works Inc. System and method for determining weld travel speed
KR101459479B1 (ko) * 2013-07-01 2014-11-07 현대자동차 주식회사 올인원 지그리스 프로젝션 로딩 시스템 및 이를 이용한 차체 부품 조립 방법
US9555549B2 (en) * 2013-10-31 2017-01-31 Seiko Epson Corporation Control device, robot, robot system, and control method
US9874628B2 (en) * 2013-11-12 2018-01-23 The Boeing Company Dual hidden point bars
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
CN103640018B (zh) * 2013-12-13 2014-09-03 江苏久祥汽车电器集团有限公司 一种基于surf算法进行定位的方法
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9737963B2 (en) 2014-02-24 2017-08-22 Metalsa S.A. De C.V. Pivoting tool for positioning automotive components
US9796051B2 (en) 2014-02-24 2017-10-24 Metalsa S.A. De C.V. Method and tools for welding a vehicle component
JP2015174191A (ja) * 2014-03-17 2015-10-05 株式会社安川電機 ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US10307853B2 (en) 2014-06-27 2019-06-04 Illinois Tool Works Inc. System and method for managing welding data
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US9724787B2 (en) 2014-08-07 2017-08-08 Illinois Tool Works Inc. System and method of monitoring a welding environment
US11014183B2 (en) 2014-08-07 2021-05-25 Illinois Tool Works Inc. System and method of marking a welding workpiece
US9875665B2 (en) 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
JP6360747B2 (ja) * 2014-08-22 2018-07-18 西部電機株式会社 不定形体位置推定方法、不定形体位置推定装置及びプログラム
NL2013409B1 (en) 2014-09-03 2016-09-27 Fugro N V Spatial positioning of offshore structures.
US10239147B2 (en) 2014-10-16 2019-03-26 Illinois Tool Works Inc. Sensor-based power controls for a welding system
US11247289B2 (en) 2014-10-16 2022-02-15 Illinois Tool Works Inc. Remote power supply parameter adjustment
US10373304B2 (en) 2014-11-05 2019-08-06 Illinois Tool Works Inc. System and method of arranging welding device markers
US10210773B2 (en) 2014-11-05 2019-02-19 Illinois Tool Works Inc. System and method for welding torch display
US10490098B2 (en) 2014-11-05 2019-11-26 Illinois Tool Works Inc. System and method of recording multi-run data
US10204406B2 (en) 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
US10402959B2 (en) 2014-11-05 2019-09-03 Illinois Tool Works Inc. System and method of active torch marker control
US10417934B2 (en) 2014-11-05 2019-09-17 Illinois Tool Works Inc. System and method of reviewing weld data
US10408670B2 (en) * 2014-12-17 2019-09-10 Norgren Automation Solutions, Llc Apparatus and method for detecting multiple workpieces
CN104656564B (zh) * 2014-12-25 2018-01-12 芜湖林一电子科技有限公司 一种基于图像的机器人视觉伺服控制系统
US9855658B2 (en) * 2015-03-19 2018-01-02 Rahul Babu Drone assisted adaptive robot control
US10427239B2 (en) 2015-04-02 2019-10-01 Illinois Tool Works Inc. Systems and methods for tracking weld training arc parameters
CN104858858A (zh) * 2015-04-13 2015-08-26 上海金东唐科技股份有限公司 一种自动抓取机构及自动抓取方法
US10438505B2 (en) 2015-08-12 2019-10-08 Illinois Tool Works Welding training system interface
US10657839B2 (en) 2015-08-12 2020-05-19 Illinois Tool Works Inc. Stick welding electrode holders with real-time feedback features
US10593230B2 (en) 2015-08-12 2020-03-17 Illinois Tool Works Inc. Stick welding electrode holder systems and methods
US10373517B2 (en) 2015-08-12 2019-08-06 Illinois Tool Works Inc. Simulation stick welding electrode holder systems and methods
US10095214B2 (en) 2015-08-21 2018-10-09 Processchamp, Llc System and method for joining workpieces to form an article
JP6665450B2 (ja) * 2015-08-31 2020-03-13 セイコーエプソン株式会社 ロボット、制御装置、及びロボットシステム
EP3147086B1 (de) * 2015-09-22 2020-11-04 Airbus Defence and Space GmbH Automatisieren von roboteroperationen im flugzeugbau
ES2929729T3 (es) * 2015-11-13 2022-12-01 Berkshire Grey Operating Company Inc Sistemas de clasificación para proporcionar clasificación de una variedad de objetos
JP6348097B2 (ja) 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
CN107309884B (zh) * 2016-04-27 2023-03-21 上海捷勃特机器人有限公司 机器人标定系统及方法
CN108007386B (zh) * 2016-11-02 2021-04-20 光宝电子(广州)有限公司 基于结构光的三维扫描方法及其装置与系统
EP3345723A1 (de) 2017-01-10 2018-07-11 Ivoclar Vivadent AG Verfahren zur steuerung einer werkzeugmaschine
CN110636923B (zh) * 2017-05-17 2023-03-21 深圳配天智能技术研究院有限公司 一种机器人的运动控制方法、机器人及控制器
US11179793B2 (en) * 2017-09-12 2021-11-23 Autodesk, Inc. Automated edge welding based on edge recognition using separate positioning and welding robots
TWI668541B (zh) 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
CN108115688B (zh) * 2017-12-29 2020-12-25 深圳市越疆科技有限公司 一种机械臂的抓取控制方法、系统及机械臂
CN108080289A (zh) * 2018-01-22 2018-05-29 广东省智能制造研究所 机器人分拣系统、机器人分拣控制方法及装置
JP6859967B2 (ja) * 2018-02-16 2021-04-14 オムロン株式会社 コンベアトラッキングシステムおよびキャリブレーション方法
US11294363B2 (en) * 2018-04-17 2022-04-05 Processchamp, Llc System and method for positioning workpiece in a workstation using an automatic guided vehicle
DE102018114867A1 (de) * 2018-06-20 2019-12-24 B. Strautmann & Söhne GmbH u. Co. KG Verfahren zum Verbinden von Bauteilen
US11167866B2 (en) * 2018-06-22 2021-11-09 Southwest Research Institute Localization system and methods
JP6740288B2 (ja) 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
TWI692727B (zh) * 2018-08-27 2020-05-01 台達電子工業股份有限公司 物件定位指引系統及其方法
CN110866950B (zh) * 2018-08-27 2022-08-09 台达电子工业股份有限公司 物件定位指引系统及其方法
JP6810116B2 (ja) * 2018-10-24 2021-01-06 ファナック株式会社 レーザ加工ロボットのキャリブレーション方法および制御装置
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
CN110000785B (zh) * 2019-04-11 2021-12-14 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN110200699B (zh) * 2019-05-21 2020-08-18 武汉联影智融医疗科技有限公司 由医学影像设备引导的手术设备、校正方法与校正系统
US11141824B2 (en) * 2019-06-04 2021-10-12 Lockheed Martin Corporation Apparatuses, systems, and methods for locating vectors
US10510155B1 (en) 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
US11776423B2 (en) 2019-07-22 2023-10-03 Illinois Tool Works Inc. Connection boxes for gas tungsten arc welding training systems
US11288978B2 (en) 2019-07-22 2022-03-29 Illinois Tool Works Inc. Gas tungsten arc welding training systems
CN110962127B (zh) * 2019-12-10 2020-09-01 南京航空航天大学 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN111015664B (zh) * 2019-12-26 2023-05-30 重庆盟讯电子科技有限公司 一种基于ccd相机的智能化识别方法
CN113290552B (zh) * 2020-02-24 2022-09-16 株式会社理光 物品放置系统以及物品放置方法
TW202142292A (zh) * 2020-05-06 2021-11-16 林奐祥 全自動球拍穿線系統
CN113682828B (zh) * 2020-05-18 2023-05-30 北京京东乾石科技有限公司 物品码垛的方法、装置和系统
JP7479205B2 (ja) 2020-06-09 2024-05-08 株式会社日立オートメーション ロボットシステム、制御装置、及び制御方法
DE102020133791A1 (de) 2020-12-16 2022-06-23 Benteler Automobiltechnik Gmbh Verfahren zur Herstellung geschweißter Bauteile
CN112528959B (zh) * 2020-12-29 2024-06-07 上海同温层信息科技有限公司 用于清洁机器人的障碍物识别方法
CN112959364B (zh) * 2021-03-15 2022-11-22 北京电子工程总体研究所 一种工业机器人装配误差补偿系统及方法
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
CN113096186A (zh) * 2021-04-27 2021-07-09 中冶南方（武汉）自动化有限公司 基于机器视觉的钢包位置测量方法
CN113450407B (zh) * 2021-05-14 2023-10-13 东莞市李群自动化技术有限公司 定位方法及作业方法、电子设备、轨道设备和存储介质
KR102703943B1 (ko) * 2021-06-02 2024-09-09 에이치디현대로보틱스 주식회사 용접 핏업 보정 장치
DE102021115473A1 (de) * 2021-06-15 2022-12-15 Linde Material Handling Gmbh Verfahren zur automatischen Kommissionierung und mobiler Kommissionierroboter
CN113894793B (zh) * 2021-11-11 2023-01-24 易思维（杭州）科技有限公司 一种零件与视觉传感器相对位姿关系的获取方法
US11838454B2 (en) * 2022-04-13 2023-12-05 Canon Kabushiki Kaisha Inspection apparatus, control method thereof, and storage medium
CN115436081B (zh) * 2022-08-23 2023-10-10 中国人民解放军63653部队 一种目标捡拾性能测试方法
EP4357041A1 (de) * 2022-10-21 2024-04-24 Bystronic Laser AG Vorrichtung und verfahren zum automatisierten biegen von werkstücken
DE102022131320A1 (de) * 2022-11-28 2024-05-29 Lisa Dräxlmaier GmbH Markierung am werkstück zur optischen darstellung von toleranzschwankungen bei der fertigung
DE102022213715A1 (de) * 2022-12-15 2024-06-20 Peri Se Verfahren zur positionierung eines ersten bauteils relativ zu einem zweiten bauteil durch ein roboterarmsystem

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345099A2 (de) * 2002-03-04 2003-09-17 TECMEDIC GmbH Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstücks im Raum zur automatischen Montage des Werkstücks am Objekt
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58177295A (ja) * 1982-04-07 1983-10-17 株式会社日立製作所 ロボット制御装置
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
US4851905A (en) 1984-10-12 1989-07-25 Diffracto Ltd. Vision target fixture construction
US5374830A (en) 1984-10-12 1994-12-20 Sensor Adaptive Machines, Inc. Target based determination of robot and sensor alignment
JPS6257884A (ja) * 1985-09-09 1987-03-13 株式会社東芝 マニピユレ−タ装置
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
US5380978A (en) 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JPH08272425A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd 非接触でロボットに座標系を教示する方法
GB9914918D0 (en) * 1999-06-26 1999-08-25 British Aerospace Method and apparatus for calibrating a first co-ordinate frame of an indexing means in a second frame of a sensing means
JP2003117861A (ja) * 2001-10-15 2003-04-23 Denso Corp ロボットの位置補正システム
US7386365B2 (en) * 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
JP4167940B2 (ja) * 2003-05-29 2008-10-22 ファナック株式会社 ロボットシステム
WO2005039836A2 (de) * 2003-10-20 2005-05-06 Isra Vision Systems Ag Verfahren zur einrichtung einer bewegung eines handhabungsgeräts und bildverarbeitung
FR2872728B1 (fr) * 2004-07-06 2006-09-15 Commissariat Energie Atomique Procede de saisie d'un objet par un bras de robot muni d'une camera
US20080252248A1 (en) * 2005-01-26 2008-10-16 Abb Ab Device and Method for Calibrating the Center Point of a Tool Mounted on a Robot by Means of a Camera
KR20080034882A (ko) 2005-07-05 2008-04-22 헥사곤 메트롤로지 에이비 공작물의 용접 방법
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
DE102007016056B4 (de) 2007-04-03 2011-08-25 Sauer GmbH LASERTEC, 87437 Verfahren und Vorrichtung zur Werkstückeinmessung und Werkstückbearbeitung
US8082064B2 (en) * 2007-08-24 2011-12-20 Elite Engineering Corporation Robotic arm and control system
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345099A2 (de) * 2002-03-04 2003-09-17 TECMEDIC GmbH Verfahren zur Bestimmung der Lage eines Objektes und eines Werkstücks im Raum zur automatischen Montage des Werkstücks am Objekt
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法

Also Published As

Publication number Publication date
CA2763576A1 (en) 2010-12-02
US20120072021A1 (en) 2012-03-22
CN102448679A (zh) 2012-05-09
CA2763576C (en) 2014-03-11
EP2435217A1 (de) 2012-04-04
WO2010136507A1 (de) 2010-12-02
AU2010251981B2 (en) 2013-08-22
EP2255930A1 (de) 2010-12-01
EP2435217B1 (de) 2017-08-16
US8798794B2 (en) 2014-08-05
JP5377758B2 (ja) 2013-12-25
JP2012528016A (ja) 2012-11-12
AU2010251981A1 (en) 2011-11-03

Similar Documents

Publication Publication Date Title
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
US8346392B2 (en) Method and system for the high-precision positioning of at least one object in a final location in space
US10751883B2 (en) Robot system with supplementary metrology position coordinates determination system
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US8908028B2 (en) Calibration method for a measuring system
CN109029257A (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
CN110355788B (zh) 移动操作机器人大尺度空间高精度在线标定系统
EP3584533A1 (en) Coordinate measurement system
CN111707189B (zh) 基于双目视觉的激光位移传感器光束方向标定方法
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6031368B2 (ja) ワークとの相関位置決め方法
Heikkilä et al. Calibration procedures for object locating sensors in flexible robotized machining
JPH0545117A (ja) 光学式３次元位置計測方法
Schütze et al. Optopose-a multi-camera system for fast and precise determination of position and orientation for moving effector
CN214558380U (zh) 可快速将机械手臂定位到三维坐标系统的激光加工系统
KR20190060506A (ko) 레이저 시스템을 이용한 원거리 스테레오 카메라의 정렬 장치 및 방법
JPS6129709A (ja) 形状測定方法
Boochs et al. A flexible multi-camera system for precise tracking of moving effectors
CN117795290A (zh) 位置测定装置以及位置测定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant