CN111344119B - 用于机器人的装置和方法 - Google Patents

用于机器人的装置和方法 Download PDF

Info

Publication number
CN111344119B
CN111344119B CN201780096821.1A CN201780096821A CN111344119B CN 111344119 B CN111344119 B CN 111344119B CN 201780096821 A CN201780096821 A CN 201780096821A CN 111344119 B CN111344119 B CN 111344119B
Authority
CN
China
Prior art keywords
reflective photosensor
target object
reflective
gripping member
photosensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780096821.1A
Other languages
English (en)
Other versions
CN111344119A (zh
Inventor
顾颢
李承�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN111344119A publication Critical patent/CN111344119A/zh
Application granted granted Critical
Publication of CN111344119B publication Critical patent/CN111344119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36415—Adjust path and attitude tool by detecting path, line with a photosensor, laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37125—Photosensor, as contactless analog position sensor, signal as function of position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37283—Photoelectric sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37286—Photoelectric sensor with reflection, emits and receives modulated light
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40033—Assembly, microassembly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40555—Orientation and distance

Abstract

公开了一种用于机器人(100)的装置(200)。装置(200)包括：反射型光电传感器(130)，被布置在机器人(100)的抓取器(120)上；以及控制器(300)。控制器(300)被配置为：使反射型光电传感器(130)在目标物体(210、210’)之上扫描；监测来自反射型光电传感器(130)的输出信号中的变化；对于每个检测到的超过阈值的变化，确定抓取器(120)上的抓取部件(140)在机器人坐标系中的坐标，以获得坐标集合；基于坐标集合以及反射型光电传感器(130)与抓取部件(140)之间的预定偏移值(PO)确定目标物体(210、210’)在机器人坐标系中的位置；以及存储目标物体(210、210’)的位置，以供将来在组装物体时使用。还公开了一种方法、机器人和计算机程序产品。装置(200)和方法可以提供用于校准和示教机器人的新解决方案。

Description

用于机器人的装置和方法
技术领域
本公开的实施例总体涉及工业机器人领域，并且更具体地，涉及用于机器人的装置和方法。
背景技术
工业机器人被广泛用于各种制造应用中，例如组装物体(诸如，家用电器部件、汽车零件等)。用于组装物体的机器人能够反复地将由连接到机器人的机器人臂的抓取器抓取的物体从一个位置移动到另一个位置。为了精确地执行这种移动，必须事先对机器人进行校准。换句话说，机器人必须首先被示教上述位置。
传统上，机器人示教是由操作员手动完成的。操作员手动控制机器人臂以将机器人的抓取器或由抓取器抓取的物体定位在期望的位置。一旦如此定位，就记录抓取器的位置，使得机器人可以在以后组装物体的过程中将抓取器返回到这些位置。
然而，在机器人应用中，机器人示教通常需要大量的工程工作。定位的准确性受到操作员的技能和视力的影响。特别是对于精确的组装，如果没有熟练和耐心的工程师，将很难实现抓取器的精确定位。因此，需要用于机器人的新解决方案，该解决方案将允许快速且准确地执行机器人的校准或示教。
发明内容
在本公开的第一方面，提供了一种用于机器人的装置。该装置包括：反射型光电传感器，被布置在机器人的抓取器上；以及控制器，被配置为：使反射型光电传感器在目标物体之上扫描；监测来自反射型光电传感器的输出信号中的变化；对于每个检测到的超过阈值的变化，确定抓取器上的抓取部件在机器人坐标系中的坐标，以获得坐标集合；基于坐标集合和反射型光电传感器与抓取部件之间的预定偏移值，确定目标物体在机器人坐标系中的位置；并且存储目标物体的位置，以供将来在组装物体时使用。
在一些实施例中，目标物体的位置被存储为抓取部件的抓取位置。
在一些实施例中，目标物体的位置被存储为抓取部件的放下位置。
在一些实施例中，抓取部件包括夹爪、真空吸盘或电磁体。
在一些实施例中，装置进一步包括相机，并且控制器进一步被配置为：使抓取部件抓取目标物体；使相机捕捉包含反射型光电传感器和由抓取部件抓取的目标物体的图像；以及根据图像，确定反射型光电传感器与由抓取部件抓取的目标物体之间的实际偏移值，作为预定偏移值。
在一些实施例中，反射型光电传感器是第一反射型光电传感器，该装置进一步包括被布置在抓取器上的第二反射型光电传感器，并且控制器进一步被配置为：基于来自第一反射型光电传感器和第二反射型光电传感器的输出信号，使抓取部件与目标物体在取向上对准。
在一些实施例中，控制器被配置为通过以下方式使抓取部件与目标物体在取向上对准：使第一和第二反射型光电传感器朝向目标物体的侧部移动；确定来自第一反射型光电传感器的输出信号中的变化超过阈值时的第一时间点；确定来自第二反射型光电传感器的输出信号中的变化超过阈值时的第二时间点；以及如果第一时间点与第二时间点不同，则使抓取器旋转以使抓取部件与目标物体在取向上对准。
在一些实施例中，反射型光电传感器是第一反射型光电传感器，装置进一步包括被布置在抓取器上的第三和第四反射型光电传感器，并且控制器进一步被配置为：基于来自第一、第三和第四反射型光电传感器的输出信号，使抓取部件的下表面与目标物体的上表面平行。
在一些实施例中，控制器被配置为通过以下方式使抓取部件的下表面与目标物体的上表面平行：使第一、第三和第四反射型光电传感器位于目标物体的上方；基于来自第一、第三和第四反射型光电传感器的输出信号，确定目标物体的上表面与第一、第三和第四反射型光电传感器之间的相应距离；以及如果距离中的至少一个距离与其它距离不同，则使抓取器旋转以使抓取部件的下表面与目标物体的上表面平行。
在一些实施例中，反射型光电传感器是反射型光纤传感器或激光位移传感器。
在本公开的第二方面，提供了一种用于机器人的方法。方法包括使布置在机器人的抓取器上的反射型光电传感器在目标物体之上扫描；监测来自反射型光电传感器的输出信号中的变化；对于每个检测到的超过阈值的变化，确定抓取器上的抓取部件在机器人坐标系中的坐标，以获得坐标集合；基于坐标集合和反射型光电传感器与抓取部件之间的预定偏移值，确定目标物体在机器人坐标系中的位置；并且存储目标物体的位置，以供将来在组装物体时使用。
在一些实施例中，目标物体的位置被存储为抓取部件的抓取位置。
在一些实施例中，目标物体的位置被存储为抓取部件的放下位置。
在一些实施例中，抓取部件包括夹爪、真空吸盘或电磁体。
在一些实施例中，方法进一步包括：使抓取部件抓取目标物体；使相机捕捉包含反射型光电传感器和由抓取部件抓取的目标物体的图像；以及根据该图像，确定反射型光电传感器与由抓取部件抓取的目标物体之间的实际偏移值，作为预定偏移值。
在一些实施例中，反射型光电传感器是第一反射型光电传感器，并且方法进一步包括：基于来自第一反射型光电传感器和被布置在抓取器上的第二反射型光电传感器的输出信号，使抓取部件与目标物体在取向上对准。
在一些实施例中，使抓取部件与目标物体在取向上对准包括：使第一和第二反射型光电传感器朝向目标物体的侧部移动；确定来自第一反射型光电传感器的输出信号中的变化超过阈值时的第一时间点；确定来自第二反射型光电传感器的输出信号中的变化超过阈值时的第二时间点；以及如果第一时间点与第二时间点不同，则使抓取器旋转以使抓取部件与目标物体在取向上对准。
在一些实施例中，反射型光电传感器是第一反射型光电传感器，并且方法进一步包括：基于来自第一反射型光电传感器以及被布置在抓取器上的第三和第四反射型光电传感器的输出信号，使抓取部件的下表面与目标物体的上表面平行。
在一些实施例中，使抓取部件的下表面与目标物体的上表面平行包括：使第一、第三和第四反射型光电传感器位于目标物体的上方；基于来自第一、第三和第四反射型光电传感器的输出信号，确定目标物体的上表面与第一、第三和第四反射型光电传感器之间的相应距离；以及如果距离中的至少一个距离与其它距离不同，则使抓取器旋转以使抓取部件的下表面与目标物体的上表面平行。
在一些实施例中，反射型光电传感器是反射型光纤传感器或激光位移传感器。
在本公开的第三方面，提供了包括根据本公开的第一方面的装置的机器人。
在本公开的第四方面，提供了一种设备。设备包括：处理单元；以及存储器，被耦合到处理单元并且在其上存储指令，指令当由处理单元执行时，使设备执行根据本公开的第二方面的方法。
根据本公开的各种实施例，用于机器人的装置和方法提供了用于校准或示教机器人的新解决方案。这种基于传感器的机器人校准或示教方案可以自动检测目标物体上的多个边缘点，从而精确地确定目标物体的位置以供在组装物体时使用。以此方式，可以快速而准确地执行机器人的校准或示教。
附图说明
通过以下参考附图的详细描述，本文公开的示例实施例的上述和其它目的、特征和优点将变得更加可理解。在附图中，将以示例性并且非限制性的方式示出本文公开的若干示例实施例，其中：
图1示意性地示出了根据一些示例实施例的用于机器人的装置在目标物体之上的扫描运动；
图2示意性地示出了使用反射型光电传感器扫描目标物体的示例过程；
图3示意性地示出了获得在反射型光电传感器与由抓取部件抓取的目标物体之间的预定偏移值的示例；
图4示意性地示出了图1所示的装置在目标物体之上的扫描运动；
图5示意性地示出了由抓取部件抓取目标物体的示例过程；
图6示意性地示出了将由抓取部件抓取的目标物体放到目标物体上的示例过程；
图7示意性地示出了根据另一示例实施例的使用用于机器人的装置将抓取器的抓取部件与目标物体在取向上对准的示例过程；
图8示意性地示出了根据另一示例实施例的使用用于机器人的装置使抓取部件的下表面与目标物体的上表面平行的示例过程；以及
图9是根据本公开的实施例的用于机器人的方法的流程图。
在所有附图中，相同或相似的附图标记被用于表示相同或相似的元件。
具体实施方式
现在将参考附图中示出的若干示例实施例来描述本公开的原理。尽管在附图中示出了本公开的示例实施例，但是应当理解，描述实施例仅是为了帮助本领域技术人员更好地理解并从而实现本公开，而不是以任何方式限制本公开的范围。
图1示意性地示出了根据一些示例实施例的用于机器人100的装置200在目标物体210之上的扫描运动。如图所示，目标物体210由进料器310供应到工作台410上并由工作台410支撑。机器人100包括机器人臂110和连接到机器人臂110的抓取器120。抓取器120由机器人臂110驱动，以在工作台410上方的不同位置之间移动。抓取器120包括可操作以抓取和放下物体(诸如目标物体210)的抓取部件140。
在一个实施例中，抓取部件140可以是具有用于抓取目标物体210的两个或多个指的夹爪。备选地，在另一实施例中，抓取部件140可以是粘附部件，诸如真空吸盘或电磁体。应该理解的是，抓取部件140可以是除了上述示例之外的合适的类型。本公开不旨在限制抓取部件140的类型。
为了抓取目标物体210以组装物体，需要预先确定目标物体210的位置并将其记录为抓取部件140的抓取位置。在下文中，将参照图1详细描述用于机器人100以确定目标物体210的位置的装置200。
总体上，装置200包括反射型光电传感器130和控制器300。应当理解，附图中的部件未按比例绘制，而是仅用于说明。
反射型光电传感器130被布置在抓取器120上。在操作中，反射型光电传感器130被配置为朝向目标物体210和工作台410发射光束L，并接收反射光束。在一个实施例中，反射型光电传感器130可以是反射型光纤传感器。作为响应，反射型光纤传感器生成表示反射光束的光强度的输出信号。来自反射型光纤传感器的输出信号中的变化可以表示以下至少一项：物体的颜色变化，反射型光纤传感器与物体之间的距离变化，物体的纹理变化，以及物体的角度变化。
在另一实施例中，反射型光电传感器130可以由激光位移传感器实现。激光位移传感器生成表示激光位移传感器与物体之间的相应距离的输出信号。来自激光位移传感器的输出信号中的变化可以表示激光位移传感器与物体之间的距离变化。
应当理解，反射型光电传感器130可以是除了上述示例之外的合适的类型。本公开不旨在限制反射型光电传感器130的类型。
装置200的控制器300可以由任何专用或通用处理器、控制器、电路等来实现。在一些实施例中，控制器300也可以是用于机器人100的控制器。
为了确定目标物体210的位置，控制器300被配置为使反射型光电传感器130在目标物体210之上扫描。在一个示例中，如图1所示，在控制器300的控制下，反射型光电传感器130可以沿预定方向S在目标物体210之上扫描。在另一示例中，反射型光电传感器130可以首先沿着预定方向S然后沿着不同于预定方向S的其它方向在目标物体210之上扫描。
应当理解，反射型光电传感器130可以沿除上述示例以外的任何方向在目标物体210之上扫描。本公开不旨在限制反射型光电传感器130的扫描方向。在下文中，将参照图2详细描述反射型光电传感器130的示例扫描方向。
在扫描期间，控制器300监测来自反射型光电传感器130的输出信号中的变化。作为示例，在其中反射型光电传感器130由反射型光纤传感器实现的那些实施例中，来自反射型光纤传感器的输出信号中的变化可以表示以下至少一项：物体的颜色变化，反射型光纤传感器与物体之间的距离变化，物体的纹理变化，以及物体的角度变化。当反射型光学传感器130由激光位移传感器实现时，来自激光位移传感器的输出信号中的变化可以表示激光位移传感器与物体之间的距离变化。
如果检测到变化超过阈值，则可以认为找到了目标物体210的边缘点。作为响应，控制器300可以在该时刻确定抓取部件140在机器人坐标系中的坐标。通过在每次反射型光电传感器130的输出信号中的变化超过阈值时确定并记录抓取部件140的坐标，获得了坐标集合。这些坐标表示当反射型光电传感器130找到目标物体210的边缘点时抓取部件140的位置。
阈值可以被预先存储在控制器300可访问的任何合适的存储装置或存储器中。在扫描期间，来自反射型光电传感器130的输出信号中的变化可能很小。这种微小的变化并不意味着找到了目标物体210的边缘点。仅当检测到的变化超过阈值时，才确定检测到目标物体210的边缘点。以这种方式，可以精确地检测目标物体210的边缘点。
然后，基于坐标集合以及反射型光电传感器130与抓取部件140之间的预定偏移值PO，控制器300确定目标物体210在机器人坐标系中的位置。预定偏移值“PO”表示反射型光电传感器130与抓取部件140之间的距离和取向。因此，基于预定偏移值PO，控制器300可以将获得的抓取部件140的坐标集合转换为目标物体210在机器人坐标系中的位置。
可以预先确定或测量并存储预定偏移值PO。在一个示例中，预定偏移值PO可以由操作员鉴于反射型光电传感器130与抓取部件140之间的距离和取向来预设。
在另一个示例中，装置200可以进一步包括用于确定预定偏移值PO的相机400。在下文中将参照图3详细描述用于使用相机400确定预定偏移值PO的示例过程。应当理解，可以以任何其它合适的方式来测量或设置预定偏移值PO。本公开不旨在限制获得预定偏移值PO的方式。
在确定目标物体210的位置时，控制器300将目标物体210的位置存储到任何可访问的存储装置或存储器中，以供将来在组装物体时使用，这将在后面讨论。
在图1所示的实施例中，目标物体210在机器人坐标系中的位置可以表示抓取部件140的抓取位置。在将来的组装过程中，基于存储的位置，抓取部件140可以重复返回到抓取位置，并且在抓取位置处抓取目标物体210。
利用如上所述的装置200，可以很好地示教目标物体210的位置，然后精确地确定目标物体210的位置，以供将来在组装物体时使用。以这种方式，可以在不需要人工干预的情况下快速且准确地执行机器人100的校准或示教。
在下文中，将参考图2详细描述使用反射型光电传感器130扫描目标物体210的示例过程。如图所示，目标物体210可以是圆形的。反射型光电传感器130在点sp0处开始扫描并且沿着预定方向S移动。这样，可以找到目标物体210的一对边缘点sp1和sp2。然后，反射型光电传感器130移动到边缘点sp1和sp2之间的中间点cp1，并且沿着与预定方向S正交的方向S’扫描。这样，可以找到目标物体210的另一对边缘点sp3和sp4。边缘点sp3和sp4之间的中间点cp2是目标物体210的中心。在一些实施例中，目标物体210的位置可以由机器人坐标系中的中间点cp2的坐标表示。
应当理解，如图2所示的实施例仅用于说明，而没有对本公开的范围提出任何限制。在其它实施例中，目标物体210可以具有任何其它形状，诸如三角形、正方形、六边形或不规则形状。本公开不旨在限制目标物体210的形状。
图3示意性地示出了获得在反射型光电传感器130与由抓取部件140抓取的目标物体210之间的预定偏移值“PO”的示例。为了便于讨论，在该实施例中将抓取部件140描述为夹爪。
总体上，为了确定PO，控制器300可以使抓取部件140抓取目标物体210，然后通过夹爪的指重新定位目标物体210。在这种情况下，可以确定反射型光电传感器130与目标物体210之间的实际偏移值“AO”，并且将其用作预定偏移值PO。
具体地，如上所述，装置200可以进一步包括相机400。在目标物体210被抓取部件140抓取之后，控制器300可以使相机400捕捉包含反射型光电传感器130和由抓取部件140抓取的目标物体210的图像。在一个示例中，相机400可以被设置在工作台410上。在另一个示例中，相机400可以被设置在其它位置处。然后，控制器300可以根据图像确定实际偏移值AO，并且将实际偏移值AO存储在存储器中作为预定偏移值PO。
应当理解，PO的值可以通过除参考图3所描述的方式以外的任何合适的方式来确定。例如，可以手动测量该值，然后输入到装置200。
图4示意性地示出了图1所示的装置200在目标物体210’之上的扫描运动。在该示例中，目标物体210’由固定装置320保持在工作台420上。目标物体210’可以被用于接收另一物体(例如，图1所示的目标物体210)以进行组装。在一个实施例中，目标物体210’的位置可以由控制器300以与确定目标物体210类似的方式来确定，并且被存储为抓取器120的放下位置。在组装物体时，抓取部件140可以移动到放下位置并且在放下位置处将目标物体210放到目标物体210’上。
在一些实施例中，利用存储的抓取部件140的抓取位置和放下位置，机器人100可以使用这些位置组装物体。就这一点而言，图5示意性地示出了通过抓取部件140抓取目标物体210的示例过程，并且图6示意性地示出了将由抓取部件140抓取的目标物体210放到目标物体210’上的示例过程。
如图5和图6所示的抓取部件140可以是诸如真空吸盘或电磁体之类的粘附部件。如图5所示，抓取部件140在基于预定偏移量PO确定的抓取位置处抓取目标物体210。如果预定偏移量PO不准确，则在抓取部件140与抓取的目标物体210之间可能存在对准误差ERR。如图6所示，由于抓取部件140的放下位置是基于相同的预定偏移量PO确定的，因此当将目标物体210放到目标物体210’上时，可以补偿在抓取目标物体210时的对准误差ERR。因此，目标物体210和目标物体210’可以彼此正确地对准。
在某些情况下，抓取部件140的取向可能未与目标物体210在取向上对准。这将导致抓取部件140可能无法精确地抓取目标210。图7示意性地示出了根据另一示例实施例的使用用于机器人100的装置200使抓取部件140与目标物体210在取向上对准的示例过程。
图7所示的装置200与图1所示的装置200的不同之处在于，除了反射型光电传感器130之外，还有被布置在抓取器120上的另一个反射型光电传感器150。为了便于讨论，反射型光电传感器130可以被称为第一反射型光电传感器，并且反射型光电传感器150可以被称为第二反射型光电传感器。第一和第二反射型光电传感器130、150可以是相同或不同的类型。利用第一和第二反射型光电传感器130、150，控制器300可以基于来自第一和第二反射型光电传感器130、150的输出信号使抓取部件140与目标物体210在取向上对准。
具体地，在一个实施例中，控制器300可以使第一和第二反射型光电传感器130、150朝向目标物体210的侧部230移动。在移动期间，控制器300可以确定来自第一反射型光电传感器130的输出信号中的变化超过阈值时的第一时间点。同样地，控制器300可以确定来自第二反射型光电传感器150的输出信号中的变化超过阈值时的第二时间点。
如果第一时间点与第二时间点相同，则可以确定抓取部件140已经与目标物体210在取向上对准。否则，如果第一时间点与第二时间点不同，则控制器300可以使抓取器120旋转以使抓取部件140与目标物体210在取向上对准。这样，抓取部件140可以与目标物体210正确地在取向上对准。
在某些情况下，抓取部件140的下表面180可能与目标物体210的上表面240不平行。这将导致抓取部件140可能无法精确地抓取目标210。图8示意性地示出了根据另一示例实施例的使用用于机器人100的装置200使抓取部件140的下表面180与目标物体210的上表面240平行的示例过程。
图8所示的装置200与图1所示的装置200的不同之处在于，第三和第四反射型光电传感器160、170被布置在抓取器120上。在该实施例中，反射型光电传感器130仍然可以被称为第一反射型光电传感器。第一、第三和第四反射型光电传感器130、160、170可以是相同或不同的类型。在一个实施例中，第一、第三和第四反射型光电传感器130、160、170可以被布置为非共线的。利用第一、第三和第四反射型光电传感器130、160、170，控制器300可以基于来自第一、第三和第四反射型光电传感器130、160、170的输出信号使抓取部件140的下表面180与目标物体210的上表面240平行。
在一个实施例中，控制器300可以使第一、第三和第四反射型光电传感器130、160、170位于目标物体210上方。然后，控制器300可以基于来自第一、第三和第四反射型光电传感器130、160、170的输出信号，确定目标物体210的上表面240与第一、第三和第四反射型光电传感器130、160、170之间相应距离。如果距离彼此相同，则可以确定抓取部件140的下表面180与目标物体210的上表面240平行。否则，如果至少一个距离与其它距离不同，则控制器可以使抓取器120旋转，以使得抓取部件140的下表面180与目标物体210的上表面240平行。以此方式，抓取部件140可以更好地与目标物体210对准。
在其它实施例中，一个或多个附加的反射型光电传感器可以被布置在抓取器120上，以便以更多的自由度来校准机器人100。
图9是根据本公开的实施例的用于机器人的方法的流程图。方法900可以由例如如图1和图3-8所示的用于机器人100的装置200来执行。
在框910处，使被布置在机器人100的抓取器120上的反射型光电传感器130在目标物体210、210’之上扫描。例如，在一些实施例中，反射型光电传感器130是反射型光纤传感器或激光位移传感器。
在框920处，监测来自反射型光电传感器130的输出信号中的变化。如上所述，输出信号的显著变化可以表示检测到目标物体210、210’的边缘。
在框930处，对于每个检测到的超过阈值的变化，确定抓取器120上的抓取部件140在机器人坐标系中的坐标，以获得坐标集合。在一些实施例中，抓取部件140包括夹爪、真空吸盘或电磁体。
在框940处，基于坐标集合以及反射型光电传感器130与抓取部件140之间的预定偏移值PO确定目标物体210、210’在机器人坐标系中的位置。
在一些实施例中，方法900进一步包括：使抓取部件140抓取目标物体210；使相机捕捉包含反射型光电传感器130和由抓取部件140抓取的目标物体210的图像；以及根据该图像，确定反射型光电传感器130与由抓取部件140抓取的目标物体210之间的实际偏移值AO，作为预定偏移值PO。
在框950处，存储目标物体210、210’的位置以供将来在组装物体时使用。
在一些实施例中，目标物体210的位置被存储为抓取部件140的抓取位置。在一些实施例中，目标物体210’的位置被存储为抓取部件140的放下位置。
在一些实施例中，反射型光电传感器130是第一反射型光电传感器，并且方法进一步包括：基于来自第一反射型光电传感器和被布置在抓取器120上的第二反射型光电传感器150的输出信号，使抓取部件140与目标物体210在取向上对准。
在一些实施例中，使抓取部件140与目标物体210在取向上对准包括：使第一和第二反射型光电传感器130、150朝向目标物体210的侧部230移动；确定来自第一反射型光电传感器130的输出信号中的变化超过阈值时的第一时间点；确定来自第二反射型光电传感器150的输出信号中的变化超过阈值时的第二时间点；并且如果第一时间点与第二时间点不同，则使抓取器120旋转以使抓取部件140与目标物体210在取向上对准。
在一些实施例中，反射型光电传感器130是第一反射型光电传感器，并且方法进一步包括：基于来自第一反射型光电传感器和被布置在抓取器120上的第三和第四反射型光电传感器160、170的输出信号，使抓取部件140的下表面180与目标物体210的上表面240平行。
在一些实施例中，使抓取部件140的下表面180与目标物体210的上表面240平行包括：使第一、第三和第四反射型光电传感器130、160、170位于目标物体210上方；基于来自第一、第三和第四反射型光电传感器130、160、170的输出信号，确定目标物体210的上表面240与第一、第三和第四反射型光电传感器130、160、170之间的相应距离；以及如果距离中的至少一个距离与其它距离不同，则使抓取器120旋转以使抓取部件140的下表面180与目标物体210的上表面240平行。本文描述的主题可以被实现为包括处理单元和存储器的设备。存储器被耦合到处理单元并且存储供处理单元执行的指令。当由处理单元执行时，指令使设备执行如上所述的方法。
在本文描述的主题的上下文中，存储器可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。存储器可以是机器可读信号介质或机器可读存储介质。存储器可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。存储器的更具体示例将包括具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备、或前述的任何合适的组合。
应当理解，本公开的以上详细实施例仅用于例示或解释本公开的原理，而并不限制本公开。因此，在不脱离本发明的精神和范围的情况下，任何修改、等同替换和改进等，都应被包括在本公开的保护范围内。同时，本公开的所附权利要求旨在覆盖落入权利要求的范围和边界或范围和边界的等同形式内的所有变型和修改。

Claims (20)

1.一种用于机器人(100)的装置(200)，所述装置(200)包括：
反射型光电传感器(130)，被布置在所述机器人(100)的抓取器(120)上；以及
控制器(300)，被配置为：
使所述反射型光电传感器(130)在目标物体(210、210’)之上扫描；
监测来自所述反射型光电传感器(130)的输出信号中的变化；
对于每个检测到的超过阈值的变化，确定所述抓取器(120)上的抓取部件(140)在机器人坐标系中的坐标，以获得坐标集合；
基于所述坐标集合以及所述反射型光电传感器(130)与所述抓取部件(140)之间的预定偏移值(PO)确定所述目标物体(210、210’)在所述机器人坐标系中的位置；以及
存储所述目标物体(210、210’)的所述位置，以供将来在组装物体时使用；
其中所述装置(200)进一步包括相机(400)，并且所述控制器(300)进一步被配置为：
使所述抓取部件(140)抓取所述目标物体(210)；
使所述相机(400)捕捉包含所述反射型光电传感器(130)和由所述抓取部件(140)抓取的所述目标物体(210)的图像；以及
根据所述图像，确定所述反射型光电传感器(130)与由所述抓取部件(140)抓取的所述目标物体(210)之间的实际偏移值(AO)，作为所述预定偏移值(PO)。
2.根据权利要求1所述的装置(200)，其中所述目标物体(210)的所述位置被存储为所述抓取部件(140)的抓取位置。
3.根据权利要求1所述的装置(200)，其中所述目标物体(210’)的所述位置被存储为所述抓取部件(140)的放下位置。
4.根据权利要求1所述的装置(200)，其中所述抓取部件(140)包括夹爪、真空吸盘或电磁体。
5.根据权利要求1所述的装置(200)，其中所述反射型光电传感器(130)是第一反射型光电传感器，所述装置(200)进一步包括被布置在所述抓取器(120)上的第二反射型光电传感器(150)，并且所述控制器(300)进一步被配置为：
基于来自所述第一反射型光电传感器(130)和所述第二反射型光电传感器(150)的输出信号，使抓取部件(140)与所述目标物体(210)在取向上对准。
6.根据权利要求5所述的装置(200)，其中所述控制器(300)被配置为通过以下方式使所述抓取部件(140)与所述目标物体(210)在取向上对准：
使所述第一反射型光电传感器(130)和所述第二反射型光电传感器(150)朝向所述目标物体(210)的侧部(230)移动；
确定来自所述第一反射型光电传感器(130)的所述输出信号中的变化超过所述阈值时的第一时间点；
确定来自所述第二反射型光电传感器(150)的所述输出信号中的变化超过所述阈值时的第二时间点；以及
如果所述第一时间点与所述第二时间点不同，则使所述抓取器(120)旋转以使所述抓取部件(140)与所述目标物体(210)在取向上对准。
7.根据权利要求1所述的装置(200)，其中所述反射型光电传感器(130)是第一反射型光电传感器，所述装置(200)进一步包括被布置在所述抓取器(120)上的第三反射型光电传感器(160)和第四反射型光电传感器(170)，并且所述控制器(300)进一步被配置为：
基于来自所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)和所述第四反射型光电传感器(170)的输出信号，使所述抓取部件(140)的下表面(180)与所述目标物体(210)的上表面(240)平行。
8.根据权利要求7所述的装置(200)，其中所述控制器(300)被配置为通过以下方式使所述抓取部件(140)的所述下表面(180)与所述目标物体(210)的所述上表面(240)平行：
使所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)和所述第四反射型光电传感器(170)位于所述目标物体(210)上方；
基于来自所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)和所述第四反射型光电传感器(170)的所述输出信号，确定所述目标物体(210)的所述上表面(240)与所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)以及所述第四反射型光电传感器(170)之间的相应距离；以及
如果所述距离中的至少一个距离与其它距离不同，则使所述抓取器(120)旋转以使得所述抓取部件(140)的所述下表面(180)与所述目标物体(210)的所述上表面(240)平行。
9.根据权利要求1所述的装置(200)，其中所述反射型光电传感器(130)是反射型光纤传感器或激光位移传感器。
10.一种用于机器人(100)的方法，所述方法包括：
使被布置在所述机器人(100)的抓取器(120)上的反射型光电传感器(130)在目标物体(210、210’)之上扫描；
监测来自所述反射型光电传感器(130)的输出信号中的变化；
对于每个检测到的超过阈值的变化，确定所述抓取器(120)上的抓取部件(140)在机器人坐标系中的坐标，以获得坐标集合；
基于所述坐标集合以及所述反射型光电传感器(130)与所述抓取部件(140)之间的预定偏移值(PO)，确定所述目标物体(210、210’)在所述机器人坐标系中的位置；以及
存储所述目标物体(210、210’)的所述位置，以供将来在组装物体时使用；
所述方法进一步包括：
使所述抓取部件(140)抓取所述目标物体(210)；
使相机(400)捕捉包含所述反射型光电传感器(130)和由所述抓取部件(140)抓取的所述目标物体(210)的图像；以及
根据所述图像，确定所述反射型光电传感器(130)与由所述抓取部件(140)抓取的所述目标物体(210)之间的实际偏移值(AO)，作为所述预定偏移值(PO)。
11.根据权利要求10所述的方法，其中所述目标物体(210)的所述位置被存储为所述抓取部件(140)的抓取位置。
12.根据权利要求10所述的方法，其中所述目标物体(210’)的所述位置被存储为所述抓取部件(140)的放下位置。
13.根据权利要求10所述的方法，其中所述抓取部件(140)包括夹爪、真空吸盘或电磁体。
14.根据权利要求10所述的方法，其中所述反射型光电传感器(130)是第一反射型光电传感器，并且所述方法进一步包括：
基于来自所述第一反射型光电传感器和被布置在所述抓取器(120)上的第二反射型光电传感器(150)的输出信号，使所述抓取部件(140)与所述目标物体(210)在取向上对准。
15.根据权利要求14所述的方法，其中使所述抓取部件(140)与所述目标物体(210)在取向上对准包括：
使所述第一反射型光电传感器(130)和所述第二反射型光电传感器(150)朝向所述目标物体(210)的侧部(230)移动；
确定来自所述第一反射型光电传感器(130)的所述输出信号中的变化超过所述阈值时的第一时间点；
确定来自所述第二反射型光电传感器(150)的所述输出信号中的变化超过所述阈值时的第二时间点；以及
如果所述第一时间点与所述第二时间点不同，则使所述抓取器(120)旋转以使所述抓取部件(140)与所述目标物体(210)在取向上对准。
16.根据权利要求10所述的方法，其中所述反射型光电传感器(130)是第一反射型光电传感器，并且所述方法进一步包括：
基于来自所述第一反射型光电传感器、以及被布置在所述抓取器(120)上的第三反射型光电传感器(160)和第四反射型光电传感器(170)的输出信号，使所述抓取部件(140)的下表面(180)与所述目标物体(210)的上表面(240)平行。
17.根据权利要求16所述的方法，其中使所述抓取部件(140)的所述下表面(180)与所述目标物体(210)的所述上表面(240)平行包括：
使所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)和所述第四反射型光电传感器(170)位于所述目标物体(210)上方；
基于来自所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)和所述第四反射型光电传感器(170)的所述输出信号，确定所述目标物体(210)的所述上表面(240)与所述第一反射型光电传感器(130)、所述第三反射型光电传感器(160)以及所述第四反射型光电传感器(170)之间的相应距离；以及
如果所述距离中的至少一个距离与其它距离不同，则使所述抓取器(120)旋转以使得所述抓取部件(140)的所述下表面(180)与所述目标物体(210)的所述上表面(240)平行。
18.根据权利要求10所述的方法，其中所述反射型光电传感器(130)是反射型光纤传感器或激光位移传感器。
19.一种机器人(100)，包括根据权利要求1-9中的任一项所述的装置(200)。
20.一种计算机程序产品，被有形地存储在非瞬态计算机可读介质中，并且包括机器可执行指令，所述机器可执行指令当被执行时，使机器执行根据权利要求10-18中的任一项所述的方法。
CN201780096821.1A 2017-11-27 2017-11-27 用于机器人的装置和方法 Active CN111344119B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113187 WO2019100400A1 (en) 2017-11-27 2017-11-27 Apparatus and method for use with robot

Publications (2)

Publication Number Publication Date
CN111344119A CN111344119A (zh) 2020-06-26
CN111344119B true CN111344119B (zh) 2023-06-20

Family

ID=66631201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096821.1A Active CN111344119B (zh) 2017-11-27 2017-11-27 用于机器人的装置和方法

Country Status (4)

Country Link
US (1) US11642800B2 (zh)
EP (1) EP3717183A4 (zh)
CN (1) CN111344119B (zh)
WO (1) WO2019100400A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11820006B2 (en) 2019-09-27 2023-11-21 Abb Schweiz Ag Apparatus and method for calibrating laser displacement sensor for use with robot
CN112008758B (zh) * 2020-07-11 2024-03-26 埃华路（芜湖）机器人工程有限公司 一种工业机器人托盘抓取高度智能检测方法
CN113823047A (zh) * 2021-08-31 2021-12-21 武汉天喻信息产业股份有限公司 一种信用卡智能分发设备及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185234A (ja) * 1997-08-30 1999-03-30 Yaskawa Electric Corp 自動工具交換装置の教示点の位置補正装置とその方法
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
US9120233B2 (en) * 2012-05-31 2015-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
CN103600353B (zh) * 2013-04-28 2016-01-27 宝山钢铁股份有限公司 一种端拾器对组料边部检测的方法
DE102013012839B4 (de) * 2013-08-02 2019-05-09 Abb Schweiz Ag Robotersystem
US9586317B2 (en) * 2014-03-31 2017-03-07 Canon Kabushiki Kaisha Controlling method of robot system, program, recording medium, and robot system
US9981380B2 (en) * 2014-07-01 2018-05-29 Seiko Epson Corporation Teaching apparatus and robot system
CN104354147B (zh) 2014-09-28 2016-04-06 苏州金螳螂幕墙有限公司 一种单元幕墙用自动翻转台
CN104354157B (zh) * 2014-10-29 2016-03-02 南京航空航天大学 一种轮胎搬运机器人及其控制方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN207861446U (zh) * 2015-07-29 2018-09-14 Abb瑞士股份有限公司 用于机器人拆垛设备的控制系统
CN105666485B (zh) * 2016-03-28 2018-05-11 桂林电子科技大学 一种基于图像处理的自动识别和定位摆棋机器人
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
US10145672B2 (en) * 2017-01-24 2018-12-04 Lithoptek LLC Detection of position, orientation and scale of work pieces using retroreflective surfaces
JP6472472B2 (ja) * 2017-03-08 2019-02-20 本田技研工業株式会社 位置姿勢調整方法
US11511435B2 (en) * 2017-05-22 2022-11-29 Abb Schweiz Ag Robot-conveyor calibration method, robot system and control system
CN107186696B (zh) * 2017-06-02 2023-06-02 天津工程机械研究院有限公司 手眼伺服作业机器人实训装置

Also Published As

Publication number Publication date
US20200282576A1 (en) 2020-09-10
US11642800B2 (en) 2023-05-09
CN111344119A (zh) 2020-06-26
EP3717183A1 (en) 2020-10-07
EP3717183A4 (en) 2021-07-21
WO2019100400A1 (en) 2019-05-31

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
US8180487B1 (en) Calibrated vision based robotic system
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
US8135208B1 (en) Calibrated vision based robotic system utilizing upward and downward looking cameras
JP7027299B2 (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
US11267142B2 (en) Imaging device including vision sensor capturing image of workpiece
US20200282576A1 (en) Apparatus and method for use with robot
KR102184953B1 (ko) 로봇 및 로봇의 교시 방법
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
US11065768B2 (en) Automatic calibration for camera-robot system with tool offsets
CN110978056B (zh) 机器人运动的平面校准系统及方法
JP6869159B2 (ja) ロボットシステム
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
US11511435B2 (en) Robot-conveyor calibration method, robot system and control system
JP6900290B2 (ja) ロボットシステム
KR20180012789A (ko) 기어 기구의 조립 장치 및 조립 방법
US20220028056A1 (en) Alignment device
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
TW201900358A (zh) 機器手臂校正座標的方法
WO2022202655A1 (ja) ３次元測定システム
JP2021133458A (ja) ３次元計測装置および３次元計測システム
KR20210057238A (ko) 자율주행 제품검사 장치
KR20200125642A (ko) 프로브 헤드의 자동 조립을 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant