CN101291784A - 用于定位和从载体拾取物体的方法和设备 - Google Patents

用于定位和从载体拾取物体的方法和设备 Download PDF

Info

Publication number
CN101291784A
CN101291784A CNA2006800386509A CN200680038650A CN101291784A CN 101291784 A CN101291784 A CN 101291784A CN A2006800386509 A CNA2006800386509 A CN A2006800386509A CN 200680038650 A CN200680038650 A CN 200680038650A CN 101291784 A CN101291784 A CN 101291784A
Authority
CN
China
Prior art keywords
carrier
virtual
dimensional surface
robotic arm
scanner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800386509A
Other languages
English (en)
Other versions
CN101291784B (zh
Inventor
安德斯·雷伊尔
珀·拉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MOFICK TECHNOLOGY STOCK Co
Morphic Technologies AB
Original Assignee
MOFICK TECHNOLOGY STOCK Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37962770&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101291784(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MOFICK TECHNOLOGY STOCK Co filed Critical MOFICK TECHNOLOGY STOCK Co
Publication of CN101291784A publication Critical patent/CN101291784A/zh
Application granted granted Critical
Publication of CN101291784B publication Critical patent/CN101291784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39106—Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S294/00—Handling: hand and hoist-line implements
    • Y10S294/902—Gripping element

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种用于定位和拾取放置在载体(1)上的物体(2)的方法。在载体上执行扫描操作。由线激光扫描器(8)执行该扫描。使用扫描的结果产生表示已经扫描的区域的虚拟表面(18)。将虚拟表面与对应于从载体(1)拾取的物体(2)的预先限定的虚拟物体(15)。由此，识别虚拟表面(18)匹配预先限定的虚拟物体的一部分。然后，使机器手臂(5)移动到对应于虚拟表面的识别部分的位置，并且在该位置从载体(1)拾取物体。

Description

用于定位和从载体拾取物体的方法和设备
技术领域
本发明涉及一种定位和从载体(如料箱)拾取物体的方法和设备，其中使用具有可移动的机器手臂的机器人拾取物体。
背景技术
在许多工业应用中，需要从载体如料箱或托盘拾取物体，以便将物体供给到用于进一步处理的机器。这种操作经常是由工业机器人执行的。已经提出将用于从载体拾取物体的机器人装配机器视觉，以便在拾取物体时协助机器人。例如，美国专利No.4412293公开了一种包含视觉和平口虎钳夹具的机器人系统，以便获得堆在料箱中的、具有圆柱形外表面的任意定向的工件。视觉上，机器人系统使用与计算机连接的摄像机。美国专利No.6721444中也公开了一种料箱拾取系统。
本发明的目的是提供一种用于从载体定位和拾取物体的改进的方法以及改进的设备。
发明内容
本发明涉及一种用于定位和拾取放置在载体上的物体的方法。该方法包括通过使用线激光扫描器(line laser scanner)在该载体的至少一部分上执行扫描操作，以及使用扫描的结果产生表示已经扫描的区域的虚拟三维表面的步骤。将虚拟三维表面与对应于从载体拾取的物体的预先限定的虚拟物体比较。由此，识别三维表面最匹配该预先限定的虚拟物体的一部分。然后，使机器手臂移动到对应于该虚拟三维表面的识别部分的位置，并且在该位置从载体拾取物体。
在一个实施方式中，在扫描操作期间，在载体上方的路径上移动扫描器。优选地，该扫描器跟随载体上方的线性路径。然而，本发明的实施方式还设想在扫描操作期间，将扫描器保持在一个位置，但是使其绕轴旋转/转动，以便激光器在区域上执行扫描。
在优选的实施方式中，该扫描器是与机器手臂分开的单元。
然而，还可以设想，将扫描器定位在机器手臂本身上。在这种实施方式中，在由机器手臂执行的运动中，扫描器可以在载体上方移动。
将虚拟三维表面与预先限定的虚拟物体比较的步骤包括移动和/或旋转虚拟物体，直到其适应于虚拟三维表面的一部分。使用虚拟物体运动和/或旋转的信息确定如何拾取载体上的物体。
可以通过机器手臂上的夹具拾取从载体拾取的物体，并且该夹具包括夹具爪，至少一个夹具爪是可以相对于另一个夹具爪移动的，以便抓紧载体上的物体。
在虚拟三维表面的两个或多个部分相同程度地匹配虚拟物体的情况下，可以使用随机选择在虚拟三维表面的不同部分之间选择。
将虚拟三维表面与预先限定的虚拟物体比较的步骤包括旋转虚拟物体，直到其适应于虚拟三维表面的一部分，在虚拟三维表面的两个或多个部分相同程度地匹配虚拟物体的情况下，可以使用虚拟物体的定向信息在虚拟三维表面的不同部分之间选择。
在一个实施方式中，载体是料箱。另一种载体也是可能的。例如，该载体可以是输送机如带式输送机。该载体还可以是托盘。
本发明还涉及一种用于定位和拾取放置在载体上的物体的设备。该设备包括设置成扫描放置物体的载体的至少一部分的线激光扫描器。该设备进一步包括具有适于抓住物体的机器手臂的机器人，以及连接到线激光扫描器的计算机。该计算机进一步具有设计成基于在扫描操作期间从扫描器接收的数据产生虚拟三维表面的计算机软件。该计算机还具有表示虚拟物体的软件，以及用于将虚拟物体与虚拟三维表面的不同部分比较和用于确定虚拟表面最匹配虚拟物体的部分的软件。计算机连接到机器人，其具有用于将机器手臂引导到载体上对应于虚拟三维表面最匹配虚拟物体的一部分的位置的软件，在该位置拾取物体。优选地，从载体拾取的物体不仅由其位置限定，而且由其定向限定。
线激光器可以与机器人分开，并且设置成在由扫描器要在其上移动的引导结构限定的预先确定的路径上移动。该引导结构可以是限定线激光扫描器的线性路径的光束。
可选地，将线激光扫描器设置在机器手臂上。
机器手臂适于通过具有夹具爪的夹具抓住物体，至少一个夹具爪是可移动的。
附图说明
附图1表示本发明的设备。
附图2是附图1中表示的相同设备的侧视图。
附图3是对应于附图2的视图，其表示本发明设备的某些不同的环境。
附图4a-4c说明夹紧操作。
附图5a-5c说明附图4a-4c中表示的操作的变型。
附图6a-6c说明又一种夹紧操作。
附图7示意性地表示如何产生表示实际表面的虚拟表面。
附图8示意性地表示如何将虚拟物体与虚拟表面匹配。
附图9示意性地说明构成附图1的实施方式的可选方案的实施方式。
具体实施方式
首先，参照附图1-附图3描述本发明的设备。作为本发明的目的，该设备用于定位和拾取放置在载体1上的物体2。在附图1中，载体1是料箱或箱1，物体2从该料箱或箱拾取。该设备包括执行扫描操作的线激光扫描器8，以便可以用于扫描物体2放置在其上的载体1的至少一部分。在线激光器中，来自点激光源的光被拉成一直线。这可以通过使用适当的由例如玻璃、有机玻璃或石英制成的透镜实现。最好如附图1所示，激光扫描器8包括发射线激光束10的激光发射器16，以及可以检测从发射器16发射并且从表面反射的激光束的激光检测器17。激光发射器16例如可以是由StockerYaleCanada，275 Kesmark，Montreal，Quebec，Canada以LasirisTM商标在市场上出售的线激光器。当然，其它的激光发射器也是可以的。该设备进一步包括具有适于抓住物体2的机器手臂5的机器人4。计算机11经由连接12连接到线激光扫描器8，该连接可以是电线，也可以是无线连接。如参照方法更详细地解释的，计算机11具有设计成基于在扫描操作期间从扫描器8接收的数据产生虚拟的三维表面的计算机软件。计算机11还具有表示虚拟物体15的软件，以及用于将虚拟物体15与虚拟三维表面的不同部分比较并且确定虚拟表面的哪部分最匹配虚拟物体15的软件。应当理解，虚拟物体15对应于从载体1拾取的物理物体2。虚拟物体15例如可以基于对物理物体2的测量或扫描。可替换地，虚拟物体15可以基于用于制造对应的物理物体2的CAD模型。计算机11进一步连接到机器人4，其具有用于将机器手臂5引导到载体上对应于虚拟三维表面与虚拟物体最匹配的一部分的位置的软件，并且在该位置和适合于要拾取的物体2的定向的方向来拾取物体2。为了说明的目的，将所示的计算机11与机器人4分开。然而，应当理解，计算机11也可以是机器人4的组成部分。
在附图1-3说明的实施方式中，线激光扫描器8是与机器人4分开的，并且在由引导结构9预先确定的扫描器8要移动的路径上移动。在优选的实施方式中，引导结构9是限定线激光扫描器的线性路径的光束9。然而，应当理解，也可以将线激光扫描器8设置在机器手臂5上。这种实施方式示意性地在附图8中表示。
原则上，机器手臂5具有许多不同的用于拾取物体2的装置。例如，其提供有吸盘或用于拾取金属物体2的磁铁。然而，在本发明优选的实施方式中，机器手臂5适于通过使用具有夹具爪7的夹具6抓住物体。夹具爪7的至少一部分是可移动的。在附图1中，表示两个夹具爪7，但是应当理解，夹具7可以具有多于两个的夹具爪7。例如，其可以具有三个、四个、五个或者更多个夹具爪7。优选地，至少两个夹具爪7是可移动的，并且相对于彼此是可移动的。优选将夹具6铰接在机器手臂5上，以便夹具可以绕不同的轴转动，由此相对于要由夹具6拾取的物体2定向。使用具有可移动的爪7的夹具6带来了下面的优点：可以实现更高的精度，并且夹具的可靠性更高。优选设置夹具6，以便其可以绕彼此垂直的轴转动。优选地，其可以绕至少三个彼此垂直的轴转动。在本发明优选的实施方式中，夹具6可以绕三个以上的轴转动。例如，可以将其设置成绕六个轴转动。
现在参照附图4a-4c、5a-5c和6a-6c简要地解释夹具爪的操作。在附图4a中，将夹具6放置在要拾取的物体2上面。如附图4b中所示，然后将夹具爪7分开，即彼此远离地移动，以便可以将物体2放置在爪7之间。具有夹具6的臂5接触物体2，夹具7彼此相向地移动，并且如图4c所示，将物体2夹在爪7之间。然后，可以通过机器手臂5将物体2提起。
在附图5a中，使用夹具6通过通孔3和内壁20拾取物体2。爪7首先是集拢的，并且如图5b所示插入通孔3中。然后使爪7彼此分开，并且接触内壁20。爪7相对于内壁20的压力保证了牢固的夹紧，并且可以提起物体2。
在附图6a-6c中，说明了夹紧操作，其中一个爪7在物体2的外表面接触物体2，另一个爪7接触物体的内壁20。
应当理解，附图4a-6c中说明的所有不同的抓具不是都同样适于拾取给定的物体2。取决于每个要拾取的特定物体2的形状，优选不同的抓具。还应当理解，对于每个特定的物体来说，具有对于夹具6来说接近物体的最佳运动方向。
在操作中，本发明以下面的方式运行。将物体2放置在载体1上，该载体例如可以是附图1和附图2说明的料箱1，或者是附图3说明的带式输送机。应当理解，载体还可以是别的东西，例如托盘。扫描器1使用线激光扫描器8在载体1的至少一部分上执行扫描操作。扫描的区域具有对应于一堆载体1上的物体2的表面14。扫描操作的结果用于产生表示扫描的区域的虚拟三维表面18，即虚拟表面18对应于实际表面14。如示意性地在附图7中表示的，这种操作可以在计算机11中进行。如图7所示，虚拟表面18由沿三个不同的彼此垂直的轴x、y、z变化的坐标限定。然后，将虚拟三维表面18与预先限定的对应于要从载体1拾取的物体2的虚拟物体15比较。通过比较，识别三维表面18最匹配预先限定的虚拟物体15的一部分。然后，使机器手臂5移动到对应于虚拟三维表面的识别部分的位置，并且在该位置从载体1拾取物体2。夹具6还可以是转动的，以便巧妙地配合要拾取的物体的定向。
严格地讲，表面是二维的。如在此使用的，术语“三维表面”应当理解成三维物体的表面，即可以通过一个以上的平面延伸的。作为术语“虚拟三维表面”的可选方案，可以谈及表示三维物体的外表面的虚拟表面。
可以以下面的方式执行将虚拟三维表面18与预先限定的虚拟物体15比较的步骤。虚拟物体15移动和旋转，直到如附图8所示，其适应虚拟三维表面18的一部分。虚拟物体15的运动和旋转信息直接对应于载体1上的物理物体2的定向和位置，并且该信息可以用于确定如何拾取载体1上的物体2。可以通过使用形状感应算法如旋转图像或旋转图像的表示执行匹配(例如参见，A.E.Johnson and M.Hebert，“Using Spin Images for Efficient ObjectRecognition in Cluttered 3D scenes”，IEEE Trans.Pattern Analysis and MachineIntelligence，21(5，pp.433-449，1999)。可选地，可以使用ICP(迭代最近点)或旋转图像和ICP的组合。
在虚拟三维表面18上的两个或多个部分相同程度地匹配虚拟物体15的情况下，可以使用随机选择在虚拟三维表面的不同部分之间选择，由此在要拾取的不同物体时间选择。可选地，在虚拟三维表面的两个或多个部分相同程度地匹配虚拟物体的情况下，可以使用虚拟物体15的定向信息在虚拟三维表面的不同部分之间选择。如前表示的，不是所有的夹具都同样适于所有的物体2。对于给定的物体2来说，可以在控制机器人4的计算机11软件中包含优选的夹具。对于具有通孔3的物体2来说，优选的夹具(例如)是附图5a-5c中表示的夹具。对于载体1上给定的物体来说，实际上，仅有一个夹具是可能的。如果虚拟表面18的两个或多个部分同等地匹配虚拟物体15，则控制机器人4的软件可以包括选择虚拟表面18对应于优选的夹具的一部分的指令。当载体上的两个物体2乍看起来在力所能及的范围内同样好时，这给了本发明的设备一个载体上的不同物体2之间进行智能选择的机会。为了检查哪个夹具可以用于给定的物体2，该软件检查虚拟物体15是如何移动和旋转以适应虚拟表面18的对应部分的。这种运动的信息可以直接转换成实际物体定向的信息。当然，还可以将相同的信息用于控制机器手臂5上夹具6的运动，并且确定夹具6从哪个方向接近物体2，以便能够使用优选的夹具。这带来了下面的优点，可以将夹具6精确地引导到对于每个要拾取的物体理想的夹紧。由于一些接近方向会在夹具和载体1的多个部分之间、或者在夹具和除了要拾取的物体之外的其它物体2之间带来冲突的风险，因而夹具6接近物体的方向也是很重要的。一些物体还会具有从一个方向比从另一个方向更容易夹紧的形状。
而且，扫描操作还可以延伸到载体1本身。可以使用该对扫描操作的结果阻止夹具6与载体6的边或壁冲突。可选地，与虚拟物体15一样，可以在控制软件中预先确定载体1的轮廓。应当理解，当大量的未分类的物体成堆地到达时，一些物体最初不能简单地抓紧，这是由于其它物体阻止夹具接近这些物体。还可以理解，物体相对于载体的边(例如，料箱1的壁)的位置和定向最初很难使夹具6接近这些物体，特别是当其它物体2限制这种接近的时候。控制机器手臂5和机器手臂上的夹具6的软件优选将这种情况考虑在其中。因此，当在对载体1上的两个不同物体2之间进行选择时，该软件会考虑与其它物体以及载体1的多个部分之间的冲突风险。在这样做时，可以将软件设计成考虑夹具必须接近要拾取的物体的方向。这构成对物体选择的进一步标准。
还应当理解，标准“优选夹具”不仅用作对标准“最佳匹配”的补充，而且用作该标准的可选方案。在实践中，这意味着该软件首先设法识别允许优选夹具的物体2。可选地，如果几个物体2允许优选夹具，则使用“最佳匹配”进行最终的选择。
在扫描操作期间，扫描器8优选在载体1上方的路径移动并优选在直线路径上移动。然而，应当理解，非直线路径也是可以想象的。还应当理解，扫描器8可以是固定的，并且扫描操作可以包括旋转激光发射器16，而不是沿直线路径移动。
还应当理解，如图9所示，可以将扫描器8定位在机器手臂5上，并且可以通过机器手臂5执行扫描器8在载体1上的运动。
因而，本发明设备的全循环如下。可以将物体2在载体1上任意定向，该载体1可以是如附图2所示的料箱1，或者是如附图3所示的带式输送机。扫描器8执行扫描操作，将由该扫描操作产生的数据发送到计算机11，其中将该数据转换成虚拟三维表面18。将预先限定的虚拟物体15与虚拟表面18比较，直到识别出匹配。计算机控制机器人4，并且命令机器人使用具有夹具6的臂5拾取识别的物体2。当物体2由机器手臂5拾取时，机器手臂将物体移动到进一步的工作站19，该工作站例如可以是进一步处理物体2的机器。在机器人将物体移动到进一步的工作站期间，可以执行新的扫描操作，以便恰好在前面的循环完成之前开始新的循环。
本发明尤其带来下面的优点：可以快速、可靠地识别以及单独地拾取彼此成堆的任意定向的物体。本发明还可以从最佳方向并且通过非常精确和可靠的夹具拾取物体。如上所述，本发明的实施方式还可以减少夹具6或机器手臂5与环境例如载体1的边或壁冲突的风险。
如果扫描器8与机器人4分开，则可以在机器手臂5在另一个位置输送物体时开始新的扫描操作。这可以使该过程更快。
使用线激光器意味着可以在扫描器的一个单个运动期间扫描整个区域，这是通过点激光器不可能实现的。
上面参照使用机器手臂拾取物体的方法和设备描述了本发明。然而，将上述用于扫描和识别三维结构的方法用于其它目的的实施方式也是可以想象的。例如，可以使用通过线激光器执行扫描并且产生三维表面的方法识别和分析不同物体中的缺陷。另一种可能的用途是确定对工件进一步加工的需要。因而可以想象没有机器手臂和/或用于除了拾取物体之外的其他目的的实施方式。因而，本发明还可以根据通过由线激光器装置扫描并且产生与预先限定的虚拟物体比较的虚拟三维模型识别和分析物体(或多组物体)的方法(以及设备)限定。在该比较的后面是取决于该比较的结果的动作。这种动作例如可以是对工件执行的加工动作，或者该动作可以包括如上所述的使用机器手臂拾取物体。
下面描述这种可能的方法的例子。预先限定的虚拟物体表示当工件达到其最终形状时工件具有的形状。执行扫描操作，并且使用该扫描产生虚拟三维表面或模型，然后将其与预先限定的虚拟物体比较。该比较表示工件还未达到其最终的形状。该比较还显示工件不同于预先限定的虚拟物体。基于这种信息，对机器如切割机、钻孔机或车床给出指令，该机器对工件执行加工操作，以便使该工件匹配预先限定的虚拟物体。然后，再次执行扫描操作，以便检查工件达到所需的形状。
另一种可能性是识别缺陷物体。例如，物体到达载体。由线激光器扫描该物体，并且将扫描的结果与预先限定的虚拟物体比较。作为比较的结果，该系统确定是否物体匹配预先限定的虚拟物体。如果匹配，则该物体视为是正确的。然后，可以将该物体使用、发送到随后的工作站或者输送到最终的用户。如果具有误差，则可以将该物体去除。因而，本发明的方法和本发明的设备可以用于质量控制。另外，该方法和设备可以等同于用于从载体拾取物体的方法/设备。
因而，本发明可以根据识别物体的方法限定，该方法包括通过使用线激光扫描器8在物体(或几个物体)的至少一部分上的扫描操作；使用扫描的结果产生表示扫描的区域的虚拟三维表面；将虚拟三维表面与对应于物体(或许多物体中的一个物体)的预先确定的虚拟物体15比较，并且执行响应于比较的结果的动作。自然地，本发明还可以根据用于执行这种方法的设备限定。

Claims (16)

1.一种用于定位和拾取放置在载体(1)上的物体(2)的方法，所述方法包括以下步骤：
通过使用线激光扫描器(8)，在所述载体(1)的至少一部分上执行扫描操作；
使用所述扫描的结果产生表示已经扫描的区域的虚拟三维表面；
将所述虚拟三维表面与对应于要从所述载体(1)拾取的物体(2)的预先限定的虚拟物体比较，由此识别所述三维表面最匹配所述预先限定的虚拟物体(15)的一部分；以及
使机器手臂(5)移动到对应于所述虚拟三维表面的被识别部分的位置，并且在所述位置从所述载体(1)拾取物体(2)。
2.根据权利要求1所述的方法，其中，在所述扫描操作期间，在所述载体(1)上方的路径中移动所述扫描器(8)。
3.根据权利要求2所述的方法，其中，所述扫描器(8)沿所述载体上方的线性路径运动。
4.根据权利要求3所述的方法，其中，所述扫描器(8)是与所述机器手臂(5)分开的单元。
5.根据权利要求2所述的方法，其中，所述扫描器(8)定位在所述机器手臂(5)上，并且通过所述机器手臂(5)执行所述扫描器(8)在所述载体(1)上方的运动。
6.根据权利要求1所述的方法，其中，将所述虚拟三维表面与预先限定的虚拟物体(15)比较的步骤包括旋转所述虚拟物体(15)，直到其适应于所述虚拟三维表面的一部分，使用所述虚拟物体(15)旋转的信息来确定如何拾取所述载体(1)上的物体(2)。
7.根据权利要求1所述的方法，其中，通过所述机器手臂(5)上的夹具(6)拾取所述载体(1)上的物体(2)，所述夹具(6)包括夹具爪(7)，其中，至少一个夹具爪(7)是可以相对于另一个夹具爪(7)移动的，以便抓紧所述载体(1)上的物体(2)。
8.根据权利要求1所述的方法，其中，在所述虚拟三维表面的两个或多个部分(2)相同程度地匹配所述虚拟物体(15)的情况下，使用随机选择在所述虚拟三维表面的不同部分之间选择。
9.根据权利要求1所述的方法，其中，将所述虚拟三维表面与预先限定的虚拟物体(15)比较的步骤包括旋转所述虚拟物体(15)，直到其适应于所述虚拟三维表面的一部分，并且在所述虚拟三维表面的两个或多个部分相同程度地匹配所述虚拟物体的情况下，使用所述虚拟物体(15)的定向信息在所述虚拟三维表面的不同部分之间进行选择。
10.根据权利要求1所述的方法，其中，所述载体(1)是料箱(1)。
11.根据权利要求1所述的方法，其中，所述载体(1)是输送机。
12.一种用于定位和拾取放置在载体上的物体(2)的设备，所述设备包括设置成扫描其上放置有物体(2)的载体的至少一部分的线激光扫描器(8)，具有适于抓住物体的机器手臂(5)的机器人(4)，以及连接到所述线激光扫描器(8)的计算机，所述计算机(11)进一步具有设计成基于在扫描操作期间从所述扫描器(8)接收的数据产生虚拟三维表面的计算机软件，所述计算机(11)还具有表示虚拟物体(15)的软件，和将所述虚拟物体(15)与所述虚拟三维表面的不同部分比较并且确定所述虚拟表面的哪个部分最匹配所述虚拟物体(15)的软件，所述计算机(11)进一步连接到所述机器人(4)，并且具有将所述机器手臂(5)引导到所述载体上对应于所述虚拟三维表面最匹配所述虚拟物体的一部分的位置的软件，在所述位置拾取物体(2)。
13.根据权利要求12所述的设备，其中，所述线激光扫描器(8)是与所述机器人(4)分开的，并且设置成在引导结构(9)限定的预先确定的路径上移动，其中，扫描器(8)设置在所述引导结构(9)上来移动。
14.根据权利要求13所述的设备，其中，所述引导结构(9)是限定所述线激光扫描器的线性路径的光束(9)。
15.根据权利要求12所述的设备，其中，将所述线激光扫描器(8)设置在所述机器手臂(5)上。
16.根据权利要求12所述的设备，其中，所述机器手臂(5)适于通过具有夹具爪(7)的夹具(6)抓住物体，至少一个所述夹具爪(7)是可移动的。
CN2006800386509A 2005-10-18 2006-10-16 用于定位和从载体拾取物体的方法和设备 Expired - Fee Related CN101291784B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0502305A SE529377C2 (sv) 2005-10-18 2005-10-18 Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
SE0502305-6 2005-10-18
PCT/SE2006/050402 WO2007046763A1 (en) 2005-10-18 2006-10-16 A method and an arrangement for locating and picking up objects from a carrier

Publications (2)

Publication Number Publication Date
CN101291784A true CN101291784A (zh) 2008-10-22
CN101291784B CN101291784B (zh) 2010-05-19

Family

ID=37962770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800386509A Expired - Fee Related CN101291784B (zh) 2005-10-18 2006-10-16 用于定位和从载体拾取物体的方法和设备

Country Status (11)

Country Link
US (1) US20080253612A1 (zh)
EP (1) EP1945416B1 (zh)
JP (1) JP2009511288A (zh)
KR (1) KR20080056737A (zh)
CN (1) CN101291784B (zh)
AU (1) AU2006302779A1 (zh)
BR (1) BRPI0617465A2 (zh)
CA (1) CA2625163A1 (zh)
RU (1) RU2407633C2 (zh)
SE (1) SE529377C2 (zh)
WO (1) WO2007046763A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103042529A (zh) * 2011-10-13 2013-04-17 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
CN103347661A (zh) * 2010-10-21 2013-10-09 泽恩机器人技术有限公司 用于在机器人系统中的目标物体图像过滤的方法
CN103659823A (zh) * 2012-09-20 2014-03-26 株式会社安川电机 机器人系统和工件传递方法
CN104816306A (zh) * 2014-02-04 2015-08-05 精工爱普生株式会社 机器人、机器人系统、控制装置、以及控制方法
CN108568804A (zh) * 2017-03-13 2018-09-25 发那科株式会社 机器人系统、测量数据处理装置及测量数据处理方法
CN109778621A (zh) * 2017-11-13 2019-05-21 宝马汽车股份有限公司 用于交通运输系统的移动平台和交通运输系统
CN110382173A (zh) * 2017-03-10 2019-10-25 Abb瑞士股份有限公司 用于标识物体的方法和设备
CN110961583A (zh) * 2018-09-28 2020-04-07 宝钢工程技术集团有限公司 采用激光扫描的钢包定位装置及其使用方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ597819A (en) 2007-04-26 2012-09-28 Adept Technology Inc Optical sensor for a robotic arm with a light source, segmented mirror ring and a camera
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
JP5251080B2 (ja) * 2007-11-20 2013-07-31 株式会社Ｉｈｉ 物体認識方法
JP5104248B2 (ja) * 2007-11-22 2012-12-19 株式会社Ｉｈｉ 物体認識装置およびロボット装置
JP5092711B2 (ja) * 2007-11-22 2012-12-05 株式会社Ｉｈｉ 物体認識装置およびロボット装置
US8915692B2 (en) 2008-02-21 2014-12-23 Harvest Automation, Inc. Adaptable container handling system
SE532222C2 (sv) * 2008-03-04 2009-11-17 Morphic Technologies Ab En robot för gripande av föremål
FR2929481B1 (fr) 2008-03-26 2010-12-24 Ballina Freres De Procede et installation d'examen visiometrique de produits en defilement
AT11337U1 (de) 2009-02-26 2010-08-15 Ih Tech Sondermaschb U Instand Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten
IT1394181B1 (it) * 2009-05-07 2012-06-01 Marchesini Group Spa Metodo di segmentazione basato sulle caratteristiche per segmentare una pluralita' di articoli duplicati disposti alla rinfusa e gruppo che attua tale metodo per alimentare una macchina confezionatrice
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
EP2296168A1 (en) * 2009-09-09 2011-03-16 Kulicke & Soffa Die Bonding GmbH Tool for picking a planar object from a supply station
FR2950696B1 (fr) * 2009-09-30 2011-10-14 Ballina Freres De Procede et installation de controle de qualite sur des produits de boulangerie industrielle
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
KR101248443B1 (ko) * 2010-11-11 2013-03-28 강정원 소재 반송장치 및 그 동작 제어방법
US11880178B1 (en) 2010-11-16 2024-01-23 Ectoscan Systems, Llc Surface data, acquisition, storage, and assessment system
US9599461B2 (en) * 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9147173B2 (en) * 2011-10-31 2015-09-29 Harvest Automation, Inc. Methods and systems for automated transportation of items between variable endpoints
US8676425B2 (en) 2011-11-02 2014-03-18 Harvest Automation, Inc. Methods and systems for maintenance and other processing of container-grown plants using autonomous mobile robots
US8937410B2 (en) 2012-01-17 2015-01-20 Harvest Automation, Inc. Emergency stop method and system for autonomous mobile robots
DE102012012988A1 (de) * 2012-06-29 2014-04-17 Liebherr-Verzahntechnik Gmbh Vorrichtung zur automatisierten Handhabung von Werkstücken
DE102012013022A1 (de) * 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zur automatisierten Handhabung von Werkstücken
DE102012013030A1 (de) 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatischen Entnehmen von in einem Behälter angeordneten Werkstücken
DE102012013031A1 (de) * 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Erfassen und Entnehmen von Werkstücken
CN104412188A (zh) * 2012-07-13 2015-03-11 Abb技术有限公司 用于在虚拟环境中对工业机器人进行编程的方法
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN103659796A (zh) * 2013-06-21 2014-03-26 成都万先自动化科技有限责任公司 智能搬运码放定位机器人
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
US9633433B1 (en) 2013-08-08 2017-04-25 Intellimed Systems, Llc Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images
US9778650B2 (en) 2013-12-11 2017-10-03 Honda Motor Co., Ltd. Apparatus, system and method for kitting and automation assembly
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
US20150331415A1 (en) * 2014-05-16 2015-11-19 Microsoft Corporation Robotic task demonstration interface
CN105269578B (zh) * 2014-07-01 2020-03-06 精工爱普生株式会社 指示装置以及机器人系统
US10264720B1 (en) 2015-06-23 2019-04-16 Flextronics Ap, Llc Lead trimming module
US10321560B2 (en) 2015-11-12 2019-06-11 Multek Technologies Limited Dummy core plus plating resist restrict resin process and structure
JP6348097B2 (ja) * 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US20170238416A1 (en) 2016-02-17 2017-08-17 Multek Technologies Limited Dummy core restrict resin process and structure
US10064292B2 (en) 2016-03-21 2018-08-28 Multek Technologies Limited Recessed cavity in printed circuit board protected by LPI
WO2017184014A1 (ru) * 2016-04-19 2017-10-26 Общество с ограниченной ответственностью "ДАТА-ЦЕНТР Автоматика" Способ слежения за перемещением материала на производстве и в складских помещениях с использованием лазерного сканирования
CN106166018A (zh) * 2016-07-29 2016-11-30 苏州高通机械科技有限公司 一种新型玩具收纳装置
CN106078784A (zh) * 2016-07-29 2016-11-09 苏州高通机械科技有限公司 一种玩具收纳装置及其机械手
SE540708C2 (en) * 2016-10-14 2018-10-16 Envac Optibag Ab Disposable waste bag, system and method of gripping and emptying a bag, and a system for recycling waste
US10458778B2 (en) 2016-11-17 2019-10-29 Multek Technologies Limited Inline metrology on air flotation for PCB applications
JP6823502B2 (ja) * 2017-03-03 2021-02-03 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
IT201700121883A1 (it) * 2017-10-26 2019-04-26 Comau Spa "Dispositivo automatizzato con una struttura mobile, in particolare un robot"
CA3084951A1 (en) 2017-12-06 2019-06-13 Ectoscan Systems, Llc Performance scanning system and method for improving athletic performance
US10792809B2 (en) * 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
US10682774B2 (en) 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP7154815B2 (ja) * 2018-04-27 2022-10-18 キヤノン株式会社 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification
JP6823008B2 (ja) 2018-05-18 2021-01-27 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
DE112018007729B4 (de) * 2018-06-14 2022-09-08 Yamaha Hatsudoki Kabushiki Kaisha Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
EP3985347B1 (en) * 2019-06-17 2024-04-03 OMRON Corporation Device, method and program for measuring point clouds
WO2021025800A1 (en) * 2019-08-07 2021-02-11 RightHand Robotics, Inc. Robotic device configuration

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2499736B1 (fr) * 1981-02-12 1987-03-06 Renault Dispositif et procede de localisation d'objets tridimensionnels en vrac pour la commande d'un terminal de prehension
US4873651A (en) * 1987-04-21 1989-10-10 Case Western Reserve University Method and apparatus for reconstructing three-dimensional surfaces from two-dimensional images
JPS63288683A (ja) * 1987-05-21 1988-11-25 株式会社東芝 組立てロボット
JPH06143182A (ja) * 1992-10-27 1994-05-24 Sony Magnescale Inc 計測機能付ロボットハンド
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
US6271444B1 (en) * 1998-07-10 2001-08-07 Calgene Llc Enhancer elements for increased translation in plant plastids
DE10080012B4 (de) * 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP3377465B2 (ja) * 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
DE10226663A1 (de) * 2002-06-14 2003-12-24 Sick Ag Verfahren zum Auffinden von Gegenständen auf einer Trägerebene
JP2004142015A (ja) * 2002-10-24 2004-05-20 Fanuc Ltd センサ付きロボット
DE10259632A1 (de) * 2002-12-18 2004-07-08 Imi Norgren Automotive Gmbh Werkzeugsystem zur Verwendung mit einem Roboter
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
WO2005018883A1 (ja) * 2003-08-21 2005-03-03 Tmsuk Co., Ltd. 警備ロボット

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347661A (zh) * 2010-10-21 2013-10-09 泽恩机器人技术有限公司 用于在机器人系统中的目标物体图像过滤的方法
CN103347661B (zh) * 2010-10-21 2016-01-13 泽恩机器人技术有限公司 用于在机器人系统中的目标物体图像过滤的方法
CN103042529B (zh) * 2011-10-13 2016-05-11 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
CN103042529A (zh) * 2011-10-13 2013-04-17 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
US9205563B2 (en) 2011-10-13 2015-12-08 Kabushiki Kaisha Yaskawa Denki Workpiece takeout system, robot apparatus, and method for producing a to-be-processed material
CN103659823A (zh) * 2012-09-20 2014-03-26 株式会社安川电机 机器人系统和工件传递方法
CN104816306A (zh) * 2014-02-04 2015-08-05 精工爱普生株式会社 机器人、机器人系统、控制装置、以及控制方法
CN110382173A (zh) * 2017-03-10 2019-10-25 Abb瑞士股份有限公司 用于标识物体的方法和设备
CN108568804A (zh) * 2017-03-13 2018-09-25 发那科株式会社 机器人系统、测量数据处理装置及测量数据处理方法
CN108568804B (zh) * 2017-03-13 2019-06-18 发那科株式会社 机器人系统、测量数据处理装置及测量数据处理方法
CN109778621A (zh) * 2017-11-13 2019-05-21 宝马汽车股份有限公司 用于交通运输系统的移动平台和交通运输系统
CN110961583A (zh) * 2018-09-28 2020-04-07 宝钢工程技术集团有限公司 采用激光扫描的钢包定位装置及其使用方法
CN110961583B (zh) * 2018-09-28 2024-10-11 宝钢工程技术集团有限公司 采用激光扫描的钢包定位装置及其使用方法

Also Published As

Publication number Publication date
RU2008110693A (ru) 2009-11-27
RU2407633C2 (ru) 2010-12-27
JP2009511288A (ja) 2009-03-19
WO2007046763A1 (en) 2007-04-26
CN101291784B (zh) 2010-05-19
EP1945416B1 (en) 2013-01-02
SE529377C2 (sv) 2007-07-24
CA2625163A1 (en) 2007-04-26
EP1945416A4 (en) 2011-02-16
SE0502305L (sv) 2007-04-19
AU2006302779A1 (en) 2007-04-26
BRPI0617465A2 (pt) 2011-07-26
US20080253612A1 (en) 2008-10-16
EP1945416A1 (en) 2008-07-23
KR20080056737A (ko) 2008-06-23

Similar Documents

Publication Publication Date Title
CN101291784B (zh) 用于定位和从载体拾取物体的方法和设备
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
CN111136656B (zh) 一种用于机器人三维不规则物体自动识别及抓取的方法
US20210387301A1 (en) Robotic Alignment Method for Workpiece Measuring Systems
JP2018176334A (ja) 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
EP2045772B1 (en) Apparatus for picking up objects
CN110497402A (zh) 取出散装的工件的机器人系统以及机器人系统的控制方法
Martinez et al. Automated bin picking system for randomly located industrial parts
Herakovic Robot vision in industrial assembly and quality control processes
EP2581178A1 (en) Workpiece takeout system, robot apparatus, and method for producing a to-be-processed material
US11213954B2 (en) Workpiece identification method
CN101370624A (zh) 自动化攫握零件的方法和系统
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
Fan et al. A combined 2D-3D vision system for automatic robot picking
CN108127238A (zh) 非平整面自主识别机器人增材成形的方法
CN113858188A (zh) 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人
WO2023205209A1 (en) Autonomous assembly robots
CN110382172A (zh) 图像处理数据生成用的数据结构以及图像处理数据生成方法
KR20220139254A (ko) 워크 식별 방법
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
EP4144494A1 (en) Image processing method, image processing device, robot mounted-type conveyance device, and system
Fröhlig et al. Three-dimensional pose estimation of deformable linear object tips based on a low-cost, two-dimensional sensor setup and AI-based evaluation
US20230191634A1 (en) Multistep Visual Assistance for Automated Inspection
US20240269848A1 (en) Part manipulator for assembly machine
CN114387393A (zh) 基于点云三维重建的双机械臂三维测量方法、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100519

Termination date: 20121016