CN110382173A - 用于标识物体的方法和设备 - Google Patents

用于标识物体的方法和设备 Download PDF

Info

Publication number
CN110382173A
CN110382173A CN201780087956.1A CN201780087956A CN110382173A CN 110382173 A CN110382173 A CN 110382173A CN 201780087956 A CN201780087956 A CN 201780087956A CN 110382173 A CN110382173 A CN 110382173A
Authority
CN
China
Prior art keywords
displaying
displaying surface
robot system
random assortment
single body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087956.1A
Other languages
English (en)
Other versions
CN110382173B (zh
Inventor
D·希尔克特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN110382173A publication Critical patent/CN110382173A/zh
Application granted granted Critical
Publication of CN110382173B publication Critical patent/CN110382173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/30—Containers specially adapted for packaging, protecting, dispensing, collecting or disposing of surgical or diagnostic appliances or instruments
    • A61B50/33—Trays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0253—Gripping heads and other end effectors servo-actuated comprising parallel grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31045—Show bin, compartment and number of parts to be pick up
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40537—Detect if robot has picked up more than one piece from bin; interlocked parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45047—Sorting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种由机器人系统(1)执行的方法，用于从随机分类的物体(6)中标识单个物体(6)。所述机器人系统(1)在确定的拾取点(42)处，在展示表面(33)上的随机分类的物体(6)之中，从所述展示表面(33)拾取物体(6)。所述机器人系统(1)从所述展示表面(33)移除任何剩余物体。所述机器人系统(1)将所拾取的物体(6)放置在所述展示表面(33)上。所述机器人系统(1)还分析在所述展示表面(33)上的所拾取的物体(6)，以标识单个物体(6)。

Description

用于标识物体的方法和设备
技术领域
本文的实施例涉及一种用于标识物体(诸如，例如手术器械)的方法和设备。
背景技术
在诸如医院、实验室和/或其他保健机构等机构中，针对不同的手术，使用不同组物体。在手术中使用了物体之后，对物体进行清洁和消毒，以备重复使用物体。例如，在医院中，器械托盘是预先准备好的套件，包含特定手术所需的特定成套器械。在外科手术中使用器械后，在离开手术室之前将器械放回托盘。器械被送到无菌处理设施，在无菌处理设施处，使托盘经过类似于工业洗碗机的消毒机。从消毒机出来后，托盘的内容物在检查站被移除。这些器械外观通常类似，由高反射性不锈钢制成并且混乱无序，还可能会相互缠在一起。为了为即将进行的外科手术准备新的器械托盘，必须从混乱无序的器械中标识和提取单个器械。因此，标识单独的器械、确定它们在托盘中的位置并且对抓住单独的器械进行指导可能是一个非常复杂的过程，这通常需要大量的手动交互。
发明内容
因此，本文公开的实施例的目的是提供一种改进的用于标识物体(诸如器械)的方法。
根据本文的实施例的第一方面，该目的由一种由机器人系统执行的、用于从随机分类的物体中标识单个物体的方法来实现。机器人系统在确定的拾取点处，在展示表面上的随机分类的物体之中，从展示表面拾取物体。通过将展示表面从第一位置移动到第二位置，机器人系统将展示表面上的任何剩余物体转移到被设置在展示表面下方的隔间。机器人系统将所拾取的物体放置在展示表面上。机器人系统还分析在展示表面上的所拾取的物体，以标识单个物体。
通过在确定的拾取点处拾取物体并且从展示表面上移除剩余物体，可以减少在标识单个物体时需要考虑的物体的数目。因此，增加了成功标识的概率。
在一些实施例中，可以通过将剩余物体从展示表面转移到设置在展示表面下方的隔间，来从展示表面移除剩余物体。这可以通过将展示表面从第一位置移动到第二位置来执行。
在一些实施例中，机器人系统可以将随机分类的物体放置在展示表面上。通过从被输送到机器人系统的多个物体进行第一随机选择，可以实现对待分析的物体分类的粗略第一限制。
在一些实施例中，机器人系统还可分析被放置在展示表面上的随机分类的物体，以从该随机分类中标识单个物体。
在一些实施例中，机器人系统还可在单个物体已经被成功标识到时确定精确拾取点。该精确拾取点允许拾取工具被引导(例如通过机器人系统)至物体的具体位置，这有利于对具体物体的处理。
在一些另外的实施例中，机器人系统可在确定的精确拾取点处精确拾取(诸如，按照准确的方式拾取)物体。因此，可以执行处理，该处理可包括闭合和/或锁止连接的物体等，同时将物体从展示表面移动到例如第二隔间。
该分析可包括：将展示表面上的物体的图像与物体的存储图像相比较。
在本文的一些实施例中，当随机分类的物体已经被分析并且无单个物体被标识到时，机器人系统还可以确定针对设置在展示表面上的随机分类的物体的拾取点。
在本文的一些实施例中，拾取点被定位成离展示表面上的物体的边界框的形心最远或近乎最远。通过选择离边界框的形心最远的点，增加了仅拾取单个物体的概率。
在本文的一些实施例中，机器人系统还可在单个物体被标识到时处理该单个物体。
该处理还可包括：对物体进行检查、润滑和/或锐度测试。该处理还可以包括：将物体定位在另一隔间中。
根据本文的实施例的第二方面，该目的由一种用于从随机分类的物体中标识单个物体的机器人系统来实现。机器人系统包括第一机器人臂，该第一机器人臂包括用于拾取物体的拾取工具。机器人系统包括分离装置，该分离装置包括具有第一部分和第二部分的框架、设置在第一部分处的用于容纳物体的隔间、以及可移动地设置在框架中的展示表面。展示表面在第一位置中时位于框架的第一部分中并且遮盖住隔间。在第二位置中，展示表面位于第二部分中并且提供到达隔间的途径。机器人系统还包括用于标识物体的分析装置，该物体位于展示表面上。
移动的展示表面和分析装置允许机器人系统将三维的、从箱子里拾取零件的问题转换成可管理的二维的视觉问题，这有利于标识物体。当从随机分类的物体中无法标识到单个物体时，其进一步提供了一种容易的用于减小待分析的物体分类的解决方案。
分离装置的框架可包括将第一部分与第二部分分开的分隔器。分隔器可被设置成：当展示表面从第一部分移动到第二部分时，分隔器防止位于展示表面上的物体进入第二部分。因此，提供了一种容易的减少位于展示表面上的物体的数目的方式，这有利于标识单个物体。
在本文的一些实施例中，机器人系统可包括在第一部分与第二部分之间移动展示表面的第二机器人臂。展示表面可在第一位置与第二位置之间移动，在第一位置中时，展示表面大体上在第一部分内，而在第二位置中时，展示表面大体上在第二部分内。
分析装置可包括：用于生成位于展示表面上的物体的图像的成像设备。成像设备提供了一种容易的通过将物体的图像与存储在成像数据库中的待标识物体的图像相比较来标识展示表面上的物体的方式。
在一些实施例中，机器人系统可包括用于容纳被设置在第二部分处的物体的另一隔间。当展示表面在第一位置中时，展示表面可提供到达该另一隔间的途径，并且当展示表面在第二位置中时，展示表面可遮盖住该另一隔间。
本文的实施例因此提供了一种改进的方法和系统，用于每次从随机分类的物体中标识一个物体。由于该方法和系统能够减少对待分析物体的选择，所以可以实现更高的标识准确度，同时减少所需的手动交互量。因此，例如相较于手动分类，本文的实施例提供了一种高效且准确的分类系统。
附图说明
图1图示了根据本文的实施例的机器人系统。
图2a图示了本文的分离装置的示例，其中展示表面在第一位置中。
图2b图示了分离装置的示例，其中展示表面在第二位置中。
图3是图示了根据本文的实施例的用于标识物体的方法的流程图。
图4图示了分析随机分类的物体的例示步骤。
图5图示了确定针对随机分类的物体的拾取点的例示步骤。
图6图示了在确定的拾取点处拾取物体的例示步骤。
图7图示了在减少选择之前被设置在展示表面上的随机分类的物体。
图8图示了将展示表面从第一位置移动到第二位置以减少对物体的选择的例示步骤。
图9图示了在已经减少选择之后将所拾取的物体放置在展示表面上的例示步骤。
图10图示了从展示表面精确拾取所标识的物体的例示步骤。
具体实施方式
图1公开了根据本文一个实施例的、用于从随机分类的物体6标识单个物体的机器人系统1的概述。机器人系统1包括：包括至少一个用于拾取物体6的拾取工具21的第一机器人臂2、分离装置3和用于标识物体6的分析装置4。分离装置3包括被可移动地设置在框架31中的第一位置与第二位置之间的展示表面33。在第一位置中，展示表面33限制到达用于容纳物体的隔间的途径，并且在第二位置中，展示表面33提供到达用于容纳物体的隔间的途径。例如，隔间可位于展示表面下方。例如，展示表面33可以是倾斜的或滑动地设置在框架31中。在图1所示的实施例中，展示表面33能在分离装置3的两个部分之间滑动地移动，这些部分被分隔器34分开。例如，拾取工具21可以是通用夹具，诸如伸缩式磁性夹具或爪式夹具。在一些实施例中，第一机器人臂2还可包括主伺服夹具。
位于展示表面33上的、用于标识物体6的分析装置4可包括：用于生成位于展示表面33上的物体6的图像的成像设备41。例如，成像设备41可包括照相机和成像软件，该成像软件用于生成物体6的二维图像，并且将该二维图像与存储在成像数据库中的物体6的图像相比较。分析装置4还可包括存储装置，诸如存储器，用于存储待标识的物体6的成像数据库。分析装置4可被配置为将成像设备41生成的图像与存储在成像数据库中的物体6的图像相比较。
在一些实施例中，替代或结合成像设备41，分析装置4还可包括RFID标签阅读器，诸如被嵌入在展示表面33中的拾取线圈，用于标识位于展示表面33上的物体6。在这些实施例中，物体6配备有RFID标签。
在一些实施例中，如图1所示，机器人系统1可包括第二机器人臂5。第二机器人臂5可被配置为在第一部分与第二部分之间移动展示表面33或容纳分析装置4。
图2a和图2b示出了分离装置3的详细视图。分离装置可3包括具有第一部分31a和第二部分31b的框架31、设置在第一部分31a中用于容纳物体6的隔间32、以及可移动地设置在框架31中的展示表面33。展示表面33在第一位置中时可位于框架31的第一部分31a中并且遮盖住隔间32，如图2a所示，并且在第二位置中时可位于第二部分31b中并且提供到达隔间32的途径，如图2b所示。
分离装置3的框架31可包括将第一部分31a与第二部分31b分开的分隔器34。分隔器34可被设置成：当展示表面33被从第一位置移动到第二位置时，分隔器34防止位于展示表面33上的物体6进入第二部分31b。
分离装置3可包括用于容纳物体6的另一隔间35。第二隔间35被设置在第二部分31b处。当展示表面33在第一位置中时，展示表面33提供到达该另一隔间35的途径，并且当展示表面33在第二位置中时，展示表面33可遮盖住该另一隔间35。
隔间32、35还可被配置为允许将物体6的容器36(诸如托盘)放置在隔间内部。在一些实施例中，传送带可将一个或多个器械托盘运输到分离装置3。
图3公开了一种由机器人系统1执行的、用于从随机分类的物体6标识单个物体6的方法。机器人系统1包括展示表面33，该展示表面33被设置为可在第一位置与第二位置之间移动。在第一位置中，展示表面33限制到达隔间32的途径，并且在第二位置中，展示表面33提供到达隔间32的途径。该方法包括以下动作中的一个或多个动作：
动作301：机器人系统1可将随机分类的物体放置在展示表面33上。
例如，物体可通过传送带被输送到机器人系统1。包括物体(诸如来自消毒机的经过消毒的手术器械)的容器36(诸如托盘)可被装载到传送带上，并且通过传送带被输送到分离装置3。在一些实施例中，空的容器36可被直接放置在满的容器36前方或后方，例如，通过自动化装置或工业机器人。两种容器都可被输送到分离装置3。
机器人系统1可通过拾取工具21从包括来自消毒机的物体的托盘执行随机拾取，并且将随机分类的物体6放置在展示表面33上。
动作302：机器人系统1可分析展示表面33上的随机分类的物体6，以从该随机分类中标识单个物体6。该分析可通过上面参照图1描述的分析装置4来执行。例如，可通过分析装置4中包括的成像设备41，拍摄位于展示表面33上的物体的照片，来执行该分析。可将该图片与存储在图像数据库中的图像相比较，以标识展示表面33上的物体。
动作303：当随机分类的物体6已经被分析并且没有单个物体6被标识到时，机器人系统1可确定针对被设置在展示表面33上的随机分类的物体6的拾取点42。例如，这可能是如下情况：展示表面33上存在多个物体6，这些物体6相互缠在一起，使得无法执行对单个物体的清楚标识。
动作304：机器人系统1从随机分类的物体6之中，从展示表面33拾取物体6。当拾取点42已经被确定时，机器人系统1可在确定的拾取点42处从展示表面33拾取物体6。
动作305：当物体已经从展示表面33被拾取时，从展示表面33移除在展示表面33上的任何剩余物体6。例如，可通过将剩余物体转移到被设置在展示表面33下方的隔间，来从展示表面33移除剩余物体。可通过将展示表面33从第一位于移动到第二位置来将物体转移到隔间32，使得提供了到达在展示表面33下方的隔间32的途径。例如，展示表面33可被从第一位置滑动到第二位置，或者可以从第一位置向第二位置倾斜。由于展示表面33的移动，留在展示表面33上的任何物体6都会落入在展示表面33下方的隔间32中、或者落入位于隔间32中的容器36中。
框架可包括将框架31的第一部分31a与第二部分31b分开的分隔器34。由于分隔器34，当展示表面33从第一部分31a滑动到第二部分31b时，位于展示表面33上的物体6会被防止进入第二部分31b。例如，分隔器34可被形成为耙子，其将物体6从展示表面33刮下，并且使物体进入隔间32。当剩余物体6已经被从展示表面33移除时，展示表面33可被移回第一位置。
在一些实施例中，可通过第二机器人臂5来移动展示表面33。然而，也可以使用适合将展示表面33从第一位置移动到第二位置的其他驱动部件，诸如皮带、链或绳传动、齿轮齿条等，来执行展示表面33在第一位置与第二位置之间的移动。
动作306：当剩余物体6已经被从展示表面33移除时，机器人系统1将抓取到的(多个)物体6放置到展示表面33上。这也可以称为将拾取到的(多个)物体6放回展示表面33。在将抓取到的(多个)物体6放置在展示表面33上之前，机器人系统1可将展示表面33移回第一位置，在第一位置中，展示表面33遮盖住隔间32。
动作307：当拾取到的(多个)物体(其是减少的选择)已经被放置在展示表面33上时，机器人系统1对展示表面33上的拾取到的(多个)物体6执行分析，以标识单个物体6。如果已经如动作302所公开那样执行了分析，该分析也可称为第二次分析。如果拾取到了单个物体6，则可以对该物体6进行标识。
然而，在许多情况下，物体6可能相互缠在一起，使得在动作304中从展示表面33拾取到多个物体6。如果机器人系统1无法通过在展示表面33上的选择来标识单个物体6，则机器人系统1可返回到动作303，以进一步减少在展示表面33上的物体6的数目。因此，可以增加成功标识单个物体6的概率。
动作308：当单个物体6已经被成功标识时，机器人系统1可确定精确拾取点。该精确拾取点可以是适合抓取物体6以便能够进一步对物体进行处理6的点。例如，精确拾取点的一个示例可以在一对剪刀和/或钳子的枢轴点处。通过在枢轴点处抓住剪刀或钳子，可将该剪刀或钳子闭合，以备下次使用。然而，还可选择精确拾取点，以有利于对物体6的检查。
动作309：当精确拾取点已经被确定时，机器人系统1可使用拾取工具21在确定的精确拾取点处执行对物体6的精确拾取。该精确拾取点是在物体6上的、被选择以有利于对物体6执行处理步骤的点，而如上述动作303中所讨论的，拾取点42是被选择用于从随机分类的物体6进行拾取、以便减少展示表面33上的物体6的数目的点。
动作310：当单个物体6已经被标识到时，机器人系统1可处理该单个物体6。例如，该处理可包括以下步骤中的一个或多个步骤：获取所提供的物体6的库存、核查物体6的清洁度(诸如核查器械上的组织残留物)、核查物体6的损坏和磨损、评估有刃的器械的锐度、对移动零部件进行润滑、闭合且锁止连接的器械。
该处理还可包括：针对经过处理的物体6，将物体6放置在第二位置处，该第二位置与包括未经过处理的物体6的第一隔间32分开。例如，第二位置可以是分离装置3的第二隔间35、分离装置3中的第二容器36(诸如托盘)、和/或位于分离装置3的第二隔间35中的容器36(诸如托盘)。例如，在将物体6放置在第二位置处期间，可根据物体类型对物体6进行分类。该处理310还可包括：例如通过用保护纸包裹物体6和/或多个标识到的物体并对物体6进行高压灭菌，来重新包装物体6。
图4公开了根据本文一个实施例的分析步骤。例如，通过借助于被分析装置4所包括的成像设备41而拍摄位于展示表面33上的物体的照片，来执行该分析。可将该照片与存储在图像数据库中的图像相比较来标识展示表面33上的物体。根据图4所示的实施例，该分析装置4可被包括在第二机器人臂5中。该步骤与上述相对于图3描述的动作302对应。
当仅有一个物体位于表面33上时，可对该物体进行标识，并且可将该物体拾取，并且传递到该方法的处理步骤310。
图5示出了确定拾取点42的步骤。拾取点42可被定义为离图像中可以看到的物体6的边界框43的形心C(即几何中心)最远的点。例如，通过在物体6的最外部点之间画线，机器人系统1可将边界框43应用于一类物体6的照片，使得物体6的所有点都落在所画的线的区域内。例如，可通过成像设备41来执行将边界框43应用于照片。该步骤与上面相对于图3描述的动作302对应。
图6示出了在所确定的拾取点42处、从随机分类的物体6之中，从展示表面33拾取物体6的步骤。该步骤与上面相对于图3描述的动作304对应。例如，可通过拾取工具21来执行该拾取。本文的拾取还可以称为抓取或抓住。
图7示出了机器人系统1将物体6完全从展示表面33提起、以准备将展示表面33从第一位置移动到第二位置的步骤，如上面在动作305中描述的。
图8示出了将展示表面33从第一位置移动到第二位置以使得提供了到达在展示表面33下方的隔间32的途径的步骤。因此，留在展示表面33上的一个或多个物体6都会落入展示表面下方的隔间32中。该步骤与上述相对于图3描述的动作305对应。
图9示出了机器人系统1将抓取到的物体6放置到展示表面33上的步骤。在将抓取到的物体6放置在展示表面33上之前，机器人系统1可将展示表面33移回第一位置，在第一位置中，展示表面33遮盖住隔间32。该步骤与上述相对于图3描述的动作306对应。当拾取到的(多个)物体6(其是减少的选择)已经被放置在展示表面33上时，机器人系统1对展示表面33上的拾取到的物体6执行另一次分析，以标识单个物体6。如果仅单个物体6在动作304中被拾取到，则标识物体6。
图10示出了根据本文的实施例的精确拾取物体的步骤，在该步骤中，物体6是一对手术镊子，并且精确拾取点在镊子的枢轴点处。该步骤与上述相对于图3描述的动作309对应。通过在枢轴点处拾取镊子，可在进一步处理镊子之前闭合镊子。
要了解的是，上述描述和附图表示本文教导的方法和装置的非限制性示例。因此，本文教导的创造性装置和技术不受上述描述和附图的限制。相反，本文的实施例仅受随附权利要求书及其合法等效物的限制。

Claims (15)

1.一种由机器人系统(1)执行的方法，用于从随机分类的物体(6)中标识单个物体(6)，其中所述方法包括：
－在确定的拾取点(42)处，在展示表面(33)上的随机分类的物体(6)之中，从所述展示表面(33)拾取(104)物体(6)；
－从所述展示表面(33)移除(105)任何剩余物体；
－将所拾取的物体(6)放置(106)在所述展示表面(33)上；
－分析(107)在所述展示表面(33)上的所拾取的物体(6)，以标识单个物体(6)。
2.根据权利要求1所述的方法，其中所述方法还包括：
将随机分类的物体(6)放置(101)在所述展示表面(33)上。
3.根据权利要求1或2所述的方法，其中所述方法还包括：
分析(102)在所述展示表面(33)上的随机分类的物体(6)，以从所述随机分类中标识单个物体(6)。
4.根据权利要求1至3中任一项所述的方法，其中所述方法还包括：
当成功地标识所述单个物体(6)时，确定(108)精确拾取点。
5.根据权利要求4所述的方法，其中所述方法还包括：
在所确定的精确拾取点处，精确拾取(109)所述物体(6)。
6.根据前述权利要求中任一项所述的方法，其中所述分析(102、107)包括：将所述展示表面(33)上的所述物体(6)的图像与所述物体(6)的存储图像相比较。
7.根据前述权利要求中任一项所述的方法，其中所述移除(105)包括：通过将所述展示表面(33)从第一位置移动到第二位置，将所述剩余物体从所述展示表面(33)转移到被设置在所述展示表面(33)下方的隔间。
8.根据前述权利要求中任一项所述的方法，其中所述方法还包括：
－当所述随机分类的物体(6)已经被分析并且没有单个物体(6)被标识到时，确定(103)针对被设置在所述展示表面(33)上的所述随机分类的物体(6)的拾取点(42)。
9.根据权利要求8所述的方法，其中所述拾取点(42)被定位在离所述展示表面(33)上的所述物体(6)的边界框(43)的形心(C)最远的位置。
10.根据前述权利要求中任一项所述的方法，其中所述方法还包括：
－当单个物体(6)被标识到时，处理(110)所述单个物体(6)。
11.根据权利要求10所述的方法，其中所述处理(110)包括：对所述物体(6)进行检查、润滑和/或锐度测试。
12.根据权利要求10或11所述的方法，其中所述处理(110)还包括：将所述物体(3)定位在另一隔间(35)中。
13.一种用于从随机分类的物体(6)中标识单个物体(6)的机器人系统(1)，其中所述机器人系统(1)包括：
－第一机器人臂(2)，包括用于拾取物体(6)的拾取工具(21)；
－分离装置(3)，包括具有第一部分(31a)和第二部分(31b)的框架(31)、设置在所述第一部分(31a)处的用于容纳物体(6)的隔间(32)、以及可移动地设置在所述框架(31)中的展示表面(33)，其中所述展示表面(33)在第一位置中时位于所述框架(31)的所述第一部分(31a)中并且遮盖住所述隔间(32)，并且在第二位置中时位于所述第二部分(31b)中并且提供到达所述隔间(32)的途径；
－用于标识物体(6)的分析装置(4)，所述物体(6)位于所述展示表面(33)上；以及
－用于在所述第一部分(31a)和所述第二部分(31b)之间移动所述展示表面(33)的第二机器人臂(5)。
14.根据权利要求12所述的机器人系统(1)，其中所述分离装置(3)的所述框架(31)包括将所述第一部分(31a)与所述第二部分(31b)分开的分隔器(34)，所述分隔器(34)被设置成使得：当所述展示表面(33)从所述第一部分(31a)移动到所述第二部分(31b)时，所述分隔器(34)防止位于所述展示表面(33)上的物体(6)进入所述第二部分(31b)。
15.根据权利要求12至13中任一项所述的机器人系统(1)，其中所述分析装置(4)包括用于生成位于所述展示表面(33)上的物体(6)的图像的成像设备(41)。
CN201780087956.1A 2017-03-10 2017-03-10 用于标识物体的方法和设备 Active CN110382173B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/055694 WO2018162080A1 (en) 2017-03-10 2017-03-10 Method and device for identifying objects

Publications (2)

Publication Number Publication Date
CN110382173A true CN110382173A (zh) 2019-10-25
CN110382173B CN110382173B (zh) 2023-05-09

Family

ID=58347326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087956.1A Active CN110382173B (zh) 2017-03-10 2017-03-10 用于标识物体的方法和设备

Country Status (4)

Country Link
US (1) US11413762B2 (zh)
EP (1) EP3592509B1 (zh)
CN (1) CN110382173B (zh)
WO (1) WO2018162080A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
US11593931B2 (en) 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
US20230025647A1 (en) * 2021-07-23 2023-01-26 Mujin, Inc. Robotic system with object update mechanism and methods for operating the same

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
CN1936585A (zh) * 2005-08-22 2007-03-28 Mv研究有限公司 分类系统
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
US20110153065A1 (en) * 2008-08-27 2011-06-23 Murata Machinery, Ltd. Picking system and picking method
CN102414696A (zh) * 2009-04-23 2012-04-11 皇家飞利浦电子股份有限公司 物体学习机器人和方法
JP2013215343A (ja) * 2012-04-06 2013-10-24 Central Uni Co Ltd 返品薬仕分け装置および返品薬仕分け方法
JP2013215833A (ja) * 2012-04-06 2013-10-24 Central Uni Co Ltd ピッキング装置
US20140147240A1 (en) * 2011-06-29 2014-05-29 Mitsubishi Electric Corporation Component supply apparatus
CN104463265A (zh) * 2013-09-13 2015-03-25 佳益私人有限公司 物料处理系统和方法
US20150224650A1 (en) * 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
US20160074128A1 (en) * 2008-06-23 2016-03-17 John Richard Dein Intra-Operative System for Identifying and Tracking Surgical Sharp Objects, Instruments, and Sponges
CN205494023U (zh) * 2016-02-22 2016-08-24 崇州市人民医院 一种医用治疗盘

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8720331D0 (en) * 1987-08-28 1987-10-07 Caplin Cybernetics Corp Control system
WO2009076452A2 (en) * 2007-12-10 2009-06-18 Robotic Systems & Technologies, Inc. Automated robotic system for handling surgical instruments
JP5787642B2 (ja) 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
CN1936585A (zh) * 2005-08-22 2007-03-28 Mv研究有限公司 分类系统
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
US20160074128A1 (en) * 2008-06-23 2016-03-17 John Richard Dein Intra-Operative System for Identifying and Tracking Surgical Sharp Objects, Instruments, and Sponges
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
US20110153065A1 (en) * 2008-08-27 2011-06-23 Murata Machinery, Ltd. Picking system and picking method
CN102414696A (zh) * 2009-04-23 2012-04-11 皇家飞利浦电子股份有限公司 物体学习机器人和方法
US20140147240A1 (en) * 2011-06-29 2014-05-29 Mitsubishi Electric Corporation Component supply apparatus
JP2013215343A (ja) * 2012-04-06 2013-10-24 Central Uni Co Ltd 返品薬仕分け装置および返品薬仕分け方法
JP2013215833A (ja) * 2012-04-06 2013-10-24 Central Uni Co Ltd ピッキング装置
CN104463265A (zh) * 2013-09-13 2015-03-25 佳益私人有限公司 物料处理系统和方法
US20150224650A1 (en) * 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
CN205494023U (zh) * 2016-02-22 2016-08-24 崇州市人民医院 一种医用治疗盘

Also Published As

Publication number Publication date
US20190389070A1 (en) 2019-12-26
EP3592509B1 (en) 2022-08-03
WO2018162080A1 (en) 2018-09-13
CN110382173B (zh) 2023-05-09
EP3592509A1 (en) 2020-01-15
US11413762B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
US8567880B2 (en) Automated robotic system for handling surgical instruments
CN110446671B (zh) 用于处理物体的包括线性机架系统的系统和方法
WO2019189661A1 (ja) 学習データセット作製方法及び装置
CN110382173A (zh) 用于标识物体的方法和设备
US20150224650A1 (en) Vision-guided electromagnetic robotic system
WO2010041371A1 (ja) ワーク取り出し方法
JP2008062376A (ja) 無作為におかれた対象物のためのビンピッキングシステム
EP3652679B1 (en) Methods and systems for learning-based image edge enhancement of sample tube top circles
CN112109086B (zh) 面向工业堆叠零件的抓取方法、终端设备及可读存储介质
JP2021005099A (ja) スライド管理システム
JP2019029021A (ja) 学習データセット作製方法、並びに、物体認識及び位置姿勢推定方法
CN109414826B (zh) 用于基于样品架成像数据的动态拾取和放置选择顺序的方法、系统和装置
US10518417B2 (en) Article retrieval system
CN109791614B (zh) 用于制造业用的适应性箱子拾取的系统和方法
DE102017209966A1 (de) Instrumentensieb für chirurgische instrumente
JP7018720B2 (ja) 標本搬送装置および標本画像撮像システム
EP3538164A1 (en) Instrument reprocessing
CN107664703B (zh) 标本运送装置、标本图像拍摄系统及标本分析系统
EP4114622A1 (en) Imaging process for detecting failure modes
Xu et al. Robotic handling of surgical instruments in a cluttered tray
CN114310892A (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
JP6950994B1 (ja) 魚フィーレ骨抜き取りシステム
JP2020075797A (ja) 画像認識システム
JP2019501033A (ja) 異なる保管領域に置かれる部品から部品のバッチを構成するための方法および設備
Tan et al. An integrated vision-based robotic manipulation system for sorting surgical tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant