CN105858188B - 具备三维传感器的搬运机器人系统 - Google Patents

具备三维传感器的搬运机器人系统 Download PDF

Info

Publication number
CN105858188B
CN105858188B CN201610052279.7A CN201610052279A CN105858188B CN 105858188 B CN105858188 B CN 105858188B CN 201610052279 A CN201610052279 A CN 201610052279A CN 105858188 B CN105858188 B CN 105858188B
Authority
CN
China
Prior art keywords
mentioned
dimensional information
robot
handling object
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610052279.7A
Other languages
English (en)
Other versions
CN105858188A (zh
Inventor
泷泽象太
藁科文和
伴训
伴一训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105858188A publication Critical patent/CN105858188A/zh
Application granted granted Critical
Publication of CN105858188B publication Critical patent/CN105858188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39107—Pick up article, object, measure, test it during motion path, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/31—Gripping jaw
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/40—Vacuum or mangetic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device

Abstract

本发明提供一种机器人系统，该机器人系统具备：获取对象物的三维信息的三维传感器；以及具有把持对象物的把持装置的机器人。该机器人系统根据与取出对象物之前的状态有关的第1三维信息、和与取出对象物之后的状态有关的第2三维信息，获取对象物的三维形状信息，并且根据对象物的三维形状信息，计算将对象物载置在载置部时的机器人的位置及姿势。

Description

具备三维传感器的搬运机器人系统
技术领域
本发明涉及对堆积的对象物进行搬运的机器人系统。
背景技术
已知利用机器人对瓦楞板纸等堆积的对象物依次进行搬运的机器人系统。机器人构成为，在臂前端具备把持对象物的把持装置，将由把持装置把持的对象物搬运至用于后工序的位于其他地方的载置部。
在现有的机器人系统中，以对象物的底面与载置部的表面一致的方式，利用预先制作的指令位置来使机器人进行动作，从而执行载置工序。然而，在对象物的实际尺寸与所设想的尺寸不同的情况下，无法适当地进行对象物的定位，有可能导致过度的推压力施加于对象物，或者使对象物落下。
另一个现有的机器人系统具备检测对象物与载置部接触的传感器，在对象物与载置部接触的时刻对象物被释放。然而，在这种机器人系统中，需要使对象物从距离载置部足够远的位置朝向载置部低速移动，搬运效率降低。
已知各种机器人系统，该机器人系统构成为，利用传感器获取堆积的对象物的位置信息，并执行搬运工序(参照日本特开2010－005769号公报、日本特开平7－053054号公报、日本特开平7－299782号公报、日本特开2001－317911号公报、日本特开2013－154457号公报、日本特开2012－192490号公报、以及日本特开2011－247819号公报)。
现有的机器人系统在对象物的三维形状及尺寸未知的情况下，或者对象物的个体差异较大的情况下，难以适当地进行搬运工序。于是，要求一种即使对象物的三维形状或尺寸未知，也能适当地执行搬运工序的机器人系统。
发明内容
根据本申请的第1发明，提供一种机器人系统，依次搬运堆积的多个对象物并载置在载置部，具备：三维传感器，其获取上述多个对象物的三维信息；机器人，其具备把持上述多个对象物之中的至少一个的把持装置；第1三维信息获取部，其利用上述三维传感器获取堆积的上述多个对象物的三维信息作为第1三维信息；对象物位置获取部，其根据上述第1三维信息，确定上述多个对象物之中应该搬运的搬运对象物，并且获取该搬运对象物的位置；第2三维信息获取部，其利用上述把持装置把持上述搬运对象物并且利用上述机器人使上述搬运对象物从剩余的对象物分离而移动之后，利用上述三维传感器获取上述剩余的对象物的三维信息作为第2三维信息；形状信息获取部，其根据上述第1三维信息及上述第2三维信息，获取包含在获取上述第1三维信息时位于上述三维传感器的死角的部位的上述搬运对象物的三维形状信息；载置信息获取部，其根据由上述形状信息获取部获取的上述搬运对象物的三维形状信息，获取在将上述搬运对象物载置在上述载置部时从与上述载置部接触的上述搬运对象物的接触部到上述把持装置或者上述机器人的基准点的距离、和能够将上述搬运对象物稳定地载置在上述载置部的上述搬运对象物的稳定姿势中的至少一方；以及位置姿势计算部，其根据从上述接触部到上述基准点的距离和上述稳定姿势中的至少一方，计算将上述搬运对象物载置在上述载置部时的上述机器人的位置及姿势。
根据本申请的第2发明，根据第1发明的机器人系统还具备第3三维信息获取部，其利用上述三维传感器获取由上述把持装置正在把持的上述搬运对象物的三维信息作为第3三维信息，上述形状信息获取部根据上述第1三维信息、上述第2三维信息及上述第3三维信息，获取上述搬运对象物的三维形状信息。
根据本申请的第3发明，在第1或者第2发明的机器人系统中，在搬运至少一个上述对象物之后，上述第1三维信息获取部获取在执行以前的搬运工序时所获取的上述第2三维信息作为上述第1三维信息。
根据本申请的第四发明，在第1至第3中任一项所述的发明的机器人系统中，上述三维传感器安装在与上述机器人分开的台架上。
根据本申请的第五发明，在第1至第3中任一项所述的发明的机器人系统中，上述三维传感器安装在上述机器人的臂前端部。
根据本申请的第六发明，提供一种机器人系统，依次搬运堆积的多个对象物并载置在载置部，具备：三维传感器，其获取上述多个对象物的三维信息；机器人，其具备把持上述多个对象物中的至少一个的把持装置；第1三维信息获取部，其利用上述三维传感器获取堆积的上述多个对象物的三维信息作为第1三维信息；对象物位置获取部，其根据上述第1三维信息，确定上述多个对象物之中应该搬运的搬运对象物，并且获取该搬运对象物的位置；第3三维信息获取部，其利用上述三维传感器获取由上述把持装置正在把持的上述搬运对象物的三维信息作为第3三维信息；形状信息获取部，其根据上述第1三维信息及上述第3三维信息，获取包含在获取上述第1三维信息时位于上述三维传感器的死角的部位的上述搬运对象物的三维形状信息；载置信息获取部，其根据由上述形状信息获取部获取的上述搬运对象物的三维形状信息，获取在将上述搬运对象物载置在上述载置部时从与上述载置部接触的上述搬运对象物的接触部到上述把持装置或者上述机器人的基准点的距离、和能够将上述搬运对象物稳定地载置在上述载置部的上述搬运对象物的稳定姿势中的至少一方；以及位置姿势计算部，其根据从上述接触部到上述基准点的距离和上述稳定姿势中的至少一方，计算将上述搬运对象物载置在上述载置部时的上述机器人的位置及姿势。
根据本申请的第七发明，在第六发明的机器人系统中，获取上述第3三维信息时的上述机器人的位置及姿势中的至少一方，与由上述把持装置把持上述搬运对象物时不同。
这些及其他的本发明的目的、特征及优点，通过参照附图所示的本发明的示例性的实施方式的详细说明，而变得更加明确。
附图说明
图1是表示一个实施方式的机器人系统的结构的概略图。
图2是表示载置部及载置于载置部的对象物的图。
图3是一个实施方式的机器人系统的功能框图。
图4是表示利用一个实施方式的机器人系统执行的搬运工序的流程的流程图。
图5A是表示第1三维信息的图。
图5B是表示第2三维信息的图。
图6是表示根据第1及第2三维信息获得的抽出点集合的图。
图7A是表示第1三维信息的图。
图7B是表示第2三维信息的图。
图8是表示根据第1及第2三维信息获得的抽出点集合的图。
图9是表示载置部及载置于载置部的对象物的图。
图10是另一个实施方式的机器人系统的功能框图。
图11是表示第1三维信息的图。
图12是表示对象物的把持工序的图。
图13是表示第3三维信息的图。
图14是表示对构成第3三维信息的各个三维点适用齐次变换而获得的抽出点集合的图。
图15是表示第2三维信息的图。
图16是表示对象物的例子的图。
图17是表示第1三维信息的图。
图18是表示对象物的把持工序的图。
图19是表示第3三维信息的图。
图20是表示对构成第3三维信息的各个三维点适用齐次变换而获得的抽出点集合的图。
图21是表示第2三维信息的图。
具体实施方式
以下，参照附图说明本发明的实施方式。图示的实施方式的结构要素适当地变更了尺寸，以助于理解本发明。另外，对于相同或对应的结构要素，使用了相同的附图标记。
图1是表示一个实施方式的机器人系统的结构的概略图。机器人系统10具备：在臂31的前端具有手腕32的机器人30；安装在机器人30的手腕32上的把持装置33；控制机器人30的机器人控制装置60；以及安装在台架41上的三维传感器40。图示的机器人30是垂直多关节机器人，但也可以使用移动机构机器人、并联连杆机器人、直动机构机器人等任意类型的机器人。
机器人控制装置60利用通信电缆等公知的通信机构与机器人30连接。机器人30按照从机器人控制装置60输出的控制指令而驱动设置于各关节轴的伺服马达，由此以具有所需的位置及姿势的方式进行动作。
把持装置33经由形成于手腕32的机械接口而安装在机器人30上。把持装置33只要在把持工序中不与周围的对象物50、容纳对象物50的集装箱或托盘(未图示)等产生干涉，且能够搬运至少一个对象物50，则对其形状及结构不做任何限定。例如，把持装置33是对对象物50以机械方式施加压力的机械式把持装置、产生负压而对对象物50施加吸引力的真空吸附式把持装置、或者利用磁力对对象物50施加吸引力的磁力式把持装置。
对象物50如图所示以堆积的状态设置。在本说明书中，有时将为执行搬运工序而由把持装置33把持的对象物称为“搬运对象物”，以区别于其他对象物。根据机器人系统10，由把持装置33把持的搬运对象物51利用机器人30远离其他对象物50而移动，并且被载置在如图2所示的载置部52。载置部52具有能够稳定地载置搬运对象物51的结构即可，不限于特定的形态。载置部52例如是输送机，使搬运对象物51依次移动以进行后工序。载置部52也可以是不具有输送机等独立的移动机构的桌子、托盘或者夹具。
三维传感器40设置在堆积的对象物50的大致上方。三维传感器40构成为，分别获取位于对象物50的表面上的多个点的三维位置信息，并且将所获取的三维点的集合作为三维信息而输出。
三维传感器40的结构不受任何限制，是利用了例如空间代码方式、相位偏移方式、随机点图形方式、TOF方式、光切断方式、立体摄像机方式等公知的原理的任意的传感器。三维信息的输出形式不受任何限制。为了便于说明，在本说明书中，根据使用了由三维点的集合(也称为“point cloud”)构成的三维信息的例子而说明实施方式。
三维传感器40以能够获取机器人系统10的基准坐标系中的三维信息的方式预先被校准。使传感器坐标系与基准坐标系相关联的校准按照公知的方法执行(例如，参照“摄像机校准”、CVIM 148,PP.1-18,2005)。
控制三维传感器40的传感器控制装置(未图示)既可以内置于机器人控制装置60中，也可以与机器人控制装置60分开设置。在一个实施方式中，三维传感器40也可以构成为，不仅获取三维位置信息，而且还获取灰色标度图像或彩色图像等二维信息。
图3是机器人系统10的功能框图。如图所示，机器人系统10具备第1三维信息获取部12、对象物位置获取部14、第2三维信息获取部16、形状信息获取部18、载置信息获取部20、以及位置姿势计算部22。执行各个功能所需的计算、信息的存储及读取、以及数据及信号的收发，由具有CPU、ROM、RAM等公知的硬件结构的数字计算机执行。
第1三维信息获取部12利用三维传感器40，获取堆积的多个对象物50的三维信息作为第1三维信息。第1三维信息是在搬运搬运对象物51之前的状态下的对象物50的三维信息。
对象物位置获取部14根据第1三维信息，确定多个对象物50之中应该搬运的搬运对象物51，并且获取搬运对象物51的位置。搬运对象物51例如是对象物50之中位于最高位置的对象物。或者，也可以将根据把持装置33的类型而确定的位于最容易把持的位置的对象物、或者不与周围的对象物50干涉而能够取出的对象物作为搬运对象物51来选择。
根据三维信息识别搬运对象物51的位置的方法不做特别限定，能够采用公知的方法(例如，参照“A review of recent range image registration methods withaccuracy evaluative”、Image and Vision Computing Volume 25,Issue 5,pp.578-596,2007)。另外，如日本特开2013－101045号公报所记载，也可以组合三维信息及二维信息来识别搬运对象物51的位置。搬运对象物51的位置用于在把持工序中对把持装置33进行定位。即，按照搬运对象物51的位置，控制机器人30的位置及姿势，在适合把持搬运对象物51的位置上对把持装置33进行定位。
第2三维信息获取部16在将搬运对象物51利用把持装置33把持并且利用机器人30使其从剩余的对象物50分离而移动之后，利用三维传感器40获取剩余的对象物50的三维信息作为第2三维信息。第2三维信息是在机器人30及搬运对象物51移动到图1的虚线所示的三维传感器40的检测范围外之后获取的。然而，当获取第2三维信息时无障碍的情况下，也可以在搬运对象物51或机器人30包含于三维传感器40的检测范围内的状态下获取第2三维信息。
形状信息获取部18根据第1三维信息及第2三维信息，获取包含当获取第1三维信息时位于三维传感器40的死角的部位的搬运对象物51的三维形状信息。当获取第1三维信息时，搬运对象物51的与三维传感器40相反的一侧的部位位于三维传感器40的死角，无法获取三维信息。于是，根据本实施方式，通过对比第1三维信息与第2三维信息，能够获取未包含于第1三维信息的搬运对象物51的部位的形状信息。由此，能够获取搬运对象物51的大致整体的三维形状。
载置信息获取部20根据由形状信息获取部18获取的搬运对象物51的三维形状信息，获取从在将搬运对象物51载置在载置部52时与载置部52接触的搬运对象物51的接触部到把持装置33或机器人30的基准点的距离、和能够将搬运对象物51稳定地载置在载置部52的搬运对象物51的稳定姿势中的至少一方。
位置姿势计算部22根据从搬运对象物51的接触部到把持装置33或机器人30的基准点的距离、和搬运对象物51的稳定姿势中的至少一方，计算将搬运对象物51载置在载置部52时的机器人30的位置及姿势。
图4是表示由本实施方式的机器人系统10执行的搬运工序的流程的流程图。在以下的说明中，适当参照对象物50为长方体形状的例子(参照图1及图2)。
首先，在步骤S401中，第1三维信息获取部12获取堆积的对象物50的三维信息(第1三维信息)。图5A表示关于堆积成两层的五个对象物50获取的第1三维信息。粗线X1表示作为第1三维信息而获取的三维点分布的范围。如此，第1三维信息X1包含位于对象物50的表面上的多个三维点的位置信息。
在步骤S402中，对象物位置获取部14根据第1三维信息X1确定搬运对象物51，并且获取搬运对象物51的位置。在步骤S402中获取的搬运对象物51的位置例如是搬运对象物51的上表面的重心的位置(参照图5A的“G”)。在执行步骤S401及步骤S402的工序的期间，也可以根据需要使机器人30执行其他作业。
在步骤S403中，驱动机器人30，使搬运对象物51从剩余的对象物50分离而移动。机器人30根据在步骤S402中获取的搬运对象物51的位置，在把持装置33能够把持搬运对象物51的位置上对把持装置33进行定位。例如，在把持装置33为在一点的把持点把持搬运对象物51的吸附式把持装置的情况下，以使把持装置33的基准点(例如把持点)与搬运对象物51的位置(例如重心G)一致的方式，对把持装置33进行定位。在把持装置33的定位结束之后，使把持装置33工作而把持搬运对象物51。之后，控制机器人30，使搬运对象物51从剩余的对象物50分离而移动。
在步骤S404中，由第2三维信息获取部16利用三维传感器40检测出在取出搬运对象物51之后剩余的对象物50，并获取第2三维信息X2(参照图5B)。如图5B所示，除了搬运对象物51之外的四个对象物50的三维信息作为第2三维信息X2而被获取。
在步骤S405中，形状信息获取部18根据第1三维信息及第2三维信息，获取搬运对象物51的三维形状信息。该形状信息包含在取出搬运对象物51之前位于三维传感器40的死角的部位的搬运对象物51的形状信息。
在步骤S406中，载置信息获取部20获取在将搬运对象物51载置在载置部52时从与载置部52接触的搬运对象物51的接触部到把持装置33的基准点(例如把持点)的距离、和搬运对象物51的稳定姿势中的至少一方。由于机器人30与把持装置33的位置关系是已知的，因此基准点也可以设定在机器人30上。
在对象物50具有长方体的形状，并且如图5A所示以使搬运对象物51的底面成为平面的方式大致整齐排列而堆积的情况下，即使不变更搬运对象物51的姿势，也能够将搬运对象物51稳定地载置在载置部52。从而，在该情况下，在步骤S406中也可以省略获取稳定姿势的工序。另一方面，为了适当地进行搬运对象物51的载置工序，需要决定从把持装置33(或者机器人30)的基准点到搬运对象物51的接触部(即底面)的距离。相反，机器人系统10也可以构成为，省略获取从把持装置33或者机器人30的基准点到搬运对象物51的接触部的距离的工序，并且仅获取搬运对象物51的稳定姿势。关于获取从搬运对象物51的接触部到基准点的距离、及稳定姿势的具体方法将在后面叙述。
在步骤S407中，位置姿势计算部22计算将搬运对象物51载置在载置部52时的机器人30的位置及姿势。机器人30的位置及姿势按照从搬运对象物51的接触部到把持装置33或者机器人30的基准点的距离、和搬运对象物51的稳定姿势中的至少一方而计算。
在步骤S408中，按照在步骤S407中计算的位置及姿势而驱动机器人30，使搬运对象物51移动至载置部52。在搬运对象物51被定位在预定的位置之后，释放把持装置33而将搬运对象物51载置在载置部52，结束搬运工序。
步骤S401～S408的工序反复执行至所有的对象物50的搬运结束为止。此外，在第2次以后的任意的搬运工序中，也可以省略步骤S401的工序，并且将在以前的搬运工序中获取的第2三维信息用作第1三维信息。或者，在对象物50的个体差异较小的情况下，在第2次以后的搬运工序中，也可以省略步骤S401～步骤S405的工序，并使用暂且获得的搬运对象物51的三维形状信息。
以下，对根据三维信息求出搬运对象物51的三维形状信息的方法、以及根据搬运对象物51的三维形状信息而计算从搬运对象物51的接触部到把持装置33或者机器人30的基准点的距离、及搬运对象物51的稳定姿势的方法进行说明。
(第1实施例)
参照图5A、图5B及图6，对第1实施例进行说明。在本实施例中，对象物50具有长方体形状。如上所述，图5A及图5B所示的三维信息X1、X2由多个三维点的集合的位置信息构成。通过对第1三维信息X1与第2三维信息X2进行比较，求出搬运对象物51的三维形状信息。
例如，对于构成第2三维信息X2的各个三维点，将该三维点之中位于最近的位置上的第1三维信息的三维点定义为“最附近点”。成为最附近点的候补的第1三维信息的三维点也可以限定于位于从第2三维信息的三维点沿水平方向分离预定距离的范围内的三维点。如此一来，计算最附近点所需的时间被缩短。也可以将第1三维信息中的相同的三维点设定为针对第2三维信息的多个三维点的共同的最附近点。此外，所谓“位于最近的位置”是指两点之间的距离最小，“距离”按照曼哈顿距离(L1标准)、欧几里德距离、马哈拉诺比斯距离、最大值标准等任意的方式来定义。
而且，在从第2三维信息X2的三维点到对应的最附近点的距离超过预先规定的阈值的情况下，分别抽出最附近点。所抽出的最附近点的集合(称为“抽出点集合”)表示在取出搬运对象物51的前后、对应的三维点之中位置发生变化的三维点。从而，根据抽出点集合，能够确定在搬运工序之前进入三维传感器40的死角的搬运对象物51的与三维传感器40相反的一侧的形状。
抽出抽出点集合时所使用的阈值，例如根据三维传感器40的分辨率适当设定。或者，也可以根据对象物50的个体差异、所要求的检测精度、或者对象物50的最薄部的尺寸而设定阈值。
在代替性的实施方式中，对于包含于第1三维信息X1中的三维点之中，包含于搬运对象物51的范围内的三维点的集合，也可以将沿水平方向包含于同一的范围内的第2三维信息的三维点的集合作为抽出点集合。
图6表示对于搬运对象物51求出的抽出点集合Y。图6的“O”表示把持装置33的基准点。例如，基准点O是把持装置33的把持点。从把持装置33的基准点O到构成抽出点集合Y的各个三维点的矢量V的Z轴方向(例如铅垂方向)的成分的最大值是，从基准点O到与载置部52接触的搬运对象物51的接触部的距离D。
根据本实施例，在搬运对象物51的载置工序中，机器人30以使把持装置33的基准点O配置在从载置部52的表面分离距离D的位置上的方式进行控制。
(第2实施例)
参照图7A、图7B、图8及图9，对第2实施例进行说明。本实施例对应于在载置工序中需要获取用于将搬运对象物51稳定地载置的稳定姿势的情况。如图7A所示，在对象物50具有锥台形状的情况下，堆积的搬运对象物51的底部的面积非常小。因此，为了将搬运对象物51稳定地载置在载置部52，需要在搬运工序中获取搬运对象物51的稳定姿势。于是，在本实施例中，不仅获取从把持装置33的基准点O到搬运对象物51的接触部的距离，而且还获取搬运对象物51的稳定姿势。
图7A的粗线X1表示第1三维信息，图7B的粗线X2表示第2三维信息。与第1实施例同样地，根据第1三维信息X1及第2三维信息X2，抽出在搬运对象物51的取出工序的前后而位置发生变化的三维点的集合作为抽出点集合。图8的粗线Y表示抽出点集合。
在抽出点集合Y中，确定具有最大的面积的面、即平面P。如果搬运对象物51在该平面P中以与载置部52接触的方式载置，则能够稳定地载置搬运对象物51(参照图9)。搬运对象物51的稳定姿势按照针对平面P的法线矢量N的朝向而求出。即，以使法线矢量N朝向铅垂方向上方的方式计算机器人30的姿势。由此，搬运对象物51以稳定的姿势载置在载置部52。此外，在除了具有最大的面积的平面P以外，存在具有超过预先规定的阈值的面积的面的情况下，也可以将在该面中将搬运对象物51载置在载置部52的姿势作为稳定姿势。
从把持装置33的基准点O到平面P的距离，根据从基准点O朝向构成抽出点集合Y的各个三维点定义的矢量V和法线矢量N而求出。例如，将矢量V与法线矢量N的内积的最大值定义为从基准点O到平面P的距离D。如果按照法线矢量N的朝向及距离D来控制机器人30，则能够使搬运对象物51移动到稳定地载置所需的位置。
在其他实施方式中，例如，在与载置部52接触的接触部是搬运对象物51的曲面的部位的情况下，也可以针对曲率成为预先规定的阈值以下的每个区域求出近似平面，根据针对面积最大的近似平面的法线矢量来求出稳定姿势。
(第3实施例)
参照图10～图15，对第3实施例进行说明。在本实施例中，对象物50大致具有图11所示的圆柱形状。
图10是本实施例的机器人系统10的功能框图。对比图3与图10可知，机器人系统10还具备第3三维信息获取部24。
第3三维信息获取部24利用三维传感器40，获取由把持装置33把持的搬运对象物51的三维信息作为第3三维信息。例如，如图13所示，第3三维信息通过在把持搬运对象物51之后，使机器人30移动并使手腕32旋转而变更把持装置33的姿势而获取。
在本实施例的机器人系统10中，对获取抽出点集合Y的方法进行说明。首先，与其他实施例同样地，获取第1三维信息X1(参照图11)。然后，获取机器人30移动到把持装置33能够把持搬运对象物51的位置的时刻(参照图12)的机器人30的位置及姿势(称为“第1机器人位置”)。然后，如图13所示，使机器人30移动并使手腕32旋转而变更把持装置33的姿势，获取包含搬运对象物51的相反侧的部位的第3三维信息X3。另外，获取在获取了第3三维信息X3时的机器人30的位置及姿势(称为“第2机器人位置”)。
接着，根据第1机器人位置与第2机器人位置之差，对第3三维信息进行齐次变换而获取抽出集合点Y。例如，将对应于第1机器人位置的齐次变换行列设为H1，将对应于第2机器人位置的齐次变换行列设为H2。在该情况下，对应于搬运对象物51的位置及姿势的变化量的齐次变换行列H3如下式所示。
H3＝H1×H2-1
此外，H2-1是H2的逆行列。
如果对构成第3三维信息X3的各个三维点应用齐次变换行列H3，则获得图14的粗线Y所示的抽出点集合。根据图11所示的第1三维信息X1及图14所示的抽出点集合Y，获取搬运对象物51的三维形状信息。在一个实施方式中，也可以经过多次获取第3三维信息。在一个实施方式中，也可以使用第1三维信息X1及第3三维信息X3之外，还使用图15所示的第2三维信息X2来获取搬运对象物51的三维形状信息。如上所述，第2三维信息X2是在使搬运对象物51从剩余的对象物50分离而移动之后所获取的对象物50的三维信息。
(第四实施例)
参照图16～图21，对第四实施例进行说明。在本实施例中，为了求出搬运对象物51的稳定姿势，从多个方向获取搬运对象物51的第3三维信息。例如，如图16所示，在正六角柱的对象物50上形成有凹部50a的情况下，若以与凹部50a邻接的第1面50b朝向载置部52而载置对象物50，则对象物50的姿势变得不稳定而有可能倒下。在该情况下，对象物50的稳定姿势是使与凹部50a相反的一侧的第2面50c朝向载置部52的姿势。为了求出这种稳定姿势，需要从多个方向获取对象物50的三维信息。
根据本实施例，除了从多个方向获取第3三维信息以外，以与第3实施例相同的方法执行搬运工序。即，在搬运搬运对象物51之前，第1三维信息获取部12获取堆积的对象物50的第1三维信息X1(参照图17)。然后如图18所示，机器人30移动到把持装置33能够把持搬运对象物51的位置。此时的机器人30的位置及姿势作为“第1机器人位置”而被存储。
然后，在使搬运对象物51从剩余的对象物50分离而移动之后，使手腕32旋转，从而从多个方向获取搬运对象物51的第3三维信息。获取第3三维信息时的机器人30的位置及姿势作为“第2机器人位置”而被存储。图19表示在使搬运对象物51的凹部51a朝向三维传感器40的状态下由第3三维信息获取部24获取的第3三维信息X3。接着，根据第1机器人位置及第2机器人位置之差，对第3三维信息进行齐次变换而获取抽出点集合Y。图20表示对图19所示的第3三维信息X3应用齐次变换而获得的抽出点集合Y。然后，在使搬运对象物51移动到视觉传感器40的检测范围外之后，由第2三维信息获取部16获取第2三维信息X2(参照图21)。根据如此获得的第1三维信息X1、第2三维信息X2及抽出点集合Y，由形状信息获取部18获取包含凹部51a的搬运对象物51的三维形状信息。一旦获取到搬运对象物51的三维信息，则根据各个面的面积、搬运对象物51的重心位置等，求出搬运对象物51的稳定姿势。
根据上述的各种实施方式的机器人系统10，获得以下效果。
(1)即使在堆积的对象物的三维形状及尺寸未知的情况下，或者对象物的个体差异较大的情况下，也能够适当地执行搬运工序。由此，还能够容易执行农产物、木材、矿物等不具有固定形状的对象物的搬运工序。
(2)由于对象物以稳定的姿势载置在载置部，因此能够防止对象物倒下而破损的情况。而且，由于对象物以按照一定的基准的姿势载置在载置部，因此后工序的处理效率提高。
(3)即使在对象物容纳在集装箱内的情况等、从侧方无法确认对象物的状态的情况下，也能获取对象物的三维形状信息。
(4)由于使用一个三维传感器来获取搬运工序所需的信息，因此能够提供廉价的机器人系统。
(5)不需要机器人系统事先准备关于从对象物的接触部到机器人的基准点的距离及对象物的稳定姿势的信息，能够简化准备工序。
在一个实施方式的机器人系统中，三维传感器也可以安装在机器人的臂的前端部。在一个实施方式的机器人系统中，也可以构成为多个机器人搬运堆积在一个部位的对象物。在一个实施方式的机器人系统中，也可以构成为至少一个机器人依次搬运堆积在多个部位的对象物。在一个实施方式中，也可以以将对象物搬运到设置在互不相同的位置上的多个载置部的方式构成机器人系统。
发明的效果
根据本发明的机器人系统，基于取出对象物前后的三维信息，获取所搬运的对象物的三维形状信息。而且，按照所获取的对象物的三维形状信息，计算载置对象物时的机器人的位置及姿势。由此，即使在对象物的形状或尺寸未知的情况下，或者对象物的个体差异较大的情况下，也能够适当地执行搬运工序。
以上，对本发明的各种实施方式进行了说明，但如果是本领域技术人员，应该知道，通过其他的实施方式也能够实现本发明所意图的作用效果。尤其是，在不脱离本发明的范围，而能够删除或替换上述的实施方式的结构要素，或者还能够附加公知的机构。另外，本领域技术人员应该清楚，通过任何组合在本说明书中明确或暗示性地公开的多个实施方式的特征，也能够实施本发明。

Claims (8)

1.一种机器人系统，依次搬运堆积的多个对象物并载置在载置部，其特征在于，具备：
三维传感器，其获取上述多个对象物的三维信息；
机器人，其具备把持上述多个对象物之中的至少一个的把持装置；
第1三维信息获取部，其利用上述三维传感器获取堆积的上述多个对象物的三维信息作为第1三维信息；
对象物位置获取部，其根据上述第1三维信息，确定上述多个对象物之中应该搬运的搬运对象物，并且获取该搬运对象物的位置；
第2三维信息获取部，其利用上述把持装置把持上述搬运对象物并且利用上述机器人使上述搬运对象物从剩余的对象物分离而移动之后，利用上述三维传感器获取上述剩余的对象物的三维信息作为第2三维信息；
形状信息获取部，其根据上述第1三维信息及上述第2三维信息，获取包含在获取上述第1三维信息时位于上述三维传感器的死角的部位的上述搬运对象物的三维形状信息；
载置信息获取部，其根据由上述形状信息获取部获取的上述搬运对象物的三维形状信息，获取在将上述搬运对象物载置在上述载置部时从与上述载置部接触的上述搬运对象物的接触部到上述把持装置或者上述机器人的基准点的距离、和能够将上述搬运对象物稳定地载置在上述载置部的上述搬运对象物的稳定姿势中的至少一方；以及
位置姿势计算部，其根据从上述接触部到上述基准点的距离和上述稳定姿势中的至少一方，计算将上述搬运对象物载置在上述载置部时的上述机器人的位置及姿势。
2.根据权利要求1所述的机器人系统，其特征在于，
还具备第3三维信息获取部，其利用上述三维传感器获取由上述把持装置正在把持的上述搬运对象物的三维信息作为第3三维信息，
上述形状信息获取部根据上述第1三维信息、上述第2三维信息及上述第3三维信息，获取上述搬运对象物的三维形状信息。
3.根据权利要求1所述的机器人系统，其特征在于，
在搬运至少一个上述对象物之后，上述第1三维信息获取部获取在执行以前的搬运工序时所获取的上述第2三维信息作为上述第1三维信息。
4.根据权利要求2所述的机器人系统，其特征在于，
在搬运至少一个上述对象物之后，上述第1三维信息获取部获取在执行以前的搬运工序时所获取的上述第2三维信息作为上述第1三维信息。
5.根据权利要求1～4中任一项所述的机器人系统，其特征在于，
上述三维传感器安装在与上述机器人分开的台架上。
6.根据权利要求1～4中任一项所述的机器人系统，其特征在于，
上述三维传感器安装在上述机器人的臂前端部。
7.一种机器人系统，依次搬运堆积的多个对象物并载置在载置部，其特征在于，具备：
三维传感器，其获取上述多个对象物的三维信息；
机器人，其具备把持上述多个对象物中的至少一个的把持装置；
第1三维信息获取部，其利用上述三维传感器获取堆积的上述多个对象物的三维信息作为第1三维信息；
对象物位置获取部，其根据上述第1三维信息，确定上述多个对象物之中应该搬运的搬运对象物，并且获取该搬运对象物的位置；
第3三维信息获取部，其利用上述三维传感器获取由上述把持装置正在把持的上述搬运对象物的三维信息作为第3三维信息；
形状信息获取部，其根据上述第1三维信息及上述第3三维信息，获取包含在获取上述第1三维信息时位于上述三维传感器的死角的部位的上述搬运对象物的三维形状信息；
载置信息获取部，其根据由上述形状信息获取部获取的上述搬运对象物的三维形状信息，获取在将上述搬运对象物载置在上述载置部时从与上述载置部接触的上述搬运对象物的接触部到上述把持装置或者上述机器人的基准点的距离、和能够将上述搬运对象物稳定地载置在上述载置部的上述搬运对象物的稳定姿势中的至少一方；以及
位置姿势计算部，其根据从上述接触部到上述基准点的距离和上述稳定姿势中的至少一方，计算将上述搬运对象物载置在上述载置部时的上述机器人的位置及姿势。
8.根据权利要求7所述的机器人系统，其特征在于，
获取上述第3三维信息时的上述机器人的位置及姿势中的至少一方，与由上述把持装置把持上述搬运对象物时不同。
CN201610052279.7A 2015-02-06 2016-01-26 具备三维传感器的搬运机器人系统 Active CN105858188B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-022623 2015-02-06
JP2015022623A JP6140204B2 (ja) 2015-02-06 2015-02-06 ３次元センサを備えた搬送ロボットシステム

Publications (2)

Publication Number Publication Date
CN105858188A CN105858188A (zh) 2016-08-17
CN105858188B true CN105858188B (zh) 2018-07-27

Family

ID=56498556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610052279.7A Active CN105858188B (zh) 2015-02-06 2016-01-26 具备三维传感器的搬运机器人系统

Country Status (4)

Country Link
US (1) US9844882B2 (zh)
JP (1) JP6140204B2 (zh)
CN (1) CN105858188B (zh)
DE (1) DE102016000995B4 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9956687B2 (en) 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9056396B1 (en) 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6472363B2 (ja) * 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
US10597235B2 (en) 2016-10-20 2020-03-24 Intelligrated Headquarters, Llc Carton unloader tool for jam recovery
US10315866B2 (en) * 2016-10-20 2019-06-11 Intelligrated Headquarters, Llc 3D-2D vision system for robotic carton unloading
US10279480B1 (en) 2016-10-21 2019-05-07 X Development Llc Sensor fusion
JP6470321B2 (ja) 2017-01-11 2019-02-13 ファナック株式会社 物品搬送装置
JP6450788B2 (ja) 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
CN107009358B (zh) * 2017-04-13 2020-06-02 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
JP6626036B2 (ja) * 2017-04-18 2019-12-25 ファナック株式会社 測定機能を有するレーザ加工システム
JP6680732B2 (ja) * 2017-08-23 2020-04-15 ファナック株式会社 物品積み付け装置及び機械学習装置
JP6662836B2 (ja) * 2017-11-24 2020-03-11 ファナック株式会社 収容領域又は治具にワークを配置するワーク配置システム
CN108545459A (zh) * 2018-03-23 2018-09-18 广州纬纶信息科技有限公司 一种自动化下料系统、方法及计算机可读存储介质
JP6795007B2 (ja) * 2018-04-27 2020-12-02 株式会社ダイフク ピッキング設備
US20220118629A1 (en) * 2018-10-03 2022-04-21 Nicholas Payton Hybrid robotic picking device
JP7134073B2 (ja) * 2018-11-14 2022-09-09 株式会社ダイフク 物品積載設備
US11741566B2 (en) 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
EP4046099A1 (en) 2019-11-12 2022-08-24 Bright Machines, Inc. A software defined manufacturing/assembly system
JP7432231B2 (ja) * 2020-03-13 2024-02-16 株式会社イシダ 物品排出システム
JPWO2022269984A1 (zh) * 2021-06-22 2022-12-29
CN113858199B (zh) * 2021-09-27 2023-02-28 河南松源企业管理咨询有限公司 一种家具搬运机器人
US20230182315A1 (en) * 2021-12-10 2023-06-15 Boston Dynamics, Inc. Systems and methods for object detection and pick order determination
DE102022123762A1 (de) * 2022-09-16 2024-03-21 Haver & Boecker Ohg Verfahren zum Greifen und Überführen wenigstens einer Einzeleinheit und Verwendung eines Systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0890471A (ja) * 1994-09-19 1996-04-09 Suzuki Motor Corp 工業用ロボット
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN101801824A (zh) * 2007-06-12 2010-08-11 库卡罗伯特有限公司 控制机器人卸垛轮胎的方法和系统
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2555822B2 (ja) * 1991-10-30 1996-11-20 日本電装株式会社 山積み部品の高速ピッキング装置
JP3315736B2 (ja) 1992-10-16 2002-08-19 株式会社リコー 原稿分離給紙装置
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3516067B2 (ja) 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
JP3482938B2 (ja) 2000-05-02 2004-01-06 株式会社ダイフク 物品位置認識装置
DE102007050232A1 (de) * 2007-10-20 2009-04-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Handhabungsroboter und Verfahren zur Steuerung eines Handhabungsroboters
JP2010005769A (ja) 2008-06-30 2010-01-14 Ihi Corp デパレタイズ装置および方法
JP2010032744A (ja) 2008-07-29 2010-02-12 Ricoh Co Ltd 照明装置
JP4708464B2 (ja) * 2008-09-30 2011-06-22 ファナック株式会社 ワーク把持装置
JP5556382B2 (ja) 2010-05-28 2014-07-23 トヨタ自動車株式会社 ワーク段積み状態認識装置
FI20106387A (fi) * 2010-12-30 2012-07-01 Zenrobotics Oy Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi
JP2012192490A (ja) 2011-03-16 2012-10-11 Toyota Motor Corp 荷姿認識装置
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP2013154457A (ja) 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム
JP6000029B2 (ja) * 2012-09-10 2016-09-28 株式会社アプライド・ビジョン・システムズ ハンドリングシステム、ハンドリング方法及びプログラム
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0890471A (ja) * 1994-09-19 1996-04-09 Suzuki Motor Corp 工業用ロボット
CN101801824A (zh) * 2007-06-12 2010-08-11 库卡罗伯特有限公司 控制机器人卸垛轮胎的方法和系统
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统

Also Published As

Publication number Publication date
DE102016000995B4 (de) 2019-01-31
DE102016000995A1 (de) 2016-08-11
JP6140204B2 (ja) 2017-05-31
US9844882B2 (en) 2017-12-19
CN105858188A (zh) 2016-08-17
US20160229061A1 (en) 2016-08-11
JP2016144841A (ja) 2016-08-12

Similar Documents

Publication Publication Date Title
CN105858188B (zh) 具备三维传感器的搬运机器人系统
US11288810B2 (en) Robotic system with automated package registration mechanism and methods of operating the same
US9987746B2 (en) Object pickup strategies for a robotic device
US9469035B2 (en) Component supply apparatus
US9393693B1 (en) Methods and systems for determining and modeling admissible gripper forces for robotic devices
US9957120B2 (en) Stowage pattern calculation device and stowage device for stowing plurality types of objects
JP4226623B2 (ja) ワーク取り出し装置
JP4565023B2 (ja) 物品取り出し装置
US20150224648A1 (en) Robotic system with 3d box location functionality
JP6466297B2 (ja) 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
CN106426161A (zh) 在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法
CN113272106A (zh) 基于由相机生成的图像信息执行运动规划的方法和计算系统
JP6576050B2 (ja) 物体移動方法及びシステム
US20170053410A1 (en) Arrangement detection apparatus and pickup apparatus
CN110539299B (zh) 机器手作业方法、控制器以及机器手系统
JP2019136828A (ja) 箱状物ピッキング装置及びその方法
JP5360369B2 (ja) ピッキング装置と方法
JP2010210511A (ja) 対象物の３次元位置・姿勢認識装置及びその方法
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
JP7385424B2 (ja) 移載対象ワーク向き認識システム
KR102650492B1 (ko) 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템
US11850748B2 (en) Picking robot, picking method, and computer program product
CN113219900B (zh) 基于相机生成的图像信息执行运动规划的方法和计算系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant