CN107756422A - 拾取系统 - Google Patents

拾取系统 Download PDF

Info

Publication number
CN107756422A
CN107756422A CN201710665311.3A CN201710665311A CN107756422A CN 107756422 A CN107756422 A CN 107756422A CN 201710665311 A CN201710665311 A CN 201710665311A CN 107756422 A CN107756422 A CN 107756422A
Authority
CN
China
Prior art keywords
weight
picking
food
estimator
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710665311.3A
Other languages
English (en)
Inventor
高西完治
沓掛史典
山本晓洋
石川伸
石川伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN107756422A publication Critical patent/CN107756422A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39107—Pick up article, object, measure, test it during motion path, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm

Abstract

本发明提供拾取系统。提高针对不定形状、不定重量的对象物的拾取功能。拾取系统具有：照相机(2)和控制步骤(步骤(S105～S120))，取得对象物的形状信息；重量估计部(32)，其根据对象物的形状信息估计该对象物的重量；拾取机器人(5)，其进行针对对象物的拾取动作；以及作业计划部(33)，其根据由重量估计部(32)估计出的重量对拾取机器人(5)的拾取动作进行控制，重量估计部(32)通过学习了所输入的对象物的形状信息与应该输出的重量之间的对应关系的机器学习(例如人工神经网络)来估计该对象物的重量。

Description

拾取系统
技术领域
公开的实施方式涉及拾取系统。
背景技术
在专利文献1中记载了通过机器人手把持部件等对象物来进行拾取操作的机器人装置。
专利文献1：日本特开2015-205368号公报
发明内容
但是，在要把持的对象物例如如食品那样按照每个个体而成为不定形状、不定重量的情况下，很难适当把持对象物。
本发明是鉴于这种问题而完成的，其目的在于，提供能够提高针对不定形状、不定重量的对象物的拾取功能的拾取系统。
为了解决上述课题，根据本发明的一个观点，应用一种拾取系统，所述拾取系统具有：形状取得部，其取得对象物的形状信息；重量估计部，其根据所述形状取得部取得的对象物的形状信息估计该对象物的重量；拾取机器人，其进行针对所述对象物的拾取动作；以及控制部，其根据由所述重量估计部估计出的重量对所述拾取机器人的拾取动作进行控制。
发明效果
根据本发明，能够提高针对不定形状、不定重量的对象物的拾取功能。
附图说明
图1是示出实施方式的拾取系统的概略系统框结构的一例的图。
图2是比较并示出夹钳周边的重量传感器的装配状态和重量传感器的非装配状态的图。
图3是与照相机的图像信息对应地示出从上方观察容器时的其内部的多个食品的装载状态的一例的图。
图4是从侧方透视容器而示出其内部的多个食品的装载状态的一例的图。
图5是与图3的图像信息对应地示出仅对能够进行把持/重量估计的食品进行个体识别的状态的图。
图6是示出对进行个体识别后的各食品个体分别估计出的估计重量信息的一例的图。
图7是示出重量估计部应用的人工神经网络的模型的一例的图。
图8是示出为了实现学习模式而由上位控制装置的CPU执行的控制步骤的流程图。
图9是示出作业计划部设定的拣选作业计划的一例的图。
图10是示出为了实现执行模式而由上位控制装置的CPU执行的控制步骤的流程图。
图11是示出利用三维照相机取得食品的图像信息的结构例的图。
图12是示出根据2个形状信息来估计重量值的情况下的重量估计部应用的人工神经网络的一例的图。
图13是示出上位控制装置的硬件结构的系统框图。
标号说明
1：拾取系统；2：照相机(形状取得部)；3：上位控制装置；4：机器人控制器；5：拾取机器人；5b：夹钳；6：容器(规定的装载容器)；7：重量传感器；31：个体识别部(形状取得部)；32：重量估计部；33：作业计划部(控制部)；F：食品；I、II：目标容器；IR：规格外容器。
具体实施方式
下面，参照附图对实施方式进行说明。
<拾取系统的概略结构>
图1示出本实施方式的拾取系统的概略系统框结构的一例。该拾取系统是拾取重叠装载在容器内的多个食品以将其拣选到多个目标容器中的系统。在图1中，拾取系统1具有照相机2、上位控制装置3、机器人控制器4、拾取机器人5。
在该例子中，照相机2是以光学方式取得二维图像信息的摄像设备。该照相机2配置在容器6(规定的装载容器)的上方，能够对以散装的方式重叠装载在该容器6的内部的多个食品F(对象物；在本实施方式的例子中为炸鸡)的整体进行摄像。
上位控制装置3根据由上述照相机2取得的图像信息进行与拾取机器人5的拾取作业有关的处理，对机器人控制器4输出作业指令。该上位控制装置3具有个体识别部31、重量估计部32、作业计划部33。
个体识别部31通过对由上述照相机2取得的图像信息进行图像识别，对该时点重叠装载在容器6内的多个食品F中的、能够由拾取机器人5进行拾取的个体(以下适当称为食品个体F)进行识别。然后，将这些能够拾取的食品个体F各自的形状信息输出到重量估计部32和作业计划部33，并且将各自的配置信息输出到作业计划部33(在后面详细叙述)。
重量估计部32根据从上述个体识别部31输入的各食品个体F的形状信息来估计其重量，将该估计重量信息输出到作业计划部33。另外，在本实施方式的例子中，该重量估计部32通过使用人工神经网络的机器学习，进行与各食品个体F的形状信息对应的重量的估计处理(在后面详细叙述)。
作业计划部33根据从上述个体识别部31输入的配置信息和形状信息以及从上述重量估计部32输入的估计重量信息，计划使拾取机器人5进行的具体的作业内容，将由此生成的作业指令输出到机器人控制器4。
另外，上述个体识别部31、重量估计部32、作业计划部33等中的处理等不限于这些处理的分担的例子，例如，也可以利用更少数量的处理部(例如一个处理部)进行处理，并且，还可以通过更加细分化的处理部进行处理。并且，上位控制装置3也可以通过后述的CPU901(参照图13)执行的程序来实现，其一部分或全部也可以通过ASIC、FPGA、其它电路等实际装置来实现。
机器人控制器4根据从上述上位控制装置3的作业计划部33输入的作业指令，对输出到拾取机器人5的各驱动轴马达(图示省略)的驱动信号进行控制。
在图示的本实施方式的例子中，拾取机器人5是6轴控制的机械臂(armmanipulator)，在其臂前端部5a设置有能够把持食品F的夹钳5b(把持部)，具有能够将容器6内的食品F逐个地移送到附近的容器内的功能。并且，如图2所示，在这些夹钳5b与臂前端部5a之间能够拆装重量传感器7，在重量传感器7的装配状态下，减去夹钳5b的重量而仅将该夹钳5b把持的食品F的重量作为计测重量信息输出到上述重量估计部32。该计测重量信息能够在上述重量估计部32的后述学习模式中利用，并且，还能够用于判别重量方面的规格以外的食品F(在后面详细叙述)。
<本实施方式的特征>
例如，炸鸡等食品F往往是按照每个个体而成为不定形状、不定重量、且柔软，以往认为很难进行将其作为对象物而使拾取机器人5自动进行把持、抬起、移送、载置等的拾取动作。把持力的调整是其原因之一，即使针对各食品F的个体形状以适当的方向或角度进行把持，如果把持力过小，则把持的可靠性降低，相反，如果把持力过大，则损伤食品F。即，理想的是在实际把持之前适当预测各个食品F的重量，以与该预测重量对应的适当的把持力进行把持。
并且，在如果不实际把持并抬起各个食品F则无法计测其重量的情况下，会成为在向便当盒等容器的拣选作业等中大幅降低作业效率的原因。而且，设置用于该目的的重量传感器7会增大拾取系统1整体的制造成本。
与此相对，在本实施方式中，通过照相机2的光学摄像和图像识别而取得各食品个体F的形状信息，重量估计部32根据该形状信息来估计该食品个体F的重量。由此，能够迅速地估计把持以前的载置状态的食品F的重量，作业计划部33能够根据该重量适当地控制夹钳5b的把持力。
当然，在拾取系统1中，为了把持食品F，不可或缺地具有检测其位置、形状和姿态的照相机或激光扫描仪等光学设备。针对由它们取得的图像信息，通过软件处理来实现重量估计部32，由此，在实际的拾取作业时不需要装配重量传感器7，能够抑制标准的制造成本的增大。并且，即使不在物理上把持并抬起各个食品F，也能够通过上述的光学感测而迅速地估计其重量，所以，在向容器的拣选作业等中，也能够大幅提高作业效率。下面，依次对实现这种功能所需要的各处理进行说明。
<个体识别处理>
图3示出从上方观察容器6时的其内部的多个食品F的装载状态的一例，图4示出从侧方透视容器6时的其内部的多个食品F的装载状态的一例。图3所示的图像直接相当于上述照相机2拍摄的图像信息，与拾取机器人5的动作坐标(图中的XYZ坐标)匹配。
以削减该拾取系统1整体的作业空间为目的，这样地以重叠装载在容器6等装载容器的内部的形式供给炸鸡等食品F，而不是利用带式运输机。在该情况下，针对埋没在下方的食品F，很难进行基于上述光学感测的准确形状信息的取得和重量估计。因此，在本实施方式中，个体识别部31针对重叠装载的状态下的多个食品F中的、判定为能够由拾取机器人5进行拾取动作(能够把持、移送)的食品F，即，视为能够通过光学感测而掌握各自的整体形状并进行重量估计的露出的食品F，选择性地识别这些个体。图5与上述图3的图像信息对应地示出仅对能够进行把持/重量估计的食品F进行个体识别的状态，在图示的例子中，涂黑示出这些识别出的各食品个体F(在图示的例子中合计18个)。
个体识别部31生成与这些个体识别后的各食品F各自在坐标中的位置和姿态(即配置)有关的信息作为上述配置信息，并且，生成包含各自的大小在内的与形状有关的信息作为上述形状信息。通过公知的图像识别来进行这种个体识别部31的个体识别处理即可，这里省略详细说明。作为其例子，具体而言，如图所示，生成个体识别后的各食品F的涂黑部分的图像信息(二维的二值像素串)作为形状信息。
<重量估计处理>
针对如上所述识别出的各食品个体F，如图6所示，重量估计部32估计各自的重量。在本实施方式的例子中，对个体识别后的各食品F赋予识别编号(1～18)，以利用4个重量范围对各自的重量进行分类的方式进行重量判定。在该例子中，利用相当于每一个为70g以上的重量范围A、相当于60g～70g的重量范围B、相当于50g～60g的重量范围C、相当于40g～59g的重量范围D、相当于小于40g的重量范围E这5个重量范围A～E进行区分。
如上所述，重量估计部32通过使用人工神经网络的机器学习，进行与各食品个体F的形状信息对应的重量的估计处理。例如，如图7所示的模型图那样，本实施方式的例子中的该人工神经网络被设计成，根据作为食品个体F的形状信息而输入的二维的二值像素串的图像信息，对该食品个体F的重量对应于5个重量范围A～E中的哪个重量范围进行聚类并输出。
这种人工神经网络需要事前针对作为估计对象的食品F(该例子的炸鸡)学习所输入的形状信息与应该输出的重量范围之间的对应关系。在与实际进行重量估计的后述执行模式不同的、在上述重量传感器7的装配状态下进行的学习模式中，对将人工神经网络中的各节点彼此起来的边缘的权重系数进行调整，由此进行该学习。具体而言，根据将个体识别后的食品F的形状信息作为输入数据、将与拾取机器人5对该食品F进行拾取动作时由重量传感器7计测出的重量对应的重量范围A～E作为输出数据的组合的示教数据，进行各权重系数的调整。由此，重量估计部32的人工神经网络能够学习表示食品个体F的形状信息与重量范围之间的相关性的特征量。
图8示出在该学习模式中由上位控制装置3的CPU 901(参照后述的图13)执行的处理步骤。在拾取机器人5装配了重量传感器7的状态下，例如从未图示的操作部输入指令以执行学习模式，由此开始进行该流程所示的处理。
首先，在步骤S5中，CPU 901从照相机2取得图像信息。
接着，转移到步骤S10，CPU 901通过基于上述步骤S5中取得的图像信息的图像识别，识别独立的各个食品个体F的区分。
接着，转移到步骤S15，CPU 901将上述步骤S10中识别出的各食品个体F中的、该食品个体F的上方未重叠其它食品个体F、且能够掌握其整体形状而进行重量估计的露出的食品个体F识别为夹钳5b能够通过夹持动作进行把持的食品个体F。
接着，转移到步骤S20，CPU 901生成上述步骤S15中识别出的各食品个体F各自的形状信息。另外，照相机2和上述步骤S5～S20的步骤相当于各权利要求记载的形状取得部。
接着，转移到步骤S25，CPU 901对机器人控制器4输出作业指令，以使得把持并抬起上述步骤S15中识别出的食品个体F中的一个。另外，该作业计划在后面详细叙述。
接着，转移到步骤S30，CPU 901在通过上述步骤S25把持并抬起食品F的状态下，取得重量传感器7计测出的该食品F的实际重量作为计测重量信息。
接着，转移到步骤S35，CPU 901将所把持的食品F载置在规定的载置场所(图示省略)。
接着，转移到步骤S40，CPU 901判定是否针对上述步骤S15中识别出的全部食品个体F取得了计测重量信息。在存在还未取得计测重量信息的食品个体F的情况下，判定不满足条件，返回上述步骤S25，反复进行同样的步骤。
另一方面，在针对全部食品个体F取得了计测重量信息的情况下，判定满足条件，转移到步骤S45。
在步骤S45中，CPU 901根据组合了上述步骤S20中生成的形状信息以及上述步骤S30中取得的计测重量信息所对应的信息的示教数据，对人工神经网络的各权重系数进行调整，即进行学习。
接着，转移到步骤S50，CPU 901判定是否针对装载在容器6内的全部食品F取得示教数据并结束了学习。在容器6内还残留有食品F的情况下，判定不满足条件，返回上述步骤S5，反复进行同样的步骤。
另一方面，在容器6内未残留食品F的情况下，判定满足条件，结束该流程。
<作业计划处理>
在如上那样完成了重量估计部32的学习的情况下，能够进行执行模式，该执行模式是以将装载在容器6内的食品F拣选到多个目标容器内的方式进行拾取作业的模式。在该执行模式中，在从拾取机器人5取下重量传感器7的状态下，个体识别部31和重量估计部32仅根据从照相机2取得的图像信息进行食品F的个体识别，将各自的配置信息、形状信息和估计重量信息输出到作业计划部33。
在本实施方式的例子的拣选作业中，如图9所示，在容器6的附近并列配置有多个目标容器I、II(例如各便当盒中的食品F的收纳部分；参照图中的斜线部)和规格外用容器IR。然后，作业计划部33计划如下的作业：从容器6内移送食品F，在各目标容器I、II内收纳4个或5个食品F，以使各自的合计重量处于210g～290g内的方式进行拣选。在图示的例子中，针对目标容器I，计划拣选相当于重量范围C的第3、4、6、7个食品F和相当于重量范围D的第9个食品F的作业。并且，针对目标容器II，计划拣选相当于重量范围B的第1个食品F和相当于重量范围C的第8、10、11个食品F的作业。基于该作业计划部33的拣选作业的计划(即每个目标容器的拣选分配计划)没有特别详细说明，但是，应用公知的重量分配的均匀化运算方法即可。
并且，针对相当于重量范围A的第5、17个食品F，视为重量过大的规格外个体，并且，针对相当于重量范围E的第2、12个食品F，视为重量过小的规格外个体，计划将其分别移送到规格外容器IR。由此，针对在重量方面处于规格外的食品F，能够以其它用途再次利用。
然后，作业计划部33根据与作为移送对象的各食品个体F分别对应的配置信息、形状信息和估计重量信息，运算利用夹钳5b把持该食品个体F的位置、方向和把持力。并且，作业计划部33根据上述拣选作业的计划，运算夹钳5b的轨道和把持动作的时机。这些运算没有特别详细说明，但是，应用公知的形状解析、稳定性解析和把持位置姿态探索的方法即可。在执行模式中，通过进行这些运算，生成时间序列的作业指令，将其输出到机器人控制器4，由此，使拾取机器人5执行拣选作业。
图10示出在该执行模式中由上位控制装置3的CPU 901(参照后述的图13)执行的处理步骤。在从拾取机器人5取下重量传感器7的状态下，例如从未图示的操作部输入指令以执行执行模式，由此，开始进行该流程所示的处理。
首先，在步骤S105中，CPU 901从照相机2取得图像信息。
接着，转移到步骤S110，CPU 901通过基于上述步骤S105中取得的图像信息的图像识别，识别独立的各个食品个体F的区分。
接着，转移到步骤S115，CPU 901将上述步骤S110中识别出的各食品个体F中的、该食品个体F的上方未重叠其它食品个体F、且能够掌握其整体形状并进行重量估计的露出的食品个体F识别为夹钳5b能够通过夹持动作进行把持的食品个体F。此时，还生成各食品个体F的配置信息。
接着，转移到步骤S120，CPU 901生成上述步骤S115中识别出的各食品个体F各自的形状信息。另外，照相机2和上述步骤S105～S120的步骤相当于各权利要求记载的形状取得部。
接着，转移到步骤S125，CPU 901针对上述步骤S115中识别出的全部食品个体F，根据上述步骤S120中生成的形状信息进行重量估计。具体而言，按照各食品个体F，向人工神经网络输入形状信息，生成与其对应地输出的重量范围作为估计重量信息。另外，该步骤S125的步骤相当于各权利要求记载的重量估计部32(参照上述图1)。
接着，转移到步骤S130，CPU 901根据上述步骤S115中生成的配置信息、上述步骤S120中生成的形状信息和上述步骤S125中生成的估计重量信息，生成针对机器人控制器4的作业指令。具体而言，计划针对各目标容器I、II的拣选作业，运算利用夹钳5b进行把持的位置、方向和把持力，运算夹钳5b的轨道和把持动作的时机，生成基于这些运算的时间序列的作业指令。
接着，转移到步骤S135，CPU 901按照各食品个体F将作业指令输出到机器人控制器4，使拾取机器人5进行拾取动作。
接着，转移到步骤S140，CPU 901判定针对上述步骤S115中识别出的全部食品个体F的拾取动作是否结束。在存在拾取动作还未结束的食品个体F的情况下，判定不满足条件，返回上述步骤S135，反复进行同样的步骤。
另一方面，在针对个体识别后的全部食品个体F的拾取动作结束的情况下，判定满足条件，转移到步骤S145。另外，上述步骤S130～S140的步骤相当于各权利要求记载的控制部。
在步骤S145中，CPU 901判定针对装载在容器6内的全部食品F的拾取作业是否结束。在容器6内还残留有食品F的情况下，判定不满足条件，返回上述步骤S105，反复进行同样的步骤。
另一方面，在容器6内未残留食品F的情况下，判定满足条件，结束该流程。
<本实施方式的效果>
如以上说明的那样，本实施方式的拾取系统1通过光学方法取得作为拾取对象的食品F的形状信息，根据该形状信息来估计该食品F的重量。由此，能够迅速地估计把持以前的载置状态的食品F的重量，作业计划部33能够根据该重量适当地控制拾取机器人5的把持力。并且，在执行模式的执行时不需要装配重量传感器7，所以，能够抑制拾取系统1整体的制造成本的增大。并且，即使不在物理上把持并抬起各个食品F，也能够通过上述光学感测而迅速地估计其重量，所以，在向便当盒的拣选作业等中，也能够大幅提高作业效率。其结果是，能够提高针对不定形状、不定重量的对象物的拾取功能。
并且，在本实施方式中，特别是重量估计部32通过学习了所输入的对象物的形状信息与应该输出的重量之间的对应关系的机器学习来估计该对象物的重量。由此，不需要针对重量估计部32的重量估计处理进行人为的处理算法的设计和调整，能够进行高精度的重量估计。另外，作为重量估计部32中应用的机器学习，不限于本实施方式的人工神经网络(深层学习)。除此之外，也可以应用贝叶斯网络、支持向量机等基于数据挖掘的各种机器学习的方法。
并且，在本实施方式中，特别是，能够在拾取机器人5上装配重量传感器7，重量估计部32根据将食品F的形状信息作为输入数据、将重量传感器7计测出的实际的食品F的重量作为输出数据的组合的示教数据，进行机器学习(该例子的人工神经网络)的学习。由此，能够具体地实现重量估计部32中的机器学习的学习模式。另外，重量传感器7仅在学习模式时进行装配即可，在实际使重量估计部32估计重量的执行模式时，不需要装配重量传感器7。并且，学习完的机器学习的内容(调整后的内部参数值等)能够直接复制到其它未装配重量传感器7的拾取系统1的重量估计部32而使用。
另外，在上述实施方式中，在执行模式中未装配重量传感器7，但是不限于此。例如在炸鸡等食品F中，如没有肉部而仅由较大外皮构成的情况那样，有时混入其实际的计测重量远远轻于与形状信息对应的估计重量的变质物。与此相对，在执行模式中也装配重量传感器7，在其计测重量和重量估计部32的估计重量的偏差大到规定值以上的情况下，能够将该对象物视为规格外的变质物，与正常对象物进行区分而分类。由此，能够提高拾取动作的功能性。另外，将分类为规格外的对象物用于与正常对象物不同的其它用途，由此，能够削减资源的浪费。并且，通过使用彩色的图像信息作为形状信息，根据外皮与肉部的颜色差异来检测外皮的过剩/不足的异常，能够判别正常炸鸡和规格外炸鸡。该情况下，通过独立于重量估计部32而设置的变质物判别部(图示省略)中的机器学习来进行判别。
并且，在本实施方式中，特别是，拾取机器人5具有夹钳5b，该夹钳5b把持食品F作为拾取动作，作业计划部33根据由重量估计部32估计出的该食品F的估计重量信息，设定夹钳5b把持规定的食品F的把持力。由此，拾取机器人5能够借助把持动作针对食品F进行可靠的拾取动作，并且，能够以与该食品F的重量对应的适当的把持力进行把持。例如，针对重量较大的食品F，能够设定大到可支承其自重并可靠地抬起的程度的把持力，并且，针对重量较小的食品F，能够设定小到不破坏其形状的程度的把持力，即，能够以与该食品F的重量对应的充分必要的把持力适当进行把持。
并且，在本实施方式中，特别是取得重叠装载在容器6内的状态下的多个食品F中的、能够由拾取机器人5进行拾取动作的食品个体F的形状信息。由此，在功能上从重叠装载的多个食品F中能够判别可进行重量估计的食品F，提高重量估计的精度。
并且，在本实施方式中，特别是，作业计划部33对拾取机器人5进行控制，以使其针对重量估计部32估计出的估计重量信息与预先设定的重量范围对应的食品F进行拾取动作。由此，能够在向便当盒等目标容器I、II的拣选作业等中实现食品F的重量均匀化。
并且，在本实施方式中，特别是，作业计划部33对拾取机器人5进行控制，以使其针对以如下的方式选择出的食品F进行拾取动作，该方式是在便当盒的目标容器I、II内按照预先设定的载置个数范围(该例子的4个～5个)而处于预先设定的合计重量范围(该例子的250g～260g)内。由此，能够在向便当盒等的拣选作业等中实现载置在目标容器I、II内的个数的均匀化、合计重量的均匀化。
<变形例>
在上述实施方式中，取得食品F的图像信息的摄像设备是一台照相机2，但是不限于此。例如，也可以使用利用三维照相机或激光扫描仪等的其它光学感测单元，也可以根据它们取得的图像信息进行食品F的个体识别和重量估计。
在图11所示的例子中，使用由各自的摄像区域重叠的2台照相机41、42构成的所谓三维照相机43取得一个食品F的图像信息。由此，如图12的左侧所示，能够针对一个食品F取得相互具有视差的2个图像信息(分别为二维像素串)。在图12所示的例子中，重量估计部32的人工神经网络被设计成，分别输入上述2个图像信息直接作为形状信息，根据这2个形状信息估计食品F的重量。这样，通过使用三维的图像信息，食品F的重量估计的精度提高。
另外，在图示的人工神经网络的例子中，设计成输出作为对象物的食品F的重量作为一个连续值。该情况下，在人工神经网络的输出层中设置一个输出节点，该输出节点不进行基于活化函数的比较，以输入值的合计值的状态，输出连续值的重量值作为估计重量信息。作为该重量值的输出形式，除此以外，还可以设计成，将通过活化函数的比较而进行二值输出的多个输出节点作为输出层，以组合了这些输出节点的二值输出的二进制表达来输出重量值(图示省略)。并且，也可以将人工神经网络设计成通过所谓的回归问题来估计重量值(图示省略)。
并且，个体识别部31也可以设计成，根据分别由二维像素串构成的2个图像信息，另外生成作为对象物的食品F的三维模型数据(由所谓的向量数据构成的三维CAD数据等)，将其作为形状信息输入到重量估计部32的人工神经网络(图示省略)。或者，个体识别部31也可以根据2个图像信息，另外运算作为对象物的食品F的体积，重量估计部32根据该体积信息来估计食品F的重量(图示省略)。
并且，虽然没有特别图示，但是，在使用激光扫描仪作为取得食品F的图像信息的光学感测单元的情况下，例如，利用从激光扫描仪投射的扫描线来计测与食品F的表面上的各点之间的距离，取得这些距离数据的集合作为图像信息。然后，个体识别部31也可以连接构成该图像信息的各距离数据，生成并输出食品F的三维形状信息(上述三维模型数据等)。
<上位控制装置的硬件结构例>
接着，参照图13对实现由上述说明的CPU 901执行的程序实现的个体识别部31、重量估计部32和作业计划部33等的处理的上位控制装置3的硬件结构例进行说明。
如图13所示，上位控制装置3例如具有CPU 901、ROM 903、RAM 905、ASIC或FPGA等面向特定用途构建的专用集成电路907、输入装置913、输出装置915、记录装置917、驱动919、连接端口921、通信装置923。这些结构经由总线909和输入输出接口911以相互能够传递信号的方式连接。
程序例如能够预先记录在ROM 903、RAM 905、记录装置917等中。
并且，程序例如能够暂时或永久地预先记录在软盘等磁盘、各种CD、MO盘、DVD等光盘、半导体存储器等可移动的记录介质925中。这种记录介质925能够作为所谓的套装软件来提供。该情况下，这些记录介质925中记录的程序也可以由驱动919读出，经由输入输出接口911和总线909等记录在上述记录装置917中。
并且，程序例如能够预先记录在下载站点、其它计算机、其它记录装置等(未图示)中。该情况下，程序经由LAN或互联网等网络NW进行传输，通信装置923接收该程序。然后，通信装置923接收到的程序也可以经由输入输出接口911和总线909等记录在上述记录装置917中。
并且，程序例如能够预先记录在适当的外部连接设备927中。该情况下，程序也可以经由适当的连接端口921进行传输，经由输入输出接口911和总线909等记录在上述记录装置917中。
而且，CPU 901根据上述记录装置917中记录的程序执行各种处理，由此实现上述个体识别部31、重量估计部32和作业计划部33等的处理。此时，CPU 901例如可以直接从上述记录装置917中读出程序并执行，也可以暂时下载到RAM 905中来执行。进而，CPU 901例如在经由通信装置923、驱动919、连接端口921接收程序的情况下，也可以直接执行所接收到的程序而不将其记录在记录装置917中。
并且，根据需要，CPU 901例如也可以根据从鼠标、键盘、麦克风(未图示)等输入装置913输入的信号和信息进行各种处理。
而且，CPU 901例如也可以从显示装置、语音输出装置等输出装置915输出执行了上述处理的结果，进而，根据需要，CPU 901也可以经由通信装置923和连接端口921发送该处理结果，还可以将其记录在上述记录装置917或记录介质925中。
另外，在以上的说明中，在存在“垂直”、“平行”、“平面”等记载的情况下，该记载不是严格的意思。即，这些“垂直”、“平行”、“平面”容许设计上、制造上的公差、误差，是“实质上垂直”、“实质上平行”、“实质上平面”这样的意思。
并且，在以上的说明中，在外观上的尺寸、大小、形状、位置等存在“同一”、“相同”、“相等”、“不同”等记载的情况下，该记载不是严格的意思。即，这些“同一”、“相等”、“不同”容许设计上、制造上的公差、误差，是“实质上同一”、“实质上相同”、“实质上相等”、“实质上不同”这样的意思。
并且，除了以上所述内容以外，也可以适当组合利用上述实施方式和各变形例的方法。而且，虽然没有一一例示，但是，上述实施方式和各变形例能够在不脱离其主旨的范围内施加各种变更来实施。

Claims (8)

1.一种拾取系统，其特征在于，所述拾取系统具有：
形状取得部，其取得对象物的形状信息；
重量估计部，其根据所述形状取得部取得的对象物的形状信息估计该对象物的重量；
拾取机器人，其进行针对所述对象物的拾取动作；以及
控制部，其根据由所述重量估计部估计出的重量对所述拾取机器人的拾取动作进行控制。
2.根据权利要求1所述的拾取系统，其特征在于，
所述重量估计部通过学习了所输入的对象物的形状信息与应该输出的重量之间的对应关系的机器学习来估计该对象物的重量。
3.根据权利要求2所述的拾取系统，其特征在于，
所述拾取系统还具有重量传感器，该重量传感器计测由所述拾取机器人拾取的对象物的重量，
所述重量估计部根据将所述形状取得部取得的对象物的形状信息作为输入数据、将所述拾取机器人对该对象物进行拾取动作时由所述重量传感器计测出的重量作为输出数据的组合的示教数据，进行所述机器学习的学习。
4.根据权利要求3所述的拾取系统，其特征在于，
所述控制部将由所述重量估计部估计出的重量和由所述重量传感器计测出的重量之间的偏差为规定值以上的对象物分类为规格外。
5.根据权利要求1～4中的任意一项所述的拾取系统，其特征在于，
所述拾取机器人具有把持部，该把持部把持所述对象物作为所述拾取动作，
所述控制部根据由所述重量估计部估计出的规定的对象物的重量，设定所述把持部把持该对象物的把持力。
6.根据权利要求1所述的拾取系统，其特征在于，
所述形状取得部取得重叠装载在规定的装载容器的内部的状态下的多个对象物中的、能够由所述拾取机器人进行拾取动作的对象物的形状信息。
7.根据权利要求1所述的拾取系统，其特征在于，
所述控制部对所述拾取机器人进行控制，使其针对所述重量估计部估计出的重量与预先设定的重量范围对应的对象物进行拾取动作。
8.根据权利要求7所述的拾取系统，其特征在于，
所述控制部对所述拾取机器人进行控制，使其针对以如下方式选择出的对象物进行拾取动作，该方式是在规定的目标容器内按照预先设定的载置个数范围处于预先设定的合计重量范围内。
CN201710665311.3A 2016-08-17 2017-08-07 拾取系统 Pending CN107756422A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-159901 2016-08-17
JP2016159901A JP2018027581A (ja) 2016-08-17 2016-08-17 ピッキングシステム

Publications (1)

Publication Number Publication Date
CN107756422A true CN107756422A (zh) 2018-03-06

Family

ID=59366253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710665311.3A Pending CN107756422A (zh) 2016-08-17 2017-08-07 拾取系统

Country Status (4)

Country Link
US (1) US20180050451A1 (zh)
EP (1) EP3284563B1 (zh)
JP (1) JP2018027581A (zh)
CN (1) CN107756422A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108818539A (zh) * 2018-08-02 2018-11-16 安徽工程大学 一种柔性操作臂弹性振动自抗扰控制装置及方法
CN109551507A (zh) * 2019-01-15 2019-04-02 中国海洋大学 一种基于机器学习的软体机械手
CN109927031A (zh) * 2019-03-28 2019-06-25 大连理工大学 一种结合关节和笛卡尔空间六轴工业机器人路径规划方法
CN110270680A (zh) * 2019-07-31 2019-09-24 湖南镭目科技有限公司 大包自动浇钢技术系统平台
CN110813769A (zh) * 2019-11-12 2020-02-21 四川长虹电器股份有限公司 一种实现纱卷自动包装和分流的生产线及其方法
CN111216122A (zh) * 2018-11-27 2020-06-02 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN112025708A (zh) * 2020-08-31 2020-12-04 北京理工大学 利用现场工具完成敲击任务的控制系统及方法
CN112109100A (zh) * 2019-06-21 2020-12-22 株式会社石田 物品排出系统
CN112975952A (zh) * 2019-12-13 2021-06-18 丰田自动车株式会社 远程操作系统及远程操作方法
CN113664849A (zh) * 2021-02-23 2021-11-19 米其林集团总公司 配备有夹持器的用于执行拣选处理的机器人
US20220212342A1 (en) * 2013-06-14 2022-07-07 Brain Corporation Predictive robotic controller apparatus and methods

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP7044366B2 (ja) * 2017-07-25 2022-03-30 株式会社ケー・デー・イー 分配装置、盛付システム及び学習データ生成装置
JP7116901B2 (ja) * 2017-08-01 2022-08-12 オムロン株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
US11117262B2 (en) * 2017-08-01 2021-09-14 eBots Inc. Intelligent robots
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
CN108466290B (zh) * 2018-03-09 2021-02-19 苏州灵猴机器人有限公司 机器人辅助作业系统及其辅助作业方法
JP6911798B2 (ja) * 2018-03-15 2021-07-28 オムロン株式会社 ロボットの動作制御装置
EP3774197B1 (en) 2018-03-28 2024-01-24 BAE SYSTEMS plc Collaborative robot system
EP3546135A1 (en) * 2018-03-28 2019-10-02 BAE SYSTEMS plc Collaborative robot system
EP3781363B1 (en) * 2018-04-17 2023-06-07 ABB Schweiz AG Method for controlling a robot arm
SE543130C2 (en) 2018-04-22 2020-10-13 Zenrobotics Oy A waste sorting robot gripper
US11584016B2 (en) * 2018-04-24 2023-02-21 Fanuc Corporation Robot controller and system
JP6836606B2 (ja) * 2018-04-24 2021-03-03 ファナック株式会社 ロボット制御装置およびシステム
SE544741C2 (en) 2018-05-11 2022-11-01 Genie Ind Bv Waste Sorting Gantry Robot and associated method
GB201809020D0 (en) * 2018-06-01 2018-07-18 Ocado Innovation Ltd Control device and method for item verification
CN108748149B (zh) * 2018-06-04 2021-05-28 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
JP7068746B2 (ja) * 2018-08-30 2022-05-17 株式会社オプティム コンピュータシステム、物体検知方法及びプログラム
US11110603B2 (en) * 2018-10-02 2021-09-07 Toyota Research Institute, Inc. Systems and methods for naïve physics for contact and contact-awareness in robotic teleoperation
CN109514550A (zh) * 2018-10-29 2019-03-26 中国科学院合肥物质科学研究院 一种基于图像处理的机械爪控制方法和系统
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
JP7247571B2 (ja) * 2018-12-17 2023-03-29 京セラドキュメントソリューションズ株式会社 制御装置、及び学習装置
JP2020101899A (ja) * 2018-12-20 2020-07-02 積水化学工業株式会社 コンピュータプログラム、学習モデル、推定装置、収容器及びサーバ装置
JP7175808B2 (ja) * 2019-03-18 2022-11-21 株式会社東芝 ハンドリングシステムおよびロボット管理システム
KR20200116741A (ko) * 2019-04-02 2020-10-13 현대자동차주식회사 로봇의 파지 제어방법 및 제어시스템
US10583560B1 (en) * 2019-04-03 2020-03-10 Mujin, Inc. Robotic system with object identification and handling mechanism and method of operation thereof
IT201900006836A1 (it) * 2019-05-14 2020-11-14 Gilli Walter Metodo, sistema e prodotto informatico per prelevare in maniera automatica un oggetto da un gruppo di oggetti accatastati
JP7418743B2 (ja) * 2019-05-21 2024-01-22 株式会社別川製作所 対象ワークの識別移載装置及び識別移載方法
CN112116647B (zh) * 2019-06-19 2024-04-05 虹软科技股份有限公司 估重方法和估重装置
JP7018637B2 (ja) * 2019-07-08 2022-02-14 ＴｅｃｈＭａｇｉｃ株式会社 食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体
JP2021016908A (ja) * 2019-07-18 2021-02-15 京セラドキュメントソリューションズ株式会社 学習装置、ロボット制御システム及び学習制御方法
JP7342489B2 (ja) * 2019-07-24 2023-09-12 日本電気株式会社 重量推定装置、重量推定方法、および重量推定プログラム
JP7395968B2 (ja) * 2019-11-06 2023-12-12 日本電気株式会社 制御装置、制御システム、制御方法およびコンピュータプログラム
US20230017869A1 (en) * 2019-12-16 2023-01-19 Tohoku University Grasping device, control method, and program
JP2022006841A (ja) * 2020-06-25 2022-01-13 株式会社日立製作所 ロボット制御システム
WO2022043753A2 (en) * 2020-08-27 2022-03-03 Nomagic Sp Z O. O. Automated handling systems and methods
JP2022090523A (ja) * 2020-12-07 2022-06-17 東急建設株式会社 ロボットハンド、ロボットアーム及び制御システム
FR3120069B1 (fr) * 2021-02-23 2023-02-10 Michelin & Cie Cellule Automatisée pour Gestion des Caisses Réalisée pendant un Procédé de Dévracage des Pains de Gomme
JP2022179118A (ja) * 2021-05-21 2022-12-02 株式会社Preferred Networks 把持推定装置、モデル生成方法、モデル学習装置、及びグリッパ
WO2023014911A2 (en) * 2021-08-04 2023-02-09 Chef Robotics, Inc. System and/or method for robotic foodstuff assembly
KR102473296B1 (ko) * 2021-08-17 2022-12-02 박광중 픽앤플레이스 모니터링 방법, 그의 제어 장치 및 시스템
JP2023137647A (ja) * 2022-03-18 2023-09-29 ＴｅｃｈＭａｇｉｃ株式会社 食品取分け装置およびプログラム
GB2617356A (en) * 2022-04-05 2023-10-11 Brandenburg Ip Ltd A foodstuff gripper for gripping food items using a needle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1817959A1 (fr) * 2006-02-10 2007-08-15 Patisserie Pasquier Ouest Procédé et installation de garnissage d'un produit patissier avec des lamelles de fruits
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
KR20090049487A (ko) * 2007-11-13 2009-05-18 성균관대학교산학협력단 닭도체의 품질등급 자동 판정 및 중량 산출시스템
US20110166696A1 (en) * 2008-09-30 2011-07-07 Arbor S.A. Method of treating objects according to their individual weights
US20130006423A1 (en) * 2011-06-28 2013-01-03 Canon Kabushiki Kaisha Target object gripping apparatus, method for controlling the same and storage medium
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN105066885A (zh) * 2015-07-11 2015-11-18 浙江大学宁波理工学院 一种鱼体尺寸和重量快速采集装置以及采集方法
CN105307621A (zh) * 2013-09-19 2016-02-03 株式会社汤山制作所 混注装置和混注方法
CN105522584A (zh) * 2016-01-28 2016-04-27 先驱智能机械（深圳）有限公司 控制方法、控制装置及柔性机械手系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056080B2 (ja) * 2006-01-13 2008-03-05 松下電器産業株式会社 ロボットアームの制御装置
JP2008034317A (ja) * 2006-07-31 2008-02-14 Hitachi Displays Ltd 画像表示装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
US8874265B2 (en) * 2012-08-27 2014-10-28 International Business Machines Corporation Robot-based material removal in unstable static equilibrium system
JP6425408B2 (ja) 2014-04-21 2018-11-21 キヤノン株式会社 ロボットハンドの制御方法、ロボットハンド、プログラム及び記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1817959A1 (fr) * 2006-02-10 2007-08-15 Patisserie Pasquier Ouest Procédé et installation de garnissage d'un produit patissier avec des lamelles de fruits
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
KR20090049487A (ko) * 2007-11-13 2009-05-18 성균관대학교산학협력단 닭도체의 품질등급 자동 판정 및 중량 산출시스템
US20110166696A1 (en) * 2008-09-30 2011-07-07 Arbor S.A. Method of treating objects according to their individual weights
US20130006423A1 (en) * 2011-06-28 2013-01-03 Canon Kabushiki Kaisha Target object gripping apparatus, method for controlling the same and storage medium
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN105307621A (zh) * 2013-09-19 2016-02-03 株式会社汤山制作所 混注装置和混注方法
CN105066885A (zh) * 2015-07-11 2015-11-18 浙江大学宁波理工学院 一种鱼体尺寸和重量快速采集装置以及采集方法
CN105522584A (zh) * 2016-01-28 2016-04-27 先驱智能机械（深圳）有限公司 控制方法、控制装置及柔性机械手系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220212342A1 (en) * 2013-06-14 2022-07-07 Brain Corporation Predictive robotic controller apparatus and methods
CN108818539A (zh) * 2018-08-02 2018-11-16 安徽工程大学 一种柔性操作臂弹性振动自抗扰控制装置及方法
CN108818539B (zh) * 2018-08-02 2021-03-26 安徽工程大学 一种柔性操作臂弹性振动自抗扰控制装置及方法
CN111216122A (zh) * 2018-11-27 2020-06-02 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN111216122B (zh) * 2018-11-27 2022-10-25 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN109551507A (zh) * 2019-01-15 2019-04-02 中国海洋大学 一种基于机器学习的软体机械手
CN109927031A (zh) * 2019-03-28 2019-06-25 大连理工大学 一种结合关节和笛卡尔空间六轴工业机器人路径规划方法
CN112109100B (zh) * 2019-06-21 2023-12-12 株式会社石田 物品排出系统
CN112109100A (zh) * 2019-06-21 2020-12-22 株式会社石田 物品排出系统
CN110270680A (zh) * 2019-07-31 2019-09-24 湖南镭目科技有限公司 大包自动浇钢技术系统平台
CN110813769A (zh) * 2019-11-12 2020-02-21 四川长虹电器股份有限公司 一种实现纱卷自动包装和分流的生产线及其方法
CN110813769B (zh) * 2019-11-12 2021-11-16 四川长虹电器股份有限公司 一种实现纱卷自动包装和分流的生产线及其方法
CN112975952A (zh) * 2019-12-13 2021-06-18 丰田自动车株式会社 远程操作系统及远程操作方法
CN112025708B (zh) * 2020-08-31 2021-09-21 北京理工大学 利用现场工具完成敲击任务的控制系统及方法
CN112025708A (zh) * 2020-08-31 2020-12-04 北京理工大学 利用现场工具完成敲击任务的控制系统及方法
CN113664849A (zh) * 2021-02-23 2021-11-19 米其林集团总公司 配备有夹持器的用于执行拣选处理的机器人

Also Published As

Publication number Publication date
EP3284563B1 (en) 2022-04-20
EP3284563A3 (en) 2018-02-28
US20180050451A1 (en) 2018-02-22
JP2018027581A (ja) 2018-02-22
EP3284563A2 (en) 2018-02-21

Similar Documents

Publication Publication Date Title
CN107756422A (zh) 拾取系统
US10755437B2 (en) Information processing device, image recognition method and non-transitory computer readable medium
US11845194B2 (en) Robot system and workpiece picking method
US11276194B2 (en) Learning dataset creation method and device
CN110088797B (zh) 工业设备图像识别处理器及控制器
CN101370624B (zh) 自动化攫握零件的方法和系统
JP6931457B2 (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
CN112132523B (zh) 一种货物数量确定方法、系统和装置
KR20220066899A (ko) 삼차원 측정에서 에러의 검출을 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체
Vicente et al. Towards markerless visual servoing of grasping tasks for humanoid robots
Dyrstad et al. Teaching a robot to grasp real fish by imitation learning from a human supervisor in virtual reality
US20210129319A1 (en) Controller, control method, and computer program product
JP2022549281A (ja) 口腔内測定値をレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体
Yang et al. Automation of SME production with a Cobot system powered by learning-based vision
CN113160313A (zh) 一种透明物体抓取控制方法、装置、终端及存储介质
JP7378934B2 (ja) 情報処理装置、情報処理方法及びシステム
Fröhlig et al. Three-dimensional pose estimation of deformable linear object tips based on a low-cost, two-dimensional sensor setup and AI-based evaluation
CN116175542A (zh) 抓取控制方法、装置、电子设备和存储介质
US10931867B2 (en) Image processing apparatus, robot and robot system
JP7349586B1 (ja) ロボット制御システム、ロボット制御方法、およびロボット制御プログラム
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
EP4141780A1 (en) Method and device for generating training data to generate synthetic real-world-like raw depth maps for the training of domain-specific models for logistics and manufacturing tasks
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
Brandão Intelligent 3D Vision System for Robotic System integration
JP2021070117A (ja) 情報処理装置、情報処理方法、プログラム、システム及び物品の製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306