CN109807882B - 把持系统、学习装置和把持方法 - Google Patents

把持系统、学习装置和把持方法 Download PDF

Info

Publication number
CN109807882B
CN109807882B CN201811364672.5A CN201811364672A CN109807882B CN 109807882 B CN109807882 B CN 109807882B CN 201811364672 A CN201811364672 A CN 201811364672A CN 109807882 B CN109807882 B CN 109807882B
Authority
CN
China
Prior art keywords
model
robot
workpiece
unit
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811364672.5A
Other languages
English (en)
Other versions
CN109807882A (zh
Inventor
石川将太
曾我部光司
中村启介
足立胜
佐佐木雄一
A·帕斯夸利
T·维尔莫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai Cube Inc
Yaskawa Electric Corp
Original Assignee
Ai Cube Inc
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Cube Inc, Yaskawa Electric Corp filed Critical Ai Cube Inc
Publication of CN109807882A publication Critical patent/CN109807882A/zh
Application granted granted Critical
Publication of CN109807882B publication Critical patent/CN109807882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39289—Adaptive ann controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

把持系统、学习装置和把持方法。本发明的把持系统(1)具有：手(3)，其对工件(W)进行把持；机器人(2)，其支承手(3)，对手(3)的位置和姿态中的至少一方进行变更；图像传感器(4)，其从与手(3)的位置和姿态中的至少一方联动的视点取得图像信息；构建部(700)，其根据收集数据而通过机器学习构建模型，该模型是根据图像传感器取得的图像信息、表示手(3)的位置和姿态中的至少一方的手位置信息来确定机器人(2)的动作指令的过程的至少一部分；运算部(600)，其根据图像信息、手位置信息和模型，运算机器人(2)的动作指令；机器人控制部(5)，其根据运算部(600)运算的机器人(2)的动作指令，使机器人(2)进行动作。

Description

把持系统、学习装置和把持方法
技术领域
本发明涉及把持系统、学习装置、把持方法和模型的制造方法。
背景技术
日本特开2010-069542号公报公开了利用机器人的手把持零散堆叠的多个工件的把持方法。在该方法中，通过固定配置在工件上方的距离传感器来计测工件的距离，对计测结果与工件的3DCAD模型进行对照，从而识别个别工件的三维位置和姿态。在识别出个别工件的三维位置和姿态后，开始工件的把持动作。
发明内容
本发明的目的在于，提供有利于机器人的把持动作的高效化的把持系统、把持机器人、学习装置、把持方法和模型的制造方法。
用于解决问题的手段
本发明的一个方面的把持系统具有：手，其对工件进行把持；机器人，其支承手，对手的位置和姿态中的至少一方进行变更；图像传感器，其从与手的位置和姿态中的至少一方联动的视点取得图像信息；构建部，其根据收集数据而通过机器学习来构建模型，该模型是根据图像传感器取得的图像信息、以及表示手的位置和姿态中的至少一方的手位置信息来确定机器人的动作指令的过程的至少一部分；运算部，其根据图像信息、手位置信息以及模型，运算机器人的动作指令；以及机器人控制部，其根据运算部运算出的机器人的动作指令，使机器人进行动作。
本发明的另一方面的把持系统具有：手，其对工件进行把持；机器人，其支承手，对手的位置和姿态中的至少一方进行变更；图像传感器，其从与手的位置和姿态中的至少一方联动的视点取得图像信息；运算部，其根据图像信息、表示手的位置和姿态中的至少一方的手位置信息、以及模型来运算机器人的动作指令，该模型是根据收集数据而通过机器学习构建的，是确定机器人的动作指令的过程的至少一部分；以及机器人控制部，其根据运算部运算出的机器人的动作指令，使机器人进行动作。
本发明的另一方面的学习装置具有：取得部，其取得图像信息和手位置信息，该图像信息是从与把持工件的手的位置和姿态中的至少一方联动的视点拍摄到的，该手位置信息表示手的位置和姿态中的至少一方；以及构建部，其根据收集数据而通过机器学习来构建模型，该收集数据包含取得部取得的图像信息和手位置信息，该模型是根据图像信息和手位置信息确定机器人的动作指令的过程的至少一部分。
本发明的另一方面的把持方法包含以下步骤：从与把持工件的手的位置和姿态中的至少一方联动的视点取得图像信息；根据收集数据而通过机器学习来构建模型，该模型是根据图像信息、以及表示手的位置和姿态中的至少一方的手位置信息确定机器人的动作指令的过程的至少一部分；根据图像信息、手位置信息以及模型，运算机器人的动作指令；以及根据所运算出的机器人的动作指令，使机器人进行动作。
本发明的另一方面的把持方法包含以下步骤：从与把持工件的手的位置和姿态中的至少一方联动的视点取得图像信息；根据图像信息、表示手的位置和姿态中的至少一方的手位置信息、以及模型，运算机器人的动作指令，该模型是根据收集数据而通过机器学习构建的，是确定机器人的动作指令的过程的至少一部分；以及根据所运算出的机器人的动作指令，使机器人进行动作。
本发明的另一方面的模型的制造方法包含以下步骤：取得图像信息和手位置信息，该图像信息是从与把持工件的手的位置和姿态中的至少一方联动的视点拍摄到的，该手位置信息表示手的位置和姿态中的至少一方；根据包含图像信息和手位置信息的收集数据而通过机器学习构建模型，该模型是根据图像信息和手位置信息确定机器人的动作指令的过程的至少一部分。
发明的效果
根据本发明，能够提供有利于机器人的把持动作的高效化的把持系统、学习装置、把持方法和模型的制造方法。
附图说明
图1是示出把持系统的整体结构的一例的示意图。
图2是例示动作指令装置的硬件结构的框图。
图3是例示学习装置的硬件结构的框图。
图4是示出动作指令装置的功能性结构的一例的框图。
图5是对机器人的把持动作的一例进行说明的示意图。
图6是工件W的识别结果的一例。
图7是构成模型的神经网络的一例。
图8是示出学习装置的功能性结构的一例的框图。
图9是把持步骤的流程图的一例。
图10是位置模型学习步骤的流程图的一例。
图11是把持概率模型学习步骤的流程图的一例。
图12是提取模型、指令模型和把持概率模型的学习步骤的流程图的一例。
具体实施方式
以下，参照附图对实施方式进行详细说明。在附图的说明中，对相同要素或具有相同功能的要素标注相同的标号，有时省略重复的说明。
[把持系统的结构]
图1是示出把持系统1的整体结构的一例的示意图。图1所示的把持系统1是如下系统：通过使机器人2执行把持作为把持对象的工件W的动作，从而实现加工、组装等各种作业的自动化。把持系统1进行与机器人2的把持动作有关的学习，并且根据学习结果使机器人2执行把持动作。
把持系统1具有机器人2、手3、图像传感器4、机器人控制器5(机器人控制部的一例)、动作指令装置6、学习装置7。
机器人2支承对工件W进行把持的手3，对手3的位置和姿态中的至少一方进行变更。机器人2例如是多轴(例如6轴或7轴)的串联连接(serial link)的垂直多关节机器人，构成为能够在其前端部2a支承手3的状态下执行各种作业。机器人2只要是能够在规定范围内自由地对手3的位置和姿态进行变更的机器人即可，不是必须限定为6轴的垂直多关节机器人。例如，机器人2也可以是对6轴追加了1轴的冗余轴后的7轴垂直多关节机器人。
手3是把持工件W的末端执行器。手3的一例是通过一对爪部件3a的开闭动作来把持把持对象的夹持器。手3只要具有把持功能即可，不限于具有一对爪部件的夹持器。例如，手3可以是具有3个以上的爪部件的夹持器，也可以是吸附式的末端执行器。
作为一例，机器人2从配置在桶40内的多个工件W中把持1个工件W。工件W具有各种形状和大小。工件W的一例是螺栓、螺母、电子零件等。桶40内的工件W是未排列整齐的状态(所谓的零散堆叠的状态)。工件W只要是能够把持的工件即可，不限定数量、形状、大小、排列。例如，配置在桶40内的工件W也可以是1个。配置在桶40内的多个工件W可以是同一形状，也可以混合存在形状不同的多种工件。桶40内的工件W也可以未排列整齐。工件W不限于钢体，也可以是弹性体。工件W不限于配置在桶40内的工件，也可以是配置在工作台等的工件。
图像传感器4是取得图像信息的检测器。图像传感器4例如是照相机、CCD(Charge-Coupled Device)图像传感器、CMOS(ComplementaryMOS)图像传感器等。图像传感器4取得像素值作为图像信息的一例。像素值是色调、灰度等颜色信息，例如是亮度值。
图像传感器4从与手3的位置和姿态中的至少一方联动的视点取得图像信息。视点是作为图像传感器4的摄像方向的起点的位置。与手3的位置和姿态中的至少一方联动的视点意味着根据手3的位置和姿态中的至少一方对视点进行变更。作为一例，图像传感器4被固定于手3。该情况下，图像传感器4从与手3的位置和姿态双方联动的视点取得图像信息。图像传感器4也可以固定于机器人2的臂部21的前端部2a。作为一例，图像传感器4可以配置成将手3的前端包含于图像信息。
机器人控制器5根据机器人2的动作指令使机器人2进行动作。动作指令是用于使机器人2进行动作的信息。动作指令包含与把持动作有关的信息。作为一例，动作指令是把持目标位置和目标姿态角度。把持目标位置是工件W被把持的时刻的手3的最终位置。例如，在对机器人2设定的机器人坐标系中定义把持目标位置。作为机器人坐标系的一例，可以将与配置有机器人2的配置面垂直的方向设为Z方向，将与配置面平行的方向设为X方向，将与X方向以及Z方向正交的方向设定为Y方向。此外，例如，将相对于配置面固定机器人2的点设为固定点P，也可以将固定点P设定为机器人坐标系的原点。把持目标位置可以通过相对位置来表现。机器人控制器5计算用于使手3的位置姿态与把持目标位置及目标姿态角度一致的关节角度目标值(机器人2的各关节的角度目标值)，按照该关节角度目标值使机器人2进行动作。另外，动作指令也可以不是把持目标位置。
动作指令装置6是生成上述动作指令的装置。动作指令装置6构成为能够执行以下处理：根据通过图像传感器4取得的图像信息、表示手3的位置和姿态中的至少一方的手位置信息、以及模型，对机器人2的动作指令进行运算。
模型例如是针对输入而生成输出的程序模块。作为一例，模型是根据节点和参数而确定的神经网络。模型是根据收集数据、通过机器学习而构建的对象，与确定机器人2的动作指令的过程的至少一部分对应。作为一例，确定动作指令的过程包含以下过程中的至少1个过程：根据图像信息识别工件W的识别过程；从图像信息提取与工件W对应的特征量的提取过程；根据与工件W对应的特征量和手3的位置而输出动作指令的指令输出过程；以及根据与工件W对应的特征量和动作指令而计算把持概率的把持概率计算过程。把持概率是能够把持工件W的概率。另外，作为模型的一例，可以举出神经网络，但是，也可以使用贝叶斯网络(Bayesian network)(在可靠的信息的环境下辅助用户的意愿决定的智能系统)，或者也可以使用输入输出表。
确定机器人2的动作指令的过程的至少一部分可以是提取过程。确定机器人2的动作指令的过程的至少一部分可以是指令输出过程。确定机器人2的动作指令的过程的至少一部分可以是提取过程和指令输出过程。确定机器人2的动作指令的过程的至少一部分可以是提取过程、指令输出过程、把持概率计算过程。
收集数据是在学习前预先收集的数据，是与把持动作有关的数据。作为一例，收集数据是机器人2的历史数据或用于识别工件W的学习数据。机器人2的历史数据包含图像传感器4取得的图像信息、动作指令装置6从图像信息取得的特征量、动作指令装置6输出的动作指令和把持概率、以及机器人控制器5输出的手位置信息等。手位置信息是表示手3的位置和姿态中的至少一方的信息。手位置信息只要是能够引导手3的位置和姿态的信息即可，则不限于位置坐标，可以是相对矢量，也可以是电机扭矩。
学习装置7是构建上述的模型的装置。学习装置7构成为能够执行以下处理：取得从与把持工件W的手3的位置以及姿态中的至少一方联动的视点拍摄到的图像信息、以及表示手3的位置以及姿态中的至少一方的手位置信息；根据包含图像信息和手位置信息的收集数据而通过机器学习构建模型，该模型是根据图像信息和手位置信息确定机器人2的动作指令的过程的至少一部分。
[动作指令装置的硬件结构]
图2是例示动作指令装置6的硬件结构的框图。如图2所示，动作指令装置6具有电路60，电路60具有一个或多个处理器61、存储部62、通信端口65、输入输出端口66。存储部62包含内存63和存储器64。存储器64记录有用于构成动作指令装置6的功能部的程序。存储器64只要能够由计算机读取，则可以是任意的存储器。作为具体例，可以举出硬盘、非易失性半导体存储器、磁盘和光盘等。内存63临时存储从存储器64加载的程序和处理器61的运算结果等。处理器61与内存63协作地执行程序，从而构成各功能部。
通信端口65根据来自处理器61的指令，与机器人控制器5、图像传感器4以及学习装置7之间进行电信号的输入输出。输入输出端口66根据来自处理器61的指令，与用户接口80之间进行电信号的输入输出。用户接口80包含监视器81和输入设备82。
[学习装置的硬件结构]
图3是例示学习装置7的硬件结构的框图。如图3所示，学习装置7具有电路70，电路70具有一个或多个处理器71、存储部72、通信端口75、输入输出端口76。存储部72包含内存73和存储器74。存储器74记录有用于构成学习装置7的功能部的程序。存储器74只要能够由计算机读取，则可以是任意的存储器。作为具体例，可以举出硬盘、非易失性的半导体存储器、磁盘和光盘等。内存73临时存储从存储器74加载的程序和处理器71的运算结果等。处理器71与内存73协作地执行程序，从而构成各功能部。
通信端口75根据来自处理器71的指令，与动作指令装置6之间进行电信号的输入输出。输入输出端口76根据来自处理器71的指令，与用户接口90之间进行电信号的输入输出。用户接口90包含监视器91和输入设备92。
[动作指令装置的功能性结构]
图4是示出动作指令装置6的功能性结构的一例的框图。如图4所示，动作指令装置6具有运算部600和模型取得部610。
运算部600根据图像信息、手位置信息以及模型，运算机器人2的动作指令，该模型是根据收集数据通过机器学习而构建的，是确定机器人2的动作指令的过程的至少一部分。运算部600从图像传感器4取得图像信息，从机器人控制器5取得手3的手位置信息。运算部600在机器人2的把持动作中，逐次运算动作指令。
使用图5说明运算部600进行的动作指令的逐次运算。图5是对机器人2的把持动作的一例进行说明的示意图。图5的(A)是示出把持动作开始时的机器人2的位置姿态的图。在图中，设把持动作开始时刻为0。图5的(B)是示出时刻t(0＜t＜T)的机器人2的位置姿态的图。图5的(C)是示出时刻T的机器人2的位置姿态的图。在时刻T，机器人2成为把持了工件W的把持状态。在时刻t，运算部600根据时刻t的图像信息，运算工件W被把持的时刻(时刻T)的手3的最终位置即把持目标位置。运算部600按照每个时刻t取得图像信息而运算把持目标位置。这样，运算部600按照每个时刻t逐次运算动作指令，输出到机器人控制器5。
作为一例，运算部600具有位置生成部601、决定部602、提取部603、输出部604和计算部605。运算部600不需要具有位置生成部601、决定部602、提取部603、输出部604和计算部605的全部，具有位置生成部601、决定部602、提取部603、输出部604和计算部605中的至少一个即可。
位置生成部601根据图像传感器4取得的图像信息，生成工件W的识别结果。工件W的识别结果包含工件W的位置信息。工件W的位置信息是根据图像信息而生成的图像内的工件W的位置。作为一例，工件W的识别结果包含工件W的位置和大小。工件W的位置和大小可以使用边界框(Bounding box)来表现。
图6是工件W的识别结果的一例。图6所示的图像G1是根据图像传感器4取得的图像信息而生成的图像。在图像G1中描绘了多个工件(例如第1工件W1、第2工件W2、第3工件W3)。在图像G1中显示对第1工件W1进行识别的结果即边界框350。在图像的坐标轴中，利用边界框350的左角的坐标和纵横的长度来表现第1工件W1的位置和大小。另外，在图6中，手3的前端即爪部件3a包含在图像信息中。
工件W的识别结果也可以包含工件W的种类。从预先设定的多个种类中选择1个种类作为工件W的识别结果。工件W的识别结果也可以包含把持期待度。把持期待度是表示把持的容易度的指标。位置生成部601将时刻t的图像信息作为输入，输出在时刻t在图像内描绘的全部的工件W的识别结果。即，在图像内描绘有多个工件W的情况下，位置生成部601根据图像信息生成多个工件W各自的识别结果。
位置生成部601也可以使用位置模型来生成工件W的识别结果。位置模型是确定机器人2的动作指令的过程的至少一部分。位置模型是与根据图像信息识别工件W的识别过程对应的模型。位置模型接受图像信息的输入，输出工件W的识别结果。作为一例，位置模型接受图像信息的输入，输出多个工件W的位置信息和多个工件W各自的把持期待值。位置模型存储在位置模型存储部611中。
作为一例，位置模型由神经网络构成。图7是构成模型的神经网络的一例。如图7所示，位置模型MD1由节点330的集合体构成。节点330分别与至少1个以上的节点330连接。在所连接的节点间设定权重。节点的集合体具有作为接受数据的输入的输入层331而发挥功能的集合体、作为使用权重执行运算的中间层332而发挥功能的集合体、作为输出结果的输出层333而发挥功能的集合体。输入层331具有与输入数据的数量对应的节点数。输出层333具与输出结果的内容的数量对应的节点数。中间层332是根据输入层331和输出层333的数量而适当设定的。神经网络可以具有多个中间层332。在位置模型MD1中，输入层331接受图像信息的输入，输出层333输出工件W的识别结果。
决定部602决定作为把持对象的1个工件W。作为一例，决定部602根据位置生成部601识别出的工件W的识别结果来决定把持对象。作为更具体的一例，决定部602根据位置生成部601识别出的工件W的把持期待度，来决定把持对象。例如，决定部602将多个工件中的把持期待度最高的工件决定为把持对象。
提取部603根据图像传感器4取得的图像信息和图像信息中包含的工件W的位置信息，提取与工件W对应的特征量。作为一例，作为特征量的提取对象的工件W是决定部602决定的1个工件W。作为一例，提取部603根据图像传感器4取得的图像信息以及位置生成部601识别出的工件W的位置信息，提取与工件W对应的特征量。与工件W对应的特征量是从工件W的图像信息导出的值。特征量不限于轮廓、形状、大小、颜色等人能够识别的信息。即，特征量不需要与人视觉识别的信息对应。特征量例如为时刻t的图像信息、即从时刻t的视点观察而得到的工件W的特征量。
提取部603可以根据视点不同的多个图像信息以及多个图像信息各自包含的同一工件W的位置信息，提取与工件W对应的特征量。视点不同的多个图像信息是指，至少包含从第1视点拍摄到的图像信息、以及从与第1视点不同的第2视点拍摄到的图像信息在内的多个图像信息。从第1视点拍摄到的图像信息例如是在把持动作开始时(图5的(A)；时刻0)图像传感器4取得的图像信息。从第2视点拍摄到的图像信息例如是在把持动作中(图5的(B)；时刻t)图像传感器4取得的图像信息。同一工件W意味着，根据从第1视点拍摄到的图像信息而识别出的工件与根据从与第1视点不同的第2视点拍摄到的图像信息而识别出的工件是同一工件。
提取部603可以使用提取模型来提取特征量。提取模型是确定机器人2的动作指令的过程的至少一部分。提取模型是与从图像信息提取与工件W对应的特征量的提取过程对应的模型。提取模型接受图像信息和工件W的位置信息的输入，输出与工件W对应的特征量。提取模型存储在提取模型存储部613中。
作为一例，提取模型由神经网络构成。神经网络的结构与图7的位置模型MD1同样，具有输入层、中间层和输出层。在提取模型中，输入层接受图像信息和工件W的位置信息的输入，输出层输出与工件W对应的特征量。
输出部604根据从由图像传感器4取得的图像信息提取出的工件W的特征量、和手位置信息，输出机器人2的动作指令。作为一例，输出部604根据提取部603提取出的工件W的特征量和手位置信息，输出机器人2的动作指令。手位置信息是取得图像信息的时刻的手3的位置和姿态中的至少一方的信息。例如，输出部604接受时刻t的图像信息和时刻t的手位置信息作为输入。输出部604输出目标把持位置作为动作指令的一例。
输出部604可以使用指令模型输出动作指令。指令模型是确定机器人2的动作指令的过程的至少一部分。指令模型是与根据把持对象的特征量和手3的位置输出机器人2的动作指令的指令输出过程对应的模型。指令模型接受从由图像传感器4取得的图像信息提取出的工件W的特征量和手位置信息的输入，输出机器人2的动作指令。指令模型存储在指令模型存储部614中。
作为一例，指令模型由神经网络构成。神经网络的结构与图7的位置模型MD1同样，具有输入层、中间层和输出层。在指令模型中，输入层接受从由图像传感器4取得的图像信息提取出的工件W的特征量和手位置信息的输入，输出层输出机器人2的动作指令。
在手3是夹持器的情况下，也可以是，指令模型除了接受工件W的特征量和手位置信息以外，还接受夹持器的开闭度的输入，除了输出动作指令以外，还输出夹持器的目标开闭度。目标开闭度是夹持器的爪部件3a的间隔的目标值。该情况下，输出部604使用指令模型，根据工件W的特征量、手位置信息和开闭度，输出动作指令和目标开闭度。机器人控制器5根据目标开闭度而使夹持器进行动作。
计算部605根据机器人2的动作指令和与工件W对应的特征量，计算表示能够用手3把持的概率的把持概率。作为一例，计算部605根据输出部604输出的机器人2的动作指令和提取部603提取出的与工件W对应的特征量，计算表示能够用手3把持的概率的把持概率。
计算部605可以使用把持概率计算模型来输出把持概率。把持概率计算模型是确定机器人2的动作指令的过程的至少一部分。把持概率计算模型是与把持概率计算过程对应的模型，把持概率计算过程是根据与工件W对应的特征量和机器人2的动作指令计算把持概率的过程。把持概率计算模型接受与工件W对应的特征量和机器人2的动作指令的输入，输出把持概率。把持概率计算模型存储在把持概率模型存储部615中。
作为一例，把持概率计算模型由神经网络构成。神经网络的结构与图7的位置模型MD1同样，具有输入层、中间层和输出层。在把持概率计算模型中，输入层接受与工件W对应的特征量和机器人2的动作指令的输入，输出层输出把持概率。
运算部600将在确定机器人2的动作指令的过程中计算出的数据作为历史数据而输出到历史存储部620。历史数据例如包含输出部604取得手位置信息的时刻、位置生成部601从图像传感器4取得的图像信息、位置生成部601生成的工件W的位置、提取部603提取的工件W的特征量、输出部604生成的动作指令、计算部605计算出的把持概率、把持成功与否等。历史数据构成为能够由学习装置7进行参照。
作为一例，历史存储部620中存储的把持概率用于判定是否重新进行机器人2的把持动作。例如，输出部604判定把持概率是增大趋势还是减小趋势，在减小趋势的情况下，输出重新进行机器人2的把持动作的动作指令。作为一例，输出部604输出如下的动作指令，该动作指令使机器人2进行动作，以返回至规定时间前的手3的位置。由此，机器人控制器5根据计算部605计算出的把持概率而使机器人2进行动作。
把持概率可以用作如下的参数，该参数用于供机器人控制器5判定是否使手3接近工件W。例如，可以是，机器人控制器5在把持概率为预先设定的阈值以上的情况下，使机器人2进行把持动作，在把持概率小于阈值的情况下，再次使提取部603执行与工件W对应的特征量的提取、并且使输出部604执行机器人2的动作指令的输出。作为一例，也可以是，机器人控制器5使手3的位置以从工件W远离的方式移动规定距离，再次执行提取部603进行的与工件W对应的特征量的提取、以及输出部604进行的机器人2的动作指令的输出。或者，作为一例，也可以是，机器人控制器5在经过了学习装置7学习的神经网络的权重的更新时刻后，重新使提取部603执行与工件W对应的特征量的提取、并使输出部604执行机器人2的动作指令的输出。
模型取得部610从学习装置7取得学习结果。模型取得部610取得位置模型、提取模型、指令模型、把持概率计算模型的网络结构和权重数据作为学习结果。模型取得部610将所取得的位置模型存储到位置模型存储部611中。模型取得部610将所取得的提取模型存储到提取模型存储部613中。模型取得部610将所取得的指令模型存储到指令模型存储部614中。模型取得部610将所取得的把持概率计算模型存储到把持概率模型存储部615中。
[学习装置的功能的结构]
图8是示出学习装置7的功能性结构的一例的框图。如图8所示，学习装置7具有取得部720和构建部700。
取得部720从动作指令装置6的历史存储部620取得历史数据。作为一例，取得部720取得包含图像信息和手位置信息的收集数据，该图像信息是从与把持工件W的手3的位置以及姿态中的至少一方联动的视点拍摄到的，该手位置信息表示手3的位置以及姿态中的至少一方。取得部720将历史数据作为收集数据存储到历史数据存储部722中。
收集数据不限于从动作指令装置6取得的数据，也可以从其他设备取得。例如，在把持系统1至少具有机器人2、手3、运算部600、机器人控制器51作为一组的情况下，取得部720也可以取得与该一组不同的组的动作历史作为收集数据。即，取得部720可以取得把持系统1所包含的其他组的动作历史作为收集数据，也可以取得其他把持系统所包含的组的动作历史作为收集数据。
构建部700根据收集数据而通过机器学习来构建模型，该模型是根据图像传感器4取得的图像信息、和表示手的位置以及姿态中的至少一方的手位置信息来确定机器人2的动作指令的过程的至少一部分。
构建部700具有位置模型构建部701、提取模型构建部703、指令模型构建部704和把持概率模型构建部705。构建部700不需要具有全部的位置模型构建部701、提取模型构建部703、指令模型构建部704和把持概率模型构建部705，只要具有位置模型构建部701、提取模型构建部703、指令模型构建部704和把持概率模型构建部705中的至少1个即可。
位置模型构建部701通过基于工件学习数据的机器学习来构建位置模型。工件学习数据是用于识别工件W的示教数据，预先存储在工件学习数据存储部721中。作为工件学习数据的一例，是将工件W的图像的图像信息与配置(profile)(例如，图像内的工件W的位置、种类和把持容易度)关联起来的数据。位置模型构建部701调整神经网络的权重，以能够根据工件W的图像的图像信息识别工件W。位置模型构建部701将所构建的位置模型存储在位置模型存储部711中。位置模型存储部711构成为能够供动作指令装置6进行参照。位置模型存储部711用于对位置模型存储部611进行更新。
把持概率模型构建部705通过基于把持概率学习数据的机器学习来构建把持概率模型。把持概率学习数据是用于计算把持概率的示教数据，预先存储在把持概率学习数据存储部723中。作为把持概率学习数据的一例，是将工件W的图像的图像信息、动作指令以及把持成功与否关联起来的数据。把持概率模型构建部705调整神经网络的权重，以使得把持概率的高低接近历史的把持成功与否。在历史数据存储部722中蓄积了能够进行学习的程度的历史数据的情况下，把持概率模型构建部705通过基于历史数据存储部722所存储的历史数据的机器学习，进一步对把持概率模型进行调整。作为把持概率模型构建部705参照的历史数据的一例，是工件W的特征量、动作指令和把持成功与否。把持概率模型构建部705根据工件W的特征量和动作指令，进一步调整神经网络的权重，以使得把持概率的高低接近历史的把持成功与否。把持概率模型构建部705将所构建的把持概率模型存储在把持概率模型存储部715中。把持概率模型存储部715构成为能够供动作指令装置6进行参照。把持概率模型存储部715用于对把持概率模型存储部615进行更新。
提取模型构建部703通过基于历史数据存储部722所存储的历史数据的机器学习来构建提取模型。提取模型构建部703在历史数据存储部722中蓄积了能够进行学习的程度的历史数据的情况下，构建提取模型。作为提取模型构建部703参照的历史数据的一例，是图像信息、工件W的位置信息、把持概率。参照的历史数据也可以代替把持概率而包含把持成功与否。提取模型构建部703根据工件W的位置信息，调整神经网络的权重，以使得能够从图形信息中提取把持概率变高的工件W的特征量。提取模型构建部703将所构建的提取模型存储在提取模型存储部713中。提取模型存储部713构成为能够供动作指令装置6进行参照。提取模型存储部713用于对提取模型存储部613进行更新。
指令模型构建部704通过基于历史数据存储部722所存储的历史数据的机器学习来构建指令模型。指令模型构建部704在历史数据存储部722中蓄积了能够进行学习的程度的历史数据的情况下，构建指令模型。作为指令模型构建部704参照的历史数据的一例，是工件W的特征量、手位置信息、动作指令和把持概率。历史数据也可以代替把持概率而包含把持成功与否。指令模型构建部704根据工件W的特征量和手位置信息调整神经网络的权重，以使得能够输出把持概率变高的动作指令。指令模型构建部704将所构建的指令模型存储在指令模型存储部714中。指令模型存储部714构成为能够供动作指令装置6进行参照。指令模型存储部714用于对指令模型存储部614进行更新。
把持系统1不限于上述的硬件结构，只要是能够发挥上述的机器人控制器5、动作指令装置6和学习装置7的功能的硬件结构，则可以是任意结构。例如，也可以是动作指令装置6和学习装置7为1个硬件资源，也可以是，机器人控制器5和动作指令装置6为1个硬件资源，也可以是，机器人控制器5和学习装置7为1个硬件资源，还可以是，机器人控制器5、动作指令装置6和学习装置7为1个硬件资源。1个硬件资源是在外观上归为一体的资源。
动作指令装置6和学习装置7的内部的硬件结构不需要按照上述每个功能性结构分离。动作指令装置6和学习装置7的硬件结构不限于通过程序的执行而发挥各功能的结构。例如，各功能部的至少一部分可以通过专用于其功能的逻辑电路来构成，也可以通过集成该逻辑电路后的ASIC(Application Specific Integrated Circuit)构成。
动作指令装置6和学习装置7的模型可以由1个神经网络构成。1个神经网络可以通过一系列的机器学习来构建。
(把持步骤)
作为把持方法的一例，对动作指令装置6执行的把持步骤进行说明。图9是把持步骤的流程图的一例。
如图9所示，首先，动作指令装置6执行步骤S10。在步骤S10中，位置生成部601从图像传感器4取得图像信息。
接着，动作指令装置6执行步骤S12。在步骤S12中，输出部604从机器人控制器5取得手位置信息。
接着，动作指令装置6执行步骤S14。在步骤S14中，位置生成部601根据通过步骤S10取得的图像信息，生成工件W的位置信息。
接着，动作指令装置6执行步骤S16。在步骤S16中，决定部602根据通过步骤S14生成的工件W的位置信息，决定1个工件W。
接着，动作指令装置6执行步骤S18。在步骤S18中，提取部603根据通过步骤S10取得的图像信息，提取通过步骤S16决定的1个工件W的特征量。
接着，动作指令装置6执行步骤S20。在步骤S20中，输出部604根据手位置信息和通过步骤S18提取的工件W的特征量，计算机器人2的动作指令。
接着，动作指令装置6执行步骤S22。在步骤S22中，输出部604将通过步骤S20计算出的动作指令输出到机器人控制器5。
接着，动作指令装置6执行步骤S24。在步骤S24中，计算部605根据通过步骤S18提取出的工件W的特征量和通过步骤S20计算出的动作指令，计算把持概率。
接着，动作指令装置6执行步骤S26。在步骤S26中，输出部604判定通过步骤S24计算出的把持概率是否是减小趋势。
在步骤S26中判定为通过步骤S24计算出的把持概率是减小趋势的情况下，动作指令装置6执行步骤S28。在步骤S28中，输出部604输出动作指令，以返回至规定时间前的手3的位置。
在步骤S26中判定为通过步骤S24计算出的把持概率不是减小趋势的情况下以及步骤S28结束的情况下，动作指令装置6结束处理。
在图9中，步骤S10只要在步骤S14之前的时刻执行即可，也可以在步骤S12与步骤S14之间执行。步骤S12可以在步骤S20之前的任意时刻进行。步骤S22也可以在步骤S24之后执行。该情况下，也可以是，不实施步骤S26和步骤S28，在通过步骤S24计算出的把持概率为预先设定的阈值以上的情况下执行步骤S22，在把持概率小于阈值的情况下，从步骤S14、步骤S16或步骤S18起再次执行处理。
(位置模型学习步骤)
作为学习方法的一例，对学习装置7执行的位置模型学习步骤(模型的制造方法的一例)进行说明。图10是位置模型学习步骤的流程图的一例。
如图10所示，首先，学习装置7执行步骤S30。在步骤S30中，位置模型构建部701从工件学习数据存储部721读入工件学习数据。
接着，学习装置7执行步骤S32。在步骤S32中，位置模型构建部701构建位置模型。位置模型构建部701调整神经网络的权重，以能够根据工件W的图像的图像信息识别工件W。位置模型构建部701将学习结果存储到位置模型存储部711中。
在步骤S32结束的情况下，学习装置7结束处理。
(把持概率模型学习步骤)
作为学习方法的一例，对学习装置7执行的把持概率模型学习步骤(模型的制造方法的一例)进行说明。图11是把持概率模型学习步骤的流程图的一例。
如图11所示，首先，学习装置7执行步骤S40。在步骤S40中，把持概率模型构建部705从把持概率学习数据存储部723读入把持概率学习数据。把持概率学习数据的一例是图像信息、动作指令和把持成功与否。
接着，学习装置7执行步骤S42。在步骤S42中，把持概率模型构建部705构建把持概率模型。把持概率模型构建部705根据图像信息、动作指令和把持成功与否来调整神经网络的权重，以使得把持概率的高低接近历史的把持成功与否。把持概率模型构建部705将学习结果存储到把持概率模型存储部715中。
在步骤S42结束的情况下，学习装置7结束处理。
(提取模型、指令模型、把持概率模型的学习步骤)
作为学习方法的一例，对学习装置7执行的提取模型、指令模型、把持概率模型的学习步骤(模型的制造方法的一例)进行说明。图12是提取模型、指令模型、把持概率模型的学习步骤的流程图的一例。
如图12所示，首先，学习装置7执行步骤S50。在步骤S50中，提取模型构建部703、指令模型构建部704和把持概率模型构建部705分别判定是否在历史数据存储部722中蓄积了能够进行学习的程度的历史数据(规定量的数据)。在提取模型构建部703、指令模型构建部704和把持概率模型构建部705一体地进行学习的情况下，作为一例，提取模型构建部703判定是否在历史数据存储部722中蓄积了能够进行学习的程度的历史数据(规定量的数据)。
在步骤S50中判定为在历史数据存储部722中蓄积了能够进行学习的程度的历史数据(规定量的数据)的情况下，学习装置7执行步骤S52。在步骤S52中，提取模型构建部703、指令模型构建部704和把持概率模型构建部705分别读入历史数据。例如，提取模型构建部703读入作为历史数据的工件W的位置信息、图像信息、把持概率。例如，指令模型构建部704读入工件W的特征量、手位置信息、把持概率的历史数据。把持概率模型构建部705读入工件W的特征量、动作指令、把持成功与否。
接着，学习装置7执行步骤S54。在步骤S54中，提取模型构建部703构建提取模型。提取模型构建部703根据图像信息、工件的位置信息和把持概率，调整神经网络的权重，以使得能够根据图像信息提取把持概率变高的工件W的特征量。提取模型构建部703将学习结果存储到提取模型存储部713。
接着，学习装置7执行步骤S56。在步骤S56中，指令模型构建部704构建指令模型。指令模型构建部704根据工件的特征量、手位置信息和把持概率，调整神经网络的权重，以使得能够输出把持概率变高的动作指令。指令模型构建部704将学习结果存储到指令模型存储部714。
接着，学习装置7执行步骤S58。在步骤S58中，把持概率模型构建部705构建把持概率模型。把持概率模型构建部705根据工件W的特征量和动作指令，进一步调整神经网络的权重，以使得把持概率的高低接近历史的把持成功与否。把持概率模型构建部705将所构建的把持概率模型存储到把持概率模型存储部715中。
在步骤S50中判定为在历史数据存储部722中未蓄积能够进行学习的程度的历史数据(规定量的数据)的情况下，或者在步骤S58结束的情况下，学习装置7结束处理。
在上述的步骤S52～S58中，提取模型构建部703、指令模型构建部704和把持概率模型构建部705也可以一体地进行学习。该情况下，作为一例，由提取模型构建部703读入工件W的位置信息、图像信息、手位置信息、把持概率、把持成功与否。然后，将提取模型构建部703、指令模型构建部704和把持概率模型构建部705作为1个神经网络，通过一系列的机器学习而进行学习。这样，也可以组合提取模型、指令模型和把持概率模型而进行学习。
[实施方式的效果]
如以上说明的那样，把持系统1具有：手3，其对工件W进行把持；机器人2，其支承手3，对手3的位置和姿态中的至少一方进行变更；图像传感器4，其从与手3的位置和姿态中的至少一方联动的视点取得图像信息；构建部700，其根据收集数据而通过机器学习来构建模型，该模型是根据图像传感器4取得的图像信息以及表示手3的位置和姿态中的至少一方的手位置信息来确定机器人2的动作指令的过程的至少一部分；运算部600，其根据图像信息、手位置信息以及模型，运算机器人2的动作指令；以及机器人控制器5，其根据运算部600运算出的机器人2的动作指令，使机器人2进行动作。
通过基于构建部700的机器学习，根据从与手3联动的视点取得的图像信息和手3的位置来构建模型，从模型输出动作指令。通过基于从与手3的位置和姿态中的至少一方联动的视点取得的图像信息进行的机器学习，得到动作指令，因此，不需要具有距离传感器和3DCAD模型，不需要距离传感器的检测结果与3DCAD模型之间的对照处理。此外，通过进行机器学习，不需要作业员的示教。因此，该把持系统1有利于机器人的把持动作的高效化。
运算部600也可以具有提取部603和输出部604，该提取部603根据图像信息和图像信息中包含的工件W的位置信息，提取与工件W对应的特征量，该输出部604根据提取部603提取出的特征量和手位置信息，输出机器人2的动作指令。该情况下，提取部603能够根据图像信息和工件W的位置信息提取特征量，并且能够根据该提取特征量和手位置信息输出机器人2的动作指令，因此，学习效率提高，把持的成功概率也提高。
提取部603也可以根据视点不同的多个图像信息和多个图像信息各自包含的同一工件W的位置信息，提取与工件W对应的特征量。该情况下，通过使用视点不同的图像中包含的工件W的位置，能够更准确地提取特征量，进而能够输出更准确的动作指令。
构建部700具有：提取模型构建部703，其根据收集数据而通过机器学习来构建提取模型，该提取模型接受图像信息和位置信息的输入，输出特征量；以及指令模型构建部704，其根据收集数据而通过机器学习来构建指令模型，该指令模型接受特征量和手位置信息的输入，输出动作指令，提取部603使用提取模型提取特征量，输出部604使用指令模型输出动作指令。该情况下，能够自动地提取把持对象的特征量，并决定对把持对象进行把持的动作。特别地，通过该2个模型的组合，可提高动作指令的精度。
也可以是，手3是夹持器，指令模型构建部704构建如下的指令模型，该指令模型除了接受特征量和手位置信息的输入以外，还接受夹持器的开闭度的输入，除了输出动作指令以外，还输出夹持器的目标开闭度，输出部604使用指令模型，根据特征量、手位置信息和开闭度而输出动作指令和目标开闭度，机器人控制器5根据目标开闭度使夹持器进行动作。该情况下，能够输出适于把持对象的夹持器开闭度。
图像传感器4也可以配置成将手3的前端包含于图像信息。该情况下，能够根据图像信息识别手3的前端形状而进行机器学习。因此，能够进一步提高把持精度。特别地，在手3是夹持器的情况下，夹持器开闭的准确性也提高。
也可以是，运算部600还具有计算部，该计算部根据机器人2的动作指令和与工件W对应的特征量，计算表示能够用手把持的概率的把持概率，机器人控制器5根据计算部605计算出的把持概率，使机器人2进行动作。该情况下，能够根据把持概率而使机器人进行动作。此时，通过使用特征量，能够提高把持概率的精度。
也可以是，构建部700还具有把持概率模型构建部705，该把持概率模型构建部705根据收集数据而通过机器学习来构建把持概率模型，该把持概率模型接受机器人2的动作指令和与工件W对应的特征量的输入，输出把持概率，计算部605使用把持概率模型计算把持概率。该情况下，能够通过机器学习自动地取得基于所决定的动作的把持概率。
也可以是，机器人控制器5在把持概率为预先设定的阈值以上的情况下，使机器人2进行把持动作，在把持概率小于阈值的情况下，再次使提取部执行与工件对应的特征量的提取、并且使输出部604执行机器人的动作指令的输出。该情况下，能够降低把持失败的概率。
也可以是，运算部600还具有：位置生成部601，其根据图像传感器4取得的图像信息，生成多个工件W的位置信息和多个工件各自的把持期待度；决定部602，其根据把持期待度决定作为把持对象的1个工件，提取部603根据图像信息和1个工件的位置信息，提取与该1个工件对应的特征量。通过使用把持期待度，能够考虑把持容易度来决定把持对象。结果是能够提高把持的成功概率。
也可以是，构建部700还具有位置模型构建部701，该位置模型构建部701根据收集数据而通过机器学习来构建位置模型，该位置模型接受图像信息的输入，输出多个工件的位置信息和多个工件各自的把持期待值，位置生成部601使用位置模型生成位置信息和把持期待值。该情况下，能够通过机器学习自动地取得各工件的把持期待值。
也可以是，至少具有机器人2、手3、运算部600和机器人控制器5作为一组，构建部将收集与一组不同的组的动作历史得到的数据作为收集数据，根据收集数据，通过机器学习来构建模型，一组的运算部600根据模型运算一组的机器人2的动作指令。该情况下，由于能够沿用从其他机器人得到的学习结果，因此，能够提高学习结果的可移植性。
以上对实施方式进行了说明，但是，本发明不是必须限于上述的实施方式，可以在不脱离其主旨的范围内进行各种变形。

Claims (18)

1.一种把持系统，其具有：
手，其对工件进行把持；
机器人，其支承所述手，对所述手的位置和姿态中的至少一方进行变更；
图像传感器，其从与所述手的位置和姿态中的至少一方联动的视点取得图像信息；
构建部，其根据收集数据而通过机器学习来构建提取模型和指令模型，该提取模型接受所述图像传感器取得的所述图像信息的输入，输出与所述工件对应的特征量，该指令模型接受所述提取模型输出的所述特征量、以及表示取得所述图像信息的时刻的所述手的位置和姿态中的至少一方的手位置信息的输入，输出所述机器人的动作指令；
运算部，其根据所述图像信息、所述手位置信息、所述提取模型以及所述指令模型，运算所述机器人的动作指令；以及
机器人控制部，其根据所述运算部运算出的所述机器人的动作指令，使所述机器人进行动作。
2.根据权利要求1所述的把持系统，其中，
所述运算部具有：
提取部，其使用所述提取模型根据所述图像信息以及所述图像信息中包含的所述工件的位置信息，提取与所述工件对应的特征量；以及
输出部，其根据所述提取部提取出的所述特征量、所述手位置信息以及所述指令模型，输出所述机器人的动作指令。
3.根据权利要求2所述的把持系统，其中，
所述提取部根据所述视点不同的多个所述图像信息、以及所述多个图像信息各自包含的同一所述工件的所述位置信息，提取与所述工件对应的特征量。
4.根据权利要求2或3所述的把持系统，其中，
所述构建部具有：
提取模型构建部，其根据所述收集数据而通过机器学习构建提取模型，该提取模型接受所述图像信息和所述位置信息的输入，输出所述特征量；以及
指令模型构建部，其根据所述收集数据而通过机器学习构建所述指令模型，
所述提取部使用所述提取模型提取所述特征量。
5.根据权利要求4所述的把持系统，其中，
所述手是夹持器，
所述指令模型构建部构建如下的所述指令模型，该指令模型除了接受所述特征量和所述手位置信息的输入以外，还接受所述夹持器的开闭度的输入，除了输出所述动作指令以外，还输出所述夹持器的目标开闭度，
所述输出部使用所述指令模型，根据所述特征量、所述手位置信息以及所述开闭度输出所述动作指令和所述目标开闭度，
所述机器人控制部根据所述目标开闭度使所述夹持器进行动作。
6.根据权利要求2或3所述的把持系统，其中，
所述图像传感器配置成将所述手的前端包含于所述图像信息。
7.根据权利要求2或3所述的把持系统，其中，
所述运算部还具有计算部，该计算部根据所述机器人的动作指令和与所述工件对应的特征量，计算表示能够用所述手把持的概率的把持概率，
所述机器人控制部根据所述计算部计算出的所述把持概率，使所述机器人进行动作。
8.根据权利要求7所述的把持系统，其中，
所述构建部还具有把持概率模型构建部，该把持概率模型构建部根据所述收集数据而通过机器学习构建把持概率模型，该把持概率模型接受所述机器人的动作指令和与所述工件对应的特征量的输入，输出所述把持概率，
所述计算部使用所述把持概率模型计算所述把持概率。
9.根据权利要求7所述的把持系统，其中，
所述机器人控制部在所述把持概率为预先设定的阈值以上的情况下，使所述机器人进行把持动作，
所述机器人控制部在所述把持概率小于所述阈值的情况下，再次使所述提取部执行与所述工件对应的特征量的提取、并且使所述输出部执行所述机器人的动作指令的输出。
10.根据权利要求2或3所述的把持系统，其中，
所述运算部还具有：
位置生成部，其根据所述图像传感器取得的所述图像信息，生成多个工件的位置信息和所述多个工件各自的把持期待度；以及
决定部，其根据所述把持期待度，决定作为把持对象的1个工件，
所述提取部根据所述图像信息和所述1个工件的位置信息，提取与该1个工件对应的特征量。
11.根据权利要求10所述的把持系统，其中，
所述构建部还具有位置模型构建部，该位置模型构建部根据所述收集数据而通过机器学习构建位置模型，该位置模型接受所述图像信息的输入，输出所述多个工件的位置信息和所述多个工件各自的把持期待值，
所述位置生成部使用所述位置模型生成所述位置信息和所述把持期待值。
12.根据权利要求1至3中的任意一项所述的把持系统，其中，
所述把持系统至少具有所述机器人、所述手、所述运算部和所述机器人控制部作为一组，
所述构建部将收集与所述一组不同的其他组的动作历史而得到的数据作为所述收集数据，根据所述收集数据而通过机器学习来构建所述提取模型和所述指令模型，
所述一组的所述运算部根据所述提取模型和所述指令模型运算所述一组的所述机器人的动作指令。
13.根据权利要求1至3中的任意一项所述的把持系统，其中，
所述动作指令包含表示用于把持所述工件的所述手的目标位置的信息。
14.根据权利要求2或3所述的把持系统，其中，
所述工件的位置信息包含基于所述图像信息的图像内的所述工件的位置信息。
15.根据权利要求1至3中的任意一项所述的把持系统，其中，
所述特征量包含与从所述图像信息的视点观察得到的工件的配置状态有关的值。
16.一种把持系统，其具有：
手，其对工件进行把持；
机器人，其支承所述手，对所述手的位置和姿态中的至少一方进行变更；
图像传感器，其从与所述手的位置和姿态中的至少一方联动的视点取得图像信息；
运算部，其根据所述图像传感器取得的所述图像信息、表示取得所述图像信息的时刻的所述手的位置和姿态中的至少一方的手位置信息、以及根据收集数据而通过机器学习构建的提取模型和指令模型来运算所述机器人的动作指令；以及
机器人控制部，其根据所述运算部运算出的所述机器人的动作指令，使所述机器人进行动作，
其中，所述提取模型通过所述机器学习构建为接受所述图像传感器取得的所述图像信息的输入，输出与所述工件对应的特征量，所述指令模型通过所述机器学习构建为接受所述提取模型输出的所述特征量、以及所述手位置信息的输入，输出所述机器人的动作指令。
17.一种学习装置，其具有：
取得部，其取得图像信息和手位置信息，该图像信息是从与把持工件的手的位置和姿态中的至少一方联动的视点拍摄到的，该手位置信息表示取得所述图像信息的时刻的所述手的位置和姿态中的至少一方；以及
构建部，其根据收集数据而通过机器学习来构建提取模型和指令模型，该收集数据包含所述取得部取得的所述图像信息和所述手位置信息，该提取模型接受所述图像信息的输入，输出与所述工件对应的特征量，该指令模型接受所述提取模型输出的所述特征量和所述手位置信息的输入，输出机器人的动作指令。
18.一种把持方法，包含以下步骤：
从与把持工件的手的位置和姿态中的至少一方联动的视点取得图像信息；
根据所述图像信息、表示取得所述图像信息的时刻的所述手的位置和姿态中的至少一方的手位置信息、以及根据收集数据而通过机器学习构建的提取模型和指令模型，运算机器人的动作指令；以及
根据所运算出的所述机器人的动作指令，使所述机器人进行动作，
其中，所述提取模型通过所述机器学习构建为接受所述图像信息的输入，输出与所述工件对应的特征量，所述指令模型通过所述机器学习构建为接受所述提取模型输出的所述特征量、以及所述手位置信息的输入，输出所述机器人的动作指令。
CN201811364672.5A 2017-11-20 2018-11-16 把持系统、学习装置和把持方法 Active CN109807882B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-223053 2017-11-20
JP2017223053A JP6676030B2 (ja) 2017-11-20 2017-11-20 把持システム、学習装置、把持方法、及び、モデルの製造方法

Publications (2)

Publication Number Publication Date
CN109807882A CN109807882A (zh) 2019-05-28
CN109807882B true CN109807882B (zh) 2022-09-16

Family

ID=64402015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811364672.5A Active CN109807882B (zh) 2017-11-20 2018-11-16 把持系统、学习装置和把持方法

Country Status (4)

Country Link
US (1) US11338435B2 (zh)
EP (1) EP3486041A3 (zh)
JP (1) JP6676030B2 (zh)
CN (1) CN109807882B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6453922B2 (ja) * 2017-02-06 2019-01-16 ファナック株式会社 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
JP6680750B2 (ja) 2017-11-22 2020-04-15 ファナック株式会社 制御装置及び機械学習装置
US10500735B1 (en) * 2018-07-13 2019-12-10 Dexterity, Inc. Robotic toolset and gripper
JP7135750B2 (ja) * 2018-11-12 2022-09-13 富士通株式会社 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置
TWI722344B (zh) * 2018-12-05 2021-03-21 財團法人工業技術研究院 加工參數自動產生系統
JP7044047B2 (ja) * 2018-12-14 2022-03-30 トヨタ自動車株式会社 ロボット
JP7229115B2 (ja) * 2019-07-09 2023-02-27 株式会社日立製作所 ロボット制御装置及びロボット
JPWO2021010016A1 (zh) * 2019-07-12 2021-01-21
JP6897723B2 (ja) * 2019-07-19 2021-07-07 Ｊｆｅスチール株式会社 学習モデル生成方法、学習モデル生成装置、高炉の溶銑温度制御方法、高炉の溶銑温度制御ガイダンス方法、及び溶銑の製造方法
EP4017688A1 (en) * 2019-09-30 2022-06-29 Siemens Aktiengesellschaft Machine learning enabled visual servoing with dedicated hardware acceleration
JP7395968B2 (ja) * 2019-11-06 2023-12-12 日本電気株式会社 制御装置、制御システム、制御方法およびコンピュータプログラム
JP6758540B1 (ja) * 2019-12-17 2020-09-23 三菱電機株式会社 情報処理装置、ワーク認識装置およびワーク取り出し装置
EP3904973A1 (en) * 2020-04-30 2021-11-03 Robert Bosch GmbH Device and method for controlling a robot
JP7217727B2 (ja) * 2020-07-21 2023-02-03 株式会社エクサウィザーズ 制御装置、把持システム、方法、およびプログラム
DE102020212076A1 (de) * 2020-09-25 2022-03-31 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines physikalischen Systems
IT202000029585A1 (it) * 2020-12-03 2022-06-03 Hiro Robotics S R L Metodo per l’individuazione e successiva rimozione di viti da un dispositivo elettronico per la visualizzazione di immagini, testo e video
US11772272B2 (en) * 2021-03-16 2023-10-03 Google Llc System(s) and method(s) of using imitation learning in training and refining robotic control policies
CA3224602A1 (en) * 2021-04-01 2022-10-06 Sanctuary Cognitive Systems Corporation System for presenting robotic data flows for application development
JP2022162857A (ja) * 2021-04-13 2022-10-25 株式会社デンソーウェーブ 機械学習装置及びロボットシステム
WO2022239878A1 (ko) * 2021-05-10 2022-11-17 코가플렉스 주식회사 로봇의 파지 방법 및 로봇의 파지를 위한 학습 방법
KR102559105B1 (ko) * 2021-10-20 2023-07-26 한국과학기술원 로봇 손 시스템 및 로봇 손 제어 방법
DE102022204724A1 (de) 2022-05-13 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
WO2024128092A1 (ja) * 2022-12-14 2024-06-20 三菱重工業株式会社 組立システム、制御方法、およびプログラム
CN117067204A (zh) 2023-08-18 2023-11-17 浙江恒逸石化有限公司 控制方法、装置、设备以及存储介质
CN117817666A (zh) * 2024-01-25 2024-04-05 深圳市桃子自动化科技有限公司 一种基于人工智能的工业机器人智能夹持控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH07160881A (ja) * 1993-12-07 1995-06-23 Fujitsu Ltd 環境認識装置
JPH0830327A (ja) * 1994-07-18 1996-02-02 Fujitsu Ltd 能動的環境認識システム
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5451219B2 (ja) * 2009-07-06 2014-03-26 キヤノン株式会社 部品組付け方法
EP2540456A1 (en) * 2009-08-27 2013-01-02 ABB Research Ltd. Robotic picking of parts from a parts holding bin
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5715505B2 (ja) 2011-06-15 2015-05-07 川上産業株式会社 空間仕切りパネル
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
US9469035B2 (en) * 2011-06-29 2016-10-18 Mitsubishi Electric Corporation Component supply apparatus
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
WO2013027251A1 (ja) * 2011-08-19 2013-02-28 株式会社安川電機 ロボットシステム、ロボット制御装置、ロボットハンド及びロボットの制御方法
JP5623358B2 (ja) * 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP5911299B2 (ja) * 2011-12-27 2016-04-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
JP5754454B2 (ja) 2013-03-18 2015-07-29 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6429450B2 (ja) 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP6364856B2 (ja) * 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
US9205558B1 (en) * 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
JP6486114B2 (ja) * 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9639781B2 (en) * 2015-04-10 2017-05-02 Cognex Corporation Systems and methods for classification and alignment of highly similar or self-similar patterns
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
US9616568B1 (en) * 2015-08-25 2017-04-11 X Development Llc Generating a grasp affordance for an object based on a thermal image of the object that is captured following human manipulation of the object
CA3004711C (en) 2015-11-13 2022-01-11 Berkshire Grey, Inc. Sortation systems and methods for providing sortation of a variety of objects
CN109074513B (zh) * 2016-03-03 2020-02-18 谷歌有限责任公司 用于机器人抓握的深度机器学习方法和装置
WO2017151926A1 (en) * 2016-03-03 2017-09-08 Google Inc. Deep machine learning methods and apparatus for robotic grasping
US9990685B2 (en) * 2016-03-21 2018-06-05 Recognition Robotics, Inc. Automated guidance system and method for a coordinated movement machine
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
JP6724499B2 (ja) * 2016-04-05 2020-07-15 株式会社リコー 物体把持装置及び把持制御プログラム
DE112017002114T5 (de) * 2016-04-22 2019-01-03 Mitsubishi Electric Corporation Objekt-Handhabungsgerät und Objekthandhabungsverfahren
JP6665040B2 (ja) * 2016-06-20 2020-03-13 三菱重工業株式会社 ロボット制御システム及びロボット制御方法
EP3485370A4 (en) * 2016-07-18 2020-03-25 Lael Odhner ASSESSMENT OF ROBOTIC GRIPPING
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6514171B2 (ja) * 2016-09-27 2019-05-15 ファナック株式会社 最適な物品把持経路を学習する機械学習装置、及び機械学習方法
JP6741537B2 (ja) * 2016-09-28 2020-08-19 川崎重工業株式会社 ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
US11279023B2 (en) * 2017-02-28 2022-03-22 Siemens Industry Software Inc. System and method for determining grasping positions for two-handed grasps of industrial objects
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
US11106967B2 (en) * 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
WO2019053888A1 (ja) * 2017-09-15 2019-03-21 株式会社Ｆｕｊｉ 部品供給システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法

Also Published As

Publication number Publication date
US20190152054A1 (en) 2019-05-23
CN109807882A (zh) 2019-05-28
EP3486041A2 (en) 2019-05-22
JP2019093461A (ja) 2019-06-20
EP3486041A3 (en) 2019-09-25
US11338435B2 (en) 2022-05-24
JP6676030B2 (ja) 2020-04-08

Similar Documents

Publication Publication Date Title
CN109807882B (zh) 把持系统、学习装置和把持方法
CN110268358B (zh) 位置控制装置及位置控制方法
JP6376296B1 (ja) 位置制御装置及び位置制御方法
CN106393102B (zh) 机器学习装置、机器人系统及机器学习方法
JP5852364B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6458912B1 (ja) 位置制御装置及び位置制御方法
JP2020055096A (ja) 情報処理装置、情報処理方法及びシステム
CN112757284B (zh) 机器人控制装置、方法和存储介质
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
Suzuki et al. Grasping of unknown objects on a planar surface using a single depth image
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
Nguyen et al. Preparatory object reorientation for task-oriented grasping
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN110942083A (zh) 拍摄装置以及拍摄系统
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
US20230032261A1 (en) Program generation apparatus, program generation method, and computer-readable storage medium storing a generation program
CN117377558A (zh) 自动拾取和放置系统
Kato et al. World-Model-Based Control for Industrial box-packing of Multiple Objects using NewtonianVAE
US20230386075A1 (en) Method, System, And Computer Program For Recognizing Position And Posture Of Object
Park et al. Robot-based Object Pose Auto-annotation System for Dexterous Manipulation
Miatliuk et al. Controlling an industrial robotic system based on received visual information
JP2023009776A (ja) ピッキング方法、ピッキングシステムおよびピッキング制御装置
CN116690568A (zh) 基于机器视觉的机械臂控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant