CN110216649A - 机器人作业系统、以及机器人作业系统的控制方法 - Google Patents

机器人作业系统、以及机器人作业系统的控制方法 Download PDF

Info

Publication number
CN110216649A
CN110216649A CN201910141331.XA CN201910141331A CN110216649A CN 110216649 A CN110216649 A CN 110216649A CN 201910141331 A CN201910141331 A CN 201910141331A CN 110216649 A CN110216649 A CN 110216649A
Authority
CN
China
Prior art keywords
manipulating
robot
manipulating object
carrying implement
control parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910141331.XA
Other languages
English (en)
Other versions
CN110216649B (zh
Inventor
坂井亮
木村宣隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN110216649A publication Critical patent/CN110216649A/zh
Application granted granted Critical
Publication of CN110216649B publication Critical patent/CN110216649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40007—Optimize sequence of pick and place operations upon arrival of workpiece on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及机器人作业系统、以及机器人作业系统的控制方法。课题在于，使用搬运机提高由机器人进行作业时的性能。解决手段在于，信息处理装置基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的搬运机的控制参数，信息处理装置基于上述组合，从上述作业对象候选中决定作业对象，并基于所决定的作业对象的搬运机最优控制参数控制搬运机，基于所决定的作业对象的位置与该作业对象的搬运机最优控制参数，生成机器人的控制计划，根据生成的控制计划控制机器人。

Description

机器人作业系统、以及机器人作业系统的控制方法
技术领域
本发明涉及机器人作业系统、以及机器人作业系统的控制方法。
背景技术
在专利文献1种记载了如下内容：“公开了学习从包括分散堆积的状态的杂乱放置的多个工件中，利用手部取出工件的机器人的动作的机械学习装置。该机械学习装置具备：状态量观测部，观测机器人的状态量，该机器人的状态量包括取得每个工件的三维映射的三维计测器的输出数据；动作结果取得部，取得利用手部取出工件的机器人的取出动作的结果；学习部，接收状态量观测部的输出以及动作结果取得部的输出，将包括对机器人指令工件的取出动作的指令数据在内的操作量、与机器人的状态量以及取出动作的结果建立关联来学习。”
现有技术文献
专利文献
专利文献1：日本特开2017－30135号公报
非专利文献1：H.Deng,Z.Xia and J.Xiong,“Robotic Manipulation PlanningUsing Dynamic RRT,”Proc.of The 2016IEEE Int.Conf.on Real-time Computing andRobotics,pp.500-504,2016.
发明内容
发明所要解决的课题
汽车等的机械部件的组装、电气部件的组装、商品(食品、药品、化妆品等)的分类、区分等，使用机器人使作业自动化的系统被广泛用于各种用途。在这样的系统中，为了将部件、商品等物品搬运至能够通过机器人进行作业的场所而较多使用搬运机器人、传送带等搬运机。
然而以往，在这样的系统中，在由机器人进行作业时，为了机器人进行作业而需要使搬运机暂时静止，该部分的作业消耗时间，这成为使系统整体的性能降低的要因。
这里在上述的专利文献1中，记载了通过机械学习以无人类介入的方式学习将杂乱放置的工件取出时的机器人的最优动作。然而，关于为了提高系统整体的性能而考虑搬运机的动作，无任何记载。
本发明鉴于上述观点而做成，其目的在于提供能够提高使用搬运机并利用机器人进行作业时的性能的机器人作业系统、以及机器人作业系统的控制方法。
用于解决课题的方法
用于实现上述目的的本发明之一是机器人对利用搬运机搬运的作业对象进行作业的系统，具备具有处理器以及存储装置的信息处理装置，所述机器人作业系统具备通过所述处理器读出并执行存储在存储装置中的程序而实现的以下各部：识别处理部，基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时，将针对该作业对象的作业的性能最大化的所述搬运机的控制参数；作业对象决定部，基于所述组合，从所述作业对象候选中决定作业对象；搬运机控制部，基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及机器人控制计划生成部，基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。
另外，本申请公开的课题及其解决方法根据具体实施方式部分以及附图而明确。
发明效果
根据本发明，能够提高使用搬运机并利用机器人进行作业时的性能。
附图说明
图1是表示机器人作业系统1的第1例的概略性构成的图。
图2是表示机器人作业系统1的第2例的概略性构成的图。
图3是信息处理装置的硬件构成的一例。
图4是表示信息处理装置具备的主要功能以及数据的图。
图5是说明机器人控制处理的流程图。
图6是说明识别处理的第1实现方法所用的卷积神经网络(Convolutional NeuralNetwork)的图。
图7是表示将拍摄图像分割成网格时的输出层的具体例的图。
图8是说明第1实现方法中的学习数据的生成方法的流程图。
图9是说明第1实现方法中的学习数据的生成方法的图。
图10是说明信息处理装置通过模拟自动地生成学习数据的情况的图。
图11是说明第1实现方法中的学习模型生成处理的流程图。
图12是说明第1实现方法中的总差值计算处理的流程图。
图13是说明识别处理的第2实现方法所用的卷积神经网络的图。
图14是表示将拍摄图像分割成网格时的输出层的具体例的图。
图15是说明第2实现方法中的学习数据的生成方法的流程图。
图16是说明第2实现方法中的个别学习模型生成处理的流程图。
图17是说明第2实现方法中的总差值计算处理的流程图。
具体实施方式
以下，参照附图对实施方式进行说明。另外，在以下的说明中，有时对于相同或者类似的构成赋予共同的附图标记并省略重复的说明。
在图1中示出了作为实施方式示出的机器人作业系统1的第1例。如该图所示，机器人作业系统1包括信息处理装置10、操作器20、搬运机30、以及拍摄装置40。信息处理装置10与操作器20、搬运机30以及拍摄装置40能够通信地连接，进行这些装置之间的数据的收发以及这些装置的控制。
第1例的机器人作业系统1是所谓的拣选系统，该拣选系统进行下述作业：将在载置于搬运机30的箱2中收容的多个物品5从箱2的上方开口一个个取出并向移动目的地6(作业台、其他箱子、搬运输送机等)载置。机器人作业系统1也能够在搬运机30处于搬运中的状态(运动中的状态)下进行上述作业。
机器人作业系统1从收容于箱2的多个物品5(作业对象候选)中决定一个成为拣选对象(作业对象)的物品5，对决定的物品5进行作业(拣选)。作业通过操作器20把持为了高效地进行该作业而设定于物品5的表面的把持点位置来进行。
操作器20例如是机器臂或工业用机器人等机器人。另外，在图1中仅描绘出一个操作器20，但机器人作业系统1也可以包括与信息处理装置10能够通信地连接的多个操作器20。
操作器20例如具有以多轴多关节型构成的臂21以及手22。操作器20的各关节部23的驱动轴受能够由信息处理装置10控制的驱动机构(伺服马达等)控制。操作器20例如在臂21的前端与手22之间具有6轴的力觉传感器。力觉传感器检测对手22施加的过负荷。在操作器20例如从箱2中取出分散堆积的物品5的情况下，若检测出由于手22或者被手22把持的物品5与箱2的壁面、其他物品5干扰(碰撞或者接触)而产生的过负荷，则信息处理装置10以释放检测出的过负荷的方式控制操作器20的驱动轴。
力觉传感器检测作用于手22的力。在手22把持物品5的情况下，物品5的重量作用于手22。例如信息处理装置10在执行物品5的拣选后，若力觉传感器的检测值超过规定的阈值，则判定为手22当前把持着物品5。也可以设为信息处理装置10使用触觉传感器等其他种类的传感器来判定手22当前是否把持着物品5。也可以设为信息处理装置10基于由照相机拍摄到的图像判定手22当前是否把持着物品5。此外在手22为吸附式手的情况下，信息处理装置10也可以根据压力计的计测结果判定是否把持着物品5。另外，手22只要能够把持物品5则能够采用各种形态。例如，手22既可以是通过开闭多个手指来把持物品5的类型，也可以是通过吸引来把持物品5的类型。
搬运机30例如是自主搬运机器人、AI(人工智能：Artificial Intelligence)搬运机器人、自主移动机器人等的所谓的搬运机器人。搬运机30例如将箱2(物品5)搬运至拍摄装置40能够拍摄的范围(以下，称作可拍摄范围)或操作器20能够进行作业的范围(以下，称作可作业范围)。搬运机30能够通过自主的控制主动地动作，或者通过利用从信息处理装置10发送来的控制信号进行的控制而被动地动作。上述控制例如是搬运机30的移动速度、搬运机30的移动方向、搬运机30的移动路径等的控制。
信息处理装置10能够利用测距传感器(激光式测距传感器、超声波式测距传感器、立体照相机等)、测位传感器(无线LAN、GPS(全球定位系统：Global Positioning System)、利用无线信号的相位差的位置检测传感器)、加速度传感器、陀螺传感器、磁传感器、光传感器、毫米波雷达等，通过搬运机30自身直接地或通过信息处理装置10间接地取得搬运机30的当前位置、移动速度、移动方向等的信息。
拍摄装置40例如使用光学式照相机、能够取得距离图像的装置(飞行时间(TOF:Time Of Flight)照相机、立体照相机等)等构成。拍摄装置40取得三维的图像(以下，称作拍摄图像)，该三维的图像包含从箱2的上方开口侧拍摄箱2以及收容于箱2的多个物品5而得的二维或深度(纵深)的信息。拍摄装置40在搬运机30存在于可拍摄范围内时取得上述的拍摄图像，并向信息处理装置10发送所取得的拍摄图像。
信息处理装置10对于拍摄图像进行后述的识别处理，并基于识别处理的结果控制搬运机30、操作器20。后述识别处理的详细内容。
图2是作为机器人作业系统1的第2例示出的螺钉紧固作业系统。如该图所示，机器人作业系统1包括信息处理装置10、操作器20、搬运机30、以及拍摄装置40。与第1例相同，信息处理装置10与操作器20、搬运机30、以及拍摄装置40能够进行通信地连接，进行这些装置之间的数据的收发、及这些装置的控制。
第2例的搬运机30是传送带，将物品5搬运至可作业范围。搬运机30能够通过信息处理装置10输送来的控制信号被动地进行控制(搬运速度等的控制)。另外，第2例的搬运机30也可以设为与第1例同样能够进行自主控制的构成。
第2例的机器人作业系统1从载置于搬运机30而被搬运来的物品5中设置的多个螺孔(作业对象候选)中决定设为作业对象的螺孔，对决定的作业对象进行螺钉紧固作业。机器人作业系统1能够在搬运机30处于搬运着物品5的状态(运动中的状态)下进行上述的作业。
第2例的操作器20的基本构成与第1例相同，但在第2例的操作器20的前端设置有螺钉转动工具25。第2例的拍摄装置40的构成与第1例相同。此外第2例的信息处理装置10的构成也与第1例基本上相同，信息处理装置10对拍摄图像进行后述的识别处理，并基于识别处理的结果控制操作器20。
如该图所示，第2例的机器人作业系统1包括由信息处理装置10个别地控制的多个(在该图中为2个)操作器20。信息处理装置10例如基于由拍摄装置40取得的一个拍摄图像进行识别处理，信息处理装置10能够基于上述识别处理的结果，以各个操作器20对不同的作业对象(螺孔)进行作业的方式控制各操作器20。
另外，机器人作业系统1例如也可以是对搬运来的物品5进行焊接、组装等其他作业的系统。以下，只要未特别说明，则以第1例的机器人作业系统1为例进行说明。
图3是信息处理装置10的硬件构成的一例。如该图所示，信息处理装置10具备处理器110、主存储装置120、辅助存储装置130、输入装置140、输出装置150、以及通信装置160。其通过未图示的总线等的通信机构以相互能够通信的方式连接。另外，信息处理装置10既可以是独立的硬件，例如也可以是如安装于操作器20的微型计算机那样利用机器人作业系统1的其他构成所具备的硬件。此外信息处理装置10例如也可以使用由云系统提供的云服务器那样的虚拟的信息处理资源来实现。
处理器110例如使用CPU(中央处理器：Central Processing Unit)、MPU(微处理器：Micro Processing Unit)、FPGA(现场可编程门阵列：Field-Programmable GateArray)、GPU(图形处理器：Graphics Processing Unit)、AI芯片等而构成。处理器110通过读出并执行在主存储装置120中储存的程序，来实现信息处理装置10的各种功能。主存储装置120是存储程序、数据的装置，例如是ROM(只读存储器：Read Only Memory)、RAM(随机存取存储器：Random Access Memory)、非易失性存储器(NVRAM(Non Volatile RAM))等。辅助存储装置130例如是硬盘驱动器、SSD(固态驱动器：Solid State Drive)、光学式存储装置(CD(压缩光盘：Compact Disc)、DVD(数字通用光盘：Digital Versatile Disc)等)、存储系统、IC卡、SD卡、光学式记录介质等的记录介质的读取/写入装置，或云服务器的存储区域等。辅助存储装置130能够经由记录介质的读取装置、通信装置160读入程序、数据。在辅助存储装置130中存储的程序、数据随时向主存储装置120中读入。
输入装置140是接受来自外部的输入的接口，例如键盘、鼠标、触摸面板、读卡器、声音输入装置等。
输出装置150是输出处理经过、处理结果等的各种信息(例如，后述的拍摄图像451、识别结果452、搬运机控制参数453、操作器控制计划454、学习数据461、学习模型462等)的接口，例如是使上述的各种信息可视化的显示装置(液晶监视器、LCD(LiquidCrystal Display)、图形卡等)、声音输出装置(扬声器等)、印刷装置等。另外，例如，信息处理装置10也可以设为经由通信装置160在其他装置之间进行信息的输入、输出的构成。
通信装置160是实现操作器20、搬运机30及拍摄装置40之间的通信的装置。通信装置160是经由LAN(局域网：Local Area Network)、WAN(广域网：Wide Area Network)、网络等的通信机构实现与其他装置之间的通信的有线方式或者无线方式的通信接口，例如是NIC(网络接口卡：Network Interface Card)、无线通信模块、USB(通用串行接口：Universal Serial Interface)模块、串行通信模块等。
在图4中示出信息处理装置10具备的主要功能以及数据。如该图所示，信息处理装置10具备拍摄处理部411、识别处理部412、作业对象决定部413、搬运机控制部414、操作器控制计划生成部415(机器人控制计划生成部)、操作器控制部416(机器人控制部)、学习数据生成部421、以及学习模型生成部422的各功能。这些功能通过信息处理装置10的处理器110读出并执行在主存储装置120中储存的程序来实现。信息处理装置10也可以具备操作系统、文件系统、DBMS(数据库管理系统：Data Base Management System)等。
如该图所示，信息处理装置10存储拍摄图像451、识别结果452、搬运机控制参数453、操作器控制计划454、学习数据461、以及学习模型462。信息处理装置10将这些数据例如作为文件、由DBMS管理的数据库的表格等进行管理。
在上述功能之中，若拍摄对象进入可拍摄范围，则拍摄处理部411配合后述的拍摄定时地对拍摄对象进行拍摄，并将拍摄到的图像作为拍摄图像451进行存储。
识别处理部412对拍摄图像进行后述的识别处理并生成、存储识别结果452。所生成的识别结果452用于作业对象的决定、搬运机30或操作器20的控制等。识别处理使用通过学习数据生成部421的机械学习而生成的学习模型462来实现。作业对象决定部413基于识别结果452，从作业对象候选中决定作业对象。
搬运机控制部414基于针对作业对象决定部413决定的作业对象的、后述的搬运机最优控制参数，生成后述的搬运机控制参数453，并向搬运机30发送所生成的搬运机控制参数453，由此控制搬运机30。
操作器控制计划生成部415基于作业对象决定部413决定的作业对象的位置(拍摄图像中的作业对象候选的位置)与后述的搬运机控制参数，生成包含对操作器20的动作、控制定时进行了规定的信息的操作器控制计划454。操作器控制部416若检测到作业对象进入后述的控制准备开始距离内，则按照操作器控制计划454控制操作器20，对所决定的作业对象进行作业。
学习数据生成部421生成学习模型462的机械学习所用的学习数据461。学习模型生成部422例如通过学习相当数量的学习数据461来生成学习模型462。后述学习数据生成部421以及学习模型生成部422各自进行的处理的详细内容。
拍摄图像451是由拍摄装置40拍摄(取得)的图像，例如是像素(pixel)形式的图像。
识别结果452例如包含拍摄图像451中的(对拍摄图像451设定的二维或者三维坐标系中的)作业对象候选的位置与作业对象候选各自的后述搬运机最优控制参数的组合。此外识别结果452例如包含拍摄图像451中的作业对象候选的位置、以及作业对象候选各自的后述搬运机最优控制参数与后述性能的组合。此外识别结果452例如包含作业对象候选的位置、以及作业对象候选各自的后述的搬运机最优控制参数与后述操作器20的最优控制参数的组合。此外识别结果452例如包含作业对象候选的位置、以及作业对象候选各自的后述搬运机最优控制参数、后述性能与后述操作器20的最优控制参数的组合。
学习数据461包含学习模型462的机械学习所用的大量数据(教师数据、训练数据)。学习数据461例如包含拍摄图像、作业对象候选的位置与作业对象候选各自的后述搬运机最优控制参数的组合。此外学习数据461例如包含拍摄图像、以及作业对象候选的位置、作业对象候选各自的后述搬运机最优控制参数与后述性能的组合。此外学习数据461例如包含拍摄图像、以及作业对象候选的位置、作业对象候选各自的后述搬运机最优控制参数与后述操作器20的最优控制参数的组合。此外学习数据461例如包含拍摄图像、作业对象候选的位置、以及作业对象候选各自的后述搬运机最优控制参数、后述性能与后述操作器20的最优控制参数的组合。
学习模型462包含用于实现后述的识别处理的卷积神经网络(CNN:ConvolutionalNeural Network)的构成后述中间层612的参数群。上述参数例如是对卷积神经网络的各感知器赋予的权重(包含偏置)。
图5是说明对作业对象进行作业时信息处理装置10进行的处理(以下，称作机器人控制处理)的流程图。以下，与该图一同说明机器人控制处理。另外，在附图标记前附加的“S”这一字符意为处理步骤。
如该图所示，信息处理装置10的拍摄处理部411实时监视拍摄对象是否进入距离拍摄装置40为规定距离(以下，称作拍摄准备开始距离)内(S511：否)。若拍摄处理部411检测到进入距离拍摄装置40为拍摄准备开始距离内(S511：是)，则前进至处理S512。
另外，拍摄处理部411例如基于表示搬运机30或者拍摄对象的当前位置的信息、从设置于拍摄装置40的周边的物体检测传感器或测距传感器等取得的信息、拍摄搬运机30或拍摄对象而得的影像等，检测拍摄对象已进入距离拍摄装置40为拍摄准备开始距离内。
在S512中，拍摄处理部411求出拍摄对象的拍摄定时。即，由于拍摄对象与搬运机30一同移动，因此拍摄处理部411例如求出从拍摄对象进入距离拍摄装置40为拍摄准备开始距离内起至到达拍摄装置40的拍摄位置为止的时间，并基于求出的时间求取拍摄定时。
另外，从拍摄对象进入距离拍摄装置40为拍摄准备开始距离内起至到达拍摄装置40的拍摄位置为止的时间例如基于搬运机30的当前位置、移动速度、移动方向、移动路径等的信息来求出。在机器人作业系统1为第1例的情况下，拍摄对象是箱2与收容于箱2的物品5，在为第2例的情况下，拍摄对象是载置于搬运机30的物品5。
接着，若拍摄对象进入可拍摄范围，则拍摄处理部411配合S512中求出的拍摄定时对拍摄对象进行拍摄，并作为拍摄图像451进行存储(S513)。
接着，识别处理部412通过将在S513中取得的拍摄图像451向学习模型462(中间层612)输入，来执行求取拍摄图像451中的作业对象候选的(拍摄图像451的坐标系中的)位置与针对上述作业对象候选各自的搬运机30的最优控制参数(以下，称作搬运机最优控制参数)的组合的处理(以下，称作识别处理)，并进行将求出的结果存储作为识别结果452的处理(以下，称作识别处理S514)。这样，利用识别处理S514，通过使用学习模型462求取拍摄图像451中的作业对象候选的位置与针对上述作业对象候选各自的搬运机最优控制参数的组合，能够高精度地求取用于使作业的效率(以下，称作性能)最大化的搬运机30的控制参数。
上述的搬运机最优控制参数例如是搬运机30的物品5的搬运速度、搬运机30的移动路径等。此外上述的性能是评价机器人作业系统1进行的作业的效率(通过搬运机30与操作器20协作而获得的效率)的指标，例如是搬运机30的搬运速度、作业的成功率(以下，称作作业成功率)、将上述搬运速度与上述作业成功率相乘而得的值等。另外，上述的作业成功率例如能够通过使用实际系统的实验或信息处理装置进行的模拟等来取得。作业成功率由于使搬运机30的物品5的搬运速度增减而变化，通过使搬运机30的移动路径与操作器20接近或远离，物品5与操作器20的位置关系也会改变，从而作业成功率变化。
另外，识别处理S514例如也可以是求取拍摄图像451中的作业对象候选的位置与作业对象候选各自的后述搬运机最优控制参数同后述性能的组合之间的组合的处理。此外识别处理S514例如也可以是求取作业对象候选的位置与作业对象候选各自的搬运机最优控制参数、操作器20的最优控制参数(以下，称作操作器最优控制参数)的组合的处理。这里，操作器最优控制参数例如是指操作器20抓住作业对象候选瞬间的搬运机30的移动方向的位置。通过改变该操作器最优参数，性能发生变化。并且，识别处理S514例如也可以是求取拍摄图像451中的作业对象候选的位置与作业对象候选各自的搬运机最优控制参数、后述性能、操作器最优控制参数(机器人最优控制参数)的组合的处理。通过将识别处理S514设为这样的处理，能够求出适当的值作为用于使作业整体的性能最大化的搬运机30的控制参数或操作器20的控制参数。
接着，作业对象决定部413基于识别结果452，从作业对象候选中决定作业对象(S515)。作业对象决定部413例如将作业的性能为最大的作业对象候选决定为作业对象。这样，由于作业对象决定部413将性能(搬运机30与操作器20协作而得的效率)为最大的作业对象候选决定为作业对象，因此能够在机器人作业系统1的整体的角度上使作业的效率最优化。
接着，搬运机控制部414基于决定的作业对象的搬运机最优控制参数生成搬运机30的控制参数(以下，称作搬运机控制参数)(S516)，并向搬运机30发送所生成的控制参数(S517)。
接着，操作器控制计划生成部415基于决定的作业对象的位置(拍摄图像中的作业对象候选的位置)与搬运机控制参数，生成包含操作器20的动作与控制的定时(以下，称作控制定时)的操作器20的控制计划(操作器控制计划454)(S518)。另外，在识别处理S514中求出操作器最优控制参数的情况下，操作器控制计划生成部415也可以基于操作器最优控制参数生成操作器控制计划454。
接着，操作器控制部416监视作业对象是否进入距离操作器20为规定距离(以下，称作控制准备开始距离)内(S519：否)。操作器控制部416若检测出作业对象进入了控制准备开始距离内(S519：是)，则处理前进至S520。操作器控制部416例如基于搬运机30或者作业对象的当前位置、从设置于操作器20的周边的物体检测传感器或测距传感器等取得的信息、拍摄搬运机30或者作业对象而得的影像等，判定作业对象进入到距离操作器20为控制准备开始距离内。
在S520中，操作器控制部416按照S518生成的操作器控制计划控制操作器20，对作业对象进行作业。例如，在第1例的情况下，操作器控制部416控制操作器20对作为作业对象的物品5进行拣选，此外例如在第2例的情况下，操作器控制部416控制操作器20对作为作业对象的螺孔进行螺钉紧固。
在S521中，信息处理装置10判定是否结束该机器人控制处理。在信息处理装置10判定为不结束机器人控制处理的情况下(S521：否)，处理返回S511。在信息处理装置10判定为结束机器人控制处理的情况下(S521：是)，该处理结束。信息处理装置10例如在从用户接收到作业的停止操作的情况下判定为结束机器人控制处理。
接着，对图5的识别处理S514的实现方法进行说明。
[识别处理的第1实现方法]
图6是说明识别处理S514的第1实现方法所用的卷积神经网络的构造的图。对卷积神经网络的输入层611输入拍摄图像。中间层612包含多个(例如20层左右)的卷积层。中间层612求出输出层613中的搬运机最优控制参数r1,0，作业对象候选位置r2,0，作业对象候选可能性r3,0，以及非作业对象候选可能性r4,0等的各预测值。这里附加给上述的各预测值的角标的第一个表示输出值的种类，角标的第二个是将赋予输入层611的拍摄图像分割成多个正方形的单位区域(大小为多个作业对象候选的预测位置不进入相同区域内程度的区域。以下，称作网格)而生成的各网格的标识符。
图7表示将拍摄图像分割成S个(本例中S＝25)网格的情况下的输出层613的具体例。该图中(u，v)是表示网格内的位置的坐标。网格内所示的圆的中心表示作业对象候选的把持点位置。圆的颜色表示搬运机30的搬运速度。
在生成学习模型462(包括中间层612的各层的参数)时，学习模型生成部422例如确定与中间层612所求出的预测值之差在允许范围内的学习数据461，将确定出的学习数据461的预测值赋予损失函数(以下，设为总差值L)，通过向减少总差值L的值的方向更新中间层612的各层的参数，由此生成学习模型462。上述的参数的更新例如也可以通过概率的梯度下降法或误差反向传播法进行。总差值L的计算方法的例子如以下所示。
L …总差值 B …学习数据的拍摄图像的张数
i …拍摄图像的标识符0～B-1 Λi …拍摄图像i的分图像差值
S …网格数 j…网格的标识符0～S-1
K＝2 …网格类别数 k…类别数 0：作业对象候选 1：非作业对象候选
Rij …搬运机最优控制参数r1(预测结果)
…搬运机最优控制参数r1(学习数据)
uij，vij …作业对象候选位置r2(预测结果)
…作业对象候选位置r2(学习数据)
pij0 …作业对象候选可能性(预测结果)
pij1 …非作业对象候选可能性(预测结果)
tij0 …作业对象候选可能性(学习数据)
tij1 …非作业对象候选可能性(学习数据)
…0：非作业对象候选、1：作业对象候选(学习数据)
λnoloc …非作业对象候选中的搬运机控制参数预测的重要度
λcoord …作业对象候选位置的重要度
另外，上述的各重要度是将作业对象候选中的搬运机控制参数的重要度设为1时的相对值。
如以上所述，根据第1实现方法，能够求出使作业的性能最大化的搬运机30的控制参数(搬运机最优控制参数)，能够求出在搬运机30处于运动中的状态下进行作业时作业的性能为最大的搬运机30的控制参数。
另外，以上，例示出了中间层612将搬运机最优控制参数r1,0，作业对象候选位置r2,0，作业对象候选可能性r3,0，以及非作业对象候选可能性r4,0作为预测值求出的情况，也可以构成为中间层612还将性能r5,0或操作器最优控制参数r6,0作为输出层613求出。
图8是说明第1实现方法中的学习数据461的生成方法的流程图，图9是说明第1实现方法中的学习数据461的生成方法的图。另外，学习数据461的生成例如能够利用作为第1例或第2例示出的图1或者图2所示的机器人作业系统1的构成进行。以下，与这些图一同说明第1实现方法中的学习数据461的生成方法。
首先用户通过利用拍摄装置40从箱2的上方开口侧拍摄收容有多个物品5的箱2来取得拍摄图像(S811)。
接着，学习数据生成部421在输出装置150显示拍摄图像，且经由输入装置140从用户接受作业对象候选(图9的附图标记7)的设定(第1例为物品5的把持点位置的设定、第2例为螺孔位置的设定)的输入(S812)。
在后续S813中，学习数据生成部421选择一个在该处理(S813)中未选择的作业对象候选。
在后续S814中，学习数据生成部421选择一个在该处理(S814)中未选择的搬运机控制参数。另外，信息处理装置10预先存储能够选择的多个搬运机控制参数(例如，在搬运机30的移动速度的情况下则为0.1m/s、0.2m/s···1.0m/s等。在搬运机30的移动路径的情况下则为与操作器20的距离10cm、15cm···30cm等)。此外，在图6中设为将操作器最优控制参数作为输出层613而求出的构成时，信息处理装置10预先存储能够选择的多个操作器控制参数(例如，操作器20抓住作业对象瞬间的从操作器20观察的搬运机30的移动方向的位置0cm、±5cm、±10cm···±25cm等)。
接着，学习数据生成部421基于正选择的搬运机控制参数，求出搬运机30搬运作业对象候选的过程中(搬运机30运动中)由操作器20进行作业时的性能(S815)。另外，由操作器20进行作业时的性能例如是作业成功率，能够利用以下方式求出：非专利文献1中公开的方法(dynamic RRT＝dynamic Rapidly-exploring Random Tree：动态快速探索随机树)多次试行用于完成作业的操作器20的动作的计划，并求出作为其动作计划的成功率。
接着，学习数据生成部421判定是否存在S814中未选择的搬运机控制参数(S816)。存在未选择的搬运机控制参数时(S816：是)，处理返回S814选择其他未选择的搬运机控制参数。不存在未选择的搬运机控制参数时(S816：否)，处理前进至S817。
在S817中，学习数据生成部421选出S814～S816的处理中选择出的搬运机控制参数中的作业的性能最大的参数，作为由S813选择中的作业对象物候选的搬运机最优控制参数。
接着，学习数据生成部421判定是否存在在S813中未选择的作业对象候选(S818)。存在未选择的作业对象候选时(S818：是)，处理返回S813选择其他未选择的作业对象候选，进行与以上相同的处理。不存在未选择的搬运机控制参数时(S818：否)，处理前进至S819。
在S819中，学习数据生成部421将包含由S811取得的拍摄图像与作业对象候选的位置、针对作业对象候选各自的搬运机最优控制参数的组合的数据，存储作为学习数据461。
在后续S820中，用户判定是否已取得足够数量的学习数据(S820)。在用户判定为未取得足够数量的学习数据的情况下(S820：否)，处理返回S811。此外在用户判定为已取得足够数量的学习数据的情况下(S820：是)，学习数据的生成结束。
另外，如上所述，在中间层612设为进一步将性能r5,0或操作器最优控制参数r6,0作为输出层613求出的构成的情况下，例如对于性能、操作器最优控制参数也进行与S814至S819的循环相同的循环。此外在该情况下，在S819中，学习数据生成部421将包含拍摄图像、以及作业对象候选的位置、作业对象候选各自的搬运机最优控制参数及性能(或者操作器最优控制参数)的组合在内的数据，存储作为学习数据461。
另外，在图8中，用户取得拍摄图像(S811)并设定作业对象候选的位置(S812)，但也可以设为信息处理装置10通过模拟自动地进行这些作业的构成。
即，例如如图10所示，信息处理装置10使用包含物品的形状、纹理、尺寸的物体模型生成多个物品5收容于箱2的状态的拍摄图像(S1011)，对物品5的面进行确定，例如将其面的中心位置设为作业对象候选(S1012)。然后，在搬运机30搬运作业对象候选的过程中，模拟由操作器20进行作业的情况(S1013)来求出性能(S1014)。如此，能够使图8中由手动作业进行的大部分通过自动化来进行。
图11以及图12是说明使用第1实现方法中的学习数据461进行的学习模型462的生成处理(以下，称作学习模型生成处理)的流程图。以下，与这些图一同说明学习模型生成处理。
如图11所示，首先学习模型生成部422设定学习模型(中间层612)的参数的初始值(S1111)。
接着，学习模型生成部422对于当前设定中的参数的学习模型(以下，称作当前模型)求出后述的总差值(以下，称作当前模型总差值)(S1112)。
接着，学习模型生成部422对于设定了当前设定中的参数周边的参数的学习模型(以下，称作周边模型)求出后述的总差值(以下，称作周边模型总差值)(S1113)。
接着，学习模型生成部422基于在S1112求出的当前模型总差值与周边模型总差值，以当前模型总差值与当前相比变小的方式更新当前模型的参数(S1114)。
接着，学习模型生成部422判定是否结束学习模型生成处理。在学习模型生成部422判定为不结束学习模型生成处理的情况下(S1115：否)，处理返回S1112，对于更新后的参数的当前模型进行S1112之后的处理。在学习模型生成部422判定为结束学习模型生成处理的情况下(S1115：是)，学习模型生成部422将最终生成的学习模型存储为学习模型462，学习模型生成处理结束。
另外，例如在S1114中即使更新参数，当前模型总差值也不收敛的情况(执行S1112～S1115的1循环后的总差值的减少量为阈值以下的情况)下、在S1112～S1115的循环的执行次数达到预先设定的次数的情况下，学习模型生成部422判定为结束学习模型生成处理。
图12是说明图11的第1实现方法中的学习模型生成处理的S1112或者S1113的处理(求取当前模型总差值或者周边模型总差值的处理。以下，称作总差值计算处理)的流程图。
首先学习模型生成部422选择学习数据461包含的拍摄图像中的一个未选择的图像(S1211)。
接着，学习模型生成部422使用设定中的参数(总差值计算处理的调用源是S1112时为当前模型的参数，总差值计算处理的调用源为S1113时为周边模型的参数)的模型(当前模型或者周边模型)，对输入层611赋予在S1211中选择出的拍摄图像，预测作业对象候选与搬运机最优控制参数所成的多个组(S1212)。
接着，学习模型生成部422对于预测出的上述作业对象候选与搬运机最优控制参数的各个组，求出与选择中的拍摄图像的学习数据461的差值(S1213)。
接着，学习模型生成部422判定是否存在在S1211中未选择的拍摄图像(S1214)。存在未选择的拍摄图像时(S1214：是)，学习模型生成部422选择其他学习数据的拍摄图像反复进行S1211之后的处理。不存在未选择的拍摄图像时(S1214：否)，学习模型生成部422基于针对全部的拍摄结果的分图像差值，计算针对当前的识别处理参数的总差值(S1215)。然后，结束总差值计算处理，处理向图11的学习模型生成处理的S1112或者S1113的处理之后的处理前进。
另外，在中间层612设为进一步将性能r5,0、以及操作器最优控制参数r6,0作为输出层613的要素而求出的构成的情况下，例如分别对性能以及操作器最优控制参数进行与对搬运机最优控制参数进行的S1212以及S1213相同的处理。
[识别处理的第2实现方法]
接着，对图5的识别处理S514的第2实现方法进行说明。在第2实现方法中，固定搬运机控制参数(例如，搬运机30的搬运速度、搬运机30的移动路径等)来生成学习模型462。并且，按搬运机控制参数的每个离散值准备学习模型462，对各个学习模型462，将拍摄图像作为输入，将作业对象候选位置与性能作为识别结果之一而输出。能够获得该输出的结果中的性能为最大的作业对象候选的学习模型462的搬运机控制参数，成为搬运机最优控制参数。这样，在固定搬运机控制参数来生成学习模型462的情况下，由于学习模型462的复杂度降低故可期待学习精度的提高，固定的各个学习模型462能够以轻负荷生成。另外，以下，省略与第1实现方法共通的部分的说明。
图13是说明第2实现方法中使用的卷积神经网络的构造的图。向卷积神经网络的输入层611中输入拍摄图像。中间层612包含多个(例如20层左右)卷积层。中间层612求取输出层613中的性能r1，0、作业对象候选位置r2，0、作业对象候选可能性r3，0、非作业对象候选可能性r4，0等的各预测值。
图14是第2实现方法中的输出层613的具体例。在该图中，(u，v)是表示网格内的位置的坐标。网格内所示的圆的中心表示作业对象候选的把持点位置。圆的颜色表示性能(作业成功率)。在本例中是将搬运机30的搬运速度固定为0.5m/s的情况。
与第1实现方法相同，在生成学习模型462时，学习模型生成部422例如确定出与由中间层612求出的预测值之差在允许范围内的学习数据461，将确定出的学习数据461的预测值赋予总差值L，并通过向减少总差值L的值的方向更新中间层612的各层的参数，来生成学习模型462。上述的参数的更新例如也可以利用概率的梯度下降法、误差反向传播法进行。第2实现方法中生成学习模型462(包含中间层612的各层的参数)时所用的总差值L的计算方法的例子如以下所示。
L …总差值 B …学习数据的拍摄图像的张数
i …拍摄图像的标识符0～B-1 Ai …拍摄图像i的分图像差值
S …网格数 j…网格的标识符 0～S-1
K＝2 …网格类别数 k…类别数 0：作业对象候选 1：非作业对象候选
Rij …性能r1(预测结果)
…性能r1(学习数据)
uij，vij …作业对象候选位置r2(预测结果)
…作业对象候选位置r2(学习数据)
pij0 …作业对象候选可能性(预测结果)
pij1 …非作业对象候选可能性(预测结果)
tij0 …作业对象候选可能性(学习数据)
tij1 …非作业对象候选可能性(学习数据)
…0：非作业对象候选、1：作业对象候选(学习数据)
λnoloc …非作业对象候选中的性能预测的重要度
λcoord …作业对象候选位置的重要度
另外，上述的各重要度是将作业对象候选中的搬运机控制参数的重要度设为1时的相对值。
式3以及式4的构成与第1实现方法中的式1以及式2类似，但在第2实现方法中，式3中的总差值L以及分图像差值Λi均按作为固定值的每个搬运机控制参数进行定义。此外在第2实现方法中，第1实现方法的式2中的“搬运机最优控制参数r1”成为“性能r1”，此外式2中的“非作业对象候选中的搬运机控制参数预测的重要度”成为“非作业对象候选中的性能预测的重要度”。
图15是说明第2实现方法中的学习数据461的生成方法的流程图。以下，与该图一同对第2实现方法中的学习数据461的生成方法进行说明。
首先用户通过利用拍摄装置40从箱2的上方开口侧拍摄收容了多个物品5的箱2来取得拍摄图像(S1511)。
接着，学习数据生成部421在输出装置150显示拍摄图像，且经由输入装置140从用户接受与作业对象候选相关的设定(第1例为物品5的把持点位置的设定，第2例为螺孔位置的设定)的输入(指定)(S1512)。
在后续的S1513中，学习数据生成部421选择在该处理(S1513)中未选择的一个作业对象候选。
在后续的S1514中，学习数据生成部421选择在该处理(S1514)中未选择的一个搬运机控制参数。另外，信息处理装置10预先存储能够选择的多个搬运机控制参数(例如，搬运机30的搬运速度(0.1m/s、0.2m/s···1.0m/s等)、搬运机的移动路径(距离操作器20的距离10cm、15cm···25cm))。
接着，学习数据生成部421基于选择中的搬运机控制参数，求出在搬运机30运动中(搬运作业对象候选中)由操作器20进行作业时的性能(S1515)。另外，由操作器20进行作业时的性能例如是作业成功率，能够如下求出：利用在非专利文献1中公开的方法(dynamicRRT：动态)多次试行用于完成作业的操作器20的动作的计划，并求出作为其动作计划的成功率。
接着，学习数据生成部421判定是否存在在S1514中未选择的搬运机控制参数。存在未选择的搬运机控制参数时(S1516：是)，处理返回S1514并选择其他未选择的搬运机控制参数。不存在未选择的搬运机控制参数时(S1516：否)，处理向S1517前进。
接着，学习数据生成部421判定是否存在在S1513中未选择的作业对象候选(S1517)。存在未选择的作业对象候选时(S1517：是)，处理返回S1513并选择其他未选择的作业对象候选。不存在未选择的搬运机控制参数时(S1517：否)，处理向S1518前进。
在S1518中，学习数据生成部421将包含在S1511中取得的拍摄图像、以及作业对象候选的位置与作业对象候选各自的性能的组合在内的数据存储为学习数据461。
在后续的S1519中，用户判定是否已取得足够数量的学习数据(S1519)。在用户判定为未取得足够数量的学习数据的情况下(S1519：否)，处理返回S1519。此外在用户判定为取得了足够数量的学习数据的情况下(S1519：是)，学习数据的生成结束。
另外，中间层612也可以设为例如进一步将操作器20的控制参数(以下，称作操作器控制参数)r5,0作为输出层613的要素而求出的构成。在该情况下，例如对操作器控制参数(例如，操作器20抓住作业对象瞬间的从操作器20观察的搬运机30的行进方向的位置(0cm、±5cm、±10cm···±25cm等))也进行与S1514至S1518的循环相同的循环。此外在该情况下，在S1518中，学习数据生成部421存储包含拍摄图像、以及作业对象候选的位置、作业对象候选各自的性能及操作器控制参数的组合在内的数据作为学习数据461。
图16以及图17是说明第2实现方法中的学习模型462的生成处理(以下，称作个别学习模型生成处理)的流程图。以下，与这些图一同对个别学习模型生成处理进行说明。
如图16所示，首先学习模型生成部422设定学习模型(中间层612)的参数的初始值(固定了搬运机控制参数的初始值)(S1611)。
接着，学习模型生成部422对于当前设定中的参数的学习模型(以下，称作当前模型)求出后述的总差值(以下，称作当前模型总差值)(S1612)。
接着，学习模型生成部422对于设定了当前设定中的参数的周边的参数的学习模型(以下，称作周边模型)求出后述的总差值(以下，称作周边模型总差值)(S1613)。
接着，学习模型生成部422基于在S1612中求出的当前模型总差值与周边模型总差值，以当前模型总差值比当前小的方式更新当前模型的参数(S1614)。
在后续的S1615中，学习模型生成部422判定是否结束个别学习模型生成处理。在学习模型生成部422判定为不结束个别学习模型生成处理的情况下(S1615：否)，处理返回S1612，对更新后的参数的当前模型进行S1612之后的处理。在学习模型生成部422判定为结束个别学习模型生成处理的情况下(S1615：是)，学习模型生成部422将最终生成的学习模型存储为学习模型462，个别学习模型生成处理结束。另外，例如，在即使在S1614中更新参数，当前模型总差值也不收敛的情况(总差值的减少量为阈值以下的情况)下、S1612～S1615的反复执行次数达到预先设定的次数的情况下，学习模型生成部422判定为结束个别学习模型生成处理。
图17是说明图16的个别学习模型生成处理的S1612或者S1613的处理(求取当前模型总差值或者周边模型总差值的处理。以下，称作总差值计算处理)的流程图。
首先学习模型生成部422选择学习数据461包含的拍摄图像中未选择的一个图像(S1711)。
接着，学习模型生成部422使用设定中的参数(总差值计算处理的调用源是S1612时为当前模型的参数，总差值计算处理的调用源是S1613时为周边模型的参数)的模型(当前模型或者周边模型)，将S1711中选择的拍摄图像赋予输入层611来预测作业对象候选与性能所成的多个组(S1712)。
接着，学习模型生成部422对于预测出的上述作业对象候选与性能的各个组，求出选择中的拍摄图像与学习数据461的差值(S1713)。
接着，学习模型生成部422判定是否存在在S1711中未选择的拍摄图像(S1714)。存在未选择的拍摄图像时(S1714：是)，学习模型生成部422选择其他学习数据的拍摄图像并反复进行S1711之后的处理。不存在未选择的拍摄图像时(S1714：否)，学习模型生成部422基于针对全部的拍摄结果的分图像差值，计算针对当前的识别处理参数的总差值(S1715)。然后，结束总差值计算处理，处理向图16的个别学习模型生成处理的S1612或者S1613的处理之后的处理前进。
另外，如上所述，在中间层612设为进一步将操作器控制参数r5,0作为输出层613而求出的构成时，例如，也对各个操作器控制参数进行与对性能进行的S1612以及S1613相同的处理。
然而，在以上说明的识别处理的第2实现方法中，使用了固定了搬运机控制参数的学习模型，但与此相同，例如也可以使用固定了操作器控制参数的学习模型。在该情况下，按操作器控制参数的每个离散值准备学习模型462，对各个学习模型462，将拍摄图像作为输入，将作业对象候选位置与性能作为识别结果之一而输出。能够得到该输出的结果中的性能为最大的作业对象候选的学习模型462的操作器控制参数，成为操作器最优控制参数。
此外，也可以将性能的要素(搬运速度、作业成功率等)作为输出层603来生成学习模型462，对于性能，基于上述的要素(例如，将搬运速度与作业成功率相乘)来求出。
另外，在以上的实施方式中，使用了卷积神经网络的模型，但只要是有教师学习的模型即可，不限定于卷积神经网络的模型，例如也可以设为利用支持向量机、随机森林的其他模型进行机械学习的构成。
如以上说明那样，根据本实施方式的机器人作业系统1，在使用搬运机30利用操作器20(机器人)进行作业时，能够也考虑搬运机30的动作，使作为机器人作业系统1整体的作业的性能提高。
另外，本发明不限于上述实施例，也包含添附的权利要求书的主旨内的各种变形例及等同的构成。例如，上述的实施例是为了容易理解地说明本发明而详细说明的例子，本发明不限定于一定具备所说明的全部的构成。此外，也可以将某实施例的构成的一部分替换为其他实施例的构成。此外，也可以对某实施例的构成追加其他实施例的构成。此外，对于各实施例的构成的一部分也可以进行其他构成的追加、削除、或者置换。
此外，关于上述的各构成、功能、处理部、处理结构等，例如既可以通过在集成电路中设计等，从而由硬件实现其一部分或者全部，也可以通过处理器编译并执行实现各自的功能的程序，从而由软件实现。
实现各功能的程序、表格、文件等的信息能够存储在存储器、硬盘、SSD(固态驱动器：Solid State Drive)等的存储装置，或者IC(集成电路：Integrated Circuit)卡、SD卡、DVD(Digital Versatile Disc)的记录介质中。
此外，示出了认为在说明上有必要的控制线、信息线，不一定示出安装上必要的全部的控制线、信息线。实际上可认为几乎全部的构成彼此连接。
附图标记说明：
1机器人作业系统，2箱，5物品，6移动目的地，10信息处理装置，20操作器，21臂，23关节部，30搬运机，40拍摄装置，411拍摄处理部，412识别处理部，413作业对象决定部，414搬运机控制部，415操作器控制计划生成部，416操作器控制部，421学习数据生成部，422学习模型生成部，451拍摄图像，452识别结果，453搬运机控制参数，454操作器控制计划，461学习数据，462学习模型。

Claims (15)

1.一种机器人作业系统，是机器人对由搬运机搬运的作业对象进行作业的系统，
所述机器人作业系统具备具有处理器以及存储装置的信息处理装置，
所述机器人作业系统具备通过所述处理器读出并执行存储在存储装置中的程序而实现的以下各部：
识别处理部，基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的所述搬运机的控制参数；
作业对象决定部，基于所述组合，从所述作业对象候选中决定作业对象；
搬运机控制部，基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及
机器人控制计划生成部，基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。
2.如权利要求1所述的机器人作业系统，
所述作业对象决定部将所述组合中的所述性能为最大的所述作业对象候选，决定为作业对象。
3.如权利要求1所述的机器人作业系统，
所述性能是所述搬运机的搬运速度、所述作业的成功率、以及将所述搬运速度与所述成功率相乘而得的值中的至少任一个。
4.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置与所述搬运机最优控制参数的组合作为输出。
5.如权利要求4所述的机器人作业系统，
所述学习模型使用卷积神经网络而构成，
所述学习模型的中间层通过将所述拍摄图像作为输入来赋予，从而输出多个所述作业对象候选的位置与所述作业对象候选各自的所述搬运机最优控制参数。
6.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置、所述作业对象候选的所述搬运机最优控制参数与所述性能的组合作为输出。
7.如权利要求6所述的机器人作业系统，
所述学习模型使用卷积神经网络而构成，
所述学习模型的中间层通过将所述拍摄图像作为输入来赋予，从而输出多个所述作业对象候选的位置、所述作业对象候选各自的所述搬运机最优控制参数、以及所述性能。
8.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置、所述作业对象候选的所述搬运机最优控制参数、所述性能与机器人最优控制参数的组合作为输出，该机器人最优控制参数是使所述性能最大化的所述机器人的控制参数。
9.如权利要求8所述的机器人作业系统，
所述学习模型使用卷积神经网络而构成，
所述学习模型的中间层通过将所述拍摄图像作为输入来赋予，从而输出多个所述作业对象候选的位置、所述作业对象候选各自的所述搬运机最优控制参数、所述性能、以及所述机器人最优控制参数。
10.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置与固定了所述搬运机的控制参数的情况下的所述性能的组合作为输出。
11.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个所述作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置与固定了所述搬运机的控制参数的情况下的所述作业对象候选的所述性能及机器人最优控制参数的组合作为输出，该机器人最优控制参数是使所述性能最大化的所述机器人的控制参数。
12.如权利要求10所述的机器人作业系统，
所述识别处理部由按所述搬运机的控制参数的每个离散值准备的多个所述学习模型来实现。
13.如权利要求1至3中的任一项所述的机器人作业系统，
所述识别处理部由通过对学习数据进行学习而得的机械学习的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置与固定了机器人最优控制参数的情况下的所述性能的组合作为输出，该机器人最优控制参数是使所述性能最大化的所述机器人的控制参数。
14.如权利要求13所述的机器人作业系统，
所述识别处理部由按所述机器人的控制参数的每个离散值准备的多个所述学习模型来实现。
15.一种机器人作业系统的控制方法，是机器人对由搬运机搬运的作业对象进行作业的机器人作业系统的控制方法，
具有处理器以及存储装置的信息处理装置执行下述步骤：
基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的所述搬运机的控制参数；
基于所述组合，从所述作业对象候选中决定作业对象；
基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及
基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。
CN201910141331.XA 2018-03-02 2019-02-26 机器人作业系统、以及机器人作业系统的控制方法 Active CN110216649B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-037340 2018-03-02
JP2018037340A JP6873941B2 (ja) 2018-03-02 2018-03-02 ロボット作業システム、及びロボット作業システムの制御方法

Publications (2)

Publication Number Publication Date
CN110216649A true CN110216649A (zh) 2019-09-10
CN110216649B CN110216649B (zh) 2022-05-10

Family

ID=65685143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910141331.XA Active CN110216649B (zh) 2018-03-02 2019-02-26 机器人作业系统、以及机器人作业系统的控制方法

Country Status (4)

Country Link
US (1) US11065762B2 (zh)
EP (1) EP3534230B1 (zh)
JP (1) JP6873941B2 (zh)
CN (1) CN110216649B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112536794A (zh) * 2019-09-20 2021-03-23 株式会社日立制作所 机器学习方法、叉车控制方法及机器学习装置
CN112835358A (zh) * 2019-11-25 2021-05-25 丰田自动车株式会社 运送系统、学习完毕模型及其生成方法、控制方法及程序
CN115485638A (zh) * 2020-07-01 2022-12-16 三菱电机株式会社 控制参数调整系统、控制参数调整装置及控制参数调整方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120364B2 (en) * 2015-03-27 2018-11-06 GM Global Technology Operations LLC Self-corrective nut running for robotic applications
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11420325B2 (en) * 2018-03-05 2022-08-23 Omron Corporation Method, apparatus and system for controlling a robot, and storage medium
JP6810087B2 (ja) * 2018-03-29 2021-01-06 ファナック株式会社 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
JP6918756B2 (ja) * 2018-08-31 2021-08-11 ファナック株式会社 検出システム
JP7513381B2 (ja) * 2019-09-27 2024-07-09 ファナック株式会社 ワークを検出する検出システム
US11278997B2 (en) 2019-09-27 2022-03-22 Fanuc Corporation Machine system performing workpiece transport control
JP7423387B2 (ja) * 2020-03-31 2024-01-29 ミネベアミツミ株式会社 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
CN111906781B (zh) * 2020-07-08 2021-07-13 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
DE102020004813A1 (de) 2020-08-07 2022-02-10 Günther Zimmer Transportbehälter-Entladestation und Verfahren zum Entladen
CN112935772B (zh) * 2021-01-08 2022-06-07 佛山科学技术学院 视觉引导机器人拧螺丝的方法、装置、存储介质和设备
CN113172621B (zh) * 2021-04-13 2023-05-09 哈尔滨工业大学（威海） 一种面向scara机械臂的动力学参数辨识方法
USD996486S1 (en) * 2021-06-17 2023-08-22 Autostore Technology AS Remotely operated storage vehicle
CN113618709B (zh) * 2021-07-07 2023-12-29 浙江大学 一种用于智能产线的多模态力控无损抓取装置
KR102699125B1 (ko) * 2022-04-29 2024-08-28 (주)제스엔지니어링 확장현실 기반의 로봇을 이용한 의약품 운반 서비스 제공 시스템 및 방법
KR102464963B1 (ko) * 2022-05-25 2022-11-10 주식회사 애자일소다 데이터 기반의 물체 위치 최적화를 위한 강화학습 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
CN104395212A (zh) * 2012-07-20 2015-03-04 株式会社安川电机 机器人系统及物品移送方法
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
EP2998076A1 (en) * 2014-09-18 2016-03-23 Kabushiki Kaisha Yaskawa Denki Robot system and method for picking workpiece
JP2016060004A (ja) * 2014-09-18 2016-04-25 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01257586A (ja) * 1988-04-08 1989-10-13 Kobe Steel Ltd ロボットとコンベアの協働装置
MX2008014223A (es) * 2006-05-12 2009-01-29 Duerr Systems Gmbh Instalacion de recubrimiento y metodo de operacion asociado.
JP6522488B2 (ja) 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN109257929B (zh) * 2016-05-20 2022-04-26 Abb瑞士股份有限公司 改进的工业物体处置机器人
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
EP3456485B1 (de) * 2017-09-15 2021-02-17 Siemens Aktiengesellschaft Optimieren eines automatisierten vorganges zum auswählen und greifen eines objektes durch einen roboter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
CN104395212A (zh) * 2012-07-20 2015-03-04 株式会社安川电机 机器人系统及物品移送方法
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
EP2998076A1 (en) * 2014-09-18 2016-03-23 Kabushiki Kaisha Yaskawa Denki Robot system and method for picking workpiece
JP2016060004A (ja) * 2014-09-18 2016-04-25 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112536794A (zh) * 2019-09-20 2021-03-23 株式会社日立制作所 机器学习方法、叉车控制方法及机器学习装置
CN112835358A (zh) * 2019-11-25 2021-05-25 丰田自动车株式会社 运送系统、学习完毕模型及其生成方法、控制方法及程序
CN115485638A (zh) * 2020-07-01 2022-12-16 三菱电机株式会社 控制参数调整系统、控制参数调整装置及控制参数调整方法
CN115485638B (zh) * 2020-07-01 2023-12-29 三菱电机株式会社 控制参数调整系统、控制参数调整装置及控制参数调整方法

Also Published As

Publication number Publication date
US11065762B2 (en) 2021-07-20
US20190270200A1 (en) 2019-09-05
EP3534230A2 (en) 2019-09-04
CN110216649B (zh) 2022-05-10
EP3534230A3 (en) 2020-02-26
EP3534230B1 (en) 2022-05-11
JP2019150911A (ja) 2019-09-12
JP6873941B2 (ja) 2021-05-19

Similar Documents

Publication Publication Date Title
CN110216649A (zh) 机器人作业系统、以及机器人作业系统的控制方法
Yuan et al. Rearrangement with nonprehensile manipulation using deep reinforcement learning
US10207407B1 (en) Robotic operation libraries
US10173319B1 (en) Suggesting, selecting, and applying task-level movement parameters to implementation of robot motion primitives
CN109551476A (zh) 结合云服务系统的机器人系统
CN108712946A (zh) 货物摆放方法、装置、系统以及电子设备和可读存储介质
Luo et al. Collision‐free path‐planning for six‐dof serial harvesting robot based on energy optimal and artificial potential field
CN102317044A (zh) 产业用机器人系统
DE102019134794A1 (de) Handgerät zum Trainieren mindestens einer Bewegung und mindestens einer Tätigkeit einer Maschine, System und Verfahren.
CN116563491B (zh) 一种数字孪生场景建模及标定方法
WO2021122580A1 (de) Handgerät zum trainieren mindestens einer bewegung und mindestens einer tätigkeit einer maschine, system und verfahren
US10875176B2 (en) Process control using deep learning training model
CN115038554A (zh) 基于传感器的用于自主机器的复杂场景的构建
KR20240052808A (ko) 그래프 신경망을 이용한 다중 로봇 조정
CN117773913A (zh) 机器人控制方法、装置、存储介质及机器人
Tian et al. Fruit Picking Robot Arm Training Solution Based on Reinforcement Learning in Digital Twin
CN112292239B (zh) 用于计算机辅助地确定用于适宜操作技术系统的调节参数的方法和设备
Jiang et al. Respect your emotion: Human-multi-robot teaming based on regret decision model
US20230104802A1 (en) Control device, control method and storage medium
US20200201268A1 (en) System and method for guiding a sensor around an unknown scene
Sukhoruchkina et al. The information technology for remote and virtual practical researches on robotics
Rivera-Calderón et al. Online assessment of computer vision and robotics skills based on a digital twin
Tang et al. Comparison between normal waveform and modified wavefront path planning algorithm for mobile robot
Ganin et al. Redundant Manipulator Control System Simulation with Adaptive Neural Network and Newton-Raphson Refinement Algorithm
CN108427096A (zh) 在用于确定对象位置的装置中存储对象数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant