CN107914124B - 具有机械学习部的操作辅助系统 - Google Patents

具有机械学习部的操作辅助系统 Download PDF

Info

Publication number
CN107914124B
CN107914124B CN201710908675.XA CN201710908675A CN107914124B CN 107914124 B CN107914124 B CN 107914124B CN 201710908675 A CN201710908675 A CN 201710908675A CN 107914124 B CN107914124 B CN 107914124B
Authority
CN
China
Prior art keywords
operator
unit
operation state
state
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710908675.XA
Other languages
English (en)
Other versions
CN107914124A (zh
Inventor
大场雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN107914124A publication Critical patent/CN107914124A/zh
Application granted granted Critical
Publication of CN107914124B publication Critical patent/CN107914124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40198—Contact with human allowed if under pain tolerance limit
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40409—Robot brings object near operator, operator places object in correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • General Factory Administration (AREA)
  • Numerical Control (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)

Abstract

本发明提供操作辅助系统，即使操作的方法和时机根据操作员的个人差异而不同，也灵活判断状况而辅助操作。操作辅助系统(1)具有：传感器部(2)，对操作员(5)的身体中至少一个部位的位置姿态进行检测：供给部(4)，向操作员(5)供给部件或者工具；以及单元控制器(3)，控制供给部(4)，单元控制器(3)具有：基于检测的位置姿态学习操作员(5)的操作状态并组建模型的机械学习部(31)、以及利用组建的模型而判断操作员(5)的操作状态的操作状态判断部(32)，供给部(4)基于判断的操作状态而选择部件或者工具，并基于至少一个部位的上述位置姿态，使部件或者工具的位置姿态发生变化。

Description

具有机械学习部的操作辅助系统
技术领域
本发明涉及具有机械学习部的操作辅助系统。
背景技术
以往，在生产现场中，在操作员进行装配操作的情况下，操作员自身需要到部件和工具等的保管场所取装配操作所需的这些部件和工具等。其结果，产生时间损耗，存在操作效率降低之类的问题。
为了解决上述问题，专利文献1公开了一种操作支援系统，其对操作员的位置进行统计性处理，从而预测操作状况，并根据该操作状况，供给部件和工具。
现有技术文献
专利文献
专利文献1：日本专利第5717033号公报
发明内容
发明要解决的问题
然而，在专利文献1中，不得不考虑根据操作员的个人差异而有可能发生变化的操作的方法和时机，并需要对在操作中有可能产生的各种状况进行预先假定。由此，需要进行每个操作员的手和脚的动作等与操作的各工序的精细的相互对应。
本发明是鉴于上述情况而做出的，其目的在于提供一种操作辅助系统，即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。
用于解决问题的方案
为了达到上述目的，本发明提供如下方案。
本发明的一个方案是一种操作辅助系统，具有：传感器部，对操作员的身体中至少一个部位的位置姿态进行检测；供给部，向所述操作员供给部件或者工具；以及单元控制器，控制该供给部，该单元控制器具有：机械学习部，基于检测的所述位置姿态学习所述操作员的操作状态并组建模型；以及操作状态判断部，利用组建的所述模型而判断所述操作员的操作状态，所述供给部基于判断的所述操作状态而选择所述部件或者工具，并基于所述至少一个部位的所述位置姿态，使所述部件或者工具的位置姿态发生变化。
根据上述本发明的一个方案中的操作辅助系统，利用传感器部检测操作员的身体中至少一个部位的位置姿态。基于该检测的位置姿态，利用单元控制器所具备的机械学习部，学习操作员的操作状态并组建模型。而且，使用组建的模型，利用单元控制器所具备的操作状态判断部，判断操作员的操作状态。而且，在供给部中，基于该判断的操作状态，选择应该向操作员供给的部件或者工具。而且，基于操作员的至少一个部位的位置姿态，使部件或者工具的位置姿态发生变化并向操作员供给部件或者工具。
如此，利用通过机械学习而组建的模型，对操作员的操作状态进行判断，因此即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助系统的导入容易性。
在上述本发明的一个方案的操作辅助系统中，利用所述机械学习部组建的所述模型，还可以作为利用经由网络与所述单元控制器连接的其他单元控制器组建的模型而共有。
通过如此，能够提高机械学习的学习效率。
在上述本发明的一个方案的操作辅助系统中，还可以是所述供给部具有机器人的结构。
在上述本发明的一个方案的操作辅助系统中，还可以是所述机械学习部具有神经网络的结构。
发明效果
根据本发明，起到如下效果：即使操作的方法和时机根据操作员的个人差异而不同，也能够灵活判断状况而辅助操作。另外，起到如下效果：能够提高操作辅助系统的导入容易性。
附图说明
图1是表示本发明的一个实施方式的操作辅助系统的概略结构的图。
图2是表示图1的操作辅助系统所具备的单元控制器的机械学习部的概略结构的框图。
图3是对机械学习部所具备的神经网络进行说明的模式图。
图4是表示在本发明的一个实施方式的操作辅助系统中执行的处理的流程图。
图5是表示在本发明的一个实施方式的操作辅助系统中使用的操作表的一例的图表。
图6是与图5的操作表相对应的状态转变图。
附图标记说明
1：操作辅助系统
2：传感器部
3：单元控制器
4：供给部
5：操作员
31：机械学习部
32：操作状态判断部
41：协作机器人
具体实施方式
下面，对本发明的一个实施方式的操作辅助系统，参照附图进行说明。
如图1所示，操作辅助系统1具有传感器部2、连接传感器部2的单元控制器3、以及连接单元控制器3的供给部4。
传感器部2具有多个作为视觉传感器的摄像机21，并构成为依次检测操作员5的身体的各部位(例如，手、脚、头等)的位置姿态。在本实施方式中，具有两台摄像机21，但具有一台以上的摄像机21即可。
单元控制器3基于由传感器部2检测出的操作员5的身体的各部位的位置姿态，判断操作员现处在何种操作状态。单元控制器3具有未图示的处理器、以及未图示的ROM(ReadOnly Memory)、RAM(Random Access Memory)等存储装置，并利用处理器对下述的各功能进行处理。单元控制器3具有作为功能块的机械学习部31、操作状态判断部32。
如图2所示，机械学习部31具有输入数据接收部311、标记获取部312、以及学习部313。
输入数据接收部311接收由传感器部2检测出的操作员5的身体的各部位的位置姿态作为输入数据，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用数据X＝{x1，x2，...xn}供给到学习部313中。
标记获取部312获取有教师的学习时所需的教师数据、即标记，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用标记D＝{d1，d2，...dm}供给到学习部313中。
学习部313基于输入数据接收部311的学习用数据X、以及用标记获取部312实施前处理之后的学习用标记D，组建学习模型(模型)3131。学习模型3131通过将大量的学习用输入数据X与学习用标记D的组提供给学习部313中而组建。
在组建学习模型3131时，使用如图3所示的神经网络。如图3所示，将中间层做成三层以上，从而适于进行通过深层学习的学习。
通过学习，对于提供给图3所示的神经网络的所有的学习用输入数据X与学习用标记D的组，确定误差||D－Y||2的合计为最小的权重W，并组建学习模型3131。
此外，提供给机械学习部31的输入数据，是操作员5的身体中至少一个部位的位置姿态，例如是手和脚的位置姿态。另外，提供给机械学习部31的标记是操作状态。而且，机械学习部31的输出、即、学习模型的输出Y＝{y1，y2，...ym}，例如是有可能为相应的操作状态的概率。
另外，如图2所示，学习模型3131也可以经由网络与其他单元控制器连接，作为该其他单元控制器所具备的机械学习部的学习模型而共有。
通过如此，能够提高学习模型3131的学习效率。
如图1所示，操作状态判断部32基于由传感器部2检测出的操作员5的身体的各部位的位置姿态、以及由机械学习部31组建的学习模型3131，判断当前的操作状态。
供给部4基于由单元控制器3判断的当前的操作状态，向操作员5提供工具或者部件。具体而言，供给部4具有协作机器人41、对协作机器人41进行控制的机器人控制装置42、以及放置台43。
在协作机器人41的臂前端部安装有作为末端执行器的手6和未图示的摄像机，协作机器人41根据来自机器人控制装置42的指令，把持放置台43上的部件，并提供给操作员5。
机器人控制装置42具有互相经由总线而连接的未图示的处理器、ROM(Read OnlyMemory)、RAM(Random Access Memory)等存储装置、在与协作机器人41之间进行各种数据的交换的外部接口等，利用处理器执行针对协作机器人41的控制命令。机器人控制装置42基于由单元控制器3判断的操作状态、储存于存储装置中的操作表、来自安装于协作机器人41上的摄像机的信息，控制协作机器人41。更具体而言，机器人控制装置42在储存于存储装置中的操作表内检索从单元控制器3接收的操作状态，并命令协作机器人41执行与相应的操作状态相互对应的机器人动作。另外，机器人控制装置42基于利用安装于协作机器人41上的摄像机进行拍摄的操作员5的手掌的图像，检测出手掌的位置姿态，并以针对每个部件和工具预先设定的坐标系和表现手掌的位置姿态的坐标系相一致的方式使协作机器人41进行动作。
放置台43是放置操作所需的工具和部件的台，但还可以是部件搁架、托盘、工具箱等。
另外，也可以不在协作机器人41上设置摄像机，而在固定位置上安装摄像机，并且摄像机与机器人控制装置42连接，然后基于来自摄像机的信息，把持放置台43上的部件，并向操作员5供给。
下面，对利用如上所述构成的操作辅助系统1进行的操作辅助方法，参照图1以及图4进行说明。
首先，利用传感器部2，依次测量操作员5的各部位的位置姿态(图4的步骤S1)。然后，利用单元控制器3的操作状态判断部32，基于所测量的操作员5的各部位的位置姿态，判断操作姿态(图4的步骤S2)。其次，利用机器人控制装置42，依次监控从单元控制器3接收的操作状态，判断操作状态是否已替换(图4的步骤S3)。在判断出操作状态无变化的情况下，重复步骤S1以及步骤S2，在判断出操作状态已替换的情况下，进入下一个处理。
若判断出操作状态已替换，则利用机器人控制装置42，在储存于存储装置中的操作表内检索替换之后的操作状态。而且，对协作机器人41发送控制命令，以使协作机器人41进行与相应的操作状态相互对应的机器人动作。
原则上，机器人动作是向操作员5供给工具或者部件的动作。从而，首先，协作机器人41按照来自机器人控制装置42的控制命令，从放置台43选择工具或者部件并利用手6进行把持，从而进行用于向操作员5供给工具或者部件的准备(图4的步骤S4)。
之后，利用安装于协作机器人41上的摄像机拍摄包含操作员5的手掌的图像，利用机器人控制装置42测量操作员5的手掌的位置状态(图4的步骤S5)。而且，利用机器人控制装置42控制协作机器人41，以操作员5的手掌的位置姿态与预先设定于工具或者部件上的坐标系相一致的方式，使协作机器人41进行移动(图4的步骤S6)。
接着，判断工具或者部件是否到达操作员5的手掌的位置(图4的步骤S7)。此外，该判断既可以基于利用协作机器人41的摄像机拍摄的图像而进行，也可以在协作机器人41的手6上安装力传感器，并基于来自该力传感器的反馈而进行。
在判断出未到达操作员5的手掌的位置的情况下，重复步骤S5以及步骤S6，在判断出已到达操作员5的手掌的位置的情况下结束处理。
实施例
下面，作为适用本实施方式的操作辅助系统1的实施例，举例说明以下操作，在一个底盘上用手安装一个盖，之后，利用一个旋具以及四个螺钉进行四个部位的螺纹紧固。
作为该操作的工序，如图5所示，包括盖安装工序、和螺纹紧固工序。盖安装工序中的操作员5的操作状态是等待底盘状态、等待盖状态、盖安装操作中的状态。螺纹紧固工序中的操作员5的操作状态是等待旋具状态、等待螺钉状态、螺纹紧固操作中的状态。由于有四个螺钉，因此等待螺钉状态以及螺纹紧固操作中的状态分别为各四个。
如图6所示，上述各操作状态通过预定的动作，在各操作状态之间转变。即，若利用协作机器人41供给底盘，则等待底盘状态转变为等待盖状态。若利用协作机器人41供给盖，则等待盖状态转变为盖安装操作中的状态。通过操作员5的操作结束，从而盖安装操作中的状态转变为等待旋具状态。若利用协作机器人41供给旋具，则等待旋具状态转变为等待螺钉状态。若利用协作机器人41供给螺钉，则等待螺钉状态转变为螺纹紧固操作中的状态。通过操作员5的操作结束，从而螺纹紧固操作中的状态转变为等待螺钉状态。在本实施例中，由于进行四个部位的螺纹紧固，因此重复四次的等待螺钉状态以及螺纹紧固操作中的状态之间的转变之后，完成操作。
在图5所示的操作表上，相对于各操作状态，相互对应有用于使该操作状态转变为其他操作状态的机器人动作。此外，由于盖安装操作中的状态以及螺纹紧固操作中的状态，通过操作员5的动作而转变为下一个状态，因此作为机器人动作，成为待机状态。只是，为了实现操作的效率化，优选选择工具或者部件并把持之后，进入待机状态，以便能够立刻向操作员5供给在下一个操作中使用的工具或者部件。
图5所示的操作表预先制作，并储存于机器人控制装置42的存储装置中。
在本实施例中，作为学习用数据X，使用对操作员5的手、头部以及脚尖的位置姿态进行正规化的数据。学习用标记D是对“等待底盘”、“等待盖”、“盖安装操作中”、“等待旋具”、“等待螺钉”以及“螺纹紧固操作中”这六个操作状态进行正规化的标记。将大量的这些学习用数据X与学习用标记D的组提供给学习部313，从而组建学习模型3131。
由此，在操作状态判断部32中，若对学习模型3131输入在实际操作中获取的操作员5的手、头部以及脚尖的位置姿态的数据，则作为输出Y，输出当前的操作处于何种操作状态的概率。操作状态判断部32判断具有最高概率的操作状态是当前的操作状态，并将当前的操作状态发送到机器人控制装置42。例如，在“等待底盘”的概率为最高的情况下，将“等待底盘”作为当前的操作状态并发送到机器人控制装置42。
机器人控制装置42从储存于内部的存储装置中的操作表中检索“等待底盘”，作为与此相互对应的机器人动作而得到“底盘供给”。然后，机器人控制装置42控制协作机器人41，以使协作机器人41进行“底盘供给”。
协作机器人41从放置台43拾取底盘，并向操作员5供给。在该情况下，以操作员5的手掌的位置姿态与预先设定于底盘上的坐标系相一致的方式，向操作员5供给底盘。
以相同的方式，反复进行上述的处理，直至操作表上的所有的操作状态结束。
如此，由于使用通过机械学习而组建的学习模型3131来判断操作员5的操作状态，因此即使操作的方法和时机根据操作员5的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员5与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助系统1的导入容易性。
如上所述，对本发明的实施方式参照附图进行了详细说明，但具体的结构不限于这些实施方式，还包含不脱离本发明的宗旨的范围的设计变更等。
例如，在上述实施方式中，由安装于协作机器人41上的摄像机拍摄了用于测量操作员5的手掌的位置姿态的图像，但代替安装于协作机器人41上的摄像机，也可以使用传感器部2所具备的摄像机21。

Claims (4)

1.一种操作辅助系统，其特征在于，具有：
传感器部，对包含操作员的手的各部位的位置姿态进行检测；
供给部，向所述操作员供给部件或者工具；以及
单元控制器，控制该供给部，
该单元控制器具有：
机械学习部，基于检测的所述位置姿态以及与所述操作员的操作状态相关的标记，学习所述操作员的操作状态并组建模型；以及
操作状态判断部，利用组建的所述模型而判断所述操作员的操作状态，
所述供给部基于所述标记的操作状态与所述供给部的动作相互对应的操作表、以及判断的所述操作状态而选择所述部件或者工具，并基于所述各部位的所述位置姿态，使所述部件或者工具的位置姿态发生变化。
2.根据权利要求1所述的操作辅助系统，其特征在于，
利用所述机械学习部组建的所述模型，作为利用经由网络与所述单元控制器连接的其他单元控制器组建的模型而共有。
3.根据权利要求1或2所述的操作辅助系统，其特征在于，
所述供给部具有机器人。
4.根据权利要求1或2所述的操作辅助系统，其特征在于，
所述机械学习部具有神经网络。
CN201710908675.XA 2016-10-07 2017-09-29 具有机械学习部的操作辅助系统 Active CN107914124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-198717 2016-10-07
JP2016198717A JP6662746B2 (ja) 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム

Publications (2)

Publication Number Publication Date
CN107914124A CN107914124A (zh) 2018-04-17
CN107914124B true CN107914124B (zh) 2021-11-19

Family

ID=61695695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908675.XA Active CN107914124B (zh) 2016-10-07 2017-09-29 具有机械学习部的操作辅助系统

Country Status (4)

Country Link
US (1) US10603793B2 (zh)
JP (1) JP6662746B2 (zh)
CN (1) CN107914124B (zh)
DE (1) DE102017123088B4 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675766B1 (en) * 2017-08-28 2020-06-09 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
IT201800006156A1 (it) * 2018-06-08 2019-12-08 Metodo di controllo predittivo di un robot e relativo sistema di controllo
WO2020066850A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 搬送システム、搬送装置の制御方法及びプログラム
JP6826086B2 (ja) * 2018-09-28 2021-02-03 ファナック株式会社 状態判定装置及び状態判定方法
US11077559B2 (en) * 2018-12-05 2021-08-03 Honda Motor Co., Ltd. Support robot and methods of use thereof
US10866579B2 (en) * 2019-03-01 2020-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Automated manufacturing process tooling setup assist system
JP6940542B2 (ja) * 2019-03-14 2021-09-29 ファナック株式会社 把持力調整装置及び把持力調整システム
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
JP7448327B2 (ja) 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
JP7362107B2 (ja) * 2019-09-30 2023-10-17 Ｊｏｈｎａｎ株式会社 制御装置、制御方法およびプログラム
JP2022156507A (ja) * 2021-03-31 2022-10-14 Ｊｏｈｎａｎ株式会社 ロボット制御システム、および制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
CN103249368A (zh) * 2010-11-11 2013-08-14 约翰霍普金斯大学 人机协作机器人系统
CN103347662A (zh) * 2011-01-27 2013-10-09 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂控制程序以及集成电路

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56135588A (en) * 1980-03-28 1981-10-23 Kunimine Kogyo Kk Bentonite for drilling mud and production thereof
JPS5717033A (en) 1980-07-02 1982-01-28 Mitsubishi Electric Corp Voltage stabilizing circuit
JPH01199753A (ja) * 1988-02-05 1989-08-11 Fanuc Ltd 工具交換の制御方法
JP2003080484A (ja) 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具
JP4630553B2 (ja) * 2004-01-15 2011-02-09 ソニー株式会社 動的制御装置および動的制御装置を用いた２足歩行移動体
JP2005219161A (ja) * 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP4682217B2 (ja) 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
US20080229255A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Apparatus, method and system for gesture detection
JP5022868B2 (ja) * 2007-11-16 2012-09-12 キヤノン株式会社 情報処理装置、情報処理方法
JP5201968B2 (ja) * 2007-12-10 2013-06-05 サンデン株式会社 コンプレッサトルク推定装置
JP4803212B2 (ja) * 2008-05-28 2011-10-26 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5336896B2 (ja) * 2009-03-24 2013-11-06 株式会社国際電気通信基礎技術研究所 対物行動推定装置およびサービス提供システム
CN104308849B (zh) 2009-05-22 2016-06-01 丰田自动车东日本株式会社 作业辅助机器人系统
US20130245882A1 (en) 2012-03-14 2013-09-19 Christopher P. Ricci Removable, configurable vehicle console
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
CN102402712B (zh) * 2011-08-31 2014-03-05 山东大学 基于神经网络的机器人强化学习初始化方法
JP2013184273A (ja) 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP5717033B2 (ja) * 2012-07-19 2015-05-13 トヨタ自動車東日本株式会社 作業支援システム
CN203062094U (zh) * 2012-12-31 2013-07-17 徐州润物科技发展有限公司 激光切割工业机器人
JP2015071206A (ja) * 2013-10-03 2015-04-16 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びプログラム
US9381642B2 (en) * 2014-01-13 2016-07-05 Massachusetts Institute Of Technology Wearable robot assisting manual tasks
JP6291922B2 (ja) * 2014-03-11 2018-03-14 アイシン精機株式会社 睡眠深度判定装置
WO2015178078A1 (ja) 2014-05-22 2015-11-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6397226B2 (ja) 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US9469028B2 (en) * 2014-09-30 2016-10-18 Toyota Jidosha Kabushiki Kaisha Robotic handover system natural for humans
JP6435581B2 (ja) * 2015-01-29 2018-12-12 パナソニックＩｐマネジメント株式会社 転移学習装置、転移学習システム、転移学習方法およびプログラム
CN104985599B (zh) * 2015-07-20 2018-07-10 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
CN105718857B (zh) * 2016-01-13 2019-06-04 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
CN105913117A (zh) * 2016-04-04 2016-08-31 北京工业大学 一种计算机智能识别的相关神经网络方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249368A (zh) * 2010-11-11 2013-08-14 约翰霍普金斯大学 人机协作机器人系统
CN103347662A (zh) * 2011-01-27 2013-10-09 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂控制程序以及集成电路
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《智能空间中人的行为识别与理解》;黄彬;《中国优秀博士学位论文全文数据库信息科技辑》;20100815;正文第70-72页 *

Also Published As

Publication number Publication date
DE102017123088B4 (de) 2021-01-28
DE102017123088A1 (de) 2018-04-12
US20180126558A1 (en) 2018-05-10
US10603793B2 (en) 2020-03-31
JP2018058178A (ja) 2018-04-12
JP6662746B2 (ja) 2020-03-11
CN107914124A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107914124B (zh) 具有机械学习部的操作辅助系统
US11084168B2 (en) Article stacking apparatus and machine learning apparatus
CN107921620B (zh) 远程操作机器人系统
CN104589354B (zh) 机器人控制装置、机器人系统以及机器人
JP4235214B2 (ja) ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
JP2020055096A (ja) 情報処理装置、情報処理方法及びシステム
US11305427B2 (en) Robot system and robot control method
JP6811465B2 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
JP2009110190A (ja) ワーク搬送用ロボットの制御装置
JP2011067941A (ja) 人間型ロボットのための視覚認知システムおよび方法
WO2020022302A1 (ja) 把持装置
US20200122325A1 (en) Robot system and robot control method
JP6959762B2 (ja) 遠隔操作ロボットシステム
US10960550B2 (en) Identification code reading apparatus and machine learning device
US20220111533A1 (en) End effector control system and end effector control method
JP2014128840A (ja) ロボット制御システム
JP5787646B2 (ja) ロボットシステム及び部品の製造方法
US20180215044A1 (en) Image processing device, robot control device, and robot
CN114454176B (zh) 机器人的控制方法、控制装置、机器人和存储介质
JP4715296B2 (ja) ロボットハンドの持ち替え把持制御方法。
CN112743537A (zh) 注释装置
JP2015160292A (ja) ロボット制御装置、ロボットおよびロボット制御方法
JP2020097072A (ja) 制御装置、及び学習装置
JP2022155623A (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
JP2015168050A (ja) ロボット制御装置、ロボットおよびロボット制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant