CN108602191B - 动作信息生成装置、动作信息生成方法以及记录介质 - Google Patents

动作信息生成装置、动作信息生成方法以及记录介质 Download PDF

Info

Publication number
CN108602191B
CN108602191B CN201780010891.0A CN201780010891A CN108602191B CN 108602191 B CN108602191 B CN 108602191B CN 201780010891 A CN201780010891 A CN 201780010891A CN 108602191 B CN108602191 B CN 108602191B
Authority
CN
China
Prior art keywords
motion
partial
job
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010891.0A
Other languages
English (en)
Other versions
CN108602191A (zh
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108602191A publication Critical patent/CN108602191A/zh
Application granted granted Critical
Publication of CN108602191B publication Critical patent/CN108602191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31449—Monitor workflow, to optimize business, industrial processes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36184—Record actions of human expert, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39137—Manual teaching, set next point when tool touches other tool, workpiece
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

提供自动生成用于高效地作业的最优动作的技术。动作信息生成装置包括：作业数据记录部，将从作业的开始至结束的人的动作的信息有关作为作业数据记录；动作分类部，将从作业的开始至结束的整体动作分为多个部分动作；以及动作合成部，从对于同一作业的作业数据的多个采样中，对于每个部分动作选择最优的部分动作，合成选择的所述最优的部分动作，从而生成作业整体的最优动作的数据。

Description

动作信息生成装置、动作信息生成方法以及记录介质
技术领域
本发明涉及用于生成并传承用于高效地进行作业的最优动作的技术。
背景技术
在制造业的现场等，如何使熟练技师(专家)技能传承的问题已经显现出来。因此，目前已经提出了支援熟练技师的技能传承的方法、将熟练技师的技能数字化的方法等(参照专利文献1～3)。
已知熟练技师向工业用机器人示范而进行教授的方法。也提出了通过机械学习让机器人自我学习的方法，但在获得规定的作业效率之前需要重复非常多的尝试，因此并不实用。因此，关于机器人的教授，大多情况下，相比机械学习，通过人的教授则更为高效。
现有技术文献
专利文献
专利文献1：日本特开2005-215314号公报
专利文献2：日本特开2007-275933号公报
专利文献3：日本特开2013-172193号公报
为了向机器人教授新的作业，首先，作业者本身必须多次地重复该作业，熟习该作业。因为如果不使机器人记忆熟练技师的高效的动作的话，则没有意义。但是，在有限的时间内找出新的作业的最优顺序，并熟习至能够将其再现的程度，即使对于该领域的专家来说也并非易事。在作业为复杂形状的构件的组装、动线复杂、作业步骤多的情况下等，更是如此。
此外，在这里的叙述中，以工业用机器人的教授为例进行了课题的说明，同样的课题在其他的技术领域或其他的应用程序中也会产生。
发明内容
本发明基于上述实际情况而作出，其目的在于提供自动地生成用于高效地进行作业的最优的动作的技术。
为了达成上述目的，本发明采用以下的结构。
本发明涉及的动作信息生成装置的特征在于包括：作业数据记录部，将从作业的开始至结束的人的动作有关的信息作为作业数据记录；动作分类部，将从作业的开始至结束的整体动作分为多个部分动作；动作合成部，从对同一作业的作业数据的多个采样中，对应各个部分动作选择最优的部分动作，合成选择的所述最优的部分动作，从而生成作业整体的最优动作的数据。根据该结构，从作业数据的多个采样，能够自动地生成既实现了作业整体的最优化也实现了各个部分动作的局部最优化的更为优良的最优动作(范本)。
动作信息生成装置还可以包括动作选择部，所述动作选择部从多次进行同一作业并记录的作业数据的多个采样中，选择作业效率优良的两个以上的优良采样，所述动作合成部使用所选择的所述两个以上的优良采样生成所述最优动作的数据。从而，能够去除包括无用的动作的采样，能够生成更高可靠性的最优动作。所述动作选择部可以对应于作业整体的作业时间，选择规定数量或者规定比例的采样作为所述优良采样。例如，所述动作选择部，可以从作业整体的作业时间最短的开始，顺序地选择规定数量或者规定比例的采样作为所述优良采样。
可以具有检测作业者的动作的一个以上的传感器，所述作业数据记录部记录从所述传感器得到的传感器数据。从而，能够自动地收集作业者的动作。并且，通过传感器数据，能够将作业者的动作作为客观的物理量捕捉。例如，所述传感器可以包括安装于作业者的身体的动作传感器。通过使用安装于作业者的身体的动作传感器，能够直接地且正确地捕捉作业者的身体的动作。
所述动作分类部可以基于所述作业数据检测作业者的身体的动作的变化点，基于所述动作的变化点将整体动作分为所述多个部分动作。从而，能够以妥当的单位进行部分动作的分类。
所述动作合成部可以通过使用规定的评价基准评价各采样的部分动作，选择所述最优的部分动作。例如，所述规定的评价基准可以包含部分动作的作业时间。并且，所述规定的评价基准包括作业品质、作业者的安全性、作业者的疲劳度、动作的再现容易性中的至少一个，也是优选的。
所述动作合成部可以具有部分动作整合部，所述部分动作整合部在将不同采样的第一部分动作和第二部分动作连接的情况下，使所述第一部分动作的最后的动作和第二部分动作的最初的动作整合。从而，能够生成动作更加顺畅且没有矛盾的最优动作。
此外，本发明能够作为具有上述结构或功能的至少一部分的动作信息生成装置来把握。动作信息生成装置既可以以单体的装置构成，也可以通过多个装置的组合构成。并且，本发明也可以作为包含上述处理的至少一部分的动作信息生成方法、或者，用于使计算机执行上述方法的程序、或者，非临时性记录上述程序的计算机能够读取的记录介质来把握。上述结构以及处理的各个，在不产生技术性矛盾的前提下组合而能够构成本发明。
发明效果
根据本发明，能够自动地生成用于高效地进行作业的最优的动作。
附图说明
图1为示出动作信息生成装置的硬件结构的外观图。
图2为示出动作信息生成装置的功能结构的框图。
图3为示意性示出作业和部分动作的关系的图。
图4为动作信息生成处理的流程图。
图5为示出组装作业的一例的图。
图6为作业数据记录部的流程图。
图7为作业数据记录部的GUI的示例。
图8为动作选择部的流程图。
图9中的图9A和图9B为示出动作分类部的内部结构的图。
图10为动作分类部的流程图。
图11为示出动作合成部的内部结构的图。
图12为动作合成部的流程图。
图13为示出最优动作的画面显示例的图。
图14为示出最优动作的画面显示例的图。
具体实施方式
本发明涉及的动作信息生成装置为用于基于多次记录了进行某个作业的人的动作的数据，自动地生成对于该作业的最优的动作(范本的动作)的装置。在以下叙述的实施方式中，举出了将本发明适用于工厂中的产品组装作业的最优化的示例，本发明的适用范围不限于此例。例如，能够适用于工艺品的制作、装置或系统的操作/运转/维护、手术的技巧或顺序等的、各种领域或应用程序中的最优动作(范本)的生成。并且，通过本发明涉及的装置生成的最优动作的数据，能够应用于机器人或各种装置的控制、专家的技能的存档、新人作业者等的教育工具、模拟的开发等的各种应用程序。
<动作信息生成装置的结构>
参照图1和图2，对于本发明的实施方式涉及的动作信息生成装置的整体结构进行说明。图1为示出动作信息生成装置的硬件结构的外观图，图2为示出动作信息生成装置的功能结构的框图。本实施方式的动作信息生成装置100，通过从安装于人110或者物111的传感器101取得传感器数据，分析进行作业的人110的动作，能够客观地评价更优良的动作。
(硬件结构)
动作信息生成装置100，作为主要的硬件，具有一个以上的传感器101和信息处理装置102而构成。
信息处理装置102例如能够通过具有处理器(CPU)、存储器、存储装置(硬盘、半导体磁盘等)、输入装置(键盘、鼠标、触摸屏等)、显示装置、通信装置等的硬件资源的通用的计算机构成。图2所示的动作信息生成装置100的功能，通过存储于存储装置的程序被载入存储器，由处理器执行而实现。此外，信息处理装置102既可以通过一台计算机构成，也可以通过由多台计算机进行的分散计算构成。并且，可以通过云服务器实现信息处理装置102的功能的一部分。并且，为了处理的高速化，也可以使用专用的硬件(例如，GPU或FPGA、ASIC等)实现信息处理装置102的功能的一部分或者全部。
传感器101为用于将进行作业的人110的动作作为数据记录的设备。只要能够直接地或者间接地检测或者推定人110的动作，可以使用任意的种类、方式的传感器。例如，传感器101中包括：感应人110的传感器、感应人110在作业中处理的物品(以下称为“作业对象”)111的传感器、感应人110和作业对象111之间的中介物的传感器等。以下，举出了传感器101的一例，动作信息生成装置100无需具备所有的传感器101，可以根据装置结构、作业的种类或内容、用途等设置必要的传感器101。
作为感应人110的传感器101，可以使用感应头部、视线、手、脚、身体等的动作的动作传感器。例如，通过使用安装于人110的左右手腕的加速度传感器或角速度传感器，能够检测出组装作业中的右手和左手的动作。进一步，通过将加速度传感器或角速度传感器安装于指尖，也能够检测出指尖的动作。通过解析由图像传感器(照相机)而非安装于人110的传感器拍摄的动画，也能够感应与人110的动作或周围的物品的关系。或者，通过由磁传感器或红外线传感器检知安装于人110的标记，也能够传感人110的动作。
并且，作为感应人110的传感器101，可以使用感应表情、眼睛的动作、脸的动作方式的脸图像传感器、通过安装于手、脚、颈部、身体等的身体各部位的电极感应肌肉的动作的肌电传感器、感应人110的视线的方向或注视的部位的图像传感器等。
传感器101的形式不限。例如，既可以使用智能手机所具备的传感器，也可以使用智能手表、智能眼镜等的可穿戴装置所具备的传感器。
作业对象111，在组装作业的情况下为作为组装对象的部件，在装置的操作、运转的情况下为其装置。由于作业对象111的状态对于人110的动作也会施加影响，因此，通过将感应作业对象111的状态的信息用作间接的信息，可能有助于人110的动作的正确的评价。例如，能够例示检测作业对象111的空间的位置的传感器、检测作业对象111的姿势的传感器、检测作业对象111的状态(加速度、温度、颜色、形状等的状态的变化)的传感器、检测作业对象111的环境状态(周围的温度、湿度等的关于环境的物理量或信息)的传感器等。
人110和作业对象111之间的中介物，在组装作业的情况下为用于组装的工具或装置。由于上述中介物的状态对于人110的动作也会施加影响，因此，通过将感应中介物的状态的信息用作间接的信息，可能有助于人110的动作的正确的评价。例如，能够例示检测中介物的空间的位置的传感器、检测中介物的姿势的传感器、检测中介物的状态(温度、颜色、形状等的状态的变化)的传感器、检测中介物的环境状态(周围的温度、湿度等的关于环境的物理量或信息)的传感器等。并且，可以使用检测通过人110的操作而作用于中介物的力、与中介物关联的物理量(加速度、振动、切削音等)等的传感器。例如，在为机动车的驾驶的情况下，可以通过安装于驾驶操作部的传感器，检测出转向操作、加速操作、制动操作、各种开关操作等。
(功能结构)
如图2所示，动作信息生成装置100包括：传感器信息输入部201、对象信息输入部202、邻接作业信息输入部203、作业数据记录部204、动作选择部205、动作分类部206、动作合成部207、动作评价部208、动作改善部209、数据转换部210、结果输出部211。
传感器信息输入部201为从传感器101取得传感器数据的功能。对象信息输入部202为取得作业对象111的信息(例如，部件ID、部件的内部信息或关系状态、装置的规格等)的功能。邻接作业信息输入部203为取得邻接作业的信息(例如，生产线上的上游工序、下游工序的作业的内容或进展等)的功能。作业数据记录部204为基于通过传感器信息输入部201、对象信息输入部202以及邻接作业信息输入部203取得的信息，将有关从作业的开始至结束的人的动作的信息(称为“作业数据”)记录于存储装置的功能。例如，通过使多个人分别几次进行相同的作业，记录作业者或熟练度不同的多个作业数据。
动作选择部205为从由作业数据记录部204记录的多个作业数据中选择优良数据的功能。动作分类部206为根据选择的作业数据，将作业的整体动作分割/分类为多个部分动作的功能。动作合成部207为在各个部分动作中选择最优的部分动作，通过将其合成而生成作为作业整体最优化的最优动作的功能。动作评价部208为评价通过动作合成部207生成的最优动作的功能，动作改善部209为根据需要进行最优动作的进一步的改善的功能。由于动作评价部208和动作改善部209的处理任意，因此，可以省略上述的功能部。
数据转换部210为将由动作合成部207生成的最优动作的数据转换为适合使用方法的形式的功能。结果输出部211为输出由数据转换部210转换的最优动作的数据的功能。
<作业的定义>
在本实施方式中，将“作业”定义为“人为了完成设定的目的(课题)而使用身体的一部分或者全部而进行的行为”。因此，在作业的实施过程中一定发生人的动作。并且，为了完成目的的手续或顺序设为任意，从而，在作业数据的记录时，由于实施作业的人或作业的熟练程度，可以在作业的实施过程中进行的动作方面产生某种程度的差异。
如在图3中示意性示出的，可以考虑在一个作业中有开始和结束，作业的整体动作通过连续的多个部分动作的组合而构成。某个部分动作对下一个部分动作施加影响。反过来说，中途的部分动作继承此前的动作的结果而进行。大多情况下，无法省略中途的部分动作。
在作业的实施中存在制约要件。例如，作为关于作业对象的要件，有关于作业对象的初始状态、中途经过状态、最终状态的要件、关于作业对象的状态的条件等。作为关于人(作业者)的要件，有身体不得进入危险的区域的动作范围的限制、人的动作速度的极限、人的动作精度的极限、动作性能、身体的部分(手、脚、手指等)的物理性大小等。作为关于中介物的要件，有不损伤作业者或作业对象的使用方法的限制等。此外，如果使最优动作机械地实施的话，还存在机械的性能、可动区域、动作成本等的要件。最优动作需要以满足上述的制约条件的方式生成。
<最优动作的生成方法>
接着，说明动作信息生成装置100进行的最优动作的生成方法的概要。图4示出动作信息生成处理的流程图。
(1)作业数据的记录
使作业者多次实施某一个作业，通过作业数据记录部204记录各个作业数据(步骤S400)。作业的开始和结束(数据记录的开始和结束)，既可以通过人按下按钮等指示，也可以基于传感器101的信号自动地判定。作业的实施，既可以一位作业者多次进行，也可以多位作业者分别一次或者多次地进行。为了发挥因人而异的操作顺序的不同、熟练度产生的技巧、技能，优选的是，使多位作业者分别实施多次。从而，关于同一作业，取得多个作业数据。以下，将各个作业数据称为“作业采样”或者简单地称为“采样”。
作业数据至少包括从传感器信息输入部201取得的传感器数据。并且，根据需要，作业数据有时也包括：从对象信息输入部202取得的作业对象的信息、从邻接作业信息输入部203取得的邻接作业的信息。
(2)采样的选择
通过作业数据记录部204收集了多个(例如，数十至数百个)作业采样之后，动作选择部205从多个作业采样中选出作业效率优良的采样(步骤S401)。该步骤为大概地汇总最优动作(范本)的候选的处理。例如，动作选择部205，可以使用规定的评价基准评价各采样的作业效率，从作业效率优良的采样起顺序地选择规定数量或者规定比例的采样(或者，也可以去除作业效率差的采样)。
通过这种选择操作，能够去除无用的动作多的作业采样。被选择的作业采样也可以称为包括有效的动作的采样(以下也称为“优良采样”)。不过，即使为最上位的作业采样，也不一定所有的部分动作都是最优的。因此，在之后的步骤中，根据在此选择的多个优良采样，通过组合最优的部分动作而进行生成最优动作(理想的范本)的处理。
(3)动作的分类
动作分类部206，通过解析由动作选择部205选择的作业采样，将从作业的开始至结束的整体动作分割/分类为多个部分动作(步骤S402)。
动作的分类，能够基于作业者的动作的分类或作业对象的中间状态的分类，或者其双方的分类而进行。作业者的动作为部分动作连续的一连串的动作。虽然作业者的动作在各个作业采样中稍有不同，但由于存在制约要件，因此，各部分动作为大致相同的动作。通过作业者的动作，作业对象从初始状态经由一连串的中间状态而成为最终状态。能够基于作业对象的位置、姿势、状态等的变化分类作业对象的中间状态。能够使用通过传感器101对于作业者的部分动作检测出的信息和通过传感器101对于作业对象的各个中间状态检测出的信息，进行动作的分类。
动作的分类能够基于动作的变化而进行。例如，通过安装于作业者的手的传感器，能够得到表示手的动作的信息(位置、方向、速度、角速度、加速度、角加速度等)的动作矢量的时序数据。当着眼于该动作矢量的变化点时，可知手的加速、减速、停止、方向转换等，因此，能够捕捉动作的变化(部分动作的切换)。或者，可以使用通过深度学习的分类技术。例如，使用作为深度学习技术的递归神经网络(RNN)，能够学习时序的数据。当将多个作业采样的各个时序数据作为学习数据付与、进行通过深度学习的学习时，适合分类的特征被自动地抽出，作业内的一连串的动作被自动地分类为规定的个数的部分动作。使用作业对象的中间状态进行动作的分类的情况下也能够适用相同的处理。例如，可以使用作业对象的状态(部件的组合、位置、姿势等)设定中间状态，将邻接的中间状态之间分割为规定个数的部分动作。这样，各部分动作成为同一状态间的迁移，因此，分类变得容易。此外，在本实施方式中，设定动作的分类通过数据解析自动地进行，也可以由人进行分类作业的一部分。
分类的结果、动作主体有时被分类为多个组。这种情况下，按照各个组进行以下的处理，选择最优的组。例如，在组装作业中，在部件的安装顺序不同的情况下或者通过不同的手进行作业的情况下等，被分类为多个组。如果达到人一定程度地熟习了该作业的阶段的话，则能够期待无用的部分动作减少。因此，多个组分别包含比较优良的作业。
在进行动作的分类时，可以使用从作业对象检测出的信息。并且，也可以加入从工具、致动器、其他机械等的中介物检测出的信息进行分类。例如，可以检测出工具的振动、反作用力、位置、工作状况等而用作分类信息。或者，可以使用相邻的机器人的传感器信息作为分类信息。也可以按照各个作业者的属性或作业对象的属性进行分类。分类只要为各个部分动作以同一基准被分类即可。不一定与人看到时的分类一致。当作业的变化多而无法分类至规定的分类数量的情况下，可以将一个作业分割为多个作业，对于各个分割作业进行分类。分类是否适当，能够使用属于同一分类的采样间的类似度进行评价。适当地分类的话，则采样间的类似度变高。
(4)动作的合成
动作合成部207，从多个优良采样中，对于各个部分动作选择最优的部分动作，合成选择的最优的部分动作，从而生成作业整体的最优动作的数据(步骤S403)。作为具体的方法有如下方法：以某一优良采样为基础，将其中的一部分的部分动作置换为其他的采样的更优良的部分动作的方法，和在各个部分动作中确定最优的采样，顺次地合成被确定的采样的部分动作的方法，可以使用任一的方法。在本实施方式中使用前者的方法。
首先，动作合成部207，从通过步骤S401选择的作业采样中，将作业时间最短的采样选作基础采样。通过将该基础采样中的一部分的部分动作置换为效率更高的其他采样的部分动作，作为整体能够形成最优动作。不过，当基础采样满足规定的条件时(例如，作业时间低于目标时间等时)，跳过步骤S403～S405的处理，可以将基础采样直接作为最优动作的数据输出。
接着，动作合成部207在各个部分动作中比较基础采样和其他采样的作业效率，如果有更优良的采样时则置换为该部分动作。例如，当各个采样中使作业对象从某一位置移动至其他位置的路径微妙地移动时，置换为最短距离的移动。
不过，由于人的动作会有差异，因此，即使进行同一作业也会做出不同的动作。与之伴随，作业对象的动作也会不同。因此，在置换部分动作的情况下，需要考虑下面的制约条件，以使得人的动作或作业对象的动作不会不连续。由于动作连续地进行，因此，前一个部分动作的最后和下一个部分动作的最初之间，人的身体的位置必须相同。关于作业对象的位置、姿势，前一个部分动作的最后和下一个部分动作的最初之间，也必须相同。并且，由于组装作业在三维空间内进行，因此，存在不同的物体不能占据相同位置、或者，物体必须避开其他物体移动等的空间上的制约。并且，人、作业对象的速度存在上限。并且，前一个部分动作的最后和下一个部分动作的最初之间，人或作业对象的速度(快慢和方向)必须相同。
在合成部分动作时，也可以以满足制约要件的方式使部分动作的一部分变形而连接。连接有人的动作的连接和作业对象的动作的连接。当连接人的动作或作业对象的动作时，有时存在前一个部分动作的最终状态和后一个部分动作的开始状态之间的位置、姿势不同的情况。这种情况下，可以以前后的部分动作之间位置、方向、速度等一致的方式，对于各部分动作的动作矢量进行微调整。
通过动作评价部208进行通过上述顺序生成的最优动作的评价(步骤S404)也是优选的。是否为最优动作的评价基准，最单纯的是，作业时间(从作业开始至结束所需要的时间)是否最短。除了作业时间之外，评价基准中也可以加入作业品质、安全性、疲劳度、再现容易性、对于对象施加的影响度等。此外，也可以评价在组装作业整体中其他施加的影响。
之后，动作改善部209根据需要对于最优动作进行微调整(步骤S405)。如果在步骤S404的评价中发现改善点的话，关于关联的部分动作，可以以评价结果改善的方式进行变更。作为改善方法有如下：置换为其他采样中包含的部分动作的方法；将应该改善的点明示作业者，通过使作业者再尝试作业而取得更优采样的方法；使部分动作的一部分变形而连接的方法等。通过客观地明示应该怎样地改善与作业中的哪个部分动作有关的动作，能够期待进一步的高效化。在此，示出了对于动作以作业时间最优化之后进行微调整的示例，也可以以一个评价函数同时评价多个评价基准。这种情况下，不需要改善步骤S405。
(5)数据的转换
数据转换部210，将通过上述顺序得到的最优动作的数据转换为适合输出目标的要求规格(使用方法)的形式(步骤S406)。被合成的最优动作的数据例如以表示人或作业对象的动作的矢量列被付与。具体而言，以表示各个单位时间内的位置以及方向的动作矢量的时序数据等的形式表现最优动作。如果使用最优动作的数据的装置或应用程序所要求的规格相同的话，则能够省略数据转换。
(6)结果的输出
结果输出部211输出合成的最优动作。可以考虑各种各样的输出的方法、输出目标、数据的使用方法。
例如，可以输出记录了最优动作的动作矢量的时序数据的电子文件。从而，在其他装置或应用程序中能够使用最优动作的数据。并且，结果输出部211可以在画面上图形表示动作矢量。由此，能够在通过传感器检测出的各个项目中确认动作的内容。也可以通过向部分动作付与名称或识别编号，确定部分动作而能够详细地确认。或者，也可以进行将合成的最优动作和各个作业者的各个动作或者平均动作比较的显示。
也可以将最优动作的动作矢量转换为通过三维CG的身体的动作，显示通过CG的最优动作的再现动画。从而，关于最优的采样或被合成的最优动作，能够通过动画确认人的动作或作业对象的动作。此时，通过将拍摄了各个作业者的作业的动画和通过CG的最优动作的动画并列地显示，能够找出作业效率最低的部分。这种显示适合作业者教育。
也可以将作业者的实时动作和最优动作比较，将比较结果通知作业者。例如，通过传感器监视作业者的动作，实时地与最优动作的数据相比较。当作业者的动作和最优动作之差比规定的阈值大时，从作业者所穿戴的传感器或可穿戴终端通过通知音或振动通知作业者的动作不适当的消息。根据这种结构，作业者能够实时地把握自身的动作是否沿着最优的动作。并且，通过重复作业，作业者关于部分动作的各个能够高效地习得最优的动作。
能够将最优动作的数据用作其他装置的控制数据。例如，能够将最优动作的数据转换为控制机器人或制造装置等的机械的数据并输出。从而，不需要以往人进行的机器人的教授。而且，能够将人类专家习得的技能或技巧传承给机械。
<实施例>
接着，以工厂中的组装作业为例，说明动作信息生成装置100的更详细的实施例。在该实施例中，能够将多个作业者实际进行组装作业而能够获得的知识见解传承给其他的作业者或机械。作业者中也可以包括人型机器人等的机械。
(组装作业)
评价能够将作业整体分为部分地进行。通过阶段性地推进评价，即使整体上为复杂的作业，各部分则成为比较简单的动作。例如，当为组装30个部件的作业时，中间状态的组合变得庞大，因此，无法容易地类推。但是，如果为按照3个部件的示例的话，则能够容易地类推效率良好的作业顺序。
例如，进行以下部分的分析。如图5所示，设定在具有三个孔的基座部件501上安装长度不同的三个部件502a、502b、502c的作业。在基座部件501上的孔501a、孔501b、孔501c中，分别插入部件箱503a中的部件502a、部件箱503b中的部件502b、部件箱503c中的部件502c并安装。由于基座部件501上前后地安装有框501d、501e，因此，部件502a、部件502b、部件502c的安装需要避开框501d、501e进行。
在该示例中，将部件502a经由位置504a通过近前的框501d的内部插入孔501a之后，将部件502b经由位置504b通过近前的框501d的内部插入孔501b，将部件502c经由位置504c通过近前的框501d的近前插入孔501c的作业顺序较快。通过将内部的部件502a先插入，使部件502c稍后，使部件502c回避近前框501d而移动至孔501c的位置的动作变得容易。
进行上述作业时的各传感器101的输出通过作业数据记录部204记录。当重复规定次数的作业时，各作业者会逐渐熟悉作业，因此，作业时间变短。不过，以最短时间进行了作业的作业者的组装动作并不一定最优。因为以部分动作的单位来看的话，有时存在其他作业者的部分动作更优的情况。
该示例的情况下，部件的组装虽然有四种，但不能使用无法保持组装状态的组装。在该例中，有安装三个部件的顺序的组合。各个安装顺序的作业性不同。这是由于先安装的部件会对后安装的部件的安装作业产生影响。例如，当先安装近前的两个时，近前的两个会碍事，因此，内侧安装的部件的安装作业的作业性会变差。
在工厂中，需要在各个作业中规定作业顺序。以往，通过人手事先制作作业顺序书，作业者按照被交付的顺序书进行作业。但是，在多品种少量生产的情况下，由于作业顺序涉及多个分支，因此，希望通过现场的学习发现效率高的作业顺序。与此对比，通过本实施例的装置，能够根据与进行实际的作业时的作业性相关联的各种传感器数据，评价效率更高的动作。
评价的作业的示例如下。在该例中，对于将三个部件502a、502b、502c安装于基座部件501的作业进行记录。被记录的一连串的动作如下。作业者，关于三个部件502a、502b、502c的各个，从部件箱中拿出部件，向基座部件501的孔接近，进行嵌入孔的动作。作业者在移动的途中避开其他物体而使部件移动。以接近孔之后嵌入孔的方式，匹配孔和部件的空间的姿势，接近沿着孔嵌入的位置关系。将部件的前端插入孔的入口。确认嵌入完成，松手。这种一连串的动作的各个作业速度对于整体的作业时间施加影响。一连串的动作通过多个传感器检测出，作为多维的矢量被记录。
(装置的动作)
(1)作业数据的记录
图6中示出作业数据记录部204的处理流程。首先，作业数据记录部204对于组装作业设定多个中间状态，制作中间状态的列表(步骤S600)。作业数据记录部204，如图7所示，将中间状态的列表700显示于显示装置，使作业者选择两个中间状态(步骤S601)。图7为分别选择“基座部件的设置”作为中间状态1(作业的开始点)，选择“组装棒状部件”作为中间状态2(作业的结束点)的示例。作业数据记录部204向作业者指示从被选择的中间状态1至中间状态2的作业的实施(步骤S602)。在图7的示例中，与促使作业的开始的消息701一起显示开始按钮702和结束按钮703。当作业者按下开始按钮702时，动作信息生成装置100开始从传感器101的各种传感器数据的取入。作业数据记录部204，基于从传感器101取入的数据，生成记录了从中间状态1至中间状态2的动作的作业数据，存储于存储装置(步骤S603)。进行作业数据的记录，直至作业者按下结束按钮703为止。
在本实施例中，通过穿戴于作业者的右手腕的动作传感器，将记录了每单位时间(例如，每0.1秒)的作业者的右手腕的位置以及方向的多维矢量的时序数据作为作业数据记录。例如，5位作业者分别进行10次作业，通过记录其动作，能够得到50个作业采样。
(2)采样的选择
图8中示出动作选择部205的处理流程。动作选择部205使用规定的评价基准，对于通过作业数据记录部204记录的50个作业采样从评价优良的采样起顺序地分类(步骤S800)。在本实施例中，按照作业时间短的顺序进行分类。不过，作为评价基准，可以使用评价作业的安全性或对于作业者或部件施加的影响的评价尺度。接着，动作选择部205，从50个作业采样之中选择评价优良的上位20％的采样(步骤S801)，使选择的采样形成列表(步骤S802)。在本实施例中，得到记述了按照作业时间短的顺序的10个采样的作业数据的列表。以下将被选择的评价优良的采样称为“优良采样”，将优良采样中的评价最优的称为“作业采样”。
(3)动作的分类
图9A中示出，作为动作分类部206的内部结构的一例，基于动作的变化将动作分类的情况的结构例。该动作分类部206包括：动作矢量抽出部901、变化点检测部902、类似点检测部903、分类生成部904、分类结果输出部905。
沿着图10的流程图说明动作分类部206的处理流程。首先，从列表读入一个优良采样的作业数据(步骤S1000)。动作矢量抽出部901从作业数据中读出记录了作业者的右手腕的位置以及方向的多维矢量的时序数据，通过将其进行时间微分而生成具有以速度及角速度为要素的动作矢量的时序数据(步骤S1001)。变化点检测部902通过解析动作矢量的时序数据，检测出作业者的动作的变化点(步骤S1002)。例如，能够将从停止状态开始动作时、停止动作时、使速度突然地上升/下降时、改变移动方向时等作为动作的变化点而检测出。变化点检测部902制作记述了检测出的变化点的变化点列表(步骤S1003)。通过关于所有的优良采样进行步骤S1000～S1003的处理(步骤S1004)，得到10个优良采样的各个的变化点列表。
接着，类似点检测部903参照变化点列表，关于作业采样中的变化点的各个，从其他优良采样中的变化点之中检测出动作的变化类似的类似点(步骤S1005)。这是在最优采样和剩余的优良采样之间探索动作的对应点的处理。既存在关于一个变化点未发现类似点的情况，也存在发现多个类似点的情况。在类似点的检测中能够使用伸缩匹配或遗传算法。类似点检测部903制作记述了对应于最优采样中的各变化点的类似点的类似点列表(步骤S1006)。
接着，分类生成部904，根据最优采样的变化点列表，将最优采样中的作业的整体动作分为多个部分动作(步骤S1007)。最优采样中包含的变化点少的话(例如为几个的话)，可以将以变化点区分的单位作为部分动作。在变化点的数量多的情况下(例如，数十个以上)等，可以从变化点列表所包含的变化点中抽出几个特异点，将以该特异点区分的单位作为部分动作。这种情况下，也可以将变化特别大的点、移动方向改变的点、在其他优良采样中存在类似点的点等优先地选作特异点。此外，用户也可以进行部分动作的分类作业的一部分。例如，将通过分类生成部904分类的部分动作提示于显示装置，使通过用户进行的修正(部分动作的整合或再分割)成为可能。
接着，分类生成部904，在将最优采样的动作矢量的时序数据分割为各个部分动作的数据的同时，基于类似点列表，关于其他优良采样的动作矢量的时序数据也分割为各个部分动作的数据(步骤S1008)。最后，分类结果输出部905制作部分动作列表并输出(步骤S1009)。部分动作列表为按照各个部分动作，记述了10个优良采样的动作矢量的数据的列表。
此外，至此说明了基于动作的变化分类动作的情况下的结构及处理的示例，也能够使用深度学习的技术进行动作的分类。这种情况下的动作分类部206，如图9B所示，能够通过输入优良采样的作业数据的作业数据输入部910、将输入的作业数据分类的深层递归神经网络911、基于分类结果制作部分动作列表并输出的分类结果输出部912构成。这种构成的情况下，也提示通过深层递归神经网络911进行的分类结果，使得通过用户进行的修正成为可能。
(4)动作的合成
图11中示出动作合成部207的内部构成的一例。动作合成部207包括：最优部分动作判定部1101、最优整体动作判定部1102、部分动作更新部1103、部分动作整合部1104、合成动作列表输出部1105。
沿着图12的流程图说明动作合成部207的处理流程。首先，最优部分动作判定部1101读入部分动作列表(步骤S1200)。并且，最优部分动作判定部1101使用规定的评价基准评价各采样的部分动作，制作记述了评价优良的一个或者规定数量的采样的最优部分动作列表(步骤S1201)。在本实施例中，从部分动作的作业时间短的采样起顺序地选择三个采样，将这些数据记述于最优部分动作列表。不过，作为评价基准，可以使用作业时间、作业品质、作业者的安全性、作业者的疲劳度、动作的再现容易性、对于对象施加的影响度中的一个或者多个评价尺度。通过对于所有的部分动作进行步骤S1200～S1201的处理，能够取得各个部分动作的最优的动作(局部最优解)的数据。
接着，最优整体动作判定部1102从10个优良采样中选择成为基础的基础采样(步骤S1203)。例如，可以将作业整体的作业时间最短的最优采样选作基础采样。或者，也可以将在通过步骤S1201制作的最优部分动作列表中登场次数最多的采样选作基础采样。
接着，部分动作更新部1103，从先头的部分动作开始顺序地比较基础采样的部分动作和最优部分动作列表的部分动作(步骤S1204)，在最优部分动作列表的部分动作更优的情况下(步骤S1205)，通过最优部分动作列表的部分动作置换基础采样的部分动作(步骤S1206)。在此，可以以在步骤S1201中使用的评价基准相同的基准判定哪个部分动作优良。不过，为了使后段的整合处理简单，优选不仅通过作业时间或作业品质等的评价基准单纯地判定，也考虑与前后的部分动作的整合性(连接的容易度)。步骤S1204～S1206的处理对于全部的部分动作进行(步骤S1207)。
在步骤S1206中进行了部分动作的置换的情况下，需要在与前后的部分动作之间进行动作的整合(连接)。因此，部分动作整合部1104进行不同的采样间的部分动作的整合(连接)(步骤S1208)。说明将采样1的部分动作A和采样2的部分动作B连接的示例。作业者为了顺畅且不矛盾地进行部件的组装作业，需要于部分动作A的最后和部分动作B的最初，至少作业者的手的位置、方向、速度以及作业对象的位置、姿势一致。因此，部分动作整合部1104，对于部分动作A的后半部分和部分动作B的前半部分的各个动作矢量进行微调整，使得动作矢量从部分动作A向部分动作B连续地变化。例如，通过遗传算法或曲线拟合等的方法，能够进行动作矢量的调整。在使用遗传算法的情况下，以手或作业对象的动作的平滑度为评价基准，通过比较各代的动作，使动作矢量的变化的方式最优化。
在如上所述地进行了部分动作的置换以及整合之后，合成动作列表输出部1105输出记述了各部分动作的动作矢量的数据的合成动作列表(步骤S1209)。该合成动作列表为表示前述的组装作业的最优动作的数据。按照通过合成动作列表规定的动作矢量进行作业的话，能够使作业时间最短。
也可以通过动作评价部208，使用其他评价基准评价合成动作列表的优劣。此时，既可以评价合成动作列表的作业整体，也可以评价构成合成动作列表的各个部分动作。作为有用的评价基准，能够例示以下的基准。
·“作业品质”作业品质高更优选。例如，可以使用组装后的组装精度、组装工序后的检查结果等作为评价尺度。
·“安全性”由于在组装作业中不能发生受伤或事故，因此，安全性高更优选。例如，可以使用作业者的身体或作业对象和其他物体之间的距离(干涉或冲突的危险性的高低)、作业者的身体和禁止进入区域间的距离、工具的使用方法等作为评价尺度。
·“疲劳度”作业者的疲劳度低更优选。例如，可以使用作业者的手的加速度的积分值、作业者的移动距离、感应血压/心率/血流等的身体的变化的结果等作为评价尺度。
·“再现容易性”即使通过合成制作了最优动作，但如果作业者或机器人不能再现该动作的话则没有意义。例如，可以将最大速度不过大、速度变化不过大、位置或姿势的容许误差大(即使稍微偏差也容易恢复)等用作评价尺度。
·“对于作业对象施加的影响”例如，可以将抓握部件时的位置或压力、组装中的变形、将作业对象至于台上时的冲击、作业中的温度变化等的对于作业对象施加的影响的大小用作评价尺度。
此外，也可以评价在组装作业整体中其他施加的影响。例如，由于载置于输送机时的作业对象的姿势等存在对于下游工序的影响，因此，可以加入评价尺度。并且，也可以将上述的多个评价尺度组合。在组合评价尺度的情况下，也可以加入权重。
动作改善部209可以根据需要改善合成动作列表的一部分。其原因在于，在以作业时间评价的情况下，可能通过动作合成部207生成的合成动作列表为最优，但当着眼于其他评价基准时，可能其他采样的动作会更优。例如，在合成动作列表中的某个部分动作的安全性未达到规定的水平的情况下，能够置换为安全性更高的其他的采样的部分动作。
(5)数据的转换
数据转换部210，将通过上述顺序得到的合成动作列表转换为适合输出目标的要求规格(使用方法)的形式。
(6)结果的输出
结果输出部211输出通过合成动作列表规定的最优动作。可以考虑各种各样的输出的方法、输出目标、数据的使用方法。
例如，可以直接输出将动作参数化的信息。图13为将作业者的手的水平面(XY平面)内的动作图形化并进行画面显示的示例。实线示出通过合成动作列表规定的最优动作，虚线示出某个作业者进行的动作。通过观察实线图形，能够把握最优的动作方式。并且，通过比较实线图形和虚线图形，能够容易地得知自己动作的无用功。
也可以基于合成动作列表生成通过三维CG的最优动作的再现动作并画面显示。图14为将通过三维CG的最优动作的动画和作为比较对象的作业者的组装作业的拍摄动画并列地显示的示例。通过观察比较两个动画，作业者能够把握自身的动作的改善点。在该画面中，可以强调显示最优动作和作业者的动作之差大的部分，并图形显示此时的动作。进一步，可以将动作之差或改善要点作为语言信息输出。例如，作为部件的拿起时的指出事项，通过表现为“抓住部件后向上提起时的速度缓慢。”，能够易懂地向作业者通知改善要点。
并且，可以输出动作的评价结果。针对各个部分动作，能够向画面输出以各种评价基准评价的结果。例如，不仅通过作业时间，也可以使用禁止动作的有无、向对象施加的负担、消耗能量的量等各种评价基准进行客观地判断。
结果输出部211可以以电子文件的形式输出各种数据。例如，为了之后的分析用，可以将各个作业数据或被最优化的动作作为电子文件输出，付与属性并登录于数据库。
并且，可以将最优动作的数据转换为机械的控制信息。从而，能够向机械传承资深作业者的技能。例如，通过传感器检测出工具的振动、反作用力、对象的颜色或温度等，将其用于作业的分类，从而，关于切削作业或焊接作业等的相比组装作业传承更困难的作业，也能够参数化并传承。例如，在资深作业者以在切削工序中反作用力增减的特定的现象、切削音变化的特定的现象为基点进行作业的情况下，通过将其反映至作业的分类，得以向机械传承。
根据以上叙述的本实施方式的动作信息生成装置100，能够以多个作业采样为基础，自动地生成既实现了作业整体的最优化也实现了各个部分动作的局部最优化的更为优良的最优动作(范本)。
此外，上述的实施方式的机构仅示出了本发明的一具体例，并没有限定本发明的范围。本发明在不脱离其技术思想的范围内，能够采用各种具体的结构。
本说明书公开的技术思想也能够特定为以下的发明。
(附记1)
一种动作信息生成装置，其特征在于，包括硬件处理器和存储程序的存储器，所述硬件处理器通过所述程序，将关于从作业的开始至结束的人的动作的信息作为作业数据记录，从作业的开始至结束的整体动作分为多个部分动作，从对于同一作业的作业数据的多个采样中，对于每个部分动作选择最优的部分动作，合成选择的所述最优的部分动作，从而生成作业整体的最优动作的数据。
(附记2)
一种动作信息生成方法，其特征在于，包括：通过至少一个硬件处理器，将关于从作业的开始至结束的人的动作的信息作为作业数据记录的步骤；通过至少一个硬件处理器，将从作业的开始至结束的整体动作分为多个部分动作的步骤；以及通过至少一个硬件处理器，从对于同一作业的作业数据的多个采样中，对于每个部分动作选择最优的部分动作，合成选择的所述最优的部分动作，从而生成作业整体的最优动作的数据的步骤。
符号说明
100：动作信息生成装置、101：传感器、102：信息处理装置、110：人(作业者)、111：作业对象
201：传感器信息输入部、202：对象信息输入部、203：邻接作业信息输入部、204：作业数据记录部、205：动作选择部、206：动作分类部、207：动作合成部、208：动作评价部、209：动作改善部、210：数据转换部、211：结果输出部211
501：基座部件、501a，501b，501c：孔、501d，501e：框、502a，502b，502c：部件、503a，503b，503c：部件箱、504a，504b，504c：位置
700：中间状态的列表、701：消息、702：开始按钮、703：结束按钮
901：矢量抽出部、902：变化点检测部、903：类似点检测部、904：分类生成部、905：分类结果输出部、910：作业数据输入部、911：深层递归神经网络、912：分类结果输出部
1101：最优部分动作判定部、1102：最优整体动作判定部、1103：部分动作更新部、1104：部分动作整合部、1105：合成动作列表输出部。

Claims (16)

1.一种动作信息生成装置，其特征在于，包括：
作业数据记录部，将从作业的开始至结束的人的动作有关的信息作为作业数据记录；
动作分类部，将从作业的开始至结束的整体动作分为多个部分动作；
动作合成部，从对同一作业的作业数据的多个采样中，对应每个部分动作选择最优的部分动作，合成已选择的所述最优的部分动作，从而生成作业整体的最优动作的数据；以及
数据转换部，将由所述动作合成部生成的所述最优动作的数据转换为用于控制机械的控制数据，
所述动作合成部具有部分动作整合部，所述部分动作整合部在将不同采样的第一部分动作和第二部分动作连接的情况下，使所述第一部分动作的最后的动作和第二部分动作的最初的动作整合。
2.根据权利要求1所述的动作信息生成装置，其特征在于，
所述动作信息生成装置还包括动作选择部，所述动作选择部从多次进行同一作业并记录的作业数据的多个采样中，选择作业效率优良的两个以上的优良采样，
所述动作合成部使用所选择的所述两个以上的优良采样，生成所述最优动作的数据。
3.根据权利要求2所述的动作信息生成装置，其特征在于，
所述动作选择部对应作业整体的作业时间，选择规定数量或者规定比例的采样作为所述优良采样。
4.根据权利要求3所述的动作信息生成装置，其特征在于，
所述动作选择部从作业整体的作业时间最短的开始依次选择规定数量或者规定比例的采样作为所述优良采样。
5.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述动作合成部通过使用规定的评价基准来评价各采样的部分动作，从而选择所述最优的部分动作。
6.根据权利要求5所述的动作信息生成装置，其特征在于，
所述规定的评价基准包括部分动作的作业时间、作业品质、作业者的安全性、作业者的疲劳度、动作的再现容易性中的至少一个。
7.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述部分动作整合部进行整合，以使在所述第一部分动作的最后和所述第二部分动作的最初之间，至少作业者或者作业对象的位置一致。
8.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述部分动作整合部调整所述第一部分动作和所述第二部分动作的动作矢量，以使动作矢量从所述第一部分动作至所述第二部分动作连续变化。
9.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述动作信息生成装置具有：检测作业者的动作的一个以上的传感器，
所述作业数据记录部记录从所述传感器得到的传感器数据。
10.根据权利要求9所述的动作信息生成装置，其特征在于，
所述传感器包括：安装于作业者的身体的动作传感器。
11.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述动作分类部基于所述作业数据而检测作业者的身体的动作的变化点，基于所述动作的变化点将所述整体动作分为多个所述部分动作。
12.根据权利要求1至4中任一项所述的动作信息生成装置，其特征在于，
所述动作分类部包括学习分类功能的深度神经网络。
13.根据权利要求1所述的动作信息生成装置，其特征在于，
所述控制数据为用于控制机器人或制造装置的数据。
14.一种动作信息生成方法，其特征在于，包括：
将从作业的开始至结束的人的动作有关的信息作为作业数据记录的步骤；
将从作业的开始至结束的整体动作分为多个部分动作的步骤；
从对同一作业的作业数据的多个采样中，对应每个部分动作选择最优的部分动作，合成选择的所述最优的部分动作，从而生成作业整体的最优动作的数据的步骤；以及
将所生成的所述最优动作的数据转换为用于控制机械的控制数据的动作合成步骤，
所述动作合成步骤还具有：在将不同采样的第一部分动作和第二部分动作连接的情况下，使所述第一部分动作的最后的动作和第二部分动作的最初的动作整合的步骤。
15.根据权利要求14所述的动作信息生成方法，其特征在于，
所述控制数据为用于控制机器人或制造装置的数据。
16.一种记录介质，其特征在于，
使计算机执行根据权利要求14所述的动作信息生成方法的各步骤。
CN201780010891.0A 2016-03-14 2017-03-10 动作信息生成装置、动作信息生成方法以及记录介质 Active CN108602191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-049623 2016-03-14
JP2016049623 2016-03-14
PCT/JP2017/009718 WO2017159562A1 (ja) 2016-03-14 2017-03-10 動作情報生成装置

Publications (2)

Publication Number Publication Date
CN108602191A CN108602191A (zh) 2018-09-28
CN108602191B true CN108602191B (zh) 2021-11-30

Family

ID=59850320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010891.0A Active CN108602191B (zh) 2016-03-14 2017-03-10 动作信息生成装置、动作信息生成方法以及记录介质

Country Status (5)

Country Link
US (1) US20180354127A1 (zh)
EP (1) EP3431229A4 (zh)
JP (1) JP6583537B2 (zh)
CN (1) CN108602191B (zh)
WO (1) WO2017159562A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316312A (zh) * 2017-11-08 2020-06-19 株式会社东芝 技能基础系统、技能模型化装置及技能流通方法
JP7128267B2 (ja) * 2018-04-26 2022-08-30 三菱電機株式会社 作業支援装置
JP7192251B2 (ja) * 2018-05-29 2022-12-20 富士通株式会社 情報処理装置、ロボット動作プログラム生成補助方法及びロボット動作プログラム生成補助プログラム
US11292133B2 (en) * 2018-09-28 2022-04-05 Intel Corporation Methods and apparatus to train interdependent autonomous machines
CN109816049B (zh) * 2019-02-22 2020-09-18 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
JP6993374B2 (ja) 2019-03-25 2022-01-13 ファナック株式会社 ロボット制御システム
JP2020175466A (ja) * 2019-04-17 2020-10-29 アズビル株式会社 教示装置及び教示方法
JP2020175467A (ja) * 2019-04-17 2020-10-29 アズビル株式会社 教示装置及び教示方法
JP7362037B2 (ja) * 2019-11-05 2023-10-17 オムロン株式会社 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
CN111531537B (zh) * 2020-05-07 2022-11-01 金陵科技学院 基于多传感器的机械臂控制方法
WO2022091571A1 (ja) * 2020-11-02 2022-05-05 三菱電機株式会社 作業手順更新装置、作業手順更新方法及びプログラム
EP4254100A1 (de) * 2022-03-31 2023-10-04 Siemens Aktiengesellschaft Verfahren zur überwachung eines produktionsprozesses, computerprogramm und datenträger

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0291965A1 (en) * 1987-05-21 1988-11-23 Kabushiki Kaisha Toshiba Method and system for controlling robot for constructing products
CN1277684A (zh) * 1998-08-21 2000-12-20 松下电器产业株式会社 机器人控制装置及其控制方法
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
CN1843710A (zh) * 2005-04-07 2006-10-11 精工爱普生株式会社 移动控制装置及方法、位置指挥装置及方法、控制程序
CN1918521A (zh) * 2004-02-03 2007-02-21 保罗·贝尔托拉 用于测量、数字化及或虚拟或在塑料、合成或纸质材料中再现三维物体外表面的电子光学照相系统
CN103003033A (zh) * 2010-04-23 2013-03-27 三星重工业株式会社 机器人系统的控制方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2853983A1 (fr) * 2003-04-17 2004-10-22 Philippe Bellanger Procede et dispositif d'interaction pour l'assistance au geste "metier-matiere"
JP2005215314A (ja) 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd シミュレーション装置、ノウハウ情報記録装置、保守作業ノウハウの抽出方法、原子力プラントにおける保守作業のシミュレート方法
JP4517048B2 (ja) 2006-04-07 2010-08-04 独立行政法人産業技術総合研究所 注湯トレーナーシステム
JP2007324910A (ja) * 2006-05-31 2007-12-13 Ricoh Co Ltd 撮影システム、撮影方法及び記録媒体
JP2009015529A (ja) * 2007-07-03 2009-01-22 Toshiba Corp 作業分析装置および方法
US9734464B2 (en) * 2007-09-11 2017-08-15 International Business Machines Corporation Automatically generating labor standards from video data
KR100995933B1 (ko) * 2008-09-01 2010-11-22 한국과학기술연구원 진화 알고리즘과 모방학습에 기초한 로봇의 동작 제어 방법
JP5525202B2 (ja) * 2009-07-30 2014-06-18 株式会社構造計画研究所 動作分析装置、動作分析方法及び動作分析プログラム
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
JP2011200997A (ja) * 2010-03-26 2011-10-13 Kanto Auto Works Ltd ロボットのティーチング装置及びティーチング方法
JP6178791B2 (ja) * 2011-09-02 2017-08-09 ブルックス オートメーション インコーポレイテッド ロボット移送装置の時間最適軌道
JP5998338B2 (ja) 2012-02-17 2016-09-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示システム
WO2014169182A2 (en) * 2013-04-12 2014-10-16 Dana Limited Vehicle and operator guidance by pattern recognition
JP6016760B2 (ja) * 2013-12-09 2016-10-26 三菱電機株式会社 作業確認システム
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US10110858B2 (en) * 2015-02-06 2018-10-23 Conduent Business Services, Llc Computer-vision based process recognition of activity workflow of human performer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0291965A1 (en) * 1987-05-21 1988-11-23 Kabushiki Kaisha Toshiba Method and system for controlling robot for constructing products
CN1277684A (zh) * 1998-08-21 2000-12-20 松下电器产业株式会社 机器人控制装置及其控制方法
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
CN1918521A (zh) * 2004-02-03 2007-02-21 保罗·贝尔托拉 用于测量、数字化及或虚拟或在塑料、合成或纸质材料中再现三维物体外表面的电子光学照相系统
CN1843710A (zh) * 2005-04-07 2006-10-11 精工爱普生株式会社 移动控制装置及方法、位置指挥装置及方法、控制程序
CN103003033A (zh) * 2010-04-23 2013-03-27 三星重工业株式会社 机器人系统的控制方法和装置

Also Published As

Publication number Publication date
EP3431229A4 (en) 2019-06-26
CN108602191A (zh) 2018-09-28
JP6583537B2 (ja) 2019-10-02
WO2017159562A1 (ja) 2017-09-21
EP3431229A1 (en) 2019-01-23
US20180354127A1 (en) 2018-12-13
JPWO2017159562A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
CN108602191B (zh) 动作信息生成装置、动作信息生成方法以及记录介质
Wang et al. Controlling object hand-over in human–robot collaboration via natural wearable sensing
CN108873768B (zh) 任务执行系统及方法、学习装置及方法、以及记录介质
CN111055279B (zh) 基于触觉与视觉结合的多模态物体抓取方法与系统
CN107150347B (zh) 基于人机协作的机器人感知与理解方法
JP6897037B2 (ja) 作業性評価装置
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
Ward et al. Activity recognition of assembly tasks using body-worn microphones and accelerometers
JP6386786B2 (ja) 複合システムの構成要素上で実行されるタスクをサポートするユーザの追跡
JP4752721B2 (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
EP2302581A1 (en) Finger shape estimating device, and finger shape estimating method and program
CN111684474A (zh) 运算装置、运算方法及其程序
JP2018051652A (ja) ロボットシステム
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
Calvo et al. Human activity recognition using multi-modal data fusion
EP2930653B1 (en) Identifying movements using a motion sensing device coupled with an associative memory
CN110826383B (zh) 分析系统、分析方法、程序以及存储介质
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
Vanc et al. Context-aware robot control using gesture episodes
Gu et al. Fine manipulative action recognition through sensor fusion
Akhshik et al. Pressure Sensor Positioning for Accurate Human Interaction with a Robotic Hand
WO2021039641A1 (ja) 運動言語化装置、運動言語化方法、プログラム及び運動記録装置
Menon et al. Towards a data-driven approach to human preferences in motion planning
RU2745380C1 (ru) Способ и система захвата объектов с помощью роботизированного устройства
JP7416199B2 (ja) 制御装置、制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant