CN111194452B - 动作预测系统及动作预测方法 - Google Patents

动作预测系统及动作预测方法 Download PDF

Info

Publication number
CN111194452B
CN111194452B CN201880039071.9A CN201880039071A CN111194452B CN 111194452 B CN111194452 B CN 111194452B CN 201880039071 A CN201880039071 A CN 201880039071A CN 111194452 B CN111194452 B CN 111194452B
Authority
CN
China
Prior art keywords
data
motion prediction
surrounding environment
learning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880039071.9A
Other languages
English (en)
Other versions
CN111194452A (zh
Inventor
莲沼仁志
榎本雅幸
藤森润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN111194452A publication Critical patent/CN111194452A/zh
Application granted granted Critical
Publication of CN111194452B publication Critical patent/CN111194452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

自动运行系统(5)，具备多个学习完毕模仿模型(61)和模型选择部(35)。学习完毕模仿模型(61)，是通过利用分类系统(51)的自动分类演算法将工作履历数据分类为多个组，且使与该组对应的模仿模型(61)对每个组进行机械学习而被建构。工作履历数据，包含显示周边环境的数据、和显示操作人员在该周边环境中的操作的数据。模型选择部(35)根据利用分类系统(51)的自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个模仿模型(61)中选择一个模仿模型(61)。自动运行系统(5)，将显示周边环境的数据输入通过模型选择部(35)选择的模仿模型(61)，预测操作人员对该周边环境的操作。

Description

动作预测系统及动作预测方法
技术领域
本发明主要涉及一种通过机械学习来预测人类的动作的系统及方法。
背景技术
过往，通常是通过预先制作的程序来控制机器人和大型设备等控制对象物，使其等执行所期望的动作。例如，专利文献1公开了一种结构，其中该机器人的控制部具备：CPU；ROM，其储存有用以控制机器人的程序；和RAM，其储存有以机器人语言编写的程序，用来供机器人执行工作。
[现有技术文献]
[专利文献]
专利文献1：日本特开平7-134605号公报
发明内容
[发明所要解决的技术问题]
在现有的结构中，用以使机器人等运动的程序，是通过在人理解工作的基础上对运动方式进行程序设计而被实现。然而，此种方法，大多需要在程序的制作及其调整上花费时间。
另外，为了回应下面的需求、即取代人类而使机器人自动进行伴随有接触零件等的工作或者在大型设备中自动进行根据操作者目视观察的状况而进行的运行操作，有时也必须以程序来实现基于熟练人员的经验或直觉的运动方式，因而需要大量的反復试验。另外，虽然也有通过进行以语言等明文规定人的经验或直觉的工作而使程序设计变得容易的方法途径，但即使被语言化有时也会有不能正确地表现语意的情形，在所谓程序的方法中，存在有许多不能实现良好控制的情况。
有鉴于此，本发明的主要目的，在于提供一种能够有效地实现犹如熟练人员进行的操作的自动化。
[解决问题所使用的技术方案及效果]
本发明所要解决的问题，诚如上面的说明，下面对用以解决此问题的手段及其功效进行说明。
根据本发明的第一观点，提供以下结构的动作预测系统。也就是说，该动作预测系统，具备多个学习完毕动作预测模型、和模型选择部。所述动作预测模型，通过利用自动分类演算法将学习用动作事例数据分类为多个组，且使与该组对应的动作预测模型对每组进行机械学习而被建构。所述学习用动作事例数据，包含显示周边环境的数据、和显示人在该周边环境中的动作的数据。所述模型选择部，根据下面的结果即利用所述自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个所述动作预测模型中选择一个动作预测模型。所述动作预测系统，将显示所述周边环境的数据输入通过所述模型选择部选择的所述动作预测模型，预测人对该周边环境的动作。
根据本发明的第二观点，提供以下的动作预测方法。也就是说，该动作预测方法，包含分类工序、学习工序、模型选择工序、和预测工序。在所述分类工序中，利用自动分类演算法将学习用动作事例数据分类为多个组，该学习用动作事例数据，包含显示周边环境的数据、和显示人在该周边环境的动作的数据。在所述学习工序中，在具有多个动作预测模型的电脑中，使与该组对应的动作预测模型，对属于在所述分类工序中被分类的每组的所述学习用动作事例数据进行机械学习，以建构多个学习完毕动作预测模型。在所述模型选择工序中，根据下面的结果即利用所述自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个所述动作预测模型中选择一个动作预测模型。在所述预测工序中，将显示所述周边环境的数据输入在所述模型选择工序中被选择的所述动作预测模型，预测人对该周边环境的动作。
由此，可以适宜取入有可能不适合在语言化及程序上表现的熟练人员的技术及技能的形式，短时间且低成本地实现自动化。另外，通过限定一个动作预测模型所学习的对象，能够进行有效率的学习。
根据本发明，能够有效地实现犹如熟练人员进行的操作的自动化。
附图说明
图1是显示在主从式的机器人远程操作系统中收集与机械手臂的工作相关的工作履历数据的结构的示意图；
图2是显示将工作履历数据分类且使对应的模仿模型学习的工作的示意图；
图3是显示第一实施方式的自动运行系统的框图；
图4是显示建构及运用自动运行系统的工作的工序流程图；
图5是显示在垃圾焚化炉的操作系统中收集与垃圾焚化炉的运行相关的运行履历数据的结构的示意图；
图6是显示将工作履历数据分类且使对应的模仿模型学习的工作的示意图；和
图7是显示第二实施方式的自动运行系统的框图。
具体实施方式
下面，参照附图说明本发明的实施方式。图1是显示在主从式的机器人远程操作系统中收集与机械手臂12的工作相关的工作履历数据的结构的示意图。图2是显示将工作履历数据分类且使对应的模仿模型61学习的工作的示意图。图3是显示第一实施方式的自动运行系统5的框图。图4是显示建构及运用自动运行系统5的工作的工序流程图。
图1显示以下的状况：为了实现机械手臂12的自动运行，在主从式的机器人远程操作系统中，取得操作人员21手动远程操作机械手臂12，对工件11进行各种各样的工作的工作履历。
在该机器人远程操作系统中，操作人员21通过操作配置在操作场所的主动臂22，对作为从动臂的机械手臂12提供指示。
主动臂22是作为公知的多关节型机器人而构成。在主动臂22的各关节上设置有省略图示的致动器(例如，电动马达)，该致动器用来以该关节为中心而驱动臂部。
在主动臂22具有的臂部的前端设置有供操作人员21握持进行操作的握把22a。在主动臂22设置有未图示的操作力检测传感器，该操作力检测传感器，能够检测操作人员21对主动臂22施加的操作力。主动臂22通过操作人员21施加的操作力与所述致动器施加的力的合力而进行运动。
机械手臂12与主动臂22相同，作为公知的多关节型机器人而构成。在机械手臂12的前端部安装有直接接触于工件11而作用的终端效应器12a。
在机械手臂12上设置有未图示的反力检测传感器，该反力检测传感器，能够检测因终端效应器与外部环境(具体为工件11)接触而受到的反力。机械手臂12通过从外部环境施加的反力、与用以驱动机械手臂12的各关节的未图示的致动器施加的力的合力而进行运动。
机械手臂12及主动臂22，能对控制部31进行各种信号的输入输出。控制部31是由公知的电脑构成，具有CPU、ROM、RAM、HDD等构成。另外，在所述HDD等通过预先进行安装工作而记忆有各种的软件。该软件包含用以控制机械手臂12及主动臂22的控制应用软件、和用以取得在本发明中为了学习的目的而使用的数据(后述的工作履历数据)的数据收集应用软件。
控制部31一方面以追踪根据操作人员21的操作力的主动臂22的运动的方式驱动机械手臂12的致动器，另一方面以传递机械手臂12所受到的反力的方式驱动主动臂22的致动器。由此，能够实现相互作用的操作，操作人员21能够一面感受通过主动臂22而被虚拟提示的力感，一面使用该主动臂22实时地对机械手臂12进行远程操作。
在机械手臂12的工作区设置有未图示的照相机，照相机摄影的映像，经由控制部31被实时地传送至设置在操作人员21近旁的显示器23。操作人员21能够一面观察显示器23的映像来确认状况，一面操作主动臂22。
在如此的主从式的机器人远程操作系统中，当熟悉工作的操作人员21进行操作时，操作人员21能够根据观察所知的周边状况，适宜且合理地以精练的动作方式进行机械手臂12的工作。从传承通过经验累积而获得的技艺的意义上讲，也希望在自动运行中实现此种的操作人员21的优异技术及技能。
因此，在本实施方式中，作为用以实现自动运行的準备，取得精通工作的操作人员21使用图1的机器人远程操作系统而使机械手臂12进行多种多样的工作时的工作履历，以作为工作履历数据(学习用动作事例数据)。作为工作履历数据的取得对象的工作，例如能够是将工件插入其他工件的工作、搬运工件的工作、发现工件的不良等的工作等，但不限于这些。获得的工作履历数据，被储存在控制部31具备的HDD等适宜的记忆媒体内。
工作履历数据，大致上由显示操作人员21的周边环境的数据、和显示操作人员21在该周边环境中进行的操作的数据构成。
显示周边环境的数据，是一种表现能被操作人员21察知的周边状况的数据，且包含有机械手臂12的位置的数据、工件11的位置的数据、和反力传感器检测的反力的数据。该周边环境数据，能够作为多元矢量来表现。
其中，机械手臂12及工件11的位置的数据，例如能够通过对以前述照相机摄影的映像进行图像处理而获得。只是，机械手臂12的位置的数据，例如也能够根据机械手臂12的各关节具备的省略图示的位置传感器的输出值来生成。照相机也能够被视作为光传感器的复合体，因此，综上所述，周边环境数据也能够换称为传感器取得的信息(传感器信息)。
显示操作人员21进行的操作的数据，包含有以时序表现主动臂22的位置(换句话说，根据操作人员21的操作的动作指令)的数据。该数据能够通过反復进行以下的处理而收集，即：控制部31监视动作指令，且将检测出的动作指令连同以控制部31具有的省略图示的计时部(例如，计时器)取得的时间信息一起进行记忆。该信息能够为显示人的动作的信息。该动作指令的数据，能够作为多元矢量来表现。
获得充分数量的工作履历数据后，如图2所示，将该工作履历数据输入分类系统51并进行分类。该分类系统51，通过将实现该分类系统51的软件安装在适宜的电脑上而被实现。该软件包含有用以实现本发明的分类工序的程序。
分类系统51使用自动分类演算法的一种即例如聚类法，将大量的工作履历数据分类为多个组。其中的分类，是以显示周边环境的数据为基准而进行(动作指令的数据不包含在分类的基准内)，本实施方式中，根据工作的工序的观点来进行。作为聚类法，例如能够采用NN法、K-Means法、自我组织映射(SOM)等，但不限此。另外，也能够使用聚类以外的自动分类演算法，对工作履历数据进行分类。
假定通过该分类将工作履历数据分类为n个组的工作履历数据。将工作履历数据分割为多少个组，只要考虑工作履历数据的数量、工作的复杂度、后述的学习所需要的时间等而适宜决定即可。以下的说明中，有时会将被分类的工作履历数据的每组分别称为工序1的工作履历、工序2的工作履历、…，但这并非显示被分类的工作履历数据所示的工序的时间顺序(例如，显示在工序1之后进行工序2的情况)。
其次，将每组的工作履历数据输入模仿系统(动作预测系统)52，进行学习。该模仿系统52，通过将实现该模仿系统52的软件安装在适宜的电脑上而被实现。该软件包含有用以实现本发明的学习工序的程序。若该电脑具备GPU，则能有效地进行机械学习，在这点上可作为优先选项。
模仿系统52包含有与通过所述分类系统51将工作履历数据分类后的组数相同数量(即，n个)的模仿模型61。实际上，可以认为一个模仿模型61相当于将操作人员21的技术及技能细分为数个的中的一个。另外，各模仿模型61，与以工作的工序的观点分类的工作履历数据的每组对应。各模仿模型61相互独立，且能单独进行工作履历数据的学习。
在此结构中，将每组的工作履历数据(即，工序1的工作履历、工序2的工作履历、…)输入对应的模仿模型61，使其学习此时的操作人员21的操作。作为为了此目的的方法，能够采用适合学习时序数据的公知的机械学习方法(例如，回归式神经网路、状态空间模型等)。通过该学习阶段，在模仿系统52中建构多个学习完毕模仿模型61，各模仿模型61能够获得周边环境、和此时的操作人员21的操作的相关数据。
由此，根据本实施方式的方法，能够根据工作履历数据，学习周边状况、及此时熟练的操作人员21进行的操作(应进行的操作)。因此，由于不需要在人理解后通过程序来表现根据经验丰富的操作人员21进行的状况的操作，因此能够减少工时及成本。
另外，根据本实施方式的方法，通过预先将工作履历数据分类为多个组，且以多个模仿模型61分担进行学习，能够减少一个模仿模型61进行机械学习的工作履历数据的数量。其结果，能够适宜限定各个模仿模型61学习的对象，因此能够有效地减少学习所需的时间，从而能够有效地建构学习完毕模仿模型61。
完成模仿模型61的学习后，转移至实际的运用。在图3所示的实际运用的系统即自动运行系统(动作预测系统)5中，在用以自动运行机械手臂12的控制部32内组入有分类系统51及模仿系统52。
具体说明如下，控制部32除了模仿系统52外，还具备模型选择部35、评价部36和追加学习部37。并且，模型选择部35具有分类系统51。
控制部32与图1所示的控制部31同样地作为公知的电脑而构成，具有CPU、ROM、RAM、HDD等结构。另外，在所述HDD等通过预先进行安装工作而记忆有各种软件。该软件包含有用以实现机械手臂12的自动运行的自动运行应用软件。另外，该自动运行应用软件，包含实现本发明的模型选择工序、预测工序、评价工序和追加学习工序的程序。
根据以上的硬件及软件的协力工作，能够使控制部32作为分类系统51、模仿系统52、模型选择部35、评价部36、追加学习部37等而发挥作用。
作为模型选择部35具备的分类系统51，使用与图2中对工作履历数据进行分类的分类系统51相同的结构者。另外，模仿系统52包含通过前述学习阶段而建构的多个(n个)学习完毕模仿模型61。
在实际运用中，将机械手臂12的位置的数据、工件11的位置的数据、和反力传感器检测的反力的数据输入模型选择部35具备的分类系统51。在假定具有包含被输入的所述数据(显示周边环境的数据)的工作履历数据的情况下，分类系统51判定该工作履历数据被分类为所述n个组中的哪一个组。模型选择部35将该判断结果输出至模仿系统52。
在模仿系统52中，根据自模型选择部35输入的分类结果，自n个模仿模型61中选择与被分类的组对应的模仿模型61(模型选择工序)。
然后，在模仿系统52中，对选择的模仿模型61输入所述数据(显示周边环境的数据)，与此相对，该模仿模型61输出预测操作人员21在此情况下进行的动作(预测工序)。通过将该动作作为动作指令输入机械手臂12，能够使机械手臂12自动动作而进行工作。另外，在未知的周边环境中，只要为与模仿模型61过去所学习的工作履历数据类似的周边环境，也能够预测适宜的操作而生成动作指令。
作为用以实现更佳的自动运行的结构，控制部32进一步具备评价部36和追加学习部37。
评价部36根据控制部32提供的动作指令适宜评价机械手臂12实际进行工作后的结果(评价工序)。作为评价时的基准，虽然能够采用完成动作前的时间、动作所需的电力等能源、通过动作对工件11施加的力的大小等，但不限于这些。在本实施方式中，评价部36根据机械手臂12具备的所述位置传感器等的信息而进行评价，但也可以采用从特别设置在机械手臂12或外部环境的传感器取得的信息。
追加学习部37，根据评价部36评价的结果，以输出评价结果更高的动作的方式，使模仿模型61进行追加学习(追加学习工序)。作为该方法，例如能够使用作为强化学习方法而熟知的时间差分法或Q-Learning法等。
由此，由于在自动运行系统5的实际运用时也追加进行学习，因此能够使机械手臂12进行更理想的动作。另外，能够柔软地应对周围环境的变化。
再者，在工作的评价基准或周围环境大幅变化的情况下，若依靠操作人员21进行用以应对变化的运动方式而制成工作履历数据，然后根据此数据进行追加学习，则能在早期获得良好的结果，在这点上可作为优先选项。或者，也能够利用高评价的运动方式的数据进行追加学习。
图4是显示将在此的前说明的工作汇总的工序流程图，通过如此的一系列的工作而建构的自动运行系统5，能低成本且短时间地实现简直就像熟练的操作人员21进行操作的自动运行。
如以上说明，本实施方式的自动运行系统5，具备多个学习完毕模仿模型61和模型选择部35。学习完毕模仿模型61，通过利用分类系统51的自动分类演算法将工作履历数据分类为多个组，且使与该组对应的模仿模型61对每组进行机械学习而被建构。工作履历数据，包含显示周边环境的数据、和显示该周边环境中的操作人员21的操作的数据。模型选择部35，根据利用分类系统51的自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个模仿模型61中选择一个模仿模型61。自动运行系统5，将显示周边环境的数据输入通过模型选择部35而选择的模仿模型61，预测操作人员21对该周边环境的操作。
另外，在本实施方式的自动运行系统5中，通过如下的动作预测方法，预测操作人员21的操作而进行自动运行。也就是说，该动作预测方法，包含分类工序、学习工序、模型选择工序和预测工序。在分类工序中，利用分类系统51的自动分类演算法将工作履历数据分类为多个组，该工作履历数据，包含显示周边环境的数据、和显示操作人员21在该周边环境的操作的数据。在学习工序中，在具有多个模仿模型61的电脑中，使与该组对应的模仿模型61对属于在分类工序中被分类的每组的工作履历数据进行机械学习，建构多个学习完毕模仿模型61。在模型选择工序中，根据利用分类系统51的自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个模仿模型61中选择一个模仿模型61。在预测工序中，将显示周边环境的数据输入在模型选择工序中被选择的模仿模型61，预测操作人员21对该周边环境的操作。
由此，可以适宜取入有可能不适合在语言化及程序上表现的熟练的操作人员21的技术及技能的形式，短时间且低成本地实现自动化。另外，通过限定一个模仿模型61所学习的对象，能够进行有效率的学习。
另外，在本实施方式的自动运行系统5中，在显示周边环境的数据中，除了前述机械手臂12的位置的数据、工件11的位置的数据、和反力传感器检测的反力的数据外，还能够包含例如以照相机摄影的映像的图像数据。
也就是说，本实施方式的自动运行系统5，尤其适合以下的情况：将操作人员21对如以图像表现的状况(语言化困难的状况)进行的运行操作自动化。
另外，本实施方式的自动运行系统5，对操作人员21的在伴随与周边环境接触的工作中的操作进行预测。
也就是说，本实施方式的自动运行系统5，尤其适合以下的情况：将如操作人员21凭感觉进行与周边环境的接触状态(语言化困难的状况)的运行操作自动化。
另外，本实施方式的自动运行系统5，具备评价部36和追加学习部37。评价部36评价通过模型选择部35选择的模仿模型61输出的根据操作人员21的操作预测的结果。追加学习部37，用以使学习完毕模仿模型61追加进行机械学习。
由此，因能够追加学习，因而能够根据状况进行更良好的动作。
其次，说明本发明的第二实施方式。图5是显示收集与垃圾焚化炉13的运行相关的运行履历数据的结构的示意图。图6是显示将工作履历数据分类且使对应的模仿模型61学习的工作的示意图。图7是显示第二实施方式的自动运行系统5x的框图。再者，在本实施方式的说明中，有时会在图式中对与前述实施方式相同或类似的零部件赋予相同的符号，并省略说明。
图5显示为了实现大型设备的一种即垃圾焚化炉13的自动运行，通过在控制室24的操作人员21的手动操作，取得运行垃圾焚化炉13的运行履历的状况。操作人员21通过操作配置在控制室24的各种设备(例如，操作面板的开关等)，能够进行与垃圾焚化炉13的运行相关的指示。
尽管未图示，但在垃圾焚化炉13设置有检测蒸气量的传感器、拍摄垃圾燃烧的状况而作为燃烧映像的照相机等的各种传感器。
垃圾焚化炉13具备的控制部31，以根据操作人员21的操作来运行垃圾焚化炉13，并在控制室24的显示器23或指示器25等上显示所述传感器取得的蒸气量及燃烧映像等的方式进行控制。由此，在本实施方式中，也能够在与周边环境之间实现伴随相互作用的运行。
当熟练的操作人员21手动运行垃圾焚化炉时，控制部31收集作为学习用动作事例数据的运行履历数据，且保存在HDD等。该运行履历数据，包含由所述蒸气量及燃烧映像等构成的传感器信息(显示周边环境的数据)、及显示操作人员21在此种的状况下进行的操作的数据。
然后，如图6所示，与所述第一实施方式相同，通过分类系统51将收集的运行履历数据分类为多个组。在本实施方式中，分类能够根据焚烧炉13的状态的观点进行。以下的说明中，有时会将被分类的运行履历数据的每组分别称为状态1的运行履历、状态2的运行履历、…。并且，每组的运行履历数据(即，状态1的运行履历、状态2的运行履历、…)，是通过对应的模仿模型61而被学习。其结果，能够建构多个学习完毕模仿模型61，该模仿模型61是在图7所示的自动运行系统(动作预测系统)5x中使用。
然后，在自动运行垃圾焚化炉13的情况下，如图7所示，将传感器取得的蒸气量及燃烧映像等输入模型选择部35，模型选择部35根据分类系统51，选择应进行动作预测的模仿模型61。然后，在模仿系统52中，对选择的模仿模型61输入传感器取得的蒸气量及燃烧映像等的周边环境数据，该模仿模型61输出预测操作人员21在输入的周边环境中进行的动作。
如此，关于如垃圾焚化炉13那样的大型设备的运行，通过使用自动运行系统5x，能够实现犹如熟练的操作人员21进行的良好的自动运行。只是，也能作为建议向操作人员推荐的运行的运行建议系统，以取代自动运行系统5x。
上面，说明了多个本发明的较佳实施方式，但所述结构例如能够改变如下。
显示周边环境的数据、显示人的动作的数据，不限于此，也能够在工作履历数据或运行履历数据内包含各种各样的数据。例如，在工作履历数据内也能够包含与安装在机械手臂12的工具的状态相关的数据。
在第一实施方式中，工作履历数据的分类，也能够不是以工序而是以其他的观点进行。同样地，在第二实施方式中，运行履历数据的分类，也能够不是以状态而是以其他的观点进行。
使模仿模型61进行学习的电脑、和使学习后的模仿模型61进行动作预测的电脑，可为同一电脑，也可为独立的电脑。
第一实施方式的自动运行系统5，不限臂式机器人，也能够应用在其他形式的机器人的运行上，也能够应用在机器人以外的机械运行上。另外，第二实施方式的自动运行系统5x，不限垃圾焚化炉，也能够应用在其他形式的大型设备的运行上，也能够应用在大型设备以外的设施的运行上。
附图标记说明
5,5x：自动运行系统(动作预测系统)；32：控制部；35：模型选择部；36：评价部；37：追加学习部；51：分类系统；52：模仿系统；61：模仿模型(动作预测模型)。

Claims (9)

1.一种动作预测系统，其特征在于，具备：
多个学习完毕动作预测模型，其通过利用自动分类演算法将学习用动作事例数据分类成多个组，且使与该组对应的动作预测模型对每个组进行机械学习而被建构，其中所述学习用动作事例数据，包含显示周边环境的数据、和显示人在该周边环境中的动作的数据；和
模型选择部，其根据利用所述自动分类演算法对所提供的显示周边环境的数据进行分类的结果，从多个所述动作预测模型中选择一个动作预测模型，所述动作预测系统将显示所述周边环境的数据输入通过所述模型选择部选择的所述动作预测模型，预测人对该周边环境的动作，
显示所述周边环境的数据包含机器人的位置的数据、工件的位置的数据、以及因所述机器人的终端效应器与外部环境接触而受到的反力的数据中的至少任一方，
利用所述自动分类演算法进行分类的基准包含所述机器人的位置的数据、所述工件的位置的数据、以及所述反力的数据中的至少任一方。
2.根据权利要求1所述的动作预测系统，其特征在于，
显示所述周边环境的数据，包含图像数据。
3.根据权利要求1或2所述的动作预测系统，其特征在于，
进行伴随与周边环境接触的工作的动作预测。
4.根据权利要求1或2所述的动作预测系统，其特征在于，具备：
评价部，其评价通过所述模型选择部选择的所述动作预测模型输出的根据人的动作预测的结果；和
追加学习部，其使所述学习完毕动作预测模型追加进行机械学习。
5.一种机器人运行系统，其特征在于，
作为权利要求1至4中任一项所述的动作预测系统。
6.一种动作预测方法，其特征在于，包含以下工序：
分类工序，其利用自动分类演算法将学习用动作事例数据分类为多个组，该学习用动作事例数据，包含显示周边环境的数据、和显示该周边环境中的人的动作的数据；
学习工序，其在具有多个动作预测模型的电脑中，使与该组对应的动作预测模型对属于在所述分类工序中被分类的每个组的所述学习用动作事例数据进行机械学习，而建构多个学习完毕动作预测模型；
模型选择工序，其根据利用所述自动分类演算法将所供给的显示周边环境的数据分类的结果，从多个所述动作预测模型中选择一个动作预测模型；和
预测工序，其将显示所述周边环境的数据输入在所述模型选择工序中被选择的所述动作预测模型，预测人对该周边环境的动作，
显示所述周边环境的数据包含机器人的位置的数据、工件的位置的数据、以及因所述机器人的终端效应器与外部环境接触而受到的反力的数据中的至少任一方，
利用所述自动分类演算法进行分类的基准包含所述机器人的位置的数据、所述工件的位置的数据、以及所述反力的数据中的至少任一方。
7.根据权利要求6所述的动作预测方法，其特征在于，
显示所述周边环境的数据，包含图像数据。
8.根据权利要求6或7所述的动作预测方法，其特征在于，
进行伴随与周边环境接触的工作的动作预测。
9.根据权利要求6或7所述的动作预测方法，其特征在于，具备：
评价工序，其评价通过所述模型选择部选择的所述动作预测模型输出的根据人的动作预测的结果；和
追加学习工序，其使所述学习完毕动作预测模型追加进行机械学习。
CN201880039071.9A 2017-06-09 2018-06-08 动作预测系统及动作预测方法 Active CN111194452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-114055 2017-06-09
JP2017114055A JP6886869B2 (ja) 2017-06-09 2017-06-09 動作予測システム及び動作予測方法
PCT/JP2018/022087 WO2018225862A1 (ja) 2017-06-09 2018-06-08 動作予測システム及び動作予測方法

Publications (2)

Publication Number Publication Date
CN111194452A CN111194452A (zh) 2020-05-22
CN111194452B true CN111194452B (zh) 2023-10-10

Family

ID=64567405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039071.9A Active CN111194452B (zh) 2017-06-09 2018-06-08 动作预测系统及动作预测方法

Country Status (5)

Country Link
US (1) US11701772B2 (zh)
JP (1) JP6886869B2 (zh)
CN (1) CN111194452B (zh)
TW (1) TWI707280B (zh)
WO (1) WO2018225862A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7117237B2 (ja) * 2018-12-27 2022-08-12 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
WO2020138436A1 (ja) * 2018-12-27 2020-07-02 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7128736B2 (ja) * 2018-12-27 2022-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP6632095B1 (ja) * 2019-01-16 2020-01-15 株式会社エクサウィザーズ 学習済モデル生成装置、ロボット制御装置、及び、プログラム
CN113329850A (zh) * 2019-01-18 2021-08-31 株式会社安川电机 机器人控制系统和机器人控制方法
JP7252787B2 (ja) * 2019-02-28 2023-04-05 川崎重工業株式会社 機械学習モデル運用管理システム及び機械学習モデル運用管理方法
JP7389314B2 (ja) * 2019-03-05 2023-11-30 ダイキン工業株式会社 空気調和装置の制御システム
JP6811465B2 (ja) * 2019-05-24 2021-01-13 株式会社エクサウィザーズ 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
CN114269524B (zh) * 2019-08-28 2023-05-05 每日色彩株式会社 机器人控制装置
JP6742040B1 (ja) * 2019-08-28 2020-08-19 株式会社ＤａｉｌｙＣｏｌｏｒ ロボット制御装置
JP7221183B2 (ja) * 2019-09-20 2023-02-13 株式会社日立製作所 機械学習方法、フォークリフト制御方法、及び機械学習装置
JP7277340B2 (ja) * 2019-11-15 2023-05-18 川崎重工業株式会社 マスタスレーブシステム、制御方法及び制御装置
JP2021079468A (ja) * 2019-11-15 2021-05-27 川崎重工業株式会社 制御装置、制御システム、ロボットシステム及び制御方法
JP7294448B2 (ja) * 2019-11-27 2023-06-20 株式会社安川電機 研削システム、補正量推定装置、コンピュータプログラム及び研削方法
JP2020113262A (ja) * 2019-12-05 2020-07-27 株式会社エクサウィザーズ 学習済モデル生成装置、ロボット制御装置、及び、プログラム
US11472028B2 (en) * 2019-12-06 2022-10-18 Mitsubishi Electric Research Laboratories, Inc. Systems and methods automatic anomaly detection in mixed human-robot manufacturing processes
JP2021094677A (ja) * 2019-12-19 2021-06-24 本田技研工業株式会社 ロボット制御装置、ロボット制御方法、プログラム及び学習モデル
JP7460366B2 (ja) * 2019-12-27 2024-04-02 川崎重工業株式会社 訓練データ選別装置、ロボットシステム及び訓練データ選別方法
FR3110720B1 (fr) * 2020-05-19 2022-07-15 Nrgybox Procédé de contrôle d’un éclairage public
JP2022045236A (ja) * 2020-09-08 2022-03-18 ソニーグループ株式会社 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム
JP2022061761A (ja) * 2020-10-07 2022-04-19 川崎重工業株式会社 ロボットシステム及びその制御方法
JP2022066086A (ja) * 2020-10-16 2022-04-28 オムロン株式会社 軌道生成装置、軌道生成方法、及び軌道生成プログラム
US20220143821A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface stiffness
JP7129673B2 (ja) * 2020-12-25 2022-09-02 肇也 矢原 制御システム、および学習済モデルの作成方法
JPWO2022269838A1 (zh) * 2021-06-23 2022-12-29
WO2022270319A1 (ja) * 2021-06-25 2022-12-29 慶應義塾 動作データ管理システム、動作データ管理方法、及びプログラム
KR102366333B1 (ko) * 2021-07-08 2022-02-25 주식회사 제타뱅크 로봇용 인공지능 플랫폼 제공 방법
JP7449338B2 (ja) 2021-09-03 2024-03-13 東京エレクトロンデバイス株式会社 情報処理方法、プログラム、情報処理装置及び情報処理システム
JP2023038132A (ja) 2021-09-06 2023-03-16 川崎重工業株式会社 学習済モデルの構築方法
CN116100578B (zh) * 2023-04-13 2023-07-14 深圳市大族机器人有限公司 一种双关节机器人的指令快速响应系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
CN101441442A (zh) * 2007-11-20 2009-05-27 株式会社日立制作所 设备控制装置、火力发电设备控制装置以及燃煤锅炉的气体浓度推定装置
CN101970185A (zh) * 2009-05-22 2011-02-09 关东自动车工业株式会社 作业辅助机器人系统
JP2012216158A (ja) * 2011-04-01 2012-11-08 Honda Motor Co Ltd 観測行動選択機能を有する分類システム及び該システムを使用する分類方法
CN103699771A (zh) * 2013-09-27 2014-04-02 广东工业大学 一种冷负荷预测的情景-聚类方法
KR20160017933A (ko) * 2014-08-07 2016-02-17 윤덕찬 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
CN105676670A (zh) * 2014-11-18 2016-06-15 北京翼虎能源科技有限公司 用于处理能源数据的方法和系统
WO2016189924A1 (ja) * 2015-05-28 2016-12-01 株式会社日立製作所 ロボット操作装置およびプログラム
JP2017030137A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN106393102A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习装置、机器人系统及机械学习方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134605A (ja) 1993-11-11 1995-05-23 Mitsubishi Electric Corp 産業用ロボットの制御装置
US8291243B2 (en) 2008-10-24 2012-10-16 International Business Machines Corporation Adaptive computing responsive to environmental conditions
US8630744B2 (en) * 2011-01-28 2014-01-14 Honeywell International Inc. Management and monitoring of automated demand response in a multi-site enterprise
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
US10474949B2 (en) * 2014-08-19 2019-11-12 Qualcomm Incorporated Knowledge-graph biased classification for data
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6555015B2 (ja) * 2015-08-31 2019-08-07 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法
US20170083623A1 (en) 2015-09-21 2017-03-23 Qualcomm Incorporated Semantic multisensory embeddings for video search by text
CN110431569A (zh) * 2017-03-21 2019-11-08 首选网络株式会社 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
CN101441442A (zh) * 2007-11-20 2009-05-27 株式会社日立制作所 设备控制装置、火力发电设备控制装置以及燃煤锅炉的气体浓度推定装置
CN101970185A (zh) * 2009-05-22 2011-02-09 关东自动车工业株式会社 作业辅助机器人系统
JP2012216158A (ja) * 2011-04-01 2012-11-08 Honda Motor Co Ltd 観測行動選択機能を有する分類システム及び該システムを使用する分類方法
CN103699771A (zh) * 2013-09-27 2014-04-02 广东工业大学 一种冷负荷预测的情景-聚类方法
KR20160017933A (ko) * 2014-08-07 2016-02-17 윤덕찬 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
CN105676670A (zh) * 2014-11-18 2016-06-15 北京翼虎能源科技有限公司 用于处理能源数据的方法和系统
WO2016189924A1 (ja) * 2015-05-28 2016-12-01 株式会社日立製作所 ロボット操作装置およびプログラム
JP2017030137A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN106393102A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习装置、机器人系统及机械学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《a survey of robot learning from demonstration》;DB Argall et al.;《Elsevier》;全文 *
唐鹏.《机器人足球行为控制学习算法的研究》.《中国优秀硕士学位论文全文数据库信息科技辑》.2016,全文. *

Also Published As

Publication number Publication date
US20200139539A1 (en) 2020-05-07
CN111194452A (zh) 2020-05-22
TW201905729A (zh) 2019-02-01
WO2018225862A1 (ja) 2018-12-13
JP2018206286A (ja) 2018-12-27
TWI707280B (zh) 2020-10-11
US11701772B2 (en) 2023-07-18
JP6886869B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
CN111194452B (zh) 动作预测系统及动作预测方法
JP5436460B2 (ja) 産業用ロボットシステム
JP7425756B2 (ja) 拡張現実を用いた自動動的診断ガイド
JP7460366B2 (ja) 訓練データ選別装置、ロボットシステム及び訓練データ選別方法
Miyagi et al. Modeling and analysis of fault-tolerant systems for machining operations based on Petri nets
WO2019135835A1 (en) Systems and method for robotic learning of industrial tasks based on human demonstration
CN104858876A (zh) 机器人任务的可视调试
JPH09244730A (ja) ロボットシステムおよびロボットの制御装置
US20220088775A1 (en) Robot control device, robot system, and robot control method
JP6559525B2 (ja) 遠隔作業支援システム及び遠隔作業支援方法
US20220063091A1 (en) Robot control device, robot system and robot control method
JP2019206041A5 (ja) 情報処理装置、ロボット制御装置、情報処理方法及びプログラム
Koenig et al. Behavior-based segmentation of demonstrated tasks
Kamezaki et al. Operator support system based on primitive static states in intelligent operated work machines
WO2022234678A1 (ja) 機械学習装置、分類装置、及び制御装置
CN113064389B (zh) 基于数字孪生的智能生产线触控系统及方法
JP2022128114A (ja) メンテナンス支援システム
JP2019136807A (ja) 制御装置及び機械学習装置
WO2023067972A1 (ja) 動作指令生成装置および動作指令生成方法
WO2023162164A1 (ja) 教示支援装置、作業システム、教示支援方法および教示支援プログラム
JP2023018893A (ja) 学習装置及びロボット制御システム
EP4198661A1 (en) System and method for cognitive assistance in at least partially manual aircraft assembly
JP7468694B2 (ja) 情報収集装置、情報収集方法及びプログラム
EP3922849A1 (en) Repair system and method for performing at least one repair task in a wind turbine
JP2023087519A (ja) 操作支援装置、操作支援方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant