CN112203812B - 机器人系统及追加学习方法 - Google Patents

机器人系统及追加学习方法 Download PDF

Info

Publication number
CN112203812B
CN112203812B CN201980035276.4A CN201980035276A CN112203812B CN 112203812 B CN112203812 B CN 112203812B CN 201980035276 A CN201980035276 A CN 201980035276A CN 112203812 B CN112203812 B CN 112203812B
Authority
CN
China
Prior art keywords
state
robot
work
operation force
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980035276.4A
Other languages
English (en)
Other versions
CN112203812A (zh
Inventor
莲沼仁志
志鹰拓哉
山本武司
仓岛一辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN112203812A publication Critical patent/CN112203812A/zh
Application granted granted Critical
Publication of CN112203812B publication Critical patent/CN112203812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36039—Learning task dynamics, process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36489—Position and force
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40032—Peg and hole insertion, mating and joining, remote center compliance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40102—Tasks are classified in types of unit motions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40153—Teleassistance, operator assists, controls autonomous robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40223—If insertion force to high, alarm, stop for operator assistance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40391—Human to robot skill transfer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40496—Hierarchical, learning, recognition level controls adaptation, servo level

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

机器人系统(1)具备机器人(10)、状态检测传感器(11)～(13)、定时部(46)、学习控制部(42)、判定部(44)、操作装置(21)、输入部(23)、及追加学习部(43)。判定部(44)根据由状态检测传感器(11)～(13)检测出的状态值，输出表示在学习控制部(42)的控制下机器人(10)的作业是否能够继续的判定结果。追加学习部(43)根据表示机器人(10)的作业不能够继续的判定结果、操作装置(21)和输入部(23)所输出的作业者操作力和作业状态、检测出的状态值、及定时部(46)所输出的定时信号，进行追加学习。

Description

机器人系统及追加学习方法
技术领域
本发明主要涉及一种基于通过机器学习而构建的模型使机器人进行作业的机器人系统。
背景技术
专利文献1公开了一种控制机器臂来组装多个部件的组装方法。该组装方法中，分别获取由机器臂保持的两个部件的坐标，在判定为两个部件的坐标合适的情况下，将两个部件连接。
专利文献2公开了一种学习方法，即，由机器学习装置学习从多个工件中把持一个工件并使其移动的机器人的动作。通过基于该机器学习装置的输出来控制机器人，即便在多个工件被凌乱地放置的情况下，机器人也能将所需的工件取出。
专利文献1的方法中，例如，在机器臂被绊住而不能动作的情况下，机器臂不能够继续作业。另外，专利文献2的方法中，在没有预先学习的状况下，机器人不能够继续作业。
【专利文献】
【专利文献1】:日本特开2017－7064号公报
【专利文献2】:日本特开2017－30135号公报
发明内容
鉴于上述情况，本发明的主要目的在于，提供一种在机器人不能够继续作业的情况下进行追加学习以在下次成为同种状态的情况下能够继续作业的机器人系统。
本发明要解决的技术问题如上所述，下面，对用于解决该技术问题的技术方案及其效果进行说明。
基于本发明的观点，提供具有以下结构的机器人系统。即，该机器人系统具备机器人、状态检测传感器、定时部、学习控制部、判定部、操作装置、输入部、切换装置、及追加学习部。所述机器人根据动作指令进行作业。所述状态检测传感器检测并输出表示所述机器人的作业的进展的状态值。所述定时部按规定的时间间隔输出定时信号。所述学习控制部使用通过对作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的操作力进行机器学习而构建的模型，根据由所述状态检测传感器检测出的所述状态值和所述定时信号，输出计算操作力。所述判定部根据由所述状态检测传感器检测出的所述状态值，输出表示在所述学习控制部的控制下所述机器人的作业是否能够继续的判定结果。所述操作装置是作业者所操作的装置，检测并输出作为作业者所施加的操作力的作业者操作力。所述输入部受理并输出作业者所进行的所述作业状态的输入。所述切换装置根据所述作业者操作力及所述计算操作力，将所述作业者操作力或所述计算操作力转换成所述动作指令并将其输出。所述追加学习部根据表示所述机器人的作业不能够继续的所述判定结果、所述输入部所输出的所述作业状态、所述操作装置所输出的所述作业者操作力、所述状态检测传感器所检测出的所述状态值、及所述定时信号，对所述作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
基于本发明的其它的观点，提供以下的追加学习方法。即，该追加学习方法对于具备机器人、状态检测传感器、定时部、学习控制部、操作装置、及切换装置的机器人系统，进行包含判定工序、输入受理工序、及追加学习工序的处理。所述判定工序中，根据由所述状态检测传感器检测出的状态值，输出表示在所述学习控制部的控制下所述机器人的作业是否能够继续的判定结果。所述输入受理工序中，受理作业状态的输入和来自所述操作装置的作业者操作力的输入。所述追加学习工序中，根据表示所述机器人的作业不能够继续的所述判定结果、被输入的所述作业状态、被输入的所述作业者操作力、所述状态检测传感器所检测出的所述状态值、及定时信号，对所述作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
由此，通过对作业状态和下一个作业状态、操作力、及状态值进行追加学习，即便在机器人不能够继续作业的情况下，机器人系统侧也能自主地解决而使作业继续。
【发明的效果】
基于本发明，能够提供一种在机器人不能够继续作业的情况下进行追加学习以在下次成为同种状态的情况下能够继续作业的机器人系统。
附图说明
图1是表示第一实施方式所涉及的机器人系统的结构的方框图。
图2是表示机器人所进行的作业的流程及作业状态的图。
图3是表示进行机器学习的数据的一例的图。
图4是概念性地表示模型内的状态值与作业状态的对应关系的一例的图。
图5是表示机器人系统所进行的有关追加学习的处理的流程图。
图6是概念性地表示现在的作业状态被输入为模型内的作业状态时的追加学习的内容的图。
图7是概念性地表示现在的作业状态被输入为新的作业状态、且恢复到之前的作业状态的动作被输入时的追加学习的内容的图。
图8是表示现在的作业状态被输入为模型内的作业状态时进行追加学习的数据的一例的图。
图9是表示现在的作业状态被输入为新的作业状态时进行追加学习的数据的一例的图。
图10是说明第二实施方式中机器人所进行的动作的图。
图11是表示第二实施方式所涉及的机器人系统的结构的方框图。
图12是说明进度的取得的图。
图13是表示进度的值相应于机器人的动作而推移的例子的图。
图14是说明确信度的取得的图。
图15是表示确信度的值相应于机器人的动作而推移的例子的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。首先，参照图1，对第一实施方式的机器人系统1进行说明。图1是表示机器人系统1的结构的方框图。
机器人系统1是用于使机器人10进行作业的系统。作为使机器人10进行的作业，有各种各样，例如，组装、加工、涂装、洗涤等。使用通过对后述的数据进行机器学习而构建的模型，对机器人10进行控制。因此，机器人系统1基本上不需要作业者的辅助，能够自主地进行作业。这种机器人10自主地进行作业有时被称为“自主运行”。另外，本实施方式的机器人系统1中，也能够使机器人10相应于作业者的操作而动作。另外，机器人10不仅能够自主地进行作业，而且能够相应于作业者的操作而进行作业。如图1所示，机器人系统1具备机器人10、操作部20、切换装置30、及控制部40。各个装置通过有线或无线的网络相互连接。
机器人10具备安装在基座上的臂部。臂部具有多个关节，各关节具备致动机构。机器人10相应于从外部输入的动作指令使致动机构动作，从而使臂部动作。该动作指令包含直线状的速度的指令、和角速度的指令。在臂部的前端，安装有与作业内容相应的末端执行器。机器人10相应于从外部输入的动作指令使末端执行器动作而进行作业。
另外，机器人10上安装有用于检测机器人10的动作及周围环境等的传感器。本实施方式中，在机器人10上安装有动作传感器11、力传感器12、及摄像机13。动作传感器11被设置在机器人10的臂部的每个关节上，用于检测各关节的转动角度或角速度。力传感器12在机器人10动作时检测机器人10所受的力。力传感器12可被构成为，检测对末端执行器施加的力；也可被构成为，检测对臂部的各关节施加的力。另外，力传感器12还可被构成为，不检测力，而检测力矩，或既检测力又检测力矩。摄像机13检测作为作业对象的工件的视频(对工件进行的作业的进展状况)。也可以不设置摄像机13，而设置检测声音的声音传感器及/或检测振动的振动传感器，或既设置摄像机13又设置声音传感器及/或振动传感器，根据这些传感器的检测结果，来检测对工件进行的作业的进展状况。动作传感器11检测的数据是表示机器人10的动作的动作数据；力传感器12及摄像机13检测的数据是表示机器人10的周围环境的状态的周围环境数据；动作传感器11、力传感器12、及摄像机13检测的数据是表示机器人10的作业(对工件进行的作业)的进展状态的状态值。以下的说明中，有时将机器人10上设置的动作传感器11、力传感器12、及摄像机13统称为“状态检测传感器11～13”。另外，有时将状态检测传感器11～13检测出的数据特别称为“传感信息”。另外，状态检测传感器11～13也可以不是安装在机器人10上，而是设置在机器人10的周围。
操作部20包括操作装置21、显示装置22、和输入部23。操作装置21是作业者为使机器人10动作而操作的构件。操作装置21因作业内容而异，例如是作业者用手操作的拉杆或用脚操作的踏板。操作装置21具备省略图示的公知的操作力检测传感器。操作力检测传感器检测作为作业者对操作装置21施加的力的操作力。在操作装置21被构成为能够在各种方向移动的情况下，操作力是包括力的方向和大小的值，例如可以是向量。另外，操作力不仅可以是作业者所施加的力(N)，还可以是与力连动的值，即，加速度(即，作业者所施加的力除以操作装置21的质量后得到的值)。以下的说明中，有时将作业者对操作装置21施加的操作力特别称为“作业者操作力”。作业者通过对操作部20(操作装置21)进行操作而输出的作业者操作力如后述那样，在切换装置30中被转换成动作指令。
显示装置22是液晶或有机EL等点矩阵式的显示器。显示装置22配置在操作装置21的近旁，根据视频信号、例如后述的通知信号，显示与机器人系统1所进行的作业相关的信息。在操作装置21配置在离开机器人10的位置的情况下，也可以使显示装置22显示机器人10的近傍的视频。输入部23是在后述的追加学习中受理作业者所进行的作业状态的输入的按键(省略图示)等，将被输入的作业状态输出到控制部40(追加学习部43)。
在切换装置30上，连接有机器人10、操作部20、及控制部40。操作部20所输出的作业者操作力、后述的控制部40所输出的计算操作力被输入到切换装置30中。切换装置30向机器人10和控制部40(通信部41)输出用于使机器人10动作的动作指令。切换装置30例如由公知的计算机构成，具备计算装置(CPU等)和存储部(例如ROM、RAM、HDD等)。计算装置读出并执行储存在存储部中的程序，从而切换装置30能够发挥各种各样的功能。若按功能命名，则切换装置30具备切换部31和转换部32。
切换部31被构成为，从被输入的作业者操作力和计算操作力，将作业者操作力或计算操作力输出给转换部32。另外，切换部31具备连接器或天线，并被构成为，从切换装置30的外部，根据表示是否转换作业者操作力或计算操作力的设定信号，将作业者操作力或计算操作力输出给转换部32。由此，能够实现作业者使机器人10动作的状态(即，机器人10根据操作部20所输出的作业者操作力来动作的状态)与机器人系统1使机器人10自主地进行作业的状态(即，机器人10根据控制部40所输出的计算操作力来动作的状态)间的切换。另外，也可以构成为，在切换部31设置检测操作力的传感器(省略图示)，切换部31在判定为作业者正在操作操作部20(操作装置21)时(例如，在判定为操作部20所输出的作业者操作力的大小在阈值以上时)，将作业者操作力输出给转换部32；切换部31在判定为作业者没有在操作操作部20时(例如，在判定为操作部20所输出的作业者操作力的大小未达到阈值时)，将控制部40所输出的计算操作力输出给转换部32。由此，切换部31即便不根据设定信号，也能够在作业者操作着操作部20的期间，切换到作业者使机器人10动作的状态。
转换部32将从切换部31输入的作业者操作力或计算操作力转换成用于使机器人10动作的动作指令，并将其输出给机器人10和控制部40(通信部41)。
控制部40由公知的计算机构成，具备计算装置(CPU等)和存储部(例如ROM、RAM、HDD等)。计算装置读出并执行存储部中储存的程序，从而控制部40能够发挥各种各样的功能。若按功能命名，则控制部40具备通信部41、学习控制部42、追加学习部43、判定部44、通知部45、及定时部46。通信部41具备连接器或天线，并被构成为，将来自控制部40的外部的输入输出给控制部40内的各部42～46。通信部41被构成为，向控制部40的外部，输出控制部40内的各部42～46的输出。作为通信部41所接收的来自控制部40的外部的输入，例如有操作部20(操作装置21)所输出的作业者操作力、操作部20(输入部23)所输出的作业状态、切换装置30(转换部32)所输出的动作指令、状态检测传感器11～13所输出的传感信息。另外，例如，作为通信部41所输出的向控制部40的外部的输出，例如有对后述的切换装置30输出的计算操作力、对后述的操作部20(显示装置22)输出的通知信号。以下，对于控制部40内的各部42～46所进行的与控制部40的外部间的输入输出，有时不特别言及经由通信部41。定时部46具有使用了计算装置的内部时钟等的公知的定时功能。定时功能例如包含根据来自定时部46的外部的触发信号，从触发信号的输入时间起按规定的时间间隔(例如，1秒)开始定时信号的输出的定时功能。另外，定时部46也可以被构成为，具有根据来自定时部46的外部的触发信号及表示时间间隔(例如，1秒)的信号，从触发信号的输入时间起按该时间间隔开始定时信号的输出的定时功能。另外，来自定时部46的外部的触发信号也可以包含，使定时部46开始定时信号的输出的第一触发信号、和使定时部46结束定时信号的输出的第二触发信号。
学习控制部42通过使用由机器学习而构建的模型，经由切换装置30向机器人10输出操作力，而使机器人10进行作业。以下，有时将控制部40(学习控制部42)所输出的操作力称为“计算操作力”。以下，对该模型的构建方法进行具体说明。另外，本实施方式中，计算操作力的输出每秒(即，定时部46的定时信号的时间间隔)被更换一次。
如图2所示，在使机器人10进行将工件100放入凹部110中的作业的情况下，例如，可分类为空中、接触、插入、及完成这四个作业状态。作业状态1(空中)是机器人10保持着工件100并使其位于凹部110的上部的状态。作业状态2(接触)是机器人10使所保持的工件100与形成有凹部110的面接触的状态。作业状态3(插入)是机器人10将所保持的工件100插入到凹部110中的状态。作业状态4(完成)是机器人10所保持的工件100完全被插入到凹部110中的状态。如此，四个作业状态是按工序对机器人10所进行的一系列作业进行了分类的状态，如果机器人10的作业正确地进行，则作业状态按照作业状态1(空中)、作业状态2(接触)、作业状态3(插入)、作业状态4(完成)的顺序转移。另外，作为其它的作业状态，还有作业状态5(执拗)。在最初进行机器学习的阶段，作业状态5(执拗)未被登录为作业状态。作业状态5(执拗)是虽然工件100被插在凹部110中，但无法使插入进一步进展，因而若不转移到作业状态1(空中)，即，如果不使工件100再次向上方移动而离开凹部110则无法继续进行作业的状态。
下面，对学习控制部42进行机器学习的数据进行说明。学习控制部42对现在的作业状态和与现在的作业状态相关联的下一个作业状态(即，下面要转移到的作业状态)、及至少一组状态值和与该状态值相关联的操作力进行机器学习，并构建模型。状态值是表示机器人10的作业的进展的值，是相应于作业的进展而变化的值。作为状态值，有状态检测传感器11～13所检测出的传感信息(例如，位置、速度、力、力矩、视频等的作业状况)。状态值中也可以包含根据该传感信息算出的信息(例如，从过去到现在为止的传感信息的随时间变化的值)。
图3是表示学习控制部42进行机器学习的数据的一例的图。图4是示意性地表示模型内的状态值与作业状态的对应的一例的图。如图3及图4所示，考虑下述状况，即，现在的作业状态为作业状态2(接触)、现在的状态值为S210，使学习控制部42机器学习向作业状态3(插入)(状态值为S310)转移这样的机器人10的n秒间(n为1以上的整数)的动作。学习控制部42对图3所示的数据进行机器学习，并构建模型。详细而言，学习控制部42对现在的作业状态2(接触)和下一个作业状态3(插入)、现在的状态值S210和操作力I210、m(m为1～(n－1)的整数)秒后的状态值S21m和操作力I21m、及n秒后的状态值S21n和表示虚设的操作力的Inull进行机器学习。如图3所示，现在的作业状态2(接触)与下一个作业状态3(插入)不同，状态值和操作力为(n+1)组，即，多组。学习控制部42可以将时刻(例如，0～n秒后)与该时刻的状态值(例如，S210～S21n)及操作力(例如，I210～Inull)相关联地进行机器学习，也可以如本实施方式这样，通过维持操作力的输出的时间顺序地进行机器学习，而省略时刻的机器学习。另外，也可以构成为，学习控制部42不对n秒后的状态值S21n及表示虚设的操作力的Inull进行机器学习。在此，学习的操作力可以是操作部20(操作装置21)所输出的作业者操作力，也可以是预先准备的数据。
现在的作业状态是作业状态2(接触)，使其向作业状态3(插入)转移的机器人10的动作有各种各样。例如也包含，现在的状态值是表示作业状态2(接触)的S220，使其成为表示作业状态3(插入)的状态值S310那样的机器人10的动作。本实施方式中，学习控制部42对这样的机器人10的动作也进行机器学习，并构建模型。机器学习的方法与参照图3说明过的上述方法相同，因而省略其详细说明。
学习控制部42也对使作业状态2(接触)向作业状态3(插入)转移的机器人10的动作、使作业状态3(插入)向作业状态4(完成)转移的机器人10的动作进行机器学习，并构建模型。机器学习的方法与参照图3说明过的上述方法相同，因而省略其详细说明。另外，在现在的作业状态为作业状态4(完成)的情况下，机器人10不需要动作。在此情况下，学习控制部42也可以对现在的作业状态4(完成)和下一个作业状态4(完成)、及0秒后(即，现在)的状态值S4和表示虚设的操作力的Inull进行机器学习。
学习控制部42根据所构建的模型，进行以下处理：作业状态推测处理，从现在的状态值推测现在的作业状态；接续作业状态推测处理，从现在的状态值和所推测的现在的作业状态推测下一个作业状态；及输出处理，根据现在的状态值及所推测的现在的作业状态和下一个作业状态，确定输出的操作力(计算操作力)，并将该计算操作力输出给切换装置30。由此，学习控制部42能够控制机器人10的动作，以使作业恰当地进行。
首先，对现在的作业状态的推测(作业状态推测处理)进行说明。如上所述那样，学习控制部42对状态值及作业状态(和下一个作业状态)进行机器学习，并根据现在的状态值推测现在的作业状态(和下一个作业状态)。如图4所示，考虑以下情况，即，状态值为三个，被机器学习的状态值(与图4中的点对应)分布在模型内。图4中记载了与各作业状态相对应的区域(空间)，在状态值位于这些区域的内部的情况下，表明该状态值是与该区域相关联的作业状态的可能性较高。例如，“作业状态2(接触)”的区域表示进行了机器学习的状态值中被判定为作业状态2(接触)的状态值的集合(集群)，该集合(集群)是通过使表示被判定为作业状态2(接触)的状态值的点的坐标成为与该区域的中心点之间的距离在第一距离以下、且与其它的区域的中心点之间的距离在大于第一距离的第二距离以上，来确定“作业状态2(接触)”的区域的中心点而形成的。因而，如图4所示，在现在的状态值为S210、S310的情况下，学习控制部42将现在的作业状态分别推测为作业状态2(接触)、作业状态3(插入)。
下面，对推测下一个作业状态的处理(接续作业状态推测处理)进行说明。如上所述那样，学习控制部42对状态值和作业状态及下一个作业状态进行机器学习，根据现在的状态值和所推测的现在的作业状态来推测下一个作业状态。例如，考虑以下情况，即，如图4所示，在现在的状态值为S210、现在的作业状态被推测为作业状态2(接触)的情况下，如图3所示，学习控制部42对机器学习时的现在的状态值为S210、该现在的作业状态为作业状态2(接触)时下一个作业状态为作业状态3(插入)(即，使作业状态从作业状态2(接触)转移到作业状态3(插入))的机器人10的动作进行了机器学习。在此情况下，学习控制部42将下一个作业状态推测为作业状态3(插入)。
下面，对决定并输出计算操作力的处理(输出处理)进行说明。如上所述那样，学习控制部42对作业状态和下一个作业状态、及状态值和操作力进行机器学习，并根据现在的作业状态和下一个作业状态、及现在的状态值来决定向切换装置30输出的计算操作力。例如，考虑以下情况，即，如图4所示，现在的状态值为S210，现在的作业状态为作业状态2(接触)，下一个作业状态被推测为作业状态3(插入)。图4中示出了从状态值S210向状态值S310延伸的箭头。该箭头与学习控制部42机器学习到的机器人10的n秒间的动作，即，使作业状态从图3所示的作业状态2(接触)向作业状态3(插入)转移相对应。在此情况下，学习控制部42将图3所示的最初的操作力I210作为计算操作力输出给切换装置30时，对定时部46输出触发信号。定时部46根据触发信号，从触发信号的输入时间起按1秒的间隔输出定时信号。其后，学习控制部42根据来自定时部46的定时信号，按1秒的间隔对图3所示的操作力I210～I21(n-1)进行更换的同时，向切换装置30输出计算操作力。并且，学习控制部42检测到图3所示的操作力为表示虚设的操作力的Inull时，停止计算操作力的输出。
如上所述那样，学习控制部42基于通过机器学习而构建的模型，从现在的状态值决定用于使机器人10动作的计算操作力。由此，学习控制部42能够使用相应于现在的作业状态并相应于下一个作业状态的更为恰当的计算操作力，来使机器人10动作。另外，即便在工件100的形状有差异、工件100的保持位置有差异、凹部110的位置有差异等的情况下，学习控制部42也能通过反复进行上述机器学习，而使机器人10能够灵活地对应这些差异地进行作业。
追加学习部43、判定部44、及通知部45具有用于在上述机器学习无法对应的情况下进行追加学习的功能。以下，参照图5至图7，对该追加学习进行说明。图5是表示机器人系统所进行的有关追加学习的处理的流程图。图6和图7是概念性地表示模型内的与作业状态的判定结果相应的追加学习的内容的图。
在机器人系统1不能自主地进行作业的情况下，作业者对机器人10进行操作以辅助作业，本实施方式中，使用对进行了该辅助的作业者的操作内容进行追加学习这样的方法，进行了模型的优化。以下，进行具体说明。另外，本实施方式中，按1秒的间隔(即，定时部46的定时信号的时间间隔)对作业者的操作内容进行追加学习。
首先，学习控制部42使机器人10动作，机器人系统1的自主性作业开始(S101)。作业开始前，学习控制部42向切换装置30输出表示对计算操作力进行转换的设定信号，从而切换装置30被设定为，向机器人10输出将学习控制部42所输出的计算操作力转换成的动作指令。
学习控制部42在控制着机器人10期间(即，仅是计算操作力被输出到切换装置30期间)，根据现在的状态值，判定现在的作业状态是否为作业状态4(完成)(S102，作业状态推测处理)。在现在的作业状态为作业状态4(完成)的情况下，学习控制部42判定为作业已完成，而向切换装置30输出使机器人10的臂部移动到下一个作业的开始位置(例如放置有下一个工件100的场所)这样的计算操作力，切换装置30向机器人10输出将该计算操作力转换成的动作指令(S112)。
在现在的作业状态不是作业状态4(完成)的情况下(即，作业尚未完成的情况下)，判定部44根据现在的状态值，判定在学习控制部42的控制下作业是否能够继续，并输出表示是否能够继续的判定结果(S103，判定工序)。换言之，判定部44根据现在的状态值，判定没有作业者的辅助作业是否能够继续。该判定例如是根据现在的状态值(例如，传感信息)及预先设定的条件等而进行的。具体而言，由力传感器12检测出的力急剧增大、由力传感器12检测出的力超过了基准值等被设定为条件。另外，判定部44也可以不用预先设定的条件，而是自主地(换言之，自己制定判定基准)进行判定。具体而言，判定部44从学习控制部42接收后述的作业状态的相似度的输出，根据该相似度，判定为现在的状态值不属于任何作业状态(例如，相似度在任何一个作业状态下都比规定的阈值低)时，判定为作业不能够继续。
在判定部44输出了表示在学习控制部42的控制下机器人10的作业能够继续的判定结果的情况下，学习控制部42通过继续向切换装置30输出计算操作力，而使机器人10动作。相反，在判定部44输出了表示在学习控制部42的控制下机器人10的作业不能够继续的判定结果的情况下，进行要求作业者的辅助并进行用于追加学习的处理。为了进行追加学习，需要现在的正确的作业状态和下一个作业状态、及状态值和解除作业不能够继续的状态的操作力。
具体而言，通知部45根据表示机器人10的作业不能够继续的判定结果，通知作业不能够继续的情况。详细而言，通知部45向显示装置22输出使其显示作业不能够继续的意思的第一通知信号；同时，学习控制部42将现在的正确的作业状态作为用于确定作业者的信息，从模型算出作业状态的相似度并将其输出；通知部45向显示装置22输出使其显示该相似度的第二通知信号(S104，通知工序)。相似度是表示现在的状态值与模型内的(已登录过的)作业状态相似的程度的值。相似度是通过将现在的状态值与属于模型内的各作业状态的状态值(即，机器学习过的状态值中属于各作业状态的值)的分布相比较而算出的。举例说明的话，在如图6的上侧的图形所示那样，存在作业状态1～作业状态4的区域的状况下，当存在离开这些区域的现在的状态值S5、S6时，学习控制部42根据表示现在的状态值S5、S6的坐标与作业状态1～作业状态4的区域的各自的中心点间的距离(或分别与作业状态1～作业状态4间的最短距离)，算出距离越短而越高的相似度。学习控制部42可以对每个状态值计算相似度，也可以计算考虑了所有的状态值的比较结果后的一个相似度。另外，学习控制部42可以分别计算并输出相对于已登录过的所有的作业状态的相似度，也可以只输出相对于相似度最高的一个作业状态的相似度。相似度例如可用文字数据显示在显示装置22上，也可以用曲线等图形显示在显示装置22上。
其次，控制部40进行用于受理由作业者确定的作业状态的输入的处理(S105，输入受理工序)。例如，控制部40(通知部45)通过向显示装置22发送第三通知信号，而使显示装置22显示作业者利用输入部23输入正确的作业状态用的输入栏。由此，能够促使作业者进行作业状态的确定及其输入。另外，在步骤S105的处理前后，控制部40向切换装置30输出表示对作业者操作力进行转换的设定信号，从而，切换装置30将设定变更为，输出将操作部20(操作装置21)所输出的作业者操作力转换成的动作指令。较佳为，切换装置30的设定变更在显示装置22显示输入栏时或之前(例如，判定部44输出了表示机器人10的作业不能够继续的判定结果时)实施。由此，作业者能够在确认了显示装置22的显示之后进行输入，从而能够向机器人10确切地输出基于作业者操作力的动作指令。
作业者确认显示装置22上显示的相似度，并通过直接或利用摄像机来辨识机器人10、工件100、及凹部110的位置关系，来确定正确的作业状态。另外，作业者也可以通过对操作装置21进行操作而使机器人10动作、或用手直接触摸机器人10，来确定正确的作业状态。如上所述那样，作业者确定正确的作业状态(例如为属于模型内的作业状态的作业状态3)，并利用操作部20的输入部23进行输入。另外，在不属于模型内的作业状态中的任何一种的情况下，作业者制作新的作业状态(例如为不属于模型内的作业状态的作业状态5)，并将其输入到操作部20的输入部23。
控制部40(追加学习部43)在判定为模型内的作业状态被输入到输入部23的情况下(S106)，取得现在的状态值，并根据该状态值进行修正模型内的作业状态的推测基准的处理(S107，作业状态推测基准修正工序)。如果举例说明的话，考虑以下情况，即，如图6的上侧的图形所示那样，在模型内存在作业状态1～作业状态4的区域的状况下，判定为作业者向输入部23输入了：离开这些区域的现在的状态值S5属于作业状态3(插入)。在此情况下，如图6的下侧的图形所示那样，追加学习部43对作业状态3(插入)的区域进行变更，以使表示现在的状态值S5的坐标位于作业状态3(插入)的区域内。例如，追加学习部43对模型内的作业状态3(插入)的区域的中心点及/或第一距离进行修正，以使表示现在的状态值S5的点的坐标或与其接近的坐标容易被判定为作业状态3(插入)。
相反，控制部40(追加学习部43)在判定为与模型内的作业状态不同的新的作业状态被输入到输入部23的情况下(S106)，取得现在的状态值，并进行根据该状态值将新的作业状态登录到模型中的处理(S108，作业状态登录工序)。如果举例说明的话，考虑以下情况，即，如图7的上侧的图形所示那样，在模型内存在作业状态1～作业状态4的区域的状况下，判定为作业者向输入部23输入了：离开这些区域的现在的状态值S6属于与现存的作业状态1～作业状态4不同的作业状态的作业状态5(执拗)。在此情况下，如图7的下侧的图形所示那样，追加学习部43进行设定，而将作为新的作业状态的作业状态5(执拗)追加到模型中。该阶段中，与作业状态5(执拗)相关联的坐标只有1点，因而，例如，追加学习部43将与表示现在的状态值S6的点(中心点)相距规定的初始距离(与其它的作业状态的区域中的第一距离相对应)以内的区域作为作业状态5(执拗)的区域而追加到模型中。
其次，作业者对操作部20(操作装置21)进行操作。操作部20将作业者操作力输出到切换装置30，切换装置30将作业者操作力转换成动作指令并将其输出，而使机器人10动作。例如，在作业者向输入部23输入了：现在的作业状态为作业状态3(插入)的情况下，作业者通过对操作装置21进行操作，而使机器人10动作，从而使工件100的插入继续进行，以将作业状态转移到作业状态4(完成)，即，使作业完成。另外，在作业者向输入部23输入了：现在的作业状态为新的作业状态5(执拗)的情况下，作业者通过对操作装置21进行操作而使机器人10动作，从而使工件100向上方移动而离开凹部110，以使作业状态5(执拗)向作业状态1(空中)转移。
此时，操作部20将为使作业状态转移而作业者使机器人10动作了的作业者操作力输出到控制部40(追加学习部43)，追加学习部43取得作业者操作力及状态值(S109)。例如，追加学习部43在检测到作业者操作力从操作部20被输入的情况时，向定时部46输出触发信号。定时部46根据触发信号，从触发信号的输入时间起按规定的时间间隔(本实施方式中是1秒)输出定时信号。其次，追加学习部43取得现在的状态值(例如，从状态检测传感器11～13取得传感信息)，从操作部20取得作业者操作力，并将其与数值为0的索引、状态值、操作力(即，作业者操作力)相关联地储存。另外，直到作业者操作下的机器人10的动作结束为止，追加学习部43反复进行以下处理，即，根据来自定时部46的1秒间隔的定时信号，按1秒的间隔取得状态值及作业者操作力，将索引增加1，并将其与该索引、状态值、及操作力(即，作业者操作力)相关联地储存。
在此，追加学习部43根据所取得的状态值，进行作业者操作下的机器人10的动作已完成的判定、及动作完成时的作业状态(即，状态转移后的作业状态)的确定(S110，状态转移完成判定工序)。例如，机器人10的动作已完成的判定也可以是，因追加学习部43基于相关联地储存的索引、状态值、及操作力而检测出自状态值无变化起已经过了一定时间以上(即，相同的状态值连续被储存一定次数以上)；或检测出自作业者操作力的输出消失起已经过了一定时间以上(即，无操作力的情况连续被储存一定次数以上)，而进行的判定。此时，追加学习部43可以将作业者操作下的机器人10的动作完成的时间作为状态值无变化的最初时间(例如，相同状态值被连续储存一定次数以上的情况下的最新的索引)、或作业者操作力的输出消失的最初时间(例如，无操作力的情况被连续储存了一定次数以上的情况下的最新索引)。较佳为，追加学习部43将与作业者操作下的机器人10的动作完成的时间(即，最新的索引)相关联的操作力置换为表示虚设的操作力的Inull，并将其替换储存。另外，例如，动作完成时的作业状态的确定也可以是通过进行以下处理而实现的，即，追加学习部43基于相关联地储存的索引、状态值、及操作力，求出与作业者操作下的机器人10的动作完成的时间(即，最新的索引)相关联的状态值，控制部40(追加学习部43)根据该状态值推测作业状态(作业状态推测处理)。
追加学习部43对所取得的作业者操作力、状态值、及状态转移前后的作业状态进行追加学习(S111，追加学习工序)。另外，状态转移前的作业状态是指，在步骤S105～S107中，作业者向输入部23输入、并被输出到追加学习部43的作业状态。例如，在步骤S106中，状态值为S5时现在的作业状态(转移前的作业状态)被输入为作业状态3(插入)；在步骤S109中，作业者使工件100的插入继续进行而使作业完成，从而在步骤S110中，在追加学习部43确定了作业状态已从作业状态3(插入)转移到作业状态4(完成)、并算出状态转移后的状态值为S4的情况下，追加学习部43根据现在的作业状态3(插入)和下一个作业状态4(完成)；及相关联地储存的索引、状态值和操作力，生成图8所示的追加学习用数据(与机器人10的p秒间(p为1以上的整数)的动作相对应)，并对其进行追加学习后将模型更新。追加学习的方法与参照图3说明过的上述机器学习的方法相同，因而省略其详细说明。通过进行该追加学习，学习控制部42取得用于使工件100的插入继续的新手法。由此，在下次以后发生同种状况时，不用作业者的辅助也能够使作业继续。
另外，在步骤S106中，状态值为S6时现在的作业状态(转移前的作业状态)被输入为新的作业状态5(执拗)；在步骤S109中，作业者使工件100向上方移动而离开凹部110；从而在步骤S110中，在追加学习部43确定了作业状态已从作业状态5(执拗)转移到作业状态1(空中)、并求出状态转移后的状态值为S1的情况下，追加学习部43根据现在的作业状态5(执拗)和下一个作业状态1(空中)；及相关联地储存的索引、状态值和操作力，生成图9所示的追加学习用数据(与机器人10的q秒间(q为1以上的整数)的动作相对应)，并对其进行追加学习后将模型更新。追加学习的方法与参照图3说明过的上述机器学习的方法相同，因而省略其详细说明。通过进行该追加学习，学习控制部42取得在执拗发生的情况下用于消除该执拗的手法。由此，在下次以后发生同种状况时，不用作业者的辅助也能够使作业继续。
追加学习部43完成追加学习(S111)后，学习控制部42便使机器人10动作，从而恢复机器人系统1的自主性作业(S101)。此处，在返回步骤S101的处理之前，控制部40向切换装置30输出表示对计算操作力进行转换的设定信号，从而切换装置30的设定变更为，切换装置30向机器人10输出将学习控制部42所输出的计算操作力转换成的动作指令。
如上所述那样，通过检测机器人系统1无法自主地解决的状态，并进行与作业状态相关联的追加学习，能够有效地进行追加学习，从而能够使机器人系统1不太停止地继续作业。
本实施方式可以进行各种各样的变形。本实施方式中，机器人系统1按定时信号的时间间隔，即，1秒单位进行机器人10的动作的追加学习和输出，但也可以将机器人系统1构成为，即使定时信号为更短的时间间隔(例如，0.1秒或更小的时间间隔)，机器人10的动作的追加学习和输出也能够进行。由此，能够更加高精度地对机器人10的动作进行追加学习，从而使机器人10更加高精度地动作。
本实施方式中，定时部46根据触发信号，从触发信号的接收时间起按1秒的间隔输出定时信号，控制部40根据该定时信号对机器人10的动作进行追加学习、或使机器人10动作。此处，在将机器人系统1构成为即使定时信号为更短的时间间隔(例如，0.1秒或更小的时间间隔)，机器人10的动作的追加学习和输出也能够进行的情况下，定时部46也可以被构成为，不基于触发信号地一直按该较短的时间间隔输出定时信号。由此，能够不使机器人10的动作的追加学习及机器人10的动作的精度下降地简化定时部46的结构。如果具体地说明，若采用定时部46按规定的时间间隔一直输出定时信号的结构，则基于定时信号的机器人10的动作的追加学习和输出中会发生最大为该时间间隔的延迟。如本实施方式这样，在定时部46按1秒间隔输出定时信号的情况下，发生最大为1秒的延迟，因而不能无视延迟的影响。另一方面，在定时信号的输出时间间隔为0.1秒或更小这样的短时间间隔的情况下(即，在机器人系统1基本能够实时地处理机器人10的动作的追加学习和输出的情况下)，上述延迟的影响轻微。
本实施方式中，作业状态的个数最多为5个，但还可以增加作业状态的个数。由此，能够决定与现在的状态值相对应的更加恰当的作业状态。
本实施方式中，在步骤S105中，输入部23受理由作业者进行的现在的作业状态的输入，并将其输出给追加学习部43。但也可以构成为，在输入部23设置受理并输出下一个作业状态的输入的部件(例如省略图示的按键)，且追加学习部43接受该下一个作业状态。由此，在步骤S110中，便能省略追加学习部43所进行的转移后的作业状态的确定。
本实施方式中，作业状态从作业状态2(接触)向作业状态3(插入)转移，但不局限于此，也可以使作业状态从作业状态2(接触)向作业状态1(空中)转移。由此，能够决定更恰当的作业状态的转移。例如，考虑如图4所示那样，现在的作业状态为作业状态2(接触)、现在的状态值为S230的情况。现在的状态值S230至作业状态3(插入)的区域较远，而至作业状态1(空中)的区域较近。在此情况下，可以对使作业状态从现在的状态值S230向作业状态3(插入)转移的机器人10的动作进行学习，但通过使工件100向上方移动而使状态值变成S1(即，转移到作业状态1(空中))，再进一步使工件100移动而使状态值变成S210这样使机器人10动作，有时可能会更早地完成作业。例如，也可以用机器人10的动作完成为止(即，到达作业状态4(完成)为止)的时间等来评价哪一个的动作更为恰当。
本实施方式中，切换装置30具备切换部31和转换部32，但切换装置30的结构不局限于此。例如，也可以在切换装置30中设置限制部，该限制部根据力传感器12检测出的机器人10所受的力、和输入到转换部32的操作力进行控制，以使转换部32停止输出动作指令。由此，在出现预料之外的状况时能够限制机器人10的动作。例如，也可以为，由于检测出虽然力传感器12的检测值在阈值以上、作业者操作力或计算操作力在阈值以上、力传感器12的检测值持续上升，但使机器人10朝着相同方向动作的指示(操作力)仍然持续地被输入等的情况，限制部判定为机器人10或周围环境陷入了预料之外的状况时，限制部进行控制而使转换部32停止输出动作指令。
本实施方式中，在步骤S105的处理的前后(例如，判定部44输出了表示机器人10的作业不能够继续的判定结果时)，控制部40将设定变更为，切换装置30输出将作业者操作力转换成的动作指令；当在步骤S110和S111中判定为追加学习已完成时，控制部40将设定变更为，切换装置30输出将计算操作力转换成的动作指令。在此，也可以构成为，控制部40(学习控制部42)不是将设定变更为切换装置30输出将作业者操作力转换成的动作指令，而是中断计算操作力的输出；不是将设定变更为切换装置30输出将计算操作力转换成的动作指令，而是恢复计算操作力的输出。由此，在学习控制部42的控制下机器人10的作业不能够继续时，能够降低因计算操作力而机器人10无用地动作的可能性。
下面，参照图10至图15，对第二实施方式进行说明。另外，第二实施方式的说明中，对于与第一实施方式相同或相似的构件，在附图中标以相同的标记，并且有时省略说明。
第二实施方式中，将机器人10所进行的作业分类为图10所示多个动作。具体而言，动作A中，使机器人10保持着工件的状态下，使工件位于构件的上方，并使该工件接近构件的面。动作B中，使工件一直移动而使工件接触该构件的面。动作C中，使工件朝着开口部的位置移动。另外，在工件移动时，维持工件与构件的面接触的状态。动作D中，使工件的端部接触开口部的内壁。动作E中，使工件插入到开口部中。
此处，在第一实施方式中说明过的“作业状态”与第二实施方式的“动作”是相似的概念。例如，第二实施方式中，进行动作A期间可被当成为作业状态A，进行动作B期间可被当成为作业状态B(动作C、D也同样)。
下面，参照图11，对第二实施方式的机器人系统1进行说明。第二实施方式中，在确定并利用进度和确信度这一点上，与上述第一实施方式不同。如在第一实施方式中说明过那样，控制部40通过使计算装置读出并执行存储部中储存的程序，能够作为各种部件发挥作用。第二实施方式的控制部40还具备进度取得部51、确信度取得部52、进度监视部56、及确信度监视部57。
进度取得部51取得进度。进度是参数，用于评价机器人10根据通过上述机器学习(包含追加学习)构建的模型的输出而进行的动作在一系列的作业中相当于哪一个进展程度。本实施方式中，进度取0至100为止的范围内的值，越接近100，表示一系列的作业正在进展。
参照图12，对进度的计算进行说明。本实施方式中，如图12所示，进度是考虑将能够按时间序列取得的机器人10的状态进行聚类而获得的集群、及机器人10的动作履历，而算出的。
上述机器人10的状态可被表现为，包含来自状态检测传感器11～13的传感信息和模型的计算操作力的多维向量(特征向量)。在机器人10进行一系列作业的过程中，特征向量发生各种变化。也可以为，特征向量不仅仅是传感信息和计算操作力在此时点的值，还包含传感信息和计算操作力的过去的履历。
以下说明中，有时将机器人10及其周围的状态、和模型相应于其而推测出的结果综合后称为机器人10的局面。作为前述的特征向量，使用表示机器人10的局面的数据(局面数据)。局面数据相当于综合了向模型输入的输入数据(具体而言是传感信息)、和从模型输出的输出数据(具体而言计算操作力)这两方的数据。
聚类是指，无教师学习的一种，是从大量的数据中学习分布规律，而取得作为特征相互相似的数据的汇集的多个集群的方法。作为聚类的方法，可以适当地采用公知的非分层聚类方法(Non-hierarchical clustering method)。
对于每个上述动作(动作A～动作E)，机器人10的局面具有特征。例如，在动作A的状态的特征(即，动作A时取得的局面数据)与在动作B的状态的特征不同。因而，通过以上述特征向量为对象而进行恰当的聚类，能够将机器人10的局面按动作来分类。
学习控制部42使用上述聚类结果，计算与现在的机器人10的局面相对应的进度。如图12所示，进度的值被预先设定为，按照各集群所示的动作的顺序，阶段性且累积性地增加。由于机器人10的一系列作业能够被表现为特征向量按时间序列顺序排列，所以能够用时间序列顺序的信息来求出各集群的时间序列顺序。
学习控制部42通过计算，求出表示现在的时间点的机器人10的局面的特征向量属于哪一个集群，并相应于进度取得部51或确信度取得部52的要求而输出与该集群相对应的进度。要确定特征向量属于哪一个集群，例如，只要求出各集群的重心位置与特征向量之间的距离，然后求出具有距离最短的重心的集群即可。
如图13所示，在机器人10的作业正在进展的情况下(即，机器人10的局面正在恰当地转移的情况下)，进度的值随时间的经过而增加。然而，在机器人10的作业进展不下去的情况下(例如，反复向特定的局面转移的情况下)，即便是时间经过，进度的值也不增加。因此，用户能够通过查看进度的变化，而容易地把握机器人10的自主性作业是否正在进展。其结果，能够容易地发现机器人10的动作停滞，从而能够采取修正该动作等的恰当的对策。
确信度取得部52取得确信度。确信度是用于评价机器人10的动作是否可能准确(换言之，模型所推测的输出是否可能准确)的参数。
学习控制部42的模型预先学习机器人10及其周围的状态与此时用户进行的操作所产生的作业者操作力之间的对应关系。换言之，模型基于从已知的多个状态获得的规律来动作。由于机器学习模型原本具有泛化能力，即便对于未知的状况，也能够期待模型输出恰当的计算操作力。但是，与人处于根据迄今为止的过去的经验而难以预测的全新状况时难以充满自信地行动一样，站在模型的立场上，可以说，状态越是远离迄今为止学习过的已知状态，越难以确信推测结果。在该意义上，确信度表示推测的准确程度。
本实施方式中，在学习控制部42中，通过机器学习而构建了用于判别机器人10的局面的概率性判别器。相应于通过上述聚类而分类的集群的数目，而具备多个该概率性判别器。
例如，在动作A的集群的概率性判别器中，以下述方式进行机器学习，即，当通过聚类而被分类到动作A的集群的特征向量被输入时，输出接近100的值；当被分类到其它的动作的集群的特征向量被输入时，输出接近0的值。因而，若对学习完成后的概率性判别器输入表示现在的机器人10的局面的特征向量，则概率性判别器会输出表示该局面是否像是动作A的值。可以说，该值实质性地示出现在的机器人10的局面是动作A的概率(推测概率)。其它的集群(其它的动作B～E)的概率性判别器中也同样地进行上述学习。
通过向多个概率性判别器分别输入特征向量，能够推测现在的状况与动作A～E中的哪一个动作相对应，另外，能够根据概率性判别器获知该推测是否像是准确的。
本实施方式中，如图14所示，作为确信度，采用多个概率性判别器所输出的推测概率中最大的值。在现在的局面与已知的机器人10的局面(换言之，通过聚类而被分类到动作A～E中的任一个的局面)相似的情况下，确信度的值变大。相反，在现在的局面与已知的机器人10的局面不相似的情况下，确信度的值变小。
如图15所示，用户例如通过查看一系列作业时的确信度的值，能够评价机器人10的动作是否像是准确的。即，如果进行模型未记忆的动作，则确信度的值降低。因而，用户能够把握在一系列的作业中是否包含有学习不充分的动作。也可以为，控制部40自动检测确信度较小的动作。相反，如果进行模型已记忆的动作，则确信度的值上升。因而，用户也能够获知在某个局面的机器人10的动作与已知的动作相一致。
另外，用户还能够用确信度的值，确认机器人10的动作已到达已知的某个状态(例如，动作A～E中的任一个)。
进度监视部56对前述的进度取得部51所取得的进度进行监视。进度监视部56能够检测到如图13所示那样在规定的时间进度不变化的状况，从而检测出机器人10的动作停滞。
也可以为，如果进度监视部56检测到机器人10的动作停滞，则控制部40中断机器人10的控制，进行使机器人10的作业停止的处理。在此情况下，能够实现基于进度监视部56的监视结果的超时功能(放弃继续作业的功能)。
第二实施方式中，利用该超时功能，实施第一实施方式的判定工序(S103)。具体而言，如果进度监视部56所输出的进度不上升的时间持续了比阈值长的期间，则判定部44判定为在学习控制部42的控制下作业不能够继续。
另外，在第一实施方式的作业状态推测处理(S102)中，进度也被用于判定作业是否完成的处理。具体而言，学习控制部42判定是否现在是与动作E相对应的作业状态且进度在阈值(例如100)以上，如果进度在阈值以上，则判定为作业已完成。
确信度监视部57对确信度取得部52所取得的确信度进行监视。确信度监视部57一直对确信度的值进行监视，如图15所示那样检测确信度的值未达到规定值的动作、检测现在的作业状态与预先设定的作业状态的相似程度。
可以用该确信度取代第一实施方式的相似度。因而，学习控制部42例如可以使用确信度监视部57所输出的确信度，进行第一实施方式的作业状态推测处理(S102)。具体而言，在现在的作业状态为与“完成”相当的作业状态、且确信度在阈值以上的情况下，学习控制部42判定为作业已完成。
另外，第一实施方式中，由于相似度也被用于判定工序(S103)等，所以也可以使用确信度来实施判定工序等。具体而言，判定部44根据确信度监视部57所输出的确信度，判定为现在的确信度比阈值低时，判定为作业不能够继续。这是因为，在确信度低的情况下，现在的作业状态与已知的作业状态不相同的可能性较高。
另外，与第一实施方式的相似度一样，可将确信度作为作业者用于确定现在的正确的作业状态的信息来使用。具体而言，通知部45向显示装置22输出使其显示作业不能够继续的意思的第一通知信号，同时，向显示装置22输出使其显示确信度的第二通知信号。
如此，通过使用进度及/或确信度，能够将作业的进展程度数值化，从而能够更准确地进行判定。
如以上说明过那样，该机器人系统1具备机器人10、状态检测传感器11～13、定时部46、学习控制部42、判定部44、操作装置21、输入部23、切换装置30、及追加学习部43。机器人10根据动作指令进行作业。状态检测传感器11～13检测并输出表示机器人10的作业的进展状态的状态值。定时部46按规定的时间间隔输出定时信号。学习控制部42使用通过对作业状态和与该作业状态相关联的下一个作业状态、及至少一组状态值和与该状态值相关联的操作力进行机器学习而构建的模型，根据由状态检测传感器11～13检测出的状态值及定时信号，输出计算操作力。判定部44根据由状态检测传感器11～13检测出的状态值，输出表示在学习控制部42的控制下机器人10的作业是否能够继续的判定结果(判定工序)。操作装置21是作业者所操作的装置，检测并输出作为作业者所施加的操作力的作业者操作力。输入部23(省略图示的按键)受理并输出作业者所进行的作业状态的输入。切换装置30根据作业者操作力及计算操作力，将作业者操作力或计算操作力转换成动作指令并将其输出。追加学习部43根据表示机器人10的作业不能够继续的判定结果、输入部23所输出的作业状态、操作装置21所输出的作业者操作力、状态检测传感器11～13所检测出的状态值、及定时信号，对作业状态和与该作业状态相关联的下一个作业状态、及至少一组状态值和与该状态值相关联的作业者操作力进行追加学习，并将模型更新(追加学习工序)。
由此，通过对现在和下一个作业状态、操作力、及状态值进行追加学习，即便在机器人10不能够继续作业的情况下，机器人系统1侧也能够自主地解决而使作业继续进行。
另外，上述实施方式的机器人系统1中，追加学习部43根据状态值，求出与作业状态相关联的下一个作业状态(状态转移完成判定工序)，对作业状态和下一个作业状态、及状态值和作业者操作力进行追加学习，并将模型更新。
另外，上述实施方式的机器人系统1中，输入部23受理作业者所进行的与被输入的作业状态相关联的下一个作业状态的输入，并将其输出给追加学习部43；追加学习部43对作业状态和下一个作业状态、及状态值和作业者操作力进行追加学习，并将模型更新。
由此，能够包含作业状态的转移地对机器人10的作业进行追加学习，从而能够更恰当地对机器人10的作业进行追加学习。
另外，上述实施方式的机器人系统1中，在作业状态与下一个作业状态不相同的情况下，追加学习部43对作业状态和下一个作业状态、及多组的状态值和与该状态值相关联的作业者操作力进行追加学习，并将模型更新。
由此，能够高精度地对机器人10的动作进行追加学习。
另外，上述实施方式的机器人系统1中，切换装置30根据表示对作业者操作力或计算操作力进行转换的设定信号，将作业者操作力或计算操作力转换成动作指令，并将其输出。
由此，能够从切换装置30的外部、特别是控制部40，实施作业者使机器人10动作的状态与机器人系统1进行自主运行的状态间切换。
另外，上述实施方式的机器人系统1中，切换装置30具备传感器。传感器检测操作装置21所输出的作业者操作力的大小。切换装置30根据检测出的作业者操作力的大小，将作业者操作力或计算操作力转换成动作指令，并将其输出。
由此，切换装置30能够在作业者对操作部20进行操作期间，使状态成为作业者使机器人10动作的状态。
另外，上述实施方式的机器人系统1中，学习控制部42根据表示机器人10的作业不能够继续的判定结果，中断计算操作力的输出，当判定为追加学习已完成时，恢复计算操作力的输出。
由此，能够抑制在学习控制部42的控制下机器人10的作业不能够继续时因计算操作力而引起的机器人10的无用动作。
另外，上述实施方式的机器人系统1具备通知部45和显示装置22。通知部45根据表示机器人10的作业不能够继续的判定结果，输出通知信号(通知工序)。显示装置22根据通知信号进行显示。
由此，作业者能够准确地把握需要对机器人10的作业进行追加学习的时机、及与追加学习相关的信息等。
另外，上述实施方式的机器人系统1中，学习控制部42根据由状态检测传感器11～13检测出的状态值，计算并输出表示现在的状态值与模型内的作业状态相似的程度的相似度；通知部45根据该相似度及表示机器人10的作业不能够继续的判定结果，输出通知信号(第一通知信号、第二通知信号)。
由此，显示装置22会显示被通知的相似度，因而，作业者能够准确地确定现在的作业状态。
另外，上述实施方式的机器人系统1中，学习控制部42根据由状态检测传感器11～13检测出的状态值，计算并输出表示现在的状态值与模型内的作业状态相似的程度的相似度；判定部44根据状态值及相似度，输出判定结果。
例如，在根据相似度判定出与哪一个作业状态都不相似的情况下，为未知的状态、且由机器人系统1侧继续进行作业较为困难的可能性高。如此，通过使用相似度，能够准确地判定作业的继续是否可能。
另外，上述实施方式的机器人系统1具备取得确信度的确信度取得部52，确信度表示在模型相应于输入到该模型中的输入数据来推测并输出计算操作力的情况下，该推测的准确程度。通知部45根据该确信度及表示机器人10的作业不能够继续的判定结果，输出通知信号。
由此，作业者能够根据显示装置22所显示的确信度，准确地确定现在的作业状态。
另外，上述实施方式的机器人系统1具备取得确信度的确信度取得部52，确信度表示在模型相应于输入到该模型中的输入数据来推测并输出计算操作力的情况下，该推测的准确程度。判定部44根据确信度，输出判定结果。
例如，在确信度较低的情况下，由于是未知的作业状态或与其相似的状态，所以由机器人系统1侧继续进行作业较为困难的可能性高。如此，通过使用确信度，能够准确地判定作业是否能够继续。
另外，上述实施方式的机器人系统1具备取得进度的进度取得部51，进度表示基于模型所输出的计算操作力而实现的机器人10的作业状态相当于机器人10的作业中的哪一个进展程度。判定部44根据进度，输出判定结果。
例如，在进度不变化的情况下，机器人10的作业停滞的可能性高。如此，通过使用进度，能够正确地判定由机器人系统1侧进行的作业是否能够继续。
另外，上述实施方式的机器人系统1中，追加学习部43在判定为输入到输入部23的作业状态包含在模型内的情况下，根据由状态检测传感器11～13检测出的状态值，修正模型内的该作业状态的推测基准(作业状态推测基准修正工序)。
由此，能够将模型设定为，学习控制部42能够更准确地推测作业状态。
另外，上述实施方式的机器人系统1中，追加学习部43判定为输入到输入部23的作业状态不包含在模型内的情况下，根据由状态检测传感器11～13检测出的状态值，将被输入的该作业状态登录到模型中(作业状态登录工序)。
由此，即便是在先前的机器学习时未能包揽所有的作业状态的情况下，也能够对新的作业状态进行追加学习。
另外，上述实施方式的机器人系统1中，定时部46根据触发信号，从该触发信号的接收时间起按规定的时间间隔输出定时信号；学习控制部42在计算操作力的输出开始时，输出触发信号；追加学习部43在检测到作业者操作力的输入时，输出触发信号。
由此，能够减少因机器人10的动作的追加学习和机器人10的动作而产生的延迟所造成的影响。
以上，对本发明的较佳的实施方式进行了说明，但对上述结构例如可实施以下变更。
图5的流程图的内容仅是一例，可以实施处理的追加、处理的省略、处理的顺序变更等。例如，在不显示相似度作业者也能够确定作业状态的场合，可以省略相似度的计算及输出。另外，也可以将与追加学习相关的数据储蓄下来，在储蓄了一定程度的数据之后进行追加学习。
作为状态值列举的数据仅是一例，可以使用不同的数据作为状态值。例如，在使用与方向相关的数据作为状态值的情况下，通过在机器人10和作业者(操作装置21及显示装置22)中使用共同的坐标系中的数据，能够简化处理。
上述实施方式中，假定构成机器人系统1的各装置配置在相同的作业现场，但如果能够通过网络进行信息交流的话，至少一个装置(例如操作装置21)配置在远隔地区也可以。另外，控制部40所具有的功能中的至少一部分配置在物理上分离的位置上也可以。另外，也可以将本发明应用于不具备操作装置21的机器人系统1。
进度和确信度的可取范围是任意的，例如可为0到1。
上述实施方式中，机器人10被安装在基座部，但也可以采用能够自主行走的结构。另外，机器人10也可以被构成为，能够用臂部以外的构件进行作业。
附图标记说明
1   机器人系统
10  机器人
11  动作传感器
12  力传感器
13  摄像机
21  操作装置
22  显示装置
23  输入部
30  切换装置
40  控制部
41  通信部
42  学习控制部
43  追加学习部
44  判定部
45  通知部
46  定时部

Claims (19)

1.一种机器人系统，其特征在于：具备
机器人，根据动作指令进行作业；
状态检测传感器，检测并输出表示所述机器人的作业的进展状态的状态值；
学习控制部，使用通过对作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的操作力进行机器学习而构建的模型，根据由所述状态检测传感器检测出的所述状态值，输出计算操作力；
判定部，根据由所述状态检测传感器检测出的所述状态值，输出表示在所述学习控制部的控制下所述机器人的作业是否能够继续的判定结果；
操作装置，是作业者所操作的装置，检测并输出作为作业者所施加的操作力的作业者操作力；
输入部，受理并输出作业者所进行的所述作业状态的输入；
切换装置，根据所述作业者操作力和所述计算操作力，将所述作业者操作力或所述计算操作力转换成所述动作指令并将其输出；及
追加学习部，根据表示所述机器人的作业不能够继续的所述判定结果、所述输入部所输出的所述作业状态、所述操作装置所输出的所述作业者操作力、及所述状态检测传感器所检测出的所述状态值，对所述作业状态和与该作业状态相关联的所述下一个作业状态、及至少一组所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
2.如权利要求1所述的机器人系统，其特征在于：
所述追加学习部根据所述状态值求出与所述作业状态相关联的所述下一个作业状态，并对所述作业状态和所述下一个作业状态及所述状态值和所述作业者操作力进行追加学习后将所述模型更新。
3.如权利要求1所述的机器人系统，其特征在于：
所述输入部受理与被输入的所述作业状态相关联的所述下一个作业状态的作业者所进行的输入，并将其输出到所述追加学习部，
所述追加学习部对所述作业状态和所述下一个作业状态及所述状态值和作业者操作力进行追加学习，并将所述模型更新。
4.如权利要求1至3中任一项所述的机器人系统，其特征在于：
所述追加学习部在所述作业状态与所述下一个作业状态不同的情况下，对所述作业状态和所述下一个作业状态、及多组的所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
5.如权利要求1所述的机器人系统，其特征在于：
所述切换装置根据表示对所述作业者操作力或所述计算操作力进行转换的设定信号，将所述作业者操作力或所述计算操作力转换成所述动作指令，并将其输出。
6.如权利要求1所述的机器人系统，其特征在于：
所述切换装置具备检测所述操作装置所输出的所述作业者操作力的大小的传感器，
所述切换装置根据检测到的所述作业者操作力的大小，将所述作业者操作力或所述计算操作力转换成所述动作指令，并将其输出。
7.如权利要求1所述的机器人系统，其特征在于：
所述学习控制部根据表示所述机器人的作业不能够继续的所述判定结果，中断所述计算操作力的输出，当判定为追加学习结束时，恢复所述计算操作力的输出。
8.如权利要求1所述的机器人系统，其特征在于：
具备根据表示所述机器人的作业不能够继续的所述判定结果输出通知信号的通知部、及根据所述通知信号进行显示的显示装置。
9.如权利要求8所述的机器人系统，其特征在于：
所述学习控制部根据由所述状态检测传感器检测出的所述状态值，计算并输出表示现在的所述状态值与所述模型内的所述作业状态相似的程度的相似度；
所述通知部根据该相似度及表示所述机器人的作业不能够继续的所述判定结果，输出所述通知信号。
10.如权利要求1所述的机器人系统，其特征在于：
所述学习控制部根据由所述状态检测传感器检测出的所述状态值，计算并输出表示现在的所述状态值与所述模型内的所述作业状态相似的程度的相似度；
所述判定部根据所述状态值及所述相似度，输出所述判定结果。
11.如权利要求8所述的机器人系统，其特征在于：
具备取得确信度的确信度取得部，所述确信度表示在所述模型相应于输入到该模型中的输入数据来推测并输出所述计算操作力的情况下，该推测的准确程度，
所述通知部根据该确信度及表示所述机器人的作业不能够继续的所述判定结果，输出所述通知信号。
12.如权利要求1所述的机器人系统，其特征在于：
具备取得确信度的确信度取得部，所述确信度表示所述模型相应于输入到该模型中的输入数据来推测并输出所述计算操作力的情况下，该推测的准确程度，
所述判定部根据所述确信度，输出所述判定结果。
13.如权利要求1所述的机器人系统，其特征在于：
具备取得进度的进度取得部，所述进度表示基于所述模型所输出的所述计算操作力所能实现的所述机器人的作业状态相当于所述机器人的作业中的哪一个进展程度，
所述判定部根据所述进度，输出所述判定结果。
14.如权利要求1所述的机器人系统，其特征在于：
所述追加学习部判定为输入到所述输入部的所述作业状态包含在所述模型内的情况下，根据由所述状态检测传感器检测出的所述状态值，修正所述模型内的该作业状态的推测基准。
15.如权利要求1所述的机器人系统，其特征在于：
所述追加学习部判定为输入到所述输入部的所述作业状态不包含在所述模型内的情况下，根据由所述状态检测传感器检测出的所述状态值，将被输入的该作业状态登录到所述模型中。
16.一种机器人系统，其特征在于：
对于具备机器人、状态检测传感器、学习控制部、操作装置、及切换装置的机器人系统，进行包括判定工序、输入受理工序、及追加学习工序的处理，其中，
所述机器人根据动作指令进行作业；
所述状态检测传感器检测并输出表示所述机器人的作业的进展状态的状态值；
所述学习控制部使用通过对作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的操作力进行机器学习而构建的模型，根据由所述状态检测传感器检测出的所述状态值输出计算操作力；
所述操作装置是作业者所操作的装置，检测并输出作为作业者所施加的操作力的作业者操作力；
所述切换装置根据所述作业者操作力和所述计算操作力，将所述作业者操作力或所述计算操作力转换成所述动作指令并将其输出，
所述判定工序为，根据由所述状态检测传感器检测出的所述状态值，输出表示在所述学习控制部的控制下所述机器人的作业是否能够继续的判定结果；
所述输入受理工序为，受理所述作业状态的输入和来自所述操作装置的所述作业者操作力的输入；
所述追加学习工序为，根据表示所述机器人的作业不能够继续的所述判定结果、被输入的所述作业状态、被输入的所述作业者操作力、及所述状态检测传感器所检测出的所述状态值，对所述作业状态和与该作业状态相关联的所述下一个作业状态、及至少一组所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
17.一种机器人系统，其特征在于：具备
机器人，根据动作指令进行作业；
状态检测传感器，检测并输出表示所述机器人的作业的进展状态的状态值；
定时部，按规定的时间间隔输出定时信号；
学习控制部，使用通过对作业状态和与该作业状态相关联的下一个作业状态、及至少一组所述状态值和与该状态值相关联的操作力进行机器学习而构建的模型，根据由所述状态检测传感器检测出的所述状态值和所述定时信号，输出计算操作力；
判定部，根据由所述状态检测传感器检测出的所述状态值，输出表示在所述学习控制部的控制下所述机器人的作业是否能够继续的判定结果；
操作装置，是作业者所操作的装置，检测并输出作为作业者所施加的操作力的作业者操作力；
输入部，受理并输出作业者所进行的所述作业状态的输入；
切换装置，根据所述作业者操作力和所述计算操作力，将所述作业者操作力或所述计算操作力转换成所述动作指令并将其输出；及
追加学习部，根据表示所述机器人的作业不能够继续的所述判定结果、所述输入部所输出的所述作业状态、所述操作装置所输出的所述作业者操作力、所述状态检测传感器所检测出的所述状态值、及所述定时信号，对所述作业状态和与该作业状态相关联的所述下一个作业状态、及至少一组所述状态值和与该状态值相关联的所述作业者操作力进行追加学习，并将所述模型更新。
18.如权利要求17所述的机器人系统，其特征在于：
所述追加学习部根据所述状态值，求出与所述作业状态相关联的所述下一个作业状态，并对所述作业状态和所述下一个作业状态、及所述状态值和所述作业者操作力进行追加学习后将所述模型更新。
19.如权利要求17或18所述的机器人系统，其特征在于：
所述定时部根据触发信号，从该触发信号的接收时间起按所述规定的时间间隔输出所述定时信号；
所述学习控制部在开始所述计算操作力的输出时，输出所述触发信号；
所述追加学习部在检测到所述作业者操作力的输入时，输出所述触发信号。
CN201980035276.4A 2018-05-25 2019-05-24 机器人系统及追加学习方法 Active CN112203812B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018100520 2018-05-25
JP2018-100520 2018-05-25
JP2018245459 2018-12-27
JP2018-245459 2018-12-27
PCT/JP2019/020697 WO2019225746A1 (ja) 2018-05-25 2019-05-24 ロボットシステム及び追加学習方法

Publications (2)

Publication Number Publication Date
CN112203812A CN112203812A (zh) 2021-01-08
CN112203812B true CN112203812B (zh) 2023-05-16

Family

ID=68616335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035276.4A Active CN112203812B (zh) 2018-05-25 2019-05-24 机器人系统及追加学习方法

Country Status (6)

Country Link
US (1) US11858140B2 (zh)
EP (1) EP3804918A4 (zh)
JP (1) JP7167141B2 (zh)
KR (1) KR102403073B1 (zh)
CN (1) CN112203812B (zh)
WO (1) WO2019225746A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11173613B2 (en) * 2017-02-09 2021-11-16 Mitsubishi Electric Corporation Position control device and position control method
JP7336463B2 (ja) * 2018-12-27 2023-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7117237B2 (ja) * 2018-12-27 2022-08-12 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7463777B2 (ja) * 2020-03-13 2024-04-09 オムロン株式会社 制御装置、学習装置、ロボットシステム、および方法
US11472025B2 (en) * 2020-05-21 2022-10-18 Intrinsic Innovation Llc Robotic demonstration learning device
JP2022023737A (ja) * 2020-07-27 2022-02-08 トヨタ自動車株式会社 ロータの組立方法及びロータ組立装置の制御装置
JP7547940B2 (ja) * 2020-10-30 2024-09-10 セイコーエプソン株式会社 ロボットの制御方法
DE102021109334B4 (de) * 2021-04-14 2023-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
JP2023072601A (ja) * 2021-11-12 2023-05-24 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
CN114118774B (zh) * 2021-11-19 2024-08-09 沃太能源股份有限公司 处理和清洗方法、及装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101433491A (zh) * 2008-12-05 2009-05-20 华中科技大学 多自由度的穿戴式手功能康复训练机器人及其控制系统
JP2012139769A (ja) * 2010-12-28 2012-07-26 Yaskawa Electric Corp ロボットシステム及びロボットの状態判定方法
JP2014128857A (ja) * 2012-12-28 2014-07-10 Yaskawa Electric Corp ロボット教示システムおよびロボット教示方法
DE102017000063A1 (de) * 2016-01-14 2017-07-20 Fanuc Corporation Robotereinrichtung mit Lernfunktion
WO2017130286A1 (ja) * 2016-01-26 2017-08-03 富士機械製造株式会社 ジョブ作成装置および作業システム並びに作業ロボットの制御装置
CN107664977A (zh) * 2016-07-28 2018-02-06 波音公司 用于在包括机器的制造环境中操作机器的系统以及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832517B2 (ja) * 1996-07-05 2006-10-11 セイコーエプソン株式会社 ロボット用コントローラ及びその制御方法
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5137537B2 (ja) * 2007-11-28 2013-02-06 三菱電機株式会社 ロボットの作業動作最適化装置
EP2637594A4 (en) * 2010-11-11 2015-05-06 Univ Johns Hopkins ROBOT SYSTEMS FOR HUMAN MACHINE COLLABORATION
JP5803155B2 (ja) * 2011-03-04 2015-11-04 セイコーエプソン株式会社 ロボット位置検出装置及びロボットシステム
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
WO2014089316A1 (en) * 2012-12-06 2014-06-12 International Electronic Machines Corporation Human augmentation of robotic work
JP6494331B2 (ja) * 2015-03-03 2019-04-03 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP2017007064A (ja) 2015-06-25 2017-01-12 ダイハツ工業株式会社 組立方法
DE102016015936B8 (de) * 2015-07-31 2024-10-24 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6522488B2 (ja) 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6567998B2 (ja) * 2016-03-23 2019-08-28 国立大学法人 東京大学 制御方法
JP6457421B2 (ja) * 2016-04-04 2019-01-23 ファナック株式会社 シミュレーション結果を利用して学習を行う機械学習装置，機械システム，製造システムおよび機械学習方法
US9751212B1 (en) * 2016-05-05 2017-09-05 Toyota Jidosha Kabushiki Kaisha Adapting object handover from robot to human using perceptual affordances
CN107536698B (zh) * 2016-06-29 2022-06-03 松下知识产权经营株式会社 行走辅助机器人以及行走辅助方法
JP6431017B2 (ja) * 2016-10-19 2018-11-28 ファナック株式会社 機械学習により外力の検出精度を向上させた人協調ロボットシステム
JP6392825B2 (ja) * 2016-11-01 2018-09-19 ファナック株式会社 学習制御機能を備えたロボット制御装置
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US10807242B2 (en) * 2017-12-13 2020-10-20 Verb Surgical Inc. Control modes and processes for positioning of a robotic manipulator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101433491A (zh) * 2008-12-05 2009-05-20 华中科技大学 多自由度的穿戴式手功能康复训练机器人及其控制系统
JP2012139769A (ja) * 2010-12-28 2012-07-26 Yaskawa Electric Corp ロボットシステム及びロボットの状態判定方法
JP2014128857A (ja) * 2012-12-28 2014-07-10 Yaskawa Electric Corp ロボット教示システムおよびロボット教示方法
DE102017000063A1 (de) * 2016-01-14 2017-07-20 Fanuc Corporation Robotereinrichtung mit Lernfunktion
WO2017130286A1 (ja) * 2016-01-26 2017-08-03 富士機械製造株式会社 ジョブ作成装置および作業システム並びに作業ロボットの制御装置
CN107664977A (zh) * 2016-07-28 2018-02-06 波音公司 用于在包括机器的制造环境中操作机器的系统以及方法

Also Published As

Publication number Publication date
EP3804918A1 (en) 2021-04-14
WO2019225746A1 (ja) 2019-11-28
KR102403073B1 (ko) 2022-05-30
US11858140B2 (en) 2024-01-02
CN112203812A (zh) 2021-01-08
EP3804918A4 (en) 2022-03-30
KR20210006431A (ko) 2021-01-18
JP7167141B2 (ja) 2022-11-08
JPWO2019225746A1 (ja) 2021-06-10
US20210197369A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN112203812B (zh) 机器人系统及追加学习方法
US9108321B2 (en) Motion prediction control device and method
Chalon et al. Online in-hand object localization
US8498745B2 (en) Robot apparatus and gripping method for use in robot apparatus
US20080231221A1 (en) Arm-equipped mobile robot and method for controlling the same
JP4746349B2 (ja) ロボット行動選択装置及びロボット行動選択方法
KR102400668B1 (ko) 매니퓰레이터와 입력 툴을 이용하여 대상물을 핸들링하는 방법
JP2022543926A (ja) ロボットシステムのためのデリバティブフリーモデル学習のシステムおよび設計
JP2015507541A (ja) ロボットを制御する制御方法およびかかる方法を使用する制御システム
CN112643682B (zh) 示教方法
CN112203811A (zh) 机器人系统及机器人控制方法
JP2012245568A (ja) 運動予測制御装置と方法
US20220134550A1 (en) Control system for hand and control method for hand
JP5679121B2 (ja) ロボットの運動予測制御方法と装置
JP5733516B2 (ja) 移動体把持装置と方法
JP2022156954A (ja) 制御装置、ロボットシステム、制御方法、および、プログラム
JP6758915B2 (ja) 自律作業制御システムおよび自律作業制御方法
TWI781708B (zh) 學習裝置、學習方法、學習程式、控制裝置、控制方法及控制程式
Du et al. Human‐Manipulator Interface Using Particle Filter
KR102243052B1 (ko) 사용자의 적어도 한 가지 움직임을 보조하기 위한 방법 및 이에 대응되는 장치
Ding et al. Online computation of safety-relevant regions for human robot interaction
JP7542481B2 (ja) 制御装置、ロボットシステム、制御方法、および、プログラム
US20220092290A1 (en) Image Recognition Method And Robot System
CN117207190B (zh) 基于视觉与触觉融合的精准抓取机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant