CN113950393A - 参数计算装置、机器人控制系统及机器人系统 - Google Patents

Abstract

参数计算装置(100)具有：参数存储部(110)，其针对以速度0为分隔的每个控制区间对控制机器人的动作的参数进行存储；状态变量取得部(120)，其基于参数而取得状态变量，该状态变量表示由多个控制区间构成的一系列动作中的机器人的状态；评价部(130)，其基于状态变量，对评价一系列动作的评价值及一系列动作的循环时间进行计算；以及机器学习部(140)，其通过使用多目标优化方法的学习对评价值满足第1条件且循环时间满足第2条件的参数进行计算，使计算出的参数存储于参数存储部(110)。

Description

参数计算装置、机器人控制系统及机器人系统

技术领域

本发明涉及对用于控制机器人的动作的参数进行计算的参数计算装置、机器人控制系统及机器人系统。

背景技术

近年，针对工业用的机器人，为了使生产率提高，要求与对象作业相对应的动作的高速化。另一方面，如果机器人的关节轴的致动器以可输出的最大速度进行重复动作，则根据负载的大小，有时机器人所具有的部件会过度消耗而达不到设计寿命。因此，对机器人进行控制的控制装置优选对施加于机器人的关节轴的负载扭矩等进行监视，对用于生成向致动器输出的动作指令的速度或者加速度的参数进行调整。

专利文献1所记载的寿命推定仿真装置，在通过机器人动作的仿真得到的减速机的负载的值大于用于满足目标寿命的负载基准值的情况下，使速度指令值减小。

专利文献1：日本特开2013－144349号公报

发明内容

但是，在上述专利文献1的技术中，通过使特定定时的速度指令值减小而延长寿命，没有针对减速机的一系列动作的整体而考虑寿命等的限制条件。因此，在上述专利文献1的技术中，无法针对一系列动作的整体考虑寿命等的限制条件和循环时间这两者而调整动作指令。即，在上述专利文献1的技术中，无法使针对一系列动作的限制条件和针对一系列动作的循环时间这两者各自满足特定的条件。

本发明就是鉴于上述情况而提出的，其目的在于得到能够实现针对一系列动作的限制条件和针对一系列动作的循环时间这两者各自满足特定条件的整体优化的参数计算装置。

为了解决上述的课题，并达到目的，本发明的参数计算装置具有：参数存储部，其针对以速度0为分隔的每个控制区间对控制机器人的动作的参数进行存储；以及状态变量取得部，其基于参数而取得状态变量，该状态变量表示由多个控制区间构成的一系列动作中的机器人的状态。另外，本发明的参数计算装置具有：评价部，其基于状态变量，对评价一系列动作的评价值及一系列动作的循环时间进行计算；以及机器学习部，其通过使用多目标优化方法的学习对评价值满足第1条件且循环时间满足第2条件的参数进行计算，使计算出的参数存储于参数存储部。

发明的效果

本发明所涉及的参数计算装置具有下述效果，即，能够实现针对一系列动作的限制条件和针对一系列动作的循环时间这两者各自满足特定条件的整体优化。

附图说明

图1是表示实施方式1所涉及的参数计算装置的结构的框图。

图2是表示通过实施方式1所涉及的参数计算装置进行的参数的计算处理顺序的流程图。

图3是表示实施方式1所涉及的参数计算装置的第1其他结构例的框图。

图4是用于对实施方式1所涉及的机器人的一系列动作进行说明的图。

图5是表示实施方式1所涉及的参数计算装置所生成的速度模式的例子的图。

图6是表示相对于图5所示的速度模式而减小最高速度及加速度的情况下的速度模式的例子的图。

图7是用于对实施方式1所涉及的参数计算装置所生成的速度模式和对比例的速度模式的差异进行说明的图。

图8是表示实施方式1所涉及的参数计算装置的第2其他结构例的框图。

图9是表示实施方式1所涉及的参数计算装置的第3其他结构例的框图。

图10是表示实施方式1所涉及的参数计算装置的第4其他结构例的框图。

图11是用于对图10的参数计算装置在接口画面显示的信息进行说明的图。

图12是表示实施方式1所涉及的参数计算装置的第5其他结构例的框图。

图13是表示实施方式2所涉及的参数计算装置的第1结构例的框图。

图14是表示实施方式2所涉及的参数计算装置的第2结构例的框图。

图15是表示实施方式3所涉及的参数计算装置的结构例的框图。

图16是表示具有实施方式5所涉及的参数计算装置的机器人系统的结构例的框图。

图17是表示实施方式1至5所涉及的参数计算装置的硬件结构例的图。

图18是表示实施方式6所涉及的参数计算装置对作业环境的布局进行调整前的控制区间的图。

图19是表示实施方式6所涉及的参数计算装置对作业环境的布局进行调整后的控制区间的图。

具体实施方式

下面，基于附图对本发明的实施方式所涉及的参数计算装置、机器人控制系统及机器人系统详细地进行说明。此外，本发明并不由这些实施方式限定。

实施方式1.

＜装置结构＞

图1是表示实施方式1所涉及的参数计算装置的结构的框图。机器人动作参数计算装置即参数计算装置100是对在使机器人动作时使用的参数(动作参数)进行计算的装置。在动作参数中，存在决定机器人的最高速度、加速度、等待时间等机器人的动作速度的参数和决定机器人的移动路径的参数。在实施方式1至5中，对动作参数是决定机器人的动作速度的参数的情况进行说明，在实施方式6中，对动作参数是决定机器人的移动路径的参数的情况进行说明。参数计算装置100具有参数存储部110、状态变量取得部120、评价部130、机器学习部140和结束条件判定部150。

在本实施方式中，对机器人是手臂机器人的情况进行说明，但机器人可以是任意的机器人。用户使用被称为示教器的远程控制装置使机器人的臂部移动，由此在产品的制造工序中对臂部应该经过的特定的位置(示教点)进行示教。或者，用户能够通过对机器人的臂部等进行直接操作而向机器人的臂部对示教点进行示教。在机器人，用于对臂部进行直接操作的操作器安装于臂部，操作者直接通过手抓持操作器而使臂部移动，由此在产品的制造工序中对臂部应该经过的特定的位置(示教点)进行示教。由此，机器人在产品的制造工序中，使臂部向各示教点依次移动。

参数存储部110针对每个示教区间对在生成向机器人的动作指令时使用的参数进行存储。参数存储部110针对每个示教区间对由机器学习部140学习而计算出的参数的组合进行存储。示教区间是从成为机器人的1个动作的起点的示教点至成为终点的示教点为止的移动区间。机器人在多个示教区间进行移动，由此执行一系列动作。此外，动作的起点及动作的终点可以基于用于对机器人的移动进行控制的控制程序(机器人语言)而设定。在该情况下，参数存储部110针对每个控制区间对在生成向机器人的动作指令时使用的参数进行存储。控制区间是从机器人的1个动作的起点至终点为止的移动区间。

状态变量取得部120将储存于参数存储部110的针对每个示教区间的参数读出。状态变量取得部120基于针对每个示教区间所设定的参数，对试行由多个示教区间构成的一系列动作的情况下的机器人的各部件(例如，各关节)的状态变量进行计算，由此取得一系列动作中的状态变量。状态变量是表示机器人的状态的信息，与机器人的动作相应地变化。状态变量的例子是一系列动作中的各关节的位移、速度、加速度、消耗电流、消耗电力。

评价部130使用状态变量取得部120所取得的状态变量，对用于评价一系列动作的评价值及一系列动作的循环时间进行计算。在本实施方式中，评价值是重复一系列动作的情况下的机器人所具有的部件的预测寿命、通过一系列动作而消耗的部件的有效电流(消耗电流)、或者通过一系列动作而消耗的部件的电力(消耗电力)。

评价部130使用状态变量取得部120所取得的状态变量，对一系列动作的试行所需的时间进行计算而作为循环时间。并且，评价部130对针对一系列动作的预测寿命、通过一系列动作而消耗的消耗电流及通过一系列动作而消耗的消耗电力中的至少1个进行计算而作为评价值。

评价部130进行评价值是否满足限制条件的判定，由此对评价值进行评价。限制条件是基于机器人所具有的部件的设计寿命、一系列动作中的消耗电流上限、一系列动作中的消耗电力上限之中的至少1个而设定的条件。设计寿命是能够由用户任意地设定的寿命，与后面记述的额定寿命不同。评价部130在评价值是针对一系列动作的预测寿命的情况下，使用基于设计寿命所设定的限制条件。评价部130在评价值是一系列动作中的消耗电流的情况下，使用基于一系列动作中的消耗电流上限所设定的限制条件。评价部130在评价值是一系列动作中的消耗电力的情况下，使用基于一系列动作中的消耗电力上限所设定的限制条件。

例如，评价部130作为限制条件而直接使用设计寿命、消耗电流上限或者消耗电力上限，对评价值是否满足限制条件进行评价。另外，评价部130也可以使用设计寿命的特定比例(例如90％)、消耗电流上限的特定比例或者消耗电力上限的特定比例对是否满足限制条件进行评价。即，限制条件可以是设计寿命的特定比例、消耗电流上限的特定比例或者消耗电力上限的特定比例。评价部130将是否满足限制条件的判定结果、循环时间、限制条件和评价所使用的参数发送至机器学习部140。

机器学习部140对是否满足限制条件的判定结果、循环时间和限制条件进行存储。机器学习部140在一系列动作整体的限制条件得到满足的范围，对由评价部130计算出的循环时间成为最小的参数的组合进行搜索。在本实施方式中，评价值满足限制条件与评价值满足第1条件相对应，循环时间变短与循环时间满足第2条件相对应。机器学习部140将在参数存储部110中储存的参数的值更新为搜索出的参数的值(循环时间成为最小的参数的组合)。

结束条件判定部150基于参数调整(参数计算)的结束条件，对是否满足结束条件进行判定。参数调整的结束条件，例如是机器学习部140中的参数的组合的搜索次数达到规定的最大搜索次数。另外，参数调整的结束条件也可以是以最小化为目的的循环时间的从至前一次的机器学习为止所得到的循环时间的最小值起的减小量成为小于10^-6秒等充分小的值。在本实施方式中，将满足结束条件的情况下的参数称为最佳的参数，将满足结束条件的情况下的循环时间称为最小的循环时间。即，在评价值不断得到改善的过程中，将满足结束条件的情况的参数称为最佳的参数。另外，在评价值不断得到改善的过程中，将满足结束条件的情况的循环时间称为最小的循环时间。

在满足结束条件的情况下，结束条件判定部150将在该时刻得到的循环时间成为最小的参数的组合作为最佳的参数的组合而输出至外部装置。外部装置的例子是对机器人进行控制的控制器。

在不满足结束条件的情况下，结束条件判定部150对状态变量取得部120通知不满足结束条件。在该情况下，参数计算装置100对循环时间成为最小的参数进行重新计算。

＜机器学习部的重复处理＞

图2是表示通过实施方式1所涉及的参数计算装置进行的参数的计算处理顺序的流程图。用户为了决定所要调整的参数的数量而将示教点信息(示教点的位置)输入至参数计算装置100。参数计算装置100接收示教点的信息(步骤S101)。由此，参数计算装置100接收示教点的信息，储存于参数存储部110。

另外，参数存储部110对通过一系列动作优化的参数的组合的初始值进行存储(步骤S102)。参数存储部110所存储的参数的组合的初始值可以由用户输入至参数计算装置100，也可以由参数计算装置100从其他装置接收。此外，步骤S101的处理和步骤S102的处理可以先执行任意者。

接下来，状态变量取得部120将在参数存储部110中储存的参数的组合读出，取得一系列动作的状态变量(步骤S103)。即，状态变量取得部120基于在参数存储部110中储存的参数，取得试行一系列动作的情况下的机器人的各关节的状态变量。在本实施方式中，对状态变量为各关节的位移、速度及加速度的情况进行说明。

接下来，评价部130对循环时间及评价值进行计算(步骤S104)。具体地说，评价部130对预测寿命、消耗电流及消耗电力中的至少1个进行计算而作为评价值，并且对循环时间进行计算。在本实施方式中，状态变量为各关节的位移、速度及加速度，因此评价部130对预测寿命进行计算而作为评价值。

评价部130进行评价值是否满足限制条件的判定，由此对评价值进行评价。接下来，评价部130判定评价值是否满足限制条件(步骤S105)。另外，评价部130将是否满足限制条件的判定结果、循环时间、限制条件和评价所使用的参数发送至机器学习部140。

在满足限制条件的情况下(步骤S105，Yes)，机器学习部140将至此为止满足限制条件的参数的组合之中的循环时间最短的组合设定为最佳的参数的组合的候选。下面，将机器学习部140所设定出的在设定时刻最佳的参数的候选称为最佳候选的参数。最佳候选的参数是改善参数以使得循环时间变短。使用最佳候选的参数的情况下的循环时间是最小候选的循环时间。机器学习部140将在参数存储部110中储存的参数的值更新为所设定的最佳候选的参数的组合(步骤S106)。

如上所述，机器学习部140通过学习对第1评价项目即评价值及第2评价项目即循环时间各自能够满足特定条件的参数进行计算。在实施方式1中，评价值满足的特定条件是满足限制条件，循环时间满足的特定条件是循环时间得到改善(变短)。

在不满足限制条件的情况下(步骤S105，No)，机器学习部140按照优化算法(多目标优化方法)，生成新的参数的组合。优化算法的例子是后面记述的粒子群优化法、贝叶斯优化法等。机器学习部140将生成的新的参数的组合设定于参数存储部110(步骤S107)。

另外，在机器学习部140将在参数存储部110中储存的参数的值更新为所设定的最佳候选的参数的组合的情况下，结束条件判定部150判定是否满足结束条件(步骤S108)。在满足结束条件的情况下(步骤S108，Yes)，参数计算装置100结束最佳的参数的搜索处理。在不满足结束条件的情况下(步骤S108，No)，机器学习部140执行步骤S107的处理。即，机器学习部140将按照优化算法生成的新的参数的组合设定于参数存储部110。

参数计算装置100在步骤S107的处理后，返回步骤S103的处理，直至满足结束条件为止，重复步骤S103至S108的处理。

＜使用仿真器的情况下的装置结构＞

图3是表示实施方式1所涉及的参数计算装置的第1其他结构例的框图。在图3中，示出了使用仿真器而实现状态变量的取得的情况下的参数计算装置100A的结构。对图3的各结构要素之中的与图1所示的参数计算装置100实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100的第1其他结构例即参数计算装置100A取代状态变量取得部120而具有状态变量取得部120A。参数计算装置100A使用对机器人控制器及机器人的动力学模型进行了模拟的仿真器而实现状态变量的取得。即，状态变量取得部120A使用对机器人控制器及机器人的动力学模型进行了模拟的仿真器，通过试行一系列动作而取得状态变量。

状态变量取得部120A具有指令生成部121和动作试行部122。指令生成部121与参数存储部110及结束条件判定部150连接。动作试行部122与指令生成部121及评价部130连接。

指令生成部121将在参数存储部110中储存的参数读出而生成机器人的动作指令值。

动作试行部122使用对机器人的动力学模型进行了模拟的仿真器，进行基于向机器人的动作指令值的仿真，从仿真结果取得一系列动作中的机器人的各关节的状态变量。

动作试行部122在基于动作指令值的仿真中，可以将由指令生成部121生成的动作指令值直接输入至机器人的动力学模型，也可以在对由指令生成部121生成的动作指令值执行特定的处理后输入至机器人的动力学模型。在该情况下，动作试行部122例如对由指令生成部121生成的动作指令值输入通过对动作指令值进行成型的滤波器、对前馈控制系统进行了模拟的滤波器及对反馈控制系统进行了模拟的滤波器中的至少1个得到的值。

此外，在图3中，对取得从动力学模型输出的值而作为各关节的状态变量的例子进行了说明，但动作试行部122并不是必须具有机器人的动力学模型。例如，在由指令生成部121生成的动作指令值表示机器人的各关节的速度或者对各关节进行驱动时消耗的电流的情况下，动作试行部122可以将在试行一系列动作期间生成的动作指令值直接取得而作为机器人的速度或者消耗电流的状态变量。

另外，动作试行部122也可以取得对试行一系列动作的期间由指令生成部121生成的动作指令值执行特定的处理得到的值而作为机器人的状态变量。在该情况下，动作试行部122例如在由指令生成部121生成的动作指令值，通过对动作指令值进行成型的滤波器、对前馈控制系统进行了模拟的滤波器及对反馈控制系统进行了模拟的滤波器中的至少1个得到的值而作为机器人的状态变量而取得。

＜一系列动作的定义＞

图4是用于对实施方式1所涉及的机器人的一系列动作进行说明的图。机器人300按照从机器人控制器200输出的动作指令值进行动作。对机器人300的动作进行设计的用户把持机器人300而使机器人300的前端部310移动，由此对示教点P1、P2、P3进行设定。图4中的机器人300的前端部310具有对输送对象物即产品进行抓持的抓持机构。

本实施方式中的一系列动作是由以速度0为分隔从起点至终点为止的多个移动区间(控制区间)构成的速度模式的结合。即，本实施方式中的1个控制区间不是对从速度0起速度上升后恢复为速度0为止的1个速度模式进行分割得到的区间，而是指从速度0起速度上升后恢复为速度0为止的1个区间。在机器人300进行的动作由从示教点P1向示教点P2的移动、从示教点P2向示教点P3的移动和从示教点P3向示教点P1的移动构成的情况下，在本实施方式中，将这3个动作合并而称为一系列动作。指令生成部121将该一系列动作之中的从示教点P1向示教点P2的移动区间设定为示教区间P1－P2，将从示教点P2向示教点P3的移动区间设定为示教区间P2－P3，将从示教点P3向示教点P1的移动区间设定为示教区间P3－P1。

指令生成部121针对示教区间P1－P2，基于为了示教区间P1－P2所设定的参数，生成从前端部310为起点即示教点P1到达至终点即示教点P2为止的针对每个控制周期的动作指令。

同样地，指令生成部121针对示教区间P2－P3，也基于为了示教区间P2－P3所设定的参数，生成从示教点P2到达至示教点P3为止的针对每个控制周期的动作指令。另外，指令生成部121针对示教区间P3－P1，也基于为了示教区间P3－P1所设定的参数，生成从示教点P3到达至示教点P1为止的针对每个控制周期的动作指令。

＜调整对象的参数＞

在1个示教区间进行调整的参数的数量为m(m为自然数)个，一系列动作所包含的示教区间的数量为n(n为自然数)个的情况下，机器学习部140设为优化的对象的参数的组合的维度成为m×n。

在本实施方式中，为了对在各个示教区间针对每个控制周期生成的动作指令值进行确定而被调整的参数，设为前端部310的最高速度、前端部310的加速度、至前端部310的下一个动作为止的等待时间之中的至少1个。在下面的说明中，将至前端部310的下一个动作为止的等待时间称为Dly时间。

图5是表示实施方式1所涉及的参数计算装置所生成的速度模式的例子的图。在图5中，示出了参数计算装置100A基于最高速度及加速度的参数而生成的机器人的1个示教区间中的速度模式PT1。图5所示的图形的横轴为时间，纵轴为前端部310的速度。

指令生成部121生成用于实现图5所示的速度模式PT1的各关节的动作指令值。速度模式PT1由从时刻t0至时刻t1为止的加速区间、从时刻t1至时刻t2为止的等速区间、从时刻t2至时刻t3为止的减速区间构成。从时刻t3至时刻t4为止的时间Tt是Dly时间。在图5中，从时刻t0至时刻t4为止是1个示教区间，由区间TA示出。由此，从时刻t3至时刻t4为止，速度v成为0，指令生成部121以该速度0为分隔而能够对控制区间进行设定。

加速区间中的速度模式PT1的斜率是加速区间中的加速度，减速区间中的速度模式PT1的斜率是减速区间中的减速度。指令生成部121基于最高速度的参数而决定等速区间中的速度v1，由加速度参数决定加速区间中的加速度＝v1/(t1－t0)及减速区间中的减速度＝－v1/(t3－t2)。

机器人如果以各关节的致动器可输出的最大的速度及加速度进行动作，则有时施加于机器人的负载变得过大。在该情况下，指令生成部121针对每个示教区间对可调整的参数进行调整，由此可以使最高速度及加速度减小或使Dly时间增大，由此增大循环时间和减小施加的负载。由此，参数计算装置100A能够满足一系列动作的整体中的预测寿命的限制条件。

图6是表示相对于图5所示的速度模式而减小最高速度及加速度的情况下的速度模式的例子的图。在图6中，示出了参数计算装置100A相对于速度模式PT1减小最高速度及加速度而生成的速度模式PT2。图6所示的图形的横轴为时间，纵轴为前端部310的速度。即，是指在速度模式PT1和速度模式PT2中，相对于以速度0为分隔的控制区间而成为不同的速度模式。

速度模式PT2由从时刻t0至时刻t1a为止的加速区间、从时刻t1a至时刻t2a为止的等速区间、从时刻t2a至时刻t3a为止的减速区间构成。加速区间中的速度模式PT2的斜率是加速区间中的加速度，减速区间中的速度模式PT2的斜率是减速区间中的减速度。

指令生成部121将等速区间中的速度v1降低为速度v2，降低加速区间中的加速度，降低减速区间中的减速度。如果将示教区间的从起点至终点为止的移动路径进行固定，则机器人的各轴的移动量不变。因此，指令生成部121以速度模式PT2从时刻t0至时刻t3a为止所描绘的梯形的面积和速度模式PT1从时刻t0至时刻t3为止所描绘的梯形的面积变得相同的方式生成速度模式PT2。

因此，机器学习部140能够根据作为速度模式PT2所设定的最高速度(速度v2)、加速度、减速度、Dly时间的各参数对在减小最高速度及加速度的情况下产生的循环时间的增加量(t3a－t3)＞0进行计算。此外，在加速度的绝对值及减速度的绝对值为相同大小的情况下，机器学习部140可以取代减速度而是使用加速度而对循环时间的增加量进行计算，也可以取代加速度而是使用减速度而对循环时间的增加量进行计算。

此外，指令生成部121也可以使用对最高速度及加速度的值进行调整的参数以外的参数而设定速度模式PT1、PT2。例如，指令生成部121可以使用对相对于最高速度的上限值的缓和率进行调整的参数及对相对于加速度的上限值的缓和率进行调整的参数而设定速度模式PT1、PT2。

例如，指令生成部121可以将最高速度为v＿max的关节的最高速度缓和率d在0～1的范围进行调整，以调整后的最高速度成为(v＿max)×(1－d)的方式设定速度模式PT1、PT2。此时，作为v＿max，针对每个关节而事先设计的最高速度的上限值可以应用为v＿max。针对每个关节而事先设计的最高速度的上限值是通过使关节动作的电动机的致动器的能力而决定的值。另外，作为v＿max，针对每个示教区间能够输出的最高速度可以应用为v＿max。

本实施方式中的评价部130将根据由状态变量取得部120A取得的状态变量进行计算的评价值在一系列动作的整体进行综合评价。另外，在限制条件下以循环时间成为最小的方式对参数进行调整的一系列动作所包含的示教区间，能够由用户使用机器人语言进行指定。用户可以对构成赋予给机器人的作业的动作之中的一部分的区间进行指定，使参数计算装置100A进行参数的优化。在该情况下，用户针对通过机器人语言创建的程序，对进行参数的优化的区间的开起点和结束点进行指定。

图7是用于对实施方式1所涉及的参数计算装置所生成的速度模式和对比例的速度模式的差异进行说明的图。在图7中说明，在将满足设计寿命设为限制条件的情况下，在通过一系列动作进行评价的情况下，与通过针对每个示教区间的动作进行评价的情况相比较而得到循环时间小的解。

图7所示的图形的横轴为时间，纵轴为前端部310的速度。图7所示的上部的图形为对比例的速度模式，图7所示的下部的图形为参数计算装置100A所生成的速度模式。在这里，也以速度0为分隔而设定出示教区间(控制区间)。

在通过针对每个示教区间的动作进行评价的情况下，在各示教区间，以满足设计寿命的方式生成速度模式。例如，在设计寿命为10000小时的情况下，以示教区间P1－P2、P2－P3、P3－P1的各预测寿命成为比10000小时长的时间的方式生成速度模式。在图7中，示出了以示教区间P1－P2、P2－P3、P3－P1的各预测寿命成为11000小时的方式生成对比例的速度模式的情况。

评价部130在通过一系列动作进行评价的情况下，即使仅重复一部分的动作(一部分的示教区间的移动)的情况下的预测寿命小于设计寿命，如果是在重复一系列动作整体的情况下能够满足设计寿命的参数的组合，则也能够视为最优解的候选。其原因在于，即使在特定的示教区间中预测寿命小于设计寿命，如果其他区间中的预测寿命大于或等于设计寿命，则有时一系列动作整体的预测寿命也会满足设计寿命。因此，评价部130取得在高速动作时有助于循环时间缩短的部分(示教区间)和在低速动作时有助于寿命提高的部分(示教区间)的平衡，能够在满足设计寿命的范围得到循环时间小的解。

在图7中，示出了以示教区间P1－P2、P2－P3、P3－P1的各预测寿命各自成为11000小时、15000小时、7000小时的方式，评价部130生成速度模式的情况。该情况下的一系列动作的预测寿命为11000小时，与对比例的速度模式的预测寿命相同，但由于通过一系列动作评价出预测寿命，因此与比较对象相比能够减小循环时间。

＜将预测寿命用作限制条件的情况下的装置结构＞

图8是表示实施方式1所涉及的参数计算装置的第2其他结构例的框图。在图8中，示出了对基于设计寿命的限制条件进行设定的情况下的参数计算装置100B的结构。在这里，相对于图3所示的参数计算装置100A，说明对基于设计寿命的限制条件进行设定的情况下的参数计算装置100B。对图8的各结构要素之中的与图3所示的参数计算装置100A实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100的第2其他结构例即参数计算装置100B取代评价部130而具有评价部130B。评价部130B具有动力学计算部131、损伤度计算部132和限制判定部133a。动力学计算部131与动作试行部122及损伤度计算部132连接，损伤度计算部132与限制判定部133a连接，限制判定部133a与机器学习部140连接。

动力学计算部131使用由状态变量取得部120A取得的各关节的位移、速度及加速度的值，对施加于关节的负载扭矩进行计算。损伤度计算部132基于负载扭矩及各关节的动作量，对机器人所具有的关节的损伤度进行计算，由此对重复一系列动作的情况下的机器人的预测寿命进行计算。各关节的动作量是基于关节的构造从速度换算的旋转数或者直动距离。机器人所具有的部件(结构部)的损伤度是对机器人所具有的部件造成的损伤的程度。机器人所具有的部件的损伤度是负载扭矩及各关节的动作量越大则变得越大。关于损伤度的详细的定义在后面记述。

限制判定部133a使用基于由损伤度计算部132计算出的预测寿命和设计寿命的判定式，判定从参数存储部110读出的参数的组合是否满足一系列动作中的限制条件。判定式成为后面记述的式(12)等。

＜动力学计算＞

机器人的各关节由多个部件构成，部件旋转的关节被称为旋转轴，直动的关节被称为直动轴。评价部130B所包含的动力学计算部131针对机器人的每个控制周期Δt(单位：秒)，对施加于各关节的负载扭矩的大小T＿i[k]及机器人所具有的部件的输入旋转数n＿i[k]进行运算。具体地说，动力学计算部131将从动作试行部122所取得的各关节的位移、速度及加速度换算为经由减速机、滚珠丝杠等的各关节的动力传递机构的输出侧的位移、速度及加速度。而且，动力学计算部131使用换算后的值，对施加于各关节的负载扭矩的大小T＿i[k]及机器人所具有的部件的输入旋转数n＿i[k]进行运算。T＿i及n＿i的尾标“i”表示与机器人的第i(i为自然数)轴相关的值。另外，[k]表示的是从通过后面记述的损伤度计算周期将计数器重置的时刻算起，在第k(k为自然数)个控制周期Δt运算出的值。

＜损伤度的定义和计算方法＞

在本实施方式中，为了将重复一系列动作的情况下的预测寿命用于评价值，对机器人的损伤度以下述方式进行定义。损伤度设为下述指标，指标表示在将由于重复动作使机器人所具有的部件达到疲劳破坏视作寿命结束的情况下，在当前的运转状态下累积了何种程度的疲劳。在本实施方式中，损伤度计算部132使用(直至当前为止的部件q的驱动时间累积值或者旋转数累积值)/(通过当前的动作条件求出的部件q的额定寿命或者额定寿命相当旋转数)的算式对部件q的损伤度进行计算。额定寿命相当旋转数是相当于额定寿命的旋转数。

额定寿命或者额定寿命相当旋转数的计算式根据部件的种类而不同，因此针对损伤度计算部132，将损伤度的计算式针对部件的每个种类进行设定。针对参数计算装置100B而定义出损伤度，由此能够针对每个制造商将额定寿命的表示方式不同的多个部件的预测寿命通过同一基准进行评价。

在本实施方式中，损伤度计算部132针对每个示教区间对损伤度进行计算，将全示教区间的损伤度之和设为一系列动作的损伤度。另外，损伤度计算部132也可以将一系列动作整体结束的时刻作为损伤度的计算周期即损伤度计算周期而对一系列动作的损伤度进行计算。

例如，通过损伤度计算周期计算出的损伤度由于相同动作的重复而不断累积，累积值达到1的时刻设为预测寿命。在将一系列动作试行1次结束的时刻的机器人的损伤度设为Rlc、将循环时间设为tc(单位：秒)的情况下，损伤度计算部132能够使用下面的式(1)对预测寿命即Lc(单位：小时)进行计算。

Lc＝(tc/3600)/Rlc···(1)

如果将第i轴的部件q的一系列动作1次量的损伤度设为Rlc＿i＿q，则损伤度计算部132能够使用下面的式(2)对在机器人整体的预测寿命的计算中使用的损伤度即Rlc进行计算。

Rlc＝max＿i，q(Rlc＿i＿q)···(2)

即，损伤度计算部132将全部i、q之中的损伤度最大的轴、部件的损伤度用于机器人整体的损伤度的评价。

损伤度计算部132基于针对规定出的每个损伤度计算周期t1[k]＝k×Δt计算的平均负载扭矩Tav＿i[k]及平均输入旋转数Nav＿i[k]对第i轴的部件q的损伤度Rl＿i[k]＿q进行计算。

损伤度计算部132能够分别使用下面的式(3)至式(5)对直至第k个Δt为止的r(r是根据部件q的种类不同的乘数)方扭矩累积值Tacc＿i[k]、输入旋转数累积值Nacc＿i[k]及驱动时间累积值tb＿i[k](单位：秒)进行计算。r方扭矩累积值Tacc＿i[k]是扭矩乘数为r的部件q的驱动中使用的扭矩的累积值，输入旋转数累积值Nacc＿i[k]是部件q的输入旋转数n＿i[k]的累积值，驱动时间累积值tb＿i[k]是部件q的驱动时间的累积值。

Tacc＿i[k]＝Tacc＿i[k－1]+T＿i[k]^r×n＿i[k]×Δt、Tacc＿i[0]＝0···(3)

Nacc＿i[k]＝Nacc＿i[k－1]+n＿i[k]×Δt、Nacc＿i[0]＝0···(4)

tb＿i[k]＝tb＿i[k－1]+Δt、tb＿i[0]＝0···(5)

损伤度计算部132使用通过式(3)至式(5)表示的r方扭矩累积值Tacc＿i[k]、输入旋转数累积值Nacc＿i[k]及驱动时间累积值tb＿i[k]，能够分别使用下面的式(6)及式(7)对平均负载扭矩Tav＿i[k]及平均输入旋转数Nav＿i[k]进行计算。平均负载扭矩Tav＿i[k]是负载扭矩的平均值，平均输入旋转数Nav＿i[k]是输入旋转数n＿i[k]的平均值。

Tav＿i[k]＝(Tacc＿i[k]/Nacc＿i[k])^(1/r)···(6)

Nav＿i[k]＝Nacc＿i[k]/tb＿i[k]···(7)

在部件q为减速机的情况下，损伤度计算部132将减速机的额定扭矩Tr＿i、额定旋转数Nr＿i及额定寿命L10＿i(单位：小时)设为常数，能够使用下面的式(8)对当前的动作条件下的额定寿命Lh＿i[k](单位：小时)进行计算。另外，损伤度计算部132能够使用下面的式(9)对损伤度Rl＿i[k]＿(减速机)进行计算。

Lh＿i[k]＝L10＿i×(Tr＿i/Tav＿i[k])^r×(Nr＿i/Nav＿i[k]))···(8)

Rl＿i[k]＿(减速机)＝(tb＿i[k]/3600)/Lh＿i[k]···(9)

在评价对象部件为轴承的情况下，损伤度计算部132能够使用从平均负载扭矩Tav＿i[k]向施加于轴承的位置的平均载荷的换算系数u＿i、轴承的基本额定动载荷C＿i、用于考虑动作中的机械振动的大小的载荷系数fw＿i及根据轴承内的转动体的种类而不同的乘数r，使用下面的式(10)对当前的动作条件下的额定寿命相当旋转数Lr＿i进行计算。另外，损伤度计算部132能够使用下面的式(11)对损伤度Rl＿i[k]＿(轴承)进行计算。基本额定动载荷C＿i是得到特定旋转数的额定寿命的恒定的载荷。

Lr＿i[k]＝(C＿i/(fw＿i×Tav＿i[k]×u＿i))^r×10⁶···(10)

Rl＿i[k]＿(轴承)＝Nacc＿i[k]/Lr＿i[k]···(11)

＜寿命限制的满足方法＞

在重复一系列动作的情况下，预测寿命即Lc不低于设计寿命即Ls这一限制条件能够通过下面的式(12)表示。

Lc≥Ls··(12)

参数计算装置100B作为限制条件可以使用下面的式(13)。在式(13)中，使用对规定出的设计寿命的Ls乘以特定的常数a得到的值(a×Ls)。

Lc≥a×Ls···(13)

评价部130B在相对于所设定的参数的组合而计算出的预测寿命不满足基于设计寿命的限制条件的情况下，对评价值赋予大的代价，由此能够使得在机器学习部140中不采用不满足限制的参数的组合。

评价部130B例如在预测寿命小于设计寿命的情况下，相对于以最小化为目的的循环时间输出100倍左右的大小的评价值，能够使得不满足限制条件的参数的组合在学习结束时不作为最优解输出。

＜机器学习部的动作＞

机器学习部140使用由评价部130B计算出的评价值，在满足基于设计寿命的限制条件的范围对循环时间成为最小的参数的组合进行搜索。如前述所示，在1个示教区间进行调整的参数的数量为m个、一系列动作所包含的示教区间的数量为n个的情况下，机器学习部140进行搜索的参数的组合的维度为m×n。机器学习部140作为搜索方法而能够应用能够对连续值或者离散值进行处理的公知的多目标优化方法。机器学习部140能够应用粒子群优化法(PSO：Particle Swarm Optimization)、贝叶斯优化法等。

另外，机器学习部140作为公知的强化学习方法，也能够应用能够对作为成为学习主体的行动的连续值或者离散值进行选择和能够计算针对选择出的行动的评价值的Actor－Critic法。机器学习部140在结束条件判定部150中直至满足学习结束条件为止进行优化处理，对在参数存储部110中储存的参数的组合进行更新。

＜优化的实施例＞

作为优化的实施例，对使用处理连续值的组合的PSO的方法进行说明。通常，在粒子群优化法中，在多维空间对N(N为大于或等于2的自然数)个粒子群进行定义，在每次的参数搜索处理中，各粒子的位置p及速度v各自使用下面的式(14)及式(15)进行更新。

p←p+v···(14)

v←w×v+c1×r1×(pj－p)+c2×r2×(pg－p)···(15)

在这里，w表示惯性常数，c1及c2表示在群中朝向评价值高的位置的粒子的比例，r1及r2表示取0至1的范围的值的随机数。另外，pj表示其粒子至此为止被发现的最好的位置，pg表示在群整体中至此为止被发现的最好的位置。

在本实施方式中，调整对象的参数的组合相当于粒子的位置p。参数计算装置100B将在经过规定的搜索次数T的时刻得到最小的循环时间的参数的组合作为最优解而输出。

在对机器学习部140应用PSO的情况下，参数计算装置100B针对N个粒子各自进行一系列动作的状态变量的取得和评价。评价部130B针对每个粒子而判定是否满足限制条件，以在满足限制条件的粒子中使其他粒子接近循环时间的评价值最好的粒子的方式通过式(14)及式(15)重新确定N个粒子的位置。

＜参数搜索范围的调整方法的研究＞

[使用针对每个示教区间的评价值，对搜索初始值进行调整]

机器学习部140针对调整对象的参数的组合，能够使用由损伤度计算部132针对每个示教区间计算的损伤度，对搜索范围进行限定。机器学习部140在使用PSO的情况下，不是将各粒子的初始值随机地设定，而是与在全示教区间通过最大的速度及最大的加速度试行一系列动作的情况下的损伤度的大小相应地，能够设定为损伤度越大的示教区间则速度及加速度越减小这样的值。由此，参数计算装置100B相对于循环时间的增加量容易发现预测寿命提高的效果高的参数的组合，能够通过较少的搜索次数而减小循环时间。

[使用针对每个示教区间的评价值，对所要调整的示教区间进行选择]

机器学习部140为了通过削减所要调整的参数的个数而削减搜索时间，可以仅将一系列动作之中的损伤度大的上位的示教区间的动作设为调整对象。机器学习部140可以根据针对每个示教区间的动作的损伤度和动作时间的比率，决定设为对象的动作。例如，损伤度大的示教区间是负载大的示教区间。因此，可想到损伤度大的示教区间与在相同动作时间损伤度小的示教区间相比，通过减小速度或者加速度而得到的一系列动作的寿命提高的效果高。因此，机器学习部140可以仅将损伤度相对于动作时间的比率大的上位的动作设为调整对象。此外，机器学习部140也可以根据针对每个示教区间的评价值(位移、速度、加速度等)和动作时间的比率，决定所要调整的示教区间。

另外，机器学习部140即使在将全示教区间设为调整对象的情况下，也可以将仅对一系列动作之中的损伤度大的上位的示教区间的参数进行了调整的情况下的参数设为参数的组合的初始值。另外，机器学习部140也可以根据各动作的损伤度和各动作的动作时间的比率而选择通过初始值进行调整的示教区间。

如上所述，机器学习部140可以将一系列动作所包含的全部示教区间的动作设为调整对象，也可以仅将基于评价部130B的评价值由机器学习部140选择的示教区间的动作设为调整对象。另外，机器学习部140也可以仅将由用户指定出的示教区间的动作设为调整对象。

图9是表示实施方式1所涉及的参数计算装置的第3其他结构例的框图。在图9中，示出了仅将由用户指定出的示教区间的动作设为调整对象的情况下的参数计算装置100C的结构。对图9的各结构要素之中的与图1所示的参数计算装置100实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100的第3其他结构例即参数计算装置100C在参数计算装置100的结构要素的基础上还具有调整区间存储部160。调整区间存储部160对用户使用编程工具输入的调整对象的示教区间进行存储。调整区间存储部160对与调整对象的示教区间相对应的值进行存储。

机器学习部140将在调整区间存储部160中储存的值读出，仅对与读出的值相对应的示教区间的参数进行调整。由此，参数计算装置100C例如在特定的示教区间中不希望减小最高速度及加速度的情况下，能够仅在指定出的示教区间进行调整，求出满足一系列动作的限制条件的参数的组合。另外，参数计算装置100C能够通过削减所要调整的参数的个数而削减搜索时间。

如上所述，与基于针对每个示教区间所设定的全部参数而网罗地试行参数的组合的情况相比，参数计算装置100C能够通过较少的试行次数而生成能够满足机器人的一系列动作中的设计寿命的限制条件并抑制循环时间的增大的参数的组合。

另外，参数计算装置100C可以具有将与通过机器学习部140进行参数调整期间的参数调整相关的信息可视化的工具。与参数调整相关的信息是在参数存储部110中新存储的参数的值、由评价部130计算的循环时间及由评价部130计算的预测寿命的评价值中的至少1个。

图10是表示实施方式1所涉及的参数计算装置的第4其他结构例的框图。在图10中，示出了将与进行参数调整期间的参数调整相关的信息可视化的情况下的参数计算装置100D的结构。对图10的各结构要素之中的与图1所示的参数计算装置100实现同一功能的结构要素标注同一标号而省略重复说明。图11是用于对图10的参数计算装置在接口画面显示的信息进行说明的图。

参数计算装置100的第4其他结构例即参数计算装置100D在参数计算装置100的结构要素的基础上还具有学习经过可视化部170。学习经过可视化部170连接于评价部130及机器学习部140。学习经过可视化部170从评价部130取得循环时间及预测寿命，从机器学习部140取得参数的值。

学习经过可视化部170使从评价部130及机器学习部140所取得的信息即与参数的学习经过状态相关的信息在接口画面500进行显示。接口画面500是由学习经过可视化部170输出的信息(可视化的结果)的显示画面。

学习经过可视化部170作为学习经过状态而将例如下面的(A)至(D)的信息输出至接口画面500。

(A)通过图2的步骤S104计算出的评价值(各关节的预测寿命的评价值等)

(B)通过图2的步骤S105判定出的预测寿命的评价值是否满足限制条件的判定结果

(C)通过图2的步骤S106更新后的更新时刻的最好的参数的组合

(D)优化后的参数的循环时间的变化

接口画面500对各关节的一系列动作的评价值、最好的参数的组合(最佳参数)、循环时间等进行显示。由此，用户对学习的经过进行观察，能够掌握向一系列动作的评价值的贡献大的参数及直至解收敛为止的机器学习部140的搜索次数。

另外，参数计算装置100可以具有输出基于由机器学习部140调整后的结果的参数使机器人动作的程序的功能。图12是表示实施方式1所涉及的参数计算装置的第5其他结构例的框图。在图12中，示出了生成基于调整后的参数使机器人动作的程序的情况下的参数计算装置100E的结构。对图12的各结构要素之中的与图1所示的参数计算装置100实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100的第5其他结构例即参数计算装置100E在参数计算装置100的结构要素的基础上还具有程序生成部180。程序生成部180与结束条件判定部150连接。

程序生成部180在结束条件判定部150判断为满足参数调整的结束条件的时刻，从结束条件判定部150取得最佳的参数的组合。程序生成部180从结束条件判定部150取得的最佳的参数的组合是在参数存储部110中储存的参数的组合。

程序生成部180通过基于所取得的参数的动作指令值而生成用于使机器人进行一系列动作的程序。程序生成部180所生成的程序为了使机器人动作而通过用户所使用的编程语言进行记述。程序生成部180将生成的程序输出至外部装置(对机器人进行控制的控制器等)。由此，用户能够得到机器人的一系列动作的最佳的程序。

然而，即使针对1个速度模式进行通过参数调整实施的部分优化，也得不到考虑了在包含有多个速度模式的一系列动作整体中所要求的限制条件的解。但是，在本实施方式中，针对包含有多个速度模式的一系列动作进行了通过参数调整实施的整体优化。因此，在本实施方式中，能够得到满足一系列动作整体所要求的限制条件且缩短循环时间的解。

另外，存在通过使特定的定时的指令速度及指令加速度以规定量减小而生成满足评价基准的动作程序的方法。对于该方法，也并非对一系列动作的整体进行评价，因此无法得到满足一系列动作整体所要求的限制条件的最优解。

另外，存在通过根据机器人的关节位移、速度及加速度对作用于机械要素的扭矩及动作速度进行运算，由此对机械要素的寿命进行评价，使用目标寿命和评价出的寿命的比率将一系列动作的速度及加速度一律地减小的方法。该方法中，无法针对每个控制区间通过不同的比例进行对动作速度及加速度进行调整的整体优化。但是，在本实施方式中，考虑了向一系列动作的损伤度等的每个控制区间的贡献，因此能够实现将根据损伤度等计算出的预测寿命作为限制条件的整体优化。

如上所述在实施方式1中，机器学习部140在重复一系列动作的情况下的寿命的限制条件得到满足的范围对一系列动作中的循环时间成为最小的参数的组合进行搜索。因此，参数计算装置100、100A～100E针对机器人的一系列动作的整体，能够满足寿命的限制条件并抑制循环时间的增大。由此，机器人容易应对变种变量生产。另外，机器人能够使与对象作业相对应的动作高速化，因此能够使生产率提高。另外，如果能够相对于将作为分隔而以1个移动动作完结的速度0为分隔的控制区间各自叠加的一系列动作进行优化，则在全作业范围实现整体优化。因此，能够实现针对一系列动作的限制条件和针对一系列动作的循环时间这两者各自满足特定条件的整体优化。

实施方式2.

接下来，使用图13及图14对本发明的实施方式2进行说明。在实施方式2中，状态变量取得部120A取得通过各关节的驱动所消耗的电流值而作为状态变量，评价部对通过关节的一系列动作的驱动所消耗的消耗电流或者消耗电力进行计算而作为评价值。学习部对一系列动作中的消耗电流或者消耗电力的评价值满足限制条件，并循环时间得到改善的参数进行学习，对循环时间成为最小的最佳的参数进行搜索。

＜将消耗电流用作限制条件的情况下的装置结构＞

图13是表示实施方式2所涉及的参数计算装置的第1结构例的框图。对图13的各结构要素之中的与图8所示的实施方式1的参数计算装置100B实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100F对机器人的一系列动作中的各部件的消耗电流进行计算。机器人的部件的例子是具有致动器的关节。参数计算装置100F对机器人的一系列动作中的致动器的消耗电流进行计算而作为机器人所具有的部件的消耗电流，以满足基于消耗电流上限所设定的限制条件的方式生成参数。此外，参数计算装置100F可以相对于机器人所具有的除了致动器以外的部件对消耗电流进行计算，以满足基于消耗电流上限所设定的限制条件的方式生成参数。

参数计算装置100F与参数计算装置100B相比较，取代评价部130B而具有评价部130F。评价部130F具有消耗电流计算部134及限制判定部135a。

消耗电流计算部134与动作试行部122及限制判定部135a连接，限制判定部135a与机器学习部140连接。消耗电流计算部134使用由状态变量取得部120A取得的各关节的致动器的消耗电流值，对一系列动作中的消耗电流进行计算。

消耗电流计算部134针对每个示教区间对消耗电流进行计算，将各示教区间中的消耗电流之和设为一系列动作的消耗电流。另外，消耗电流计算部134也可以将一系列动作整体结束的时刻作为消耗电流的计算周期即消耗电流计算周期对一系列动作的消耗电流进行计算。

消耗电流计算部134对将由状态变量取得部120A针对机器人的每个控制周期Δt(单位：秒)取得的电流值换算为有效值得到的值I＿i[k]进行计算。消耗电流计算部134使用下面的式(16)对消耗电流计算周期t2[k]＝k×Δt中的第i轴的消耗电流累积值Iacc＿i[k]进行计算。消耗电流累积值Iacc＿i[k]是驱动致动器时的消耗电流的累积值。

Iacc＿i[k]＝Iacc＿i[k－1]+I＿i[k]×Δt、Iacc＿i[0]＝0···(16)

限制判定部135a使用基于由消耗电流计算部134计算出的一系列动作中的消耗电流和消耗电流上限的判定式，对从参数存储部110读出的参数的组合是否满足一系列动作的限制条件进行判定。如果将一系列动作整体的第i轴的消耗电流累积值Iacc＿i[k]设为Ic＿i，将第i轴的消耗电流上限设为Is＿i，则第i轴的消耗电流累积值Iacc＿i[k]不超过第i轴的消耗电流上限这一限制条件能够通过下面的式(17)表示。此时，作为消耗电流上限Is＿i，也可以设定在实际的生产工序中为了使用机器人所需的消耗电流上限的值。另外，在用户对机器人的一系列动作进行设计时经由接口所设定的消耗电流上限值也可以应用为Is＿i。

Ic_i≤Is_i···(17)

＜将消耗电力用作限制条件的情况下的装置结构＞

图14是表示实施方式2所涉及的参数计算装置的第2结构例的框图。对图14的各结构要素之中的与图13所示的参数计算装置100F实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100G对机器人的一系列动作中的各关节的致动器的消耗电力进行计算，以满足基于消耗电力上限所设定的限制条件的方式生成参数。此外，参数计算装置100G针对机器人所具有的致动器以外的部件对消耗电力进行计算，以满足基于消耗电力上限所设定的限制条件的方式生成参数。

参数计算装置100F与参数计算装置100G相比较，取代评价部130F而是具有评价部130G。评价部130G具有消耗电力计算部136及限制判定部137a。

消耗电力计算部136与动作试行部122及限制判定部137a连接，限制判定部137a与机器学习部140连接。消耗电力计算部136使用由状态变量取得部120A取得的各关节的致动器的消耗电力值对一系列动作中的消耗电力进行计算。

消耗电力计算部136通过与消耗电流计算部134相同的处理，对消耗电流累积值Iacc＿i[k]进行计算。并且，消耗电力计算部136使用通过式(16)计算出的消耗电流累积值Iacc＿i[k]和额定电压V＿i，对消耗电力累积值Wacc＿i[k]进行计算。即，消耗电力计算部136使用以下所示的式(18)对消耗电力累积值Wacc＿i[k]进行计算。消耗电力累积值Wacc＿i[k]是驱动致动器时的消耗电力的累积值。

Wacc＿i[k]＝Iacc＿i[k]×V＿i···(18)

限制判定部137a使用基于由消耗电力计算部136计算出的一系列动作中的消耗电力和消耗电力上限的判定式，对从参数存储部110读出的参数的组合是否满足一系列动作的限制条件进行判定。如果将一系列动作整体的第i轴的消耗电力累积值Wacc＿i[k]设为Wc＿i，将第i轴的消耗电力上限设为Ws＿i，则第i轴的消耗电力累积值Wacc＿i[k]不超过第i轴的消耗电力上限这一限制条件能够通过下面的式(19)表示。此时，作为消耗电力上限Ws＿i，也可以设定在实际的生产工序中为了使用机器人所需的消耗电力上限的值。另外，在用户对机器人的一系列动作进行设计时经由接口设定出的消耗电力上限值也可以应用为Ws＿i。

Wc_i≤Ws_i···(19)

如上所述，在将消耗电力用作限制条件的情况下，参数计算装置100G取代在限制判定部135a中使用式(17)，而是在限制判定部137a中使用式(19)能够判定是否满足限制条件。

本实施方式中的机器学习部140在满足通过式(17)表示的电流限制条件、或者通过式(19)表示的电力限制条件的范围对循环时间成为最小的参数的组合进行搜索。即，机器学习部140的动作取代在满足式(12)的寿命限制的范围对循环时间成为最小的参数的组合进行搜索，而是在满足式(17)的电流限制条件或者式(19)的电力限制条件的范围对循环时间成为最小的参数的组合进行搜索。除了该搜索处理以外，机器学习部140执行与实施方式1相同的处理。

机器学习部140也可以相对于调整对象的参数的组合，基于由消耗电流计算部134针对每个示教区间计算出的消耗电流累积值Iacc＿i[k]或者由消耗电力计算部136针对每个示教区间计算出的消耗电力量累积值，对调整参数的示教区间进行选择。在该情况下，机器学习部140将消耗电流累积值Iacc＿i[k]或者消耗电力量累积值大的示教区间选择为参数的调整对象。由此，机器学习部140能够对参数的搜索范围进行限定。

另外，机器学习部140为了通过削减所要调整的参数的个数而削减搜索时间，也可以仅将一系列动作之中的消耗电流或者消耗电力大的上位的示教区间的动作设为调整对象。机器学习部140可以根据针对每个示教区间的动作的消耗电流或者消耗电力和动作时间的比率而决定设为对象的动作。

另外，机器学习部140即使在将全示教区间设为调整对象的情况下，也可以将仅对一系列动作之中的消耗电流或者消耗电力大的上位的示教区间的参数进行调整的情况下的参数设为参数的组合的初始值。另外，机器学习部140也可以根据各动作的消耗电流或者消耗电力和各动作的动作时间的比率而选择通过初始值进行调整的示教区间。

如上所述在实施方式2中，机器学习部140在一系列动作中的消耗电流或者消耗电力的限制条件得到满足的范围对一系列动作中的循环时间成为最小的参数的组合进行搜索。因此，参数计算装置100F相对于机器人的一系列动作的整体，能够满足消耗电流的限制条件并抑制循环时间的增大。另外，参数计算装置100G相对于机器人的一系列动作的整体，能够满足消耗电力的限制条件并抑制循环时间的增大。

另外，参数计算装置100F将特定的示教区间设为参数的调整对象。因此，与基于针对每个示教区间所设定的全部参数而网罗地试行参数的组合的情况相比，能够通过较少的试行次数而生成满足机器人的一系列动作中的消耗电流上限的限制条件并抑制循环时间的增大的参数的组合。

另外，参数计算装置100G与基于针对每个示教区间所设定的全部参数而网罗地试行参数的组合的情况相比，能够通过较少的试行次数而生成能够满足机器人的一系列动作中的消耗电力上限的限制条件并抑制循环时间的增大的参数的组合。

实施方式3.

接下来，使用图15对本发明的实施方式3进行说明。在实施方式3中，评价部对一系列动作中的预测寿命、消耗电流及消耗电力之中的大于或等于2个进行计算而作为评价值。学习部对一系列动作中的预测寿命、消耗电流及消耗电力之中的大于或等于2个的评价值满足限制条件，并循环时间得到改善的参数进行学习，对循环时间成为最小的最佳的参数进行搜索。

＜将预测寿命、电流及电力之中的大于或等于2个用作限制条件的情况下的装置结构＞

图15是表示实施方式3所涉及的参数计算装置的结构例的框图。对图15的各结构要素之中的与参数计算装置100B、100F、100G实现同一功能的结构要素标注同一标号而省略重复说明。

参数计算装置100H以满足机器人的一系列动作的基于设计寿命的限制条件、基于消耗电流上限的限制条件、基于消耗电力上限的限制条件之中的大于或等于2个的方式生成参数。

参数计算装置100H与参数计算装置100B相比较，取代评价部130B而是具有评价部130H。评价部130H对基于设计寿命的限制条件、基于消耗电流上限的限制条件及基于消耗电力上限的限制条件之中的大于或等于2个进行设定。评价部130H具有限制选择部138、动力学计算部131、损伤度计算部132、消耗电流计算部134、消耗电力计算部136及限制判定部139。

限制选择部138连接于参数存储部110、状态变量取得部120A、动力学计算部131、消耗电流计算部134及消耗电力计算部136。动力学计算部131与损伤度计算部132连接。限制判定部139连接于损伤度计算部132、消耗电流计算部134、消耗电力计算部136及机器学习部140。

在由用户对基于设计寿命的限制条件进行选择的情况下，状态变量取得部120A取得与预测寿命相关的状态变量(各关节的位移、速度及加速度的值)。另外，在由用户对基于消耗电流上限或者消耗电力上限的限制条件进行选择的情况下，状态变量取得部120A取得与消耗电流或者消耗电力相关的状态变量(各关节的致动器的消耗电流值)。

限制选择部138按照基于设计寿命、消耗电流上限及消耗电力上限的限制条件之中的来自用户的指示，对所要设定的限制条件的种类进行选择。在由用户对基于设计寿命的限制条件进行选择的情况下，限制选择部138将状态变量发送至动力学计算部131。由此，动力学计算部131对施加于关节的负载扭矩进行计算，损伤度计算部132对重复一系列动作的情况下的预测寿命进行计算。损伤度计算部132将预测寿命发送至限制判定部139。

另外，在由用户对基于消耗电流上限的限制条件进行选择的情况下，限制选择部138将状态变量发送至消耗电流计算部134。由此，消耗电流计算部134使用状态变量对一系列动作中的消耗电流累积值Ic＿i进行计算。消耗电流计算部134将消耗电流累积值Ic＿i发送至限制判定部139。

另外，在由用户对基于消耗电力上限的限制条件进行选择的情况下，限制选择部138将状态变量发送至消耗电力计算部136。由此，消耗电力计算部136使用状态变量对一系列动作中的消耗电力累积值Wc＿i进行计算。消耗电力计算部136将消耗电力累积值Wc＿i发送至限制判定部139。

限制判定部139在由用户对基于设计寿命的限制条件进行选择的情况下，使用式(12)判定是否满足限制条件。限制判定部139在由用户对基于消耗电流上限的限制条件进行选择的情况下，使用式(17)判定是否满足限制条件。限制判定部139在由用户对基于消耗电力上限的限制条件进行选择的情况下，使用式(19)判定是否满足限制条件。

限制判定部139在评价值满足由用户选择出的全部限制条件的情况下，判定为满足一系列动作的限制条件。机器学习部140通过与实施方式1、2相同的处理对参数进行学习。

如上所述在实施方式3中，机器学习部140在寿命、消耗电流及消耗电力之中的多个满足限制条件的范围对一系列动作中的循环时间成为最小的参数的组合进行搜索。因此，参数计算装置100H相对于机器人的一系列动作的整体，能够满足针对寿命、消耗电流及消耗电力之中的多个的限制条件并抑制循环时间的增大。

实施方式4.

接下来，使用图15对本发明的实施方式4进行说明。在实施方式4中，参数计算装置生成能够满足循环时间的限制条件，并改善一系列动作中的损伤度、消耗电流或者消耗电力的评价值的参数的组合。即，评价部对一系列动作中的损伤度、消耗电流或者消耗电力进行计算而作为评价值。学习部对循环时间满足限制条件，并改善一系列动作中的损伤度、消耗电流或者消耗电力的参数进行学习，对一系列动作中的损伤度、消耗电流或者消耗电力成为最佳的参数进行搜索。

损伤度的评价值的改善是减小损伤度，消耗电流的评价值的改善是减小消耗电流，消耗电力的评价值的改善是减小消耗电力。在实施方式4中，循环时间满足的特定条件是满足限制条件(特定时间以内)，评价值满足的特定条件是改善评价值。即，评价值得到改善与评价值满足第1条件相对应，循环时间满足限制条件与循环时间满足第2条件相对应。

＜将循环时间作为限制条件，延长预测寿命的情况＞

在本实施方式中，使用参数计算装置100B、100F、100G的任意者。参数计算装置100B、100F、100G求出满足基于循环时间的限制条件，并将一系列动作中的损伤度、消耗电流或者消耗电力设为最小的参数的组合。

限制判定部133a、135a、137a对基于循环时间所设定的限制条件是否得到满足进行判定，机器学习部140求出将损伤度、消耗电流或者消耗电力设为最小的参数的组合。将损伤度设为最小是与将预测寿命设为最长相同含义。

下面，对实施方式4中的参数计算装置的动作处理进行说明。在使损伤度(预测寿命)减小的情况下，使用参数计算装置100B。在使消耗电流减小的情况下，使用参数计算装置100F。在使消耗电力减小的情况下，使用参数计算装置100G。

此外，对实施方式4中的参数计算装置100B、100F、100G的动作处理之中的与实施方式1至3中的参数计算装置100B、100F、100G的动作处理相同的动作处理省略说明。另外，在实施方式4中，限制判定部133a、135a、137a进行相同的处理，因此在这里对限制判定部133a的处理进行说明。另外，在实施方式4中，评价部130B、130F、130G进行相同的处理，因此在这里对评价部130B的处理进行说明。

在限制判定部133a设定有使一系列动作无法进一步延迟的极限的循环时间基准值ts。循环时间基准值ts是循环时间的限制条件，是在执行一系列动作时所承认的最长的循环时间。限制判定部133a如果由评价部130B计算出的循环时间tc满足下面的式(20)，则判定为一系列动作中的循环时间的限制条件得到满足。

tc≤ts···(20)

在循环时间基准值ts例如设定在各示教区间直至满足设计寿命为止，将速度及加速度以相同比例减小的情况下的循环时间的90％等。另外，也可以在循环时间基准值ts设定在实际的生产工序中对机器人的动作进行设计的情况下所需的循环时间的值。

机器学习部140在式(20)的限制条件得到满足的范围，对由评价部130B计算出的一系列动作的损伤度、消耗电流或者消耗电力成为最小的参数的组合进行搜索。换言之，机器学习部140在式(20)的限制条件得到满足的范围，对由评价部130B计算出的评价值得到改善的参数的组合进行搜索。机器学习部140通过搜索出的参数的组合对在参数存储部110中储存的参数的组合进行更新。

在使用参数计算装置100B的情况下，机器学习部140在式(20)的限制条件得到满足的范围，对一系列动作的损伤度成为最小的参数的组合进行搜索。

在使用参数计算装置100F的情况下，机器学习部140在式(20)的限制条件得到满足的范围，对一系列动作的消耗电流成为最小的参数的组合进行搜索。

在使用参数计算装置100G的情况下，机器学习部140在式(20)的限制条件得到满足的范围，对一系列动作的消耗电力成为最小的参数的组合进行搜索。

此外，也可以将在实施方式4中说明的处理应用于参数计算装置100H。

此外，实施方式3的参数计算装置100H也可以生成能够满足循环时间的限制条件并使一系列动作中的损伤度、消耗电流及消耗电力的各评价值之中的至少1个改善的参数的组合。在该情况下，限制选择部138从损伤度、消耗电流及消耗电力中至少选择1个优化的对象。

如上所述在实施方式4中，机器学习部140以在重复一系列动作的情况下的循环时间的限制条件得到满足的范围改善一系列动作中的寿命、消耗电流及消耗电力的至少1个的方式对参数的组合进行搜索。因此，机器学习部140能够生成满足机器人的一系列动作所容许的循环时间，并相对于一系列动作能够延长预测寿命、抑制消耗电流或者抑制消耗电力的动作指令。即，机器学习部140能够抑制考虑了一系列动作中的预测寿命、消耗电流或者消耗电力的情况下的循环时间的增大。

实施方式5.

接下来，使用图16对本发明的实施方式5进行说明。在实施方式5中，从实际的机器人取得状态变量。

＜从实际的机器人取得状态变量的情况下的装置结构＞

图16是表示具有实施方式5所涉及的参数计算装置的机器人系统的结构例的框图。对图16的各结构要素之中的与参数计算装置100实现同一功能的结构要素标注同一标号而省略重复说明。

机器人系统700具有机器人控制系统600和机器人300。机器人控制系统600是对机器人300进行控制的系统，具有参数计算装置100I及机器人控制器200。

参数计算装置100I在与实际的机器人300连接的传感器400之间执行通信，从机器人300取得状态变量。参数计算装置100I具有参数存储部110、状态变量取得部120B、评价部130、机器学习部140和结束条件判定部150。即，参数计算装置100I与参数计算装置100相比较，取代状态变量取得部120而具有状态变量取得部120B。

状态变量取得部120B具有参数发送部123及状态变量接收部124。参数发送部123连接于参数存储部110、结束条件判定部150及机器人控制器200，状态变量接收部124连接于传感器400及评价部130。

参数发送部123将在参数存储部110中储存的参数发送至机器人控制器200。状态变量接收部124从传感器400对使机器人300动作时的状态变量进行接收。

机器人控制器200是使用由参数计算装置100I计算出的参数对机器人300进行控制的装置。机器人控制器200具有指令生成部201。

指令生成部201从参数发送部123接收参数，基于参数而生成向机器人300的动作指令值。指令生成部201将生成的动作指令值向机器人300发送。机器人300基于由指令生成部201生成的动作指令值而执行一系列动作。

传感器400取得一系列动作中的机器人300的各关节的状态变量，发送至状态变量接收部124。传感器400可以配置于机器人300的内部，也可以配置于机器人300的外部。另外，传感器400可以配置于机器人系统700的内部，也可以配置于机器人系统700的外部。

在机器人系统700中，如果参数发送部123将在参数存储部110中储存的参数发送至指令生成部201，则指令生成部201基于参数而生成向机器人300的动作指令值。机器人300基于动作指令值而执行一系列动作，传感器400取得一系列动作中的机器人300的各关节的状态变量而发送至状态变量接收部124。

由此，状态变量接收部124从传感器400对基于由指令生成部201生成的动作指令值使机器人300动作时的状态变量进行接收。如上所述，参数计算装置100I从实际的机器人300的动作结果取得状态变量。状态变量接收部124将接收到的状态变量发送至评价部130。

评价部130、机器学习部140及结束条件判定部150执行与在实施方式1中说明的处理相同的处理。由此，参数计算装置100I相对于机器人300的一系列动作的整体，生成能够满足设计寿命的限制条件并抑制循环时间的增大的参数。

此外，参数计算装置100I也可以配置于机器人控制器200的内部。在该情况下，机器人控制器200具有接收示教点而输入至参数计算装置100I的示教点输入部和将由参数计算装置100I生成的参数进行输出的参数输出部。另外，状态变量取得部120B也可以应用于参数计算装置100A～100H。

如上所述根据实施方式5，参数计算装置100I使用从实际的机器人300所取得的状态变量，能够求出在一系列动作的限制条件下最佳的参数的组合。

在这里，对参数计算装置100、100A～100I的硬件结构进行说明。图17是表示实施方式1至5所涉及的参数计算装置的硬件结构例的图。此外，参数计算装置100、100A～100I具有相同的硬件结构，因此在这里对参数计算装置100的硬件结构进行说明。

参数计算装置100能够通过图17所示的控制电路，即处理器301、存储器302而实现。处理器301的例子是CPU(也称为Central Processing Unit、中央处理装置、处理装置、运算装置、微处理器、微型计算机、处理器、DSP(Digital Signal Processor))或者系统LSI(Large Scale Integration)。存储器302的例子是RAM(Random Access Memory)、ROM(ReadOnly Memory)。

参数计算装置100是处理器301将存储器302所存储的用于执行参数计算装置100的动作的程序读出并执行而实现的。另外，该程序也可以说是使计算机执行参数计算装置100的顺序或者方法。存储器302还作为由处理器301执行各种处理时的暂时存储器使用。

此外，关于参数计算装置100的功能，可以将一部分通过专用的硬件而实现，将一部分通过软件或者固件而实现。

实施方式6.

接下来，说明对用于决定执行一系列动作的机器人300的作业环境的布局的参数进行调整的情况的实施方式。用于决定机器人300的作业环境的布局的参数是用于决定机器人300的移动路径(控制区间)的参数。即，在本实施方式中，对动作参数是决定机器人的移动路径的参数的情况进行说明。

作为本实施方式所涉及的参数计算装置，可以使用实施方式1至5中说明的参数计算装置100、100A～100I中的任意者。即，能够通过参数计算装置100、100A～100I中的任意者，对用于决定机器人300的作业环境的布局的参数进行调整。

在本实施方式中，说明参数计算装置100对用于决定作业环境的布局的参数进行调整的情况。具体地说，参数计算装置100使用参数存储部110、状态变量取得部120、评价部130、机器学习部140和结束条件判定部150而执行参数计算装置100、100A～100I中的任意者的功能，由此对用于决定作业环境的布局的参数进行调整。

使用图18及图19，对机器人300所涉及的作业环境的布局的调整处理和通过调整得到的效果进行说明。图18是表示实施方式6所涉及的参数计算装置对作业环境的布局进行调整前的控制区间的图。图19是表示实施方式6所涉及的参数计算装置对作业环境的布局进行调整后的控制区间的图。在这里，如图18中的布局A0的示意图所示，考虑在机器人基座原点O1设置的机器人300首先从指尖初始位置的示教点P1移动至部件供给器800上的示教点P2，接着从示教点P2移动至组装台801上的示教点P3，最后从示教点P3返回示教点P1而完成的一系列动作。

图19中的布局A1的示意图表示在将机器人基座原点O1及示教点P1、P2、P3分别变更为机器人基座原点O1’及示教点P1’、P2’、P3’的情况下，构成一系列动作的示教区间(控制区间)P1’－P2’、P2’－P3’、P3’－P1’中的机器人300的姿态及各关节的移动量发生变化的情形。

如果决定作业环境的布局的要素即机器人300的安装位置、部件供给器800及组装台801的配置发生变化，则构成一系列动作的每个控制区间的机器人300的姿态及各关节的移动量变化。因此，在参数计算装置100所具有的评价部130中，根据实施方式1至5的任意者所记载的方式进行计算的一系列动作的评价值变化。机器学习部140基于该评价值，使用实施方式1至5的任意者所记载的方式对用于决定作业环境的布局的参数进行计算。

用于决定作业环境的布局的参数的例子是机器人基座原点O1及示教点P1、P2、P3的3维坐标(x，y，z)。参数存储部110将这些3维坐标作为调整对象的参数进行存储。机器学习部140例如通过将各示教点的3维坐标(x，y，z)设为粒子的位置矢量的PSO，使用由评价部130计算出的循环时间及一系列动作的评价值对3维坐标的组合进行计算。

为了通过由参数计算装置100输出的最佳参数的布局而实施机器人300所进行的作业，用户可以使部件供给器800、组装台801等设备的位置移动。或者，用户可以在位置被固定的带式输送机等设备上使机器人300拾取物体的地点移动。

机器学习部140通过实施方式1至5中的任意者所记载的方式，能够对参数的搜索范围进行调整。机器学习部140例如在图18中的布局A0中，部件供给器800及组装台801的配置位置固定，示教点P2、P3的坐标不进行调整，仅能够将机器人基座原点O1及示教点P1的坐标设为调整对象。

并且，本实施方式所涉及的参数计算装置100可以与用于决定作业环境的布局的的参数一起对在实施方式1至5的任意者所说明的针对一系列动作的每个控制区间的参数进行计算。参数计算装置100例如可以对一系列动作所包含的各示教点的3维坐标进行计算而作为参数，并且对至下一个示教点为止的控制区间的速度及加速度进行计算而作为参数。另外，参数计算装置100可以不对实施方式1至5的任意者所说明的针对一系列动作的每个控制区间的参数进行计算，而是仅对用于决定作业环境的布局的参数进行计算。

如上所述，在本实施方式中，在对机器人300的动作进行控制的参数中必须包含有决定由机器人300执行一系列动作的作业环境的布局的参数。另一方面，在本实施方式中，实施方式1至5的任意者所说明的对机器人300的动作进行控制的参数，可以不是参数存储部110所存储的参数及机器学习部140所学习的参数。

如上所述，根据实施方式6，能够决定满足一系列动作的限制条件并抑制循环时间的增大的作业环境的布局。

以上的实施方式所示的结构，表示本发明的内容的一个例子，也能够与其他公知技术进行组合，在不脱离本发明的主旨的范围，也能够对结构的一部分进行省略、变更。

标号的说明

100、100A～100I参数计算装置，110参数存储部，120、120A、120B状态变量取得部，121、201指令生成部，122动作试行部，123参数发送部，124状态变量接收部，130、130B、130F、130G、130H评价部，131动力学计算部，132损伤度计算部，133a、135a、137a、139限制判定部，134消耗电流计算部，136消耗电力计算部，138限制选择部，140机器学习部，150结束条件判定部，160调整区间存储部，170学习经过可视化部，180程序生成部，200机器人控制器，300机器人，301处理器，302存储器，310前端部，400传感器，500接口画面，600机器人控制系统，700机器人系统，800部件供给器，801组装台，O1、O1’机器人基座原点、P1、P1’、P2、P2’、P3、P3’示教点。

Claims (19)

1.一种参数计算装置，其特征在于，具有：

参数存储部，其针对以速度0为分隔的每个控制区间，对控制机器人的动作的参数进行存储；

状态变量取得部，其基于所述参数而取得状态变量，该状态变量表示由多个控制区间构成的一系列动作中的所述机器人的状态；

评价部，其基于所述状态变量，对评价所述一系列动作的评价值及所述一系列动作的循环时间进行计算；以及

机器学习部，其通过使用多目标优化方法的学习对所述评价值满足第1条件且所述循环时间满足第2条件的参数进行计算，使计算出的参数存储于所述参数存储部。

2.根据权利要求1所述的参数计算装置，其特征在于，

在所述参数包含决定所述机器人的动作速度的参数。

3.根据权利要求1所述的参数计算装置，其特征在于，

在所述参数包含决定由所述机器人执行所述一系列动作的作业环境的布局的参数。

4.根据权利要求1至3中任一项所述的参数计算装置，其特征在于，

所述评价值是重复所述一系列动作的情况下的所述机器人所具有的部件的预测寿命、通过所述一系列动作消耗的所述部件的消耗电流、及通过所述一系列动作消耗的所述部件的消耗电力中的至少1个。

5.根据权利要求1至4中任一项所述的参数计算装置，其特征在于，

所述机器学习部通过学习对所述评价值满足限制条件并且所述循环时间变短的参数进行计算。

6.根据权利要求1至4中任一项所述的参数计算装置，其特征在于，

所述机器学习部通过学习对所述循环时间满足限制条件并且所述评价值得到改善的参数进行计算。

7.根据权利要求4所述的参数计算装置，其特征在于，

在所述评价值的1个为所述预测寿命的情况下，

所述状态变量包含所述一系列动作中的所述机器人的关节的位移、所述关节的速度及所述关节的加速度，

所述评价部使用所述位移、所述速度及所述加速度对施加于所述关节的负载扭矩进行计算，基于所述负载扭矩及所述关节的动作量对所述部件的所述一系列动作中的损伤度进行计算，基于所述损伤度对所述预测寿命进行计算。

8.根据权利要求4所述的参数计算装置，其特征在于，

在所述评价值的1个为所述消耗电流的情况下，

所述状态变量包含所述一系列动作中的所述机器人的关节的速度、所述关节的加速度及对所述关节进行驱动的电流值，

所述评价部使用所述电流值对所述消耗电流进行计算。

9.根据权利要求4所述的参数计算装置，其特征在于，

在所述评价值的1个为所述消耗电力的情况下，

所述状态变量包含所述一系列动作中的所述机器人的关节的速度、所述关节的加速度及对所述关节进行驱动的电流值，

所述评价部使用所述电流值对所述消耗电力进行计算。

10.根据权利要求1至9中任一项所述的参数计算装置，其特征在于，

所述机器学习部基于针对每个所述控制区间计算出的评价值，对进行学习的参数的初始值进行调整。

11.根据权利要求1至10中任一项所述的参数计算装置，其特征在于，

所述机器学习部基于针对每个所述控制区间计算出的评价值，对进行学习的控制区间进行选择。

12.根据权利要求1至10中任一项所述的参数计算装置，其特征在于，

所述机器学习部针对每个所述控制区间对所述控制区间中的动作时间和所述评价值的比率进行计算，基于所述比率，对进行学习的控制区间进行选择。

13.根据权利要求1至12中任一项所述的参数计算装置，其特征在于，

所述状态变量取得部从通过对所述机器人的动作进行模拟的仿真器得到的仿真结果，取得所述状态变量。

14.根据权利要求1至12中任一项所述的参数计算装置，其特征在于，

所述状态变量取得部基于机器人实际进行了动作时的动作结果，取得所述状态变量。

15.根据权利要求1至10中任一项所述的参数计算装置，其特征在于，

还具有区间存储部，该区间存储部对所述机器学习部学习所述参数的控制区间进行存储，

所述区间存储部对由用户指定出的控制区间进行存储，

所述机器学习部针对所述区间存储部所存储的控制区间，对所述参数进行学习。

16.根据权利要求1至15中任一项所述的参数计算装置，其特征在于，

还具有学习经过可视化部，该学习经过可视化部在所述机器学习部学习所述参数的期间，生成将在所述参数存储部中存储的参数的值、由所述评价部计算的循环时间、由所述评价部计算的评价值的至少1个进行了可视化的信息。

17.根据权利要求1至16中任一项所述的参数计算装置，其特征在于，

还具有程序生成部，该程序生成部基于由所述机器学习部计算出的参数，生成用于使所述机器人动作的程序。

18.一种机器人控制系统，其特征在于，具有：

权利要求1至17中任一项所述的参数计算装置；以及

机器人控制器，其基于由所述参数计算装置计算出的参数，对所述机器人的动作进行控制。

19.一种机器人系统，其特征在于，具有：

权利要求18所述的机器人控制系统；以及

由所述机器人控制系统进行控制的所述机器人。

Images