CN106557069B - 机械学习装置和方法以及具有该机械学习装置的机床 - Google Patents

机械学习装置和方法以及具有该机械学习装置的机床 Download PDF

Info

Publication number
CN106557069B
CN106557069B CN201610728275.6A CN201610728275A CN106557069B CN 106557069 B CN106557069 B CN 106557069B CN 201610728275 A CN201610728275 A CN 201610728275A CN 106557069 B CN106557069 B CN 106557069B
Authority
CN
China
Prior art keywords
motor
return
action command
vibration
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610728275.6A
Other languages
English (en)
Other versions
CN106557069A (zh
Inventor
中泽康之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106557069A publication Critical patent/CN106557069A/zh
Application granted granted Critical
Publication of CN106557069B publication Critical patent/CN106557069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4083—Adapting programme, configuration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/028—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using expert systems only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P29/00—Arrangements for regulating or controlling electric motors, appropriate for both AC and DC motors
    • H02P29/40—Regulating or controlling the amount of current drawn or delivered by the motor for controlling the mechanical load
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P29/00—Arrangements for regulating or controlling electric motors, appropriate for both AC and DC motors
    • H02P29/60—Controlling or determining the temperature of the motor or of the drive
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P5/00—Arrangements specially adapted for regulating or controlling the speed or torque of two or more electric motors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32329—Real time learning scheduler, uses ANN, fuzzy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P29/00—Arrangements for regulating or controlling electric motors, appropriate for both AC and DC motors
    • H02P29/02—Providing protection against overload without automatic interruption of supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Numerical Control (AREA)
  • Control Of Electric Motors In General (AREA)
  • Automatic Control Of Machine Tools (AREA)
  • Manipulator (AREA)

Abstract

本发明提供机械学习装置和方法以及具有该机械学习装置的机床。机械学习装置构成为学习针对电动机的动作指令。机械学习装置包括：状态观测部，其将针对电动机的功率供给量、电动机的温度、电动机的负荷以及电动机的振动作为状态变量来进行观测；学习部，其按照基于状态变量而作成的训练数据集，来学习针对电动机的动作指令。

Description

机械学习装置和方法以及具有该机械学习装置的机床
技术领域
本发明涉及学习针对电动机的动作指令的机械学习方法、机械学习装置以及具有该机械学习装置的机床。
背景技术
在使用机床来进行加工的情况下，为了提高加工精度，而要求防止过载、过热及颤振。以往，操作者基于自身的经验，改变工具的进给速度或主轴的转速，或者进行温度校正，从而谋求提高加工精度。
在国际公开第2014/115395号公开了一种机床，其构成为在检测出颤振时，对主轴的转速进行校正，或者改变进刀量。国际公开第2015/087455号公开了一种数值控制装置，其根据工件的惯性、电动机的负荷等在动作过程中改变电动机的加速度。
发明内容
但是，根据上述的公知技术，要根据特定的条件来执行预定校正处理，因此难以始终实现高加工精度。因此，要求将机床控制为不需要操作者的校正操作，就能够始终实现高加工精度。
本发明提供一种机械学习装置，其学习针对电动机的动作指令，其中，该机械学习装置包括：状态观测部，其将针对所述电动机的功率供给量、所述电动机的温度、所述电动机的负荷以及所述电动机的振动作为状态变量来进行观测；以及学习部，其按照基于所述状态变量而作成的训练数据集，来学习针对所述电动机的动作指令。
在本申请的优选实施例中，所述学习部包括：回报计算部，其根据所述功率供给量、所述温度、所述负荷以及所述振动来计算回报；以及函数更新部，其基于所述回报来更新用于决定所述动作指令的函数。
在本申请的优选实施例中，所述回报计算部构成为：基于所述功率供给量与预先决定的功率供给量之差、所述温度与预先决定的温度之差、所述负荷与预先决定的负荷之差以及所述振动与预先决定的振动之差，来计算所述回报。
在本申请的优选实施例中，所述函数更新部构成为：基于所述回报来更新行为价值表。
在本申请的优选实施例中，所述学习部构成为：按照针对多个电动机作成的训练数据集来学习所述动作指令。
本申请的优选实施例提供一种机床，包括：上述的机械学习装置；由至少一个第1电动机驱动的移动轴或者旋转轴；以及由至少一个第2电动机驱动的主轴，其中，所述机械学习装置还包括意图决定部，该意图决定部基于所述学习部学习而得的结果来执行进给速度校正、主轴转速校正、加减速时间常数校正以及位置校正中的至少某一个，所述机床构成为：按照由所述意图决定部校正后的动作指令来控制所述第1电动机及所述第2电动机。
在本申请的优选实施例中，所述状态观测部构成为：将主轴头的温度及振动作为追加的状态变量来进行观测，所述回报计算部构成为：基于所述主轴头的温度与预先决定的温度之差、以及所述主轴头的振动与预先决定的振动之差，来计算所述回报。
本发明提供一种机械学习方法，用于学习针对电动机的动作指令，其中，该机械学习方法包括：将针对所述电动机的功率供给量、所述电动机的温度、所述电动机的负荷以及所述电动机的振动作为状态变量来进行观测；以及按照基于所述状态变量而作成的训练数据集，来学习所述针对电动机的动作指令。
附图说明
通过参照附图所示的本发明的例示实施方式的详细说明能够进一步明确上述内容及本发明的其他目的、特征及优点。
图1是表示一实施方式的机床的构成例的框图。
图2是表示机械学习装置的学习过程的流程的流程图。
图3是表示神经元的模型的示意图。
图4是表示三层神经网络模型的示意图。
具体实施方式
以下，参照附图说明本发明的实施方式。图1是表示一实施方式的机床的构成例的框图。机床1包括电动机2、控制电动机2的控制装置3、学习针对电动机2的动作指令的机械学习装置4。
电动机2分别与机床1的轴相应地设置。电动机2用于驱动安装有工具的主轴头5。另外，电动机2也可以用于驱动使主轴头5在固定于作业空间的坐标系的各轴向上移动的移动轴或使主轴头5在各轴向上旋转的旋转轴。或者，电动机2还可以用于驱动使载置有工件的工作台在作业空间内移动的移动轴或者使工作台在作业空间内旋转的旋转轴。在本说明书中使用的“电动机”的术语包括机床1中使用的多个电动机2、即包括主轴用电动机及进给轴用电动机这两者。
控制装置3包括CPU、存储器、接口。CPU执行用于执行控制装置3的各种功能的运算处理。存储器包括ROM、RAM及非易失性存储器。在ROM中存储有对控制装置3的功能进行控制的系统程序。RAM用于暂时存储各种传感器的输出值及CPU的运算结果等。在非易失性存储器中存储有用于作成向电动机2发出的指令的控制程序及各种参数等。
如图1所示，控制装置3包括温度测量部31、振动测量部32、负荷测量部33、功率测量部34、判断部35以及指令作成部36。
温度测量部31测量电动机2的温度。温度测量部31基于设于能够检测出电动机2的温度变化的任意位置例如电动机2的壳体的温度传感器(未图示)的输出值来测量电动机2的温度。在一实施方式中，温度测量部31也可以构成为还利用另行设置的温度传感器检测主轴头5的温度。
振动测量部32基于任意的振动传感器的输出值，来测量电动机2的振动。在一实施方式中，振动测量部32也可以构成为还利用另行设置的振动传感器来测量主轴头5的振动。
负荷测量部33测量电动机2的负荷。例如，负荷测量部33能够根据在电动机2进行预定动作时向电动机2供给的电流量来计算负荷。
功率测量部34通过控制装置3的放大器(未图示)来测量向电动机2的功率供给量。
判断部35计算由控制装置3取得的多个测量值和与各测量值相应的比较值之差，并作出判断数据来进行输出。要进行判断的测量值包括由温度测量部31测量的电动机2的温度、由振动测量部32测量的电动机2的振动、由负荷测量部33测量的电动机2的负荷以及由功率测量部34测量的功率。
与电动机2的温度相应的比较值设定为表示能视为电动机2过热的温度。与电动机2的振动相应的比较值设定为表示能视为发生了颤振的振动。与电动机2的负荷相应的比较值设定为表示能视为电动机2处于过载状态的负荷。与电动机2的功率供给量相应的比较值设定为表示与功率供给容量的极限相应的功率。
这样，由判断部35作成的判断数据是能够判断有没有发生电动机2的过热、过载、超过功率供给容量及颤振的数据。
在构成为温度测量部31测量主轴头5的温度的实施方式的情况下，判断部35进一步构成为计算主轴头5的温度和与其相应的温度之差。在构成为温度测量部31测量主轴头5的振动的实施方式的情况下，判断部35进一步构成为计算主轴头5的振动和与其相应的值之差。
指令作成部36作成针对电动机2的动作指令。指令作成部36按照存储于非易失性存储器的动作程序及参数来作成动作指令。由指令作成部36作成的动作指令会根据由后述的机械学习装置4的意图决定部46决定的校正处理来进行校正。
机械学习装置4用于学习与机床1的状态相应地针对电动机2发出的动作指令。如图1所示，机械学习装置4包括状态观测部41、判断数据取得部42、学习部43以及意图决定部46。
状态观测部41将向电动机2的功率供给量、电动机2的温度、电动机2的负荷以及电动机2的振动作为状态变量来进行观测。在一实施方式中，状态观测部41也可以构成为将主轴头5的温度及振动作为追加的状态变量来进行观测。
判断数据取得部42从判断部35取得与由状态观测部41观测到的状态变量(各测量值)相应的判断数据。
学习部43按照基于状态变量而作成的训练数据集来学习针对电动机2的动作指令。
意图决定部46基于学习部43的学习结果来校正针对电动机2的动作指令。意图决定部46构成为执行进给速度校正、主轴转速校正、加减速时间常数校正及位置校正中的至少某一个。
机械学习装置4可以是控制装置3之外的数字计算机，也可以内置于控制装置3。在后者的情况下，机械学习装置4使用控制装置3的CPU及存储器进行机械学习。
在一实施方式中，机械学习装置4也可以是设于与电动机2及控制装置3隔离开的场所。在该情况下，机械学习装置4通过网络与控制装置3相连接。或者，机械学习装置4也可以存在于云服务器。
如图1所示，学习部43包括回报计算部44和函数更新部45。
回报计算部44基于由判断数据取得部42取得的各测量值的判断数据来计算回报。
函数更新部45基于由回报计算部44计算出的回报来更新用于决定针对电动机2的动作指令的函数。在一实施方式中，函数更新部44也可以构成为基于上述回报，来更新行为价值表。行为价值表具有参照表的形态，是将状态变量和与其相应的行为价值关联起来的数据。
参照图2，说明利用一实施方式的机械学习装置4执行的机械学习方法。
在步骤S201，更新行为价值表。在初次执行步骤S201的情况下，向行为价值表输入任意的初始值。在步骤S202，意图决定部46根据状态变量决定动作指令的校正量。在机械学习的初始阶段，意图决定部46也可以随机地决定动作指令的校正量。
在步骤S203，判断在机床1是否发生异常。这里，机床1的“异常”是是指：符合向电动机2的功率供给量超过容许值时、针对电动机2的负荷过大时、电动机的温度过高时、在机床1发生了颤振时以及主轴头5的温度过高时中的至少一者的状态。其中，基于由控制装置3的判断部35作成的判断数据来执行在步骤S203的判断。
在没有发生异常的情况下(在步骤S203的判断结果为否定的情况下)，进入步骤S204，回报计算部44使对该行为(对动作指令的校正处理)的回报增大。另一方面，在发生了异常的情况下(在步骤S203的判断结果为肯定的情况下)，进入步骤S205，回报计算部44使对该行为的回报减少。
在步骤S204或者S205的回报计算之后，返回步骤S201，更新行为价值表。反复执行从步骤S201到S205的处理，直到获得足够的机械学习的学习效果为止。
这里，对机械学习装置4进行详细说明。机械学习装置4具有这样的功能：通过解析从输入装置的数据的集合提取其中的有用的规则、知识表现、判断基准等，输出该判断结果，并进行知识学习。这样的方法具有多种，大致可分为“有教师学习”、“无教师学习”、“强化学习”。进而，还具有在实现这些方法的基础上、学习特征量本身的的提取的被称为“深层学习”的方法。
“有教师学习”是指：能够通过将某输入与结果(标签)的数据组大量地给予学习装置，来学习这些数据集所具有的特征，归纳获得从输入推断结果的模型即其相关性。在本实施方式中，能够用于根据针对电动机的功率供给量、电动机的温度、负荷及振动等来校正针对电动机的指令的部分等。能够使用后述神经网络等算法来实现。
“无教师学习”是这样的方法：只将输入数据大量给予学习装置，从而学习输入数据如何分布，学习即使不给予相应的教师输出数据，也能针对输入数据进行压缩、分类、整形等的装置。能够对这些数据集所具有的特征相似者进行聚类等。使用该结果，设置某些基准，进行使其最佳化这样的输出分配，从而能够实现输出的预测。另外，作为“无教师学习”与“有教师学习”的中间的问题设定，还有被称为“半有教师学习”的方法，其只存在一部分的输入与输出的数据组，除此之外仅为输入数据的情况属于“半有教师学习”。在本实施方式中，在无教师学习中使用实际上不使电动机2动作也能取得的数据，能够高效地进行学习。
强化学习的问题如下这样设定。
·电动机2的控制装置3观测环境状态，决定行为。
·环境按照某些规则发生变化，并且，自身的行为还会使环境变化。
·每次行为都返回回报信号。
·想要最大化的是将来的(折扣)回报的合计。
·从完全不知道或者并非完全知道行为导致的结果的状态起开始学习。控制装置3能够在电动机2实际动作后，首次将其结果作为数据来获得。也就是说，需要一边试错一边探索最佳行为。
·也可以像模仿人的动作那样以事前进行了学习(上述的有教师学习、反向强化学习这样的方法)的状态为初始状态，从好的开始点开始学习。
“强化学习”是这样的学习方法：并非仅进行判断、分类，还学习行为，由此依据行为给予环境的相互作用，来学习适当的行为，即，使将来能够获得的回报最大化。在本实施方式中，这表示能够获得对未来造成影响的行为。例如在Q学习中会继续说明，但不局限于此。
Q学习是学习在某环境状态s下选择行为a的价值Q(s，a)的方法。也就是说，在某状态s时，将价值Q(s，a)最高的行为a作为最佳行为来选择即可。但是，最初关于状态s与行为a的组合，完全不知道价值Q(s，a)的正确值。因此，智能体(行为主体)在某状态s下选择各种行为a，对当时的行为a给予回报。由此，智能体学习较好的行为选择、即正确的价值Q(s，a)。
行为的结果是想要使将来能够获得的回报的合计最大化，因此以最终成为Q(s，a)＝E[Σγtrt]为目标(随着最佳行为，状态发生了变化时取得期望值。当然，因为不知道这个，所以不得不一边探索一边学习)。这样的价值Q(s，a)的更新式例如能够由下式表示。
这里，st表示时刻t的环境的状态，at表示时刻t的行为。由于行为at，状态变化为st+1。rt+1表示由于该状态的变化得到的回报。另外，带有max的项是在状态st+1下选择了当时所知道的Q值最高的行为a的情况下的Q值乘以γ的值。γ是0＜γ≤1的参数，称为折扣率。α是学习系数，为0＜α≤1的范围。
该式表示基于试行at的结果返回的回报rt+1来更新状态st下的行为at的评价值Q(st，at)的方法。示出了：与状态s下的行为a的评价值Q(st，at)相比，回报rt+1+行为a导致的下一状态下的最佳行为max a的评价值Q(st+1，max at+1)较大的情况下，增大Q(st，at)，相反Q(st+1，max at+1)较小的情况下，将Q(st，at)也减小。也就是说，使某状态下的某行为的价值接近作为结果立即返回的回报和该行为导致的下一状态下的最佳行为的价值。
Q(s，a)在计算机上的表现方法有：针对所有的状态行为对(s，a)，将其值以表(行为价值表)的方式保持的方法；准备能近似得出Q(s，a)的函数的方法。后者的方法中，上述更新式能够利用随机梯度下降法等方法实现调整近似函数的参数。作为近似函数，能够使用后述神经网络。
作为有教师学习、无教师学习以及强化学习中的价值函数的近似算法，能够使用神经网络。神经网络由实现模仿例如图3所示那样的神经元的模型的神经网络的运算装置及存储器等构成。图3是表示神经元的模型的示意图。
如图3所示，神经元输出针对多个输入x(这里，作为一例，是输入x1～输入x3)的输出y。各输入x1～x3乘以与该输入x对应的权值w(w1～w3)。由此，神经元输出由下式表现出来的输出y。其中，输入x、输出y及权值w都是矢量。
这里，θ是偏置，fk是激活函数。
接着，参照图4说明具有上述神经元组合而成的三层权值的神经网络。图4是表示具有D1～D3的三层权值的神经网络的示意图。
如图4所示，从神经网络的左侧输入多个输入x(这里，作为一例，是输入x1～输入x3)，从右侧输出结果y(这里，作为一例，是结果y1～结果y3)。
具体而言，输入x1～输入x3分别针对三个神经元N11～N13乘以相应的权值后输入。与这些输入相乘的权值统一标记为w1。
神经元N11～N13分别输出z11～z13。这些z11～z13统一标记为特征矢量z1，可以视为是将输入矢量的特征量提取后的矢量。该特征矢量z1是权值w1与权值w2之间的特征矢量。
z11～z13分别针对两个神经元N21、N22乘以相应的权值后输入。与这些特征矢量相乘的权值统一标记为w2。
神经元N21、N22分别输出z21、z22。这些统一标记为特征矢量z2。该特征矢量z2是权值w2与权值w3之间的特征矢量。
特征矢量z21，z22分别针对三个神经元N31～N33乘以相应的权值后输入。与这些特征矢量相乘的权值统一标记为w3。
最后，神经元N31～N33分别输出结果y1～结果y3。
神经网络的动作具有学习模式和价值预测模式，在学习模式下，使用学习数据集来学习权值w，使用该参数在预测模式下进行针对电动机的指令的校正(为了方便起见，写了预测，但是检测、分类、推论等各种各样的任务也可以)。
能够在预测模式下即时学习实际启动电动机而得到的数据，并将其反映到接下来的行为中(在线学习)，还能够使用预先收集的数据组进行总结学习，以后一直以该参数进行检测模式(批量学习)。还能够每当中间数据积存某程度时插入学习模式。
权值w1～w3能够利用误差反向传播法(反向传播)来进行学习。误差信息从右侧进入，流向左侧。误差反向传播法这样的方法：以减小输入x输入后的输出y与真正的输出y(教师)之间的差异的方式，调整(学习)各神经元的权值。
这样的神经网络能够进一步将层增加至3层以上(被称为深层学习)。能够仅从教师数据自动获得阶段性地进行输入的特征提取、并反馈结果运算的运算装置。
因此，为了实施上述Q学习，本实施方式的机械学习装置4如图1所示那样包括状态观测部41、学习部43以及意图决定部46。但是，适用于本发明的机械学习方法不局限于Q学习。例如在应用有教师学习的情况下，价值函数与学习模型相对应，回报与误差相对应。
在本实施方式中，要观测的多个状态变量之间，存在复杂的相关关系。例如，若机床的进给速度增大，则电动机2的负荷增大，容易发生颤振。若电动机2的振动增大，则主轴头5的定位精度降低。另外，若主轴头5的温度增大，则由于热位移的影响，定位精度降低。像这样，状态变量互相复杂地影响，能引起加工精度的降低。
对此，采用上述实施方式的机械学习装置及机械学习方法，机械学习装置4能够根据状态变量学习针对电动机2的适当的动作指令，因此能够在任意状况下进行适当的校正处理。这样，采用本实施方式，不需要执行由操作者进行的校正操作，能够自动进行适当的校正处理，因此能够始终实现高加工精度。
在一实施方式中，也可以构成为学习部按照针对多个电动机而作成的训练数据集来学习动作指令。学习部可以从在同一现场使用的多个机床取得训练数据集，或者，也可以利用从在不同现场独立地运转的多个机床收集来的训练数据集，来学习针对电动机的动作指令。
对利用强化学习及神经网络来进行机械学习的实施方式进行了说明，但是也可以按照其他的公知的方法、例如遗传编程、功能逻辑编程、支持向量机等来执行机械学习。
以上，对本发明的各种实施方式进行了说明，本领域技术人员能够理解利用其它实施方式也能够实现本发明的期望作用效果。尤其是，在不脱离本发明的范围内，能够对上述实施方式的构成要素进行删除或者置换，还能够进一步添加公知的手段。另外，将在本说明书中明确公开或间接公开的多个实施方式的特征任意组合也能够实施本发明，这对本领域技术人员而言是显而易见的。
采用本发明的机械学习装置及机械学习方法，按照基于状态变量而作成的训练数据集，来学习针对电动机的动作指令。由此，不需要由操作者进行的校正操作，就能够根据状况适当地控制电动机。另外，采用本发明的机床，能够根据状况对驱动主轴及移动轴的电动机进行适当地控制，因此能够始终实现高加工精度。

Claims (5)

1.一种机械学习装置，其学习针对在机床中使用的电动机的动作指令，其特征在于，
该机械学习装置包括：
状态观测部，其将针对所述电动机的功率供给量、所述电动机的温度、所述电动机的负荷以及所述电动机的振动作为状态变量来进行观测；以及
学习部，其按照所述状态变量和基于所述状态变量判断在机床是否发生异常而得的结果，来学习针对所述电动机的所述动作指令是否需要校正，
所述学习部包括：
回报计算部，其根据所述功率供给量、所述温度、所述负荷以及所述振动来计算回报；以及
函数更新部，其基于所述回报来更新用于决定所述动作指令的函数，
所述回报计算部构成为：基于所述功率供给量与预先决定的功率供给量之差、所述温度与预先决定的温度之差、所述负荷与预先决定的负荷之差以及所述振动与预先决定的振动之差，来计算所述回报，
在没有发生异常的情况下，所述回报计算部使针对所述动作指令的校正处理的回报增大，在发生异常的情况下，所述回报计算部使所述回报减少。
2.根据权利要求1所述的机械学习装置，其特征在于，
所述函数更新部构成为：基于所述回报来更新行为价值表。
3.根据权利要求1或2所述的机械学习装置，其特征在于，
所述学习部构成为：按照针对多个电动机作成的训练数据集来学习所述动作指令。
4.一种机床，包括：
权利要求1～3中任一项所述的机械学习装置；
由至少一个第1电动机驱动的移动轴或者旋转轴；以及
由至少一个第2电动机驱动的主轴，
其特征在于，
所述机械学习装置还包括意图决定部，该意图决定部基于所述学习部学习而得的结果来执行进给速度校正、主轴转速校正、加减速时间常数校正以及位置校正中的至少某一个，
所述机床构成为：按照由所述意图决定部校正后的动作指令来控制所述第1电动机及所述第2电动机，
所述状态观测部构成为：将主轴头的温度及振动作为追加的状态变量来进行观测，
所述回报计算部构成为：基于所述主轴头的温度与预先决定的温度之差、以及所述主轴头的振动与预先决定的振动之差，来计算所述回报，
在没有发生异常的情况下，所述回报计算部使针对所述动作指令的校正处理的回报增大，在发生异常的情况下，所述回报计算部使所述回报减少。
5.一种机械学习方法，用于学习针对在机床中使用的电动机的动作指令，其特征在于，
该机械学习方法包括：
将针对所述电动机的功率供给量、所述电动机的温度、所述电动机的负荷以及所述电动机的振动作为状态变量来进行观测；以及
按照所述状态变量和基于所述状态变量判断在机床是否发生异常而得的结果，来学习所述针对电动机的所述动作指令是否需要校正，其中，
基于所述功率供给量与预先决定的功率供给量之差、所述温度与预先决定的温度之差、所述负荷与预先决定的负荷之差以及所述振动与预先决定的振动之差，来计算回报，在没有发生异常的情况下，所述回报计算部使针对所述动作指令的校正处理的回报增大，在发生异常的情况下，所述回报计算部使所述回报减少，
基于所述回报来更新用于决定所述动作指令的函数。
CN201610728275.6A 2015-09-29 2016-08-25 机械学习装置和方法以及具有该机械学习装置的机床 Active CN106557069B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015191674A JP6063016B1 (ja) 2015-09-29 2015-09-29 電動機に対する動作指令を学習する機械学習方法および機械学習装置並びに該機械学習装置を備えた工作機械
JP2015-191674 2015-09-29

Publications (2)

Publication Number Publication Date
CN106557069A CN106557069A (zh) 2017-04-05
CN106557069B true CN106557069B (zh) 2018-03-13

Family

ID=57800127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610728275.6A Active CN106557069B (zh) 2015-09-29 2016-08-25 机械学习装置和方法以及具有该机械学习装置的机床

Country Status (4)

Country Link
US (1) US10082771B2 (zh)
JP (1) JP6063016B1 (zh)
CN (1) CN106557069B (zh)
DE (1) DE102016011402A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6457563B2 (ja) * 2017-01-24 2019-01-23 ファナック株式会社 数値制御装置及び機械学習装置
JP6453921B2 (ja) * 2017-02-03 2019-01-16 ファナック株式会社 学習モデル構築装置、及び制御情報最適化装置
JP6502976B2 (ja) 2017-02-15 2019-04-17 ファナック株式会社 数値制御装置
JP6499689B2 (ja) 2017-03-08 2019-04-10 ファナック株式会社 仕上げ加工量予測装置及び機械学習装置
US10599104B2 (en) 2017-03-31 2020-03-24 Mitsubishi Electric Corporation Control device and motor control system
JP6474449B2 (ja) * 2017-04-07 2019-02-27 ファナック株式会社 調整装置及び調整方法
JP6514260B2 (ja) * 2017-04-13 2019-05-15 ファナック株式会社 制御装置及び機械学習装置
JP6530779B2 (ja) * 2017-04-20 2019-06-12 ファナック株式会社 加工不良要因推定装置
JP6503002B2 (ja) * 2017-04-20 2019-04-17 ファナック株式会社 揺動切削を行う工作機械の制御装置
DE102017005068A1 (de) * 2017-05-20 2018-11-22 Michael Weinig Ag Temperatur-Überwachungseinrichtung für Werkzeugspindeln von Holzbearbeitungsmaschinen, vorzugsweise Kehlmaschinen, Holzbearbeitungsmaschinen mit einer solchen Temperatur- Überwachungseinrichtung sowie Verfahren unter Verwendung einer Temperatur-Überwachungseinrichtung
WO2018229881A1 (ja) * 2017-06-13 2018-12-20 株式会社日本製鋼所 スクリュ形状推定装置、スクリュ形状推定方法、スクリュ形状推定プログラム
JP6499720B2 (ja) 2017-06-22 2019-04-10 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6572265B2 (ja) * 2017-06-30 2019-09-04 ファナック株式会社 制御装置及び機械学習装置
JP6592039B2 (ja) 2017-07-04 2019-10-16 ファナック株式会社 熱変位補正装置
JP6564426B2 (ja) * 2017-07-07 2019-08-21 ファナック株式会社 部品供給装置及び機械学習装置
JP2019020959A (ja) * 2017-07-14 2019-02-07 ファナック株式会社 制御装置及び学習装置
JP6608879B2 (ja) 2017-07-21 2019-11-20 ファナック株式会社 機械学習装置、数値制御装置、数値制御システム、及び機械学習方法
JP6680730B2 (ja) * 2017-08-08 2020-04-15 ファナック株式会社 制御装置及び学習装置
US10935982B2 (en) * 2017-10-04 2021-03-02 Huawei Technologies Co., Ltd. Method of selection of an action for an object using a neural network
JP6659652B2 (ja) 2017-10-31 2020-03-04 ファナック株式会社 加工条件調整装置及び機械学習装置
JP6626064B2 (ja) 2017-10-31 2019-12-25 ファナック株式会社 試験装置及び機械学習装置
CN109842335B (zh) * 2017-11-24 2021-09-07 宝时得科技（中国）有限公司 电动设备及电机控制装置
CN112055636A (zh) * 2018-01-24 2020-12-08 米沃奇电动工具公司 包括机器学习块的电动工具
JP6680811B2 (ja) 2018-01-26 2020-04-15 ファナック株式会社 加工時間予測装置
JP6940425B2 (ja) * 2018-02-08 2021-09-29 ファナック株式会社 制御装置及び機械学習装置
JP6711854B2 (ja) 2018-02-22 2020-06-17 ファナック株式会社 故障予測装置及び機械学習装置
JP6802208B2 (ja) * 2018-03-23 2020-12-16 ファナック株式会社 熱変位補正システム及び計算機
JP6734318B2 (ja) * 2018-03-23 2020-08-05 ファナック株式会社 駆動装置及び機械学習装置
JP6802213B2 (ja) 2018-04-26 2020-12-16 ファナック株式会社 工具選定装置及び機械学習装置
JP6753893B2 (ja) * 2018-05-16 2020-09-09 ファナック株式会社 熱変位補正装置
US10840840B2 (en) 2018-06-14 2020-11-17 Mitsubishi Electric Corporation Machine learning correction parameter adjustment apparatus and method for use with a motor drive control system
CN112262017B (zh) 2018-06-15 2022-12-13 三菱电机株式会社 工作机械的加工尺寸预测装置、系统及方法、工作机械的设备异常判定装置及记录介质
TWI684080B (zh) * 2018-06-21 2020-02-01 高聖精密機電股份有限公司 智慧型調整系統及其方法
DE112018000172B4 (de) * 2018-07-05 2020-09-24 Mitsubishi Electric Corporation Numerische Steuervorrichtung
JP6890110B2 (ja) * 2018-10-31 2021-06-18 Dmg森精機株式会社 工作機械の熱変位補正方法
JP6799047B2 (ja) 2018-11-19 2020-12-09 ファナック株式会社 暖機運転評価装置、暖機運転評価方法及び暖機運転評価プログラム
JP6940474B2 (ja) * 2018-12-05 2021-09-29 ファナック株式会社 工作機械
JP6599069B1 (ja) * 2018-12-13 2019-10-30 三菱電機株式会社 機械学習装置、加工プログラム生成装置および機械学習方法
JP6959278B2 (ja) * 2019-02-27 2021-11-02 ファナック株式会社 びびり振動判定装置、機械学習装置及びシステム
JP6608102B1 (ja) 2019-03-07 2019-11-20 三菱電機株式会社 機械学習装置、数値制御装置、異常推測装置および工作機械の制御システム
US20200401904A1 (en) * 2019-06-24 2020-12-24 GE Precision Healthcare LLC Adaptive medical imaging device configuration using artificial intelligence
CN111694320B (zh) * 2020-06-10 2021-04-20 大连理工大学 一种虑及颤振抑制的机床自适应控制方法
JPWO2022003833A1 (zh) * 2020-06-30 2022-01-06
JP2022039715A (ja) * 2020-08-28 2022-03-10 キヤノン株式会社 制御装置、インプリント装置および物品製造方法
DE112020007081T5 (de) * 2020-09-28 2023-02-09 Mitsubishi Electric Corporation Numerische Steuerungsvorrichtung und Lernvorrichtung
CN114489167B (zh) * 2021-12-17 2023-04-18 中国船舶重工集团公司第七一九研究所 一种基于监督学习的舰船旋转机械设备前馈振动控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101219521A (zh) * 2006-11-30 2008-07-16 松下电工株式会社 用于整个机床监测的装置
CN101738981A (zh) * 2009-12-04 2010-06-16 清华大学 基于机器学习的机器人磨削方法
CN103823409A (zh) * 2014-02-27 2014-05-28 电子科技大学 数控机床加工状态多参数在线主动监控系统及其实现方法
CN103984287A (zh) * 2014-03-12 2014-08-13 江苏齐航数控机床有限责任公司 一种数控机床热误差补偿灰色神经网络建模方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335843A (ja) * 1993-05-27 1994-12-06 Toyo A Tec Kk 加工監視装置
JP2006288076A (ja) * 2005-03-31 2006-10-19 Toshiba Elevator Co Ltd 制御装置
JP5014391B2 (ja) * 2009-09-11 2012-08-29 ファナック株式会社 複数のセンサの信号に基づいて機械の異常判定を行う機能を備えた数値制御装置
TWI400591B (zh) * 2010-03-12 2013-07-01 Ind Tech Res Inst 具有線上振動偵測調控之工具機
JP5628994B2 (ja) * 2013-01-21 2014-11-19 ファナック株式会社 モータがオーバーヒート温度に達するまでの時間を推定する時間推定手段を有する工作機械の制御装置
JP2014140918A (ja) 2013-01-23 2014-08-07 Hitachi Ltd 切削振動抑止方法、演算制御装置、および工作機械
JP5669986B1 (ja) 2013-12-13 2015-02-18 三菱電機株式会社 数値制御装置および数値制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101219521A (zh) * 2006-11-30 2008-07-16 松下电工株式会社 用于整个机床监测的装置
CN101738981A (zh) * 2009-12-04 2010-06-16 清华大学 基于机器学习的机器人磨削方法
CN103823409A (zh) * 2014-02-27 2014-05-28 电子科技大学 数控机床加工状态多参数在线主动监控系统及其实现方法
CN103984287A (zh) * 2014-03-12 2014-08-13 江苏齐航数控机床有限责任公司 一种数控机床热误差补偿灰色神经网络建模方法

Also Published As

Publication number Publication date
US20170090430A1 (en) 2017-03-30
US10082771B2 (en) 2018-09-25
CN106557069A (zh) 2017-04-05
DE102016011402A1 (de) 2017-03-30
JP2017064837A (ja) 2017-04-06
JP6063016B1 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
CN106557069B (zh) 机械学习装置和方法以及具有该机械学习装置的机床
CN106560751B (zh) 机器学习装置、机器学习方法及具备机器学习装置的机床
CN106557070B (zh) 机器学习装置、电动机控制装置、加工机及机器学习方法
CN108345273B (zh) 数值控制装置及机器学习装置
CN108241342B (zh) 数值控制装置以及机器学习装置
CN107953144A (zh) 学习机床加工程序的设定值的机械学习装置及加工系统
CN108241296A (zh) 学习组装动作的机器学习装置以及部件组装系统
CN107866809A (zh) 学习最优物品把持路径的机器学习装置以及机器学习方法
CN109002012A (zh) 控制装置以及机器学习装置
CN106826812A (zh) 机械学习器及机械学习方法、层叠芯制造装置及系统
US20170031328A1 (en) Controller-equipped machining apparatus having machining time measurement function and on-machine measurement function
CN110315505A (zh) 机器学习装置及方法、机器人控制装置、机器人视觉系统
CN109421071A (zh) 物品堆放装置以及机器学习装置
CN109725606B (zh) 加工条件调整装置以及机器学习装置
CN109960219A (zh) 控制装置以及机器学习装置
CN108227482A (zh) 控制系统以及机器学习装置
CN106552974A (zh) 具有移动轴异常负载警告功能的线放电加工机
US20170090452A1 (en) Machine tool for generating speed distribution
CN110347120A (zh) 控制装置以及机器学习装置
US11897066B2 (en) Simulation apparatus
CN107301489A (zh) 实施生产计划的生产系统
CN108931959A (zh) 控制装置及机械学习装置
CN110171159A (zh) 控制装置以及机器学习装置
CN109794657A (zh) 控制装置以及机器学习装置
CN108427378B (zh) 数值控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant