CN113748597A - 电动机控制装置 - Google Patents

Abstract

具有：电动机状态观测部(1)，其对电动机状态信号进行输出；第一扭矩推定部(21)，其基于电动机状态信号及对象机械(10)的物理模型参数，对第一推定扭矩和物理状态变量进行输出；物理模型存储部(22)，其以减小实际扭矩和第一推定扭矩的差分的方式对物理模型参数进行学习并存储；特征量生成部(3)，其根据第一推定扭矩、物理状态变量及电动机状态信号之中的至少一个而生成特征量；第二扭矩推定部(41)，其使用在输入输出关系包含自回归项的机器学习而根据特征量及机器学习模型参数对机器学习校正量进行计算，与第一推定扭矩相加而将第二推定扭矩进行输出；以及机器学习模型存储部(42)，其以机器学习校正量与实际扭矩和第一推定扭矩的差分接近的方式，通过有教师学习对机器学习模型参数进行学习并存储。

Description

电动机控制装置

技术领域

本发明涉及生成对控制对象进行了模拟的模型的电动机控制装置。

背景技术

针对对以机器人、工作机械等为代表的控制对象的机械进行控制的电动机控制装置，要求高速且高精度的控制方法及故障检测方法。为了提高这些性能，需要对控制对象准确地进行了模拟的模型。但是，在实际的电动机控制装置的动作中，无法忽略控制对象中的配线、末端执行器等的安装质量、重心位置、惯性张量这样的物理模型参数的误差，另外，振动、摩擦等相对于电动机速度还包含大量非线性的成分。因此，难以赋予预先能够将它们高精度地再现的模型。

近年来，提出了用于抑制如上所述的模型中的力及扭矩的推定误差的控制方式。例如，在专利文献1中公开了下述技术，即，电动机的控制装置取得M系列或者正弦波状的指令，以扭矩推定误差成为最小的方式，针对每个采样周期对惯性张量、摩擦系数及弹簧常数进行修正，由此在动作中对物理模型参数的初始值所包含的误差进行修正。

专利文献1：日本特开2013－128387号公报

发明内容

但是，在专利文献1所记载的技术中，假定电动机的控制装置的运动能够通过惯性张量、摩擦及来自弹簧的扭矩而模型化，存在没有作为模型考虑的干扰无法表现这样的问题。另外，关于摩擦的模型也进行了简化，因此存在下述问题，即，不具有针对斯特里贝克效应、迟滞等这样的非线性度强的复杂现象的表现能力。

本发明就是鉴于上述情况而提出的，其目的在于，得到对提高了扭矩推定精度及泛化性能的模型进行学习，能够提高对异常进行检测的速度及精度的电动机控制装置。

为了解决上述的课题，达到目的，本发明是一种电动机控制装置，其对驱动对象机械的电动机进行控制。电动机控制装置具有：电动机状态观测部，其对电动机的状态进行观测，将观测结果作为电动机状态信号而输出；第一扭矩推定部，其基于电动机状态信号及对象机械的物理模型参数，使用运动方程式将作为电动机的扭矩的推定值的第一推定扭矩和作为第一推定扭矩的成分的物理状态变量进行输出；物理模型存储部，其以减小电动机状态信号所包含的实际扭矩和第一推定扭矩的差分的方式对物理模型参数进行学习并存储；以及特征量生成部，其根据第一推定扭矩、物理状态变量及电动机状态信号之中的至少一个而生成特征量并输出。另外，电动机控制装置的特征在于，具有：第二扭矩推定部，其使用在输入输出关系包含自回归项的机器学习，根据特征量及机器学习模型参数对机器学习校正量进行计算，将计算出的机器学习校正量与第一推定扭矩相加而输出第二推定扭矩；以及机器学习模型存储部，其以机器学习校正量与实际扭矩和第一推定扭矩的差分接近的方式通过有教师学习对机器学习模型参数进行学习，对学习后的机器学习模型参数进行存储。

发明的效果

根据本发明，具有下述效果，即，电动机控制装置对提高了扭矩推定精度及泛化性能的模型进行学习，能够提高对异常进行检测的速度及精度。

附图说明

图1是表示电动机控制装置的结构例的框图。

图2是表示由电动机控制装置设为控制对象的对象机械的示意图。

图3是表示由物理模型存储部推定的作为物理模型参数的非线性摩擦模型的例子的图。

图4是表示特征量生成部及机器学习模型计算部的结构例的框图。

图5是在特征量生成部及机器学习模型计算部的结构中表示自回归项的图。

图6是表示电动机控制装置中的物理模型参数及机器学习模型参数的学习流程的流程图。

图7是表示对电动机控制装置的控制对象的对象机械的动作进行表示的电动机速度、由电动机控制装置推定的第一推定扭矩及由电动机控制装置推定的第二推定扭矩的图。

图8是表示将电动机控制装置所具有的处理电路由处理器及存储器构成的情况的例子的图。

图9是表示将电动机控制装置所具有的处理电路由专用的硬件构成的情况的例子的图。

具体实施方式

下面，基于附图对本发明的实施方式所涉及的电动机控制装置详细地进行说明。此外，本发明不受本实施方式限定。

实施方式.

图1是表示本发明的实施方式所涉及的电动机控制装置100的结构例的框图。电动机控制装置100对驱动对象机械10的电动机进行控制。电动机控制装置100具有电动机状态观测部1、物理模型计算部2、特征量生成部3和机器学习模型计算部4。物理模型计算部2具有第一扭矩推定部21和物理模型存储部22。机器学习模型计算部4具有第二扭矩推定部41和机器学习模型存储部42。

对由电动机控制装置100设为控制对象的对象机械10进行说明。图2是表示由本实施方式所涉及的电动机控制装置100设为控制对象的对象机械10的示意图。在这里，作为对象机械10，以水平多关节机器人为例进行说明。作为对象机械10的水平多关节机器人由第1轴11j、第2轴12j、第3轴13j、第4轴14j、第1连杆11l、第2连杆12l、第3连杆13l、第4连杆14l和指尖部15e构成。电动机控制装置100通过搭载于第1轴11j的致动器对第2连杆12l进行驱动，通过搭载于第2轴12j的致动器对第3连杆13l进行驱动，通过搭载于第3轴13j及第4轴14j的致动器对第4连杆14l进行驱动，由此能够对水平多关节机器人的指尖部15e的位置及朝向进行控制。在这里，第3轴13j与第4连杆14l相对于指尖部15e方向的绕轴的旋转运动相对应，第4轴14j与第4连杆14l相对于指尖部15e方向的平移运动相对应。

在本实施方式中，作为对象机械10而例示出水平多关节机器人，但并不限定于此，电动机控制装置100关于由电动机驱动的对象机械10能够广泛地应用。作为对象机械10的例子，进一步举出垂直多关节机器人、NC(Numerical Control)工作机械、安装机等。

电动机状态观测部1对驱动对象机械10的电动机的状态进行观测，将观测结果作为电动机状态信号而输出。具体地说，电动机状态观测部1将与第1轴11j、第2轴12j、第3轴13j、第4轴14j相对应的各致动器的位置、速度、加速度中的至少任一个和作为前述的电动机的扭矩的实际扭矩，作为电动机状态信号而输出。在这里，关于实际扭矩，可以是从直接传感器测量出的值，也可以是从致动器取得的输入电流值的换算值。另外，电动机状态信号并不仅限定于各致动器的位置、速度、加速度及实际扭矩的信号。电动机状态信号可以包含在机器人的各轴或者规定的部位设置的内部传感器或者外部传感器的传感数据，例如各轴的致动器的温度数据、指尖的力觉传感器的取得数据、从红外线传感器、超声波传感器等传感器得到的距离数据、从视觉传感器得到的动态图像数据及对这些数据进行图像处理而得到的特征量数据等的值。

第一扭矩推定部21将电动机状态信号和作为物理模型存储部22的输出的后面记述的物理模型参数作为输入，通过运动方程式对作为前述的电动机的扭矩的实际扭矩的推定值即第一推定扭矩进行计算。即，第一扭矩推定部21基于电动机状态信号及对象机械10的物理模型参数，使用运动方程式对作为电动机的扭矩的推定值的第一推定扭矩进行推定。第一扭矩推定部21将第一推定扭矩和作为第一推定扭矩的成分的物理状态变量进行输出。在物理状态变量，不仅包含惯性项、离心力的项、科里奥利力的项、重力项，在库仑摩擦的项、粘性摩擦的项、臂的振动的项、弹性挠曲的项的基础上，还包含如后面记述的非线性摩擦模型这种为了对第一推定扭矩进行计算而对某种物理现象进行模拟而导入的函数的项。在物理状态变量包含摩擦推定值，由此电动机控制装置100能够将与摩擦模型的不确定度及实际扭矩的摩擦成分对应的摩擦推定值的误差通过后面记述的机器学习模型计算部4进行校正。

在运动方程式中使用的电动机状态信号及物理模型参数各自与各致动器的位置、速度、加速度和各连杆的质量、重心位置、惯性张量相对应。即，在物理模型参数，包含对象机械10的连杆机构中的质量、对象机械10的连杆机构中的重心位置及对象机械10的连杆机构中的惯性张量。由此，电动机控制装置100在利用与对象机械10的已知的机构相关的信息的逆动力学中，能够将系数的质量、重心位置、惯性张量作为物理模型参数进行学习，使第一推定扭矩相对于实际扭矩的推定精度提高。另外，电动机控制装置100是后面记述的机器学习模型计算部4中的校正值相对地变小，能够提高第二推定扭矩的泛化性能。在这里，作为运动方程式，例如能够使用牛顿欧拉法、拉格朗日的运动方程式等。

第一扭矩推定部21使用包含连续且平滑的摩擦模型的运动方程式，该运动方程式将根据电动机状态信号而求出的电动机的速度作为输入，输出扭矩的摩擦成分的推定值。如后面所述机器学习模型计算部4使用神经网络，但神经网络能够计算的是相对于输入而连续的函数，因此希望特征量及向特征量生成部3的输入连续。因此，电动机控制装置100对还包含速度零附近而连续的摩擦模型进行定义，由此关于在物理模型存储部22内没有全部学习的摩擦成分也能够使用神经网络进行学习及校正。

物理模型存储部22将使对象机械10在一定期间动作时的电动机状态信号设为教师数据，以减小电动机状态信号所包含的实际扭矩和第一推定扭矩的差分的方式对物理模型参数进行学习。物理模型存储部22对学习后的物理模型参数进行存储。电动机控制装置100对物理模型参数进行学习，由此对传感器、配线类的安装、加工误差、组装误差等引起的物性的变化进行校正，能够使实际扭矩的推定精度提高。另外，通常，物理模型参数能够根据规格表、CAD(Computer Aided Design)数据等计算大致的值，因此通过将这些值作为学习时的初始值而赋予，从而能够使学习的速度、收敛性等提高。但是，在这些值为未知或者计算困难的情况下，也可以通过任意的常数而初始化。

在物理模型存储部22中的物理模型参数的学习时，使用将上述的运动方程式变形，仅将物理模型参数分离的优决定系统的线性方程式。牛顿的运动方程式、欧拉的运动方程式及拉格朗日的运动方程式在针对位置、速度、加速度而都没有考虑非线性的项的情况下，能够能够由质量、重心位置、惯性张量构成的常数系数和由位置、速度、加速度构成的变量的积的线性结合进行表现。即，如果将相对于实际扭矩的动力学计算的误差设为Δf，则各轴的运动方程式能够使用由质量、重心位置、惯性张量构成的物理模型参数w，及由速度v和加速度a构成的系数矩阵A(v，a)而如式(1)这样通过变量分离的形式记述。

Δf＝A(v，a)w…(1)

由此，物理模型存储部22将式(1)通过最小二乘法针对每个轴关于w而求解，由此能够对各轴的物理模型参数进行计算。另外，物理模型存储部22针对驱动轴串联连接的工业用机器人这样的可能发生轴间干涉的驱动机械，将与各轴的w相关的式(1)汇总为1个线性方程式而同时求解，由此能够得到作为物理模型计算部2整体而更优的解。物理模型存储部22关于物理模型参数w的辨识方法，除了最小二乘法以外可以在正规化最小二乘法、卡尔曼滤波器的基础上，使用贝叶斯推定、遗传算法、神经网络等。

此外，物理模型存储部22在运动方程式中考虑摩擦的影响时，由接下来表示的库仑摩擦及粘性摩擦构成的摩擦模型即线性摩擦模型等由通过速度的函数和摩擦系数的线性结合进行表现的摩擦系数能够分离的式对摩擦进行表现，由此关于摩擦系数也能够与式(1)同样地作为物理模型参数而同时地进行推定。将由物理模型存储部22推定的摩擦系数通过式(2)表示。此外，在通过图像导入的式(2)及后面记述的式(3)中在q_i的上部赋予了点，但无法将其在说明部分进行表现。因此，在说明部分中，将在q_i的上部赋予了点简单标记为q_i。

【式1】

在这里，相对于以速度q_i动作的轴i的摩擦模型F_i，r_FC,i为库仑摩擦系数，r_FV,i为粘性摩擦系数。但是，在以工业用机器人为代表的多轴机构的动作中，粘性摩擦相对于速度不完全地成为线性的关系，特别在致动器的高速动作时，常常确认到比假定为线性的情况下的值小。在这样的情况下，使用与考虑相对于速度的非线性度相比自由度更高的摩擦模型对摩擦进行推定，希望将实际扭矩和第一推定扭矩的差分中的摩擦成分去除，然后对其他物理模型参数进行推定。作为如上所述的摩擦模型即非线性摩擦模型，举出通过式(3)表示的以下所示这种函数为一个例子。

【式2】

在这里，ω_ls是低速动作的边界速度，ω_hs是高速动作的边界速度，r_ST,i是摩擦的饱和系数。将非线性摩擦模型的图形在图3示出。图3是表示由本实施方式所涉及的物理模型存储部22推定的作为物理模型参数的非线性摩擦模型的例子的图。在图3中，横轴表示电动机速度，纵轴表示摩擦。非线性摩擦模型是在库仑摩擦系数r_FC,i及粘性摩擦系数r_FV,i的基础上具有合计4个参数，相对于速度q_i是非线性的函数，因此它们根据实际扭矩和第一推定扭矩的差分使用非线性最小二乘法即Levenberg－Marquardt法而求出。Levenberg－Marquardt法具有初始值依赖性，因此以一次摩擦假定线性度而将库仑摩擦系数r_FC,i及粘性摩擦系数r_FV,i加入物理模型参数w，在通过上述的式(1)计算出各摩擦系数后，能够防止将它们设为初始值而通过初始值依赖性进行的推定的失败。即，物理模型存储部22在物理模型参数的学习中，能够使用最小二乘法、正规化最小二乘法、非线性最小二乘法或者卡尔曼滤波器等。电动机控制装置100使用最小二乘法、非线性最小二乘法、非线性最小二乘法或者卡尔曼滤波器，由此能够根据动作数据而推定对象机械10的运动方程式及状态方程式中的未知的系数。动作数据例如为电动机状态信号所包含的数据。

物理模型存储部22将在这里得到的非线性摩擦模型的系数作为物理模型参数进行存储，将各时刻的非线性摩擦模型的输出追加于物理状态变量。电动机控制装置100将摩擦模型的系数作为物理模型参数由物理模型存储部22存储，由此能够对由历时劣化、异常等引起的粘性摩擦以及库仑摩擦的变化进行检测。物理模型存储部22例如在物理模型参数的学习中，将非线性摩擦模型的系数及其他物理模型参数交替地推定。电动机控制装置100将摩擦模型的系数及其他物理模型参数交替地推定，由此能够将摩擦模型更复杂且详细地设计。另外，电动机控制装置100关于其他物理模型参数的推定也能够通过将摩擦的影响几乎去除的状态而进行，因此能够更高精度地对物理模型参数进行学习。

但是，关于非线性摩擦模型，并不限定于速度的函数，也可以是还依赖于位置、加速度、电动机温度等的多变量函数，非线性摩擦模型的各系数可以通过Gauss－Newton法、最急下降法、扩张卡尔曼滤波器、无香卡尔曼滤波器等进行辨识。另外，作为非线性摩擦模型，可以使用支持向量回归模型、回归树、随机森林、多元自适应回归样条模型、神经网络等基于机器学习算法的模型生成方法，但在后面记述的机器学习模型计算部4中，通过以神经网络为代表的机器学习部411进行第一推定扭矩的校正，因此只要非线性摩擦模型能够仅将着眼于摩擦的静态特性的宏观的影响去除即可，如果作为仅正向地赋予的速度的函数而考虑就足够。

特征量生成部3将第一推定扭矩、物理状态变量和电动机状态信号作为输入，将作为机器学习部411的输入的特征量进行输出。这些特征量生成部3的输入及作为推定对象的实际扭矩是按照时间序列而变化的值。机器学习模型存储部42还需要分别关于时间轴方向的相关性进行考虑，因此作为特征量和过去的一定期间的值都同时地包含的矢量而赋予。另外，在本实施方式设为对象的水平多关节机器人这种多轴机构中，轴间的相互干涉的影响变小，因此希望关于与各个轴相对应的输入的值而设为同时包含的矢量。但是，关于特征量中的扭矩成分，作为实际扭矩和第一推定扭矩的差分而赋予，相对于设为推定对象的实际扭矩仅使用过去的值。

图4是表示本实施方式所涉及的特征量生成部3及机器学习模型计算部4的结构例的框图。在图4中，z是单位延迟运算符，N_d是表示延迟的单位时刻数的大于或等于0的整数。图4所示的单位延迟运算符可以说是特征量生成部3所具有的存储装置。即，特征量生成部3具有能够储存第一推定扭矩、物理状态变量及电动机状态信号的存储装置，可以将从储存于存储装置的第一推定扭矩、物理状态变量及电动机状态信号提取出的量作为特征量而输出。电动机控制装置100将与物理状态变量及电动机状态信号相关的时间序列变化的信息设为输入而包含于特征量，由此机器学习模型计算部4能够更详细地预测对象机械10的动作，因此能够使第二推定扭矩相对于实际扭矩的推定精度提高。

特征量生成部3可以不使用第一推定扭矩、物理状态变量及电动机状态信号全部，而是仅使用一部分而生成特征量并输出。即，特征量生成部3可以根据第一推定扭矩、物理状态变量及电动机状态信号之中的至少一个而生成特征量并输出。

第二扭矩推定部41具有机器学习部411。第二扭矩推定部41将由特征量生成部3生成的特征量、作为第一扭矩推定部21的输出的第一推定扭矩和作为机器学习模型存储部42的输出的机器学习模型参数作为输入，基于使用特征量及机器学习模型参数的机器学习部411的机器学习而对机器学习校正量进行计算。第二扭矩推定部41将在第一推定扭矩加上机器学习校正量得到的值作为第二推定扭矩而输出。

机器学习部411将由特征量生成部3生成的特征量和作为机器学习模型存储部42的输出的机器学习模型参数作为输入，由将机器学习校正量进行输出的神经网络构成以使得第二推定扭矩相对于实际扭矩的误差成为最小。即，输出的机器学习校正量的理想的值与实际扭矩和第一推定扭矩的差分一致，包含在作为输入的特征量产生了延迟的过去的实际扭矩和第一推定扭矩的差分，因此机器学习部411在图5所示这种输入输出关系具有自回归项。

图5是在本实施方式所涉及的特征量生成部3及机器学习模型计算部4的结构中表示自回归项的图。图5是从图4提取出与回归项相关的部分。在这里，机器学习模型参数是指神经网络中的加权矩阵及偏置矢量。另外，作为神经网络的种类，使用在中间层的输入输出关系具有递归构造的递归神经网络、LSTM(Long Short Term Memory)、GRU(GatedRecurrent Unit)这样的被称为递归型的神经网络，在提高相对于如上所述的时间序列数据的预测精度方面也是有效的手段。另外，为了削减学习负荷及计算量，可以取代神经网络而使用多项式模型、多元回归模型、支持向量机回归模型、回归树、随机森林、多元自适应回归样条模型等，在可以忽略轴间的相互干涉等情况下，可以针对每个轴而独立地应用机器学习部411。

但是，在以神经网络为代表的机器学习部411中使用的通用的函数近似模型，通常不适于不连续函数的近似。因此，如果在第一推定扭矩中通过式(2)的线性摩擦模型进行摩擦量的扭矩的近似及校正，则实际扭矩和第一推定扭矩的差分引起不连续的跳变，在输入输出包含这些值，形成自回归项的机器学习部411的机器学习模型参数的学习结果及机器学习校正量的计算结果有可能显著地恶化。并且，在驱动机械的实机中，粘接和打滑交替地引起而发生的粘滑现象、斯特里贝克曲线所表示的与润滑相关的摩擦等造成影响，速度0附近及低速动作时的摩擦的非线性度强，因此将这些模型正向地赋予非常地困难。因此，如式(3)所示的非线性摩擦模型那样，通过使用将速度0附近连续且平滑地连接的摩擦模型，从而第一推定扭矩及特征量的各值分别变得连续，关于上述这样的第一推定扭矩及通过非线性摩擦模型难以再现的摩擦成分，也能够通过加入机器学习校正量而高精度地推定。并且，特征量是同时包含过去的一定期间的速度、非线性摩擦模型的输出等的矢量。因此，机器学习部411关于依赖于摩擦的迟滞特性等之前的状态而变化的推定误差要因也进行学习，能够作为机器学习校正量进行校正。

如上所述，第二扭矩推定部41使用在输入输出关系包含自回归项的机器学习而根据特征量及机器学习模型参数对机器学习校正量进行计算。第二扭矩推定部41将计算出的机器学习校正量与第一推定扭矩相加而将第二推定扭矩进行输出。另外，第二扭矩推定部41，可以作为在输入输出关系包含自回归项的机器学习而使用利用了神经网络的机器学习。电动机控制装置100作为机器学习的方法而利用神经网络，由此能够将难以通过运动方程式上表现的扭矩成分作为非线性多自由度模型进行学习并保存。另外，第二扭矩推定部41在计算机器学习校正量所使用的输入输出关系包含自回归项的机器学习中，可以作为自回归项而使用实际扭矩和第一推定扭矩的差分。实际扭矩和第一推定扭矩的差分是相对于第一推定扭矩的校正量的目标值。校正量的目标值伴随对象机械10的电动机的动作，按照时间序列而变化，因此电动机控制装置100在对下一个时刻的最佳的校正量进行推定时，具有在输入包含过去的校正量的目标值的自回归项，由此能够更高精度地进行推定。

机器学习模型存储部42在物理模型存储部22中的物理模型参数的学习后，将使对象机械10以一定期间动作时的特征量及实际扭矩和第一推定扭矩的差分各自作为输入输出的教师数据，以减小相对于实际扭矩和第一推定扭矩的差分的机器学习校正量的误差的方式对机器学习模型参数进行学习。即，机器学习模型存储部42以机器学习校正量与实际扭矩和第一推定扭矩的差分接近的方式，通过有教师学习对机器学习模型参数进行学习。机器学习模型存储部42对学习后的机器学习模型参数进行存储。学习开始时的机器学习模型参数可以是以任意的常数初始化，但特别是通过神经网络表现的机器学习部411相对于机器学习模型参数即加权矩阵、偏置等具有初始值依赖性。因此，在机器学习部411中，关于加权矩阵，在一样分布、通常的正态分布的基础上，通常以切断正态分布、He的正态分布、Glorot的正态分布等正态分布所涉及的概率分布进行初始化。

另外，机器学习模型存储部42作为学习方法而利用小批量渐变下降法及误差逆传输法，将通过加权矩阵及偏置矢量表示的机器学习模型参数针对每个批次进行更新。即，机器学习模型存储部42可以作为在机器学习模型参数的学习时使用的有教师学习方法而使用误差逆传输法。但是，在教师数据无法以充分的量准备等情况下，机器学习模型存储部42可以取代小批量渐变下降法，而是使用通常的渐变下降法、概率渐变下降法等。另外，机器学习模型存储部42为了使机器学习部411中的神经网络的泛化性能提高，使用将学习时神经元随机排除在外的dropout、针对每个人工智慧训练型样对误差进行监视而提前结束学习的early stopping这样的方法是有效的。机器学习模型存储部42在学习时应用dropout时，需要在机器学习校正量的推断时将dropout概率应用于加权矩阵，因此关于如上所述的超参数也作为机器学习模型参数而追加并保存。

使用流程图对至此为止的物理模型参数及机器学习模型参数的学习流程进行说明。图6是表示本实施方式所涉及的电动机控制装置100中的物理模型参数及机器学习模型参数的学习流程的流程图。物理模型存储部22根据规格表的值对作为各连杆的物理模型参数的质量、重心位置及惯性张量的初始值进行设定(步骤S1)。电动机状态观测部1将作为对象机械10的电动机状态信号的实际扭矩、位置、速度及加速度的时间序列数据，作为教师数据而输出(步骤S2)。

第一扭矩推定部21针对位置、速度及加速度，通过动力学计算对第一推定扭矩进行计算(步骤S3)。第一扭矩推定部21在动力学方程式追加线性摩擦模型的项(步骤S4)。物理模型存储部22在物理模型参数追加库仑摩擦系数及粘性摩擦系数(步骤S5)。物理模型存储部22根据实际扭矩和第一推定扭矩的差分，在线性方程式使用变形的动力学方程式及最小二乘法，对物理模型参数进行辨识(步骤S6)。物理模型存储部22将辨识出的物理模型参数中的库仑摩擦系数及粘性摩擦系数设为初始值，通过Levenberg－Marquardt法对非线性摩擦模型进行辨识，将得到的各系数追加于物理模型参数(步骤S7)。物理模型存储部22针对从实际扭矩将第一推定扭矩及非线性摩擦模型的值减去后的结果，去除摩擦模型的项，在线性方程式使用变形后的动力学方程式及最小二乘法，对摩擦系数以外的物理模型参数进行再次辨识(步骤S8)。第一扭矩推定部21在动力学方程式追加非线性摩擦模型的项，使用学习后的物理模型参数，对第一推定扭矩进行再次计算(步骤S9)。

特征量生成部3将第一推定扭矩、物理状态变量及电动机状态信号设为输入，将它们汇总为同时包含过去的一定期间的值的矢量，作为特征量而输出(步骤S10)。机器学习模型存储部42针对作为机器学习模型参数的加权矩阵及偏置，将加权矩阵通过正态分布初始化，将偏置通过常数初始化(步骤S11)。机器学习模型存储部42作为学习时的条件，对earlystopping、dropout等超参数进行设定，将它们的值向机器学习模型参数追加(步骤S12)。第二扭矩推定部41将输入设为特征量，将输出设为实际扭矩和第一推定扭矩的差分即机器学习校正量的理想值，按照机器学习模型参数中的学习时的条件，通过误差逆传输法对机器学习模型参数的加权矩阵及偏置进行学习(步骤S13)。

在这里，关于第二推定扭矩的泛化性能的提高，如上所述，在事先物理模型存储部22中进行物理模型参数的学习，将相对于第一推定扭矩的机器学习校正量设为自回归项，在机器学习模型存储部42中进行机器学习模型参数的学习的贡献大。其原因在于，电动机控制装置100为了对物理模型参数和机器学习模型参数进行区分，能够将在各个运动方程式中模型化容易的已知的物理现象所引起的扭矩推定误差成分和在运动方程式中模型化困难的扭矩推定误差成分分开而进行学习，机器学习部411的输出即机器学习校正量的绝对值变小。换言之，正向地赋予的扭矩推定误差成分不包含于机器学习校正量，因此电动机控制装置100能够减少机器学习模型参数所包含的参数量，其结果，能够防止机器学习模型存储部42中的学习的过度学习而高速化，并且也能够削减学习所使用的教师数据。

关于与机器学习校正量相关的自回归项也同样地，与构成为将在实际扭矩和物理模型参数使用初始值的运动方程式的计算结果的差分通过机器学习模型计算部4进行学习，设为机器学习校正量，或者，将在物理模型参数使用初始值的运动方程式的计算结果包含于特征量，将第二推定扭矩直接作为机器学习部411的输出而对机器学习模型参数进行学习相比，机器学习校正量的绝对值变小，能够抑制神经网络等的扭矩推定误差范围。并且，作为使用自回归项的优点，举出依赖于电动机特性的齿槽扭矩、扭矩脉动、齿轮间的扭矩传递中的反向间隙的影响等，容易对在难以在运动方程式的式中赋予的时间轴方向周期性地变化的推定误差要因进行学习等。实际上，将对物理模型参数进行学习后的第一推定扭矩以及根据实际扭矩和第一推定扭矩的差分对机器学习模型参数进行学习后的第二推定扭矩在图7示出。图7是表示本实施方式所涉及的电动机控制装置100的控制对象的对象机械10的动作的电动机速度，通过电动机控制装置100推定的第一推定扭矩及通过电动机控制装置100推定的第二推定扭矩的图。在各项目中，横轴表示时间。如图7所示，第二推定扭矩与第一推定扭矩相比与实际扭矩近似。

另外，在机器学习部411使用神经网络的情况下，不明确特征量所包含的哪个参数对机器学习校正量造成何种程度的影响，非常难以根据机器学习模型参数的变化对对象机械10的物性的变化进行推测。但是，在物理模型参数的学习中能够直接确认这些物性的各值，在本实施方式中，电动机控制装置100将物理模型参数和机器学习模型参数进行区分而学习，因此可以说是适合于异常检测的结构。

作为使用进行了学习后的物理模型计算部2及机器学习模型计算部4的异常检测的例子，主要考虑对实际扭矩和第二推定扭矩的差分进行监视的方法。电动机控制装置100对实际扭矩和第二推定扭矩的差分进行监视，由此观测值大致集中于0周围，绝对值直接视作实际扭矩的异常度。作为具体的异常检测方法，可以是根据实际扭矩和第二推定扭矩的差分的绝对值是否超过预先设定的阈值而进行检测的单纯方法，除此以外，也可以是作为将特征量及实际扭矩和第二推定扭矩的差分设为输入的正常、异常这2个类分类问题，准备进行了附带标签的教师数据，使用逻辑回归、支持向量机、决定树、神经网络等进行判别。

电动机控制装置100在不易将教师数据异常的动作数据汇集的情况下，可以针对使用SMOTE(Synthetic Minority Over－sampling TEchnique)、ADASYN(ADAptiveSYNthetic)等取得的异常的动作数据进行过采样，通过K－means法、自组织化对应图等无教师学习通过正常、异常区分而以2类进行分类。另外，在电动机控制装置100中，并不限定于类数及簇数正常、异常这2个，也可以与异常度的程度相匹配而更细地阶段性地设定，也可以将实际扭矩和第二推定扭矩的差分的绝对值以外的异常度任意地设定。

关于图1的虚线所示的物理模型存储部22中的物理模型参数及机器学习模型存储部42中的机器学习模型参数的学习的定时，如果设想以故障检测为目的的用途，则希望在出厂阶段的试验运转时等作为电动机控制装置100劣化程度的比较对象而在成为理想状态的环境下执行。但是，以水平多关节机器人为代表的工业用机器人大多是在指尖安装力觉传感器、末端执行器等，在该情况下各连杆的质量、重心位置、惯性张量这样的物性也会变化，因此需要在各状态重新学习物理模型参数及机器学习模型参数。

但是，通常在安装传感器、末端执行器等时，产生通过机器人控制器等对向这些物理模型参数的影响进行设定的工作量，与此相对，在本实施方式中，在物理模型存储部22中，根据使对象机械10一定期间动作时的电动机状态信号对它们进行学习，由此关于该设定的过程也能够自动化。另外，物理模型参数的值被正确地设定，由此还具有循环时间、轨迹偏差、碰撞时的按压力等减小这样的优点，是在位置控制、速度控制等的基础上，也能够应用于力控制、阻抗控制的高速化、高精度化的技术，上述方法的用途并不限定于异常检测。

接下来，对电动机控制装置100的硬件结构进行说明。在电动机控制装置100中，电动机状态观测部1、物理模型计算部2、特征量生成部3及机器学习模型计算部4通过处理电路实现。处理电路可以是执行在存储器中储存的程序的处理器及存储器，也可以是专用的硬件。

图8是表示将本实施方式所涉及的电动机控制装置100所具有的处理电路由处理器及存储器构成的情况下的例子的图。在处理电路由处理器91及存储器92构成的情况下，电动机控制装置100的处理电路的各功能通过软件、固件或者软件和固件的组合而实现。软件或者固件作为程序被记述，储存于存储器92。在处理电路中，将在存储器92中存储的程序由处理器91读出而执行，由此实现各功能。即，处理电路具有存储器92，该存储器92用于对电动机控制装置100的处理最终得以执行的程序进行储存。另外，这些程序可以说是使计算机执行电动机控制装置100的顺序及方法。

在这里，处理器91可以是CPU(Central Processing Unit)、处理装置、运算装置、微处理器、微型计算机或者DSP(Digital Signal Processor)等。另外，存储器92例如是RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable ProgrammableROM)、EEPROM(注册商标)(Electrically EPROM)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘、或者DVD(Digital Versatile Disc)等。

图9是表示将本实施方式所涉及的电动机控制装置100所具有的处理电路由专用的硬件构成的情况下的例子的图。在处理电路由专用的硬件构成的情况下，图9所示的处理电路93例如为单一电路、复合电路、被程序化的处理器、被并行程序化的处理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)或者它们的组合。可以将电动机控制装置100的各功能按照功能类别而由处理电路93实现，也可以将各功能汇总而由处理电路93实现。

此外，关于电动机控制装置100的各功能，可以将一部分由专用的硬件实现，将一部分由软件或者固件实现。如上所述，处理电路能够通过专用的硬件、软件、固件或者它们的组合而实现上述的各功能。

如以上说明所述，在本实施方式中，将电动机控制装置100的模型通过物理模型计算部2和机器学习模型计算部4的组合表现，该物理模型计算部2利用对象机械10的力学物性和运动方程式上正向地赋予的物理现象的信息而进行扭矩的推定，该机器学习模型计算部4将包含针对物理模型计算部2的推定扭矩的校正量而作为自回归项，进行在运动方程式上难以表现的非线性度强的扭矩成分的推定。电动机控制装置100依次对它们进行学习，由此能够根据少量的动作数据而高速地对针对实际扭矩的扭矩推定精度及泛化性能高的对象机械10的模型进行学习。另外，电动机控制装置100将实际扭矩和扭矩推定值进行比较，即，将实机和学习后的模型进行比较，由此关于轻微的异常也能够进行检测。

即，电动机控制装置100将物理模型参数和机器学习模型参数依次进行学习，由此将各个对象机械10的力学物性、在运动方程式上正向地赋予的物理现象的扭矩成分和在运动方程式上难以表现的非线性度强的扭矩成分进行区分而学习，能够进行推定。由此，电动机控制装置100缩短学习整体所花费的时间，通过物理模型参数的学习而减小机器学习校正量的绝对值，因此能够使针对实际扭矩的第二推定扭矩的泛化性能提高。另外，电动机控制装置100在第二扭矩推定部41中，能够通过输入输出关系的自回归项而高效地学习时间轴方向的特征量间的相关性，由此能够使第二推定扭矩的推定精度提高。

此外，在本实施方式中，将水平多关节机器人设为控制对象，但电动机控制装置100能够与机械的轴数、关节的直动、旋转的机构无关地应用，因此也能够应用于垂直多关节机器人、NC工作机械、安装机等。

以上的实施方式所示的结构，表示本发明的内容的一个例子，也能够与其他公知技术进行组合，在不脱离本发明的主旨的范围，也能够对结构的一部分进行省略、变更。

标号的说明

1电动机状态观测部，2物理模型计算部，3特征量生成部，4机器学习模型计算部，10对象机械，11l第1连杆，11j第1轴，12l第2连杆，12j第2轴，13l第3连杆，13j第3轴，14l第4连杆，14j第4轴，15e指尖部，21第一扭矩推定部，22物理模型存储部，41第二扭矩推定部，42机器学习模型存储部，100电动机控制装置，411机器学习部。

Claims (10)

1.一种电动机控制装置，其对驱动对象机械的电动机进行控制，

该电动机控制装置的特征在于，具有：

电动机状态观测部，其对所述电动机的状态进行观测，并将观测结果作为电动机状态信号而输出；

第一扭矩推定部，其基于所述电动机状态信号及所述对象机械的物理模型参数，使用运动方程式将作为所述电动机的扭矩的推定值的第一推定扭矩、和作为所述第一推定扭矩的成分的物理状态变量进行输出；

物理模型存储部，其以减小所述电动机状态信号所包含的实际扭矩和所述第一推定扭矩的差分的方式，对所述物理模型参数进行学习并存储；

特征量生成部，其根据所述第一推定扭矩、所述物理状态变量及所述电动机状态信号之中的至少一个而生成特征量并输出；

第二扭矩推定部，其使用在输入输出关系包含自回归项的机器学习，根据所述特征量及机器学习模型参数对机器学习校正量进行计算，将计算出的所述机器学习校正量与所述第一推定扭矩相加而输出第二推定扭矩；以及

机器学习模型存储部，其以所述机器学习校正量与所述实际扭矩和所述第一推定扭矩的差分接近的方式，通过有教师学习对所述机器学习模型参数进行学习，对学习后的所述机器学习模型参数进行存储。

2.根据权利要求1所述的电动机控制装置，其特征在于，

所述第二扭矩推定部，作为在输入输出关系包含自回归项的机器学习而使用利用了神经网络的机器学习，

所述机器学习模型存储部，作为在所述机器学习模型参数的学习时使用的有教师学习方法而使用误差逆传输法。

3.根据权利要求2所述的电动机控制装置，其特征在于，

所述第二扭矩推定部在对所述机器学习校正量进行计算时使用的输入输出关系包含自回归项的机器学习中，作为自回归项而使用所述实际扭矩和所述第一推定扭矩的差分。

4.根据权利要求1至3中任一项所述的电动机控制装置，其特征在于，

所述特征量生成部具有能够对所述第一推定扭矩、所述物理状态变量及所述电动机状态信号进行储存的存储装置，将从在所述存储装置中储存的所述第一推定扭矩、所述物理状态变量及所述电动机状态信号提取出的量作为特征量而输出。

5.根据权利要求1至4中任一项所述的电动机控制装置，其特征在于，

在所述物理模型参数包含所述对象机械的连杆机构中的质量、所述对象机械的连杆机构中的重心位置、及所述对象机械的连杆机构中的惯性张量。

6.根据权利要求1至5中任一项所述的电动机控制装置，其特征在于，

所述第一扭矩推定部使用包含连续且平滑的摩擦模型的运动方程式，该运动方程式将通过所述电动机状态信号而求出的所述电动机的速度作为输入，输出扭矩的摩擦成分的推定值。

7.根据权利要求6所述的电动机控制装置，其特征在于，

所述物理模型存储部将所述摩擦模型的系数作为所述物理模型参数而进行学习并存储。

8.根据权利要求7所述的电动机控制装置，其特征在于，

在所述物理状态变量包含所述摩擦模型。

9.根据权利要求8所述的电动机控制装置，其特征在于，

所述物理模型存储部在所述物理模型参数的学习中，将所述摩擦模型的系数及其他所述物理模型参数交替地推定。

10.根据权利要求9所述的电动机控制装置，其特征在于，

所述物理模型存储部在所述物理模型参数的学习中，使用最小二乘法、正规化最小二乘法、非线性最小二乘法或者卡尔曼滤波器。

Images