CN109129462A

CN109129462A - 学习装置、控制装置以及控制系统

Info

Publication number: CN109129462A
Application number: CN201810616200.8A
Authority: CN
Inventors: 酒井保
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-06-15
Filing date: 2018-06-14
Publication date: 2019-01-04
Anticipated expiration: 2038-06-14
Also published as: US20180361576A1; US10730183B2; DE102018113656A1; DE102018113656B4; CN109129462B; JP6577527B2; JP2019000942A

Abstract

本发明提供一种学习装置、控制装置以及控制系统。控制装置具有：状态观测部，其取得机器人的当前状态来作为状态变量；标签数据取得部，其取得力传感器的检测值来作为标签，力传感器被安装在机械臂，用于检测在按压力的控制中所需要的数据；以及学习部，其生成用于表示在无负载状态下取得的状态变量与在无负载状态下取得的状态变量下取得的标签之间的相关关系的学习模型，并根据学习模型来推定与机器人的当前状态相对应的力传感器的检测值。控制装置使用在负载状态下取得的机器人的当前状态下取得的力传感器的检测值以及学习部根据在负载状态下取得的机器人的当前状态而推定出的力传感器的检测值，来进行按压力的控制。

Description

学习装置、控制装置以及控制系统

技术领域

本发明涉及学习装置、控制装置以及控制系统，特别是涉及一种消除工具的动作噪声从而能够精细地控制按压力的学习装置、控制装置以及控制系统。

背景技术

已知一种进行工件的去毛刺、研磨等的机器人。这样的机器人在机械臂前端具备用于进行加工的工具和力传感器，使用力传感器的检测值恒定地控制工具的按压力。但是，由于工具的动作噪声的影响，有时无法精细地控制工具的按压力。即，当振动等噪声比按压力大时，力传感器无法检测按压力，从而无法判断工具是否与工件接触。因此，以往的机器人无法通过力传感器无法检测的微小的力来按压工具，只能用比真正想要按压的力更大的力进行按压。假设当想要通过橡胶、弹簧等来吸收动作噪声时，也无法同时进行按压力的控制。由于这样的理由，以往难以去除微小的毛刺等。

关于这一点，在日本特开平7-319558号公报中记载了以下情况：将机械的动作信息作为输入数据，将伴随无负载状态的机械的动作而产生的干扰(由于装置的姿势引起的对于力传感器施加的重力成分的变化、与装置动作相伴的惯性力等)作为训练数据来进行机器学习；以及在负载状态的机械的动作时根据动作信息来推定干扰，通过将实际得到的力传感器的检测值减去干扰推定值来推定实际的外力。

然而，对于机械的动作噪声造成影响的因素不一定仅是重力成分、惯性力，特别是在去毛刺、研磨等作业中需要考虑振动或旋转工具特有的动作噪声。另外，在进行某种动作的情况下机器人可采取的姿势存在多个，即关节轴的角度组合存在多个，但是存在机械的动作噪声还因上述姿势而发生变化的问题。

发明内容

本发明是为了解决这样的问题点而作出的，其目的在于提供一种消除工具的动作噪声从而能够精细地控制按压力的学习装置、控制装置以及控制系统。

本发明的一实施方式的控制装置对在机器人的机械臂前端安装的工具的按压力进行控制来加工工件，该控制装置特征为具有：状态观测部，其取得上述机器人的当前状态来作为状态变量；标签数据取得部，其取得力传感器的检测值来作为标签，该力传感器被安装在上述机械臂，用于检测在上述按压力的控制中所需要的数据；以及学习部，其生成用于表示在无负载状态下取得的上述状态变量与在无负载状态下取得的上述状态变量下取得的上述标签之间的相关关系的学习模型，并根据上述学习模型来推定与上述机器人的当前状态相对应的上述力传感器的检测值，使用在负载状态下取得的上述机器人的当前状态下取得的上述力传感器的检测值以及上述学习部根据在负载状态下取得的上述机器人的当前状态而推定出的上述力传感器的检测值，来进行上述按压力的控制。

本发明的一实施方式的控制装置的特征为，上述力传感器的检测值是作用于上述力传感器的力和作用于上述力传感器的振动频率中的至少任意一方。

本发明的一实施方式的控制装置的特征为，上述机器人的当前状态包含上述机器人的动作方向、速度、加速度、加加速度、姿势、上述工具的驱动部的转速、振动频率中的至少任意一个。

本发明的一实施方式的控制装置的特征为，上述机器人进行上述工件的去毛刺加工和研磨加工中的至少任意一方。

本发明的一实施方式的控制系统的特征为具有：机器人，其通过安装在机械臂前端的工具的按压力来加工工件；以及控制装置，其控制上述机器人的动作，上述控制装置具有：状态观测部，其取得上述机器人的当前状态来作为状态变量；标签数据取得部，其取得力传感器的检测值来作为标签，该力传感器被安装在上述机械臂，用于检测在上述按压力的控制中所需要的数据；以及学习部，其生成用于表示在无负载状态下取得的上述状态变量与在无负载状态下取得的上述状态变量下取得的上述标签之间的相关关系的学习模型，并根据上述学习模型来推定与上述机器人的当前状态相对应的上述力传感器的检测值，使用在负载状态下取得的上述机器人的当前状态下取得的上述力传感器的检测值以及上述学习部根据在负载状态下取得的上述机器人的当前状态而推定出的上述力传感器的检测值，来进行上述按压力的控制。

本发明的一实施方式的学习装置的特征为具有：状态观测部，其取得机器人的当前状态来作为状态变量；标签数据取得部，其取得力传感器的检测值来作为标签，该力传感器被安装在上述机器人的机械臂，用于检测在安装在上述机械臂的前端的工具的按压力的控制中所需要的数据；以及学习部，其生成用于表示在无负载状态下取得的上述状态变量与在无负载状态下取得的上述状态变量下取得的上述标签之间的相关关系的学习模型，并根据上述学习模型来推定与上述机器人的当前状态相对应的上述力传感器的检测值。

根据本发明，能够提供一种消除工具的动作噪声从而能够精细地控制按压力的学习装置、控制装置以及控制系统。

附图说明

通过参照附图对以下的实施方式进行说明，本发明的目的、特征以及优点更加明确。在这些图中：

图1是控制系统的概要功能框图。

图2是控制装置的概要功能框图。

图3是表示控制装置的一个方式的概要功能框图。

图4A说明神经元。

图4B说明神经网络。

具体实施方式

以下，使用附图说明本发明的实施方式。首先，使用图1说明本发明的第一实施方式的控制系统100的结构。控制系统100包括机器人1、控制机器人1的控制装置10。控制装置10包含学习装置20。

图2是表示实施方式1的控制装置10的概要结构的功能框图。控制装置10为典型的控制机器人1的动作的机器人控制器。控制装置10包含：预处理部12，其取得输入数据来执行预处理；以及学习装置20，其包含用于通过所谓的机器学习自己进行学习的软件(学习算法等)和硬件(计算机的CPU等)。

控制装置10解释动作程序来控制机器人1。在机器人1的机械臂的前端安装了力传感器和工具。工具例如为磨砂机、偏心旋转的抛光机、研磨机(Leutor)以及振动锉等，驱动部通过在动作程序等中指定的振动频率或转速来驱动工具。力传感器检测在工具与工件之间作用的力，特别是检测由于工具的动作而产生的力、振动频率等。在力传感器检测出的力中，除了包含通过将工具按压工件而产生的按压力以外，还包含由于旋转、振动这样的工具的动作本身而产生的力。

学习装置20通过机器学习来生成模型结构，该模型结构表示机器人1的状态(动作方向、速度、加速度、加加速度、姿势等)以及在机器人1安装的工具的驱动部的状态(转速、振动频率等)与此时的力传感器的检测值(力、振动频率等)的相关性。即，学习装置20具备：状态观测部22，其观测表示机器人1和驱动部的当前状态的状态变量S；标签数据取得部24，其取得表示力传感器的检测值的标签数据L；以及学习部26，其将状态变量S与标签数据L关联起来进行学习。

预处理部12例如能够构成为机器人控制器的CPU的一个功能。或者，状态观测部22例如能够构成为用于使机器人控制器的CPU发挥功能的软件。预处理部12对于从机器人1的动作程序得到的数据、从机器人1或者驱动部得到的表示它们的当前状态的数据、从安装在机器人1中的力传感器得到的数据等进行预处理，将预处理后的数据输出到状态观测部22、标签数据取得部24。关于预处理部12进行的预处理，例如可举出采样数据的数据数量的调整。在此所说的采样数据的数据数量的调整是组合了数据数量的削减以及数据数量的增加的处理，数据数量的削减是通过移动平均、数据的剔除或者部分提取而进行的，数据数量的增加是通过中间点内插或固定值追加而进行的。也可以对于预处理部12进行的预处理组合针对一般的标准化等归一化(Scaling)的处理。

在学习阶段，控制装置10在加工工件前等在无负载状态下使机器人1进行动作，预处理部12以预定的采样周期取得采样数据。在学习结果的利用阶段，控制装置10在加工工件的过程中在负载状态下使机器人1进行动作，预处理部12以预定的采样周期取得采样数据。无论在哪个阶段，预处理部12均具有以下作用：调整采样数据的数据数量来传送到状态观测部22、标签数据取得部24，由此对于动作设定的多样性，维持并提高学习装置20的机器学习的精度。

状态观测部22例如能够构成为机器人控制器的CPU的一个功能。或者，状态观测部22例如能够构成为用于使机器人控制器的CPU发挥功能的软件。预处理部12可以将机器人1的动作方向、速度、加速度、加加速度、姿势、在机器人1中安装的工具的驱动部的状态转速、振动频率等瞬间值直接作为状态变量S输出到状态观测部22。或者，预处理部12可以将进行了数据数量等的调整的预处理后的数据作为状态变量S输出到状态观测部22。例如，作为从机器人1的动作程序得到的数据、从机器人1和驱动部直接得到的数据以及利用这些数据或者对这些数据进行变换而得到的数据，能够取得机器人1的动作方向、速度、加速度、加加速度、姿势、在机器人1中安装的工具的驱动部的状态转速、振动频率等。此外，机器人1的动作方向、速度、加速度、加加速度通常为机器人1的前端的动作方向、速度、加速度、加加速度。另外，例如，作为机械臂的关节轴的角度的组合，能够取得表示机器人1的姿势的数据。

标签数据取得部24例如能够构成为机器人控制器的CPU的一个功能。或者，标签数据取得部24例如能够构成为用于使机器人控制器的CPU发挥功能的软件。标签数据取得部24取得的标签数据L例如是从机器人1的前端安装的力传感器取得的力以及振动频率，或者由预处理部12对这些数据进行了预处理后的数据。即，简而言之，标签数据L是表示在状态变量S下由力传感器检测出的力和振动频率的数据。

在学习装置20的学习阶段，在机器人1的无负载状态下执行动作，检测在此期间的机器人1和驱动部的状态以及通过力传感器检测力和振动频率。

学习部26例如能够构成为机器人控制器的CPU的一个功能。或者，学习部26例如能够构成为用于使机器人控制器的CPU发挥功能的软件。学习部26按照被总称为机器学习的任意的学习算法，学习表示机器人1和驱动部的当前状态的状态变量S与表示力传感器的检测值的标签数据L之间的关系。在机器人1进行多个动作的期间，学习部26能够基于包含上述状态变量S和标签数据L的数据集合重复执行上述学习。此时，优选使机器人1以多个动作模式进行动作，使得网罗各种姿势、转速、振动频率等的组合。

通过反复进行这样的学习循环，学习部26能够自动地识别特征，该特征暗示了表示机器人1和驱动部的当前状态的状态变量S与表示力传感器的检测值的标签数据L之间的相关性。在学习算法的开始时，状态变量S与标签数据L之间的相关性实质上是未知的，但是，学习部26随着推进学习逐渐识别出特征来解释相关性。当把状态变量S与标签数据L之间的相关性解释到以某种程度能够信赖的水准时，针对当前的机器人1和驱动部的当前状态，能够将学习部26反复输出的学习结果用于推定力传感器的检测值。

状态变量S由不易受到干扰影响的数据构成，并且，唯一地求出标签数据L。因此，根据控制装置10所具备的学习装置20，通过使用学习部26的学习结果，能够自动且正确地推定与机器人1和驱动部的当前状态相对应的力传感器的检测值。

如果能够自动且正确地推定在无负载状态下的力传感器的检测值，则通过从负载状态下实际测量的力传感器的检测值减去无负载状态下的力传感器的检测值的推定，能够仅计算随着加工而产生的力、振动频率。即，在去毛刺、研磨等加工工件时，预处理部12和状态观测部22与学习阶段同样地取得机器人1的状态(动作方向、速度、加速度、加加速度、姿势等)以及安装在机器人1中的工具的驱动部的状态(转速、振动频率等)来作为状态变量S。学习部26将状态变量S输入到已学习模型中，输出在状态变量S下的力传感器的推定值。另一方面，控制装置10取得力传感器的当前的检测值(力、振动频率等)。然后，控制装置10从力传感器的当前的检测值减去学习部26输出的推定值。这样得到的数据成为仅表示由于去毛刺、研磨等工件加工而产生的力、振动频率的数据。

例如，控制装置10能够执行上述处理来作为周期控制。即，学习部26以固定的周期来计算力传感器的输出的推定值。如果取得了力传感器的当前的检测值，则控制装置10使用在前一个周期中计算出的力传感器的输出的推定值来计算由于加工而产生的力、振动频率。根据该方法，用于消除噪声的推定值为前一周期的值，但是因为考虑噪声与机器人1、驱动部的状态变化相应地大致线性地变化，所以实际上不会产生大的误差。

或者，控制装置10在反复多次进行相同的动作来进行加工时，还能够进行没有上述的周期偏差的控制。在该情况下，机器人1和驱动部的动作模式为固定，因此，学习部26在学习阶段进行对于在加工中使用的机器人1以及驱动部的动作模式专门化的学习。而且，控制装置10在使用学习结果的阶段，从开始加工的阶段使用学习结果进行消除噪声的处理。

这样，根据本实施方式，学习装置20构筑表示无负载状态下的机器人1以及驱动部的当前状态与力传感器的检测值之间的相关的学习模型。另外，学习装置20根据已学习模型来推定与机器人1和驱动部的当前状态对应的无负载状态下的力传感器的检测值。而且，控制装置10通过从加工时的力传感器的检测值减去无负载状态下的力传感器的检测推定值，仅检测伴随加工而产生的力。由此，能够消除工具的动作噪声从而检测伴随去毛刺、研磨这样的加工而产生的较小的力，因此能够进行精细的加工。特别是工具的动作噪声不仅根据机器人1的动作(朝向、速度、加速度、加加速度等)进行变动，还根据驱动部的振动频率或者转速、机器人1的机械臂的姿势等发生大的变动。根据本实施方式，能够去除由于这些原因引起的动作噪声，因此，特别是在去毛刺、研磨等加工中有用。

作为控制装置10所具备的学习装置20的一个变形例，学习部26能够使用针对具有相同结构的多个机器人1分别得到的状态变量S和标签数据L，学习针对这些机器人1各自的动作状态的力传感器的检测值。通过该结构，能够使包含以一定时间得到的状态变量S和标签数据L的数据集合的量增加，因此将更多样的数据集合作为输入，针对注射成形机的动作状态，能够提高该注射成形机的异常状态的学习速度和可靠性。

在具有上述结构的学习装置20中，学习部26执行的学习算法并没有特别的限定，能够采用作为机器学习而公知的学习算法。图3是图2所示的控制装置10的一个方式，表示了具备作为学习算法的一例执行监督学习的学习部26的结构。监督学习是如下的方法：预先大量赋予输入以及与该输入对应的输出的既有数据集(称为训练数据)，从这些训练数据中识别出暗示输入与输出之间的相关性的特征，由此来学习用于推定与新的输入相对的所需要的输出的相关性模型(在本申请的学习装置20中，针对机器人1和驱动部的当前状态的力传感器的检测值)。

在图3所示的控制装置10所具备的学习装置20中，学习部26具备：误差计算部32，其计算根据状态变量S来导出力传感器的检测值的相关性模型M与从预先准备的训练数据T中识别出的相关性特征之间的误差E；以及模型更新部34，其更新相关性模型M从而缩小误差E。通过模型更新部34反复进行相关性模型M的更新，学习部26学习与机器人1和驱动部的当前状态相对的力传感器的检测值。

相关性模型M能够通过回归分析、强化学习、深度学习等来构建。将相关性模型M的初始值例如设为表现状态变量S与力传感器的检测值之间的简化的相关性，在开始进行监督学习之前提供给学习部26。训练数据T例如能够由通过记录针对过去的机器人1和驱动部的当前状态的力传感器的检测值而积累的经验值(机器人1和驱动部的当前状态与力传感器的检测值的既有数据集)构成，在开始监督学习之前向学习部26赋予该训练数据T。误差计算部32从向学习部26赋予的大量的训练数据T中识别相关性特征，该相关性特征暗示针对机器人1和驱动部的当前状态的力传感器的检测值的相关性，求出该相关性特征与当前状态的状态变量S所对应的相关性模型M之间的误差E。模型更新部34例如按着预定的更新规则，向着误差E变小的方向更新相关性模型M。

在下一个学习循环中，误差计算部32使用按照更新后的相关性模型M来执行机器人1的动作而得到的状态变量S和标签数据L，对于与这些状态变量S以及标签数据L对应的相关性模型M求出误差E，模型更新部34再次更新相关性模型M。如此，未知的环境的当前状态(机器人1和驱动部的当前状态)与针对该当前状态的状态判定(力传感器的检测值的判定)之间的相关性逐渐变得清楚。即，通过相关性模型M的更新，机器人1以及驱动部的当前状态与力传感器的检测值之间关系逐渐接近最佳解。

在进行上述的监督学习时，例如能够使用神经网络。图4A示意性地表示神经元的模型。图4B示意性地表示将图4A所示的神经元进行组合而构成的三层神经网络的模型。神经网络例如能够由模拟神经元模型的运算装置、存储装置等构成。

图4A所示的神经元输出与多个输入x(在此，作为一例，输入x₁～输入x₃)相对的结果y。对各个输入x₁～x₃乘以与该输入x对应的权重w(w₁～w₃)。由此，神经元输出通过以下的式2表现的输出y。此外，在式2中，输入x、输出y以及权重w全部为矢量。另外，θ为偏置，fk为激活函数。

[式2]

在图4B所示的三层神经网络中，从左侧输入多个输入x(在此作为一例，输入x₁～输入x₃)，从右侧输出结果y(在此作为一例，结果y₁～结果y₃)。在图示的例子中，对各个输入x1、x2、x3乘以对应的权重(总称为w1)，将各个输入x1、x2、x3均输入到三个神经元N11、N12、N13。

在图4B中，将神经元N11～N13各自的输出总称为z1来表示。z1能够被视为提取了输入矢量的特征量而得到的特征矢量。在图示的例子中，对各个特征矢量z1乘以对应的权重(总称为w2)，将各个特征矢量z1均输入到两个神经元N21、N22。特征矢量z1表示权重w1与权重w2之间的特征。

在图4B中，将神经元N21～N22各自的输出总称为z2来表示。z2能够被视为提取了特征矢量z1的特征量而得到的特征矢量。在图示的例子中，对各个特征矢量z2乘以对应的权重(总称为w3)，将各个特征矢量z2均输入到三个神经元N31、N32、N33。特征矢量z2表示权重w2与权重w3之间的特征。最后，神经元N31～N33分别输出结果y1～y3。

在控制装置10所具备的学习装置20中，将状态变量S作为输入x，学习部26按照上述神经网络进行多层结构的运算，由此能够输出力传感器的检测值(结果y)。此外，神经网络的动作模式中存在学习模式和判定模式，例如能够在学习模式下使用学习数据集来学习权重W，并在判定模式下使用已学习的权重W进行力传感器的检测值的判定。此外，在判定模式下，还能够进行检测、分类、推论等。

关于上述控制装置10的结构，能够记述为由计算机的CPU执行的机器学习方法(或者软件)。该机器学习方法用于学习针对机器人1和驱动部的当前状态的力传感器的检测值，该方法具有以下步骤：作为表示机器人1和驱动部的当前状态的状态变量S由计算机的CPU进行观测；取得表示力传感器的检测值的标签数据L；以及使用状态变量S和标签数据L，将机器人1和驱动部的当前状态与力传感器的检测值关联起来进行学习。

以上，说明了本发明的实施方式，但是本发明并不仅限于上述实施方式的例子，通过施加适当的变更，能够以各种方式来实施。

例如，由学习装置20执行的学习算法、由控制装置10执行的控制算法等并不限于上述的算法，能够采用各种算法。

另外，在上述实施方式中，设为在控制装置10上设置了预处理部12的结构，但是也可以将预处理部12设置在机器人1上。此时，关于预处理，可以由控制装置10和机器人1中的任意一方执行或者可以由双方执行，也可以考虑处理能力和通信速度来恰当地设定进行处理的场所。

另外，在上述实施方式中状态变量S、标签数据L只不过是示例。作为状态变量S，能够仅使用上述数据的一部分，还能够使用表示机器人1和驱动装置的当前状态的其他数据。另外，作为标签数据，能够仅使用上述数据的一部分，还能够使用力传感器能够输出的其他数据。

Claims

1.一种控制装置，其控制在机器人的机械臂的前端安装的工具的按压力来加工工件，其特征在于，具有：

状态观测部，其取得上述机器人的当前状态来作为状态变量；

标签数据取得部，其取得力传感器的检测值来作为标签，该力传感器被安装在上述机械臂，用于检测在上述按压力的控制中所需要的数据；以及

学习部，其生成用于表示在无负载状态下取得的上述状态变量与在无负载状态下取得的上述状态变量下取得的上述标签之间的相关关系的学习模型，并根据上述学习模型来推定与上述机器人的当前状态相对应的上述力传感器的检测值，

使用在负载状态下取得的上述机器人的当前状态下取得的上述力传感器的检测值以及上述学习部根据在负载状态下取得的上述机器人的当前状态而推定出的上述力传感器的检测值，来进行上述按压力的控制。

2.根据权利要求1所述的控制装置，其特征在于，

上述力传感器的检测值是作用于上述力传感器的力和作用于上述力传感器的振动频率中的至少任意一方。

3.根据权利要求1所述的控制装置，其特征在于，

上述机器人的当前状态包含上述机器人的动作方向、速度、加速度、加加速度、姿势、上述工具的驱动部的转速、振动频率中的至少任意一个。

4.根据权利要求1所述的控制装置，其特征在于，

上述机器人进行上述工件的去毛刺加工和研磨加工中的至少任意一方。

5.一种控制系统，其特征在于，具有：

机器人，其通过安装在机械臂前端的工具的按压力来加工工件；以及

控制装置，其控制上述机器人的动作，

上述控制装置具有：

6.一种学习装置，其特征在于，具有：

状态观测部，其取得机器人的当前状态来作为状态变量；

标签数据取得部，其取得力传感器的检测值来作为标签，该力传感器被安装在上述机器人的机械臂，用于检测在安装在上述机械臂的前端的工具的按压力的控制中所需要的数据；以及

学习部，其生成用于表示在无负载状态下取得的上述状态变量与在无负载状态下取得的上述状态变量下取得的上述标签之间的相关关系的学习模型，并根据上述学习模型来推定与上述机器人的当前状态相对应的上述力传感器的检测值。