CN115556099B - 一种可持续学习的工业机器人故障诊断系统及方法 - Google Patents
一种可持续学习的工业机器人故障诊断系统及方法 Download PDFInfo
- Publication number
- CN115556099B CN115556099B CN202211203029.0A CN202211203029A CN115556099B CN 115556099 B CN115556099 B CN 115556099B CN 202211203029 A CN202211203029 A CN 202211203029A CN 115556099 B CN115556099 B CN 115556099B
- Authority
- CN
- China
- Prior art keywords
- mode
- data
- time sequence
- unknown
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013145 classification model Methods 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 38
- 238000007596 consolidation process Methods 0.000 claims description 31
- 230000007246 mechanism Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical group [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Feedback Control In General (AREA)
- Numerical Control (AREA)
Abstract
本发明提供了一种可持续学习的工业机器人故障诊断系统与方法。所述系统不仅可以准确识别工业机器人运行中时序数据的已知模式，还可对时序数据的未知模式进行检测和持续学习，解决了故障诊断系统无法应对未知故障的难题，更加贴近实际应用需求。本方法改进了现有工业机器人故障诊断系统，在对时序数据进行预处理，模式分类的基础上，通过模式分类结果的置信度判断时序数据是否属于未知模式，若属于未知模式则采用持续学习算法更新原有的故障诊断模型，将未知模式纳入到已知模式范围中，从而达到持续学习未知模式的目的。时序数据出现未知模式通常代表着工业机器人产生新的、未知的故障，因此改进后的工业机器人故障诊断系统有效应对未知故障。
Description
技术领域
本发明涉及工业机器人领域，特别涉及一种可持续学习的工业机器人故障诊断方法及系统。
背景技术
工业机器人故障诊断系统，是一种通过采集和分析工业机器人运行状态时序数据，进而判断是否出现故障以及故障类别的系统；若故障严重时，系统会及时报警并让机器人停机，从而保障机器人的安全性和稳定性。工业机器人故障诊断系统的作用是识别机器人运行状态数据的模式，本质是一个模式识别问题，也叫模式分类问题。工业机器人运行状态时序数据的已知模式包含正常运行模式和多种故障模式。
在实际应用过程中，由于工业机器人组成复杂、应用场景多样，工业机器人的故障不能被人预先全部掌握，也就是说，工业机器人运行状态时序数据的模式并非都是已知模式，会出现新的故障导致出现新的未知模式；工业机器人的时序数据除了已知模式的，还存在未掌握的故障产生的异常数据，这些异常数据的模式是未知的。
对于工业机器人故障诊断系统，现有传统方法是对时序信号数据进行预处理后得到特征向量，例如统计特征、时域特征和频域特征等；然后利用各种分类模型(如支持向量机，K近邻等)对数据模式进行分类识别，以达到诊断效果。近年来，随着深度学习的发展，深度卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(RecurrentNeural Network，RNN)等深度神经网络模型大量用于工业机器人或其部件的故障诊断，相比传统机器学习方法分类精度更高，且泛化能力更强。
然而，不管是传统的机器学习方法，还是深度学习方法都无法识别数据的未知模式，仅能识别已知模式。举例来说，现有深度学习模型在进行分类时，通常最后通过一个softmax函数输出各个已知类的概率值，其中概率最大值所对应类别即为当前时序数据的模式类别，进一步说，即使工业机器人出现预先未知模式的新型故障，依然会被识别为某一类已知模式。
进一步地，假设工业机器人故障诊断系统已经检测到未知模式的时序数据，为了让故障诊断模型能够识别未知模式的时序数据，自然的方法是将原任务的数据集和未知模式的数据集整合到一起，对故障诊断模型进行重新训练。然而，在实际应用场景下，该方法是不可行的。因为不断保存原任务的数据，会造成存储空间的极大浪费；也就是说实际应用场合下的故障诊断系统，通常不会保存原任务的数据集。
另一种较为可行的方法是，采用未知模式的数据训练原来的故障诊断模型，但这会导致分类模型对于原任务的灾难性遗忘。
向珍琳等在中国发明公开专利CN114800486A中公开的“一种基于统计特征的工业机器人故障诊断方法、系统、计算机设备及存储介质”，虽然能够对故障诊断进行诊断，但是仍然其仅能诊断已知模式，无法识别诊断出未知模式。
总之，上述无法检测及学习未知模式的工业机器人故障诊断系统及方法，轻则无法正确判断故障类型，重则会造成工业机器人在故障情况下持续运行，最终酿成安全事故。同时，对于数据未知模式的检测和学习依然是一大难题。所以，在工业机器人状态监测，故障诊断等应用中，发展对未知模式的检测和持续学习方法是非常重要的。
发明内容
基于现有技术存在的问题，本发明的目的在于提供一种可持续学习的工业机器人故障诊断系统及方法。该系统不但能准确识别时序数据是否属于某种已知模式，还能判断时序数据是否为未知模式，若判断为未知模式则进行持续学习，将未知模式纳入到已知模式范围，实现对未知模式的持续学习。由于未知模式往往对应着未知故障，因此本发明可解决工业机器人故障诊断系统难以应对未知故障的难题。
为了实现本发明目的，本发明提供的一种可持续学习的工业机器人故障诊断方法，包括以下步骤：
采集工业机器人在实际工作运行时的物理信号时序数据；
对采集到的工业机器人信号时序数据进行相应的预处理；
采用深度卷积神经网络构建分类模型，将预处理后的工业机器人信号时序数据输入分类模型，判断出当前时序数据属于哪种模式，输出模式分类结果；
将模式分类结果换算成置信度，将置信度与设置的比对阈值进行比对，判断当前时序数据的模式是否为未知模式；
当识别到当前输入时序数据的模式为未知模式后，在未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型，训练后的分类模型不遗忘原有能力，又可以识别时序数据的未知模式，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习，其中，弹性权重巩固机制是在一般深度神经网络的损失函数的基础上增加了弹性权重巩固机制正则项，加入了弹性权重巩固机制正则项的损失函数为
式中，L′(θ)表示包含弹性权重巩固机制正则项的损失函，L(θ)为分类模型的常规损失函数，表示旧分类模型参数，θj表示当前正在训练的分类模型参数，J为分类模型的参数数量；λ是权重调节因子，/>为/>在旧任务上的重要程度权重。
进一步地，还包括数据增强步骤，当未知模式检测模块识别到当前输入时序数据的模式为未知模式后，对未知模式数据样本进行数据增强，然后在增强后的未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型。
进一步地，所述预处理包括对时序数据进行过滤和归一化处理。
进一步地，分类模型包括卷积层、池化层和全连接层，构造分类模型时，根据输入数据的大小和复杂度，确定卷积层、池化层和全连接层的网络的层数和单元数的超参数，每个神经元的激活函数采用ReLU函数，池化层采用最大池化方法。
进一步地，通过分类模型进行N个已知模式的分类，分类模型的输入为多通道的时序数据组成的图像x，分类模型的输出为模式分类结果模式，分类结果是N个概率值组成的向量，对应当前数据模式属于n类已知模式的概率，即：
y＝(p1，p2，...，pi，...，pN)T
其中，y表示分类结果，pi为模式分类结果属于已知数据模式类别i的概率，T表示转置。
进一步地，通过随机变量的熵值公式将分类结果y转换为置信度，并通过置信度与设置的比对阈值K比对，从而判断输入的时序数据模式是否属于某种已知模式，即：
c(y)＝-H(y)
其中，y为模式分类结果，H(y)为分类结果的熵值，c(y)为分类结果y的置信度，即分类结果y的置信度是其熵值H(y)的相反数；
若置信度c(y)大于设定的对比阈值K时，输入的时序数据模式属于某种已知模式；若置信度c(y)小于设定的对比阈值K时，分类结果不可信，输入的时序数据的模式未知。
进一步地，分类模型的常规损失函数为
其中L(θ)为分类模型的常规损失函数，L(θ)采用交叉熵衡量模式分类结果y与分类标签的距离，D为数据集，|D|为数据集样本数量，i为已知数据模式类别。
进一步地，弹性权重巩固机制正则项的重要程度权重是通过旧任务上的旧数据集计算常规损失函数梯度的平方来表示来获得的，计算公式如下：
式中，b表示距离当前训练最近一次训练的索引，Db是距离当前训练最近一次训练采用的数据集。Db对于当前训练是不可获得的，也就是说，是在上一次训练结束后采用旧数据集Db计算并保存起来，以便下次持续学习使用的。
本发明还提供用于实现前述故障诊断方法的系统。
一种持续学习的工业机器人故障诊断系统，包括：
数据采集模块，用于实时采集工业机器人在实际工作运行时的多种物理信号时序数据，包括但不限于振动、电流、电压及温度等物锂信号时序数据。
数据预处理模块，用于根据各种物理信号的规律特点，对采集到的时序数据进行相应的预处理，并转换成模式分类模块可以处理的数据结构；
模式分类模块，用于采用深度卷积神经网络(Convolutional Neural Network，CNN)构建网络模型，该网络模型为分类模型，分类模型用来处理预处理后的时序数据，判断出当前时序数据属于哪种模式，即进行模式分类，最后输出模式分类结果；
未知模式检测模块，用于将模式分类结果换算成置信度，将置信度与设置的比对阈值进行比对，判断当前时序数据的模式是否为未知模式，未知模式检测模块的输入是模式分类模块的分类结果，输出为输入时序数据模式属于某种已知模式，输入时序数据模式不属于某种已知模式2种情况；
持续学习模块，用于当识别到当前输入时序数据的模式为未知模式后，在未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型，训练后的分类模型不遗忘原有能力，又可以识别时序数据的未知模式，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习。
进一步地，还包括数据增强模块，用于对未知模式数据样本进行数据增强。当未知模式检测模块识别到当前输入时序数据的模式为未知模式后，对数据量较少的未知模式数据样本进行数据增强，生成更多的训练数据，从而降低训练的难度。
进一步地，所述数据预处理模块会根据时序数据不同规律特点进行放大，滤波等处理。对于每一类时序数据，都采用时间窗口的方式划分数据，将划分出的数据转换为一张图像，便于采用深度卷积神经网络进行处理；对数据进行归一化，将整个序列映射到[0，1]，以提高神经网络模型训练的稳定性；通过这样的方式，多元时序数据转换为多通道图像，图像的通道数对应时序数据的种类数。
进一步地，所述数据增强模块通过移动窗口重叠采样，或对部分片段进行拉伸和压缩等方法进行数据增强。
进一步地，所述持续学习模块，将接受未知模式的数据，采用弹性权重巩固机制训练旧的分类模型，将对现有分类表现较大的权重进行小幅度修改，对现有分类影响较小的权重进行较大幅度地修改，最大程度地保留分类模型原有分类效果，避免灾难性遗忘，同时实现模型对未知模式的学习。
进一步地，将所识别到的未知模式相应的时序数据进行定位和分析，进一步判断令工业机器人产生未知模式的时序数据的故障原因。
与现有技术相比，本发明的至少能够实现的有益效果为：
(1)本发明采用深度卷积神经网络识别工业机器人运行状态的数据模式，相比传统机器学习方法，本方法的精度更高，泛化能力更强。
(2)本发明以分类结果的熵值判断时序数据是否为未知模式，并进一步采用弹性权重巩固机制持续学习未知模式，避免对原任务地灾难性遗忘，更加符合实际应用需求。
(3)相比传统无持续学习能力的故障诊断系统，本系统解决了故障诊断系统应对未知故障的难题，实现故障诊断模型对未知模式的持续学习，更为完善安全。
附图说明
图1为本发明实施例提供的一种可持续学习的工业机器人故障诊断系统的结构示意图。
图2为本发明提供的一个具体实例的故障诊断方法的步骤流程图。
图3为图2模式分类模块进行模式分类时，内部高维数据的尺寸变化过程示意图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
如图1所示，本发明提供的一种可持续学习的工业机器人故障诊断方法，引入机器学习领域前沿的持续学习算法训练模型，能够让故障诊断模型有效学会识别未知模式，同时避免灾难性遗忘，包括以下步骤：
步骤1，实时采集工业机器人在实际工作运行时的多种物理信号时序数据。
在本发明的其中一些实施例中，采集的多种物理信号时序数据包括但不限于振动、电机电压及温度等物理信号时序数据，
步骤2，对采集到的工业机器人信号时序数据进行相应的预处理，并转换成模式分类模块可以处理的数据结构。
在本发明的其中一些实施例中，在进行预处理时，可以进行如下的操作：
(1)根据不同物理信号特点进行放大、滤波等处理，比如对于机械振动信号，可以对其进行趋势项的过滤处理。
(2)对于每一类时序数据，都采用移动时间窗口的方式划分数据，再将划分出的数据转换为一张图像，以便于采用深度卷积神经网络进行处理。举例来说，假设m为需要构造的图像的大小，因此采用一个长为m2的窗口划出一个长为m2的时序数据，将其从上到下，从左到右依次填满m×m的矩阵，这样就将时序数据转换为一张m×m的图像；在原始时间序列中移动多次m2长的时间窗口，这样就形成了多个数据样本。如在一个具体的实施例中，模式分类模块的卷积神经网络池化层的过滤器推荐采用2×2尺寸的，所以建议m设为2n，比如32、64、128、256等。
(3)对数据进行归一化处理，将整个图像上的数据映射到[0，1]，以提高神经网络模型训练的稳定性。通过这样的方式，多元时序数据转换为多通道图像，图像的通道数对应时序数据的种类数。
步骤3，采用深度卷积神经网络构建分类模型，将预处理后的工业机器人信号时序数据输入分类模型，判断出当前时序数据属于哪种模式，输出模式分类结果。其中，分类结果为当前时序数据属于各个已知模式的概率所组成的向量。
步骤4，将模式分类结果换算成置信度，将置信度与设置的比对阈值K进行比对，判断当前时序数据的模式是否为未知模式。未知模式检测模块的输入是模式分类模块的分类结果，输出为输入时序数据模式属于某种已知模式，输入时序数据模式不属于某种已知模式2种情况。
进一步地，如果时序数据模式属于某种已知模式，则直接输出分类结果；若分类结果显示当前时序数据属于正常运行模式，则工业机器人继续运行；若分类结果显示当前时序数据属于某种故障模式，则将工业机器人停机，并将故障消息上报现场管理人员；如果时序数据模式不属于某种已知模式，即模式未知，则将当前时序数据传入下一个模块以进行未知模式的持续学习。
步骤5，对数据量较少的未知模式数据样本进行数据增强，生成更多的训练数据，从而避免过拟合问题，降低训练的难度。
步骤6，采用增强后的未知模式数据训练原有的分类模型，训练时的损失函数加入弹性权重巩固机制正则项，训练后的分类模型不遗忘原有能力，又可以识别未知模式的数据，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习。当训练完成后，将更新好的分类模型替代原来的旧模型，替换过程如图1中虚线处所示。此外，系统还会根据未知模式的数据更新每一个参数的重要程度权重(参数重要程度权重sj)，以应对后续未知模式持续学习需求。
在本发明的其中一些实施例中，在构造模式分类模块的深度卷积神经网络时，需要根据输入数据的大小和复杂度，确定卷积层、池化层和全连接层的网络的层数和单元数等超参数，每个神经元的激活函数采用ReLU函数，池化层采用最大池化方法。
在本发明的其中一些实施例中，进行N个已知模式的分类，分类模型的输入为多通道的时序数据组成的图像x，分类模型的输出为分类结果，分类结果是N个概率值组成的向量，对应当前数据模式属于n类已知模式的概率，即：
y＝(p1，p2，...，pi，...，pN)T
其中，y表示模式分类结果，pi为分类结果属于已知数据模式类别i的概率，T表示转置。
在本发明的其中一些实施例中，通过随机变量的熵值公式将分类结果y转换为置信度，并通过置信度与设定的阈值K比对，从而判断输入的时序数据模式是否属于某种已知模式，相应的公式如下所示：
c(y)＝-H(y)
其中，H(y)为分类结果y的熵值，其取值范围为[0，log n]，c(y)是分类结果y的置信度，为熵值H(y)的相反数，c(y)的取值范围为[-log n，0]。
更具体地，H(y)越小，说明不确定性越小，分类结果y的置信度c(y)越大；H(y)越大，说明不确定性越大，分类结果y的置信度c(y)越小。若置信度c(y)大于设置的比对阈值K时，输入的时序数据模式属于某种已知模式；若置信度c(y)小于设定的阈值K时，分类结果不可信，输入的时序数据的模式未知。
置信度的比对阈值K由系统自动计算生成。在本发明的其中一些实施例中，置信度的比对阈值K的计算方法为：系统在训练并测试好分类模型后，计算所有训练和测试数据集样本的熵值，取出其中的最小值Smin，比对阈值K则为(Smin+∈)，∈由人为设置，如果未知模式的检测标准严格，即时序数据的置信度c(y)需要很大才属于已知模式，则∈设置较大值，反之设置较小值。此外，比对阈值K的设定不能超过置信度c(y)的取值范围。如∈取值范围可以取值为[0.1，0.5]，接近0.1为较小值，接近0.5为较大值。
在本发明的其中一些实施例中，在对未知模式数据样本进行数据增强时，通过移动窗口重叠采样，或对部分片段进行拉伸和压缩等方法进行数据增强。在原始的时间序列中，采用移动时间窗口的方式划分数据时，移动的距离小于m2(一般设置移动距离为m2的90％)，采样出的数据样本会有重叠部分，这即为移动窗口重叠采样方法。此外，还可对原始时间序列部分片段进行拉伸和压缩，生成新的数据样本。通过这两种方法，可以有效增加未知模式数据样本的数量。
本发明中，在每次持续学习前，需要对分类模型的最后一层结构进行相应的改变，因为分类模型需识别多一种时序数据模式，所以其最后一层的神经元个数需增加1个。比如，在持续学习前的分类模型输出结果维度为N，则持续学习后的分类模型输出结果维度为N+1。
具体地，基于增强后的未知模式时序数据集，采用包含弹性权重巩固机制(Elastic Weight Consolidation，EWC)训练旧的分类模型，将对现有分类表现较大的权重进行小幅度修改，对现有分类影响较小的权重进行较大幅度地修改，最大程度地保留分类模型原有分类效果，避免灾难性遗忘，同时实现分类模型对未知模式的学习。
弹性权重巩固机制训练方法是在一般深度神经网络的损失函数的基础上增加了弹性权重巩固机制正则项，再采用梯度下降法训练分类模型。常规的分类模型损失函数和加入了弹性权重巩固机制正则项的损失函数具体公式如下：
其中L(θ)为分类模型的常规损失函数，L(θ)采用交叉熵衡量分类结果y与分类标签的距离，D为数据集，|D|为数据集样本数量；L′(θ)表示包含弹性权重巩固机制正则项的损失函数；/>表示旧分类模型参数，θj表示当前正在训练的分类模型参数。J为分类模型的参数数量；λ是权重调节因子，/>为/>在旧任务上的重要程度权重。
其中，对于加入了弹性权重巩固机制正则项的损失函数L′(θ)中参数重要程度权重sj，采用常规损失函数关于θj梯度的平方表示，计算公式如下：
指的是加入了弹性权重巩固机制正则项的损失函数。x表示时序数据样本，y表示对应时序数据样本的标签，i表示数据样本的索引，j表示损失函数中参数的索引。/>表示该损失函数涉及到的模型为旧模型。
b表示距离当前训练(即当前的持续学习)最近一次训练的索引，假设θ表示当前正在更新的模型，则θb相对θ是旧模型，θb-1相对θb是旧模型，θ1是初始被开发出来的分类模型；同理，Db是距离当前训练最近一次训练采用的数据集，Db相对D是旧数据集，Db-1相对Db是旧数据集，则D1是训练出初始分类模型θ1采用的数据集。当b＝1时，因为在训练初始分类模型时并没有旧任务，所以采用常规损失函数即可，不需要考虑弹性权重巩固机制正则项。
因此，在每一次训练结束后，不管是初始训练还是持续学习训练后，都采用训练好的模型计算保存起来，以便下一次持续学习使用。
在持续学习结束后，会对所识别到的未知模式相应的时序数据进行定位和分析，进一步判断令工业机器人产生未知模式的时序数据的故障原因。
在检测到未知模式的时序数据后，故障诊断系统进行持续学习的同时，会将相应的时序数据保存起来，并发出警告请现场人员及时检查，这样现场人员后续就可根据时序数据和工业机器人的当前状态分析未知模式时序数据的故障原因，再赋予相应的标签。
本发明还提供用于实现前述故障诊断方法的系统。
一种可持续学习的工业机器人故障诊断系统，包括以下模块：
数据采集模块，用于实时采集工业机器人在实际工作运行时的多种物理信号时序数据，并将采集好的时序数据传输到数据预处理模块；
数据预处理模，用于块对采集到的时序数据进行相应的预处理，并转换成模式分类模块可以处理的数据结构；
模式分类模块，用于采用深度卷积神经网络(Convolutional Neural Network，CNN)构建网络模型，该网络模型为分类模型，分类模型用来处理预处理后的时序数据，判断出当前时序数据属于哪种模式，即进行模式分类，最后输出模式分类结果；
未知模式检测模块，用于将模式分类结果换算成置信度，将置信度与设置的比对阈值进行比对，判断当前时序数据的模式是否为未知模式，其中，未知模式检测模块的输入是模式分类模块的模式分类结果，输出为输入时序数据模式属于某种已知模式，输入时序数据模式不属于某种已知模式2种情况。
持续学习模块，用于当识别到当前输入时序数据的模式为未知模式后，在未知模式数据的基础上，采用弹性权重巩固机制(Elastic Weight Consolidation，EWC)训练原有的分类模型，训练后的分类模型不遗忘原有能力，又可以识别时序数据的未知模式，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习。
其中，在本发明的其中一些实施例中，还包括数据增强模块，当未知模式检测模块识别到当前输入时序数据的模式为未知模式后，对数据量较少的未知模式数据样本进行数据增强，生成更多的训练数据，从而避免过拟合问题，降低训练的难度。
在本发明的其中一些实施例中，请参阅图2，提供了分类模型的网络结构图，图3展示了图2的分类模型进行模式分类时，内部高维数据尺寸的变化过程。如图2所示，分类模型共有8层，假设分类模型实现6种已知模式(正常运行模式和5种故障模式)的分类，所以最后一层输出为6×1。分类模型处理数据的流程包含以下步骤：
(1)输入数据
本例的输入的数据是一个28×28×3的图像矩阵，包含三通道的数据，每一个通道的数据代表一种物理信号时序数据，分别是工业机器人的振动、温度、电流三种物理信号时序数据。
(2)卷积层和池化层
由卷积层和池化层自动完成对时序数据的特征提取，如图2所示，卷积层和池化层各有2层。
分类模型第1层，为卷积层conv-1，卷积核大小为5×5×6，填充为2，步幅为1，激活函数为ReLU，输出数据的尺寸为28×28×6。
分类模型第2层，池化层pool-1，过滤器大小为2×2，步幅为1，采用最大池化法。输出数据的尺寸为14×14×6。
分类模型第3层，卷积层conv-2，卷积核大小为5×5×16，无填充，步幅为1，激活函数为ReLU，输出数据的尺寸为10×10×16。
分类模型第4层，池化层pool-2，过滤器大小为2×2，步幅为1，采用最大池化法。输出数据的尺寸为5×5×16。
(3)全连接层
将池化层pool-2的数据展开形成一维列向量，向量大小为5×5×16＝400，将向量输入到全连接层。
分类模型第5层，全连接层fc-1，全连接层的神经元个数为120，激活函数为ReLU，输出数据尺寸为120×1。
分类模型第6层，全连接层fc-2，全连接层的神经元个数为84，激活函数为ReLU，输出数据尺寸为84×1。
分类模型第7层，全连接层fc-3全连接层的神经元个数为6，激活函数为Softmax函数，输出数据尺寸为6×1。
将上述的分类模型应用到实际工业机器人的故障诊断中，能实现6种时序数据已知模式的分类，分类准确率达到95％以上。
上述分类模型将每次的分类结果发送到未知模式检测模块，未知模式检测模块计算分类结果的置信度，置信度超过预设的比对阈值K，结果可信，则系统分类模型继续运行；置信度小于预设的比对阈值K，结果不可信，出现了未知模式的时序数据，启动数据增强模块和持续学习模块更新分类模型。
经过数据增强模块和持续学习模块训练旧模型后，得到的新模型能识别未知模式。因为新的分类模型需要识别的模式增加了一种，所以最后一层的输出向量的维度从6×1变成7×1。
通过上述多个模块的相互配合，本发明提供的可持续学习的工业机器人故障诊断系统不仅能准确识别时序数据的已知模式，而且能持续学习未知模式，相应地能够避免未知故障对工业机器人的影响，且能将所识别到的未知模式相应的时序数据进行定位和分析，进一步判断令工业机器人产生未知模式的时序数据的故障原因，为工业机器人的安全运行提供有力保障。
本发明的上述实施例仅仅是为说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (7)
1.一种可持续学习的工业机器人故障诊断方法，其特征在于，包括以下步骤：
采集工业机器人在实际工作运行时的物理信号时序数据；
对采集到的工业机器人信号时序数据进行相应的预处理；
采用深度卷积神经网络构建分类模型，将预处理后的工业机器人信号时序数据输入分类模型，判断出当前时序数据属于哪种模式，输出模式分类结果；
将模式分类结果换算成置信度，将置信度与设置的比对阈值进行比对，判断当前时序数据的模式是否为未知模式；
当识别到当前输入时序数据的模式为未知模式后，在未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型，训练后的分类模型不遗忘原有能力，又可以识别时序数据的未知模式，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习，其中，弹性权重巩固机制是在一般深度神经网络的损失函数的基础上增加了弹性权重巩固机制正则项，加入了弹性权重巩固机制正则项的损失函数为
式中，L′(θ)表示包含弹性权重巩固机制正则项的损失函，L(θ)为分类模型的常规损失函数，表示旧分类模型参数，θj表示当前正在训练的分类模型参数，J为分类模型的参数数量；λ是权重调节因子，/>为/>在旧任务上的重要程度权重；
其中，通过分类模型进行N个已知模式的分类，分类模型的输入为多通道的时序数据组成的图像x，分类模型的输出为模式分类结果模式，分类结果是N个概率值组成的向量，对应当前数据模式属于n类已知模式的概率，即：
y＝(p1，p2，...，pi，...，pN)T
其中，y表示分类结果，pi为模式分类结果属于已知数据模式类别i的概率，T表示转置；
通过随机变量的熵值公式将分类结果y转换为置信度，并通过置信度与设置的比对阈值K比对，从而判断输入的时序数据模式是否属于某种已知模式，即：
c(y)＝-H(y)
其中，y为模式分类结果，H(y)为分类结果的熵值，c(y)为分类结果y的置信度，即分类结果y的置信度是其熵值H(y)的相反数；
若置信度c(y)大于设定的对比阈值K时，输入的时序数据模式属于某种已知模式；若置信度c(y)小于设定的对比阈值K时，分类结果不可信，输入的时序数据的模式未知；
分类模型的常规损失函数为
其中L(θ)为分类模型的常规损失函数，L(θ)采用交叉熵衡量模式分类结果y与分类标签的距离，D为数据集，|D|为数据集样本数量，i为当前正在分类的类别的索引。
2.根据权利要求1所述的一种可持续学习的工业机器人故障诊断方法，其特征在于，还包括数据增强步骤，当未知模式检测模块识别到当前输入时序数据的模式为未知模式后，对未知模式数据样本进行数据增强，然后在增强后的未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型。
3.根据权利要求1所述的一种可持续学习的工业机器人故障诊断方法，其特征在于，所述预处理包括对时序数据进行过滤和归一化处理。
4.根据权利要求1所述的一种可持续学习的工业机器人故障诊断方法，其特征在于，分类模型包括卷积层、池化层和全连接层，构造分类模型时，根据输入数据的大小和复杂度，确定卷积层、池化层和全连接层的网络的层数和单元数的超参数，每个神经元的激活函数采用ReLU函数，池化层采用最大池化方法。
5.根据权利要求1-4任一所述的一种可持续学习的工业机器人故障诊断方法，其特征在于，弹性权重巩固机制正则项的重要程度权重是通过旧任务上的旧数据集计算常规损失函数梯度的平方来表示来获得的，计算公式如下：
式中，b表示距离当前训练最近一次训练的索引，Db是距离当前训练最近一次训练采用的数据集，指的是加入了弹性权重巩固机制正则项的损失函数，x表示时序数据样本，y表示对应时序数据样本的标签，i表示数据样本的索引，j表示损失函数中参数的索引，/>表示该损失函数涉及到的模型为旧模。
6.一种可持续学习的工业机器人故障诊断系统，其特征在于，用于实现权利要求1-5任一所述的方法，所述系统包括以下模块：
数据采集模块，用于实时采集工业机器人在实际工作运行时的多种物理信号时序数据，并将采集好的时序数据传输到数据预处理模块；
数据预处理模块，用于对采集到的时序数据进行相应的预处理；
模式分类模块，用于采用深度卷积神经网络构建网络模型，该网络模型为分类模型，分类模型用来处理预处理后的时序数据，判断出当前时序数据属于哪种模式，即进行模式分类，最后输出模式分类结果；
未知模式检测模块，用于将模式分类结果换算成置信度，将置信度与设置的比对阈值进行比对，判断当前时序数据的模式是否为未知模式；
持续学习模块，用于当识别到当前输入时序数据的模式为未知模式后，在未知模式数据的基础上，采用弹性权重巩固机制训练原有的分类模型，训练后的分类模型不遗忘原有能力，又可以识别时序数据的未知模式，即将未知模式转换为已知模式，从而实现对工业机器人运行状态未知模式的持续学习。
7.根据权利要求6所述的一种可持续学习的工业机器人故障诊断系统，其特征在于，还包括数据增强模块，用于对未知模式数据样本进行数据增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211203029.0A CN115556099B (zh) | 2022-09-29 | 2022-09-29 | 一种可持续学习的工业机器人故障诊断系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211203029.0A CN115556099B (zh) | 2022-09-29 | 2022-09-29 | 一种可持续学习的工业机器人故障诊断系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115556099A CN115556099A (zh) | 2023-01-03 |
| CN115556099B true CN115556099B (zh) | 2024-04-09 |
Family
ID=84743874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211203029.0A Active CN115556099B (zh) | 2022-09-29 | 2022-09-29 | 一种可持续学习的工业机器人故障诊断系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115556099B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914850A (zh) * | 2015-05-20 | 2015-09-16 | 浙江大学 | 基于切换线性动态系统模型的工业过程故障诊断方法 |
| CN105204487A (zh) * | 2014-12-26 | 2015-12-30 | 北京邮电大学 | 基于通信模型的工业控制系统的入侵检测方法及系统 |
| CN110174871A (zh) * | 2018-02-19 | 2019-08-27 | 发那科株式会社 | 控制装置、机器学习装置以及系统 |
| CN110457867A (zh) * | 2019-10-08 | 2019-11-15 | 杭州知衣科技有限公司 | 一种基于机器学习的时间序列数据填补与还原方法 |
| CN111222563A (zh) * | 2020-01-02 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、数据获取方法以及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170178311A1 (en) * | 2015-12-20 | 2017-06-22 | Prophecy Sensors, Llc | Machine fault detection based on a combination of sound capture and on spot feedback |
-
2022
- 2022-09-29 CN CN202211203029.0A patent/CN115556099B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105204487A (zh) * | 2014-12-26 | 2015-12-30 | 北京邮电大学 | 基于通信模型的工业控制系统的入侵检测方法及系统 |
| CN104914850A (zh) * | 2015-05-20 | 2015-09-16 | 浙江大学 | 基于切换线性动态系统模型的工业过程故障诊断方法 |
| CN110174871A (zh) * | 2018-02-19 | 2019-08-27 | 发那科株式会社 | 控制装置、机器学习装置以及系统 |
| CN110457867A (zh) * | 2019-10-08 | 2019-11-15 | 杭州知衣科技有限公司 | 一种基于机器学习的时间序列数据填补与还原方法 |
| CN111222563A (zh) * | 2020-01-02 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、数据获取方法以及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115556099A (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| CN108444708A (zh) | 基于卷积神经网络的滚动轴承智能诊断模型的建立方法 | |
| CN111397902B (zh) | 一种基于特征对齐卷积神经网络的滚动轴承故障诊断方法 | |
| CN113110398B (zh) | 基于动态时间归整和图卷积网络的工业过程故障诊断方法 | |
| CN113762329A (zh) | 一种大型轧机状态预测模型的构建方法及构建系统 | |
| CN112557826A (zh) | 一种船舶电力系统故障诊断方法 | |
| CN116610998A (zh) | 一种基于多模态数据融合的开关柜故障诊断方法和系统 | |
| CN114091504A (zh) | 一种基于生成对抗网络的旋转机械小样本故障诊断方法 | |
| CN114118225A (zh) | 发电机剩余寿命预测方法、系统、电子设备和存储介质 | |
| WO2019178930A1 (zh) | 一种机械设备故障诊断方法 | |
| CN117032165A (zh) | 一种工业设备故障诊断方法 | |
| CN117951646A (zh) | 一种基于边缘云的数据融合方法及系统 | |
| CN111783941B (zh) | 一种基于概率置信度卷积神经网络的机械设备诊断分类方法 | |
| CN113551904A (zh) | 基于层次机器学习的齿轮箱多类型并发故障诊断方法 | |
| CN113450827A (zh) | 基于压缩神经网络的设备异常工况声纹分析算法 | |
| CN115556099B (zh) | 一种可持续学习的工业机器人故障诊断系统及方法 | |
| CN117009841A (zh) | 一种模型训练方法、电机故障诊断方法和微控制器 | |
| Zhang et al. | A flexible monitoring framework via dynamic-multilayer graph convolution network | |
| CN114137915B (zh) | 一种工业设备的故障诊断方法 | |
| CN116227172A (zh) | 一种基于卷积神经网络的滚动轴承性能退化评估方法 | |
| CN114818811A (zh) | 一种基于孪生网络度量学习的航空发动机滚动轴承故障诊断方法 | |
| Xiaoqian | A sensor fault diagnosis algorithm for uav based on neural network | |
| CN108763728A (zh) | 基于并联型深度神经网络分层特征提取的机械故障诊断方法 | |
| Chen et al. | Bearing Fault Diagnosis Based on Wide Deep Convolutional Neural Network and Long Short Term Memory | |
| Li et al. | Rolling bearing fault diagnosis based on channel attention multi-scale convolution-BiLSTM network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |