CN118103178A - 用于分析机器人的操作的方法和系统 - Google Patents
用于分析机器人的操作的方法和系统 Download PDFInfo
- Publication number
- CN118103178A CN118103178A CN202280068758.1A CN202280068758A CN118103178A CN 118103178 A CN118103178 A CN 118103178A CN 202280068758 A CN202280068758 A CN 202280068758A CN 118103178 A CN118103178 A CN 118103178A
- Authority
- CN
- China
- Prior art keywords
- robot
- time history
- pattern
- encoding device
- dataset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004913 activation Effects 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001994 activation Methods 0.000 description 18
- 230000007613 environmental effect Effects 0.000 description 9
- 239000002775 capsule Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 244000078856 Prunus padus Species 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- ZINJLDJMHCUBIP-UHFFFAOYSA-N ethametsulfuron-methyl Chemical compound CCOC1=NC(NC)=NC(NC(=O)NS(=O)(=O)C=2C(=CC=CC=2)C(=O)OC)=N1 ZINJLDJMHCUBIP-UHFFFAOYSA-N 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000015122 lemonade Nutrition 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33296—ANN for diagnostic, monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
一种用于分析机器人(1)的操作的方法，包括：执行训练阶段，该训练阶段包括以下步骤：获得(S10)第一数据集，该第一数据集具有第一机器人(1)的至少一个状态参数的至少一个时间历程；和训练(S20)人工神经网络，该人工神经网络具有第一自动编码装置和第二自动编码装置，第一自动编码装置具有将第一数据集映射到时间历程模式及其激活的编码器(11)和利用该时间历程模式重构第一数据集的解码器(12)，第二自动编码装置具有将时间历程模式及其激活映射到模式群组的编码器(21)和利用该模式群组重构时间历程模式及其激活的解码器(22)；以及执行检测阶段，该检测阶段包括以下步骤：获得(S30)具有第一或第二机器人的至少一个状态参数的至少一个时间历程的第二数据集；以及在第二数据集内识别(S40)经训练的第二自动编码装置的至少一个模式群组。
Description
技术领域
本发明涉及用于分析机器人的操作的方法和系统以及相应的计算机程序或计算机程序产品。
发明内容
本发明的实施方式的目的是分析机器人的操作，或者在机器人数据的时间历程中识别出有代表性的模式(Muster)或者说部分(Abschnitte)。
由此，在一种实施方式中，可以检测机器人异常或事件，例如环境接触，或者也可以对时间历程进行分类，例如再识别工作过程中的某种机器人运动。因此，在一种实施方式中，可以分析、监视(überwacht)和/或修正(modifiziert)机器人的运行，例如通过：检查所检测到的机器人异常；或者基于所检测到的机器人异常来执行特别是预测性的维护；基于检测到的事件(例如环境接触)改变操作流程；和/或基于该事件监视操作流程；等等。
本发明的目的通过一种具有权利要求1所述特征的方法来实现。权利要求9、10要求保护一种用于执行在此所述方法的系统或计算机程序或计算机程序产品。优选的扩展方案由从属权利要求给出。
根据本发明的一种实施方式，用于分析机器人的操作的方法包括执行训练阶段，该训练阶段包括以下步骤：
-获得、在一种实施方式中是确定第一数据集，该第一数据集具有第一机器人的一个或多个状态参数(各自)的一个或多个时间历程；以及
-训练人工神经网络。
根据本发明的一种实施方式，人工神经网络具有：
-第一自动编码装置，具有将第一数据集映射到时间历程模式及其激活的编码器，以及利用时间历程模式重构(rekonstruiert)第一数据集的解码器；以及
-第二自动编码装置，具有编码器和解码器，其中，编码器将时间历程模式及其激活映射到模式群组，在一种扩展方案中是映射到其激活；解码器是利用该模式群组，在一种扩展方案中是利用其激活来重构时间历程模式及其激活。
根据本发明的一种实施方式，在执行训练阶段之后，该方法包括执行检测阶段，该检测阶段包括以下步骤：
-获得第二数据集，该第二数据集具有第一或第二机器人的一个或多个状态参数的一个或多个时间历程；以及
-在第二数据集内识别经训练的第二自动编码装置的至少一个模式群组。
在本发明的意义上，识别可以代表对已经获得第二数据集的机器人的操作的分析。类似地，在一种实施方式中，可以基于被识别的至少一个模式群组执行(进一步的)分析，在一种实施方式中是自动地和/或手动地或者说由用户执行。在一种实施方式中，时间历程可以包括、特别是为时间序列(Zeitreihe)。
在一种实施方式中，第一自动编码装置，也可以称为低级自动编码装置，具有至少一个变分自动编码装置(Variational Autoencoder)。
第二自动编码装置也可以被称为高级自动编码装置。
在一种实施方式中，第二自动编码装置的编码器具有至少一个基于注意力的人工神经网络(基于注意力机制的神经网络(attention-based neural network))，特别是至少一个多头注意力模块(Multihead Attention Block)。附加地或替代地，在一种实施方式中，第二自动编码装置的解码器具有至少一个胶囊神经网络。
在一种实施方式中，通过这种自动编码装置，可以特别有效机器学习地识别机器人数据时间历程中的模式群组。
在一种实施方式中，状态参数取决于特定于机器人的参照物、特别是末端执行器和/或一个或多个轴或驱动器的至少一个位置和/或方向，和/或取决于(相应的)机器人的至少一个轴负载；在一种扩展方案中，其指明了所述(一个或多个)位置和/或(一个或多个)方向和/或(一个或多个)轴负载和/或所述(一个或多个)位置和/或(一个或多个)方向和/或(一个或多个)轴负载的时间变化。附加地或替代地，在一种实施方式中，状态参数通过一个或多个传感器、在一种实施方式中是机器人侧或者说特定于机器人的传感器来采集。
这种状态参数由于其典型性而特别适合于监视和/或修正机器人的操作。
在一种实施方式中，在第二数据集中标记出所识别的模式群组，在一种实施方式中是以光学或视觉的方式来标记。由此，在一种实施方式中，用户可以专注于时间历程中特别相关的部分。
在一种实施方式中，基于所识别的模式群组来检测机器人异常。由此，在一种实施方式中，可以改善机器人的特别是预测性的维护。
附加地或替代地，在一种实施方式中，检测事件，例如检测特别是不可预见的或预定的环境接触。由此，在一种实施方式中，可以特别有利地例如针对不可预见的碰撞来监视机器人的操作，和/或例如根据预定的环境接触来修正机器人的操作，例如根据预定的环境接触来执行动作。
附加地或替代地，在一种实施方式中，对第二数据集的时间历程进行分类，在一种实施方式中是按照机器人是否已经执行特定动作和/或是否已经存在特定的边缘条件、特别是环境条件进行分类。然后，相应的时间历程可以例如基于该(自动)分类而用于机器学习。
在上文中仅给出了几个示例，即，如何能够有利地使用在具有一个或多个机器人状态参数时间历程的数据集内所识别的模式群组来分析、监视和/或修正机器人的操作。通常，在一种实施方式中是基于所识别的模式群组，在一种实施方式中是基于在第二数据集中标记出的模式群组、检测到的机器人异常、检测到的事件和/或第二数据集的被分类的时间历程来分析、监视和/或修正第一或第二机器人的操作。如上所述，该识别可以代表本发明意义下的对机器人操作的分析，或者同样地，在一种实施方式中，可以基于所识别的至少一个模式群组进行(进一步的)分析。
根据本发明的一种实施方式，提供一种用于分析机器人的操作的系统，特别是被硬件技术和/或软件技术地、特别是编程技术地设计用于执行在此所述的方法，和/或具有：
-用于执行训练阶段的装置，该训练阶段包括以下步骤：
-获得第一数据集，该第一数据集具有第一机器人的至少一个状态参数的至少一个时间历程；以及
-训练人工神经网络，该人工神经网络具有：
第一自动编码装置，具有将第一数据集映射到时间历程模式及其激活的编码器，以及利用该时间历程模式重构第一数据集的解码器；以及
第二自动编码装置，具有编码器和解码器，其中编码器将时间历程模式及其激活映射到模式群组，解码器利用该模式群组重构时间历程模式及其激活；
以及
-用于执行检测阶段的装置，该检测阶段具有以下步骤：
-获得第二数据集，该第二数据集具有第一或第二机器人的至少一个状态参数的至少一个时间历程；以及
-在该第二数据集内识别经训练的第二自动编码装置的至少一个模式群组。
在一种实施方式中，用于执行训练阶段的装置包括：
-用于获得第一数据集的装置，该第一数据集具有第一机器人的至
少一个状态参数的至少一个时间历程；
-人工神经网络，具有第一自动编码装置和第二自动编码装置；和/
或
-用于训练人工神经网络的装置。
在一种实施方式中，用于执行检测阶段的装置包括：
-用于获得第二数据集的装置，该第二数据集具有第一或第二机器人的至少一个状态参数的至少一个时间历程；和/或-用于在第二数据集内识别经训练的第二自动编码装置的至少一个模式群组的装置。
在一种实施方式中，该系统或其装置包括：
-用于标记第二数据集中被识别出的模式群组的装置；
-用于基于所识别的模式群组来检测机器人异常和事件和/或基于所识别的模式群组对第二数据集的时间历程进行分类的装置；和/
或
-用于基于所识别的模式群组，特别是基于在第二数据集中被标记出的模式群组和/或所检测到的机器人异常和/或所检测到的事件和/或第二数据集的被分类的时间历程，来分析、监视和/或修正机器人的操作的装置。
本发明意义下的系统和/或装置可以硬件技术和/或软件技术地构成，特别是具有：至少一个、优选与存储系统和/或总线系统进行数据连接或信号连接的处理单元，特别是数字处理单元，特别是微处理器单元(CPU)、图形卡(GPU)等，和/或一个或多个程序或程序模块。处理单元可以为此被设计为：处理被实现为存储在存储系统中的程序的指令；从数据总线采集输入信号；和/或将输出信号发送至数据总线。存储系统可以具有一个或多个、特别是不同的存储介质，特别是光学的、磁的、固体的和/或其它非易失性的介质。程序可以被如下地提供：即，其能够体现或执行在此所述的方法，使得处理单元能够执行这种方法的步骤，并且由此特别是能够识别模式群组和/或分析、监视和/或修正机器人的操作。在一种实施方式中，计算机程序产品可以具有、特别可以是特别是计算机可读的、非易失性的、用于存储程序或指令的存储介质或者其上存储有程序或其上存储有指令的存储介质。在一种实施方式中，该程序或该指令的实施使得系统、特别是计算机或多个计算机的布置实施该程序或该指令，使得该系统、特别是一个或多个计算机执行在此所述的方法或其中的一个或多个步骤，或者将程序或指令设计用于此目的。
在一种实施方式中，该方法的一个或多个、特别是所有的步骤被完全或部分自动地执行，特别是通过该系统或其装置。
在一种实施方式中，该系统具有机器人。
在一种实施方式中，检测阶段被在线地执行，在一种实施方式中是在第一或第二机器人的工作过程期间执行。在一种实施方式中，第二数据集是由第一或第二机器人的工作过程产生。由此，在一种实施方式中，不必执行单独的参考过程(Referenzprozess)。
在一种实施方式中，人工神经网络旨在生成与所获得的第一数据集的时间历程相同的输出，并同时从该时间历程中提取重复出现的和可区分的(diskriminativer)子序列(Teilsequenzen)。在一种实施方式中，基于不同的重复出现的和可区分的子序列的存在和定位(Lokalisierung)，将时间历程聚类为预先给定数量的群组。在本文中，将具有用于重构原始输入信号的瓶颈(Flaschenhals)的人工神经网络称为自动编码装置。
在一种实施方式中，第一自动编码装置或者说低级自动编码装置旨在于重构输入时间历程期间提取不同的但也反复出现的时间历程亚序列(Zeitverlaufssubsequenzen)。
在一种实施方式中，第一自动编码装置可以基于Kirschbaum,E等人(2019)的“LeMoNADe：Learned Motif and Neuronal Assembly Detection in calcium imagingvideos”，International Conference on Learning Representations中所详细描述的原理来设计。本文引用了该文章并将其全部内容并入到本公开的一部分中。
在一种实施方式中，第一数据集包括至少一个n维时间序列其中T为时间步长，d为对应于时间步长的状态参数，特别是为此而存储。可以假设，数据集中的每个样本是具有最大时间长度F的M个重复(时间历程)模式的相加混合(additive Mischung)。对于重复出现的时间序列亚序列(Zeitreihensubsequenz)的每个时间步长t＝1，…，T和每个动机(Motiv)m＝1，…，M，潜在的(latent)随机变量/>表示针对第M个模式的出现或激活编码。在一种实施方式中，如同Kirschbaum一样使用伯努利分布，以对潜在的随机变量建模。在一种实施方式中，用于训练的损失函数(Verlustfunktion，代价函数(lossfunction))包括重构误差/>其中，qφ(z|x)表示用于从输入x和规则化项(Regularisierungsterm)得出潜在变量z的参数φ的编码器，规则化项用于强制空间潜在分布，在一种实施方式中，这意味着模式在任何一点都应该相互排斥。
在一种实施方式中，第二自动编码装置或者说高级自动编码装置旨在将输入时间序列聚类到不同的群组中。可以假设：输入时间序列由从第一或者说低级自动编码装置提取的多个时间序列低级序列(Zeitreihen-Untersequenzen)或时间历程模式组合而成。在一种实施方式中，无论低级别时间序列区段的编号如何，第二或者说高级自动编码装置均旨在识别在当前输入时间序列中是否存在新的子序列，但是在所有过去的输入时间序列中缺失。如果是，第二或者说高级自动编码装置将该时间序列分类为新的类别。在一种实施方式中，第二高级别自动编码或聚类是基于低级别时间序列低级序列的组成来执行。
为了实施位置可变组合运算(Positionsvarianten-Kompositionsoperation)，在一种实施方式中，将其视为集合运算(Set-Operation)，并且使用具有针对序列顺序的位置嵌入的集合变换器(Set-Transformator)作为高级自动编码装置。集合变换器是基于注意力的神经网络，用于对数据集之间的交互进行建模。在一种实施方式中，它是由一个或多个具有可学习参数ω的多头注意力块(MAB)组成，该可学习参数可定义如下(请补充参考Lee，J等人(2019)的“Set Transformer:A Framework for Attention-based Permutation-Invariant Neural Networks”，Proc.of the 36th Int.Conference on MachineLearning,S.3744-3753，并且该文章的内容被全面引用作为本公开的一部分)：
给定两个d-维向量组：
MAB(X,Y)＝LayerNorm(H+rFF(H))，
其中，H＝LayerNorm(X+Multihead(X,Y,Y；ω)，rFF是类行(reihenartige)前馈层，并且以相同的方式独立地处理H中的每一行。“LayerNorm”表示层归一化(layernormalization)，其使得层的神经元的活动归一化。在一种实施方式中，通过层归一化，可以有利地稳定隐藏神经元状态(hidden neuron states)的动态并因此而减少训练时间。
多头(X，Y，Y；ω)也被称为多头的注意力或注意度(Aufmerksamkeit)，并且代表了一种计算人工神经网络中的神经元之间关系的方法。在一种实施方式中，这包括三个变量：“Query(查询)”、“key(钥匙)”和“vales(值)”。在一种实施方式中，在第一或者说低级自动编码装置中提取原始的时间序列或时间历程模式之后，尝试识别由所提取的低级别时间序列亚序列组成并应该反映了输入时间序列的视觉形式的更复杂模式。在一种实施方式中，使用d-维向量集X作为对注意力或注意度的“Query”，在一种实施方式中是使用所检测到的低级别时间序列亚序列的列表。注意力运算之后的输出“vales”Y应该是所检测到的低级别时间序列模式的组合，所使用的注意力运算的“key”在一种实施方式中是在导致“Query”集的训练数据集中未覆盖(unaufgedeckt)的一个、优选所有的低级别时间序列亚序列中的一些、优选所有可能的组合。这种注意力运算也被称为自注意力。
对于“Query”与“key”集之间的成对结合(Assoziation)的计算就计算而言可能是很复杂的。在一种实施方式中，这可以通过多头注意力来改善。在一种实施方式中，多头注意力将query(Q)/key(K)/values(V)投影到低维度h公共子空间，即维向量。在每个这样的h投影上应用注意力运算(Att(·；ωj))。在一种实施方式中，多头注意力允许模型共享来自不同的表达/>或者说子空间的信息。在一种实施方式中，输出是所有子空间注意力输出的关系的线性变换。
在一种实施方式中，元素的位置信息在query/key集中使用三角函数来表示，在一种实施方式中是使用正弦和余弦函数表示，在一种实施方式中是以如下形式来表示(对此请补充参考Soricut，Z.L.，Albert：A(2020)的“A Lite BERT for Self-supervisedLearning of Language Representations”，Proc.of ICLR 2020，并且该文章的内容被全面引用作为本公开的一部分)：
其中，pi (n)[j]是针对集中的第i个元素和该集中的第i个元素的、总大小为d的位置可变嵌入的第j个维度的位置嵌入，其中，c是常数并且在一种实施方式中是在10-5与10-3之间，并且在一种实施方式中为：c＝10-4。
在一种实施方式中，通过将位置编码添加到Query和key向量的投影公共空间来注入位置信息。
在一种实施方式中，上述的集变换(Satz-Transformer)的输出表示在每个输入中所确定的低级别时间序列亚序列或模式的候选组合的列表和/或对应于所建议的复杂候选模式或模式群组的列表。
在一种实施方式中，该集变换用作第二或者说高级自动编码装置的编码器。附加地或替代地，在一种实施方式中，使用胶囊神经网络或胶囊模块作为第二或者说高级自动编码装置的解码器。在一种实施方式中，胶囊运算的乘积是向量值，其提供了对特定特征的激活并附加地提供了用于描述激活特征的嵌入，例如定位。
在一种实施方式中，胶囊神经网络可以基于Kosiorek，A等人(2019)的“StackedCapsule Autoencoders”，Advances in Neural Information Processing Systems，S.15512-15522中详细描述的原理来设计。因此，请补充参考该文章并且其内容被全部并入到本公开中。
可以假设：复杂的时间序列模式或模式群组具有与输入时间序列相同的长度，但是具有取决于实例(Instance)的变换。例如，由于采样率不同，相同类型的时间序列在视觉上可能是不同的。然而，这些只是这种类型的标准规范时间序列的变体。在一种实施方式中，胶囊表示特定类型的这种典型时间序列，并且相关的嵌入描述了该标准的卷曲变化(Warping-Variation)。相反，所包含的特征性时间序列亚序列的定位可以从复杂的时间序列模式中导出。
在一种实施方式中，第二或者说高级自动编码装置的潜在空间(latent space)包括所确定的特征性低级别时间序列区段或时间历程模式的聚类群组或模式群组。在一种实施方式中，潜在空间以胶囊的形式表示，并且每一个都表示聚类群组及其相关的嵌入(embedding)。
在一种实施方式中，第二或者说高级自动编码装置的目标是训练表示输入数据长度的复杂模式的聚类群组。所导出的聚类群组关于低级别时间序列子区段的位置的定位与从第一或者说低级自动编码装置所学习的那些相匹配。
在本发明的一种实施方式中，在没有人员监督(human supervision)的情况下提取时间序列模式，并将所提取的模式归纳为其它未知的新的机器人状态参数时间历程。附加地或替代地，在一种实施方式中，所学习的数据集、特别是第一数据集的模式在新数据集、特别是第二数据集中的匹配可以将该新数据集在没有信息的情况下与具有已标记细节的已知数据集相关联。在一种实施方式中，通过这种方式，可以增加可供用于监视和特别是预测性的维护(predictive maintenance)的数据量。
在一种实施方式中，本发明包括以下应用中的一个或多个：
1.异常定位：在一种实施方式中，第一或第二数据集包括来自机器人应用中的不同情况的时间历程。来自相同场景的时间历程可以视为相同类型。在一种实施方式中，实时数据序列的特定区段会被标出。这些引人注目的区段是所给定的数据序列中的与先前记录的其它情况的序列差别最大的部分序列(Teilsequenzen)。用户可以专注于这些特定的区段来执行分析或诊断。例如，用户可以在由特征性低级序列指示的时间间隔内检查电机转矩或电机电流。
2.事件识别：机器人末端执行器上的力传感器中的峰值可以表示碰撞。持续上升的力水平可以指示所规划的接触事件。
3.没有手动标记的旧数据与新的被标记的数据的比较：在一种实施方式中，在未标记的数据中搜索存在于被标记的数据中的已知模式。在一种实施方式中如果在旧数据中再次出现相同的时间序列低级序列，则确定机器人在类似的条件下操作。结果是，用户可以基于新的被标记的数据的部分序列来传递其所知，以便利用较少的信息来分析旧的、未标记的数据。
4.机器学习，用于学习重复出现的时间序列基元(Zeitreihenprimitive)，例如脉冲、梯形区段、方波等。在一种实施方式中，对这些基元进行变换，以在实时数据序列中定位其变体。该函数特别适合用于根据具有特定特性的时间序列区段来估计或观察机器人状态的隐藏物理变量，例如轴摩擦。
5.基于特定视觉形式的典型低级序列，区分不同类别的时间序列。在一种实施方式中，通过观察这些差异，用户可以找到不同类别的时间序列的说明。
6.没有人工干预的时间序列数据的自动分组：在一种实施方式中，向用户提供每个时间序列数据组的代表性模式。
本发明意义上的激活可以特别地包括本发明意义上的定位和/或嵌入，反之亦然。
附图说明
更多的优点和特征由从属权利要求和实施例给出。为此部分示意性地示出了：
图1是根据本发明的一种实施方式的系统；以及
图2是根据本发明的一种实施方式的方法。
具体实施方式
图1示出了根据本发明一种实施方式的系统，图2示出了根据本发明一种实施方式的方法。
在训练阶段(图2：步骤S10、S20)，获得第一数据集，其包括机器人1的状态参数的时间历程x1(t)(图2：步骤S10)。在该实施例中，状态参数示例性地是驱动转矩调节误差。
接下来(图2：步骤S20)训练人工神经网络，该人工神经网络具有第一自动编码装置和第二自动编码装置，其中，第一自动编码装置具有将第一数据集映射到时间历程模式及其激活的编码器11和利用该时间历程模式重构第一数据集的解码器12；第二自动编码装置具有将时间历程模式及其激活映射到模式群组的编码器21和利用该模式群组重构时间历程模式及其激活的解码器22。
在检测阶段(图2：步骤S30、S40)，获得第二数据集，其包括机器人1的状态参数的时间历程x2(t)(图2：步骤S30)。
在步骤S40中，在第二数据集内识别被训练的第二自动编码装置的一模式群组，并在该第二数据集中进行标记。
该模式群组在图1中用具有虚线边缘的阴影矩形来表示：首先，学习最初在第一自动编码装置的潜在空间13中随机占据的时间历程模式及其激活，或者训练第一自动编码装置，使其尽可能良好地重构时间历程x1(t)。
将这样学习的时间历程模式和激活输入到第二自动编码装置中。在其潜在空间23中，时间历程模式和激活的所有可能组合最初被随机占据。
现在训练第二自动编码装置，使其尽可能良好地重构第一自动编码装置的时间历程模式和激活(“低级别时间序列亚序列”)。
在此可以看到，图1中示出的时间历程模式3在时间历程x1(t)中的特定位置处仅出现一次，如图1中带有虚线边缘的阴影矩形所示。
现在，在新的时间历程x2(t)中搜索或识别该时间历程模式3并标记，如图1中带有虚线边缘的阴影矩形所示。
时间历程x2(t)例如在机器人1的工作过程中被记录。
通过这种方式，可以在时间历程x2(t)或工作过程中识别有代表性的时间区段，例如碰撞、环境接触、机器人异常等。
通过这种方式，可以基于该识别的时间历程模式，在步骤S40中分析、监视和/或修正机器人的操作，例如在发生(特定的)机器人异常时相应地启动预测性维护。类似地，例如在检测到所规划的环境接触时，可以更详细地分析由于该环境接触引起的驱动转矩调节误差的历程。
尽管在前面的描述中阐述了示例性实施方式，但是应该指出的是，还可能存在许多变型。此外还应指出的是，该示例性实施方式仅仅是举例，其不应对保护范围、应用和构造形成任何限制。相反，通过前面的描述能够赋予本领域技术人员实现对至少一个示例性实施方式进行转换的教导，其中，在不脱离本发明保护范围的情况下，可以实现特别是关于所述组成部分的功能和布置的各种变化，例如可以根据权利要求和其等效的特征组合获得。
Claims (10)
1.一种用于分析机器人(1)的操作的方法，该方法包括：
-执行训练阶段，该训练阶段包括以下步骤：
-获得(S10)第一数据集，所述第一数据集具有第一机器人(1)的至少一个状态参数的至少一个时间历程；以及
-训练(S20)人工神经网络，所述人工神经网络包括：
第一自动编码装置，具有将所述第一数据集映射到时间历程模式及其激活的编码器(11)，以及利用该时间历程模式重构所述第一数据集的解码器(12)；以及
第二自动编码装置，具有将所述时间历程模式及其激活映射到模式群组的编码器(21)和利用该模式群组重构所述时间历程模式及其激活的解码器(22)；
以及
-执行检测阶段，该检测阶段包括以下步骤：
-获得(S30)第二数据集，所述第二数据集具有所述第一机器人或第二机器人的至少一个状态参数的至少一个时间历程；以及
-在所述第二数据集内识别(S40)经训练的第二自动编码装置的至少一个模式群组。
2.根据权利要求1所述的方法，其特征在于，所述第一自动编码装置具有至少一个变分自动编码装置。
3.根据前述权利要求中任一项所述的方法，其特征在于，所述第二自动编码装置的编码器具有至少一个基于注意力的人工神经网络，特别是至少一个多头注意力块。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述第二自动编码装置的解码器具有至少一个胶囊神经网络。
5.根据前述权利要求中任一项所述的方法，其特征在于，所述状态参数取决于特定于机器人的参照物的至少一个位置和/或方向，和/或取决于所述机器人的至少一个轴负载，和/或借助至少一个、特别是机器人侧的传感器来采集所述状态参数。
6.根据前述权利要求中任一项所述的方法，其特征在于，对所述第二数据集中被识别出的模式群组进行标记。
7.根据前述权利要求中任一项所述的方法，其特征在于，基于所识别的模式群组，检测机器人异常和/或事件，和/或对所述第二数据集的时间历程进行分类。
8.根据前述权利要求中任一项所述的方法，其特征在于，基于所识别的模式群组，特别是基于在所述第二数据集中所标记出的模式群组和/或所检测到的机器人异常和/或所检测到的事件和/或所述第二数据集的被分类的时间历程，分析、监视和/或修正所述第一机器人或第二机器人的运行。
9.一种用于分析机器人(1)的操作的系统，其被设计用于执行根据前述权利要求中任一项所述的方法，和/或包括：
-用于执行训练阶段的装置，所述训练阶段包括以下步骤：
-获得第一数据集，所述第一数据集具有第一机器人的至少一个状态参数的至少一个时间历程；以及
-训练人工神经网络，所述人工神经网络具有：
第一自动编码装置，具有将所述第一数据集映射到时间历程模式及其激活的编码器(11)，以及利用该时间历程模式重构所述第一数据集的解码器(12)；以及
第二自动编码装置，具有将所述时间历程模式及其激活映射到模式群组的编码器(21)和利用该模式群组重构所述时间历程模式及其激活的解码器(22)；
以及
-用于执行检测阶段的装置，所述检测阶段包括以下步骤：
-获得第二数据集，所述第二数据集具有所述第一机器人或第二机器人的至少一个状态参数的至少一个时间历程；
-在所述第二数据集内识别经训练的第二自动编码装置的至少一个模式群组。
10.一种计算机程序或计算机程序产品，其中，所述计算机程序或计算机程序产品包含特别是存储在计算机可读的和/或非易失性的存储介质上的指令，所述指令在通过一个或多个计算机或根据权利要求9所述的系统执行时使所述一个或多个计算机或所述系统执行根据权利要求1至8中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021208769.8 | 2021-08-11 | ||
| DE102021208769.8A DE102021208769B8 (de) | 2021-08-11 | 2021-08-11 | Verfahren und System zur Analyse eines Betriebs eines Roboters |
| PCT/EP2022/071511 WO2023016837A1 (de) | 2021-08-11 | 2022-08-01 | Verfahren und system zur analyse eines betriebs eines roboters |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118103178A true CN118103178A (zh) | 2024-05-28 |
Family
ID=83081568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280068758.1A Pending CN118103178A (zh) | 2021-08-11 | 2022-08-01 | 用于分析机器人的操作的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4384358A1 (zh) |
| CN (1) | CN118103178A (zh) |
| DE (1) | DE102021208769B8 (zh) |
| WO (1) | WO2023016837A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014226787B3 (de) | 2014-12-22 | 2016-03-17 | Kuka Roboter Gmbh | Sicherer Roboter mit Bahnfortschrittsvariablen |
| DE102017125330B3 (de) | 2017-10-27 | 2019-01-10 | Kuka Deutschland Gmbh | Virtuelle Funktionsauslöser |
| DE102018203234A1 (de) | 2018-03-05 | 2019-09-05 | Kuka Deutschland Gmbh | Vorausschauende Beurteilung von Robotern |
| DE102019214009B3 (de) | 2019-09-13 | 2020-12-10 | Kuka Deutschland Gmbh | Analyse von Sensormessdaten eines Roboters oder Manipulators |
| DE102019220574A1 (de) | 2019-12-27 | 2021-07-01 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Testen einer Maschine |
| DE102020210537A1 (de) | 2020-08-19 | 2022-02-24 | Kuka Deutschland Gmbh | Verfahren und System zum Handhaben einer Lastanordnung mit einem Robotergreifer |
-
2021
- 2021-08-11 DE DE102021208769.8A patent/DE102021208769B8/de active Active
-
2022
- 2022-08-01 EP EP22760708.2A patent/EP4384358A1/de active Pending
- 2022-08-01 CN CN202280068758.1A patent/CN118103178A/zh active Pending
- 2022-08-01 WO PCT/EP2022/071511 patent/WO2023016837A1/de unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023016837A1 (de) | 2023-02-16 |
| DE102021208769B8 (de) | 2023-02-23 |
| DE102021208769B3 (de) | 2023-01-05 |
| EP4384358A1 (de) | 2024-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111721535B (zh) | 一种基于卷积多头自注意力机制的轴承故障检测方法 | |
| Choi et al. | Gan-based anomaly detection and localization of multivariate time series data for power plant | |
| CN114386521A (zh) | 时间序列数据的异常检测方法、系统、设备和存储介质 | |
| Ko et al. | Fault classification in high-dimensional complex processes using semi-supervised deep convolutional generative models | |
| CA2921054C (en) | Anomaly detection system and method | |
| Zhou et al. | Hierarchical aligned cluster analysis for temporal clustering of human motion | |
| Joshi et al. | Multisensor fusion: A minimal representation framework | |
| Mohammad et al. | Neural networks as a tool for pattern recognition of fasteners | |
| Wang et al. | Detecting anomalies in time series data from a manufacturing system using recurrent neural networks | |
| Wu et al. | A weighted deep domain adaptation method for industrial fault prognostics according to prior distribution of complex working conditions | |
| Aydemir et al. | Image-based prognostics using deep learning approach | |
| Azzalini et al. | A minimally supervised approach based on variational autoencoders for anomaly detection in autonomous robots | |
| Yang | Monitoring and diagnosing of mean shifts in multivariate manufacturing processes using two-level selective ensemble of learning vector quantization neural networks | |
| KR102321440B1 (ko) | 이질적 다변량 시변 데이터를 이용한 이상 감지 장치 및 방법 | |
| Utkin et al. | A siamese autoencoder preserving distances for anomaly detection in multi-robot systems | |
| Utkin et al. | Detection of anomalous behavior in a robot system based on deep learning elements | |
| Maniak et al. | Hierarchical spatial-temporal state machine for vehicle instrument cluster manufacturing | |
| Yokkampon et al. | Robust unsupervised anomaly detection with variational autoencoder in multivariate time series data | |
| Dengler et al. | Applied machine learning for a zero defect tolerance system in the automated assembly of pharmaceutical devices | |
| CN114067286A (zh) | 基于序列化可形变注意力机制的高位相机车辆重识别方法 | |
| Zhang et al. | Deep transfer learning-based hierarchical adaptive remaining useful life prediction of bearings considering the correlation of multistage degradation | |
| Graabæk et al. | An experimental comparison of anomaly detection methods for collaborative robot manipulators | |
| JP2022140294A (ja) | 欠損データを回復するためにオートエンコーダアーキテクチャを有するニューラルネットワークをトレーニングするためのシステムおよび方法 | |
| Zhang et al. | LIFE: Learning individual features for multivariate time series prediction with missing values | |
| CN118103178A (zh) | 用于分析机器人的操作的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |