CN116894211A - 用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序 - Google Patents

用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序 Download PDF

Info

Publication number
CN116894211A
CN116894211A CN202310342378.9A CN202310342378A CN116894211A CN 116894211 A CN116894211 A CN 116894211A CN 202310342378 A CN202310342378 A CN 202310342378A CN 116894211 A CN116894211 A CN 116894211A
Authority
CN
China
Prior art keywords
ifa
anomaly
sensor data
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310342378.9A
Other languages
English (en)
Inventor
尼古拉斯·特韦斯
格奥尔格·施奈德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of CN116894211A publication Critical patent/CN116894211A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序。在用于针对由异常识别模块就工业制造过程的高频传感器数据或从中推导出的参量所预言的异常生成能由人类感知的解释性输出的系统中，当异常识别模块将描述制造过程的机器、构件和/或产品的状态的传感器数据或传感器数据的范围分类为偏离正常期望的能观察的数据时，异常识别模块预言异常，其中，该系统被配置成将优化的解释性掩码作为能由人类感知的解释性输出发送，其中，人类基于优化的解释性掩码识别出哪些传感器数据、传感器数据的范围或从中推导出的参量对由异常识别模块预言的异常负责。

Description

用于生成能由人类感知的解释性输出的系统及用于监控异常 识别的方法和计算机程序
技术领域
本发明涉及用于针对由异常识别模块就工业制造过程的高频传感器数据或从中推导出的参量所预言的异常生成能由人类感知的解释性输出的系统。此外，本发明还涉及用于监控基于人工智能在工业制造过程的高频传感器数据或从中推导出的参量中进行的异常识别的方法和计算机程序。另外，本发明还涉及用于在变速器的下线声学检验时监控基于人工智能的异常识别的方法和计算机程序。
以下限定、说明和实施方案保留它们各自的针对所有的公开发明主题的意义并且应用于所有的公开发明主题。
背景技术
工业制造过程是多变且复杂的过程，它们相应地容易出现错误和故障。这些过程和/或单个步骤例如包括根据DIN 8580的初成型工艺、改型工艺、分离工艺、接合工艺、涂层工艺和/或材料特性改变工艺。变速器(例如车辆变速器或风力涡轮机的变速器)的下线检验，例如包括变速器的功能检验和/或声学检验，是一个工业制造过程。同时，在所谓的第四次工业革命的范围内，利用传感器来贯彻制造过程正在不断增加，由此确保了通过数据来全面地反映出过程。
确保工业过程步骤顺利进行与高复杂性和高成本相关，这是因为错误确认和错误消除通常是手动的过程并且还是被动发生的。申请号102021210107.0的德国申请公开了用于工业制造过程中的异常识别的计算机实施的方法、模块和系统，利用它们可以分别监控工业制造过程和/或工业制造过程的单个步骤，以便更好地识别偏差或异常。所公开的用于异常识别的系统是其大脑形成分析模型或异常识别模型的整体系统。异常识别模型基于数据评价状态并计算出异常值。异常值反映异常程度，也参见申请号102021210106.2的德国申请。由此，工业制造过程中的异常按照数据驱动的方式获知，尤其是通过有序的数字数据，例如声谱图。在那里公开的异常识别算法、异常识别模块和异常识别系统通过明确引用而属于本公开的内容。
例如，用于异常识别的分析模型基于机器学习算法。逻辑递归在此仅为分析模型的一个示例。其它分析模型例如包括孤立树(也称为孤立森林)、自动编码器、生成式对抗网络(也称为生成对抗网)、卷积网络或支持向量机。孤立森林表示一种异常识别算法，通过孤立来识别异常。在此，借助二叉树孤立异常。孤立森林在训练集不包含异常或包含很少异常的情况下效果很好。由此，孤立森林是有利的分析模型。
申请号为102021210106.2的德国申请公开了一种用于异常识别的计算机实施的方法和系统以及一种用于在变速器的声学最终检验中的异常识别的方法，借助它们可以分别基于状态数据地反映出状态异常的程度。在那里公开的异常识别模型和用于计算异常值的方法通过明确引用而属于本公开的内容。
一种工业制造过程中经常出现的数据类型是高频数据，即，由传感器(例如温度传感器、振动传感器、力传感器、压力传感器、声学传感器、测量传感器、电流传感器和/或电压传感器)以高采样率记录的数据。采样率依赖于相应的应用。例如在声学领域中高于20kHz、在电气工程中高于9kHz、在医疗应用中自1kHz起的频率被称为高频。这些以高频率记录的数据的共同点是，它们与其它数据的处理方式不同。一个原因是数据点的量，另一个原因是待分析的数据中的频率的重要性。在高频数据的情况下，通常例如借助傅立叶变换来分析频谱。
基于这些数据，最基本的任务(其优选由人工智能领域的算法完成)之一是识别出在制造过程、制造步骤之内或在检验构件和/或产品时的异常。为了为该检测提供必要的稳健性和使用者信心，算法识别出的异常必须至少部分地由人类有效监督并且通过人类来评价。人为的监督例如用于防止或最小化安全风险。在人工智能领域的算法的情况中，由于算法做决策的复杂性，评价对于人类而言很难在没有辅助措施的情况下进行。数据越复杂，例如在高频数据的情况下，这就越适用。
人工智能包括机器学习。机器学习是如下技术，该技术通过从数据中学习来示教计算机和其它数据处理设备执行任务，而非针对任务进行编程。机器学习算法的示例是人工神经网络，例如卷积网络、支持向量机和随机森林模型。人工智能领域的算法的任务一般在于，使潜在地隐藏在数据中的信息可用。一个经常处理的任务在此是，按照类别对数据集分类。在此，可以应用已知的类别，此处的示例是以动物种类对动物图像进行分类。在其它情况中，类别只是粗略地已知，例如在与本发明相关的异常识别中，其中，仅一个类别是已知的(正常)，并且任务是，识别出与之有偏差的数据示例(不正常)。
发明内容
本发明的任务是，如何能够为人类生成来自人工智能领域的算法的输出的可解释性，即，能够理解算法为什么执行了确定的归类或分类的附加输出，尤其是如何能够生成人类可理解的可解释性输出，其代表了尤其是在将工业制造过程的利用传感器得到的数据集分类为正常和不正常的数据时算法基于经处理的高频数据所做的决策。
独立/从属权利要求的主题解决了该任务。本发明的有利设计方案由限定、从属权利要求、附图和对优选实施例的描述得到。
根据一个方面，本发明提供了一种用于针对由异常识别模块就工业制造过程的高频传感器数据或从中推导出的参量所预言的异常生成能由人类感知的解释性输出的系统。当异常识别模块将描述制造过程的机器、构件和/或产品的状态的传感器数据或传感器数据的范围分类为偏离正常期望的能观察的数据时，异常识别模块预言异常。该系统被配置成，
·基于由异常识别模块处理的传感器数据或传感器数据的范围、异常识别模块就传感器数据或传感器数据的范围实施的机器学习模型和借助机器学习模型预言的异常计算出针对所预言的异常的解释；
·为了解释性计算，确定解释性掩码，该解释性掩码改变已就其预言了异常的传感器数据或传感器数据的范围，使得异常识别模块将利用解释性掩码掩码过的传感器数据分类为正常；
·使解释性掩码的值通过机器学习模型对分别被掩码的传感器数据的迭代处理来优化；
·使优化的解释性掩码作为能由人类感知的解释性输出发送，其中，人类基于优化的解释性掩码来识别哪些传感器数据、传感器数据的范围或从中推导出的参量对由异常识别模块预言的异常负责。
系统可简称为HF-xAI。HF表示高频传感器数据。x一方面表示数据，且另一方面能利用它解释人工智能；在后一方面中，“x”是explainable(可解释)的缩写。AI代表人工智能并表示借助人工智能预言异常。
异常识别模块例如是在申请号为102021210107.0的德国申请中公开且在此在图2中作为实施例描述的IF-Anom异常识别模块。
传感器数据利用传感器采集。术语“传感器”包括真实的传感器和传感器模型。传感器模型模拟真实的传感器。传感器例如可以是温度传感器、振动传感器、力和压力传感器、光学传感器(包括摄像头传感器、红外线传感器、激光雷达传感器和雷达传感器)、电流传感器、电压传感器和/或用于测量构件尺寸的传感器。传感器或传感器模型是技术组件。在具体情况下使用哪些传感器依赖于各自的过程步骤。根据本发明的一个方面，机器的功能和构件的特性借助传感器(包括上述传感器)监控。根据一个方面，本发明包括如下传感器配置：
·与构件相关的传感器测量：几何形状、外观；
·与机器相关的测量：一个或多个组件的振动和温度；
·构件测试中的传感器：噪声、振动、电流强度、压力。
根据一个方面，传感器借助物联网技术相互传输传感器数据和/或将其传输至根据本发明的解决方案的各个组件/模块，和/或传输至云基础设施。由此可以实现自动化的或自主的异常识别。云基础设施包括基于云的数据存储器。云基础设施例如是公共云基础设施、私有云基础设施或混合云基础设施。
从传感器数据推导出的参量的示例是声谱图。例如，由传感器记录的时间信号例如借助快速傅立叶变换转换到频域中。在声谱图中，一个条目对应于一个频率在一个时间间隔内的振幅或能量，也就是说得到数值矩阵，其中，每一列对应一个时间间隔，而每一行对应一个频率。声谱图通常是具有时间轴和频率轴的二维矩阵。因而声谱图的条目是有序的。
在声谱图的示例中，解释性掩码是矩阵，通常是二维矩阵。解释性掩码用于改变原始传感器数据或原始声谱图，使得异常识别模块的机器学习模型将有问题的数据集识别为正常。该过程基于有针对性地对抗攻击的场景。解释性掩码的各个值现在被改变，使得异常识别模块的机器学习模型不再将原始数据集识别为异常。随后，解释性掩码形成解释，其中，该解释反映出原始数据从不正常转变为正常所需的改变。
优化的解释性掩码呈现出与异常识别的解释在决策方面相关的高频传感器数据的范围或声谱图的区域。系统将解释性输出的呈现集中在以确定方式实现、改进或适宜地设计人类对与决策相关的区域的感知。
根据本发明的系统可以是分布式系统，例如云化系统。传感器例如本地布置在工业制造过程的生产步骤处，并且异常识别模块和解释性输出的计算在云中执行。因而，异常识别作为功能软件在云基础设施中实施。在另一示例中，传感器和异常识别模块本地布置在工业制造过程中并且解释性输出的计算在云中进行。在本文中，基于传感器数据、机器学习模型和预言的异常意味着，在云中实施的评估模块通过相应的发送和接收单元接收异常识别模块的传感器数据、机器学习模型和预言的异常。
这些模块包括硬件模块和/或软件模块。硬件模块包括电子单元、集成电路、嵌入式系统、微控制器、多处理器片上系统、中央处理器和/或硬件加速器，例如图形处理器、数据存储单元和互联元件，例如WLAN模块、RFID模块、蓝牙模块、NFC模块。
限定什么是异常例如可以基于对工业制造过程中状态如何理解的限定。状态描述过程、构件和/或(生产)机器在确定时间点或确定时间间隔内的状况/特性。该状态通过借助如上所述的适当的传感器进行测量来获知。在此，哪些传感器是适当的，依赖于对状态以及待描述的系统(构件、机器、……)的限定。相反，相应的传感器的可用性也影响对状态的限定。无法通过相应的传感器获取的状态并非对状态的有意义的限定。状态可以在工业制造过程中具有不同的特点，本发明还包括以下的状态限定：
·机器的状态可以通过时间间隔(例如最后10秒)之内的传感器数据的整体来限定，以及附加地通过因构件而异的参数来限定。
·构件的状态可以通过测试结果来限定，以及通过包含不同的构件变量的其它构件参数来限定。
状态的分布依赖于各自的状态限定来确定。异常是由相应的传感器数据说明的状态，该状态不仅是少有的而且也基于所记载的数据地偏离几乎所有其它状态，例如特征是高频记录的振动的所获知的状态。异常是少有且不同的。尽管如此，正常与不正常之间的准确区分往往很困难并且在许多情况下甚至无法以可用的数据来明确区分，从而使得状态最终总有一定概率是不正常的。为了正确对待该情形，建议人类检查者/评价者。
解释性输出涉及人工智能领域的算法的可解释性。针对以类别对数据集的具体归类/分类，例如不正常，生成解释性输出作为附加的输出，使得人类能够理解为什么恰好执行这种分类。该系统实现人工智能领域的算法在应用高频数据时的可解释性。高频数据向人类提出了特殊的挑战，这是因为其不适用日常经验，例如一般常用的图像和表格式数据就是这种情况。该系统支持人类理解人工智能领域的算法基于高频数据处理的决策。在此，可理解性实现了工业环境中重要的不同的任务，例如：
·原因：解释性输出提供了针对相关分类或预言的异常的原因。因此可以建立对基于人工智能的自动化使用的信任，并且假如必要，则可以满足监管要求。
·控制：用于训练人工智能领域的算法的数据集很少是完美的，因而必须确保将此类算法考虑用于决策的方面针对问题而言是有意义的并因此是稳健的。因此确保了算法针对在用于初始训练和测试的数据之外的示例也提供有意义的结果。尤其地，这样，如果算法提供了错误的结果，也可以制定对策。
·改进：对系统理解得越好，就可以更好地制定进一步的改进。人工智能领域的算法的可解释性因而也对其演化和发展起决定性作用。
·发现：工业制造中的异常识别的关键问题是，为什么会产生异常以及如何能够消除异常，这通过术语“根本原因分析(Root-Cause-Analyse)”说明。分类为不正常的传感器数据的可解释性在此可以提供关键指示。
如果系统被设计为在某些地方自主运作，这通常是工业应用中的目标，那么所提到的方面还获得额外的相关性。
根据一个方面，解释性输出通过系统的人机接口发送给人类。因此，系统在实施异常识别的检查时通过人机接口给人类提供支持。
自然人可以通过系统监控异常识别模块。在此，人为的监督用于防止或最小化在异常识别模块中发生错误时所产生的安全风险。
根据另一方面，对异常进行注释，以便提供更高的细节度。根据一个方面，注释分成多个(细节)级别，例如三个级别。在此，第一级别包括检查者的二元分类，例如假阳性事件。在第二级别中，检查者例如可以更详细地指定相关构件。在第三级别中，检查者例如可以提供针对其检查/其结果的更详细的说明。根据另一方面，注释例如在线以表格/文件形式返回报告。
本发明另一方面涉及根据本发明的系统在异常识别模块的模型演化期间的应用。
基于系统的解释性输出，在由异常识别模块实施的机器学习模型的训练过程中确保不学习训练数据的错误、随机或无关的方面。因此能够控制针对训练人工智能领域的算法的数据集。这因而确保了针对决策所考虑到的方面是有意义和稳健的。
系统还可以在以下应用场景中使用：
·应用在异常识别的原型运行中：通过显示异常预言基于数据的相关方面来获得人类工作人员的信任；
·在抽检运行期间应用：检查异常识别的结果并因此确保方法的高质量和对方法的信任。
附加地，解释性输出可以与异常识别的结果一起存储，用于之后的更广泛的分析，以便满足可能的例如对透明度的监管要求。这种要求例如在所谓的用于监管人工智能的欧盟法案(EU-Act)中需要。
根据另一方面，本发明提出一种能用于监控基于人工智能在工业制造过程的高频传感器数据或从中推导出的参量中进行的异常识别的方法。该方法包括如下步骤：
·获得由异常识别模块处理的、由异常识别模块实施的机器学习模型已据此预言异常的传感器数据，获得机器学习模型并获得所预言的异常；
·生成针对所预言的异常的解释性输出；
·将解释性输出发送给人类评价者；
·基于解释性输出人为地将所预言的异常评价为正确或错误预言的异常；
·借助人机接口将评价发送给系统、异常识别模块和/或发送给工业制造过程的分别涉及到的生产步骤。
根据一个方面，借助根据本发明的系统生成解释性输出。
根据另一方面，本发明提供一种能用于在变速器的下线声学检验时监控基于人工智能的异常识别的方法。该方法包括如下步骤：
·利用转速曲线驱动变速器、借助声学传感器测量产生的结构噪音并获得结构噪音时序；
·将结构噪音时序变换到频域中并获得声谱图；
·基于针对确定的频率范围的预定的极限值，以类别“正常”和“不正常”对声谱图分类；
·通过人工神经网络处理声谱图，该人工神经网络被训练成在声谱图上预言异常；
·假如人工神经网络在被分类为正常的声谱图上预言异常，则针对所预言的异常生成解释性输出；
·基于解释性输出向人类评价者展示出声谱图的对所预言的异常负责的区域。
根据一个方面，借助根据本发明的系统生成解释性输出。
根据本发明的方法可以由计算机执行。
根据另一方面，本发明提供一种能用于监控基于人工智能在工业制造过程的高频传感器数据或从中推导出的参量中进行的异常识别的计算机程序。该计算机程序包括如下指令：当计算机程序在计算机上运行时，该指令促使计算机实施用于监控基于人工智能对工业制造过程的高频传感器数据或从中推导出的参量进行的异常识别的方法的步骤。
根据另一方面，本发明提供一种能用于在变速器的下线声学检验时监控基于人工智能的异常识别的计算机程序。该计算机程序包括如下指令：当计算机程序在计算机上运行时，该指令促使计算机实施在变速器的下线声学检验时监控基于人工智能的异常识别的方法的步骤。
计算机程序的指令包括以汇编语言、面向对象的编程语言(例如C++)或以过程编程语言(例如C)编写的机器指令、源文本或目标代码。计算机程序根据一个方面是例如通过数据载体或数据载体信号借助软件空中下载(Software Over The Air)技术提供的不依赖于硬件的应用程序。
根据另一方面，系统被配置成，以能在视觉上感知的方式向人类示出优化的解释性掩码、由初始传感器数据或从中推导出的参量和优化的解释性掩码构成的组合或者初始传感器数据或从中推导出的参量和优化的解释性掩码的并列表达。组合例如是将优化的解释性掩码与初始/原始传感器数据相加或相应地相乘。也可以与具有比初始传感器数据更低维数的解释性掩码组合。因此，针对视觉感知制备了解释性输出。初始传感器数据或从中推导出的参量和优化的解释性掩码的并列表达使评价者能够更好地识别和评价在初始传感器数据中的与决策相关的地方。
根据一个方面，系统被配置成，将解释性输出作为能听到的信号生成。在这种情况下，人类评价者能够听到并评价噪声差异。
根据另一方面，系统被配置成，除了生成解释的视觉或音频输出之外，以汇报的形式生成输出。例如，属于基于声谱图的解释性输出的汇报以文本描述了哪些频率以及振幅/激励在哪些时间高了百分之多少。
根据另一方面，系统被配置成，在如下一个或多个边界条件下优化解释性掩码的值，
·初始的传感器数据的或从中推导出的参量的变化是最小的；
·初始的传感器数据的或从中推导出的参量的变化集中在传感器数据的局部范围中；
·相对于逐点的传感器数据而言，侧重于传感器数据的或从中推导出的参量的关联范围的变化；和/或
·经改变的值在可期待的能观察的值或能物理实现的值范围中。
边界条件或限制产生在可解释性方面的助力。例如，通过侧重于关联区域来实现针对人类的更好的可解读性。边界条件例如能够以正则化项的形式纳入到优化中。根据一个方面，不同限制的精确设计和权重可以由系统用户配置。因此，用户可以选择不同的配置，它们被用于计算解释性输出并且以迭代法生成匹配于具体应用情况的解释性输出。根据另一方面，用户具有从在许多情况中带来良好结果的一系列标准配置中来选定的可能性。一旦匹配，则所选择的配置就以符合标准的方式针对所有后续识别到的异常来转化实施。在此也可能的是，存储多种配置，从而依赖于待解释的示例的例如元数据地选择所应用的配置。
根据另一方面，系统被配置成，利用随机值干扰初始的传感器数据或从中推导出的参量和/或解释性掩码。例如，通过解释性掩码而改变的声谱图在每次优化进程中都受到随机值的干扰。为此，例如将与原始声谱图具有相同维数的且由随机值组成的矩阵添加至声谱图和/或解释性掩码。这种干扰导致改进的解释性掩码，这是因为避免了解释性掩码在仅表面上最优的值/局部最小值处趋于平稳。已经认识到，以此改进了解释性输出。利用随机值的干扰可以影响解释结果。系统以在许多情况下提供良好结果的参数启动。此外，系统的用户以迭代过程因应用而异地对参数进行细化。
根据另一方面，解释性掩码具有与初始的传感器数据或从中推导出的参量相同的维数，并且系统被配置成，将解释性掩码迭代地与初始的传感器数据或从中推导出的参量相加和/或将解释性掩码迭代地与初始的传感器数据或从中推导出的参量相乘。如果例如从初始的传感器数据推导出二维矩阵形式的声谱图，则解释性掩码与声谱图全等。加法和乘法会导致不同的解释结果。因此，系统的用户可以测试不同的配置。
根据另一方面，解释性掩码初始具有比初始的传感器数据或从中推导出的参量更低的维数，并且系统被配置成，借助上采样来确定具有与初始的传感器数据或从中推导出的参量相同维数的解释性掩码。声谱图例如由大量的单个值组成。因此，针对解释性掩码(其应当使异常识别模块的机器学习模型的分类结果相反)得到大量可能的影响。然而，为了生成在可解释性方面提供了助力的解释性掩码，得到的结构应当尽可能简单且有规律。为实现此目的，通过从维数低于待解释的声谱图的解释性掩码开始，从解释性掩码中获得自由度。通过决定性的上采样才生成与原始的声谱图具有相同维数的解释性掩码。
根据另一方面，系统包括：
·数据输入模块，其获得由异常识别模块处理的传感器数据或传感器数据的范围、异常识别模块就传感器数据或传感器数据的范围实施的机器学习模型和借助机器学习模型预言的异常；
·评估模块，其获得由数据输入模块获得的数据和所获得的机器学习模型并基于此生成解释性输出，其中，评估模块包括将解释性输出发送给人类的第一发送模块；
·存储模块，该存储模块包括接收模块，该接收模块接收由人类基于解释性输出进行的将所预言的异常作为正确或错误预言的异常的评价，其中，存储模块接收并存储由数据输入模块获得的数据、所获得的机器学习模型、由评估模块生成的解释性输出和由接收模块接收的评价；
·第二发送模块，其将由人类进行的对所预言的异常是正确或错误预言的异常的评价发送给异常识别模块以改进机器学习模型。
数据输入模块可以是异常识别模块与系统之间的数据接口。在其中系统在云中被实施的云化实施方案中，数据接口例如是无线接口。由于系统也通过数据输入模块获得来自异常识别模块的机器学习模型，系统可以在本地例如在云中或通过系统的评估模块迭代地优化解释性掩码。在优化期间，不需要与异常识别模块进行数据交换。因此节省了运算时间。
根据另一方面，数据输入模块被配置成，检查由异常识别模块获得的数据的有效性。如果例如针对传感器数据预定了浮点型的数据类型，则数据输入模块检查所获得的传感器数据是否作为浮点数存在。元数据能够以不同的数据格式存在。基于该检查，根据另一方面，数据在此时已经被尽可能地校正或者向操作员发送返回报告，其中，显示出问题并且暂停进一步的处理直至所要求的更正。
评估模块对应于解释生成器并且可以包括硬件加速器，它们被配置成对解释性掩码进行优化。评估模块例如可以包括一个或多个图形处理器。根据一个方面，评估模块包括多个子模块，例如四个子模块，例如用于解释性计算的第一子模块、用于相似度计算的第二子模块、用于解释转变的第三子模块以及用于制备解释性输出的第四子模块。第一子模块对解释性掩码进行优化。第二子模块通过与存储模块交换数据来将当前待评价的异常与已经评价了的异常进行比对。第三子模块可以将解释性输出换算到对应的数据空间，以便在评定时进一步给评价者提供支持。第四子模块为视觉或听觉感知制备解释性输出。
根据一个方面，存储模块是云存储器。
根据另一方面，系统被配置成，在解释当前预言的异常时，将针对该当前异常的传感器数据或传感器数据的范围与预言的异常的存储在系统的存储模块中的传感器数据进行比较，将针对该当前异常的解释性输出与预言的异常的存储在存储模块中的解释性输出进行比较并且/或者将由分别针对该当前异常的传感器数据和解释性输出构成的组合与预言的异常的存储在存储模块中的相应的组合进行比较。系统被配置成，通过实施其中实现距离度量的算法来确定比较。因此，可以在三个层面上进行比较。由此确保，不仅在基本测量之间，而且在错误图形之间以及最终在实际上相似的产品/构件(它们由于错误在生产期间得到不同的测量结果)之间发现结构相似性。
例如，比较或算法由用于相似度计算的第二子模块执行。算法可以基于简单的距离度量(例如欧氏距离)来实施比较。根据一个方面，算法对自动编码器嵌入执行余弦距离。
余弦距离或也称为余弦相似度是两个向量的相似度的度量。在此，确定两个向量之间的角的余弦值。余弦相似度有利于比较数据，尤其是关于语义关系。根据一个方面，该算法是US4839853中公开的潜在语义分析(Latent Semantic Analysis)算法，其中，可以通过余弦相似度将搜索查询与文件或文档进行比较。
为了在已检查的潜在异常的上下文中对所涉及的异常进行归类，根据一个方面，系统按照标准方式示出三个最相似的先前检查的异常。因而确保了，一方面检查者可以高效地工作，并且另一方面使评价具有一定的一致性。如果向评价者展示之前评价的异常，那么该评价者也可以在已得到新的认知的情况下后续更改其估计。因此，例如可以录入有关构件的认知，其中，已由系统识别到异常并且为了发现错误而在实验室中更仔细地检查。
根据另一方面，系统被配置成，在其它数据空间中示出初始的传感器数据并且在该数据空间中生成解释性输出。在其它数据空间中的示出例如借助用于解释转变的第三子模块实施。因此，针对评定解释和潜在异常开辟了重要的信息源。如果已根据其处理了异常识别的原始信号例如是振动/时间信号，例如声学信号，则计算出的解释首先也是这种类型。针对检查者而言，系统还提供了例如通过傅里叶变换在频域中观察该信号的可能性。因此，检查者就有可能在视觉上观察和评定声学信号本身。反之也是可能的，即，将原本存在于频域中的信号换算成声学信号并且听到不正常的噪声。
假如在将原始信号换算到其它数据空间中时出现欠定性，则根据一个方面在系统中实施策略以处置这种情况。一方面，系统可能会根据经验为一个问题假定良好地起作用的标准值。这不仅可以是开放式参数的单个值而且也可以是完整的选择范围，其中，评价者接下来有可能选择出最需要的结果。另一方面，在此存在与相似度计算有可能的关联。如果在解释转变中出现参数欠定性，则能够将在相似解释和原始数据中已提供良好结果的这种值赋予自由参数。
根据另一方面，系统被配置成，针对对由异常识别模块预言的异常负责的传感器数据、传感器数据的范围或从中推导出的参量以提高的频率引入采样。因此，实现了数据采集的进一步改进。例如，系统可以例如以元文件形式发送建议，应以更高的频率对特别相关的区域进行采样。
附图说明
在以下实施例中说明本发明。其中：
图1示出了工业制造过程的一个实施例，
图2示出了异常识别模块的第一实施例，
图3示出了根据本发明的系统的实施例，
图4a示出了图3的系统的细节图，
图4b示出了根据本发明的用于监控基于人工智能在工业制造过程的高频传感器数据或从中推导出的参量中进行的异常识别的方法的一个实施例，
图5a示出了声谱图形式的初始的传感器数据的一个实施例，
图5b示出了图5a的声谱图的示例值，
图5c示出了初始的解释性掩码的一个实施例，
图6a示出了图5a的声谱图，
图6b示出了优化的解释性掩码的一个实施例，
图6c示出了视觉上可感知的解释性输出的一个实施例，
图7a示出了声谱图的一个实施例，
图7b示出了针对图7a的声谱图的根据本发明生成的解释性输出，和
图8示出了根据本发明的用于在变速器下线声学检验时监控基于人工智能的异常识别的方法的实施例。
附图中相同附图标记标识相同或功能相似的参考构件。为了清楚在各个附图中仅强调出分别相关的参考构件。
具体实施方案
工业化制造通常划分为所谓的生产线，生产线又细分为各个相互依存的生产步骤PS。在此，一条生产线具有确定的生产能力，例如每天生产100件产品。此外，还通过使用其中制造相同产品的、更多条类似的生产线来扩大生产。除了主线外，还存在制造主要产品的各个组件的副线。各个生产步骤PS可以具有不同的特性，例如可以拧接组件、铣削构件或者执行构件的质检。图1所示的工业制造过程IF包括一条主线和两条副线。主线包含生产步骤PS1、PS2、PS3。其中一条副线例如同样包括三个生产步骤PS1、PS2、PS3并且例如涉及主线的生产步骤PS2。另外的副线例如同样包括三个生产步骤PS1、PS2、PS3并且例如涉及主线的生产步骤PS3。在主线结束时，执行下线检验EOL。
异常识别模块IF-Anom例如监控生产步骤PS、PS1、PS2、PS3和/或关于出现的异常的分别所属的生产机器PM，参见图2。
异常识别模块IF-Anom整合了如下步骤或模块：基于数据地限定待监控的过程的状态Z；对所有需要的数据进行存储和处理；基于历史数据Data1来训练异常识别；整合人类检查员Expert以用于控制识别/预言的异常以及用于为了有针对性地扩展训练数据库Data1而生成其它注释；识别/预言异常；处理人类检查员Expert的评价并基于此连续调整和改进异常识别。
在此，基本功能(例如保存和扩展数据库、设置训练模型的配置Konfig-Model、请求用以扩展数据基础的注释)由第一模块“IF-Anom核”承担。
识别/预言潜在异常的任务通过第二模块“IF-Anom异常识别器”执行。在此，由待监控的生产步骤PS或生产机器PM连续地将对应于所限定的状态Z的数据和/或检验结果发送给IF-Anom。然后，IF-Anom的应答包含以“正常/不正常”对状态Z的归类，可选地带有置信度估计，并通过第三模块“IF-Anom异常注释管理器”发送给人类专业人员Expert进行检查。
以何种程度实际上由人类Expert检查IF-Anom的建议，不仅依赖于应用情况而且也依赖于IF-Anom的训练进展，也就是说，IF-Anom估计的可预期的准确性有多高。
作为附加的可选的第四模块“IF-Anom数据”，异常识别模块IF-Anom包括将其它数据源整合到生产步骤PS中的可能性。这例如可以是与特殊激励相关的附加的振动传感器。这样生成的数据可以在运行中被传输至异常识别模块IF-Anom，并且一旦生成足够量的数据，就可以用作针对模型训练的其它数据源。
模型训练例如可以通过例如计算机实施的如下方法执行：
·在预定时间点或预定时间间隔内从类似过程步骤和/或从下游的过程中获得在工业制造过程IF的至少一个待监控过程步骤PS、PS1、PS2、PS3中的过程、构件和/或生产机器PM的状态Z的数据Data1、Data2，其包括传感式测得的数据和/或由对过程的模拟所获得的数据；
·基于数据Data1、Data2确定状态限定；
·存储数据和状态限定；
·训练至少一个机器学习模型IFA2用于异常识别，其中，将数据Data1、Data2馈入机器学习模型IFA2，并且机器学习模型IFA2基于状态限定来确定状态Z的分布并且基于该分布将基于数据Data1、Data2是少有的和/或偏离其它状态Z的状态Z分类为异常；
·评价受训练的机器学习模型，其中，检查机构Expert在分类出异常的情况下对真异常结果和/或假异常结果进行注释；
·用注释来扩展数据Data1、Data2并且存储经扩展的数据；
·存储受训练的机器学习模型IFA2及其评价。
图2所示的场景1例如可以涉及趋于崩溃的生产机器PM的情况。在已知现有技术中，在这种情况下仅在生产机器PM失效并且因而产生了停产成本的情况下才执行维修。假如生产机器PM没有即刻失效，则仍然不留意地产出有缺陷的构件，这些构件将被进一步加工，并随后可能导致在下游的生产步骤PS、PS1、PS2、PS3或产品中的问题。
在图2中，对工业制造过程IF和/或以传感器S来检验的贯彻以及数据Data2的相应的可用性为智能异常识别模块IF-Anom和/或其相应的模块“IF-Anom核”、“IF-Anom异常识别器”、“IF-Anom异常注释管理器”提供如下可能性，即，借助人工智能AI基于数据来获知生产步骤PS、PS1、PS2、PS3的状态Z或检验，并且随后探测异常行为并报告。这一方面可以实现对出现的变化的及早响应，在理想情况下在过程停顿或缺陷构件继续过程链之前就及早响应，并且另一方面更好地识别出所基于的错误。
图2中，异常识别模块IF-Anom例如监控生产步骤PS或生产机器PM。其例如可能是加工构件的车床或通过人来拧接构件。应用异常识别模块IF-Anom的流程例如如下：
在确认待监控的过程步骤之后，鉴定所考虑的数据库Data2。基于此来确认待监控状态Z的基于数据的限定。然后选择用于异常识别模块IF-Anom的初始训练数据Data1。
训练数据Data1的主数据源通常由所涉及到的过程以及上游过程的历史数据组成，只要这些数据对于状态Z的评定是相关的。这例如可以是所涉及构件的几何信息。此外，例如，因为针对待监控的过程没有足够数据可用，所以类似过程的数据可以被考虑作为训练数据Data1的第二数据源。在某些情况下，合成的模拟数据可以用作训练数据的第三数据源。在此，例如通过所涉及的过程的物理模型来人工生成/模拟数据。
关于训练数据Data1的第二和第三数据源，例如可以使用迁移学习(TransferLearning)。数据Data1、Data2的处理以及模型训练由第一模块“IF-Anom核”承担。
在异常识别模块IF-Anom运行期间，连续地将监控过程的数据Data2发送给第二模块“IF-Anom异常识别器”。第二模块“IF-Anom异常识别器”从第一模块“IF-Anom核”获得当前模型以及因应用情况而异的配置Konfig-Model，其中，例如指定了对所到来的数据Data2的必要预处理。在应用这些模型的情况下，由第二模块“IF-Anom异常识别器”执行对当前状态Z的评定。
该评定被传送至第三模块“IF-Anom异常注释管理器”。第三模块“IF-Anom异常注释管理器”承担的任务是决定是否以及何时将用于评定的状态Z交给一位或哪位人类专业人员Expert。粗略地说，例如几乎总是传送识别到的异常并附加地在某些情况下传送被识别为正常的示例。一位/一些人类专业人员Expert的评价返回至第三模块“IF-Anom异常注释管理器”，其决定以何种形式将注释返回至第一模块“IF-Anom核”，以便在那里相应扩展数据库。在理想情况下，在此给第三模块“IF-Anom异常注释管理器”提供关于评定的元信息，例如进行评定的专业人员的、尤其是由于数据保护的原因而所需的匿名的身份认证以及何时做出评定的时间戳。第三模块“IF-Anom异常注释管理器”的细节描述如下。
为了构建扩展的数据库，将发送至第二模块“IF-Anom异常识别器”的数据从该第二模块传送至第一模块“IF-Anom核”模块以进行处理和数据存储。第一模块“IF-Anom核”承担对机器学习模型IFA2进行定期的重新训练或再训练。为了此目的，第一模块“IF-Anom核”也有可能将注释请求发送至第三模块“IF-Anom异常注释管理器”。
如果预言的异常被检查者Expert认定为异常或识别到的异常未经检查就被释放，则例如导致两种反应。一方面，基于被识别为异常的状态Z地进一步鉴定所监控的生产步骤PS以决定是否/何时必须执行维护/维修。另一方面，可以预防性地挑出和/或单独鉴定在出现异常期间和之后已处理的构件。
第四模块“IF-Anom数据”在该场景下针对附加的数据生成的示例性应用是专门设计的测试程序，该测试程序生成在标准生产条件下不会出现的机器状态，然而包含关于待监控的生产机器PM的组件的健康状态的大量信息。
例如，高频时间信号通常借助快速傅立叶变换或小波变换变换到频域中。在时间信号中一般可能需要在处理之前将它们同步以确保可比性。具有再次特定处理步骤的基本不同的数据源是图像数据。这些步骤高度依赖于各自的应用，然而其并不影响异常识别模块IF-Anom的此处所述的基本原理。
首先，借助快速傅里叶变换将时间信号转换为声谱图Sona。在该声谱图Sona之内，可以将区域配属给确定的变速器构件，并设有不允许超过的极限值。基于这些区域、所谓的特征和所属的极限值，如果极限值未被超过，则变速器G的状态Z被确认为正常，而如果至少一个极限值被超过，则变速器的状态被确认为不正常。
在声谱图Sona中，一个条目对应于一个频率在一个时间间隔内的振幅或能量，也就是说，得到数值W的矩阵，其中，每一列对应于一个时间间隔，而每一行对应于一个频率。声谱图Sona的条目借此进行排列。
特征和所属极限的确认是复杂的过程，其一方面由变速器G的构建得到，且另一方面由在使用期间的经验得到。由此得到，总是存在未被识别出的有问题的变速器G。由于该原因，通过借助异常识别模块IF-Anom的异常识别来扩展已建立的变速器声学检验。
一种模型，其应用自动编码器以映射训练数据中常见的所观察的状态Z。自动编码器是具有两部分神经网络架构的模型。模型的一部分学习状态的低维度表示，例如生成声谱图Sona，而模型的第二部分学习从中恢复原始状态。在此所犯的错误针对很少出现的状态比针对大多数出现的状态Z更大。由此，该模型可以被用于异常识别。
图3示出异常识别模块IF-Anom与根据本发明的系统HF x-AI的协作。在HF x-AI运行期间，在异常识别模块IF-Anom和HF x-AI之间进行数据交换。与异常识别相关的数据(过程步骤PS的或来自产品检验例如机器组件或产品组件的振动测量的高频采样的传感器数据Data2)以及与异常识别相关的元数据(例如材料编号、机器参数)，通过各自的过程步骤PS的相应实施的接口提供给异常识别模块IF-Anom。基于这些数据，IF-Anom生成以类别进行的归类。在此，至少考虑了“正常/不正常”类别，然而更高的细节度也是可能的，例如以异常的不同类型进行的归类也是可能的。
根据本发明的系统HF x-AI实现了使所执行的预言易于理解的任务。为此，异常识别模块IF-Anom将由其处理过的数据IFA1、所使用的AI模型IFA2以及归类结果(例如预言的异常IFA3)发送给HF x-AI。HF x-AI据此计算出解释性输出EA，该解释性输出使人类Expert易于理解异常识别的结果。在此，解释性输出EA往往是视觉性质的，然而不限于此。随后，附加于异常识别结果，还将解释性输出发送给人类检查者Expert，其验证异常识别结果，以便随后引入相应的步骤。
如果认定了识别到的异常，例如可以停止生产，可以挑出可能有缺陷的部件并且可以基于作为方法步骤A3所示出的根本原因分析(Root-Cause-Analyse)来纠正基本错误。如果识别到的异常被归类为假预言，则在方法步骤A1中可以将评价结果纳入对机器学习模型IFA3的改进中。在方法步骤A2中，该评价纳入对数据采集的改进中。例如可以通过评价以更高频率对数据进行采样。在方法步骤A4中，通过证明异常预言是基于数据的相关方面的，构建人类工作人员对系统HF x-AI和/或异常识别模块IF-Anom的信任(例如在异常识别的原型运行中)。
图4a示出系统HF x-AI。由异常识别模块IF-Anom发送给系统HF x-AI的数据IFA1、IFA2、IFA3首先进入数据输入模块Data。在那里检查数据IFA1、IFA2、IFA3例如关于数据类型的有效性。基于该检查，在此刻已尽可能地校正数据，或者触发了给操作人员的显示问题的反馈并暂停进一步处理直至所要求的更正。
随后，将数据IFA1、IFA2、IFA3发送给存储模块Mem和解释生成器Gen，它们是生成解释性输出EA的中央机构。解释生成器Gen例如由四个子模块Sub1～Sub4组成，下面对它们进行简要说明并且在后续段落中更详细地说明。其中一个模块Sub1用于计算出解释，另一个模块Sub4用于生成可被人类Expert处理的解释性输出EA，而两个另外的模块Sub2、Sub3用于对计算出的解释进行扩展。将计算出的解释性输出EA发送给存储模块Mem并且在那里添加给输入数据IFA1、IFA2、IFA3。
所制备的解释性输出EA被发送给人类评价者Expert。评价者Expert拥有必要的专业知识，以确保对潜在异常进行高质量的归类。评价者Expert利用解释性输出EA来了解异常识别模块IF-Anom的归类是否正确。为了确保高质量的解释，评价者Expert可以通过调设出不同的参数以迭代法(参见方法步骤B2)手动地细化解释性计算。潜在的异常的最终归类被输入人机接口HMI并在方法步骤B3中发送给存储模块Mem，从而在那里存在关于异常及其评价的完整数据集。用于最终解释的参数由解释生成器Gen存储并用作针对未来解释的标准。基于Expert的归类，在认定异常的情况下实施涉及到生产过程的措施。
在方法步骤B4中，评价者Expert的评价，尤其是评价者的归类被反馈给AI模型以改进这些模型。在方法步骤B5中，评价者Expert的归类被反馈到工业制造过程IF的相应的过程中以改进对异常的处置。在方法步骤B1中，在解释生成器Gen和存储模块Mem之间进行数据交换，例如为了基于当前预言的异常IFA3与存储在存储模块Mem中的历史性预言的异常IFA3及分别所属的数据的比较来进行相似度计算。
在图4b所示的方法步骤C1中，获得由图4a的异常识别模块IF-Anom处理的传感器数据IFA1(由异常识别模块IF-Anom实施的机器学习模型IFA2已据此预言异常)、机器学习模型IFA2和预言的异常IFA3。在方法步骤C2中，针对所预言的异常IFA3生成解释性输出EA。在方法步骤C3中，解释性输出EA被发送给人类评价者Expert。在方法步骤C4中，基于解释性输出EA将所预言的异常IFA3人为评价为正确预言的或错误预言的异常IFA3。在方法步骤C5中，将该评价借助人机接口HMI发送给系统HF x-AI、异常识别模块IF-Anom和/或发送给工业制造过程IF的分别涉及的生产步骤PS。
图5a～图5c示出了对解释性输出EA进行计算的示例。由异常识别模块IF-Anom处理的数据IFA1在图5a中以声谱图Sona的形式存在。图5b以简化形式示出了声谱图Sona是时间/频率值W的矩阵。图5c示出了解释性掩码EM，其与图5a、5b的声谱图Sona具有相同维数并且例如利用零初始化。
图6b示出了优化的解释性掩码EM，其构成对图6a中所示的不正常的声谱图Sona的解释。图6a的声谱图Sona已被异常识别模块IF-Anom分类为不正常。从初始化出发，例如参见图5c，系统HF x-AI的评估模块Gen迭代地改变解释性掩码EM，使得解释性掩码EM将起初不正常的声谱图Sona转换为正常的声谱图Sona。在所示示例中，尤其是在图6a的声谱图Sona的上部区域中，值W减小。图6c示出了解释性输出EA，即，图6b的优化的解释性掩码的视觉图。
图7a示出在变速器G的下线EOL声学检验中被异常识别模块IF-Anom分类为不正常的声谱图Sona的示例。图7b示出通过系统HF x-AI计算出的解释性输出EA。暗区域对应于解释性掩码EM中的负值。亮区域对应于解释性掩码EM中的正值。
制成的变速器G的无瑕疵状态在下线EOL检验范畴中被确认。该检验例如包含功能检验和/或声学检验。在声学检验的范畴内，以不同档位经历转速斜坡并在此期间在变速器壳体上测量所产生的结构噪音。这对应于图8中的方法步骤D1。
随后，通过借助快速傅立叶变换将加速度/时间信号换算到频域中来进行对变速器状态的已建立的评定，参见图8中的方法步骤D2，并接着将极限值应用于确定的时间/频率范围。该检验的结果以“无问题”和“有问题”被归类。这对应于图8中的方法步骤D3。因为已建立的变速器噪声检验评估无法获知所有有问题的变速器，所以在图8中所示的方法步骤D4中对被分类为无问题的变速器检验执行基于AI的异常识别。在此，为了识别出异常，例如使用基于卷积神经网络CNN的算法，其结果IFA3由评价者Expert检查。
在此，CNN根据变速器噪声检验的声谱图Sona工作并且得出声谱图Sona以正常/不正常类别的归类。如果测试为“无问题”的变速器G通过CNN被分类为不正常，则该分类可以由人类评价者Expert检查。为了可以有针对性地进行该检查，使用HF x-AI，以便向检查者Expert展示声谱图Sona的与分类为异常有关的区域。这对应于图8中示出的方法步骤D5。
在该应用情况中，将解释性掩码EM与原始声谱图Sona相加并且在下列边界条件的情况下进行调整，使得原始声谱图Sona与解释性掩码EM之和不再被所使用的CNN分类为不正常。优化例如借助梯度下降法进行。所使用的边界条件是：
·解释性掩码EM的所有的值W的量/绝对值的和应当尽可能小。因此实现，解释性掩码以节约的方式处置变化并且特别关注异常归类的实际相关区域。
·解释性掩码EM的相邻值W之间的变化应当尽可能小。借此实现，解释性掩码EM侧重于关联区域并因而生成对于人类Expert而言能更好地解读的表示。
·限制由解释性掩码EM诱发的变化。也就是说，原始声谱图Sona与解释性掩码EM之和在任一单个值W的层面上不允许高于或低于确定的值。因此，阻止了求解算法生成导致不真实的声谱图Sona的解释性掩码EM。目标在此是，解释性掩码EM发现/移除声谱图Sona中的不正常的结构，而在此不会生成过于不真实的声谱图Sona。
·在优化中这种类型的其它项可能是有意义的并且必须依赖于确切的使用场景来设计。
然后，在图8所示的方法步骤D6中，基于解释性输出EA向人类评价者Expert显示声谱图Sona的对所预言的异常IFA3负责的区域。
附图标记
IF 工业制造过程
PS1～PS3 生产步骤
PS 生产步骤
PM 生产机器
G 变速器
EOL 下线检验
S 传感器
HF x-AI 系统
EA 解释性输出
EM 解释性掩码
HMI 人机接口
IF-Anom 异常识别模块“IF-Anom核”第一模块“IF-Anom异常识别器”第二模块“IF-Anom异常注释管理器”第三模块“IF-Anom数据”第四模块
Expert 监控者/人类评价者IFA1由异常识别模块处理的传感器数据IFA2 机器学习模型
IFA3 预言的异常
Data1 第一数据
Data2 高频传感器数据
Data3 第三数据
Sona 声谱图
Data 数据输入模块
Gen 评估模块/解释生成器Sub1用于解释性计算的第一子模块Sub2用于相似度计算的第二子模块Sub3 用于解释转变的第三子模块Sub4用于制备解释性输出的第四子模块Mem存储模块
Z 状态
Konfig-Model 受训练的模型的配置
AI 人工智能
CNN 卷积神经网络
A1～A4 方法步骤
B1～B4 方法步骤
C1～C5 方法步骤
D1～D6 方法步骤

Claims (15)

1.用于针对由异常识别模块(IF-Anom)就工业制造过程(IF)的高频传感器数据(Data2)或从中推导出的参量所预言的异常(IFA3)生成能由人类(Expert)感知的解释性输出(EA)的系统(HF x-AI)，其中，当所述异常识别模块(IF-Anom)将描述制造过程(IF)的机器(PM)、构件和/或产品(G)的状态(Z)的传感器数据(Data2)或传感器数据的范围分类为偏离正常期望的能观察的数据时，所述异常识别模块(IF-Anom)预言异常，其中，所述系统(HFx-AI)被配置成，
·基于由所述异常识别模块(IF-Anom)处理的传感器数据(IFA1)或传感器数据的范围、所述异常识别模块(IF-Anom)就传感器数据(Data2)或传感器数据的范围实施的机器学习模型(IFA2)和借助所述机器学习模型(IFA2)预言的异常(IFA3)计算出针对所预言的异常(IFA3)的解释；
·为了解释性计算，确定解释性掩码(EM)，所述解释性掩码改变已就其预言了异常(IFA3)的传感器数据(IFA1)或传感器数据的范围，使得所述异常识别模块(IF-Anom)将利用所述解释性掩码(EM)掩码过的传感器数据分类为正常；
·使所述解释性掩码(EM)的值(W)通过所述机器学习模型(IFA2)对分别被掩码的传感器数据的迭代处理来优化；
·使优化的解释性掩码(EM)作为能由人类(Expert)感知的解释性输出(EA)发送，其中，人类(Expert)基于所述优化的解释性掩码(EM)来识别哪些传感器数据(IFA1)、传感器数据的范围或从中推导出的参量对由所述异常识别模块(IF-Anom)预言的异常(IFA3)负责。
2.根据权利要求1所述的系统(HF x-AI)，所述系统被配置成，以能在视觉上感知的方式向人类(Expert)示出所述优化的解释性掩码(EM)、由初始的传感器数据(IFA1)或从中推导出的参量与所述优化的解释性掩码(EM)构成的组合或者初始的传感器数据(IFA1)或从中推导出的参量与所述优化的解释性掩码(EM)的并列表达。
3.根据前述权利要求中任一项所述的系统(HF x-AI)，所述系统被配置成，在如下一个或多个边界条件下优化所述解释性掩码(EM)的值(W)，
·初始的传感器数据(IFA1)的或从中推导出的参量的变化是最小的；
·初始的传感器数据(IFA1)的或从中推导出的参量的变化集中在传感器数据的局部范围中；
·相对于逐点的传感器数据而言，侧重于传感器数据的或从中推导出的参量的关联范围的变化；和/或
·经改变的值(W)在可期待的能观察的值或能够物理实现的值的范围中。
4.根据权利要求3所述的系统(HF x-AI)，所述系统被配置成，利用随机值干扰初始的传感器数据(IFA1)或从中推导出的参量和/或所述解释性掩码(EM)。
5.根据前述权利要求中任一项所述的系统(HF x-AI)，其中，所述解释性掩码(EM)具有与初始的传感器数据(IFA1)或从中推导出的参量相同的维数，并且所述系统(HF x-AI)被配置成，将所述解释性掩码(EM)迭代地与初始的传感器数据(IFA1)或从中推导出的参量相加和/或将所述解释性掩码(EM)迭代地与初始的传感器数据(IFA1)或从中推导出的参量相乘。
6.根据权利要求1至4中任一项所述的系统(HF x-AI)，其中，所述解释性掩码(EM)初始具有比初始的传感器数据(IFA1)或从中推导出的参量更低的维数，并且所述系统(HF x-AI)被配置成，借助上采样来确定具有与初始的传感器数据(IFA1)或从中推导出的参量相同维数的解释性掩码(EM)。
7.根据前述权利要求中任一项所述的系统(HF x-AI)，所述系统包括：
·数据输入模块(Data)，所述数据输入模块获得由所述异常识别模块(IF-Anom)处理的传感器数据(IFA1)或传感器数据的范围、所述异常识别模块(IF-Anom)就传感器数据(Data2)或传感器数据的范围实施的机器学习模型(IFA2)和借助所述机器学习模型(IFA2)预言的异常(IFA3)；
·评估模块(Gen)，所述评估模块获得由所述数据输入模块(Data)获得的数据(IFA1、IFA3)和所获得的机器学习模型(IFA2)并基于此生成所述解释性输出(EA)，其中，所述评估模块(Gen)包括将所述解释性输出(EA)发送给人类(Expert)的第一发送模块；
·存储模块(Mem)，所述存储模块包括接收模块，所述接收模块接收由人类(Expert)基于所述解释性输出(EA)进行的将所预言的异常(IFA3)作为正确或错误预言的异常(IFA3)的评价，其中，所述存储模块(Data)接收并存储由所述数据输入模块(Data)获得的数据(IFA1、IFA3)、所获得的机器学习模型(IFA2)、由所述评估模块(Gen)生成的解释性输出(EA)和由所述接收模块接收的评价；
·第二发送模块，所述第二发送模块将由人类(Expert)进行的对所预言的异常(IFA3)是正确或错误预言的异常(IFA3)的评价发送给所述异常识别模块(IF-Anom)以改进所述机器学习模型(IFA2)。
8.根据前述权利要求中任一项所述的系统(HF x-AI)，所述系统被配置成，在解释当前预言的异常(IFA3)时，将针对此当前的异常(IFA3)的传感器数据或传感器数据的范围与预言的异常(IFA3)的存储在所述系统(HF x-AI)的存储模块(Mem)中的传感器数据进行比较，将针对此当前的异常(IFA3)的解释性输出(EA)与预言的异常(IFA3)的存储在所述存储模块(Mem)中的解释性输出(EA)进行比较并且/或者将由分别针对此当前的异常(IFA3)的传感器数据和解释性输出(EA)构成的组合与预言的异常(IFA3)的存储在所述存储模块(Mem)中的相应的组合进行比较，其中，所述系统(HF x-AI)被配置成，通过实施其中实现距离度量的算法来确定比较。
9.根据前述权利要求中任一项所述的系统(HF x-AI)，所述系统被配置成，在其它数据空间中示出初始的传感器数据(IFA1)并且在该数据空间中生成所述解释性输出(EA)。
10.根据前述权利要求中任一项所述的系统(HF x-AI)，所述系统被配置成，针对对由所述异常识别模块预言的异常(IFA3)负责的传感器数据、传感器数据的范围或从中推导出的参量以提高的频率引入采样。
11.根据前述权利要求中任一项所述的系统(HF x-AI)在异常识别模块(IF-Anom)的模型演化期间的应用，其中，基于所述系统(HF x-AI)的解释性输出(EA)在机器学习模型(IFA2)的由所述异常识别模块(IF-Anom)实施的训练过程中确保不学习训练数据的错误的、随机的或无关的方面。
12.用于监控基于人工智能(AI)在工业制造过程(IF)的高频传感器数据(Data2)或从中推导出的参量中进行的异常识别的方法，所述方法包括如下步骤：
·获得由异常识别模块(IF-Anom)处理的、由异常识别模块(IF-Anom)实施的机器学习模型(IFA2)已据此预言异常的传感器数据(IFA1)，获得所述机器学习模型(IFA2)并获得所预言的异常(IFA3)(C1)；
·生成针对所预言的异常(IFA3)的解释性输出(EA)(C2)；
·将所述解释性输出(EA)发送给人类评价者(Expert)(C3)；
·基于所述解释性输出(EA)人为地将所预言的异常(IFA3)评价为正确或错误预言的异常(IFA3)(C4)；
·借助人机接口(HMI)将评价发送给系统(HF x-AI)(B3)、所述异常识别模块(IF-Anom)(B4)并且/或者发送给工业制造过程(IF)的分别涉及到的生产步骤(PS)(B5)(C5)。
13.用于在变速器(G)的下线(EOL)声学检验时监控基于人工智能(AI)的异常识别的方法，所述方法包括如下步骤：
·利用转速曲线驱动所述变速器(G)、借助声学传感器(S)测量产生的结构噪音并获得结构噪音时序(D1)；
·将结构噪音时序变换到频域中并获得声谱图(Sona)(D2)；
·基于用于确定频率范围的预定的极限值，以类别“正常”和“不正常”对所述声谱图(Sona)分类(D3)；
·通过人工神经网络(AI、IFA2)处理所述声谱图(Sona)，所述人工神经网络被训练成在所述声谱图(Sona)上预言异常(D4)；
·假如所述人工神经网络(AI、IFA2)在被分类为正常的声谱图(Sona)上预言异常，则针对所预言的异常(IFA3)生成解释性输出(EA)(D5)；
·基于所述解释性输出(EA)向人类评价者(Expert)展示出所述声谱图(Sona)的对所预言的异常(IFA3)负责的区域(D6)。
14.用于监控基于人工智能(AI)在工业制造过程(IF)的高频传感器数据(Data2)或从中推导出的参量中进行的异常识别的计算机程序，所述计算机程序包括如下指令：当所述计算机程序在计算机上运行时，所述指令促使所述计算机实施根据权利要求12所述的方法的步骤。
15.用于在变速器(G)的下线(EOL)声学检验时监控基于人工智能(AI)的异常识别的计算机程序，所述计算机程序包括如下指令：当所述计算机程序在计算机上运行时，所述指令促使所述计算机实施根据权利要求13所述的方法的步骤。
CN202310342378.9A 2022-04-07 2023-03-31 用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序 Pending CN116894211A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022203475.9A DE102022203475A1 (de) 2022-04-07 2022-04-07 System zum Erzeugen einer von einem Menschen wahrnehmbaren Erklärungsausgabe für eine von einem Anomalieerkennungsmodul vorhergesagte Anomalie auf hochfrequenten Sensordaten oder davon abgeleiteten Größen eines industriellen Fertigungsprozesses, Verfahren und Computerprogramm zur Überwachung einer auf künstlicher Intelligenz basierenden Anomalieerkennung in hochfrequenten Sensordaten oder davon abgeleiteten Größen eines industriellen Fertigungsprozesses und Verfahren und Computerprogramm zur Überwachung einer auf künstlicher Intelligenz basierenden Anomalieerkennung bei einer End-of-Line Akustikprüfung eines Getriebes
DE102022203475.9 2022-04-07

Publications (1)

Publication Number Publication Date
CN116894211A true CN116894211A (zh) 2023-10-17

Family

ID=85792447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310342378.9A Pending CN116894211A (zh) 2022-04-07 2023-03-31 用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序

Country Status (4)

Country Link
US (1) US20230325640A1 (zh)
EP (1) EP4258179A1 (zh)
CN (1) CN116894211A (zh)
DE (1) DE102022203475A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369426B (zh) * 2023-12-08 2024-03-01 台昌树脂(佛山)有限公司 基于热熔胶生产控制系统的状态监控方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4839853A (en) 1988-09-15 1989-06-13 Bell Communications Research, Inc. Computer information retrieval using latent semantic structure
DE102019110721A1 (de) 2019-04-25 2020-10-29 Carl Zeiss Industrielle Messtechnik Gmbh Workflow zum trainieren eines klassifikators für die qualitätsprüfung in der messtechnik
KR20200142993A (ko) 2019-06-14 2020-12-23 현대자동차주식회사 엔진 상태 진단 방법 및 엔진 상태 진단 모델링 방법
DE102019135608A1 (de) 2019-12-20 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und System zur Detektion von anomalen Betriebszuständen eines Geräts
DE102020201742A1 (de) 2020-02-12 2021-08-12 Zf Friedrichshafen Ag Selektieren von sensorumgebungsbezogenen Trainingsdaten
DE202021101570U1 (de) 2021-03-25 2021-04-16 Abb Schweiz Ag System zur Zustandsdarstellung für eine Automatisierungsanlage
DE102021210106A1 (de) 2021-09-14 2023-03-16 Zf Friedrichshafen Ag Computerimplementierte Verfahren und System zur Anomalieerkennung und Verfahren zur Anomalieerkennung in einer akustischen Endprüfung eines Getriebes
DE102021210107A1 (de) 2021-09-14 2023-03-16 Zf Friedrichshafen Ag Computerimplementierte Verfahren, Module und System zur Anomalieerkennung in industriellen Fertigungsprozessen

Also Published As

Publication number Publication date
US20230325640A1 (en) 2023-10-12
DE102022203475A1 (de) 2023-10-12
EP4258179A1 (de) 2023-10-11

Similar Documents

Publication Publication Date Title
Iqbal et al. Fault detection and isolation in industrial processes using deep learning approaches
Diez-Olivan et al. Data fusion and machine learning for industrial prognosis: Trends and perspectives towards Industry 4.0
US20210334656A1 (en) Computer-implemented method, computer program product and system for anomaly detection and/or predictive maintenance
Zhou et al. Differential feature based hierarchical PCA fault detection method for dynamic fault
KR101508641B1 (ko) 생산 공정에서 데이터마이닝을 이용하여 제품 상태를 예측하는 장치 및 방법
EP3223095B1 (en) Method and apparatus for optimizing diagnostics of rotating equipment
EP3183622B1 (en) Population-based learning with deep belief networks
Rodríguez Ramos et al. An approach to robust fault diagnosis in mechanical systems using computational intelligence
US20230176562A1 (en) Providing an alarm relating to anomaly scores assigned to input data method and system
Du et al. Fault diagnosis in assembly processes based on engineering-driven rules and PSOSAEN algorithm
US20230289568A1 (en) Providing an alarm relating to an accuracy of a trained function method and system
Adam et al. Multiple faults diagnosis for an industrial robot fuse quality test bench using deep-learning
US20230281486A1 (en) Automatic functionality clustering of design project data with compliance verification
Du et al. An integrated system for on-line intelligent monitoring and identifying process variability and its application
CN114139589A (zh) 故障诊断方法、装置、设备与计算机可读存储介质
CN116894211A (zh) 用于生成能由人类感知的解释性输出的系统及用于监控异常识别的方法和计算机程序
Chen et al. The advance of digital twin for predictive maintenance: The role and function of machine learning
Martins et al. Prediction maintenance based on vibration analysis and deep learning–A case study of a drying press supported on a hidden Markov model
De Martini et al. Fault detection of electromechanical actuators via automatic generation of a fuzzy index
Efeoğlu et al. Machine learning for predictive maintenance: support vector machines and different kernel functions
Donat et al. Data visualization, data reduction and classifier fusion for intelligent fault diagnosis in gas turbine engines
Abdoune et al. About perfection of digital twin models
EP3686812A1 (en) System and method for context-based training of a machine learning model
Xin et al. Adaptive Model Verification for Modularized Industry 4.0 Applications
US20210073685A1 (en) Systems and methods involving detection of compromised devices through comparison of machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication