CN115087995A - 用于工业车间的特定生产过程的迁移学习方法 - Google Patents

用于工业车间的特定生产过程的迁移学习方法 Download PDF

Info

Publication number
CN115087995A
CN115087995A CN202180014315.XA CN202180014315A CN115087995A CN 115087995 A CN115087995 A CN 115087995A CN 202180014315 A CN202180014315 A CN 202180014315A CN 115087995 A CN115087995 A CN 115087995A
Authority
CN
China
Prior art keywords
data
machine learning
training
learning model
production process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014315.XA
Other languages
English (en)
Inventor
贝内迪克特·施密特
伊多·阿米哈伊
阿扎姆·穆扎法尔·科特里瓦拉
蒙塞夫·希欧亚
丹尼斯·詹卡
菲力克斯·伦德斯
扬·克里斯托夫·施拉克
马丁·霍伦德
海迪尔·阿布夸克
本杰明·克洛珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN115087995A publication Critical patent/CN115087995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41835—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by programme execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32015—Optimize, process management, optimize production line
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32352—Modular modeling, decompose large system in smaller systems to simulate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种用于工业车间的特定生产过程的迁移学习方法，包括以下步骤：提供(S10)定义生产过程的期望数据的多个数据模板(T)；提供(S20)包括所述特定生产过程的数据点的所述工业车间的车间数据(P)，其中所述数据点(P)包括关于所述特定生产过程的输入和输出的信息；其中，所述数据模板(T)根据所述预期数据在所述工业车间中的关系来定义所述预期数据的分组；确定(S30)所述特定生产过程的过程实例，定义所述车间数据(P)与所述特定生产过程的期望数据之间的映射；使用所确定的过程实例来确定(S40)历史过程数据，该历史过程数据是与该特定生产过程相关的历史传感器数据；使用所确定的过程实例(I)和所确定的历史过程数据(H)来确定(S50)训练数据；其中所述训练数据包括结构化的数据矩阵，其中所述数据矩阵的列表示根据所述数据模板(T)分组的所述传感器数据，并且其中所述数据矩阵的行表示获得所述传感器数据的时间戳；使用所确定的过程实例提供(S60)预训练的机器学习模型；以及使用所提供的预训练模型和所确定的训练数据来训练(S70)新的机器学习模型。

Description

用于工业车间的特定生产过程的迁移学习方法
技术领域
本公开涉及用于工业车间的特定生产过程的迁移学习的方法、由该方法训练的新机器学习模型的用途、数据处理系统和计算机程序。
背景技术
考虑到工业中机器学习的当前状态，对于将其用于不同的有用应用存在增长的兴趣。基于机器学习的工业应用在诸如预测维护、过程监测和质量控制的不同任务中起作用。在这些不同的问题任务中，诸如温度、压力、流量等的某些信号可以在不同的任务之间被共享，并且因此使得知识能够在任务之间迁移。然而，为工业车间的特定问题构建机器学习模型，然后通过重新使用它来解决另一车间的类似问题来迁移它的学习不是微不足道的。这是由于即使类似的任务和车间仍然具有不同的信号空间。
每当需要使用机器学习来解决工业车间及其过程中的新问题时，就需要经历训练和验证模型的冗长且耗时的任务。为了减少这种努力及其成本，当为类似问题训练新模型时，重新利用在工业车间和过程上获得的现有学习和知识并将它们结合起来是有利的。然而，重用机器学习模型或其部分本身是一项复杂的任务，并且需要更好地组织所分析的输入信号。当将其应用于可能涉及与一个过程或车间相关的若干信号的工业应用时，这种挑战可能甚至更加困难。
因此，需要一种用于工业车间的生产过程的迁移学习的改进方法。
发明内容
根据本发明的一个方面，一种用于工业车间的特定生产过程的迁移学习方法包括以下步骤。在一个步骤中，提供定义用于生产过程的预期数据的多个数据模板。在另一步骤中，提供包括特定生产过程的数据点的工业车间的车间数据，其中数据点包括关于特定生产过程的输入和输出的信息。数据模板根据预期数据在工业车间中的关系定义预期数据的分组。在另一步骤中，特定生产过程的过程实例被确定，过程实例定义车间数据与特定生产过程的预期数据之间的映射。使用所确定的过程实例来确定历史过程数据，历史过程数据是与特定生产过程相关的历史传感器数据。在另一步骤中，使用所确定的过程实例和所确定的历史过程数据来确定训练数据；其中所述训练数据包括结构化数据矩阵，其中所述数据矩阵的列表示依据所述数据模板而被分组的所述传感器数据，并且其中所述数据矩阵的行表示获得所述传感器数据的时间戳。在另一步骤中，使用所确定的过程实例来提供预训练的机器学习模型。在另一步骤中，使用所提供的预训练模型和所确定的训练数据来训练新的机器学习模型。
优选地，数据点包括特定生产过程的信息，特别是生产过程的资产，以及基本语义信息，例如传感器位置和/或传感器类型。
在本文中使用的术语“数据模板”包括典型地可从资产(例如，传动系(泵、马达、驱动器)或蒸馏塔(不同高度水平上的温度、水平、压力和流量)获得的典型数据点或测量的列表。此外，数据模板将相关的测量放置在列表中的附近。即例如，驱动器的速度设定点、马达的电压/电流以及泵和马达的振动是该列表的后续元素。
优选地，当数据模板被确定时，在期望数据中识别典型的信号组合。这些典型的信号组合总是在训练数据中被分组在一起。进一步优选地，分组的信号被布置在数据矩阵的相邻列中。因此，机器学习模型，特别是人工神经网络ANN，例如通过卷积一起处理分组的信号，或者控制网络架构，特别是哪些数据与哪些数据进行卷积。
因此，改进了新的机器学习模型的性能。此外，促进了迁移学习。
换句话说，典型的信号A&E组合，例如2x电平、2x压力、温度、处理列的流入、流出被识别。这些信号总是在车间数据(例如相邻列)中被分组在一起，使得人工神经网络例如通过卷积一起处理数据，或者控制网络架构，例如对哪些数据进行卷积。这有助于机器学习模型的性能。它还可以用于促进迁移学习。如果训练了新的模型并且还使用了来自处理列的数据，则可以部分地提取来自先前学习的模型的网络架构和权重。
作为输入，提供了定义从生产过程期望什么数据的数据模板的数字库。另外，提供了车间数据，包括具有基本语义信息(例如，传感器位置及其类型)的特定资产或过程的数据点的列表。此外，提供了来自当前过程的试图迁移机器学习模型的历史进程数据。
作为输出，通过将预训练模型调整到当前工业车间来实现新的工作机器学习模型。此外，新模型用于向人类用户呈现生产过程或资产状态，或者触发自动动作，例如关闭阀。
优选地，数据模板包括定义从生产过程期望什么数据的数字库。
优选地，数据点包括温度值、压力值、水平警报、阀位置。
优选地，从工业车间的至少一个资产或生产过程，预训练的机器学习模型已经被训练。
换言之，该方法通过将预训练的机器学习模型调整到当前工业车间或特别是当前工业车间的部件，来提供工作机器学习模型。
所描述的方法允许基于工业车间信号的数据模板为工业应用提供迁移学习。
因此，提供了一种用于工业车间的特定生产过程的迁移学习的改进方法。
在一个优选实施例中，确定该训练数据包括预处理该历史过程数据，从而标准化训练数据的格式。
优选地，预处理步骤格式化历史过程数据，以便确定数据矩阵，该数据矩阵与预训练模型基于其已被训练的格式在语义上相同。所确定的数据矩阵被用作用于训练的新的机器学习模型的输入，以从新的机器学习模型获得预测，所述预测被显示给人类用户或用于触发自动动作。
在优选实施例中，预处理历史过程数据包括使采样频率适应标准化的数据矩阵格式。
在优选实施例中，预处理历史过程数据包括将历史过程数据缩放至0-1域。
在优选实施例中，预处理该历史过程数据包括将该历史过程数据的缺失数据点与该历史过程数据的可用数据点融合。
在优选实施例中，预处理历史过程数据包括去除历史过程数据的离群值。
在优选实施例中，预训练模型包括权重，其中训练新的机器学习模型包括调整权重。
换句话说，从预训练模型的先前训练中获得权重。
优选地，根据从新的机器学习模型(换言之，当前工业车间)的数据样本产生的损失来调整权重。
在优选实施例中，预训练的机器学习模型包括至少一个层，其中训练新的机器学习模型包括以下步骤。在一个步骤中，使用所确定的过程实例将每个层分类为冻结或非冻结类别中的一项。在另一步骤中，重新使用预训练的机器学习模型的冻结层，并且重新训练预训练的机器学习模型的非冻结层。
优选地，对于每个层，使用对应的数据模板来确定该层是未被重新训练的冻结层还是被重新训练的非冻结层。
优选地，重新使用冻结层允许使用网络架构和/或来自预训练的机器学习模型的权重来训练新的机器学习模型。
优选地，使用超参数优化来自动优化对层是冻结层还是非冻结层的确定。
优选地，以迭代的方式执行重新训练，其中重新训练附加的层，直到达到满意的性能水平。
优选地，基于层的类型来确定哪一层是冻结层以及哪一层是非冻结层。目的是重新训练主要机器学习网络的决策逻辑。通常，这些层具有与先前层(例如卷积层和合并层或递归层)不同类型的架构(密集连接)。进一步优选地，通过尝试重新使用不同的层并且选择产生最佳结果(在测试数据集上的最佳性能，例如测量为回归的均方根误差或分类的准确度)的配置来进行确定。
因此，提供了基于可重复使用的预训练机器学习模型的数据模板的可重复使用的预训练机器学习模型的自动匹配。
在优选实施例中，预训练的机器学习模型包括至少一个层，其中训练新的机器学习模型包括以下步骤：在一个步骤中，使用所确定的过程实例将每个层分类为冻结或非冻结类别中的一项。在另一步骤中，根据该层是冻结层还是非冻结层的确定，在该至少一个层上应用不同的学习速率。
换句话说，可以跨越预训练的机器学习模型的各层选择不同的学习速率。
优选地，使用超参数优化来自动优化对层是冻结层还是非冻结层的确定。
优选地，以迭代的方式执行重新训练，其中重新训练附加的层，直到达到满意的性能水平。
在优选实施例中，数据点包括特定生产过程的输入/输出名称，其中使用输入/输出名称来确定历史过程数据。
在优选实施例中，其中训练新的机器学习模型包括使用数据矩阵作为新的机器学习模型的输入，以获得预测，该预测作为新的机器学习模型的输出。
优选地，预测包括分类、回归值和/或异常得分。
根据本发明的一个方面，由根据本文所述的方法而训练的新机器学习模型被用于提供工业车间的状态数据。
换言之，工作的新的机器学习模型允许向人类用户呈现工业车间的过程状态或资产状态，或者触发自动动作，例如关闭工业车间的阀。
根据本发明的一个方面，提供了一种数据处理系统，包括用于执行如本文所述的方法的步骤的部件。
根据本发明的一个方面，提供了一种包括指令的计算机程序，当所述程序由计算机执行时，所述指令使所述计算机执行如本文所使用的方法的步骤。
本发明的主题将在下文中参考在附图中示出的优选示例性实施例被更详细地解释。
附图说明
下面将参考附图描述本发明的示例性实施例：
图1示出了用于迁移学习的训练过程的示意图；
图2示出了数据模板和预训练的机器学习模型之间的关系；
图3示出了重新使用预训练的机器学习模型的层的示意图；以及
图4示出了用于特定生产过程的迁移学习方法的示意图。
附图中使用的附图标记及其含义以概括形式被列在附图标记列表中。原则上，相同的组装部件在图中具有相同的附图标记。
优选地，功能模块和/或配置机制分别被实现为编程软件模块或过程；然而，本领域技术人员将理解，功能模块和/或配置机制可以完全地实现或部分地以硬件来组装。
具体实施方式
图1示出了用于迁移学习的训练过程的示意图。
在一个步骤S30中，过程实例由定义工业车间中的工业车间数据P(特别是输入/输出I/O)与数据模板T之间的映射的人手动创建。换言之，从包括特定资产或生产过程的预期数据的多个通用模板T中，选择对应于当前工业车间的工业车间数据P的一个模板T。备选地，这通过使用用于将传感器位置映射到数据模板T中的数据点的预定义规则，使用数字P&ID和I/O列表并且最终使用车间的C&E矩阵来自动完成。
在另一步骤S40中，从历史提取历史过程数据H，特别是使用I/O的名称。换句话说，该过程实例反映了当前工业车间的当前资产或生产过程，在其上应当使用新的机器学习模型M。因此，该过程实例例如定义了可以为其确定历史生产数据H的当前工业车间的输入和输出的名称。
在另一步骤S50中，建立标准数据矩阵，其中列表示历史生产数据H的数据点，行表示对应传感器读数的时间戳。各个数据点经受如下的各种数据预处理步骤：使采样频率适应标准矩阵格式，例如从数秒到数分钟的向下采样或从数分钟到30秒的向上采样，将数据缩放至0-1域，任选地从可用数据点融合缺失的数据点，例如基于顶部区段温度来估计底部区段温度，并移除离群值。
在另一步骤S60中，使用从先前训练获得的权重从预训练的模型Mp开始训练新模型，并允许训练过程根据从当前车间的数据采样产生的损失来调整这些权重。这可以包括使用预训练模型的全部或部分。可选地，可以从改变权重中排除网络的某些层，例如冻结该层，例如保持顶层原样，或者可选地选择跨分层网络的不同学习速率。这两个选项可以在使用超参数优化的优化自动中探索。
图2示出了数据模板和预训练的机器学习模型之间的关系。数据模板T是例如数据点的列表，I1：温度值、I2：压力值、I3：电平报警以及I4：阀门位置与过程或资产的位置信息(例如，处理列顶部区段的温度)。每次预测，训练数据的顺序在新的机器学习模型M的所有训练运行中被保持，或者换句话说，在所迁移的学习模型中被保持。这样，在训练期间获得的预训练机器学习模型Mp的权重仍然可以在所有训练运行中被映射到相同的有意义的特征F1-F5。
图3示出了重新使用预训练的机器学习模型的层的示意图。新的机器学习模型M包括多个层，在这种情况下，第一层L1、第二层L2、第三层L3和第四层Ln。第一层L1、第二层L2、第三层L3和第四层Ln是已经用第一车间A的车间数据训练的预训练层。换句话说，通过训练第一层L1、第二层L2、第三层L3和第四层Ln获得的权重对于新的机器学习模型M是已知的。然而，当用第二设备B的设备数据训练新的机器学习模型M时，不是所有的权重都被调整。在这种情况下，第一层L1、第二层L2和第三层L3被冻结。换句话说，在用第二车间B的车间数据训练期间不调整那些权重。
如果已经用第二车间B的数据训练的新的机器学习模型M没有达到预定的满意程度，则执行迭代过程，其中决定可以重新使用预训练的机器学习模型Mp的哪些部分，以及应该丢弃和重新训练哪些部分。新的机器学习模型M的性能在评估过程中使用分数模型(例如分类、回归值或异常得分)来确定。换句话说，如果新的机器学习模型M不能令人满意地执行，则冻结层的数量被反复地解除冻结和重新约束。
图4示出了用于特定生产过程的迁移学习方法的示意图。
在第一步骤S10中，提供定义生产过程的预期数据的多个数据模板T。在第二步骤S20中，提供包括特定生产过程的数据点的工业车间的车间数据，其中数据点包括关于特定生产过程的输入和输出的信息。数据模板根据预期数据在工业车间中的关系定义预期数据的分组。在第三步骤S30中，确定特定生产过程的过程实例I，定义车间数据与特定生产过程的预期数据之间的映射。在第四步骤S40中，使用所确定的过程实例I来确定历史过程数据H，历史过程数据H是与特定生产过程相关的历史传感器数据。在第五步骤S50中，使用所确定的过程实例I和所确定的历史过程数据H来确定训练数据；其中，训练数据包括结构化的数据矩阵，其中，所述数据矩阵的列表示根据数据模板T分组的传感器数据，并且其中数据矩阵的行表示获得传感器数据的时间戳。在第六步骤S60中，使用所确定的过程实例I提供预训练的机器学习模型Mp。在第七步骤S70中，使用所提供的预训练模型Mp和所确定的训练数据来训练新的机器学习模型Mn。
参考符号列表
T 数据模板
M 新的机器学习模型
Mp 预训练机器学习模型
H 历史过程数据
P 车间数据
L1 第一列表
L2 第二列表
L3 第三列表
L4 第四列表
F1 第一特征
F2 第二特征
F3 第三特征
F4 第四特征
F5 第五特征
L1 第一层
L2 第二层
L3 第三层
Ln 第四层
A 第一车间的车间数据
B 第二车间的车间数据

Claims (14)

1.一种用于工业车间的特定生产过程的迁移学习方法，包括以下步骤：
提供(S10)定义用于生产过程的预期数据的多个数据模板(T)；
提供(S20)所述工业车间的车间数据(P)，所述车间数据包括所述特定生产过程的数据点，其中所述数据点包括关于所述特定生产过程的输入和输出的信息；
其中所述数据模板(T)根据所述预期数据在所述工业车间中的关系来定义所述预期数据的分组；
确定(S30)所述特定生产过程的过程实例，定义所述车间数据(P)与所述特定生产过程的所述预期数据之间的映射；
使用所确定的所述过程实例来确定(S40)历史过程数据，所述历史过程数据是与所述特定生产过程相关的历史传感器数据；
使用所确定的所述过程实例(I)和所确定的所述历史过程数据(H)来确定(S50)训练数据；其中所述训练数据包括结构化数据矩阵，其中所述数据矩阵的列表示依据所述数据模板(T)而被分组的所述传感器数据，并且其中所述数据矩阵的行表示获得所述传感器数据的时间戳；
使用所确定的所述过程实例提供(S60)预训练的机器学习模型；以及
使用所提供的所述预训练模型和所确定的所述训练数据，来训练(S70)新的机器学习模型。
2.根据权利要求1所述的方法，
其中确定所述训练数据包括：
预处理所述历史过程数据(H)，从而标准化所述训练数据的格式。
3.根据权利要求2所述的方法，
其中预处理所述历史过程数据(H)包括：
使采样频率适应于标准化的数据矩阵格式。
4.根据权利要求2-3中任一项所述的方法，
其中预处理所述历史过程数据(H)包括：
将所述历史过程数据(H)缩放至0-1域。
5.根据权利要求2-4中任一项所述的方法，
其中预处理所述历史过程数据(H)包括：
将所述历史过程数据(H)的缺失数据点与所述历史过程数据(H)的可用数据点融合。
6.根据权利要求2-5中任一项所述的方法，
其中预处理历史过程数据包括：
从所述历史过程数据(H)中去除离群值。
7.根据前述权利要求中任一项所述的方法，
其中所述预训练模型(Mp)包括训练权重，
其中训练所述新的机器学习模型(M)包括调整所述训练权重。
8.根据前述权利要求中任一项所述的方法，其中所述预训练机器学习模型(Mp)包括至少一个层(L1、L2、L3、Ln)，
其中训练所述新的机器学习模型(M)包括：
使用所确定的所述过程实例(I)将每个层(L1、L2、L3、Ln)分类为冻结类别或非冻结类别中的一项；
重新使用所述预训练的机器学习模型(Mp)的所述冻结层并且重新训练所述预训练的机器学习模型(Mp)的所述非冻结层。
9.根据权利要求1-7中任一项所述的方法，其中所述预训练机器学习模型(Mp)包括至少一个层(L1、L2、L3、Ln)；
其中训练所述新的机器学习模型(M)包括：
使用所确定的所述过程实例(I)将每个层(L1、L2、L3、Ln)分类为冻结类别或非冻结类别中的一项；
根据所述层是冻结层还是非冻结层的确定，在所述至少一个层上应用不同的学习速率。
10.根据前述权利要求中任一项所述的方法，
其中数据点包括所述特定生产过程的输入/输出名称；
其中使用所述输入/输出名称，所述历史过程数据(H)被确定。
11.根据前述权利要求中任一项所述的方法，
其中训练所述新的机器学习模型(M)包括：
使用所述数据矩阵作为所述新的机器学习模型(M)的输入，以获得预测，所述预测作为所述新的机器学习模型(M)的输出。
12.一种新的机器学习模型的用途，所述新的机器学习模型通过根据权利要求1-11中任一项所述的方法被训练，以提供工业车间的状态数据。
13.一种数据处理系统，包括用于执行根据权利要求1-11中任一项所述的方法的步骤的部件。
14.一种计算机程序，包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1-11中任一项所述的方法的步骤。
CN202180014315.XA 2020-03-31 2021-03-31 用于工业车间的特定生产过程的迁移学习方法 Pending CN115087995A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EPPCT/EP2020/059169 2020-03-31
EPPCT/EP2020/059169 2020-03-31
PCT/EP2021/058477 WO2021198357A1 (en) 2020-03-31 2021-03-31 Method of transfer learning for a specific production process of an industrial plant

Publications (1)

Publication Number Publication Date
CN115087995A true CN115087995A (zh) 2022-09-20

Family

ID=75302597

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202180014548.XA Pending CN115087996A (zh) 2020-03-31 2021-03-31 工业车间机器学习系统
CN202180026332.5A Pending CN115362454A (zh) 2020-03-31 2021-03-31 用于工业工厂机器学习系统的分层机器学习方法
CN202180014315.XA Pending CN115087995A (zh) 2020-03-31 2021-03-31 用于工业车间的特定生产过程的迁移学习方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202180014548.XA Pending CN115087996A (zh) 2020-03-31 2021-03-31 工业车间机器学习系统
CN202180026332.5A Pending CN115362454A (zh) 2020-03-31 2021-03-31 用于工业工厂机器学习系统的分层机器学习方法

Country Status (4)

Country Link
US (3) US20230019201A1 (zh)
EP (3) EP4128071A1 (zh)
CN (3) CN115087996A (zh)
WO (3) WO2021198354A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618269A (zh) * 2022-12-12 2023-01-17 江门市润宇传感器科技有限公司 基于工业传感器生产的大数据分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046261A1 (en) * 2018-08-27 2020-03-05 Siemens Aktiengesellschaft Systematic prognostic analysis with dynamic causal model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618269A (zh) * 2022-12-12 2023-01-17 江门市润宇传感器科技有限公司 基于工业传感器生产的大数据分析方法及系统

Also Published As

Publication number Publication date
EP4128069A1 (en) 2023-02-08
US20230029400A1 (en) 2023-01-26
US20230023896A1 (en) 2023-01-26
EP4128070A1 (en) 2023-02-08
CN115087996A (zh) 2022-09-20
CN115362454A (zh) 2022-11-18
US20230019201A1 (en) 2023-01-19
WO2021198357A1 (en) 2021-10-07
EP4128071A1 (en) 2023-02-08
WO2021198354A1 (en) 2021-10-07
WO2021198356A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
Diez-Olivan et al. Data fusion and machine learning for industrial prognosis: Trends and perspectives towards Industry 4.0
US11604442B2 (en) Predictive monitoring and diagnostics systems and methods
US11022965B2 (en) Controlling multi-stage manufacturing process based on internet of things (IOT) sensors and cognitive rule induction
KR101917006B1 (ko) 머신 러닝 기반 반도체 제조 수율 예측 시스템 및 방법
CN109766583B (zh) 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法
Butte et al. Machine learning based predictive maintenance strategy: a super learning approach with deep neural networks
US11754998B2 (en) System and methods for automated model development from plant historical data for advanced process control
JP7009438B2 (ja) 時系列パターンモデルを用いて主要パフォーマンス指標（ｋｐｉ）を監視するコンピュータシステム及び方法
KR101842347B1 (ko) 플랜트 이상 감지를 위한 자동 학습 시스템 및 방법
EP1982301B1 (en) Method of condition monitoring
Zeldam Automated failure diagnosis in aviation maintenance using explainable artificial intelligence (XAI)
US20230214691A1 (en) Fatigue Crack Growth Prediction
US10678193B2 (en) Computer-implemented method and system for automatically monitoring and determining the status of entire process sections in a process unit
US20010051858A1 (en) Method of setting parameters for injection molding machines
CN109146847B (zh) 一种基于半监督学习的晶圆图批量分析方法
US10318931B2 (en) Method and system for determining maintenance policy of complex forming device
EP4080303A1 (en) Decision support in industrial plants
US20230023896A1 (en) Method of Transfer Learning for a Specific Production Process of an Industrial Plant
CN113095443A (zh) 基于lstm-dnn网络模型的实时天气预测算法
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
JPH06332506A (ja) 非線形制御装置
Daouayry et al. Data-centric helicopter failure anticipation: The mgb oil pressure virtual sensor case
CN112966449B (zh) 基于变量选择和概率神经网络的制造过程质量缺陷根源诊断方法
Schmid et al. Neural networks and advanced algorithms for intelligent monitoring in industry
Capelli et al. A Structured Approach to Machine Learning Condition Monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination