CN117708521A - 一种基于流程工业数字孪生平台多模态数据的软测量方法 - Google Patents

Abstract

本申请提供了一种基于流程工业数字孪生平台多模态数据的软测量方法，从数据集成层中读取相应的过程变量时间序列和生产过程图像序列等多模态数据序列，对读取到的各类多模态数据序列进行时间尺度的统一以及时间窗口的对齐，在此基础上，从图像序列中提取图像特征时间序列，利用对齐后的各类时间序列对相应的性能指标进行软测量，并将性能指标软测量的结果反馈给流程工业数字孪生平台的数据集成层，以实现软测量结果在其他任务和服务上的快速调用，形成信息流动闭环。上述方法能够自动、快速、准确地对流程工业中一些难以获得的性能指标进行软测量，提升了流程工业性能指标软测量的效果，进而为监测、诊断、优化控制等下游任务提供参考和指导。

Description

一种基于流程工业数字孪生平台多模态数据的软测量方法

技术领域

本申请涉及计算机技术与人工智能领域，尤其涉及一种基于流程工业数字孪生平台多模态数据的软测量方法。该方法主要适用于流程工业数字孪生平台对难以直接获得的性能指标的实时辨识与估计任务。

背景技术

下面对本申请涉及的一些名词术语及背景技术进行介绍。

流程工业：流程工业(Process Industry)也称过程工业，是指生产过程涉及大量物理变化和化学变化的工业领域。它包括但不限于冶金、能源、化工等行业。在流程工业中，产品的生产通常需要经过一系列复杂的物理和化学过程，通常涉及到复杂的能量流动、物质流动和信息流动等，因此，针对流程工业的实时监测和控制至关重要。

数字孪生平台：数字孪生平台(Digital Twin Platform)是指通过数字化技术创建和运行的与实际物理实体相对应的虚拟模型。数字孪生平台基于实时数据采集、物理仿真和数据分析等技术，可以实时监测、模拟和优化物理实体的运行状态和性能。在流程工业领域，通过构建相应产线的数字孪生平台，可以实现流程工业实时的监测、诊断和优化控制，从而提高流程工业的生产效率，降低生产成本，对流程工业的数字化转型和智能化发展具有重要意义。

多模态数据：多模态数据(Multimodal Data)是指来自不同传感器、不同类型数据源的数据。在流程工业中，多模态数据可以包括但不限于传感器采集的数值数据和图像采集装置获取的图像数据等。这些数据通常具备不同的结构，并承载了多样化的生产过程信息。

软测量：软测量(Soft Sensing)是指通过利用计算机、数学建模和统计分析等方法，基于已有的、容易获得的过程变量数据，对相关领域中难以直接测量，或无法实时获得的关键过程参数进行间接推断和估计的技术。

过程变量：过程变量(Process Variable)是指在工业生产过程或系统中用于监测、控制和评估的关键参数或特征。它们是与生产过程或系统状态密切相关的变量，用于描述和量化过程的运行情况和性能。过程变量可以包括各种物理量、化学指标、工艺参数等，例如温度、压力、流量等等，其具体的种类取决于所涉及的具体工业过程或系统。

时间序列：时间序列(Time Series)是按照时间顺序排列的一系列数据点或观测值的集合。它是在连续时间间隔内对某个现象、变量或事件进行观测和记录所得到的数据序列。

性能指标：性能指标(Performance Index)是用于评价生产产品、产线设备或整个流程工业系统性能的指标。在流程工业中，性能指标可以包括能源消耗强度、产品质量、产线可靠性等方面的衡量。通过设定和实时地监测性能指标，可以评估和改进流程工业生产过程的生产效率、可持续性和工业竞争力。

卷积网络：卷积网络(Convolutional Neural Network，CNN)是一种深度学习神经网络结构，主要用于处理具有网格结构数据，如图像和视频等。卷积网络通过卷积操作和池化操作等特定的网络层结构，能够有效提取输入数据的空间和时间特征。相对于全连接神经网络等深度学习网络，卷积网络在处理数据时，能够利用卷积操作进行局部感知和参数共享，从而减少了网络中需要训练的参数数量。这种参数共享的特性使得卷积网络在处理大规模数据时具有较高的计算效率。因此，卷积网络在图像处理和计算机视觉任务中得到了广泛的应用，例如图像分类、目标检测、图像分割等。

图像注意力机制：图像注意力机制(Image Attention Mechanism)是一种模拟人类视觉注意力的方法，在图像处理和计算机视觉中起到选择和聚焦于重要图像区域和通道的作用。通过引入图像注意力机制，可以使计算机系统更加关注图像中具有显著信息的部分，提高图像处理和分析的准确性和效率。

图1为示例性的流程工业数字孪生平台的结构示意图。流程工业数字孪生平台基于各种产线、系统、设备等物理实体建立，主要由数据感知层、数据集成层以及数据服务层等多个层级构成。数据感知层主要用于对流程工业产线中各类设备的运行状况进行感知，即通过工业传感器、图像采集装置等安装部署于流程工业产线中的监测设备获取多种形式的实时数据，以及通过人工手段对部分指标进行化验并上传以实现数据的更新，并通过一定的信息传输协议传送给数据集成层。数据集成层的功能是对数据感知层获取的各类数据进行整合、预处理、存储以及集成。在这一层级中，数据可以进行清洗、校准和格式转换等操作，以确保数据质量的一致性。经过整合与预处理的数据，可以存储在数字孪生平台的DCS的数据库中，亦可以存储在边缘端、云端等地，以实现更广泛的数据交互和远程管理。最终，对不同数据来源的数据进行集成，以应用于各类下游任务中。数据服务层提供了对数字孪生模型和数据的访问和管理接口，并基于数据集成层的数据输入，实现对相应产线的过程监测、故障诊断以及优化控制，并将部分的服务结果反馈到数据集成层，例如对一些过程变量的优化结果。

传统流程工业生产模式下，一些生产过程的性能指标，例如流程工业产品的质量，往往依赖于人工化验和检测的方法，这些方法往往需要花费大量的时间和成本，同时其准确性容易受到采样方式、检测方式的影响，因此存在着检测成本高、更新实时性差、准确性波动大等问题，导致这些性能指标无法实时地指导一系列基于数字孪生平台的任务，例如对流程工业过程的监测、诊断和优化控制的进行。

数据驱动的性能指标软测量方法是一种利用历史数据和机器学习技术来估计系统或过程的性能指标的方法。它基于数据的统计分析和模式识别，通过学习历史数据中的模式和趋势，建立软测量模型，并利用该模型对性能指标进行估计。这一方法目前已经在各类领域中得到了广泛的应用。然而，在流程工业领域，由于产线的运行环境恶劣，且生产过程往往涉及一系列复杂的物理化学反应变化，因此流程工业的性能指标和各类过程变量之间的相关性较弱，存在着突出的非线性问题。这也导致单纯使用过程变量数据，可能无法全面地辨识和估计流程工业性能指标。多模态数据的处理应用，是解决上述问题的重要途径之一。

另外，在流程工业数字孪生平台部署和应用的过程中，建模的速度和资源也是需要考虑的重要因素之一。当前，一些数据驱动模型依赖于复杂的网络结构和算法，这些模型在流程工业数字孪生平台上的部署，会占用大量的计算资源，因此并不能适配数字孪生平台多种任务并行、信息交互密集的环境，且不利于数字孪生模型的实时建立和更新。对于建模速度的提升和建模资源的节省，可以更快地构建和更新数字孪生模型，提升流程工业数字孪生平台的实时响应能力。

发明内容

针对上述的背景，本申请提供了一种基于流程工业数字孪生平台多模态数据的软测量方法，针对某一需要获取的性能指标，从数字孪生平台的数据集成层中获取相关的过程变量时间序列和生产过程图像序列等多模态数据序列，考虑到流程工业数据感知层多采样间隔的问题，对多模态序列进行时间尺度的统一，并对各类序列的时间窗口进行对齐以解决流程工业性能指标与过程变量和图像数据之间存在的时滞问题。针对统一和对齐后的图像序列数据，使用图像序列特征提取方法，从图像序列中提取得到与过程变量维度一致的图像特征时间序列。随后，使用过程变量时间序列和图像特征时间序列对相应的性能指标进行软测量。最后，将相应性能指标的软测量结果反馈给流程工业数字孪生平台的数据集成层，进而为监测、诊断、优化控制等下游任务提供参考和指导。

本申请的多个方面提供了一种基于流程工业数字孪生平台多模态数据的软测量方法，用以自动、快速、准确地对流程工业中一些难以获得的性能指标进行软测量。

本申请提供了一种基于流程工业数字孪生平台多模态数据的软测量方法，包括：从流程工业数字孪生平台的数据集成层中读取相应的过程变量时间序列和生产过程图像序列等多模态数据序列，其中，过程变量是与流程工业产线、系统和设备运行状况紧密相关的参数，生产过程图像是指通过部署在产线上的图像采集装置获取的，包含生产过程重要信息的黑白、灰度或者彩色的图像数据；对读取到的各类多模态数据序列进行时间尺度的统一，其中，时间尺度是指在一个时间序列中，相邻两个数据点、观测值或者相邻两张图片之间的时间跨度；对统一时间尺度后的各类多模态序列进行时间窗口对齐，其中，时间尺度是指在一个时间序列中，相邻两个数据点、观测值或者相邻两张图片之间的时间跨度；从图像序列中提取图像特征时间序列，其中，图像特征序列是指包含图像的各种结构、纹理和形状等特征的特征向量序列；利用对齐后的各类时间序列对相应的性能指标进行软测量；最后，将性能指标软测量的结果反馈给流程工业数字孪生平台的数据集成层，实现软测量结果在其他任务和服务上的快速调用，形成信息流动闭环。

本申请还提供了一种基于三维注意力卷积的图像序列特征提取网络，该网络由Gamma变换模块、空洞卷积模块、注意力模块和各类池化层等模块组成，以实现从形状为(L×C×H×W)的输入图像序列到形状为(L×O)的输出特征序列的功能。其中，Gamma变换模块采用的Gamma变换方法是一种在图像处理中常用的非线性操作，通过对图像中每一个元素的强度进行指数调整，从而改变图像整体上的亮度和对比度；空洞卷积模块采用了一个三维卷积核进行特征提取，并在三维卷积核的长度维度引入空洞，以扩展三维卷积核的时间感受野；注意力模块主要包含图像序列时空注意力计算，图像序列通道注意力计算以及两类注意力融合三个算法，用于对输入的图像序列赋予全维度的注意力；池化层模块用于对产生的特征图数据的分布进行调整，从而减少特征图中的噪声，并保留特征图序列的整体特征。

本申请还提供了一种图像序列特征提取网络和性能指标软测量模型的同步训练方法，包括：获取模型训练数据，其中，训练数据包括过程变量数据，生产过程图像数据等建模使用的多模态数据，以及作为建模目标的过程变量数据；构建模型训练数据集，包括序列时间尺度统一、序列时间窗口对齐、数据集划分等操作；设计端到端网络模型结构，其中，图像特征提取网络和性能指标软测量网络通过连接的方式，组成一个端到端的网络模型，从而实现两类网络的同步训练，网络结构的设计例如包括对于网络的层数、参数量、连接方式的设计；最后，训练模型并上传训练结果。其中，训练结果例如包括网络模型的参数，模型的输入配置信息等。

本申请提供的一种基于流程工业数字孪生平台多模态数据的软测量方法，基于流程工业数字孪生平台实时获取、传输、处理数据的能力，利用平台收集得到的过程变量时间序列和生产过程图像序列等多模态数据作为模型输入，通过时间尺度统一、时间窗口对齐、图像序列特征提取等方法对多模态数据进行处理并建立性能指标软测量模型。这一方法能够自动、快速、准确地对流程工业中一些难以获得的性能指标进行软测量，提升了流程工业性能指标软测量的效果，进而为监测、诊断、优化控制等下游任务提供参考和指导。

附图说明

图1是示例性的流程工业数字孪生平台的结构示意图。

图2是本申请提供的一种基于流程工业数字孪生平台多模态数据的软测量方法的流程图。

图3是本实施例提供的一种基于三维注意力卷积的图像序列特征提取网络结构示意图。

图4是本实施例提供的图像序列特征提取网络中空洞卷积模块的结构示意图。

图5是本实施例提供的图像序列特征提取网络中注意力模块的结构示意图。

图6是本实施例提供的一种图像序列特征提取网络和性能指标软测量模型的同步训练方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的实施例中，“和/或”，描述关联对象的访问关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。此外，在本申请中，“第一”、“第二”、“第三”、等只是为了区分不同对象的内容而已，并无其它特殊含义。

以下结合附图，详细说明本申请提供的技术方案。

图2为本申请提供的一种基于流程工业数字孪生平台多模态数据的软测量方法的流程图。参见图2，该方法可以包括如下步骤：

101、从流程工业数字孪生平台的数据集成层中读取相应的过程变量时间序列和生产过程图像序列等多模态数据序列。

在本实施例中，如前文所述，过程变量是与流程工业产线、系统和设备运行状况紧密相关的参数，例如包括产线关键环节的温度、压力、流量等等，这些参数通常通过部署在数据感知层的各种类型的传感器获取，并通过数据集成层加以存储。除此之外，在数据集成层中，通过对传感器数据进行加工得到的一些无法由传感器直接测量得到的参数同样可以看作过程变量，例如能耗、效率等参数。

在本实施例中，生产过程图像是指通过部署在产线上的图像采集装置获取的，包含生产过程重要信息的黑白、灰度或者彩色的图像数据，例如包括对产品表面的镜检结果，燃烧设备内的火焰成像，封闭反应器内的液位图像等等。图像采集装置可以是任意具有图像采集功能的装置，例如，图像采集装置可以根据其内置的传感器类型分为CCD相机和CMOS相机等等。

实际应用中，存储于流程工业数字孪生平台数据集成层的多模态序列可以通过多种方式进行访问和获取，例如API(应用程序接口)访问、数据库查询、文件系统访问、Web服务访问等等，并在数据服务层的建模平台中进行解析。例如，在基于Python语言的建模环境下，可以使用Numpy、Pandas、OpenCV等工具库将读取自数据集成层的多模态数据解析、转化为可以用于后续处理和建模的数据格式。

102、对读取到的各类多模态数据序列进行时间尺度的统一。

在本实施例中，时间尺度是指在一个时间序列中，相邻两个数据点、观测值或者相邻两张图片之间的时间跨度。考虑到各类过程变量、图像的采样间隔不一，例如温度、压力、流量等过程变量的采样间隔通常可达秒级，然而考虑到数据库存储容量问题，图像数据的采样间隔一般会处于一个相对较高的水平，例如30秒或1分钟。因此，需要对各类数据序列的时间尺度进行统一以适配性能指标软测量模型的输入。

在本实施例中，时间尺度的统一可以通过多种方式进行，例如可以以采样间隔最大的序列为基准，对其他的序列进行降采样，或者以采样间隔最小的序列为基准，通过插值、复制等方法对其他序列进行升采样。除此之外，也可以借助神经网络，例如卷积网络等工具实现多模态序列时间尺度的统一。

103、对统一时间尺度后的各类多模态序列进行时间窗口对齐。

在本实施例中，时间窗口是指用于性能指标软测量的多模态数据序列的选取范围。在流程工业中，由于用于工业生产的原料、成品等物质在流程工业产线、系统和设备的运动过程往往需要消耗一定的时间，且数字孪生平台数据感知层的数据更新也可能存在一定的延迟，因此针对同一个性能指标，不同的数据对其产生影响的时间范围各不相同。举例而言，针对某条产线的产品质量指标而言，采集于生产线前置工序中的数据与采集于末端工序中的数据对这一指标的影响时间窗口便存在不同，且前置工序数据的影响时间窗口起点早于末端工序数据的时间窗口起点。因此，在建模之前，需要对序列的时间窗口进行选取和对齐，以达到最优的软测量效果。

在本实施例中，首先根据实际需求，选取一个合适的时间窗口大小作为后续处理方法的输入长度。在此基础上，可以通过递推的方法确定各个时间窗口的起止时间。例如，在一个包含多个串行工序的产线场景下，针对的产品质量性能指标软测量任务，基于产品离开最后一个工序时间以及产品从倒数第二个工序到最后一个工序所需的时间，确定产品离开倒数第二个工序的时间，即倒数第二个工序相关数据时间窗口的截止时间；在此基础上，基于所推断的产品离开倒数第二个工序的时间，以及产品从倒数第三个工序到倒数第二个个工序所需的时间，确定产品离开倒数第三个工序的时间，即倒数第三个工序相关数据时间窗口的截止时间，以此类推。在此基础上，根据时间窗口的大小，确定各类数据时间窗口的起始时间，并对相应时间窗口内的数据进行选择、截取，以实现各类多模态数据的时间窗口对齐。

进一步可选的，对于各个时间窗口之间的时间距离关系，可以通过数学建模或者数据驱动建模的方法获取。例如，在上述产品质量性能指标软测量任务中，可以通过建立产品在各个工序中的运动模型以获取其运动时间，并使用运动时间进行时间窗口对齐，或者通过有监督或者无监督的神经网络对这些时间距离进行自适应的学习，以实现数据时间窗口的对齐。

104、从图像序列中提取图像特征时间序列。

在本实施例中，考虑到图像的结构特点，图像序列的维度显然高于过程变量时间序列的维度，这给性能指标软测量的建模带来了困难。因此，为便于软测量模型的构建，需要将图像序列和过程变量时间序列的维度进行统一。一种常见的方法是对图像序列进行特征提取，从而将高维的图像数据序列转换为一组低维的特征向量序列。通过计算机视觉和图像处理技术，可以提取出图像的各种结构、纹理和形状等特征。这些特征可以表示为固定维度的特征向量，其中每个维度对应一个特定的图像特征。

105、利用对齐后的各类时间序列对相应的性能指标进行软测量。

在本实施例中，预先训练好具备性能指标软测量功能的性能指标软测量模型。在实际应用中，根据具体场景的需求，性能指标软测量模型可以以时间序列数据作为输入，并输出单个性能指标软测量结果，也可以输出多个步长的性能指标软测量结果序列。

在本实施例中，性能指标软测量模型是能够综合输入时间序列信息，建立时间序列和所需预测性能指标大小关系的模型。性能指标软测量模型的形式例如包括：循环神经网络(Recurrent Neural Networks，RNN)、卷积神经网络，或者由自编码器、自注意力机制等特殊网络架构和前面几种网络的前后结合。本实施例对性能指标软测量模型的形式不做限制。

106、将性能指标软测量的结果反馈给流程工业数字孪生平台的数据集成层。

在本实施例中，通过步骤1-5获得的性能指标软测量结果中包含了相应流程工业产线的关键运行信息，对监测、诊断、优化控制等下游任务具有重要的参考价值。通过将软测量结果反馈给流程工业数字孪生平台的数据集成层，可以实现软测量结果在其他任务和服务上的快速调用，形成信息流动闭环。

实际应用中，生成于数据服务层的性能指标软测量结果可以通过多种方式反馈给数据集成层，例如通过API接口、数据库操作、文件系统存储、Web服务更新等方式，以实现数据集成层的实时更新。

本申请提供的技术方案，基于流程工业数字孪生平台实时获取、传输、处理数据的能力，利用平台收集得到的过程变量时间序列和生产过程图像序列等多模态数据作为模型输入，通过时间尺度统一、时间窗口对齐、图像序列特征提取等方法对多模态数据进行处理并建立性能指标软测量模型。由此，提出了一种基于流程工业数字孪生平台多模态数据的软测量方法。上述方法能够自动、快速、准确地对流程工业中一些难以获得的性能指标进行软测量，提升了流程工业性能指标软测量的效果，进而为监测、诊断、优化控制等下游任务提供参考和指导。

上述是对一种基于流程工业数字孪生平台多模态数据的软测量方法技术方案的介绍。其中，图像序列特征提取环节存在着计算量大、计算资源需求较高等问题，因此开发一种适配于数字孪生平台的图像序列特征提取方法，对于流程工业数字孪生平台的稳定、高效运行至关重要。下面对本实施例提供的一种高效、快速的图像序列特征提取方法进行介绍。

图3是本实施例提供的一种基于三维注意力卷积的图像序列特征提取网络结构示意图。参见图3，这一网络由Gamma变换模块、空洞卷积模块、注意力模块和各类池化层等模块组成，以实现从形状为(L×C×H×W)的输入图像序列到形状为(L×O)的输出特征序列的功能。其中，L表示图像序列的长度，C表示图像序列的通道数，H表示图像序列的高度，W表示图像序列的宽度，而O代表输出的特征序列的维度。

在本实施例中，Gamma变换是一种在图像处理中常用的非线性操作，通过对图像中每一个元素的强度进行指数调整，从而改变图像整体上的亮度和对比度。进一步可选的，可以在Gamma变换的基础上对图像进行线性变换，以改良图像的亮度水平。

图4是本实施例提供的图像序列特征提取网络中空洞卷积模块的结构示意图。该模块采用三维卷积网络实现图像序列的特征提取。三维卷积网络采用了一个三维卷积核进行特征提取，每一个卷积核可以在序列长度、宽度和高度三个维度滑动并完成特征的提取：

其中，I和M分别表示输入图像和输出特征图，K表示可训练的卷积核，(h，w，l)和(i，j，k)分别表示特征图和卷积核上的像素的位置。此外，c_in和c_o分别是输入图像和输出特征图的通道数。为节省计算资源，在三维卷积核的长度维度引入空洞，以扩展三维卷积核的时间感受野。通过对空洞大小与适当的时间卷积步幅的综合调整，带有时间维度空洞的三维卷积核可以有效地捕捉输入图像序列中的主要时间依赖关系，而无需遍历每个图像，从而节省计算资源，加快计算速度，并改善建模的效果。

图5是本实施例提供的图像序列特征提取网络中注意力模块的结构示意图。这一模块主要包含三个算法：图像序列时空注意力计算，图像序列通道注意力计算，以及两类注意力的融合。对于图像序列的时空注意力，使用一个维度为(1×1×n)的三维卷积核来实现这一功能：

其中，STA表示图像序列的时空注意力权重，其长度、宽度、高度形状与输入图像序列相对应，但只有形状为1的通道维度。σ表示Sigmoid变换。时空注意力算法在高度和宽度维度上使用逐点卷积来加权空间信息，而在时间维度上，则使用特定的感受野大小来考虑相邻图像之间的时序关系。对于图像序列的通道注意力，采用类似于Squeeze-and-Excitation的方法，即首先通过对图像序列的最大池化和平均池化方法生成一对特征向量，然后通过一个共享的全连接层自编码器，将这些特征向量转化为两个通道权重向量。这一对权重向量随后通过平均和Sigmoid变换，最终形成一组与输入图像通道数一致的通道注意力权重。当形状为(L×C×H×W)的图像序列作为输入时，算法输出的通道权重可以表示为：

其中，CA表示图像序列的通道注意力权重，δ表示自编码器中使用的ReLU激活函数，W₁和W₂分别表示编码器和解码器的权重矩阵。最后，通过将两个注意力算法的输出进行组合，可以得到图像序列的全维度缩放注意力AA_sc：

AA＝STA⊙CA

其中，⊙表示两个向量的哈达玛积，当两个向量形状不同时，采用广播机制运算。a_u和a_l是用于min-max缩放的上界和下界因子，用于对原始的全维度注意力AA进行缩放。min-max缩放过程可以帮助调整注意力权重绝对值的分布，使其更好地适应图像序列特征提取任务。

在本实施例中，各类池化层的作用是对产生的特征图数据的分布进行调整，从而减少特征图中的噪声，并保留特征图序列的整体特征。整个图像序列特征提取网络由注意力模块、空洞卷积模块、最大池化模块交替而成，以实现图像特征序列的提取，最后，经过各类模块处理的特征图序列将通过Squeeze(挤压)方法进行降维，并通过一组1×1的二维卷积，获取形状为(L×O)的，对图像序列信息进行概括和抽象表示的图像特征时间序列。实际应用中，可以根据图像包含信息的复杂程度和数字孪生平台的计算资源情况，可以对卷积神经网络模块和综合注意力模块的数量及其内部的网络结构参数进行调整，从而达到最优的图像数据特征提取效率。

本申请提供的一种基于三维注意力卷积的图像序列特征提取网络，能够对输入的图像序列进行全维度的注意力加权，并通过三维空洞卷积的应用在考虑序列间时间关系的前提下实现快速的图像序列特征提取，在减少数字孪生平台计算资源的同时，提升了图像序列特征提取的质量和效果。

图6是本实施例提供的一种图像序列特征提取网络和性能指标软测量模型的同步训练方法流程图。这一训练方法，主要应用于对图像序列特征提取网络和基于网络方法构建的性能指标软测量模型的同步训练。参见图6，该方法可以包括以下步骤：

201、获取模型训练数据。

在本实施例中，训练数据由多个部分组成，包括过程变量数据，生产过程图像数据等建模使用的多模态数据，以及作为建模目标的过程变量数据。如前文所述，多模态数据的获取可以通过API(应用程序接口)访问、数据库查询、文件系统访问、Web服务访问等等方式获取，并在数字孪生平台的数据服务层中进行解析和缓存。

实际应用中，需要收集足够时间长度的训练数据，以实现精准、可靠的建模。除此之外，需要对收集得到的多模态训练数据进行清洗、筛选、数据类型转换等操作以提升建模的效果。

202、构建模型训练数据集。

在本实施例中，需要对获取的用于模型训练的多模态数据进行上文所述的序列时间尺度统一、序列时间窗口对齐等操作，以形成符合上文所述的图像序列特征提取网络和性能指标软测量网络模型所需输入格式的一组多模态数据序列。在此基础上，将多模态数据序列按照一定比例划分为训练集、验证集和测试集。在训练过程中，通常将训练集用于模型的训练和参数优化，验证集用于模型的调参和选择，测试集用于评估模型的泛化能力和性能。

在一些可选的实施例中，可以对其中的过程变量数据进行归一化、标准化等方法处理。标准化是指通过缩放和运算等方式，确保单个变量数据的均值为0，方差为1。归一化是将每个样本的特征向量缩放到单位范数，使得特征向量的欧几里德范数为1。这些操作可以消除过程变量数据在尺度层面的差异，增强模型在训练过程中的收敛性，避免过拟合问题的发生。

203、设计端到端网络模型结构。

在本实施例中，图像序列特征提取网络和性能指标软测量网络通过连接的方式，组成一个端到端(End-to-End)的网络模型，从而实现两类网络的同步训练，进而节省流程工业数字孪生平台在模型训练方面消耗的时间、资源和人工成本，提升模型的训练效果。对于端到端网络模型结构的设计，例如包括对于网络的层数、参数量、连接方式的设计。

实际应用中，应根据图像数据包含信息的丰富水平、性能指标预测任务的复杂程度等因素，设计合适的端到端网络模型结构。

204、训练模型并上传训练结果。

在本实施例中，通过一定的训练方法对所构建的端到端网络模型进行训练。在多个轮次的训练过程中，网络输入成批次的多模态数据序列，在一定的损失函数指导下，实现参数的更新以最小化损失，最终在多模态数据序列信息和需要拟合的性能指标之间建立起映射关系。

在本实施例中，可以使用任意符合要求的损失函数指导模型的训练方向，损失函数例如包括：绝对误差损失、均方误差损失、L2损失、L1损失等等，在实际应用中，也可以结合具体任务的特点，自行定义损失函数以指导复杂模型的参数更新。通过损失函数实现参数更新的方法可以借助优化器完成，优化器采用的算法例如包括梯度下降法、Adam算法、Autograd算法等等。选择合适的优化器取决于具体的任务、数据和模型结构。常见的做法是尝试多种优化器，并根据实验结果选择性能最好的优化器。

在本实施例中，需要将模型的训练结果上传并存储，以用于数字孪生平台实时的加载、调用和性能指标软测量。训练结果由多个部分组成，例如包括网络模型的参数，模型的输入配置信息，在一些可选的实施例中也包含了对于多模态数据处理的方法，例如对生产过程变量归一化、标准化的配置信息。训练结果可以上传并被保存至数据服务层中，也可以通过其他的方法暂时保存，并在需要调用时通过一定的途径读取。

本申请提供的一种图像序列特征提取网络和性能指标软测量模型的同步训练方法，能够快速、简便地同时对图像序列特征提取网络和性能指标软测量网络模型进行训练并将训练结果上传，节省了流程工业数字孪生平台在多模态性能指标软测量模型训练方面消耗的时间、资源和人工成本，提升模型的训练效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于流程工业数字孪生平台多模态数据的软测量方法，其特征在于，包括：

从流程工业数字孪生平台的数据集成层中读取相应的过程变量时间序列和生产过程图像序列多模态数据序列，其中，所述过程变量是与流程工业产线、系统和设备运行状况紧密相关的参数，包括产线关键环节的温度、压力、流量，所述生产过程图像是指通过部署在产线上的图像采集装置获取的，包含生产过程重要信息的黑白、灰度或者彩色的图像数据，包括对产品表面的镜检结果，燃烧设备内的火焰成像，封闭反应器内的液位图像；

对读取到的各类多模态数据序列进行时间尺度的统一，所述时间尺度是指在一个时间序列中，相邻两个数据点、观测值或者相邻两张图片之间的时间跨度；

对统一时间尺度后的各类多模态序列进行时间窗口对齐，所述时间窗口是指用于性能指标软测量的多模态数据序列的选取范围；

从图像序列中提取图像特征时间序列，所述图像特征序列是指包含图像的各种结构、纹理和形状特征的特征向量序列；

利用对齐后的各类时间序列进行相应的性能指标软测量，其中，所述性能指标软测量通过基于预先训练好的，具备性能指标软测量功能的性能指标软测量模型实现，所述性能指标软测量模型是能够综合输入时间序列信息，建立时间序列和所需预测性能指标大小关系的模型；

将性能指标软测量的结果反馈给流程工业数字孪生平台的数据集成层，以实现软测量结果根据需要被快速调用，形成信息流动闭环。

2.一种基于三维注意力卷积的图像序列特征提取网络，其特征在于，网络的组成包括：

Gamma变换模块，所述Gamma变换模块采用的Gamma变换方法是一种在图像处理中常用的非线性操作，通过对图像中每一个元素的强度进行指数调整，从而改变图像整体上的亮度和对比度；

空洞卷积模块，所述空洞卷积模块采用了一个三维卷积核进行特征提取，并在三维卷积核的长度维度引入空洞，以扩展三维卷积核的时间感受野；

注意力模块，所述注意力模块主要包含图像序列时空注意力计算，图像序列通道注意力计算以及两类注意力融合三个算法，用于对输入的图像序列赋予全维度的注意力；

池化层模块，所述池化层模块用于对产生的特征图数据的分布进行调整，从而减少特征图中的噪声，并保留特征图序列的整体特征。

3.根据权利要求2所述的特征提取网络，其特征在于，所述的空洞卷积模块使用三维卷积网络实现图像序列特征的提取，所述三维卷积网络采用三维卷积核进行特征提取，每一个卷积核可以在序列长度、宽度和高度三个维度滑动并完成特征的提取：

其中，I和M分别表示输入图像和输出特征图，K表示可训练的卷积核，(h，w，l)和(i，j，k)分别表示特征图和卷积核上的像素的位置；此外，c_in和c_o分别是输入图像和输出特征图的通道数；在所述三维卷积核的长度维度引入空洞，以扩展所述三维卷积核的时间感受野。

4.基于权利要求2所述的特征提取网络，其特征在于，所述注意力模块主要包含三个算法：图像序列时空注意力计算，图像序列通道注意力计算，以及两类注意力的融合；

所述图像序列的时空注意力使用一个维度为(1×1×n)的三维卷积核来实现这一功能：

其中，STA表示图像序列的时空注意力权重，其长度、宽度、高度形状与输入图像序列相对应，但只有形状为1的通道维度，σ表示Sigmoid变换，时空注意力算法在高度和宽度维度上使用逐点卷积来加权空间信息，而在时间维度上，则使用特定的感受野大小来考虑相邻图像之间的时序关系；

所述图像序列的通道注意力通过对图像序列的最大池化和平均池化方法生成一对特征向量，然后通过一个共享的全连接层自编码器，将这些特征向量转化为两个通道权重向量，所述权重向量随后通过平均和Sigmoid变换，最终形成一组与输入图像通道数一致的通道注意力权重：

其中，CA表示图像序列的通道注意力权重，δ表示自编码器中使用的ReLU激活函数，H、W、L分别表示图像序列的高、宽和长度，W₁和W₂分别表示编码器和解码器的权重矩阵；

所述注意力融合的方法为：

AA＝STA⊙CA

其中，AA是缩放前的注意力权重，AA_sc是缩放后的注意力权重，⊙表示两个向量的哈达玛积，当两个向量形状不同时，采用广播机制运算；a_u和a_l是用于min-max缩放的上界和下界因子，用于对全维度注意力进行缩放；min-max缩放过程帮助调整注意力权重的分布，更好地适应图像序列特征提取任务。

5.根据权利要求2所述的特征提取网络，其特征在于，整个图像序列特征提取网络由注意力模块、空洞卷积模块、最大池化模块交替而成，以实现图像序列特征序列的提取，最后，经过各类模块处理的特征图序列将通过Squeeze(挤压)方法进行降维，并通过一组1×1的二维卷积，获取对图像序列信息进行概括和抽象表示的图像特征时间序列。

6.一种图像特征提取网络和性能指标软测量模型的同步训练方法，其特征在于：包括：

获取模型训练数据，所述训练数据由多个部分组成，包括过程变量数据，生产过程图像数据等建模使用的多模态数据，以及作为建模目标的过程变量数据；

构建模型训练数据集，包括对获取的用于模型训练的多模态数据进行上文所述的序列时间尺度统一、序列时间窗口对齐等操作，以形成符合图像特征提取网络和性能指标软测量网络模型所需输入格式的一组多模态数据序列，以及将所述多模态数据序列按照一定比例划分为训练集、验证集和测试集；

设计端到端网络模型结构，其中，所述图像特征提取网络和性能指标软测量网络通过连接的方式，组成一个端到端(End-to-End)的网络模型，从而实现两类网络的同步训练，所述网络模型结构包括网络的层数、参数量、连接方式；

训练模型并上传训练结果，所述训练结果由多个部分组成，例如包括网络模型的参数，模型的输入配置信息。