CN115222165A - 一种基于Transformer模型的排水系统运行状态预测方法及系统 - Google Patents

Abstract

本申请实施例公开了一种基于Transformer模型的排水系统运行状态预测方法及系统，属于排水系统技术领域，其中，所述方法包括：获取排水系统的多个历史候选运行参数序列；从多个历史候选运行参数序列中选择多个历史目标运行参数序列；通过参数预测模型基于多个历史目标运行参数序列预测多个未来目标运行参数序列；通过水位预测模型基于多个历史候选运行参数序列及多个未来目标运行参数序列，预测排水系统的未来水位序列，其中，未来水位序列包括排水系统在多个未来时间点的水位；基于排水系统的未来水位序列确定排水系统的运行状态，具有预测排水系统的运行状态，保证顶盖水位保持在安全可控的范围内，提升水电站运行的安全性的优点。

Description

一种基于Transformer模型的排水系统运行状态预测方法及 系统

技术领域

本发明主要涉及排水系统技术领域，具体地说，涉及一种基于Transformer模型的排水系统运行状态预测方法及系统。

背景技术

排水系统的最终目标是通过排水泵的调度，将水位控制并保持在一个合理的区间，而系统水位又会受到多种因素的影响。现有技术中，主要通过实时监测的方式，对顶盖水位进行监测和预警，导致在顶盖水位过高时，采取的应对措施较为滞后，降低了水电站运行的安全性。

因此，需要一种基于Transformer模型的排水系统运行状态预测方法及系统，用于预测排水系统的运行状态，保证顶盖水位保持在安全可控的范围内，提升水电站运行的安全性。

发明内容

为了解决现有技术中只采用实时监测的方式，对顶盖水位进行监测和预警，导致在顶盖水位过高时，使得采取的应对措施较为滞后，降低了水电站运行的安全性的技术问题，本说明书实施例之一提供一种基于Transformer模型的排水系统运行状态预测方法，所述方法包括：获取排水系统的多个历史候选运行参数序列，其中，所述历史候选运行参数序列包括所述排水系统在多个历史时间点的运行参数；从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列；通过参数预测模型基于所述多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，所述未来目标运行参数序列包括所述排水系统在多个未来时间点的运行参数；通过水位预测模型基于所述多个历史候选运行参数序列及所述多个未来目标运行参数序列，预测所述排水系统的未来水位序列，其中，所述未来水位序列包括所述排水系统在多个未来时间点的水位；基于所述排水系统的未来水位序列确定所述排水系统的运行状态。

在一些实施例中，所述获取排水系统的多个历史候选运行参数序列，包括：获取所述排水系统的多个初始历史候选运行参数序列；对每个所述初始历史候选运行参数序列进行预处理，生成所述初始历史候选运行参数序列对应的所述历史候选运行参数序列，其中，所述预处理包括空白数据及异常数据处理。

在一些实施例中，所述从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列，包括：获取所述多个历史候选运行参数序列对应的历史水位序列，其中，所述历史水位序列包括在所述排水系统在多个历史时间点的水位；对于每个所述历史候选运行参数序列，确定所述历史候选运行参数序列与所述历史水位序列的序列相关度；基于每个所述历史候选运行参数序列的序列相关度，从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列。

在一些实施例中，所述运行参数包括水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖x向振动、顶盖y向振动及顶盖z向振动。

在一些实施例中，所述水位预测模型包括输入层、解码器、编码器和输出层；所述输入层用于对所述多个历史目标运行参数序列预测多个未来目标运行参数序列进行编码处理，生成神经网络嵌入表示，所述输入层输出所述神经网络嵌入表示给所述编码器；所述编码器用于先基于自注意力机制，对所述嵌入表示进行处理得到注意力特征向量矩阵；再使用池化操作对所述注意力特征向量矩阵进行处理，生成编码隐藏表示，所述编码器输出所述编码隐藏表示给所述解码器；所述解码器用于基于自注意力机制，对所述编码隐藏表示进行处理得到解码隐藏表示，所述解码器用于将所述解码隐藏表示输出给所述输出层；所述输出层用于对所述解码隐藏表示进行全连接处理得到所述排水系统的未来水位序列。

本说明书实施例之一提供一种基于Transformer模型的排水系统运行状态预测系统，包括：参数获取模块，用于获取排水系统的多个历史候选运行参数序列，其中，所述历史候选运行参数序列包括所述排水系统在多个历史时间点的运行参数；还用于从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列；参数预测模块，用于通过参数预测模型基于所述多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，所述未来目标运行参数序列包括所述排水系统在多个未来时间点的运行参数；水位预测模块，用于通过水位预测模型基于所述多个历史候选运行参数序列及所述多个未来目标运行参数序列，预测所述排水系统的未来水位序列，其中，所述未来水位序列包括所述排水系统在多个未来时间点的水位；状态预测模块，用于基于所述排水系统的未来水位序列确定所述排水系统的运行状态。

在一些实施例中，所述参数获取模块还用于：获取所述排水系统的多个初始历史候选运行参数序列；对每个所述初始历史候选运行参数序列进行预处理，生成所述初始历史候选运行参数序列对应的所述历史候选运行参数序列，其中，所述预处理包括空白数据及异常数据处理。

在一些实施例中，所述参数获取模块还用于：获取所述多个历史候选运行参数序列对应的历史水位序列，其中，所述历史水位序列包括在所述排水系统在多个历史时间点的水位；对于每个所述历史候选运行参数序列，确定所述历史候选运行参数序列与所述历史水位序列的序列相关度；基于每个所述历史候选运行参数序列的序列相关度，从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列。

在一些实施例中，所述运行参数包括水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖x向振动、顶盖y向振动及顶盖z向振动。

在一些实施例中，所述水位预测模型包括输入层、解码器、编码器和输出层；所述输入层用于对所述多个历史目标运行参数序列预测多个未来目标运行参数序列进行编码处理，生成神经网络嵌入表示，所述输入层输出所述神经网络嵌入表示给所述编码器；所述编码器用于先基于自注意力机制，对所述嵌入表示进行处理得到注意力特征向量矩阵；再使用池化操作对所述注意力特征向量矩阵进行处理，生成编码隐藏表示，所述编码器输出所述编码隐藏表示给所述解码器；所述解码器用于基于自注意力机制，对所述编码隐藏表示进行处理得到解码隐藏表示，所述解码器用于将所述解码隐藏表示输出给所述输出层；所述输出层用于对所述解码隐藏表示进行全连接处理得到所述排水系统的未来水位序列。

本说明书提供的一种基于Transformer模型的排水系统运行状态预测方法及系统，至少具有以下有益效果：

1、通过获取排水系统的多个历史候选运行参数序列， 从多个历史候选运行参数序列中选择多个历史目标运行参数序列；通过参数预测模型基于多个历史目标运行参数序列预测多个未来目标运行参数序列，通过水位预测模型基于多个历史候选运行参数序列及多个未来目标运行参数序列，预测排水系统的未来水位序列，基于排水系统的未来水位序列确定排水系统的运行状态，进行提前预警，保证顶盖水位保持在安全可控的范围内，提升水电站运行的安全性；

2、当某个初始历史候选运行参数序列需要进行预处理时，参数获取模块可以先按照数据的排列顺序对该初始历史候选运行参数序列进行预处理，可以使得预处理后的数据的准确度较高，避免某个数据的重复预处理，提高数据处理效率；通过窗口从该初始历史候选运行参数序列中截取数据组，并计算该数据组的均值，使用该数据组的均值替代个空白数据或异常数据，可以保证用于预测的数据的有效性，提高预测的精准度。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测系统的应用场景示意图；

图2是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测系统的模块示意图；

图3是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测方法的示例性流程图。

图中，100、应用场景；110、处理设备；120、网络；130、用户终端；140、存储设备。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。应当理解，给出这些示例性的实施例仅仅是为了使相关领域的技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测系统的应用场景100示意图。

如图1所示，应用场景100可以包括处理设备110、网络120、用户终端130和存储设备140。

在一些实施例中，处理设备110可以用于处理与水泵运行检测相关的信息和/或数据。例如，处理设备110可以获取排水系统的多个历史候选运行参数序列，其中，历史候选运行参数序列包括排水系统在多个历史时间点的运行参数；从多个历史候选运行参数序列中选择多个历史目标运行参数序列；通过参数预测模型基于多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，未来目标运行参数序列包括排水系统在多个未来时间点的运行参数；通过水位预测模型基于多个历史候选运行参数序列及多个未来目标运行参数序列，预测排水系统的未来水位序列，其中，未来水位序列包括排水系统在多个未来时间点的水位；基于排水系统的未来水位序列确定排水系统的运行状态。

在一些实施例中，处理设备110可以是区域的或者远程的。例如，处理设备110可以通过网络120访问存储于用户终端130和存储设备140中的信息和/或资料。在一些实施例中，处理设备110可以直接与用户终端130和存储设备140连接以访问存储于其中的信息和/或资料。在一些实施例中，处理设备110可以在云平台上执行。例如，该云平台可以包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。在一些实施例中，处理设备110可以包含处理器，处理器可以包含一个或多个子处理器（例如，单芯处理设备或多核多芯处理设备）。仅仅作为范例，处理器可包含中央处理器（CPU）、专用集成电路（ASIC）、专用指令处理器（ASIP）、图形处理器（GPU）、物理处理器（PPU）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、可编辑逻辑电路（PLD）、控制器、微控制器单元、精简指令集电脑（RISC）、微处理器等或以上任意组合。

网络120可促进应用场景100中数据和/或信息的交换。在一些实施例中，应用场景100中的一个或多个组件（例如，处理设备110、用户终端130和存储设备140）可以通过网络120发送数据和/或信息给应用场景100中的其他组件。例如，处理设备110可以通过网络120从存储设备140获取排水系统的多个历史候选运行参数序列。在一些实施例中，网络120可以是任意类型的有线或无线网络。例如，网络120可以包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络、广域网络、无线区域网络、都会区域网络、公共电话交换网络、蓝牙网络、ZigBee网络、近场通讯网络等或以上任意组合。

用户终端130可以获取应用场景100中的信息或数据，用户（例如，排水系统的相关工作人员）可以是用户终端130的使用者。在一些实施例中，用户终端130可以通过网络120与应用场景100中的一个或多个组件（例如，处理设备110或存储设备140）进行数据和/或信息的交换。例如，用户终端130可以通过网络120从处理设备110获取排水系统的运行状态。在一些实施例中，用户终端130可以包括移动装置、平板电脑、笔记本电脑等中的一种或其任意组合。在一些实施例中，移动装置可以包括可穿戴装置、智能行动装置、虚拟实境装置、增强实境装置等或其任意组合。

在一些实施例中，存储设备140可以与网络120连接以实现与应用场景100的一个或多个组件（例如，处理设备110、用户终端130等）通讯。应用场景100的一个或多个组件可以通过网络120访问存储于存储设备140中的资料或指令。在一些实施例中，存储设备140可以直接与应用场景100中的一个或多个组件（如，处理设备110、用户终端130）连接或通讯。

应该注意的是，上述描述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域普通技术人员而言，在本申请内容的指导下，可做出多种变化和修改。可以以各种方式组合本申请描述的示例性的实施例的特征、结构、方法和其他特征，以获得另外的和/或替代的示例性的实施例。例如，存储设备140可以是包括云计算平台的数据存储设备，例如公共云、私有云、社区和混合云等。然而，这些变化与修改不会背离本申请的范围。

图2是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测系统的模块示意图。

如图2所示，基于Transformer模型的排水系统运行状态预测系统可以包括参数获取模块、参数预测模块、水位预测模块及状态预测模块。

参数获取模块可以用于获取排水系统的多个历史候选运行参数序列，其中，历史候选运行参数序列包括排水系统在多个历史时间点的运行参数。参数获取模块还可以用于从多个历史候选运行参数序列中选择多个历史目标运行参数序列。在一些实施例中，参数获取模块还可以用于：获取排水系统的多个初始历史候选运行参数序列；对每个初始历史候选运行参数序列进行预处理，生成初始历史候选运行参数序列对应的历史候选运行参数序列，其中，预处理包括空白数据及异常数据处理。在一些实施例中，参数获取模块还可以用于：获取多个历史候选运行参数序列对应的历史水位序列，其中，历史水位序列包括在排水系统在多个历史时间点的水位；对于每个历史候选运行参数序列，确定历史候选运行参数序列与历史水位序列的序列相关度；基于每个历史候选运行参数序列的序列相关度，从多个历史候选运行参数序列中选择多个历史目标运行参数序列。

参数预测模块可以用于通过参数预测模型基于多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，未来目标运行参数序列包括排水系统在多个未来时间点的运行参数。

水位预测模块可以用于通过水位预测模型基于多个历史候选运行参数序列及多个未来目标运行参数序列，预测排水系统的未来水位序列，其中，未来水位序列包括排水系统在多个未来时间点的水位。

状态预测模块可以用于基于排水系统的未来水位序列确定排水系统的运行状态。

关于参数获取模块、参数预测模块、水位预测模块及状态预测模块的更多描述可以参见图3及其相关描述，此处不再赘述。

图3是根据本申请一些实施例所示的一种基于Transformer模型的排水系统运行状态预测方法的示例性流程图。在一些实施例中，基于Transformer模型的排水系统运行状态预测方法可以由基于Transformer模型的排水系统运行状态预测系统执行。如图3所示，基于Transformer模型的排水系统运行状态预测方法可以包括如下步骤。

步骤310，获取排水系统的多个历史候选运行参数序列。在一些实施例中，步骤310可以由参数获取模块执行。

历史候选运行参数序列包括排水系统在多个历史时间点的运行参数。其中，运行参数可以为与排水系统的运行相关的信息，例如，水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖x向振动、顶盖y向振动、顶盖z向振动、水轮机机组的工作电压、水轮机机组的工作电流等。

在一些实施例中，参数获取模块可以通过多个传感器获取排水系统的多个历史候选运行参数序列。具体的，参数获取模块可以通过多个传感器在在多个历史时间点采集排水系统的运行参数。

在一些实施例中，参数获取模块获取排水系统的多个历史候选运行参数序列，可以包括：

获取排水系统的多个初始历史候选运行参数序列；

对每个初始历史候选运行参数序列进行预处理，生成初始历史候选运行参数序列对应的历史候选运行参数序列，其中，预处理包括空白数据及异常数据处理。

在一些实施例中，初始历史候选运行参数序列可以为参数获取模块可以通过多个传感器在在多个历史时间点采集排水系统的运行参数按照获取的时间先后顺序组成的序列。可以理解的，在传感器发生短暂故障时，可以导致初始历史候选运行参数序列中的某个历史时间点对应的数据缺失或异常，为保证数据的完整性和可靠度，需要对初始历史候选运行参数序列进行预处理。

在一些实施例中，参数获取模块可以先计算初始历史候选运行参数序列的方差，基于初始历史候选运行参数序列的方差判断是否对初始历史候选运行参数序列进行预处理。具体的，参数获取模块可以通过以下公式计算初始历史候选运行参数序列的方差：

其中，

为初始历史候选运行参数序列的方差，

为初始历史候选运行参数序列 中第

个数据，

为初始历史候选运行参数序列的均值，

为初始历史候选运行参数序列中 数据的总数。

在一些实施例中，基于初始历史候选运行参数序列的方差判断是否对初始历史候选运行参数序列进行预处理，可以快速确定需要进行预处理的初始历史候选运行参数序列，避免过度预处理，增大数据处理量及工作效率。

在一些实施例中，当初始历史候选运行参数序列的方差大于预设方差阈值时，判断需要对初始历史候选运行参数序列进行预处理。当某个初始历史候选运行参数序列需要进行预处理时，参数获取模块可以先按照数据的排列顺序，确定第一个空白数据或异常数据，具体的，当初始历史候选运行参数序列的某个数据与初始历史候选运行参数序列的均值的差值大于预设差值阈值时，可以判断该数据为空白数据或异常数据，当出现第一个空白数据或异常数据时，可以以该第一个空白数据或异常数据为中心，通过预设长度（例如，7个数据值）的窗口从该初始历史候选运行参数序列中截取数据组，并计算该数据组的均值，使用该数据组的均值替代第一个空白数据或异常数据，然后进行下一个空白数据或异常数据的预处理，进行下一个空白数据或异常数据的预处理与进行第一个空白数据或异常数据的预处理相似，此处不再赘述。

在一些实施例中，当某个初始历史候选运行参数序列需要进行预处理时，参数获取模块可以先按照数据的排列顺序对该初始历史候选运行参数序列进行预处理，可以使得预处理后的数据的准确度较高，避免某个数据的重复预处理，提高数据处理效率；通过窗口从该初始历史候选运行参数序列中截取数据组，并计算该数据组的均值，使用该数据组的均值替代个空白数据或异常数据，可以保证用于预测的数据的有效性，提高预测的精准度。

步骤320，从多个历史候选运行参数序列中选择多个历史目标运行参数序列。在一些实施例中，步骤320可以由参数获取模块执行。

历史目标运行参数序列可以为从多个历史候选运行参数序列中筛选出来的一个历史候选运行参数序列。

在一些实施例中，从多个历史候选运行参数序列中选择多个历史目标运行参数序列，包括：

获取多个历史候选运行参数序列对应的历史水位序列，其中，历史水位序列包括在排水系统在多个历史时间点的水位；

对于每个历史候选运行参数序列，确定历史候选运行参数序列与历史水位序列的序列相关度，其中，序列相关度可以表征历史候选运行参数序列对应的运行参数对排水系统的运行或对排水系统的水位的影响程度，可以理解的，序列相关度的绝对值越高，该历史候选运行参数序列对应的运行参数对排水系统的运行或对排水系统的水位的影响程度越大；

基于每个历史候选运行参数序列的序列相关度，从多个历史候选运行参数序列中选择多个历史目标运行参数序列。

在一些实施例中，参数获取模块可以基于Pearson相关系数计算历史候选运行参数序列与水泵的运行的相关性。

在一些实施例中，参数获取模块可以通过相关度确定模型确定历史候选运行参数序列与历史水位序列的序列相关度，其中，相关度确定模型的输入为历史候选运行参数序列，相关度确定模型的输出为该历史候选运行参数序列与历史水位序列的序列相关度。相关度确定模型可以包括但不限于神经网络（NN）、卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）等或其任意组合，例如，相关度确定模型可以为卷积神经网络和深度神经网络组合形成的模型。

在一些实施例中，参数获取模块可以将序列相关度的绝对值大于预设相关度阈值的历史候选运行参数序列作为历史目标运行参数序列。

步骤330，通过参数预测模型基于多个历史目标运行参数序列预测多个未来目标运行参数序列。在一些实施例中，步骤330可以由参数预测模块执行。

未来目标运行参数序列包括排水系统在多个未来时间点的运行参数。例如，多个历史目标运行参数序列包括水轮机机组流量历史序列、机组有功历史序列、主轴密封磨损量历史序列、密封水压力历史序列、密封水流量历史序列、顶盖压力脉动历史序列、顶盖x向振动历史序列、顶盖y向振动历史序列及顶盖z向振动历史序列，则多个未来目标运行参数序列可以包括水轮机机组流量未来序列、机组有功未来序列、主轴密封磨损量未来序列、密封水压力未来序列、密封水流量未来序列、顶盖压力脉动未来序列、顶盖x向振动未来序列、顶盖y向振动未来序列及顶盖z向振动未来序列。

参数预测模型的输入可以为多个历史目标运行参数序列，参数预测模型的输出可以为多个未来目标运行参数序列。在一些实施例中，参数预测模型可以为长序列预测（LongSequence Time-Series Forecasting，LSTF）模型。

步骤340，通过水位预测模型基于多个历史候选运行参数序列及多个未来目标运行参数序列，预测排水系统的未来水位序列。在一些实施例中，步骤340可以由水位预测模块执行。

在一些实施例中，水位预测模型包括输入层、解码器、编码器和输出层；

输入层用于对多个历史目标运行参数序列预测多个未来目标运行参数序列进行编码处理，生成神经网络嵌入表示，输入层输出神经网络嵌入表示给编码器，具体的，水位预测模型可以将多个历史目标运行参数序列和多个未来目标运行参数序列拼接起来，并加入位置编码，生成神经网络嵌入表示，输入层的位置编码使用的是绝对位置编码，具体使用了正余弦函数位置编码；

编码器用于先基于自注意力机制，对嵌入表示进行处理得到注意力特征向量矩阵；再使用池化操作对注意力特征向量矩阵进行处理，生成编码隐藏表示，编码器输出编码隐藏表示给解码器，具体的，编码器可以包括多个编码单元，上一个编码单元的输出为下一个编码单元的输入，每个编码单元可以包括一个自注意力层和一个蒸馏操作层，编码单元中，自注意力层的输出为蒸馏操作层的输入，蒸馏操作层的输出为下一个编码单元活解码器的输入，自注意力层可以通过以下表达式表达：

；

其中，Q表示查询(query)，K表示键(key)，V表示值(value)。通过上式得到注意力特征向量Z；蒸馏操作层使用蒸馏操作对具有主导特征的优势特征赋予特权，在下一层生成聚焦的自注意特征映射，可大幅削减输入的时间维度；

解码器用于基于自注意力机制，对编码隐藏表示进行处理得到解码隐藏表示，解码器用于将解码隐藏表示输出给输出层；解码器可以包括一个掩盖多头注意力计算层和一个多头注意力计算层，不同于编码器，解码器解码时需要掩盖掉目标序列的信息，并在进行注意力计算时需要将目标序列的点积计算结果设置为-∞，这样操作可以防止每个位置关注未来的位置，避免了自回归；掩盖多头注意力计算层的输入可以为：

其中，

为掩盖多头注意力计算层的输入，Contact(·)表示通道拼接，

是起始令牌(token)，

是目标序列的占位符，设置为0。

输出层用于对解码隐藏表示进行全连接处理得到排水系统的未来水位序列。

在水位预测模型的训练过程中，使用均方误差(MSE)作为最终的损失函数，计算输出和标签序列之间的误差，进行梯度的反向传播，实现水位预测模型的参数的优化。

步骤350，基于排水系统的未来水位序列确定排水系统的运行状态。在一些实施例中，步骤350可以由状态预测模块执行。

未来水位序列可以包括排水系统在多个未来时间点的水位。

在一些实施例中，状态预测模块可以通过多种方式基于排水系统的未来水位序列确定排水系统的运行状态。例如，当存在多个连续的未来时间点的水位均大于预设水位时，状态预测模块可以判断排水系统的运行状态异常，发出警示信息。又例如，状态预测模块可以计算排水系统的未来水位序列的方差，当未来水位序列的方差大于预设方差阈值时，状态预测模块可以判断排水系统的运行状态异常，发出警示信息。

在本申请的另一些实施例中，提供了一种基于Transformer模型的排水系统运行状态预测装置，包括至少一个处理设备以及至少一个存储设备；至少一个存储设备用于存储计算机指令，至少一个处理设备用于执行计算机指令中的至少部分指令以实现如上的一种基于Transformer模型的排水系统运行状态预测方法。

在本申请的又一些实施例中，提供了一种计算机可读存储介质，存储介质存储计算机指令，当计算机指令被处理设备执行时实现如上的基于Transformer模型的排水系统运行状态预测方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本申请处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件（当前或之后附加于本申请中的）也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (10)

1.一种基于Transformer模型的排水系统运行状态预测方法，其特征在于，包括：

获取排水系统的多个历史候选运行参数序列，其中，所述历史候选运行参数序列包括所述排水系统在多个历史时间点的运行参数；

从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列；

通过参数预测模型基于所述多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，所述未来目标运行参数序列包括所述排水系统在多个未来时间点的运行参数；

通过水位预测模型基于所述多个历史候选运行参数序列及所述多个未来目标运行参数序列，预测所述排水系统的未来水位序列，其中，所述未来水位序列包括所述排水系统在多个未来时间点的水位；

基于所述排水系统的未来水位序列确定所述排水系统的运行状态。

2.根据权利要求1所述的一种基于Transformer模型的排水系统运行状态预测方法，其特征在于，所述获取排水系统的多个历史候选运行参数序列，包括：

获取所述排水系统的多个初始历史候选运行参数序列；

对每个所述初始历史候选运行参数序列进行预处理，生成所述初始历史候选运行参数序列对应的所述历史候选运行参数序列，其中，所述预处理包括空白数据及异常数据处理。

3.根据权利要求1所述的一种基于Transformer模型的排水系统运行状态预测方法，其特征在于，所述从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列，包括：

获取所述多个历史候选运行参数序列对应的历史水位序列，其中，所述历史水位序列包括在所述排水系统在多个历史时间点的水位；

对于每个所述历史候选运行参数序列，确定所述历史候选运行参数序列与所述历史水位序列的序列相关度；

基于每个所述历史候选运行参数序列的序列相关度，从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列。

4.根据权利要求1-3任意一项所述的一种基于Transformer模型的排水系统运行状态预测方法，其特征在于，所述运行参数包括水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖x向振动、顶盖y向振动及顶盖z向振动。

5.根据权利要求1-3任意一项所述的一种基于Transformer模型的排水系统运行状态预测方法，其特征在于，所述水位预测模型包括输入层、解码器、编码器和输出层；

所述输入层用于对所述多个历史目标运行参数序列预测多个未来目标运行参数序列进行编码处理，生成神经网络嵌入表示，所述输入层输出所述神经网络嵌入表示给所述编码器；

所述编码器用于先基于自注意力机制，对所述嵌入表示进行处理得到注意力特征向量矩阵；再使用池化操作对所述注意力特征向量矩阵进行处理，生成编码隐藏表示，所述编码器输出所述编码隐藏表示给所述解码器；

所述解码器用于基于自注意力机制，对所述编码隐藏表示进行处理得到解码隐藏表示，所述解码器用于将所述解码隐藏表示输出给所述输出层；

所述输出层用于对所述解码隐藏表示进行全连接处理得到所述排水系统的未来水位序列。

6.一种基于Transformer模型的排水系统运行状态预测系统，其特征在于，包括：

参数获取模块，用于获取排水系统的多个历史候选运行参数序列，其中，所述历史候选运行参数序列包括所述排水系统在多个历史时间点的运行参数；还用于从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列；

参数预测模块，用于通过参数预测模型基于所述多个历史目标运行参数序列预测多个未来目标运行参数序列，其中，所述未来目标运行参数序列包括所述排水系统在多个未来时间点的运行参数；

水位预测模块，用于通过水位预测模型基于所述多个历史候选运行参数序列及所述多个未来目标运行参数序列，预测所述排水系统的未来水位序列，其中，所述未来水位序列包括所述排水系统在多个未来时间点的水位；

状态预测模块，用于基于所述排水系统的未来水位序列确定所述排水系统的运行状态。

7.根据权利要求6所述的一种基于Transformer模型的排水系统运行状态预测系统，其特征在于，所述参数获取模块还用于：

获取所述排水系统的多个初始历史候选运行参数序列；

对每个所述初始历史候选运行参数序列进行预处理，生成所述初始历史候选运行参数序列对应的所述历史候选运行参数序列，其中，所述预处理包括空白数据及异常数据处理。

8.根据权利要求6所述的一种基于Transformer模型的排水系统运行状态预测系统，其特征在于，所述参数获取模块还用于：

获取所述多个历史候选运行参数序列对应的历史水位序列，其中，所述历史水位序列包括在所述排水系统在多个历史时间点的水位；

对于每个所述历史候选运行参数序列，确定所述历史候选运行参数序列与所述历史水位序列的序列相关度；

基于每个所述历史候选运行参数序列的序列相关度，从所述多个历史候选运行参数序列中选择多个历史目标运行参数序列。

9.根据权利要求6-8任意一项所述的一种基于Transformer模型的排水系统运行状态预测系统，其特征在于，所述运行参数包括水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖x向振动、顶盖y向振动及顶盖z向振动。

10.根据权利要求6-8任意一项所述的一种基于Transformer模型的排水系统运行状态预测系统，其特征在于，所述水位预测模型包括输入层、解码器、编码器和输出层；

所述输入层用于对所述多个历史目标运行参数序列预测多个未来目标运行参数序列进行编码处理，生成神经网络嵌入表示，所述输入层输出所述神经网络嵌入表示给所述编码器；

所述编码器用于先基于自注意力机制，对所述嵌入表示进行处理得到注意力特征向量矩阵；再使用池化操作对所述注意力特征向量矩阵进行处理，生成编码隐藏表示，所述编码器输出所述编码隐藏表示给所述解码器；

所述解码器用于基于自注意力机制，对所述编码隐藏表示进行处理得到解码隐藏表示，所述解码器用于将所述解码隐藏表示输出给所述输出层；

所述输出层用于对所述解码隐藏表示进行全连接处理得到所述排水系统的未来水位序列。

Images