发明内容
基于此,针对上述技术问题,本申请提供一种基于格兰杰因果关系的系统策略预测方法、装置、计算机设备及存储介质,以解决现有技术中系统策略预测不准确的技术问题。
一种基于格兰杰因果关系的系统策略预测方法,所述方法包括:
采集相关参数和工业数据,其中,所述相关参数包括至少一个系统模块的至少一个模块变量,所述工业数据为各模块变量的历史数据;
基于所述历史数据,采用基于注意力机制的格兰杰因果关系分析方式对各模块变量进行因果分析,得到各模块变量的历史数据与当前数据之间的格兰杰因果强度;
构建图数据结构以描述工业系统的系统拓扑结构,其中,所述图数据结构以各系统模块为顶点,每个顶点代表一个系统模块,每个系统模块中包括的系统变量的数量表示顶点的特征个数,每条边代表系统模块之间的因果连接关系,综合的格兰杰因果强度为量化的因果连接关系;
将构建的图数据结构输入到预测模型中,得到系统策略的预测结果。
一种基于格兰杰因果关系的系统策略预测装置,所述装置包括:
数据采集模块,用于采集相关参数和工业数据,其中,所述相关参数包括至少一个系统模块的至少一个模块变量,所述工业数据为各模块变量的历史数据;
因果分析模块,用于基于所述历史数据,采用基于注意力机制的格兰杰因果关系分析方式对各模块变量进行因果分析,得到各模块变量的历史数据与当前数据之间的格兰杰因果强度;
图数据构建模块,用于构建图数据结构以描述工业系统的系统拓扑结构,其中,所述图数据结构以各系统模块为顶点,每个顶点代表一个系统模块,每个系统模块中包括的系统变量的数量表示顶点的特征个数,每条边代表系统模块之间的因果连接关系,综合的格兰杰因果强度为量化的因果连接关系;
策略预测模块,用于将构建的图数据结构输入到预测模型中,得到系统策略的预测结果。
一种计算机设备,包括存储器和处理器,以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述基于格兰杰因果关系的系统策略预测方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述基于格兰杰因果关系的系统策略预测方法的步骤。
上述基于格兰杰因果关系的系统策略预测方法、装置、计算机设备和存储介质,通过基于格兰杰因果的模型不仅可以提取系统中每个系统模块的因果结果,考虑了工业生产系统中存在的空间因素,能够捕捉空间和时间的依赖关系,并将依赖关系量化,提高了深度学习模型的在业务层面上的可解释性。而且还可以提取不同模块间的共同因果结构,并推断出系统整体的格兰杰因果结构,有效地从杂乱无章的数据中提炼出系统、模块、测点间的因果关系,构建出图数据的邻接矩阵,定量描述出来,构成系统数据的图数据结构输入到T-GCN模型,使模型更加可靠。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白,下面结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于格兰杰因果关系的系统策略预测方法,可以应用于如图1所示的应用环境中。其中,该应用环境可以包括终端102、网络以及服务端104,网络用于在终端102和服务端104之间提供通信链路介质,网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端102通过网络与服务端104交互,以接收或发送消息等。终端102上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端102可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务端104可以是提供各种服务的服务器,例如对终端102上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于格兰杰因果关系的系统策略预测方法一般由服务端/终端执行,相应地,基于格兰杰因果关系的系统策略预测装置一般设置于服务端/终端设备中。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
应该理解,图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
其中,终端102通过网络与服务端104进行通信。其中,终端102和服务端104之间通过网络进行连接,该网络可以是有线网络或者无线网络,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于格兰杰因果关系的系统策略预测方法,以该方法应用于图1中的服务端为例进行说明,包括以下步骤:
步骤202,采集相关参数和工业数据,其中,所述相关参数包括至少一个系统模块的至少一个模块变量,所述工业数据为各模块变量的历史数据。
系统建模工业大多数还基于大数据之间的相关关系,缺乏可解释性和泛化能力,因此结合因果推断技术自动从数据中提炼出因果关系,并具备一定可解释能力的深度学习模型逐渐被提出来。本申请就提出了一种图神经网络的多元非线性工业时间序列预测的方式,主要通过对采集到的系统、模块、测点数据进行处理,然后进行系统、模块、测点间的格兰杰因果关系定量分析,形成系统整体数据的图结构,输入到图神经网络T-GCN进行时间序列预测。
本发明采用将格兰杰因果关系提取与图神经网络结合的方式能够有效地从数据中提炼出测点间的因果关系,定量描述了测点、模块之间的因果关系,使得T-GCN时间序列预测模型更加可靠。
具体地,确定相关参数及采集数据。结合实际生产工况确定系统模块N个,确定每个模块具有的变量数量S,采集这些变量对应的历史数据,时间窗口长度为T。
步骤204,基于所述历史数据,采用基于注意力机制的格兰杰因果关系分析方式对各模块变量进行因果分析,得到各模块变量的历史数据与当前数据之间的格兰杰因果强度。
具体地,其中,格兰杰因果强度就是将特征变量变化对目标变量产生的影响进行量化处理后的表示。
采用基于注意力机制的格兰杰因果关系分析方法分析变量间的因果关系,以目标变量为因变量,对模块i自身特征进行embedding处理。其中,格兰杰因果关系的基本思想是当采用时间序列X和Y的历史信息对Y进行预测,其中,时间序列X和Y的历史信息是指当前时刻t以前的数据,比如t-1时刻数据,t-2时刻数据,t-3……
由于仅采用Y的历史信息对Y进行预测的结果,即时间序列X有助于解释时间序列Y的未来变化趋势,那么时间序列X是时间序列Y的格兰杰原因。其中,注意机制经常被用来发现变量之间的关系。因此通过一个基于注意力机制的格兰杰因果模型来量化每个模块的变量对预测目标变量的贡献。其目标是学习每个系统模块自身的格兰杰注意力向量,使该向量能够代表特征变量和目标变量之间的格兰杰因果强度。例如,就是将特征变量变化对目标变量产生的影响进行量化。
假设一组不同的多元时间序列来自整个系统的N个模块。每个模块i的每个时间窗口是一个S×T的矩阵,目标变量y,其中,S指模块变量的数量,T指时间窗口长度。训练一个模型:建立模块自身的格兰杰因果关系变量结构建立模块自身的格兰杰因果关系变量结构。
首先将模块i的特征变量xi 1,xi 2,……,xi S分别输入LSTM编码器进行特征提取,将特征变量的前t个时间步的历史数据信息特征,即不同时刻的数值利用LSTM编码器编码到一个第一定长向量hi 1,hi 2,……,hi S。例如这些特征可以是设备参数、状态参数、例如:设备温度、频率、转速等。其中,对于定长向量的长度无要求,根据实际情况选择长度。
下一步构建注意力机制,即利用h
i 1,h
i 2,……,h
i S-1和全连接层预测出未来T+n时刻的y
i’
all/S,利用h
i 1,h
i 2,……,h
i s和全连接层预测出y
i’
all,将y
i’
all/S与y
i’
all分别和y
i’计算均方误差(MSE)得到
和
利用修正函数ReLU来对训练时
和
的差值进行非负约束,得到格兰杰因果因子
标准化格兰杰因果因子,得到格兰杰因果注意力向量,即q。本实施例中需要将该因子标准化到一定范围,否则某些因子值过大或过小会严重影响最终的结果。
例如:第S个变量的注意力向量为
其中,
的计算公式为:
若在现有的S-1个变量中添加第S个变量不能提高精度,那么该变量注意力向量qS是零。
其中,全连接层就是由神经元组成的,通过训练确定权重参数,经过激活函数计算出yi。T+n时刻根据业务需求确定。Yi指目标变量,业务需要预测的变量。全连接层就是由神经元组成的,通过训练确定权重参数,经过激活函数计算出yi。T+n时刻根据业务需求确定。Yi指目标变量,业务需要预测的变量。
步骤206,构建图数据结构以描述工业系统的系统拓扑结构,其中,所述图数据结构以各系统模块为顶点,每个顶点代表一个系统模块,每个系统模块中包括的系统变量的数量表示顶点的特征个数,每条边代表系统模块之间的因果连接关系,综合的格兰杰因果强度为量化的因果连接关系。
具体地,将系统模块作为节点,构成一个N×N的邻接矩阵,其中元素为0或者1;然后将上述得到的每个模块i的格兰特因果强度作为特征向量,得到N×M(M为格兰特因果注意力向量,即格兰杰因果强度的向量长度)的特征矩阵;两者构成图数据结构。
步骤208,将构建的图数据结构输入到预测模型中,得到系统策略的预测结果。
构建T-GCN模型。T-GCN模型集成了图卷积网络和门控递归单元。利用图卷积网络捕获系统拓扑结构,对系统模块的空间依赖性进行建模。利用门控递归单元捕获模块通信数据的动态变化,对时间依赖性进行建模,具体地,每个连续时间窗的图数据输入到图卷积网络提取空间特征向量,再将特征向量按时间顺序拼接输入到门控递归单元进行时间域的特征提取。
首先将构建的系统图数据作为输入,利用图卷积网络捕获系统的拓扑结构,获得空间特征,具体地,把系统模块的邻接矩阵和格兰杰因果注意力向量构成的特征矩阵输入到图卷积网络,图卷积网络在傅里叶域中构造一个过滤器,该滤波器作用于图的节点上,通过它的一阶邻域捕获节点之间的空间特征。其次,将得到的具有空间特征的时间序列输入门控递归单元模型,通过单元间的信息传递获得动态变化,捕捉时间特征。最后,通过全连通层得到预测结果。
具体地,将具有空间特征的时间序列输入门控递归单元进行特征提取,门口递归单元间的信息传递,保障了历史数据信息的传递和存储,捕捉时域特征,将特征向量输入至全连接层进行计算,最终得到预测结果。
此外,为了进一步提高本申请的模型预测准确度,在以上方法的基础上,还可以在N个系统模块中生成K个公共结构。
可以上述基于注意力机制的系统各子模块格兰杰因果分析不够稳健,不足以构建整个系统的格兰杰因果关系网。因此需要为系统所有模块训练一个全局模型。该模型可以检测到异构模块之间的公共因果结构。假设模块间存在K个公共的格兰杰因果结构,称为
p
k∈R
s是一个要优化的参数向量,建模目的是输出一个基于注意力机制的格兰杰因果关系原型。因此,需要先计算单个模块i的格兰杰因果注意力向量与每个公共向量p
k之间的相似性,其中,公共向量是指异构模块间的共性向量:
然后使用Softmax函数从di中采样输出一个最接近格兰杰因果注意力向量qi的向量。
其中e∈R
k是接近one-hot编码的样本向量,g是独立同分布的向量,来自Gumbel(0,1)分布的样本。参数
T是softmax函数的超参数,当
T变为0时,分布变得离散。利用样本向量e,可输出原型
即
在标准化采样原型后,得到了一个模块i的注意向量,表示为ri,即原型注意力。
格兰杰因果注意力提取了每个模块特有的格兰杰因果结构,原型注意力提取了模块间共同的格兰杰因果结构。将模块自身的格兰杰因果注意力和模块公共的原型注意力融合,生成综合的格兰杰因果注意力ai:
ai=αqi+1-α)ri
其中,α∈[0,1]是控制两个注意机制的比率的超参数。这部分是将建立的模块自身的格兰杰因果关系变量,即格兰杰因果关系轻度的结构和此处得到的公共格兰杰因果结构融合起来生成综合的格兰杰因果注意力ai,可以大大提高模型的预测精度。
上述基于格兰杰因果关系的系统策略预测方法中,通过基于格兰杰因果的模型不仅可以提取系统中每个系统模块的因果结果,考虑了工业生产系统中存在的空间因素,能够捕捉空间和时间的依赖关系,并将依赖关系量化,提高了深度学习模型的在业务层面上的可解释性。而且还可以提取不同模块间的共同因果结构,并推断出系统整体的格兰杰因果结构,有效地从杂乱无章的数据中提炼出系统、模块、测点间的因果关系,构建出图数据的邻接矩阵,定量描述出来,构成系统数据的图数据结构输入到T-GCN模型,使模型更加可靠。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种基于格兰杰因果关系的系统策略预测装置,该装置与上述实施例中基于格兰杰因果关系的系统策略预测方法一一对应。该基于格兰杰因果关系的系统策略预测装置包括:
数据采集模块302,用于采集相关参数和工业数据,其中,所述相关参数包括至少一个系统模块的至少一个模块变量,所述工业数据为各模块变量的历史数据;
因果分析模块304,用于基于所述历史数据,采用基于注意力机制的格兰杰因果关系分析方式对各模块变量进行因果分析,得到各模块变量的历史数据与当前数据之间的格兰杰因果强度;
图数据构建模块306,用于构建图数据结构以描述工业系统的系统拓扑结构,其中,所述图数据结构以各系统模块为顶点,每个顶点代表一个系统模块,每个系统模块中包括的系统变量的数量表示顶点的特征个数,每条边代表系统模块之间的因果连接关系,综合的格兰杰因果强度为量化的因果连接关系;
策略预测模块308,用于将构建的图数据结构输入到预测模型中,得到系统策略的预测结果。
上述基于格兰杰因果关系的系统策略预测装置,通过基于格兰杰因果的模型不仅可以提取系统中每个系统模块的因果结果,考虑了工业生产系统中存在的空间因素,能够捕捉空间和时间的依赖关系,并将依赖关系量化,提高了深度学习模型的在业务层面上的可解释性。而且还可以提取不同模块间的共同因果结构,并推断出系统整体的格兰杰因果结构,有效地从杂乱无章的数据中提炼出系统、模块、测点间的因果关系,构建出图数据的邻接矩阵,定量描述出来,构成系统数据的图数据结构输入到T-GCN模型,使模型更加可靠。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储工业数据或者历史数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于格兰杰因果关系的系统策略预测方法。
其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机可读指令,计算机可读指令被处理器执行时实现上述实施例中基于格兰杰因果关系的系统策略预测方法的步骤,例如图2所示的步骤202至步骤208,或者,处理器执行计算机可读指令时实现上述实施例中基于格兰杰因果关系的系统策略预测装置的各模块/单元的功能,例如图3所示模块302至模块310的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形、改进或者对部分技术特征进行等同替换,而这些修改或者替换,并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴,都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。