CN115934394A - 一种数据处理方法、装置、设备及存储介质 - Google Patents
一种数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115934394A CN115934394A CN202211535565.0A CN202211535565A CN115934394A CN 115934394 A CN115934394 A CN 115934394A CN 202211535565 A CN202211535565 A CN 202211535565A CN 115934394 A CN115934394 A CN 115934394A
- Authority
- CN
- China
- Prior art keywords
- target
- variables
- variable
- causal
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 25
- 230000001364 causal effect Effects 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 53
- 238000013528 artificial neural network Methods 0.000 claims description 50
- 230000015654 memory Effects 0.000 claims description 44
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000036962 time dependent Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 102100033591 Calponin-2 Human genes 0.000 description 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 1
- 108010057186 Insulin Glargine Proteins 0.000 description 1
- COCFEDIXXNGUNL-RFKWWTKHSA-N Insulin glargine Chemical compound C([C@@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@H]1CSSC[C@H]2C(=O)N[C@H](C(=O)N[C@@H](CO)C(=O)N[C@H](C(=O)N[C@H](C(N[C@@H](CO)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC=3C=CC(O)=CC=3)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CC=3C=CC(O)=CC=3)C(=O)N[C@@H](CSSC[C@H](NC(=O)[C@H](C(C)C)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CC=3C=CC(O)=CC=3)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](C)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](C(C)C)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CC=3NC=NC=3)NC(=O)[C@H](CO)NC(=O)CNC1=O)C(=O)NCC(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)NCC(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(=O)N[C@@H]([C@@H](C)O)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)C(=O)NCC(O)=O)=O)CSSC[C@@H](C(N2)=O)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](C(C)C)NC(=O)[C@@H](NC(=O)CN)[C@@H](C)CC)[C@@H](C)CC)[C@@H](C)O)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](CC(N)=O)NC(=O)[C@@H](NC(=O)[C@@H](N)CC=1C=CC=CC=1)C(C)C)C1=CN=CN1 COCFEDIXXNGUNL-RFKWWTKHSA-N 0.000 description 1
- 101150012532 NANOG gene Proteins 0.000 description 1
- 101100396520 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TIF3 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229960002869 insulin glargine Drugs 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 101150038107 stm1 gene Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备及存储介质,包括:在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。对于本申请的方案在确定目标变量的因果关系时,具有较高的准确度。
Description
技术领域
本申请涉及数据处理技术领域,涉及但不限于数据处理方法、装置、设备及存储介质。
背景技术
随着数据处理技术的不断发展,工业、以及各种大型设备的应用也得到广泛发展。
在大型应用程序、自动化设备或者大型通讯网络中,由于网络规模巨大,设备类型多样,出现故障的概率较大,且单点故障极易引发规模相关故障事件。对于存在多处故障的情况下,通过人工难以对大量故障事件进行及时定位归因、响应。
发明内容
本申请提供一种数据处理方法及装置、设备、存储介质,对于本申请的方案,在确定目标变量的因果关系时,具有较高的准确度。
本申请的技术方案是这样实现的:
本申请提供了一种数据处理方法,所述方法包括:
在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;
在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;
在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
本申请提供了一种数据处理装置,所述装置包括:
调用单元,用于在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量的原始时间序列;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;
映射变换单元,用于在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;
因果发现单元,用于在第二阶段,将所述N个目标序列输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
本申请还提供了一种电子设备,包括:存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据处理方法。
本申请还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述数据处理方法。
对于本申请的方案,将系统中的变量区分为目标变量与关联变量,在第一阶段,先基于关联变量的取值对目标变量的在不同时刻的原始数据进行映射变换,以去除关联变量对目标变量的影响,得到目标特征,再将目标特征输入至因果发现模型得到目标变量之间的因果关系。
可以看出:由于目标特征中去除了关联变量对于目标变量的影响;从而,在确定目标变量之间的因果关系时,去除了关联变量对于目标变量的因果关系的影响,提高了因果关系的准确度。
示例性的,在用于故障原因定位时,可以准确定位到多个故障之间的因果关系,从而确定出最终导致故障的节点,提高了故障定位的效率与准确度,进一步提高了运维效率,降低运维成本。
附图说明
图1为本申请实施例提供的数据处理系统的一种可选的结构示意图;
图2为本申请实施例提供的数据处理方法的一种可选的流程示意图;
图3为本申请实施例提供的数据处理方法的一种可选的流程示意图;
图4为本申请实施例提供的变量之间的因果关系一种可选的结构示意图;
图5为本申请实施例提供的预测网络处理的一种可选的结构示意图;
图6为本申请实施例提供的因果发现网络处理的一种可选的结构示意图;
图7为本申请实施例提供的FPR-TPR曲线的一种可选的示意图;
图8为本申请实施例提供的数据处理装置的一种可选的结构示意图;
图9为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅是为例区别不同的对象,不代表针对对象的特定排序,不具有先后顺序的限定。可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例可提供数据处理方法、装置、设备及存储介质。实际应用中,数据处理方法可由数据处理装置实现,数据处理装置中的各功能实体可以由电子设备的硬件资源,如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
本申请实施例提供的数据处理方法应用于数据处理系统,数据处理系统包括:数据处理设备和数据库。其中,数据处理设备用于确定数据库中目标变量之间的因果关系。
数据库中存储了数据集,数据集包括多个变量的取值。例如,包括关联变量的取值,目标变量在不同时刻的原始数据。
具体的,数据处理设备用于执行:在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
需要说明的是,本申请实施例对数据处理设备和数据库的具体的部署方式不作限定,可以根据实际需求进行配置。
在一种可能的实施方式中,数据处理设备的存储空间足够大时,可以将数据处理设备和数据库集成于同一个电子设备上。
在另一种可能的实施方式中,数据处理设备的存储空间较小时,也可以将数据处理设备和数据库分别独立部署于不同的电子设备上。
作为一示例,数据处理系统应用于如图1所示的场景,数据处理系统10包括:数据处理设备101和数据库102。其中,数据处理设备101与数据库102之间可以通信。
数据库102上存储了数据集,数据集包括多个变量的取值。例如,包括关联变量的取值,目标变量在不同时刻的原始数据。
数据处理设备101用于执行:在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
其中,数据处理设备101可以为具有相关数据处理能力的电子设备。示例性的,数据处理设备101可以为服务器。
数据库102可以为具有相关数据存储能力的电子设备。示例性的,数据库102可以为存储器。
下面,结合图1所示的数据处理系统的示意图,对本申请实施例提供的数据处理方法、装置、设备及存储介质的各实施例进行说明。
第一方面,本申请实施例提供一种数据处理方法,该方法应用于数据处理装置;其中,该数据处理装置可以部署于图1中的数据处理设备101。下面,以数据处理设备101作为执行主体,对本申请实施例提供的数据处理过程进行说明。
图2示意了一种可选的数据处理方法的流程示意图,该数据处理方法用于确定目标变量之间的因果关系。
参考图2所示的内容,该过程可以包括但不限于图2所示的S201至S203。
S201、数据处理设备在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据。
其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;本申请实施例对目标变量以及关联变量的数量不作具体限定,可以根据实际情况配置。
所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量。
本申请实施例对目标变量以及关联变量的具体类型不作限定,可以根据实际情况进行确定。
示例1、目标变量包括:A节点的故障和B节点的故障,关联变量包括:节点设备的开机时间、设备状态。
示例2、目标变量包括:A商品的销量和B商品销量;关联变量包括:商品的包装信息、商品的产地信息、影响销量日期标识。例如,如果是促销日或节假日,影响销量日期标识的取值为1,否则影响销量日期标识的取值为0。
目标变量在不同时刻的原始数据,也可以称为原始时间序列,指目标变量在多个历史时刻的取值。示例性的,基于示例1,N个目标变量在不同时刻的原始数据可以为:N个节点在多个时刻的故障信息。
数据集中预先存储了多个目标变量在不同时刻的原始数据,以及关联变量的取值。S201可以实施为:数据处理设备在第一阶段,从数据处理系统的数据集中,基于关联变量的名称或者表示,目标变量的名称或者表示,调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据。
第一阶段,也可以称为预处理阶段,用于确定因果关系之前的预处理。
S202、数据处理设备在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征。
映射变化用于去除目标变量中关联变量对其的影响,得到与关联变量无关的目标特征。
本申请实施例对于映射变化的具体方式不作限定,可以根据是实际情况进行确定。示例性的,映射变化可以为网络架构的实现方式,或者类似于正交变化的实现方式等等。
S203、数据处理设备在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
第二阶段可以称为因果发现阶段,用于确定目标变量之间的应关系。
因果发现网络用于根据目标特征,分析得到目标特征之间的因果关系。本申请实施例对因果发现模型的具体架构不作限定可以根据实际情况进行确定。
S203可以实施为:数据处理设备在第二阶段,将N个目标特征分别输入至因果发现模型的N个分支,基于因果发现模型的N个分支对N个目标特征进行处理,得到所述N个目标变量之间的因果关系。
本申请提供了一种数据处理方法,所述方法包括:在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
对于本申请的方案,将系统中的变量区分为目标变量与关联变量,在第一阶段,先基于关联变量的取值对目标变量的在不同时刻的原始数据进行映射变换,以去除关联变量对目标变量的影响,得到目标特征,再将目标特征输入至因果发现模型得到目标变量之间的因果关系。
可以看出:由于目标特征中去除了关联变量对于目标变量的影响;从而,在确定目标变量之间的因果关系时,去除了关联变量对于目标变量的因果关系的影响,提高了因果关系的准确度。
示例性的,在用于故障原因定位时,可以准确定位到多个故障之间的因果关系,从而确定出最终导致故障的节点,提高了故障定位的效率与准确度,进一步提高了运维效率,降低运维成本。
下面,对S202数据处理设备在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征的过程进行说明。
在一种可能的实施方式中,该过程可以包括但不限于:在所述第一阶段,针对所述N个目标变量中的每个所述目标变量,执行下述第一处理,得到与所述目标变量对应的目标特征。
其中第一处理可以包括但不限于下述S2021和S2022。
S2021、数据处理设备将所述M个关联变量的取值,输入至与所述目标变量对应的预测网络,通过所述预测网络的预测处理,得到所述目标变量在不同时刻的预测数据。
预测网络,为预先配置或者训练好的,用于预测目标变量在下一时刻的取值的网络。本申请实施例对预测网络的类型不作具体限定可以根据实际情况进行确定。示例性的,预测网络可以包括但不限于:卷积神经网络或者其他配置好的网络模块。
目标变量对应的预测网络,具体的可以包括:
所述N个目标变量对应一个所述预测网络;这样,具有结构简单的特点。
或者,对于所述N个目标变量对应N个所述预测网络;这样,一个目标变量对应一个预测网络,预测网络可以适应于目标变量,从而提高了预测的准确度。
S2021可以实施为:数据处理设备针对M个关联变量的取值中的每个关联变量的取值,将关联变量的取值输入至与目标变量对应的预测网络,通过预测网络的预测处理,得到目标变量在不同时刻的预测数据。
可以看出:该预测数据手关联变量影响。
S2022、数据处理设备基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据,确定与所述目标变量对应的目标特征。
对于一个目标变量的目标特征,是基于该目标变量在多个时刻的原始数据与该目标变量在多个时刻的预测数据确定的。
目标特征中去除了关联变量的影响。本申请实施例对于确定目标特征的具体方式不作限定,可以根据实际情况确定。
下面,对S2022中数据处理设备基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据,确定与所述目标变量对应的目标特征的实施过程进行说明。
该过程可以包括但不限于下述方式1或方式2。
方式1、数据处理设备将所述目标变量的在不同时刻的原始数据与所述目标变量在不同时刻的预测数据对应作差,得到所述目标变量对应的目标特征。
对应作差,一个时刻的原始数据与该时刻的预测数据作差,得到该时刻的差值,多个时刻的差值为一个目标变量的目标特征。
方式2、数据处理设备基于所述目标变量在不同时刻的预测数据确定所述目标变量的预测平均值;将所述目标变量的在不同时刻的原始数据与所述目标变量的预测平均值作差,得到所述目标变量对应的目标特征。
对应作差,一个时刻的原始数据与预测平均值作差,得到该时刻的差值,多个时刻的差值为一个目标变量的目标特征。
下面,对S203数据处理设备在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系的过程进行说明。
在一种可能的实施方式中,如图3所示,该过程可以包括但不限于下述S2031至S2033。
S2031、数据处理设备将所述N个目标特征输入至因果发现模型,基于所述N个目标特征训练因果发现模型,得到目标因果发现模型。
本申请实施例对因果发现模型的具体架构,以及训练过程不作限定,可以根据实际情况进行确定。
例如,可以基于损失函数来训练以得到目标因果发现模型。
S2032、数据处理设备获得所述目标因果发现模型的第一层卷积核的输出向量。
目标因果发现模型为训练好的因果发现模型,所以目标因果发现模型可以的第一卷积核输出可以反应因果关系。
S2032可以实施为:数据处理设备先确定目标因果发现模型的第一层卷积核,读取该第一卷积层的输出向量。
S2033、数据处理设备将所述输出向量进行标准化处理,得到N×N的因果矩阵。
所述因果矩阵中的取值用于表征所述N个目标变量之间的因果关系。本申请实施例对因果矩阵的取值不作限定,可以根据实际情况确定。示例性的,因果矩阵中可以以0作为阈值,即因果矩阵为0-1二值矩阵。示例性的,在因果矩阵中,行变量表示因变量,列变量表示结果变量,矩阵中的一个具体取值用于表征两个变量之间是否存在因果关系。
例如,如因果矩阵中第二行第三列的取值为1,则表征第二行的目标变量与第三列的目标变量存在因果关系,且第二行的目标变量为第三列的目标变量的因变量。假设,第二行对应的目标变量为节点1、第三列对应的目标变量的节点为节点2,则表征节点1为节点2的因变量,即可以认为节点2的故障可能是节点1的故障引起的。
这里的标准化处理可以为归一化处理等等。
具体的,目标发现模型的一个分支对应一个N×1的因果向量,N个分支对应N×N的因果矩阵。
示例性的,对于一个N×1的因果向量,先得到输出向量K×N×H,在第一维度和第三维度上进行归一化处理,得到1×N×1的因果向量,即一个因果向量。
下面,对因果发现模型的具体结构进行说明。具体的,因果发现模型可以包括但不限于下述实现1或实现2。
实现1、所述因果发现模型包括第一卷积神经网络。
所述第一卷积神经网络用于预测目标变量的取值。第一卷积神经网络的网络结构可以根据实际需求进行配置,本申请实施例对此不予具体限定。
实现2、所述因果发现模型包括长短期记忆神经网络以及所述第一卷积神经网络。
所述第一卷积神经网络用于预测目标变量的取值,所述长短期记忆神经网络用于提取目标变量的时间特征。第一卷积神经网络和长短期记忆神经网络的网络结构可以根据实际需求进行配置,本申请实施例对此不予具体限定。
下面,对S2031数据处理设备将所述N个目标特征输入至因果发现模型,基于所述N个目标特征训练因果发现模型,得到目标因果发现模型的过程进行说明。
在所述因果发现模型包括长短期记忆神经网络以及第一卷积神经网络的情况下,该过程可以包括但不限于:
针对所述N个目标特征中的每个所述目标特征,执行以下第二处理。
第二处理包括但不限于S20311和S20312。
S20311、数据处理设备将所述目标特征输入至与所述目标特征对应的所述长短期记忆神经网络,通过所述长短期记忆神经网络提取目标变量的时间特征,得到与所述目标序列对应的时间特征向量;将所述时间特征向量输入至与所述时间特征向量对应的所述第一卷积神经网络,通过所述第一卷积神经网络的处理,得到与所述时间特征向量对应的预测向量。
长短期记忆神经网络,用于提取目标变量的时间特征;
第一卷积神经网络,用于基于时间特征向量确定与其对应的预测向量。
本申请实施例对长短期记忆神经网络和第一卷积神经网络的处理过程不作限定,可以根据实际情况确定。
S20312、数据处理设备基于预测损失与正则损失,调整所述长短期记忆神经网络以及所述第一卷积神经网络的参数,在所述预测损失与所述正则损失满足预设条件的情况下,将所述满足所述预设条件的因果发现模型确定为所述目标因果发现模型。
S20312可以实施为:数据处理设备先确定预测损失与正则损失,判断预测损失与正则损失是否满足预设条件,若预测损失与正则损失不满足预设的条件,则反向调整长短期记忆神经网络和/或第一卷积神经网络的参数,然后,将调整参数后的长短期记忆神经网络和第一卷积神经网络作为新的长短期记忆神经网络和第一卷积神经网络,重新执行所述确定预测损失与正则损失,判断预测损失与正则损失是否满足预设条件,若预测损失与正则损失不满足预设的条件,则反向调整长短期记忆神经网络和/或第一卷积神经网络的参数;直至新的预测损失与新的正则损失满足预设的条件,在新的预测损失与新的正则损失满足预设条件的情况下,将满足预设条件的因果发现模型确定为目标因果发现模型。
其中,所述预测损失是基于所述预测向量得到的,本申请实施例对确定预测损失的具体方法不作具体限定,可以根据实际情况进行确定。
所述正则损失为所述第一卷积神经网络针对第一层卷积核的损失,本申请实施例对确定正则损失的具体方式不作具体限定,可以根据实际情况进行确定。这里加正则损失,是为了使卷积核的训练过程中尽可能地具有稀疏性。
下面,对长短期记忆神经网络、第一卷积神经网络进行说明。
在一种可能的实施方式中,所述N个目标特征对应一个所述长短期记忆神经网络;这样具有架构简单的特点。
在另一种可能的实施方式中,所述N个目标特征对应N个所述长短期记忆神经网络;这样,一个目标特征对应一个长短期记忆神经网络,长短期记忆神经网络可以适应于目标特征,具有准确率高的特点。
在一种可能的实施方式中,所述N个时间特征向量对应一个所述第一卷积神经网络;这样具有架构简单的特点。
在另一种可能的实施方式中,所述N个时间特征向量对应N个所述第一卷积神经网络;这样,一个时间特征向量对应一个第一卷积神经网络,第一卷积神经网络可以适应于时间特征向量,具有准确率高的特点。
在所述因果发现模型包括第一卷积神经网络的情况下,得到目标因果发现模型的具体过程与上述S20311和S20312类似,此处不再一一赘述。不同的是,该情况下,因果发现模型不包括长短期记忆神经网络,所以,与上述S20311和S20312相比,该过程不包括关于长短期记忆神经网络的相关处理步骤。
下面,对关联变量进行说明。
所述关联变量包括下述至少一项:
与时间相关的动态关联变量、与时间不相关的静态关联变量。
基于示例1,关联变量包括:节点设备的开机时间、设备状态;静态关联变量可以包括设备状态,动态关联变量可以包括节点设备的开机时间。
基于示例2,关联变量包括:商品的包装信息、商品的产地信息、影响销量日期标识;静态关联变量可以包括商品的包装信息、商品的产地信息,动态关联变量可以包括影响销量日期标识。
下面以一个完整的实现过程为例,对本申请实施例提供的数据处理方法进行说明。
在大型应用程序、自动化设备或者大型通讯网络中,由于网络规模巨大,设备类型多样,单点故障极易引发发规模相关故障事件。通过人工难以对大量故障事件进行及时响应、定位根因。
因此,基于历史各个节点的故障事件时间序列数据,发现节点故障之间的因果关系,能够帮助高效、准确地定位告警根因,提高运维效率,降低运维成本。
具体来说,假设共有N处节点,记录了历史时间的故障事件序列(例如发生故障时记录故障等级数值,无故障时为0),这N条时间序列可以看作目标变量在不同时刻的取值,同时系统内还存在相关属性变量(相当于上述关联变量),示例性的,属性变量可以包括节点设备的开机时间、设备状态等等。为了构建出目标变量之间的因果关系,即不同节点故障之间的因果关系,可以采用本申请该实施例中的两阶段的处理方法对属性变量和目标变量进行处理,提高目标变量之间因果关系发现的准确性。
退一步来说,多元时间序列广泛存在于自然、医学、工业等各个领域的复杂系统中,多个变量之间具有复杂的关联关系,互相影响。随着数据的维度和规模不断增大,冗余和无关变量的存在往往会掩盖重要变量的作用,影响对整个系统的分析以及合理决策的制定。
因此,如何基于大量的观察数据,从多元时间序列中挖掘有效信息,刻画不同变量之间的本质关系,对于整个系统的控制和决策都具有十分重要的意义。传统的相关性分析方法,例如皮尔逊相关系数(Pearson Correlation Coefficient,PCCs)、互信息等,难以处理变量之间的间接关系或者非对称关系。而且相关关系仅是从观测数据中推导出的后验性信息,表明两个变量倾向于一起变动,这可能是随机的偶然结果,也可能是受到其他潜在变量的影响,因此无法指导决策的制定。
而因果关系则是一种具有方向的本质的、稳定的关系,能够刻画出每个结果变量对应的全部原因变量。例如在图4中,A是B的原因变量,B又是C的原因变量。可以看出,只有完全挖掘出变量之间的因果关系,才能更好地对某种结果现象进行归因分析,或者基于某种要达成的目标制定相应的策略。
针对多元时间序列的因果关系挖掘,即因果发现,最常用的框架是格兰杰因果(Granger Causality)。它基于系统的可预测性,即在保持系统中其他变量取值固定的情况下,如果序列A历史数据的使用能够显著降低序列B在未来时刻的预测误差,那么就认为序列A对序列B有格兰杰因果影响。在不考虑瞬时因果效应的条件下,格兰杰因果就等价于真正的因果。该领域中的相关研究工作,包括了针对线性格兰杰因果发现的向量自回归音(Vector Auto-Regression,VAR)),和其非线性方法的拓展等等,其借助神经网络的强大表征能力,来实现多元时间序列的因果发现。
对于某个系统,想要研究其中一些变量之间的因果关系,将待研究的变量叫做目标变量。但在实际场景中,这些变量往往各自受到一些属性变量的影响。在相关研究中,并没有对目标变量和属性变量进行区分。
为了确保因果关系探究的正确性,因此需要确定出整个系统内的全部内生变量(也可以称为可观测变量,包括目标变量和属性变量),然后基于预测网络的权值等进行一定的处理后得到目标变量之间的因果矩阵(即一个0-1二值矩阵)。
在图4所示的实际场景中,A、B、C可以看作三款商品的销量;S为各个商品的某种静态属性特征(取值分别为SA、SB和SC),对于任一商品其值在各个时间点上保持一致;D为共同的动态时间属性特征,随时间点取值变化,且同时作用于三件商品。
在探究A、B、C三个目标变量之间的因果关系时,需要将全部的系统内生变量(A、B、C、SA、SB、SC、D)送入系统,否则无法去除混淆变量(SA、SB、SC、D)的影响,导致因果关系的挖掘结果不正确。
相关技术中,主要针对仅含有目标变量的仿真数据场景开展研究,并没有针对同时含有目标变量和属性变量的实际场景进行单独处理。因此,基于现有解决方案需要将全部内生变量直接送入因果发现网络,没有充分利用已知的先验信息,具有低效、低精度的缺点。
针对这个问题,本申请的该实施例提出了一种新的两阶段时序因果发现方法。在第一阶段通过正交映射的方法将属性变量的影响从目标变量序列中去除;第二阶段针对去除影响后的目标变量序列进行因果发现。
此外,本申请的该实施例还提出了一种新的长短期记忆神经(Long short-t ermmemory,LSTM)网络与卷积神经网络(Convolutional Neural Networks,CNN)的因果发现网络架构,即增加了基于LSTM网络的时序特征提取与融合,然后再利用CNN实现时序预测,能够进一步提高因果发现的准确性。
解决方案的核心要点:
第一、以全部属性变量作为输入,分别构建各个目标变量(共N个)的预测模型(相当于上述预测网络),基于序列原始值和预测值计算残差,得到每条目标变量的残差序列(相当于上述目标特征)。
例如,如图5所示,共包括N个预测网络,分别为M1、M2……MN,将N个目标变量的原始序列、动态属性变量序列、以及静态变量的取值分别输入至M1、M2……MN,得到N个残差序列。
第二、以目标变量的残差序列作为输入,送入因果发现网络(相当于上述因果发现模型)中。该因果发现网络继承了分量方式(Component-wise,CE)架构,即包括N个分支,每个分支分别以其中一条时间序列作为预测目标序列。但在进入各个分支前,先将原始序列基于LSTM进行时序特征的提取和融合,再使用CNN实现下一时刻预测。
第三、完成网络训练后,分别提取每个分支的第一层卷积核,通过标准化压缩为N维因果向量,最后将全部N个向量堆叠为N×N的因果矩阵。
以0作为阈值,即可转化为0-1二值矩阵,代表了任意两个目标变量之间的因果关系。
例如,如图6所示,将N个残差序列分别输入至LSTM中的N个分支(L STM1、LSTM2……LSTMN),得到N个时间特征向量(相当于上述目标变量的时间特征)。然后,将N个时间特征向量分别输入至CNN中的N个分支(C NN1、CNN2……CNNN),每个分支得到一个T-K维的预测序列,以此对因果发现网络进行训练。
完成网络训练后,获取每个分支中的第一卷积核的K×N×H维度的输出向量,将K×N×H维度的输出向量进行标准化处理,得到1×N×1的向量,针对N个分支得到一个N×N的向量,作为因果矩阵。
本实施例在多元时间序列因果发现中具有以下技术效果:
第一点、基于属性变量将目标序列转换为对应的残差序列,相当于将目标序列映射到一个与属性变量正交的空间,因此能够直接去除属性变量对目标变量的影响。相较于相关技术的方案中将全部内生变量作为输入,本申请的该实施例将正交映射技术引入多元因果发现场景中,能够充分利用已知的先验信息,提高数据的使用效率,并且显著提高了目标变量之间因果关系分析的准确性。
第二点、在提出的LSTM与CNN因果发现网络中,LSTM模块(相当于上述长短期记忆神经网络)的使用能够更好地提取出序列中的时序特征,弥补了CNN模块(相当于上述第一卷积神经网络)仅能提取空间特征的局限性。因此,相较于直接对原始序列进行卷积操作,本方法能够有效提高预测性能,继而实现更加准确的因果发现。
图5和图6分别对应了本申请实施例中多元时间序列因果发现的两个阶段具体的,该过程可以包括但不限于下述步骤1至步骤5。
步骤1、基于系统内的属性序列(包括静态属性和动态属性),分别对N条目标序列构建对应的预测模型。
示例性的,预测模型可以满足下述公式1。
例如,在探究N个商品销量之间的因果关系时,静态特征可以是各个商品的所属类别和特性等,动态特征可以是节假日或者促销日等随时间变化的日期标识。
步骤2、对于每条目标序列,依次得到T个预测值,从而可计算出T个残差值。
这样,每条目标序列可以转化为一条残差序列。本操作相当于将原始目标序列映射到属性变量的正交空间,从而直接去除它们对目标序列的影响,这样才能保证后续网络能够实现正确的因果关系挖掘。
步骤3、将步骤2中得到N条残差序列,作为因果发现网络的输入。每条序列利用一个多层LSTM进行时序特征提取,并在最后一层降维成1维,即最终可得N条T×1的特征向量。
每条序列分别使用不同的LSTM进行特征提取,从而避免不同序列中的信息混杂,否则将无法探究它们之间的因果关系。
步骤4、整个网络(也可以称为因果发现网络,相当于上述因果发现模型)架构包括N个分支,与目标序列总数相同。
对于第n(n=1,2,…,N)个分支,其基于全部N条特征序列来对第n条目标序列进行预测。每个分支中的第一层卷积核维度为K×N×H,其中K为使用到的历史数据长度,即数据窗口;N为输入通道数;H为输出通道数。每个分支能够输出T-K个预测值,基于其计算预测损失,再加上针对第一层卷积核的正则损失,共同用来更新网络参数。
步骤5、在完成网络训练后,基于N个第一层卷积核进行因果矩阵推理。首先,对每个分支的卷积核在第1维度和第3维度上进行标准化,将其转换为N×1的因果向量。
例如从分支n得到的因果向量,其中的第i个元素代表了第i条序列对第n条序列的因果效应强度值。若取值大于0,则代表序列i对序列n有因果影响;反之,则无因果关系。然后,将全部分支的因果向量堆叠起来,即可得到N×N的因果矩阵。以0作为阈值,可以将其转换为0-1二值矩阵。
示例性的,基于下述公式2构造仿真数据。
在公式2中,xt表示目标变量和属性变量在不同时刻的取值,K决定了当前t时刻的数据由多少个历史数据决定,A是个0-1二值矩阵,代表了不同序列之间的关系,因果发现结果对标的真实值。公式2其实就是一个数据集构造方法。
假设,样本总数为1000,目标序列总数N为10,静态属性特征数为1,动态属性特征数为1。为了探究目标序列之间的因果关系,基于本申请的该实施例提出的两阶段因果发现网络和相关技术的因果发现网络分别推理因果矩阵。在损失函数中给定不同的正则系数,则可以得到不同稀疏化程度的因果矩阵,从而绘制出如下的真阳率-假阳率(truepositive rate-false positive rate,FPR-TPR)曲线,并计算接受者操作特征曲线下面积(Area Under the Receiver Operating Characteristic curve,AUROC)进行性能比较。
在分类问题中常用的一种衡量指标为AUROC,也就是图7中曲线的线下面积,该值越大说明分类准确度越高。本申请研究的是因果发现,最终得到的因果矩阵就是一个0-1矩阵,因此可以看作一个二分类问题。曲线越接近左上角,则线下面积越大。
基于上述样本,sota3和sota4是基于本申请实施例的方法得到的结果曲线;其中,sota3与sota4相比,sota3未做归一化(标准化处理)。
sota1和sota2是基于相关技术的方法得到的结果曲线;其中,sota1是直接以全部内生序列都作为输入得到的结果,而sota2则是对每个分支输入全部目标序列、动态属性序列和该分支对应的静态属性序列得到的结果。
表1示意了上述各曲线对应的AUROC值。
表1各曲线对应的AUROC值示例
不同的曲线 | AUROC |
sota3 | 0.847 |
sota4 | 0.853 |
sota1 | 0.824 |
sota2 | 0.824 |
可以看出sota3和sota4的AUROC比sota1、sota2大,所以本申请的性能更好,且sota4的AUROC最大,所以对原始数据的标准化处理能够提高模型性能。
第二方面,为实现上述数据处理方法,本申请实施例的一种数据处理装置,下面对数据处理装置的结构示意图进行说明。
如图8所示,数据处理装置80部署于数据处理设备,数据处理装置80包括:调用单元801、映射变换单元802和因果发现单元803。其中:
调用单元801,用于在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量的原始时间序列;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;
映射变换单元802,用于在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;
因果发现单元803,用于在第二阶段,将所述N个目标序列输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
在一些实施例中,映射变换单元802具体用于:
在所述第一阶段,针对所述N个目标变量中的每个所述目标变量,执行下述第一处理,得到与所述目标变量对应的目标特征;
其中,所述第一处理包括:
将所述M个关联变量的取值,输入至与所述目标变量对应的预测网络,通过所述预测网络的预测处理,得到所述目标变量在不同时刻的预测数据;
基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据,确定与所述目标变量对应的目标特征。
在一些实施例中,映射变换单元802还用于:
将所述目标变量的在不同时刻的原始数据与所述目标变量在不同时刻的预测数据对应作差,得到所述目标变量对应的目标特征;
或者,
基于所述目标变量在不同时刻的预测数据确定所述目标变量的预测平均值;
将所述目标变量的在不同时刻的原始数据与所述目标变量的预测平均值作差,得到所述目标变量对应的目标特征。
在一些实施例中,所述N个目标变量对应一个所述预测网络;或者,对于所述N个目标变量对应N个所述预测网络。
在一些实施例中,因果发现单元803具体用于:
将所述N个目标特征输入至因果发现模型,基于所述N个目标特征训练因果发现模型,得到目标因果发现模型;
获得所述目标因果发现模型的第一层卷积核的输出向量;
将所述输出向量进行标准化处理,得到N×N的因果矩阵;所述因果矩阵中的取值用于表征所述N个目标变量之间的因果关系。
在一些实施例中,所述因果发现模型包括第一卷积神经网络;所述第一卷积神经网络用于预测目标变量的取值;
或者,所述因果发现模型包括长短期记忆神经网络以及所述第一卷积神经网络;所述长短期记忆神经网络用于提取目标变量的时间特征。
在一些实施例中,在所述因果发现模型包括长短期记忆神经网络以及第一卷积神经网络的情况下,因果发现单元803还用于:
针对所述N个目标特征中的每个所述目标特征,执行以下第二处理;
所述第二处理包括:将所述目标特征输入至与所述目标特征对应的所述长短期记忆神经网络,通过所述长短期记忆神经网络提取目标变量的时间特征,得到与所述目标序列对应的时间特征向量;将所述时间特征向量输入至与所述时间特征向量对应的所述第一卷积神经网络,通过所述第一卷积神经网络的处理,得到与所述时间特征向量对应的预测向量;
基于预测损失与正则损失,调整所述长短期记忆神经网络以及所述第一卷积神经网络的参数,在所述预测损失与所述正则损失满足预设条件的情况下,将所述满足所述预设条件的因果发现模型确定为所述目标因果发现模型;其中,所述预测损失是基于所述预测向量得到的;所述正则损失为所述第一卷积神经网络针对第一层卷积核的损失。
在一些实施例中,所述N个目标特征对应一个所述长短期记忆神经网络;或者,所述N个目标特征对应N个所述长短期记忆神经网络;
所述N个时间特征向量对应一个所述第一卷积神经网络;或者,所述N个时间特征向量对应N个所述第一卷积神经网络。
在一些实施例中,所述关联变量包括下述至少一项:
与时间相关的动态关联变量、与时间不相关的静态关联变量。
需要说明的是,本申请实施例提供的数据处理装置包括所包括的各单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU,Central Processing Unit)、微处理器(MPU,Micro ProcessorUnit)、数字信号处理器(DSP,Digital Signa l Processor)或现场可编程门阵列(FPGA,Field-Programmable Gate Array)等。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的数据处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMe mory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
第三方面,为实现上述数据处理方法,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例中提供的数据处理方法中的步骤。
下面结合图9所示的电子设备90,对电子设备的结构图进行说明。
在一示例中,电子设备90可以为上述电子设备。如图9所示,所述电子设备90包括:一个处理器901、至少一个通信总线902、用户接口903、至少一个外部通信接口904和存储器905。其中,通信总线902配置为实现这些组件之间的连接通信。其中,用户接口903可以包括显示屏,外部通信接口904可以包括标准的有线接口和无线接口。
存储器905配置为存储由处理器901可执行的指令和应用,还可以缓存待处理器901以及电子设备中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
第四方面,本申请实施例提供一种存储介质,也就是计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的数据处理方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,所述方法包括:
在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;
在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;
在第二阶段,将所述N个目标特征输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
2.根据权利要求1所述的方法,所述在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征,包括:
在所述第一阶段,针对所述N个目标变量中的每个所述目标变量,执行下述第一处理,得到与所述目标变量对应的目标特征;
其中,所述第一处理包括:
将所述M个关联变量的取值,输入至与所述目标变量对应的预测网络,通过所述预测网络的预测处理,得到所述目标变量在不同时刻的预测数据;
基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据,确定与所述目标变量对应的目标特征。
3.根据权利要求2所述的方法,所述基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据,确定与所述目标变量对应的目标特征,包括:
将所述目标变量的在不同时刻的原始数据与所述目标变量在不同时刻的预测数据对应作差,得到所述目标变量对应的目标特征;
或者,
基于所述目标变量在不同时刻的预测数据确定所述目标变量的预测平均值;
将所述目标变量的在不同时刻的原始数据与所述目标变量的预测平均值作差,得到所述目标变量对应的目标特征。
4.根据权利要求2所述的方法,
所述N个目标变量对应一个所述预测网络;
或者,对于所述N个目标变量对应N个所述预测网络。
5.根据权利要求1所述的方法,所述将所述N个目标特征输入至因果发现模型,通过所述因果发现模型的处理得到所述N个目标变量之间的因果关系,包括:
将所述N个目标特征输入至因果发现模型,基于所述N个目标特征训练因果发现模型,得到目标因果发现模型;
获得所述目标因果发现模型的第一层卷积核的输出向量;
将所述输出向量进行标准化处理,得到N×N的因果矩阵;所述因果矩阵中的取值用于表征所述N个目标变量之间的因果关系。
6.根据权利要求5所述的方法,
所述因果发现模型包括第一卷积神经网络;所述第一卷积神经网络用于预测目标变量的取值;
或者,
所述因果发现模型包括长短期记忆神经网络以及所述第一卷积神经网络;所述长短期记忆神经网络用于提取目标变量的时间特征。
7.根据权利要求5所述的方法,在所述因果发现模型包括长短期记忆神经网络以及第一卷积神经网络的情况下,所述将所述N个目标特征输入至因果发现模型,基于所述N个目标特征训练因果发现模型,得到目标因果发现模型,包括:
针对所述N个目标特征中的每个所述目标特征,执行以下第二处理;
所述第二处理包括:将所述目标特征输入至与所述目标特征对应的所述长短期记忆神经网络,通过所述长短期记忆神经网络提取目标变量的时间特征,得到与所述目标序列对应的时间特征向量;将所述时间特征向量输入至与所述时间特征向量对应的所述第一卷积神经网络,通过所述第一卷积神经网络的处理,得到与所述时间特征向量对应的预测向量;
基于预测损失与正则损失,调整所述长短期记忆神经网络以及所述第一卷积神经网络的参数,在所述预测损失与所述正则损失满足预设条件的情况下,将所述满足所述预设条件的因果发现模型确定为所述目标因果发现模型;其中,所述预测损失是基于所述预测向量得到的;所述正则损失为所述第一卷积神经网络针对第一层卷积核的损失。
8.根据权利要求7所述的方法,
所述N个目标特征对应一个所述长短期记忆神经网络;或者,所述N个目标特征对应N个所述长短期记忆神经网络;
所述N个时间特征向量对应一个所述第一卷积神经网络;或者,所述N个时间特征向量对应N个所述第一卷积神经网络。
9.根据权利要求1所述的方法,所述关联变量包括下述至少一项:
与时间相关的动态关联变量、与时间不相关的静态关联变量。
10.一种数据处理装置,所述装置包括:
调用单元,用于在第一阶段,从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量的原始时间序列;其中,所述N为大于或等于2的整数;所述M大于或等于1的整数;所述目标变量为待确定因果关系的变量;所述关联变量为与所述目标变量相关的非目标变量;
映射变换单元,用于在所述第一阶段,基于所述M个关联变量的取值,对所述N个目标变量的在不同时刻的原始数据进行映射变换,以去除所述M个关联变量对目标变量的影响,得到与所述N个目标变量一一对应的N个目标特征;
因果发现单元,用于在第二阶段,将所述N个目标序列输入至因果发现模型,基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211535565.0A CN115934394A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211535565.0A CN115934394A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115934394A true CN115934394A (zh) | 2023-04-07 |
Family
ID=86555334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211535565.0A Pending CN115934394A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115934394A (zh) |
-
2022
- 2022-11-30 CN CN202211535565.0A patent/CN115934394A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019114344A1 (zh) | 一种基于图结构模型的异常账号防控方法、装置以及设备 | |
WO2021120677A1 (zh) | 一种仓储模型训练方法、装置、计算机设备及存储介质 | |
CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
CN110968692A (zh) | 一种文本分类方法及系统 | |
WO2022142026A1 (zh) | 分类网络构建方法以及基于分类网络的分类方法 | |
CN113837635A (zh) | 风险检测处理方法、装置及设备 | |
CN115238855A (zh) | 基于图神经网络的时序知识图谱的补全方法及相关设备 | |
CN115545832A (zh) | 商品搜索推荐方法及其装置、设备、介质 | |
CN111898247A (zh) | 滑坡位移预测方法、设备及存储介质 | |
CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
CN115795038A (zh) | 基于国产化深度学习框架的意图识别方法和装置 | |
CN114417161A (zh) | 基于异构图的虚拟物品时序推荐方法、装置、介质及设备 | |
CN114168787A (zh) | 音乐推荐方法、装置、计算机设备和存储介质 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN117670366A (zh) | 风险预测方法、装置、设备、介质和程序产品 | |
CN116186295B (zh) | 基于注意力的知识图谱链接预测方法、装置、设备及介质 | |
CN112989182A (zh) | 信息处理方法、装置、信息处理设备及存储介质 | |
CN112559877A (zh) | 基于跨平台异构数据及行为上下文的ctr预估方法及系统 | |
CN115470409A (zh) | 兴趣推荐方法、装置、电子设备、介质及程序产品 | |
CN115934394A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
Li et al. | Research on recommendation algorithm based on e-commerce user behavior sequence | |
CN114757700A (zh) | 物品销量预测模型训练方法、物品销量预测方法及装置 | |
CN114898339B (zh) | 驾驶行为预测模型的训练方法、装置、设备、存储介质 | |
CN116579722B (zh) | 一种基于深度学习的商品分销出入库管理方法 | |
CN115187809B (zh) | 分类及分类模型训练方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |