CN104537418A - 一种自底向上的高维数据因果网络学习方法 - Google Patents
一种自底向上的高维数据因果网络学习方法 Download PDFInfo
- Publication number
- CN104537418A CN104537418A CN201410796623.4A CN201410796623A CN104537418A CN 104537418 A CN104537418 A CN 104537418A CN 201410796623 A CN201410796623 A CN 201410796623A CN 104537418 A CN104537418 A CN 104537418A
- Authority
- CN
- China
- Prior art keywords
- cause
- causal
- effect relationship
- variable
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公布了一种自底向上的高维数据因果网络学习方法,该方法包括了:因果关系局部结构发现算法,采用局部因果关系学习方法和因果关系强度传播策略学习变量间的局部因果关系强弱关系;全局变量因果排序算法,基于最大无环有向子图模型,在局部结构强弱度量的基础上实现高维变量全局因果关系排序;冗余因果关系剔除策略,基于全局因果序,最终实现高维观察数据上的可靠因果关系发现。
Description
技术领域
本发明涉及数据挖掘领域,特别涉及一种自底向上的面向高维观察数据的因果网络学习方法。
背景技术
目前,因果推断已经广泛应用到各个领域当中,典型的应用如生物网络推断、疾病诊断、药物效果分析、致病基因发现、社交网络分析等等。这些领域的应用需求促使了众多因果发现研究工作的进行从而涌现出大量因果推断理论和算法。而因果推断理论、算法及应用的基础则是因果关系模型。经典的因果关系模型包括Donald Rubin提出的Rubin因果关系模型(Rubin Causal Model;RCM)和Judea Pearl提出的因果图模型(Causal Diagram)。Pearl说明了两者的等价性。前者(Rubin因果关系模型)主要基于潜在结果模型和随机化分配机制来考察两个变量间的平均因果作用。而后者(因果图模型)通过使用一个反映多个变量联合概率分布的贝叶斯网络来刻画各变量间的因果关系,更适合表示高维数据上的全局因果结构,在计算机领域获得较为广泛的关注和推广应用,是众多全局结构模型的基础。
根据算法模型基础的不同,主流因果推断算法可分为两类:以Hoyer,Janzing等人提出的不对称性度量方法为代表的局部结构推断方法;以Inductive Causality(IC)类算法为代表的全局结构推断方法。马普学会的Janzing等人从局部因果关系模型出发,提出了基于不对称性度量的因果方向推断方法。代表性工作包括:基于噪声不对称性的ANM(Additive Noise Model)方法和LiNGAM(Linear Non-GAussian Model)方法,基于数据分布不对称性的IGCI(Information Geometry Causal Inference)和综合多种不对称性度量的Post-Nonlinear方法等。这类局部结构学习方法能够区分任意两个变量间的因果方向,包括x→y→z,x←y←z,x←y→z等IC类方法无法判定的因果关系。全局结构推断方面,InductiveCausality给出了基于贝叶斯网络结构学习的全局结构推断框架,但是对其中的核心细节没有刻画,从而引发了大量重要工作。近期研究主要集中在高维情形下的因果推断算法设计,代表性工作包括北京大学耿直教授的递归分解结构学习策略、北京大学宋国杰教授的重合分解策略、最大最小爬山法、申请人的半监督策略等。全局结构模型相对成熟,具有较强的高维因果表达能力。
但是,无论是局部结构推断方法还是全局结构推断方法,由于其模型自身的一些不足,现有的这两类方法在高维数据上都没能有出色的表现。对数据产生机制有较强的假设是现有局部结构模型的主要不足,如ANM只适用于非线性连续数据或者离散数据,LiNGAM模型仅适用于线性非高斯噪声数据,IGCI则一般假设不存在噪声干扰。并且,这些方法也缺乏全局结构表达能力。ANM和IGCI主要用于研究两个变量间的因果关系,较难推广到多变量的高维场景。而LiNGAM模型虽然能够应用到多变量问题,但是在高维问题上存在误发现率不可控等缺陷。至于现有的全局结构推断方法,基于因果图模型的IC类方法虽然具有较强的全局结构表达能力,但是存在发现能力不足的问题。由于对于局部因果机制缺乏有效刻画,该类方法仅能发现V-结构(例如,x→y←z)形式的因果关系,对属于同一因果等价类的因果关系(例如,x→y→z,x←y←z,x←y→z)则无法有效区分。另外,由于IC类方法侧重单个V-结构的稳定性,在高维数据上存在结果可靠性差的问题。
发明内容
为了解决全局结构模型在因果发现上能力较弱以及局部结构模型在高维数据表达能力上不足且依赖于较为严格的数据产生机制假设等问题,本发明建立了一个将全局结构推断方法与局部结构推断方法有效结合的自底向上构建的可行框架。在该框架下全局结构模型和局部结构模型既互补不足,又能充分发挥各自原有的优点,使得本因果网络学习方法具有较强的高维因果结构表达能力,同时兼具更高的因果关系发现的可靠性。
该方法包括三部分:因果关系局部结构发现算法,采用局部因果关系学习方法和因果关系强度传播策略学习变量间的局部因果关系强弱关系;全局变量因果排序算法,基于最大无环有向子图模型,在局部结构强弱度量的基础上实现高维变量全局因果关系排序;冗余因果关系剔除策略,基于全局因果序,最终实现高维观察数据上的可靠因果关系发现。
一些成熟的因果学习方法在低维数据的因果关系推断上有较好的表现,第一部分的局部因果关系学习中应用了这种因果学习方法。由第一部分局部因果关系学习得到的各变量间因果关系强弱度量是第二部分排序的依据。根据第二部分求得的因果变量顺序,第三部分在进行冗余因果关系剔除时,可以有效地减少候选的冗余因果关系的数目。
附图说明
图1为本发明的算法架构图。
具体实施方式
相应于上述方法的三个部分,本发明由三个模块顺序组成:局部因果结构生成模块、基于因果强度度量的全局有向无环图拓扑排序模块和冗余因果关系剔除模块。这三个模块的具体功能和实施步骤详述如下。
1.局部因果结构生成模块
输入:样本集合D,变量集合V,阈值α。
输出:因果关系强度图G(包括刻画第i个变量与第j个变量因果关系vi→vj强弱的度量值gij和wij)。
1)将变量集合V划分为q个等大的不相交集,即V1、V2、…、Vq。q建议取值其中m为样本数目,n为变量数目。
2)每两个集合Vi和Vj(允许i和j相等)构成一个子域Sk,共产生q2个子域,即S1、S2、…、
3)在每个子域上应用某种因果推断方法,学习局部因果结构,求得构成该子域的两个变量集合Va和Vb间任意两个变量vi∈Va和vj∈Vb的因果关系vi→vj的强弱度量wij。
4)初始化因果强度矩阵W的每个元素为wij(i为元素对应的行序号,j为相应的列序号);如果wij<α,则令wij=0。
5)这一步开始应用因果关系强度传播策略,按k从2到n-1取值依次迭代计算W(k)=W(k-1)W,即
6)对每一对变量vi和vj计算一个用于刻画vi→vj因果关系强弱的值gij,其表达式为gij相比wij能够更加分充地体现真实因果关系与虚假因果关系之间的差距。
2.基于因果强度度量的全局有向无环图拓扑排序模块
输入:样本集合D,变量集合V,因果关系强度图G。
输出:因果拓扑序列O。
1)对V中每个变量vi计算其亏损值di,其表达式为di=∑j≠iwij-∑l≠iwli。
2)V中的变量根据每一个变量vi对应的di按非升序排序,并对排序后的变量序列依新序从1到n编号,即变量按新序依次记为v1、v2、…、vn。
3)这一步将初始化序列O。首先初化各参数:l=1,u=n,S=V。然后按i从1到n迭代依次做如下处理:①令S=S-vi,②如果则使Ol=vi,l=l+1;否则,使Ou=vi,u=u-1。
4)对序列O做局部搜索优化。按i从1到n取值,j从i+1到n取值的顺序,依次做如下处理:考虑交换拓扑序列O中第i个位置的变量Oi和第j个位置的变量Oj,如果交换后拓扑序列对应的有向无环图的各边权值(即W中刻画因果关系强弱的值wij)之和更大,即满足 那么确认交换两者的位置,否则保持原位置不变。
5)完成第4)步的所有迭代,得到因果拓扑序列O。
3.冗余因果关系剔除模块
输入:样本集合D,变量集合V,因果拓扑序列O。
输出:全局因果图C(矩阵表示)。
1)按因果拓扑序列的顺序依次给每个变量重新编号。
2)初始化矩阵C为对角线全0,Cij=1(对于所有i<j)的上三角矩阵。Cij为1时表示变量vi是vj的直接原因变量,即在因果图上存在有向边vi→vj。
3)按i从1到n取值,j从i+1到n取值的顺序,依次做如下处理:取两个结点集合S1={vh|1≤h<i,Chi=1,Chj=1}和S2={vh|i<h<j,Cih=1,Chj=1},如果变量vi和vj至少满足下列三个条件中的任意一个:
①给定集合S1条件下,vi和vj通过独立性检验测试判定为相互独立;
②给定集合S2条件下,vi和vj通过独立性检验测试判定为相互独立;
③给定集合S1∪S2条件下,vi和vj通过独立性检验测试判定为相互独立。
则设Cij=0,即在最终的因果图中从vi到vj没有直接相连的有向边,意即变量vi不是变量vj的直接原因变量。
4)完成第3)步的所有迭代,得到最终的全局因果图C。
Claims (5)
1.一种自底向上的高维数据因果网络学习方法,其包括:因果关系局部结构发现算法,采用局部因果关系学习方法和因果关系强度传播策略学习变量间的局部因果关系强弱关系;全局变量因果排序算法,基于最大无环有向子图模型,在局部结构强弱度量的基础上实现高维变量全局因果关系排序;冗余因果关系剔除策略,基于全局因果序,最终实现高维观察数据上的可靠因果关系发现。
2.如权利要求1所述的自底向上的高维数据因果网络学习方法,其特征在于建立面向因果关系发现的“局部结构学习-全局变量因果排序-冗余因果关系剔除策略”三阶段因果网络学习方法。
3.如权利要求1所述的因果关系局部结构发现算法,其特征在于对小规模问题上的因果关系进行整合和因果关系传播,其因果关系传播的形式化描述为:其中wij为变量i和j之间的因果关系强度,n为变量的数目,k!为k的阶乘。
4.如权利要求1所述的全局变量因果排序算法,其特征在于基于最大无环有向子图模型依据因果关系强度对因果变量进行全局排序。
5.如权利要求1所述的因果关系剔除策略,其特征在于结合因果序进行条件独立性假设检验的条件集删选从而剔除冗余的因果关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410796623.4A CN104537418A (zh) | 2014-12-11 | 2014-12-11 | 一种自底向上的高维数据因果网络学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410796623.4A CN104537418A (zh) | 2014-12-11 | 2014-12-11 | 一种自底向上的高维数据因果网络学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104537418A true CN104537418A (zh) | 2015-04-22 |
Family
ID=52852937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410796623.4A Pending CN104537418A (zh) | 2014-12-11 | 2014-12-11 | 一种自底向上的高维数据因果网络学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104537418A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719006A (zh) * | 2016-01-18 | 2016-06-29 | 合肥工业大学 | 基于流特征的因果结构学习方法 |
WO2019185039A1 (zh) * | 2018-03-29 | 2019-10-03 | 日本电气株式会社 | 数据处理方法和电子设备 |
WO2021116857A1 (en) * | 2019-12-11 | 2021-06-17 | International Business Machines Corporation | Root cause analysis using granger causality |
CN114175082A (zh) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | 信息处理设备、信息处理方法和信息处理程序 |
-
2014
- 2014-12-11 CN CN201410796623.4A patent/CN104537418A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719006A (zh) * | 2016-01-18 | 2016-06-29 | 合肥工业大学 | 基于流特征的因果结构学习方法 |
WO2019185039A1 (zh) * | 2018-03-29 | 2019-10-03 | 日本电气株式会社 | 数据处理方法和电子设备 |
CN110555047A (zh) * | 2018-03-29 | 2019-12-10 | 日本电气株式会社 | 数据处理方法和电子设备 |
CN110555047B (zh) * | 2018-03-29 | 2024-03-15 | 日本电气株式会社 | 数据处理方法和电子设备 |
CN114175082A (zh) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | 信息处理设备、信息处理方法和信息处理程序 |
WO2021116857A1 (en) * | 2019-12-11 | 2021-06-17 | International Business Machines Corporation | Root cause analysis using granger causality |
US11238129B2 (en) | 2019-12-11 | 2022-02-01 | International Business Machines Corporation | Root cause analysis using Granger causality |
GB2606918A (en) * | 2019-12-11 | 2022-11-23 | Ibm | Root cause analysis using granger causality |
US11816178B2 (en) | 2019-12-11 | 2023-11-14 | International Business Machines Corporation | Root cause analysis using granger causality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bi et al. | Daily tourism volume forecasting for tourist attractions | |
CN107169628B (zh) | 一种基于大数据互信息属性约简的配电网可靠性评估方法 | |
CN106326585B (zh) | 基于贝叶斯网络推理的预测分析方法以及装置 | |
CN105931116A (zh) | 基于深度学习机制的自动化信用评分系统及方法 | |
CN105893637A (zh) | 大规模微博异构信息网络中的链接预测方法 | |
CN109523021A (zh) | 一种基于长短时记忆网络的动态网络结构预测方法 | |
CN104537418A (zh) | 一种自底向上的高维数据因果网络学习方法 | |
CN106599562B (zh) | 基于概率加权fdc法的河流生态需水量计算方法 | |
CN105631018A (zh) | 基于主题模型的文章特征抽取方法 | |
CN111950708A (zh) | 一种发现大学生日常生活习惯的神经网络结构与方法 | |
CN103279672B (zh) | 基于噪声模型支持向量回归技术的短期风速预报方法 | |
CN103488885B (zh) | 基于mmsb的微博网络用户行为分析方法 | |
CN104715034A (zh) | 基于中心人物的有权图重叠社区发现方法 | |
CN114385403A (zh) | 基于双层知识图谱架构的分布式协同故障诊断方法 | |
CN106341258A (zh) | 一种基于二阶局部社团和种子节点结构信息的预测网络未知连边的方法 | |
Cheng et al. | Evaluation and analysis of regional economic growth factors in digital economy based on the deep neural network | |
Liu et al. | Construction quality risk management of projects on the basis of rough set and neural network | |
CN105183806A (zh) | 一种不同平台间识别同一用户的方法与系统 | |
CN104463704A (zh) | 电力通信网可靠性评价指标约简方法及系统 | |
CN105761152A (zh) | 社交网络中一种基于三元组的参与话题预测方法 | |
Li et al. | Hybrid model of generative adversarial network and Takagi‐Sugeno for multidimensional incomplete hydrological big data prediction | |
CN107563135A (zh) | 一种最优结构方程模型自动生成方法 | |
Yu et al. | A risk assessment method of power transformer based on three-parameter interval grey number decision-making | |
CN103942278A (zh) | 通过分析用户主动交友意愿进行朋友推荐的方法 | |
Xiao-Xu et al. | An intelligent inspection robot of power distribution network based on image automatic recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150422 |