CN108959188A - 基于量化最小误差熵准则的格兰杰因果判辨方法 - Google Patents

Abstract

本发明提供一种基于量化最小误差熵准则的格兰杰因果判辨方法。该方法采用量化最小误差熵准则和贝叶斯信息准则确定回归模型的系数和阶数，通过计算误差熵及系数得到因果判辨指标，按照因果性判断标准确定两个时间序列之间的因果性。与传统的基于最小均方误差准则的格兰杰因果判辨方法相比，该方法对回归模型系数的估计更准确，得到的误差熵更小，能更精确地计算因果判辨指标。由于采用了量化方法，该方法的计算复杂度显著地降低。该方法在计算因果判辨指标时综合了误差熵和系数，使得因果判辨指标的计算更加地准确和鲁棒。因此基于量化最小误差熵准则的格兰杰因果判辨方法在实际应用中更加易于推广和使用。

Description

基于量化最小误差熵准则的格兰杰因果判辨方法

技术领域

本发明属于时间序列分析领域中的方法研究，涉及一种时间序列因果判 辨的方法。

背景技术

长期以来，人们常常采用相关性来衡量事物、机构和系统之间相关密切 的程度。例如，在认知神经科学的研究中，通过建立大脑不同脑区之间的功 能连接来揭示在特定认知状态下不同结构和功能的脑区之间是如何协调工作 形成复杂而高效的脑网络系统的；在经济发展领域，通过对我国经济体制改 革以来金融的相关指标和实际国内生产总值增长率的相关判辨，证明了在我 国的经济增长过程中金融发展的重要作用；在临床应用中，采用相关判辨糖 尿病与体质的关系，说明肥胖、吸烟、高脂高热量饮食及运动量少是糖尿病 的高危因素。但是相关性只反映系统或事物之间的连接关系及连接关系的强 弱，不具有方向性，通常采用的方法包括皮尔逊相关系数、互信息和独立成 分分析等。而因果性则描述一个系统是如何对另一个系统进行作用的，即阐 述系统或变量之间的信息传递，具有方向性。因此因果判辨在认知领域中大 脑效应连接网络的构建、经济发展领域中变量的预测分析及临床应用中病因 的分析中具有重要的应用价值。

虽然因果性到目前为止还没有统一的定义，但是人们已经提出了很多因 果判辨方法，并将其应用于诸多领域中，如经济、气候、社交网络、神经科 学及信号处理等。1956年美国应用数学家诺伯特·维纳首次提出：对于两个同 时测量的时间序列，若同时采用第二个序列和第一个序列的过去值预测第一 个序列的当前值的效果好于只采用第一个序列的过去值预测其当前值，则称 两个时间序列具有因果关系，并称第二个时间序列为因，第一个时间序列为 果。这种方法不仅限于回归模型，并且能够推广到连续的时间域上，为后续的方法提供了理论框架。但是这种方法基于严格平稳的随机过程，需要计算 到变量无穷高阶的矩，并且忽略了其他时间序列产生的潜在影响；此外该方 法采用泛函形式而非随机形式，使其难以应用到数据分析当中。英国经济学 家克莱夫·格兰杰在维纳所提出的方法的启发下，于1969年提出后经约翰·杰维 克推广的基于回归预测的方法：在向量自回归模型中，每一个变量由若干个 自己的和其他变量的历史向量的组合所张成的线性空间来表征，即一个变量Y 所包含的历史信息的加入，能增加另一个变量X只参照自己的历史信息的条件下做出预测的精度，则可认为在格兰杰的统计意义下Y是X的原因。因此 格兰杰于2003年获得诺贝尔经济学奖。

格兰杰因果判辨是最基本的检测信号之间是否存在信息流动的方法。传 统的因果判辨方法仅仅考虑基于最小均方误差准则的回归模型的误差信息， 分析简单，计算复杂度低。但是最小均方误差准则仅利用了误差的二阶统计 量，使得回归模型系数和阶数的估计不够准确，可能会造成时间序列因果性 的误检。基于最小均方误差准则的回归模型依赖于时间序列噪声的高斯性， 而这种性质在实际过程中往往是不成立的。在具体的应用当中，采集到的信 号往往夹杂着非高斯噪声，这就使得基于最小均方误差准则的回归模型参数 辨识的性能急剧下降。因此在建立因果判辨的回归模型中，可使用最小误差 熵准则替代最小均方误差准则。基于最小误差熵准则的算法还考虑误差的高 阶信息统计量，充分利用了误差的信息，使得回归模型系数的估计有了更好 的准确性，为时间序列因果性的分析打好了基础。然而在计算误差熵时需要 进行二重求和，这使得算法的计算复杂度大大地增加，尤其当误差的样本量 很大的时候。

发明内容

为了克服上述技术的不足，本发明提供了一种基于量化最小误差熵准 则的格兰杰因果判辨方法。该方法采用量化最小误差熵准则对回归模型系数 进行估计，与传统的基于最小均方误差准则相比，准确性高；与基于最小误 差熵准则相比，准确性相当，但是其计算复杂度低。此外，该方法还将向量 自回归模型的系数引入到因果判辨指标的计算中，增加了方法的鲁棒性。

为达到上述目的，本发明采用了以下技术方案。

一种基于量化最小误差熵准则的格兰杰因果判辨方法，基于格兰杰因 果判辨方法，采用量化最小误差熵准则和贝叶斯信息准则确定回归模型的系 数和阶数，通过误差熵及系数计算因果判辨指标，按照定义的因果性判断标 准得到两个时间序列的因果性；

所述的基于量化最小误差熵准则的格兰杰因果判辨方法具体步骤为：

(1)根据变量的先验信息设置回归模型最大阶数p；

(2)将时间序列通过不同阶数j,1≤j≤p的自回归模型，得到阶 数为j的自回归模型误差向量利用基于量化最小误差熵准则的不动 点方程，更新阶数为j的自回归模型系数当迭代多次达到稳态后， 可得到j阶自回归模型的误差熵H₂(e₁₁)和系数采用贝叶斯信息准则 选择合适的自回归模型阶数o₁；

(3)将两个时间序列通过不同阶数j,1≤j≤p的向量自回归 模型，得到阶数为j的向量自回归模型误差向量利用基于量化最小 误差熵准则的不动点方程，更新阶数为j的向量自回归模型系数当 迭代多次达到稳态后，可得到j阶向量自回归模型的误差熵H₂(e₁₂)和系数 采用贝叶斯信息准则选择合适的向量自回归模型阶数o₂；

(4)将时间序列换成 换成重 复步骤(2)和(3)，得到误差熵(H₂(e₂₁)和H₂(e₂₂))和系数(和 )；

(5)根据自回归模型和向量自回归模型的误差熵及系数计算因果判辨 指标，按照因果性判断标准得到时间序列的因果性。

若步骤(1)确定的回归模型阶数为p，则自回归模型为： 向量自回归模型为：

在步骤(2)、(3)和(4)中，将最小均方误差准则替换为量化最小误 差熵准则，其损失函数为：

在步骤(2)、(3)和(4)中，采用贝叶斯信息准则确定回归模型的阶 数，贝叶斯信息准则：模型的阶数：其中1≤j≤p。

在步骤(5)中，采用回归模型的误差熵及系数计算因果判辨指标：和

本发明的有益效果体现在：

由于传统基于最小均方误差准则的格兰杰因果判辨方法不能很准确地估 计回归模型的系数，而基于最小误差熵准则的方法存在计算复杂度高的缺点。 本发明提出了基于量化最小误差熵准则的格兰杰因果判辨方法，该方法可应 用于非高斯噪声系统的因果判辨场合，能解决最小均方误差准则下对叠加非 高斯噪声的时间序列的回归模型系数估计不准确和最小误差熵准则下计算复 杂度高的问题，具有重要的研究意义和广泛的应用价值。

附图说明

图1是基于量化最小误差熵的格兰杰因果判辨方法的流程图；

图2是向量量化算法的流程图；

图3是基于最小均方误差、最小误差熵和量化最小误差熵的回归模型系 数辨识的结果；

图4是基于最小误差熵和量化最小误差熵的回归模型系数辨识的计算复 杂度曲线；

图5是分别基于最小均方误差(加入向量自回归模型系数前后)、最小误 差熵和量化最小误差熵准则的时间序列因果判辨指标的计算结果。

图6是图5中各准则下时间序列因果判辨指标的比值。

图7是在不同强度的非高斯噪声下采用不同的方法计算因果判辨指标的 值：变量X到Y的因果性。

具体实施方式

下面结合附图对本发明做进一步说明。

基于量化最小误差熵准则的格兰杰因果判辨方法，在格兰杰因果判辨的 框架下，采用量化最小误差熵准则和贝叶斯信息准则估计和确定回归模型的 系数和阶数，通过误差熵及系数计算因果判辨指标，按照定义的因果性判断 标准得到时间序列的因果性。

基于量化最小误差熵准则的格兰杰因果判辨方法具体步骤如下所示：

1)根据先验信息，设置回归模型的最大阶数p、迭代次数q、高斯核函数 核宽度σ和量化阈值ε；

2)令阶数为j的自回归模型的系数得到自回归模型误差向量采用向量量化算法量化误差向量；利用不动点方程更新系数 迭代多次达到稳态以后，可得到j阶自回归模型的误差熵H₂(e₁₁) 和系数上述步骤共进行p次，得到不同阶数下自回归模型的系 数和误差熵；采用贝叶斯信息准则选择合适的自回归模型阶数o₁；

3)将两个时间序列通过不同阶数j,1≤j≤p的向量自回归模型， 将步骤2)中的时间序列换成采用同样的方法可得到向量自 回归模型的误差熵H₂(e₁₂)、系数和阶数o₂；

4)将时间序列换成 换成重复步骤 2)和3)，可得到误差熵(H₂(e₂₁)和H₂(e₂₂))和系数(和)；

5)通过误差熵及系数计算因果判辨指标，按照因果性判断标准得到时间序列 的因果性：因果判辨指标通过式(1)计算；因果性判断的标准如下：若 GC_Y→X＞＞0，且GC_Y→X/GC_X→Y>1，则认为Y是X的因；若GC_X→Y＞＞0，且 GC_Y→X/GC_X→Y<1，则认为X是Y的因；若GC_Y→X＞＞0,GC_X→Y＞＞0且 GC_Y→X/GC_X→Y≈1，则认为X与Y互为因果。

在上述时间序列因果判辨过程中，确定回归模型阶数的贝叶斯信息准则 如式(2)所示，向量量化算法如图2所示。

参见图1，基于量化最小误差熵准则的格兰杰因果判辨方法主要分为以 下步骤：1).参数设置；2).时间序列和自回归模型系数的估 计、误差熵的计算和模型阶数的确定；3).时间序列和向量自回归模型系数的估计、误差熵的计算和模型阶数的确定；4).计算 因果判辨指标，根据定义的格兰杰因果判辨准则评判时间序列和 的因果关系。

参见图2，向量量化算法的功能为：输入误差向量与量化阈值后，该算 法能根据误差向量生成量化字典并得到误差向量量化到该字典的系数，用于 计算误差熵。

由于本发明中所述因果判辨方法是在传统的基于最小均方误差的格兰杰 因果判辨方法上的改进，所以在介绍新方法之前有必要先介绍一下基于最小 均方误差的格兰杰因果判辨方法。

传统的基于最小均方误差的格兰杰因果判辨方法如下：对于两个时间序 列和分别采用自回归模型和向量自回归模型拟合序 列。时间序列的自回归模型为

式中，o₁和o₃为自回归模型的阶数，w₁₁和w₂₁为自回归模型的系数，e₁₁和e₂₁为 自回归模型的误差，仅依赖于各自序列的过去值。而时间序列的向量自回归 模型的误差不仅依赖于各自序列的过去值，还取决于其它序列的过去值与当 前值。时间序列的向量自回归模型为

式中，o₂和o₄为向量自回归模型的阶数，w₁₂和w₂₂为向量自回归模型的系数， e₁₂和e₂₂为向量自回归模型的误差。

至此时间序列Y至X的因果性和X至Y的因果性等因果性指标可由式(7) 和式(8)计算，按照因果性评判准则即可确定两者的因果性。

基于最小均方误差的格兰杰因果判辨方法分析简单，并且计算速度快。 但是在进行回归模型参数的辨识时，该方法仅仅利用了误差的二阶统计量， 对模型系数的估计不准确，可能会对时间序列的因果性造成误检。

可采用误差熵替代均方误差进行回归模型参数的辨识。在信息论学习领 域中，通常采用二阶瑞利熵计算误差熵，计算方法如式(9)所示

H₂(e)＝-log(∫p²(e)de) (9)

式中，p(e)为误差的概率密度函数。通常采用帕仁窗概率密度近似法估计其 值，计算方法如式(10)所示

进一步可推导基于高斯核函数的误差熵的计算公式如式(11)所示

式中，σ为高斯函数的核宽度，G_σ(e,e_i)为高斯核函数，N为误差样本量。从 式(11)中可以看出，在计算误差熵时该方法需要进行二重求和，使得计算复 杂度大大地增加，尤其当信息量很大的时候。

为了克服上述方法的不足，本发明在格兰杰因果判辨的框架下，提出了 一种基于量化最小误差熵准则的格兰杰因果判辨方法。该方法采用量化最小 误差熵准则对回归模型系数进行估计，与传统的基于最小均方误差准则相比， 准确性高；与基于最小误差熵准则相比，准确性相当，但是其计算复杂度低。 在评价时间序列因果性时，该方法还将向量自回归模型的系数引入到因果性 评价准则中，增加了算法的鲁棒性，下面详细介绍本方法。

首先介绍本发明中最关键的一步：基于量化最小误差熵准则估计回归模 型的参数。

对于一个回归模型y＝w^Tx，采用量化最小误差熵准则解决参数辨识问 题。基于式(11)定义量化最小误差熵：设f[·]为量化算子，将误差向量按 照字典D＝{d₁,d₂…,d_M}量化成其中M＜＜N，每个误差样本均被量 化到离其最近的字典值，统计每个字典值d_m的个数Q_m,1≤m≤M，至此我们定 义量化误差熵为

式中，σ为高斯核宽度。我们的目的是计算最小的量化误差熵，计算步骤如下

令可得到回归模型系数的不动点方程如式(14)所示，通过多次迭代达到稳态后即可求出回归模型系数的不动点。

w＝V^-1U (14)

为了展现基于量化最小误差熵准则的回归模型参数辨识方法的优势之 处，给出了在仿真实验下三种准则(最小均方误差准则、最小误差熵准则和 量化最小误差熵准则)的效果对比图，见图3和图4。实验所采用的回归模 型为：y_i＝w^*Tx_i+n_i，其中w^*＝[2,1]^T，n_i为噪声。

图3为在仿真实验下基于三种准则(最小均方误差准则、最小误差熵准 则和量化最小误差熵准则)的回归模型参数估计的效果图。

图4为基于最小误差熵准则和量化最小误差熵准则的回归模型参数估计 的计算复杂度曲线。

从图3和图4中可以看出，基于最小误差熵准则和量化最小误差熵准则 的回归模型参数辨识的效果均好于基于最小均方误差准则的算法。但是基于 最小误差熵准则的算法的计算复杂度随着信号长度的增加显著地增加。因此， 本方法将量化最小误差熵准则引入到因果判辨领域。

以下通过具体实施例对本发明进行详细说明：

考虑两个时间序列和由式(15)生成，式中 [a₁,a₂,a₃]＝[0.1,0.05,0.15]、[b₁,b₂,b₃,b₄]＝[0.7,0.9,0.8,0.6]和[c₁,c₂]＝[0.08,0.1]均为时间序列的系数，和均为非高斯噪声，噪声服从非高 斯分布：0.5G(-4,5)+.5G(4,5)，其中G(μ,σ²)是均值为μ方差为σ²的高斯函数， N＝500为时间序列的长度。

结合图1分析上述时间序列的因果性。首先设置参数。本次实验的参 数设置如下：回归模型的最大阶数p＝10、迭代次数q＝100、高斯核函数核 宽度σ＝1和量化阈值ε＝0.2，注：以上设置的参数均是在模型的参数空间中 搜寻得到的最优解；

然后进行时间序列和的自回归模型系数估计、误差熵计 算和模型阶数的确定。本次实验确定的自回归模型阶数分别为1和2、误 差熵分别为0.7688和1.8344；

其次进行时间序列和的向量自回归模型系数的 估计、误差熵的计算和模型阶数的确定。本次实验确定的向量自回归模型 的阶数分别为1和4、估计的系数分别为0.013和0.6794,0.948,0.7524,0.6442 以及计算的误差熵分别为0.7675和1.1649；

最后通过计算模型的误差熵及系数得到因果判辨指标，按照因果性判断 标准得到时间序列和的因果关系。本次实验求得GC_Y→X＝7.297 和GC_X→Y＝759.6188，置换检验结果：P₁<1×10^-3，P₂<1×10^-3。 注：P₁是通过对时间序列重新采样，分析X和Y的因果性后计算 得到的；P₂是通过对时间序列重新采样，分析X和Y的因果性后 计算得到的。因此，判定X是因，Y是果。

基于最小均方误差准则(加入向量自回归模型系数前后)和最小误差熵 准则的因果判辨步骤同上，限于篇幅的原因这里不再累述。

为了展示基于量化最小误差熵准则的格兰杰因果判辨方法的优势，本发 明进行了100次蒙特卡洛实验，图5为传统方法与新方法的时间序列因果判 辨指标的计算结果，图6是各准则下时间序列因果判辨指标的比值。从图5 和图6中可以看出所有方法在一定程度上均能实现时间序列因果性检测，但 基于量化最小误差熵准则和最小误差熵准则的格兰杰因果判辨方法的效果更 好，而最小误差熵算法又存在着计算复杂度大的问题，无法应用于实际的因 果性检测之中。图7是在不同强度的非高斯噪声下(横轴代表双峰噪声的标 准差)采用不同的方法计算变量X到Y的因果性。从图中可以看出，随着非 高斯噪声强度的变化，基于量化最小误差熵准则和最小误差熵准则的格兰杰 因果判辨方法的结果变化不大，而传统方法的结果显著变化。这说明了基于 量化最小误差熵准则的格兰杰因果判辨方法的鲁棒性高。

综上所述，基于量化最小误差熵准则的格兰杰因果判辨方法的准确性好、 计算复杂度低且鲁棒性高，具有极高的应用价值。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明， 不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通 技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演 或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于量化最小误差熵准则的格兰杰因果判辨方法，其特征在于：基于格兰杰因果判辨方法，采用量化最小误差熵准则和贝叶斯信息准则确定回归模型的系数和阶数，通过误差熵及系数计算因果判辨指标，按照定义的因果性判断标准得到两个时间序列的因果性；

所述的基于量化最小误差熵准则的格兰杰因果判辨方法具体步骤为：

(1)根据变量的先验信息设置回归模型最大阶数p；

(2)将时间序列通过不同阶数j,1≤j≤p的自回归模型，得到阶数为j的自回归模型误差向量利用基于量化最小误差熵准则的不动点方程，更新阶数为j的自回归模型系数当迭代多次达到稳态后，可得到j阶自回归模型的误差熵H₂(e₁₁)和系数采用贝叶斯信息准则选择合适的自回归模型阶数o₁；

(3)将两个时间序列通过不同阶数j,1≤j≤p的向量自回归模型，得到阶数为j的向量自回归模型误差向量利用基于量化最小误差熵准则的不动点方程，更新阶数为j的向量自回归模型系数当迭代多次达到稳态后，可得到j阶向量自回归模型的误差熵H₂(e₁₂)和系数采用贝叶斯信息准则选择合适的向量自回归模型阶数o₂；

(4)将时间序列换成 换成重复步骤(2)和(3)，得到误差熵(H₂(e₂₁)和H₂(e₂₂))和系数(和)；

(5)根据自回归模型和向量自回归模型的误差熵及系数计算因果判辨指标，按照因果性判断标准得到时间序列的因果性。

2.根据权利要求1所述的基于量化最小误差熵准则的格兰杰因果判辨方法，其特征在于：若步骤(1)确定的回归模型阶数为p，则自回归模型为：向量自回归模型为：

3.根据权利要求1所述的基于量化最小误差熵准则的格兰杰因果判辨方法，其特征在于：在步骤(2)、(3)和(4)中，将最小均方误差准则替换为量化最小误差熵准则，其损失函数为：

4.根据权利要求1所述的基于量化最小误差熵准则的格兰杰因果判辨方法，其特征在于：在步骤(2)、(3)和(4)中，采用贝叶斯信息准则确定回归模型的阶数，贝叶斯信息准则：模型的阶数：其中1≤j≤p。

5.根据权利要求1所述的基于量化最小误差熵准则的格兰杰因果判辨方法，其特征在于：在步骤(5)中，采用回归模型的误差熵及系数计算因果判辨指标：和