CN115759291A - 一种基于集成学习的空间非线性回归方法及系统 - Google Patents

Abstract

本发明公开了一种基于集成学习的空间非线性回归方法及系统，对数据计算空间权重矩阵和二阶邻接矩阵；使用弱回归模型进行局部加权回归，拟合得到局部弱回归模型；对数据进行预测转换，得到二阶回归数据；将二阶邻接矩阵作为局部筛选，局部弱回归模型作为基础回归模型，空间权重矩阵作为局部权重，使用集成方法中的混合模型对二阶回归数据进行拟合，得到局部集成模型；使用局部留一法交叉验证，对模型进行评估选择，得到最优的空间非线性回归模型。本发明将集成学习中的混和模型引入空间回归，并使用弱回归模型作为基础局部回归模型以引入非线性关系，从而得到高效的空间非线性回归模型，以此捕捉空间非平稳性中的非线性关系。

Description

一种基于集成学习的空间非线性回归方法及系统

技术领域

本发明属于计算机科学与技术中的机器学习以及地理信息科学中的空间统计分析与空间回归技术领域，涉及一种空间非线性回归方法及系统，特别涉及一种基于集成学习的基于集成学习的空间非线性回归方法及系统。

背景技术

空间非平稳性广泛存在于各种与地理空间有关的现象或研究中。空间非平稳性是指变量统计关系的变化是随地理位置而变化的函数，它对应模型参数或函数形式在空间上所产生的变化。因为空间非平稳性意味着不同的预测模型对模型结果有着不同的影响，所以简单的全局模型无法解释变量之间的关系，由此模型必须随着空间的变化而产生变化以此来反映数据中存在的空间结构。

目前，研究方法主要集中于将局部回归应用于地理空间场景来考虑空间非平稳性，即地理加权回归模型以及其拓展与变形。此类基于局部线性回归的方法都建立于变量之间线性关系的假设之上，然而，现实数据往往存在各种非线性关系，导致线性模型难以捕捉到其局部的非线性关系。尽管有人曾尝试将非线性模型与局部回归思想结合，但并未形成明确的方法框架且运行效率较低难以处理大尺度数据。因此，目前缺少高效的空间非线性回归方法来捕捉空间非平稳性中的非线性关系。

发明内容

本发明提出了一种基于集成学习的空间非线性回归方法及系统，目的是在于通过空间特征计算空间权重矩阵，拟合局部弱回归模型，并根据空间权重矩阵得到二阶邻接矩阵，以此根据局部弱回归模型计算得到二阶回归数据，从而在局部使用邻接弱回归模型拟合线性混合模型，得到高效的空间非线性回归模型，以此捕捉空间非平稳性中的非线性关系。

本发明的方法所采用的技术方案是：一种基于集成学习的空间非线性回归方法，利用空间非线性回归模型，捕捉空间非平稳性中的非线性关系；

所述空间非线性回归模型，是训练获取的最优空间非线性回归模型；训练过程包括以下步骤：

步骤1：根据需要探究空间非平稳性中非线性的数据，筛选数据的空间属性，计算数据的空间距离矩阵与空间权重矩阵；

步骤2：将空间权重矩阵作为回归权重，使用弱回归模型对数据进行局部加权回归，得到局部弱回归模型；

步骤3：根据空间权重矩阵，计算二阶邻接矩阵；

步骤4：将二阶邻接矩阵作为局部弱回归模型的预测标识，使用局部弱回归模型对数据进行预测转换，得到二阶回归数据；

步骤5：根据步骤4中得到的二阶回归数据、步骤3中得到的二阶邻接矩阵、步骤2中得到的局部弱回归模型以及步骤1中得到的空间权重矩阵，将二阶回归数据作为输入，二阶邻接矩阵作为局部筛选，局部弱回归模型作为基础回归模型，空间权重矩阵作为局部权重，使用集成机器学习中的混合模型对二阶回归数据进行拟合，得到局部集成模型；

步骤6：根据局部集成模型，使用局部留一法交叉验证，以R-Squared作为局部集成模型评估衡量指标，对局部集成模型进行评估，选择最佳的局部集成模型回归参数，以此得到最优的空间非线性回归模型。

本发明的系统所采用的技术方案是：一种基于集成学习的空间非线性回归系统，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于集成学习的空间非线性回归方法。

与现有技术相比，本发明具有以下优点：

1、使用决策树桩、极度随机树、决策树等弱回归模型作为基础的局部回归模型，在提供非线性特点的同时速度和效率比传统的线性拟合以及传统的非线性拟合都要高，以此形成一个高效的空间非线性回归方法。

2、使用集成学习中的混和模型对局部进行二次拟合，在资源开销小的同时提供了较高的模型复杂度以及泛化拟合能力，使模型能够在准确捕获非线性关系的同时，计算资源的要求能最小化。

3、相较于传统的非线性回归，该方法能够通过集成学习的方法将邻接局部回归模型进行再次拟合，能够更好地捕捉空间中的非线性关系。

附图说明

图1为本发明的方法流程示意图；

图2为本发明的空间非线性回归模型训练流程示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于集成学习的空间非线性回归方法，利用空间非线性回归模型，捕捉空间非平稳性中的非线性关系；

请见图2，本实施例的空间非线性回归模型，是训练获取的最优空间非线性回归模型；训练过程包括以下步骤：

步骤1：根据需要探究空间非平稳性中非线性的数据，筛选数据的空间属性，计算数据的空间距离矩阵与空间权重矩阵；

本实施例是以上海市2018至2020年房租房价数据作为示例数据。

本实施例中，步骤1的具体实现包括以下子步骤：

步骤1.1：确定数据空间属性的表示形式，对于经纬度表示形式，使用大圆距离度量；对于X、Y、Z坐标表示形式，使用欧式距离度量；

步骤1.2：对于大圆距离度量，使用大圆距离度量计算公式计算数据的大圆距离；对于欧式距离度量，使用欧式距离度量计算公式计算数据的欧式距离；

其中，大圆距离度量计算公式如下：

Δσ＝arccos(sinφ₁sinφ₂+cosφ₁cosφ₂cos(Δλ))；

d＝rΔσ；

其中Φ₁、Φ₂代表数据对的纬度，Δλ代表数据对经度差值的绝对值，r代表地球半径；

欧式距离度量计算公式如下：

其中p、q代表数据对的空间位置向量；p_n、q_n分别代表向量p、q的第n维度分量。

步骤1.3：根据距离度量计算公式，计算数据之间的空间距离，得到空间距离矩阵；

步骤1.4：根据数据的空间分布以及空间距离的性质选择带宽以及核函数；

当数据分布密度方差阈值小于A1时，使用固定带宽以包括各数据固定距离内的邻接数据；否则，使用可变带宽以包括指定个数的邻接数据；当数据量小于阈值A2时，使用连续核函数；否则使用紧支撑函数，在紧支撑核函数中，距离大于带宽值的邻接数据将被舍弃；

连续核函数，例如指数核函数，其公式如下：

其中d为数据对间的距离，h为带宽。

紧支撑核函数，例如三次方核函数，其公式如下：

如果|d＜h|，那么w(d)＝(1-(|d/h|)³)³，否则0。

步骤1.5：根据带宽选择以及核函数选择，对空间距离计算得到空间权重，从而得到空间权重矩阵。

步骤2：将空间权重矩阵作为回归权重，使用弱回归模型对数据进行局部加权回归，得到局部弱回归模型；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：根据数据复杂程度选定非线性弱回归模型；

对于复杂程度低于阈值B1、特征量少于阈值C1、数据量少于阈值D1的模型选用决策树桩模型作为弱回归模型；

对于复杂程度位于阈值区间[B1、B2]、特征量位于阈值区间[C1、C2]、数据量位于阈值区间[D1、D2]的模型选用控制深度的极端随机树作为弱回归模型；

对于复杂程度高于较高阈值B2、特征量大于阈值C2、数据量大于阈值D2的模型选用控制深度的决策树作为弱回归模型；

本实施例对于给定的上海市2018年至2020年房租房价数据，使用控制深度为2的极端随机数作为弱回归模型。对于数据复杂度、特征、数据量以及对应的弱回归模型选择如下表1：

表1

步骤2.2：根据选定的非线性弱回归模型，将得到的空间权重矩阵作为局部回归权重，从而对数据进行局部加权回归，得到非线性的局部弱回归模型。

步骤3：根据空间权重矩阵，计算二阶邻接矩阵；

本实施例中，步骤3的具体实现包括以下子步骤：

步骤3.1：根据空间权重矩阵，对于各数据，选择对应权重大于零的邻接索引，得到邻接索引集合

其中i表示第i条数据，w_ij表示权重矩阵第i行第j列元素，即第i条数据对应在第j条邻接数据处的权重，Ω表示j所有可能取值集合，即从1至数据总数；

步骤3.2：根据邻接索引集合，获取权重矩阵中对应的行，并进行累加，得到二阶邻接权重求和向量

其中w_j表示权重矩阵第j行向量，Σ表示向量求和相加；

步骤3.3：根据二阶邻接权重求和向量，对其进行符号函数运算，从而得到二阶邻接向量

其中Sign表示向量符号函数；

步骤3.4：根据二阶邻接向量，得到二阶邻接矩阵

其中N表示数据总数。

步骤4：将二阶邻接矩阵作为局部弱回归模型的预测标识，使用局部弱回归模型对数据进行预测转换，得到二阶回归数据；

本实施例中，步骤4的具体实现包括以下子步骤：

步骤4.1：根据二阶邻接矩阵，对于各局部回归模型，对产生二阶邻接关系的数据进行预测，得到局部的二阶回归数据

其中，

表示二阶回归数据的第i行第j列元素，

表示二阶邻接矩阵的第i行第j列元素，即数据i与数据j的二阶邻接关系，fi_i ^weak表示位于数据i处的局部弱回归模型的预测函数，X_j代表数据j的原始输入数据；1≤j≤N，1≤i≤N，表示数据总数；

步骤4.2：根据局部的二阶回归数据，得到二阶回归数据矩阵X^Second-order：

步骤5：根据步骤4中得到的二阶回归数据、步骤3中得到的二阶邻接矩阵、步骤2中得到的局部弱回归模型以及步骤1中得到的空间权重矩阵，将二阶回归数据作为输入，二阶邻接矩阵作为局部筛选，局部弱回归模型作为基础回归模型，空间权重矩阵作为局部权重，使用集成机器学习中的混合模型对二阶回归数据进行拟合，得到局部集成模型；

本实施例中，步骤5的具体实现包括以下子步骤：

步骤5.1：根据空间权重矩阵以及二阶回归数据，对各数据的局部二阶回归数据进行筛选，选择对应空间权重大于零的邻接索引的二阶回归数据的行列，得到局部二阶回归数据

其中，

表示二阶回归数据的第j行第k列元素；w_ij表示权重矩阵第i行第j列元素，即第i条数据对应在第j条邻接数据处的权重；for表示对任意可能的j、k取值需要满足的条件；

步骤5.2：根据空间权重矩阵以及局部二阶回归数据，将空间权重矩阵作为回归权重，局部二阶回归数据作为输入，使用集成机器学习中的混合模型对二阶回归数据进行拟合，得到局部集成模型。

步骤6：根据局部集成模型，使用局部留一法交叉验证，以R-Squared作为局部集成模型评估衡量指标，对局部集成模型进行评估，选择最佳的局部集成模型回归参数，以此得到最优的空间非线性回归模型；

本实施例中，步骤6的具体实现包括以下子步骤：

步骤6.1：根据局部集成模型，预测局部集成模型对应的数据，得到局部预测值，局部预测公式如下：

其中blending_i代表数据i处的局部集成模型；

为局部二阶回归数据，w_i表示数据i处的空间权重、x_i表示原始输入数据i；

步骤6.2：根据局部预测值，计算R-Squared判断模型在空间上的拟合泛化能力，R-Squared计算公式如下：

R-Squared＝SS_regression/S_total；

其中SS_regression表示回归导致的方差之和，即解释方差之和，SS_total表示总方差和；

步骤6.3：根据用来判断模型拟合泛化的评估衡量指标R-Squared，调整带宽、核函数选择，使R²最大化，最终得到最优的空间非线性回归模型，其最大化公式如下：

h＝argmax_h(R²(h,kernel))

其中h代表带宽，kernel代表核函数选择，argmax_h表示求使得表达式最大的h取值、R²表示R-Squared计算函数。

本实施例对于给定的上海市2018年至2020年房租房价数据，带宽与核函数根据R²选择过程如下表2：

表2

该方法与传统非线性局部回归效率对比如下表3：

表3

通过表3，可以看出本发明的拟合时间要远远优于传统方法的拟合时间。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于集成学习的空间非线性回归方法，其特征在于：利用空间非线性回归模型，捕捉空间非平稳性中的非线性关系；

所述空间非线性回归模型，是训练获取的最优空间非线性回归模型；训练过程包括以下步骤：

步骤1：根据需要探究空间非平稳性中非线性的数据，筛选数据的空间属性，计算数据的空间距离矩阵与空间权重矩阵；

步骤2：将空间权重矩阵作为回归权重，使用弱回归模型对数据进行局部加权回归，得到局部弱回归模型；

步骤3：根据空间权重矩阵，计算二阶邻接矩阵；

步骤4：将二阶邻接矩阵作为局部弱回归模型的预测标识，使用局部弱回归模型对数据进行预测转换，得到二阶回归数据；

步骤5：根据步骤4中得到的二阶回归数据、步骤3中得到的二阶邻接矩阵、步骤2中得到的局部弱回归模型以及步骤1中得到的空间权重矩阵，将二阶回归数据作为输入，二阶邻接矩阵作为局部筛选，局部弱回归模型作为基础回归模型，空间权重矩阵作为局部权重，使用集成机器学习中的混合模型对二阶回归数据进行拟合，得到局部集成模型；

步骤6：根据局部集成模型，使用局部留一法交叉验证，，以R-Squared作为局部集成模型评估衡量指标，对局部集成模型进行评估，选择最佳的局部集成模型回归参数，以此得到最优的空间非线性回归模型。

2.根据权利要求1所述的基于集成学习的空间非线性回归方法，，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：确定数据空间属性的表示形式，对于经纬度表示形式，，使用大圆距离度量；对于X、Y、Z坐标表示形式，使用欧式距离度量；

步骤1.2：对于大圆距离度量，使用大圆距离度量计算公式计算数据的大圆距离；对于欧式距离度量，使用欧式距离度量计算公式计算数据的欧式距离；

其中，大圆距离度量计算公式如下：

Δσ＝arccos(sinφ₁sinφ₂+cosφ₁cosφ₂cos(Δλ))；

d＝rΔσ；

其中Φ₁、Φ₂代表数据对的纬度，Δλ代表数据对经度差值的绝对值，r代表地球半径；

欧式距离度量计算公式如下：

其中p、q代表数据对的空间位置向量；p_n、q_n分别代表向量p、q的第n维度分量。

步骤1.3：根据距离度量计算公式，计算数据之间的空间距离，得到空间距离矩阵；

步骤1.4：根据数据的空间分布以及空间距离的性质选择带宽以及核函数；

当数据分布密度方差阈值小于A1时，使用固定带宽以包括各数据固定距离内的邻接数据；否则，使用可变带宽以包括指定个数的邻接数据；当数据量小于阈值A2时，使用连续核函数；否则使用紧支撑函数，在紧支撑核函数中，距离大于带宽值的邻接数据将被舍弃；

步骤1.5：根据带宽选择以及核函数选择，对空间距离计算得到空间权重，从而得到空间权重矩阵。

3.根据权利要求1所述的基于集成学习的空间非线性回归方法，，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：根据数据复杂程度选定非线性弱回归模型；

对于复杂程度低于阈值B1、特征量少于阈值C1、数据量少于阈值D1的模型选用决策树桩模型作为弱回归模型；

对于复杂程度位于阈值区间[B1、B2]、特征量位于阈值区间[C1、C2]、数据量位于阈值区间[D1、D2]的模型选用控制深度的极端随机树作为弱回归模型；

对于复杂程度高于较高阈值B2、特征量大于阈值C2、数据量大于阈值D2的模型选用控制深度的决策树作为弱回归模型；

步骤2.2：根据选定的非线性弱回归模型，将得到的空间权重矩阵作为局部回归权重，从而对数据进行局部加权回归，得到非线性的局部弱回归模型。

4.根据权利要求1所述的基于集成学习的空间非线性回归方法，，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：根据空间权重矩阵，对于各数据，选择对应权重大于零的邻接索引，得到邻接索引集合

其中i表示第i条数据，w_ij表示权重矩阵第i行第j列元素，即第i条数据对应在第j条邻接数据处的权重，Ω表示j所有可能取值集合，即从1至数据总数；

步骤3.2：根据邻接索引集合，获取权重矩阵中对应的行，并进行累加，得到二阶邻接权重求和向量

其中w_j表示权重矩阵第j行向量，∑表示向量求和相加；

步骤3.3：根据二阶邻接权重求和向量，对其进行符号函数运算，从而得到二阶邻接向量

其中Sign表示向量符号函数；

步骤3.4：根据二阶邻接向量，得到二阶邻接矩阵

其中N表示数据总数。

5.根据权利要求1所述的基于集成学习的空间非线性回归方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：根据二阶邻接矩阵，对于各局部回归模型，对产生二阶邻接关系的数据进行预测，得到局部的二阶回归数据

其中，

表示二阶回归数据的第i行第j列元素，

表示二阶邻接矩阵的第i行第j列元素，即数据i与数据j的二阶邻接关系，

表示位于数据i处的局部弱回归模型的预测函数，X_j代表数据j的原始输入数据；1≤j≤N，1≤i≤N，N表示数据总数；

步骤4.2：根据局部的二阶回归数据，得到二阶回归数据矩阵X^Second-order：

6.根据权利要求1所述的基于集成学习的空间非线性回归方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：根据空间权重矩阵以及二阶回归数据，对各数据的局部二阶回归数据进行筛选，选择对应空间权重大于零的邻接索引的二阶回归数据的行列，得到局部二阶回归数据

其中，

表示二阶回归数据的第j行第k列元素；w_ij表示权重矩阵第i行第j列元素，即第i条数据对应在第j条邻接数据处的权重；for表示对任意可能的j、k取值需要满足的条件；

步骤5.2：根据空间权重矩阵以及局部二阶回归数据，将空间权重矩阵作为回归权重，局部二阶回归数据作为输入，使用集成机器学习中的混合模型对二阶回归数据进行拟合，得到局部集成模型。

7.根据权利要求1-6任意一项所述的基于集成学习的空间非线性回归方法，其特征在于，步骤6的具体实现包括以下子步骤：

步骤6.1：根据局部集成模型，预测局部集成模型对应的数据，得到局部预测值，局部预测公式如下：

其中blending_i代表数据i处的局部集成模型；

为局部二阶回归数据，w_i表示数据i处的空间权重、x_i表示原始输入数据i；

步骤6.2：根据局部预测值，计算R-Squared判断模型在空间上的拟合泛化能力，R-Squared计算公式如下：

R-Squared＝SS_regression/SS_totak；

其中SS_regression表示回归导致的方差之和，即解释方差之和，SS_total表示总方差和；

步骤6.3：根据R-Squared，调整带宽、核函数选择，使R²最大化，最终得到最优的空间非线性回归模型，其最大化公式如下：

h＝argmax_h(R²(h，kernel))

其中h代表带宽，kernel代表核函数选择，argmax_h表示求使得表达式最大的h取值、R²表示R-Squared计算函数。

8.一种基于集成学习的空间非线性回归系统，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于集成学习的空间非线性回归方法。

Images