CN112784493A - 基于自适应深度q网络的地理空间预测方法及系统 - Google Patents

Abstract

本发明提供一种基于自适应深度Q网络的地理空间预测方法及系统，包括对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度、海拔数据；计算变异函数离散点，搭建智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络并初始化；使用自适应深度Q网络对各变异函数模型参数进行学习和估计；计算变异函数离散点和模型的残差平方和，使用残差平方和最大的变异函数模型；将对应最优参数带入到克里金方程得到最终地理空间预测值。本发明实现在提高估计变异函数参数的准确性的同时降低整个插值过程的时间成本，可以更加快速且准确地对插值点进行相关属性的预测，对地质统计学和环境工程具有一定实用价值。

Description

基于自适应深度Q网络的地理空间预测方法及系统

技术领域

本发明属于地址统计科学中的空间插值领域，特别是涉及到一种基于自适应深度Q网络进行地理空间预测的技术方案。

背景技术

空间预测是空间和时空统计的核心。其主要目的是通过对空间中若干个已知点的属性的分析和建模，预测同一空间中未知点的属性。一个理想的空间预测不仅提供点预测，还提供分位数或密度函数等分布信息来量化不确定性、风险和极值。空间预测的广泛应用在地质和环境科学领域，由于近几年交叉学科的兴起，空间预测已经扩展到其他领域，如生物科学、计算机视觉、经济学和公共卫生。

变异函数作为揭示空间数据相关性主要方向的工具，是地质统计学中对一个区域内坡度的空间变异性的分析，因为它用于拟合观察到的现象的时间或空间相关性模型。许多地质统计学方法需要计算空间变量的变异函数值，例如克里金插值法。在统计学中，克里金法是从区域化变量理论推导出的插值方法，它依赖于用变差函数来表示属性的空间变化。克里金插值法基于变异函数进一步用于定义克里金函数的权重，最终对插值点的属性进行插值预测。因此，如何得到更好的变异函数模型是许多地理学研究者研究的课题。变异函数模型是用于拟合观测现象的时间或空间相关性的关键函数，在地质统计学中，较近的事物比较远的事物更相关。一个较好的相关地理分析变异函数模型将使结果分析更加准确，对地质统计学和环境工程具有实用价值。

到目前为止，已经有很多专家学者和研究人员在构造性能较好的变异函数模型领域取得了较为丰富的研究成果。但是，现有的研究大多集中在变异函数单模型的参数估计上，然而变异函数单模型难以描述复杂的现实情况中观测现象的相关性。传统的参数估计方法主要集中在数学优化方法上，包括加权平均法、规划法、目标规划法、最小二乘法等。随着深度学习的发展，一些研究还使用人工神经网络在克里金法中直接拟合变异函数离散点，还有一些研究使用遗传算法，遗传规划和粒子群算法来计算变异函数模型的参数。与传统方法相比，基于进化算法通常可以更准确地获得变异函数的参数，但需要花费大量的时间。因此，本领域亟待更高效的技术方案出现。

发明内容

本发明针对在克里金插值算法中使用进化算法对变异函数参数进行估计时，插值算法时间成本较高的问题，提供了一种基于自适应深度Q网络的地理空间预测技术方案。

本发明提供的技术方案提供一种基于自适应深度Q网络的地理空间预测方法，包括以下步骤：

步骤1，数据准备，包括对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度数据、海拔数据，预处理得到经纬度数据在笛卡尔坐标系下的坐标数据；对原始的数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理；

步骤2，计算变异函数离散点，包括对预处理后所得数据进行计算，得到若干个变异函数空间离散点；

步骤3，构建自适应深度Q网络，包括根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络，并进行初始化；

步骤4，参数估计，包括使用自适应深度Q网络对各种变异函数模型的参数进行学习和估计；

步骤5，模型选择，包括分别将自适应深度Q网络在各种变异函数模型上估计的最优参数带入到各自基本模型中，计算变异函数离散点和不同基本模型的残差平方和，最后使用残差平方和最大的变异函数模型确定最终的变异函数模型；

步骤6，分析预测，包括将得到的变异函数模型以及对应的最优参数带入到克里金方程的公式中，得到最终的地理空间预测值。

而且，步骤4中所述变异函数模型，包括单模型和复合模型。

而且，步骤3中针对不同的变异函数模型搭建动作空间不同的训练环境。

而且，步骤3中使用非线性修正单元将Q网络中价值函数部分的状态值与环境反馈的奖励值进行非线性结合；通过改变自调节因子，达到调节价值函数部分在总奖励值中的占比，从而间接改变智能体对奖励信号的敏感程度，实现模型快速收敛；同时还包括固定自调节因子，达到状态值和环境奖励值线性结合的效果，结合方式如下，

R(s,a,p)＝r(s,a,p)+δV(s；θ,β)

其中，s表示当前状态，a表示采取的动作。奖励信号值为r，表示在状态s下，执行a动作后，环境对此行为的奖赏；V(s；θ,β)为Q网络的价值函数部分的输出，R(s,a,p)为总奖励值，r(s,a,p)为环境奖励值；p表示在当前状态s下，执行动作a后，环境转移到下一状态的概率；

自调节因子δ的计算公式为，

其中，n表示当前的训练步数，n_total代表总的训练步数。

而且，步骤4中使用自适应深度Q网络分别对四种单模型和一种复合模型进行参数学习，四种单模型分别为球状模型、指数模型、高斯模型和线性模型，复合模型为双球状模型。

另一方面，本发明还提供一种基于自适应深度Q网络的地理空间预测系统，用于实现如上所述的一种基于自适应深度Q网络的地理空间预测方法。

而且，包括以下模块，

数据准备模块，用于对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度数据、海拔数据，预处理得到经纬度数据在笛卡尔坐标系下的坐标数据；对原始的数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理；

离散点计算模块，用于计算变异函数离散点，包括对预处理后所得数据进行计算，得到若干个变异函数空间离散点；

模型构建模块，用于构建自适应深度Q网络，包括根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络，并进行初始化；

参数估计模块，用于使用自适应深度Q网络对各种变异函数模型的参数进行学习和估计；

模型选择模块，用于分别将自适应深度Q网络在各种变异函数模型上估计的最优参数带入到相应基本模型中，计算变异函数离散点和不同基本模型的残差平方和，最后使用残差平方和最大的变异函数模型确定最终的变异函数模型；

分析预测模块，用于构造克里金方程，包括将得到的变异函数模型以及对应的最优参数带入到克里金方程的公式中，得到最终的地理空间预测值。

或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于自适应深度Q网络的地理空间预测方法。

或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于自适应深度Q网络的地理空间预测方法。

本发明提供了一种基于自适应深度Q网络的地理空间预测技术方案，在对变异函数参数进行估计时，实现了在提高参数的准确性的同时降低了整个计算过程的时间成本，即可以更加快速且准确地对地理空间插值点进行相关属性的预测，对地质统计学和环境工程具有一定实用价值。该方法具有简单、有效、精度高、易于实现的特点。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例提出的自适应深度Q网络的框架图。

具体实施方式

本发明技术方案可采用计算机软件方式支持自动运行流程。以下结合附图和实施例详细说明本发明技术方案。

图1表示的是基于自适应深度Q网络的地理空间预测技术流程图，以下针对实施例流程中的各步骤，对本发明实施例所提供基于自适应深度Q网络的地理空间预测方法做进一步详细描述。

(1)数据准备：对原始的数据集进行预处理，得到经纬度数据在笛卡尔坐标系下的坐标数据。对原始数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理。

原始的数据集包括地理空间数据(例如土壤重金属含量数据、含油饱和度、渗透率等等)和相应经纬度数据、海拔数据。其中，相应经纬度数据、海拔数据可能出现缺失值和异常值，需要进行处理，最后进行标准化和归一化处理。

在地统计科学和环境科学的数据集中，地理坐标数据是以经度和纬度数据形式记录，需要将其转换为适合在机器学习模型中进行训练学习的笛卡尔坐标。不仅如此，由于数据库中数据的经纬度和海拔数据的数值范围不同，需要对这些数据进行标准化和归一化。并且使用剔除法对数据集中的缺失值进行处理，对于个别异常数据可进行删除或者均值填充处理。

(2)计算变异函数离散点：使用既定公式对预处理后的数据进行计算，得到若干个变异函数空间离散点。

在此过程中，使用以下公式对预处理之后数据进行计算，得到若干个变异函数空间离散点。

式中，N(h)为间隔距离为h时的样本对数；Z(x_i)和Z(x_i+h)分别为Z(x)在空间位置x_i和x_i+h上的观测值(i＝1,2,…,N(h))，i为序号；γ(h)为变异函数。

(3)构建自适应深度Q网络：确定自适应深度Q网络中网络结构，搭建智能体训练环境以及初始化Q网络。

本发明考虑到，深度强化学习模型强大的表征能力和自主学习能力可以有效地解决花费时间太多的问题。因此，为了在计算出更准确的参数的同时减少计算所需要的时间，提出了一种基于自适应深度Q网络的变异函数参数计算模型。

步骤3中使用现有模型(竞争深度Q网络模型)的思想，将Q网络中输出层分为价值函数部分和优势函数部分。然而在自适应深度Q网络中，将Q网络的价值函数部分的输出值与环境反馈的奖励值按照一定比例进行结合，形成新的总奖励值。然后根据总奖励值对Q网络进行权重更新。

a)训练环境搭建

根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境。对于变异函数单模型，由于单模型的自变量分别为基台值C₀，变程a和滞后距h，因此智能体的动作空间的维度为3。对于变异函数双球状模型，由于该模型的自变量的个数为5，因此智能体的动作空间的维度为5。环境反馈的奖励信号的计算公式为：

r＝RSS'-RSS

式中，r为环境反馈的奖励信号；RSS为将上一状态下的参数带入变差函数模型中计算得到的残差平方和，RSS’为将上一状态下的参数带入变差函数模型中计算得到的残差平方和。

b)模型搭建

常见深度Q网络模型可参见现有文献：Wang Z,Schaul T,Hessel M,etal.Dueling network architectures for deep reinforcement learning[C]//International conference on machine learning.PMLR,2016:1995-2003.

本发明提出，在现有深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络模型，可简称ADQN模型。

图2为自适应深度Q网络模型的流程图。如图2所示，Q网络中价值函数部分的状态值与环境反馈的奖励值在非线性修正单元结合，形成最终的总奖励值反馈给智能体，Q网络根据总奖励值对网络的权重进行更新，更新后的Q网络进一步指导智能体执行动作。非线性修正单元的作用是非线性调整训练步数，计算自调节因子。通过调整价值函数在总奖励中的影响间接改变智能体对奖励信号的敏感程度，从而达到快速收敛的效果。本发明提出的ADQN模型在每轮训练结束后，和状态信息和动作信息一起存储到记忆库的是环境反馈的奖励信号而并非经过非线性修正单元调整后的总奖励值。

在常见的竞争深度Q网络的训练中，奖励信号值为r，表示在状态s下，执行a动作后，环境对此行为的奖赏。竞争深度Q网络的Q值函数的计算公式为：

Q(s,a；θ,α,β)＝V(s；θ,β)+A(s,a；θ,α)

式中，s表示状态，a表示执行的动作，θ,α,β表示Q网络中不同部分神经网络的参数；V(s；θ,β)为价值函数部分，此部分仅仅与状态s有关，和将要采取的动作并无关联。A(s,a；θ,α)为优势函数部分，此部分不仅与当前状态s有关，并且与将要执行的动作a相关。

而在ADQN中，奖励信号值公式为：

R(s,a,p)＝r(s,a,p)+δV(s；θ,β)

其中：s表示当前状态，a表示采取的动作。奖励信号值为r，表示在状态s下，执行a动作后，环境对此行为的奖赏。V(s；θ,β)为Q网络的价值函数部分的输出，R(s,a,p)为总奖励值，r(s,a,p)为环境奖励值。p表示在当前状态s下，执行动作a后，环境转移到下一状态的概率。在对IDW算法(反距离插值算法)中超参数学习中，p是确定的。δ为自调节因子，它根据不同的训练阶段调整自己值的大小。通过此种方式来调整价值函数的状态值和奖励值的比例。

自调节因子δ的计算公式为：

其中：n表示当前的训练步数，n_total代表总的训练步数。此公式可以将训练步数非线性转化为一个范围为[0,1]的自调节因子。

c)模型初始化

模型中神经网络的所有神经元的权重通过随机方法进行初始化，所有随机值的期望为0，方差为1。

(4)参数估计：使用自适应深度Q网络对各种变异函数基本模型的参数进行学习和估计。

使用自适应深度Q网络分别对四种常见变异函数单模型和一种变异函数复合模型进行参数学习。四种常见变异函数单模型分别为球状模型，指数模型，高斯模型和线性模型；复合模型为双球状模型。

球状模型公式为：

式中，C₀为基台值，a为变程，h为滞后距。

指数模型公式为：

γ(h)＝C₀+C[1-exp(-h/a)]

式中，C₀为基台值，a为变程，h为滞后距。

高斯模型公式为：

γ(h)＝C₀+C[1-exp(-h²/a²)]

式中，C₀为基台值，a为变程，h为滞后距。

高斯模型公式为：

γ(h)＝C₀+h(C/a)

式中，C₀为基台值，a为变程，h为滞后距。

双球状模型公式为：

式中，c₀为基台值；c₁为小基台值，a₁为小变程；c₂为大基台值，a₂为大变程。

当使用自适应深度Q网络分别对变异函数单模型进行参数学习时，由于其参数个数和动作空间一致，可以使用同一个自适应深度Q网络进行参数学习。而由于复合模型的参数个数与单一模型的个数不一致，因此需要重新构建新的自适应深度Q网络进行参数学习。

(5)模型选择：分别将自适应深度Q网络在各种变异函数基本模型上估计的最优参数带入到各自基本模型中，计算变异函数离散点和不同基本模型的残差平方和(ResidualSum of Squares，RSS)，最后使用残差平方和最大的变异函数模型确定最终的实验变异函数。

分别将自适应深度Q网络在各种变异函数基本模型上估计的最优参数带入到各自基本模型中，计算变异函数离散点和不同基本模型的残差平方和，比较学习参数后的物种变异函数基本模型的性能并选择最终进行插值时使用的变异函数模型和参数。

(6)分析预测：将得到的实验变异函数模型以及对应的最优参数带入到既定克里金方程的公式中，得到最终的预测值。

使用以下公式构建克里金方程组并进行求解：

式中，n为采样点的个数。

插值点的预测值Z₀的计算公式为：

式中，n为采样点的个数，Z_i为第i个采样点的观测值。将由克里金方程组求解得到的

带入到预测值Z₀的计算公式中即可得到最终的预测值。

预测值可以是地理空间点坐标下的各种重金属含量，含油饱和度，渗透率等等。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种基于自适应深度Q网络的地理空间预测系统，包括以下模块，

数据准备模块，用于对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度数据、海拔数据，预处理得到经纬度数据在笛卡尔坐标系下的坐标数据；对原始的数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理；

离散点计算模块，用于计算变异函数离散点，包括对预处理后所得数据进行计算，得到若干个变异函数空间离散点；

模型构建模块，用于构建自适应深度Q网络，包括根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络，并进行初始化；

参数估计模块，用于使用自适应深度Q网络对各种变异函数模型的参数进行学习和估计；

模型选择模块，用于分别将自适应深度Q网络在各种变异函数模型上估计的最优参数带入到相应基本模型中，计算变异函数离散点和不同基本模型的残差平方和，最后使用残差平方和最大的变异函数模型确定最终的变异函数模型；

分析预测模块，用于构造克里金方程，包括将得到的变异函数模型以及对应的最优参数带入到克里金方程的公式中，得到最终的地理空间预测值。

在一些可能的实施例中，提供一种基于自适应深度Q网络的地理空间预测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于自适应深度Q网络的地理空间预测方法。

在一些可能的实施例中，提供一种基于自适应深度Q网络的地理空间预测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于自适应深度Q网络的地理空间预测方法。具体模块实现可参见上述方法相应说明。

本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于自适应深度Q网络的地理空间预测方法，其特征在于，包括以下步骤：

步骤1，数据准备，包括对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度数据、海拔数据，预处理得到经纬度数据在笛卡尔坐标系下的坐标数据；对原始的数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理；

步骤2，计算变异函数离散点，包括对预处理后所得数据进行计算，得到若干个变异函数空间离散点；

步骤3，构建自适应深度Q网络，包括根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络，并进行初始化；

步骤4，参数估计，包括使用自适应深度Q网络对各种变异函数模型的参数进行学习和估计；

步骤5，模型选择，包括分别将自适应深度Q网络在各种变异函数模型上估计的最优参数带入到各自基本模型中，计算变异函数离散点和不同基本模型的残差平方和，最后使用残差平方和最大的变异函数模型确定最终的变异函数模型；

步骤6，分析预测，包括将得到的变异函数模型以及对应的最优参数带入到克里金方程的公式中，得到最终的地理空间预测值。

2.根据权利要求1所述基于自适应深度Q网络的地理空间预测方法，其特征在于：步骤4中所述变异函数模型，包括单模型和复合模型。

3.根据权利要求1或2所述基于自适应深度Q网络的地理空间预测方法，其特征在于：步骤3中针对不同的变异函数模型搭建动作空间不同的训练环境。

4.根据权利要求1或2所述基于自适应深度Q网络的地理空间预测方法，其特征在于：步骤3中使用非线性修正单元将Q网络中价值函数部分的状态值与环境反馈的奖励值进行非线性结合；通过改变自调节因子，达到调节价值函数部分在总奖励值中的占比，从而间接改变智能体对奖励信号的敏感程度，实现模型快速收敛；同时还包括固定自调节因子，达到状态值和环境奖励值线性结合的效果，结合方式如下，

R(s,a,p)＝r(s,a,p)+δV(s；θ,β)

其中，s表示当前状态，a表示采取的动作。奖励信号值为r，表示在状态s下，执行a动作后，环境对此行为的奖赏；V(s；θ,β)为Q网络的价值函数部分的输出，R(s,a,p)为总奖励值，r(s,a,p)为环境奖励值；p表示在当前状态s下，执行动作a后，环境转移到下一状态的概率；

自调节因子δ的计算公式为，

其中，n表示当前的训练步数，n_total代表总的训练步数。

5.根据权利要求1或2所述基于自适应深度Q网络的地理空间预测方法，其特征在于：步骤4中使用自适应深度Q网络分别对四种单模型和一种复合模型进行参数学习，四种单模型分别为球状模型、指数模型、高斯模型和线性模型，复合模型为双球状模型。

6.一种基于自适应深度Q网络的地理空间预测系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于自适应深度Q网络的地理空间预测方法。

7.根据权利要求6所述基于自适应深度Q网络的地理空间预测系统，其特征在于：包括以下模块，

数据准备模块，用于对原始的数据集进行预处理，所述数据集包括地理空间数据和相应经纬度数据、海拔数据，预处理得到经纬度数据在笛卡尔坐标系下的坐标数据；对原始的数据集中的缺失值和异常值进行处理，最后进行标准化和归一化处理；

离散点计算模块，用于计算变异函数离散点，包括对预处理后所得数据进行计算，得到若干个变异函数空间离散点；

模型构建模块，用于构建自适应深度Q网络，包括根据需要学习和估计的变异函数模型的类别搭建不同的智能体训练环境，在深度Q网络模型结构基础上设置非线性修正单元，形成自适应深度Q网络，并进行初始化；

参数估计模块，用于使用自适应深度Q网络对各种变异函数模型的参数进行学习和估计；

模型选择模块，用于分别将自适应深度Q网络在各种变异函数模型上估计的最优参数带入到相应基本模型中，计算变异函数离散点和不同基本模型的残差平方和，最后使用残差平方和最大的变异函数模型确定最终的变异函数模型；

分析预测模块，用于构造克里金方程，包括将得到的变异函数模型以及对应的最优参数带入到克里金方程的公式中，得到最终的地理空间预测值。

8.根据权利要求6所述基于自适应深度Q网络的地理空间预测系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-5任一项所述的一种基于自适应深度Q网络的地理空间预测方法。

9.根据权利要求6所述基于自适应深度Q网络的地理空间预测系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种基于自适应深度Q网络的地理空间预测方法。

Images