CN113866391B - 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 - Google Patents
深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 Download PDFInfo
- Publication number
- CN113866391B CN113866391B CN202111152908.0A CN202111152908A CN113866391B CN 113866391 B CN113866391 B CN 113866391B CN 202111152908 A CN202111152908 A CN 202111152908A CN 113866391 B CN113866391 B CN 113866391B
- Authority
- CN
- China
- Prior art keywords
- prediction
- factors
- deep learning
- learning model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims abstract description 67
- 238000013136 deep learning model Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 58
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 12
- 229920006395 saturated elastomer Polymers 0.000 claims description 11
- 230000005855 radiation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000008020 evaporation Effects 0.000 claims description 4
- 238000001704 evaporation Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/24—Earth materials
- G01N33/246—Earth materials for water content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种深度学习模型预测因素解释方法及其在土壤含水量预测中的应用。步骤1：对不同预测因素以及目标结果的时间序列数据进行标准化处理；步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化；步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的深度学习模型的输出结果的贡献度；步骤4：根据步骤三计算出来的各预测因素的贡献度大小，确定深度学习模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种深度学习模型预测因素解释方法及其在土壤含水量预测中的应用。
背景技术
深度学习(Deep Learning)是机器学习(Machine Learning)领域中一个新的研究方向，其通过学习样本数据的内在规律和表示层次，获得的信息对数据进行内部解释，从而让计算机能够像人类一样具有学习、分析与识别等能力。其中，以多层感知机(MLP)、卷积神经网络(CNN)模型最为经典。2010年前后，计算机硬件与计算性能，乃至大数据与互联网+等技术的日益成熟，使得深度学习发展一日千里。目前深度学习模型与框架已经扩展到图像处理、自然语言处理等多个领域，取得了优异的结果。
深度学习模型大多数具有模型复杂度高、参数多、透明性低的不足，其分析与决策过程的原理如同“黑箱”难以被获得。当下很多应用领域在得到优异分析结果的同时，希望获取模型内在的变化机制。而深度学习模型是通过输入变量直接映射输出结果，这种操作方式无法满足不同领域对内在分析的需求。
发明内容
本发明的目的在于克服现有技术的不足，提供一种深度学习模型预测因素解释方法及其在土壤含水量预测中的应用。
本发明是通过以下技术方案实现的：
一种深度学习模型预测因素解释方法，包括以下步骤：
步骤1：对不同预测因素以及目标结果的时间序列数据进行标准化处理；
步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化；
步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的深度学习模型的输出结果的贡献度；
步骤4：根据步骤三计算出来的各预测因素的贡献度大小，确定深度学习模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。
在上述技术方案中，步骤3中，各预测因素的贡献度采用Shapley值方法进行分析，Shapley值是根据预测因素集合S中每个玩家的值函数val定义的，每个预测因素的Shapley值是其对输出结果的贡献，对所有可能的预测因素组合进行加权求和：
其中，S是应用于所述深度学习模型中的预测因素集合，x是要解释的当前实例的预测因素组成的向量，p是LSTM模型中的预测因素数量，valx(S)是对预测因素集合S中的各预测因素值的预测结果，这些因素从预测因素集合S中未包含的因素边缘化得到：
对预测因素集合S中未包含的每个因素执行多重集成，是集合X中所有预测因素组成的向量的平均预测值；
为了计算准确的Shapley值，引入蒙特卡洛近似抽样方法，根据需要计算的因素，选择感兴趣的实例1：x0＝(x(1)，…，x(j)，…，x(p))；然后依据不同预测因素的数据矩阵，随机选择实例2：z0＝(z(1)，…，z(j)，…，z(p))；根据实例1和实例2在不同位置的预测因素数值，构建两个新的实例：x+j＝(x(1)，…，x(j-1)，x(j)，z(j+1)，…，z(p))和x-j＝(x(1)，…，x(j-1)，z(j)，z(j+1))，…，z(p))；根据两个新实例，计算它们在深度学习模型f中的差异平均值，作为当前预测因素的Shapley值，公式如下所示：
式中，是当前实例x在预测因素组成向量上的预测数值，随机个数的预测因素被随机选择的实例z在对应因素位置上的数值替换，j本身的因素值除外。/>和/>之间的差异很小，并且/>也同样选择于实例z。
在上述技术方案中，步骤4中，将不同预测因素按照其Shapley值的贡献度大小，由大至小顺序排列，保留排名前N位的预测因素数据，然后对保留的预测因素数据进行标准化处理，输入深度学习模型中进行训练，得到新的深度学习模型。
在上述技术方案中，深度学习模型采用LSTM模型。
上述深度学习模型预测因素解释方法应用于土壤含水量预测，包括以下步骤：
步骤1：将和土壤含水量相关的天气因素作为预测因素，对和土壤含水量相关的天气因素的预测因素以及土壤含水量的目标结果的时间序列数据进行处理；
步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化；
步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的深度学习模型的土壤含水量输出结果的贡献度；
步骤4：根据步骤三计算出来的各预测因素的贡献度大小，确定深度学习模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。
在上述技术方案中，和土壤含水量相关的天气因素包括：最大温度、最小温度、平均温度、最大相对湿度、最小相对湿度、蒸汽压差、太阳总辐射、2米的平均风速、长波辐射、短波辐射、实际蒸气压、饱和蒸气压、最大温度饱和水气压、最小温度饱和水气压、蒸气压曲线的斜率、降雨量和蒸发量。
在上述技术方案中，预测因素以及土壤水含量数据分为训练数据、验证数据以及预测数据三部分，比例为7：1：2；训练数据和验证数据用于训练得到满足一定准确度的LSTM深度学习模型，预测数据用于输入到得到的LSTM深度学习模型中预测土壤含水量的动态变化。
本发明的优点和有益效果为：
本发明能够根据不同预测因素，通过深度学习LSTM时间序列模型，实现对结果变量动态变化的准确分析与预测；同时，利用不同预测因素的Shapley值，在深度学习模型基础上，实现不同情形下的预测因素重要性解释，从而打破传统深度学习模型黑箱处理的方式，使研究者了解模型的内部机制，从而推动相关领域发展。另外，该模型在土壤水含量中的应用，使得研究人员清楚不同情形下的土壤水含量与预测因素的变化机制，以实现该领域科学有效的管理。
附图说明
图1是深度学习模型预测因素解释方法的整体流程图。
图2是将深度学习模型预测因素解释方法用于土壤含水量预测实例的整体流程图。
图3.1是草本植被区域在浅层区域处的土壤含水量训练与预测结果。
图3.2是草本植被区域在深层区域处的土壤含水量训练与预测结果。
图4.1是草本植被在浅层区域处土壤含水量预测因素重要性的分析结果。
图4.2是草本植被在浅层区域处不同预测因素的数值点对土壤含水量影响程度的分布结果。
图5.1是利用排名前4的预测因素，预测的土壤含水量在浅层区域处的动态变化。
图5.2是利用排名前4的预测因素，预测的土壤含水量在深层区域处的动态变化。
对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。
实施例一
一种深度学习模型预测因素解释方法，包括以下步骤：
步骤1：对不同预测因素以及目标结果的时间序列数据进行标准化处理。
不同因素以及目标结果数据的单位不尽相同，直接将其放入深度学习模型中进行学习与训练，极易由于数值差距过大，造成模型的不精准。因此，所有因素以及结果数据首先进行了标准化处理，随后将变换后的数据输入模型，保证不同因素对模型贡献的公平性。
假设原始预测因素的时间序列数据为P，处理后的数据序列为Q，则有：Q＝[P-mean(P)]/std(P)。其中，mean(P)和std(P)分别为时间序列数据P的均值和标准差。
步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化。
本实施例中，深度学习模型采用了三层LSTM模型(长短期记忆神经网络模型)，每层神经元128个，优化函数选择为Adam，共进行100步的迭代。
长短期记忆神经网络模型LSTM的记忆单元主要拥有三个门，分别是遗忘门、输入门和输出门，可以很好解决梯度爆炸和梯度消失问题，通过选择记忆当前信息或遗忘过去记忆信息，增强网络的长期记忆能力。
1.遗忘门：LSTM中的第一步是决定我们会从细胞状态中丢弃什么信息，这个决定由遗忘门完成。遗忘门会读取前一时刻的输出ht-1和当前输入xt，输出一个0到1之间的数值ft作为前一时刻状态Ct-1保留的权重，ft＝σ(Wf·[ht-1，xt]+bf)，其中，σ表示sigmoid激活函数(因为sigmoid的输出是在0到1之间，所以它能衡量到底有多少的数据要从从细胞状态忘记，1就代表让所有的信息记住，0就代表全部忘记)，Wf和bf分别为遗忘门的权值与偏置。
2.输入门：输入门是决定让多少新的信息加入到细胞状态中。实现这个需要包括两个步骤：
第一步：通过sigmoid层it决定哪些信息需要更新；
第二步：通过tanh层生成一个信息向量，也就是被选的用来更新的内容
it＝σ(Wi·[ht-1，xt]+bi)
其中，Wi和bi分别为输入门的权值与偏置，Wc和bc分别为当前细胞状态的权值与偏置。
然后，更新细胞状态，即将前一时刻的状态Ct-1乘以ft(也就是遗忘门)，进而计算得出来多少以前的数据要留下来，然后加上新的多少的数据要记住，即
3.输出门：该部分决定了当前细胞的最终输出状态，实现这个需要包括两个步骤：
第一步：首先用sigmoid层来决定有多少的信息我们将输出，即输出门会读取前一时刻的输出ht-1和当前输入xt，利用sigmoid层输出一个0到1之间的数值Ot作为当前状态Ct保留的权重。
第二步：然后把细胞当前状态Ct通过tanh层进行处理得到一个在-1到1之间的值(目的是将值压缩到-1到1之间)并将该值和sigmoid层的输出Ot相乘，最终得到细胞的最终输出ht。
ot＝σ(Wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo和bo分别为输出门的权值与偏置。由此，根据上述LSTM模型，即可通过不同预测因素数据对输出结果进行分析预测。
步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的LSTM模型的输出结果的贡献度。
3.1Shapley值的定义
各预测因素的贡献度采用Shapley值方法进行分析，Shapley值是根据预测因素集合S中每个玩家的值函数val定义的，每个预测因素的Shapley值是其对输出结果的贡献。对所有可能的预测因素组合进行加权求和：
其中，S是应用于上述LSTM模型中的预测因素集合，x是要解释的当前实例的预测因素组成的向量，p是LSTM模型中的预测因素数量，ualx(S)是对预测因素集合S中的各预测因素值的预测结果，这些因素从预测因素集合S中未包含的因素边缘化得到：
对预测因素集合S中未包含的每个因素执行多重集成，是集合X中所有预测因素组成的向量的平均预测值。
3.2 Shapley值的近似采样计算方法
为了计算准确的Shapley值，必须估计所有可能的预测因素组合，含有和不含有第j个因素。可能的组合数量呈指数增长，当添加更多因素时，此问题的准确解决方案将成为一个问题。因此，本发明中引入了蒙特卡洛近似抽样方法，根据需要计算的因素，选择感兴趣的实例1：x0＝(x(1)，…，x(j)，…，x(p))；然后依据不同预测因素的数据矩阵，随机选择实例2：z0＝(z(1)，…，z(j)，…，z(p))；根据实例1和实例2在不同位置的预测因素数值，构建两个新的实例：x+j＝(x(1)，…，x(j-1)，x(j)，z(j+1)，…，z(p))和x-j＝(x(1)，…，x(j-1)，z(j)，z(j+1)，…，z(p))；根据两个新实例，计算它们在深度学习模型f中的差异平均值，作为当前预测因素的Shapley值。公式如下所示：
式中，是当前实例x在预测因素组成向量上的预测数值，随机个数的预测因素被随机选择的实例z在对应因素位置上的数值替换，j本身的因素值除外。/>和/>之间的差异很小，并且/>也同样选择于实例z。
步骤4：分析并获得关键影响因素，精简模型提升预测精度。
根据步骤三计算出来的各预测因素的Shapley值(即贡献度)大小，确定LSTM模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。具体步骤为：将不同预测因素按照其Shapley值的贡献度大小，由大至小顺序排列，保留排名前N位的预测因素数据(N的大小由用户进行设定)，然后对保留的预测因素数据进行标准化处理，输入LSTM模型中，对目标结果进行学习、训练与预测。在精简数据、改进模型训练效率的基础上，维持乃至提升目标结果的预测精度。
实施例二
在实施例一的基础上，本实施例将上述深度学习模型预测因素解释方法应用于土壤含水量预测，包括以下步骤：
步骤1：将和土壤含水量相关的天气因素作为预测因素，对和土壤含水量相关的天气因素的预测因素以及土壤含水量的目标结果的时间序列数据进行处理。
不同预测因素以及目标结果数据的单位不尽相同，直接将其放入深度学习模型中进行学习与训练，极易由于数值差距过大，造成模型的不精准。为保证不同预测因素对模型贡献的公平性，对所有预测因素数据都进行标准化处理，随后将变换后的数据输入模型。
假设原始预测因素的时间序列数据为P，处理后的数据序列为Q，则有：Q＝[P-mean(P)]/std(P)。其中，mean(P)和std(P)分别为时间序列数据P的均值和标准差。
本实施中，和土壤含水量相关的天气因素(即预测因素)包括：最大温度(TMAX)、最小温度(TMIN)、平均温度(TAVG)、最大相对湿度(HMAX)、最小相对湿度(HMIN)、蒸汽压差(VDEF)、太阳总辐射(ATOT)、2米的平均风速(2AVG)、长波辐射(Rnl)、短波辐射(Rns)、实际蒸气压(Ea)、饱和蒸气压(Es)、最大温度饱和水气压(E0MAX)、最小温度饱和水气压(E0MIN)、蒸气压曲线的斜率(Delta)、降雨(Rain)和蒸发(ET)等17个预测因素。
步骤2：应用上述标准化处理后的预测因素以及土壤含水量的目标结果数据训练得到LSTM深度学习模型，用于预测土壤含水量的动态变化。
本实例中，利用仪器分别监测了不同植被下深度为5cm，20cm，45cm和80cm处的土壤含水量，将LSTM深度学习模型应用于不同深度的土壤含水量分析与预测中，全部预测因素以及土壤水含量数据分为训练数据、验证数据以及预测数据三部分，比例为7∶1∶2。训练数据和验证数据用于训练得到满足一定准确度的LSTM深度学习模型，预测数据用于输入到得到的LSTM深度学习模型中预测土壤含水量的动态变化。
本实例中，深度学习模型采用了三层LSTM网络结构，每层神经元128个，优化函数选择为Adam，共进行100步的迭代。
长短期记忆神经网络模型LSTM的记忆单元主要拥有三个门，分别是遗忘门、输入门和输出门，可以很好解决梯度爆炸和梯度消失问题，通过选择记忆当前信息或遗忘过去记忆信息，增强网络的长期记忆能力。
1.遗忘门：LSTM中的第一步是决定我们会从细胞状态中丢弃什么信息，这个决定由遗忘门完成。遗忘门会读取前一时刻的输出ht-1和当前输入的预测因素xt，输出一个0到1之间的数值ft作为前一时刻状态Ct-1保留的权重，ft＝σ(Wf·[ht-1，xt]+bf)，其中，σ表示sigmoid激活函数(因为sigmoid的输出是在0到1之间，所以它能衡量到底有多少的数据要从从细胞状态忘记，1就代表让所有的信息记住，0就代表全部忘记)，Wf和bf分别为遗忘门的权值与偏置。
2.输入门：输入门是决定让多少新的信息加入到细胞状态中。实现这个需要包括两个步骤：
第一步：通过sigmoid层it决定哪些信息需要更新；
第二步：通过tanh层生成一个信息向量，也就是被选的用来更新的内容
it＝σ(Wi·[ht-1，xt]+bi)
其中，Wi和bi分别为输入门的权值与偏置，Wc和bc分别为当前细胞状态的权值与偏置。
然后，更新细胞状态，即将前一时刻的状态Ct-1乘以ft(也就是遗忘门)，进而计算得出来多少以前的数据要留下来，然后加上新的多少的数据要记住，即
3.输出门：该部分决定了当前细胞的最终输出状态，实现这个需要包括两个步骤：
第一步：首先用sigmoid层来决定有多少的信息我们将输出，即输出门会读取前一时刻的输出ht-1和当前输入的预测因素xt，利用sigmoid层输出一个0到1之间的数值Ot作为当前状态Ct保留的权重。
第二步：然后把细胞当前状态Ct通过tanh层进行处理得到一个在-1到1之间的值(目的是将值压缩到-1到1之间)并将该值和sigmoid层的输出Ot相乘，最终得到细胞的最终输出ht。
ot＝σ(Wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，Wo和bo分别为输出门的权值与偏置。由此，根据上述LSTM模型，即可通过不同天气因素以及土壤含水量数据对目标土壤含水量进行分析预测。
图3.1和3.2所示为草本植被区域在浅层和深层区域处的土壤含水量预测结果，其中实线为观测数据，虚线为训练得到的结果，点划线为预测得到的结果。由图可见，LSTM模型能够比较准确地拟合土壤含水量的动态变化，均方根误差在0.025左右。
步骤3：采用Shapley值方法，计算上述不同预测因素对于构建的LSTM模型中目标土壤含水量预测结果的贡献程度。
3.1模型预测因素Shapley值的定义
不预测因素的贡献度采用Shapley值方法进行分析，Shapley值是根据预测因素集合S中每个玩家的值函数val定义的，每个预测因素的Shapley值是其对目标土壤含水量的贡献。对所有可能的预测因素与土壤含水量预测因素组合进行加权求和：
其中，S是应用于上述LSTM模型中的预测因素集合，x是要解释的当前实例的预测因素组成的向量，p是LSTM模型中的预测因素数量，valx(S)是对预测因素集合S中的各预测因素值的预测结果，这些因素从预测因素集合S中未包含的因素边缘化得到：
对预测因素集合S中未包含的每个因素执行多重集成，是集合X中所有预测因素组成的向量的平均预测值。
3.2 Shapley值的近似采样计算方法
为了计算准确的Shapley值，必须估计所有可能的预测因素组合，含有和不含有第j个因素。可能的组合数量呈指数增长，当添加更多因素时，此问题的准确解决方案将成为一个问题。因此，本发明中引入了蒙特卡洛近似抽样方法，根据需要计算的预测因素，选择感兴趣的实例1：x0＝(x(1)，…，x(j)，…，x(p))；然后依据不同预测因素的数据矩阵，随机选择实例2：z0＝(z(1)，…，z(j)，…，z(p))；根据实例1和实例2在不同位置的预测因素数值，构建两个新的实例：x+j＝(x(1)，…，x(j-1)，x(j)，z(j+1)，…，z(p))和x-j＝(x(1)，…，x(j-1)，z(j)，z(j+1)，…，z(p))；根据两个新实例，计算它们在深度学习模型f中的差异平均值，作为当前预测因素的Shapley值。公式如下所示：
式中，是当前实例x在预测因素组成向量上的预测数值，随机个数的预测因素被随机选择的实例z在对应因素位置上的数值替换，j本身的因素值除外。/>和/>之间的差异很小，并且/>也同样选择于实例z。
本实例基于Shapley值的定义与近似计算方法，研究了各种预测因素在不同植被以及不同深度下对目标土壤含水量的贡献程度，用以分析不同情形下的目标土壤含水量关键因素，从而解决深度学习从输入数据直接到结果输出的黑箱操作，提高了整个深度学习模型的可解释性。图4.1和图4.2所示分别为草本植被在浅层区域处土壤含水量的重要性以及不同预测因素的数值点对土壤含水量影响程度的分布结果。。由图可见，降雨(Rain)、最小相对湿度(HMIN)、最大温度饱和水气压(EOMAX)以及最大相对湿度(HMAX)是浅层区域土壤含水量最为重要的影响因素，其对目标土壤含水量贡献度更高。
步骤4：根据步骤三计算出来的各预测因素的Shapley值(即贡献度)大小，精简预测因素数据，提升深度学习LSTM模型对目标土壤含水量的预测精度。
根据步骤三计算出来的各预测因素的Shapley值(即贡献度)大小，确定LSTM模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。在改善深度学习LSTM模型训练效率的基础上，进一步提升土壤含水量的预测精度。具体步骤为：将不同预测因素按照其Shapley值的贡献度大小，由大至小顺序排列，保留排名前N位的预测因素数据(N的大小由用户进行设定)，然后对保留的预测因素数据进行标准化处理，输入LSTM模型中，对目标结果进行学习、训练与预测。在精简各天气因素以及土壤含水量数据、改进模型训练效率的基础上，维持乃至提升目标土壤含水量的预测精度。
其中，降雨(Rain)、最小相对湿度(HMIN)、最大温度饱和水气压(E0MAX)以及最大相对湿度(HMAX)是浅层区域土壤含水量排名前4的影响因素；降雨(Rain)、深度5cm的土壤含水量、深度20cm的土壤含水量以及深度45cm的土壤含水量是深层区域(80cm)土壤含水量排名前4的影响因素。图5.1和5.2所示为分别利用排名前4的预测因素，预测的土壤含水量在浅层和深层区域处的动态变化。由图可见，重要因素构建的模型能够准确地模拟土壤含水量的变化，均方根误差控制在0.028左右，基本等同于全部预测因素得到的预测效果。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。
Claims (6)
1.一种深度学习模型预测因素解释方法，其特征在于，包括以下步骤：
步骤1：对不同预测因素以及目标结果的时间序列数据进行标准化处理；
步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化；
步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的深度学习模型的输出结果的贡献度；Shapley值是根据预测因素集合S中每个玩家的值函数val定义的，每个预测因素的Shapley值是其对输出结果的贡献，对所有可能的预测因素组合进行加权求和：
其中，S是应用于所述深度学习模型中的预测因素集合，x是要解释的当前实例的预测因素组成的向量，p是LSTM模型中的预测因素数量，valx(S)是对预测因素集合S中的各预测因素值的预测结果，这些因素从预测因素集合S中未包含的因素边缘化得到：
对预测因素集合S中未包含的每个因素执行多重集成，是集合X中所有预测因素组成的向量的平均预测值；
为了计算准确的Shapley值，引入蒙特卡洛近似抽样方法，根据需要计算的因素，选择感兴趣的实例1：x0＝(x(1),…,x(j),…,x(p))；然后依据不同预测因素的数据矩阵，随机选择实例2：z0＝(z(1),…,z(j),…,z(p))；根据实例1和实例2在不同位置的预测因素数值，构建两个新的实例：x+j＝(x(1),…,x(j-1),x(j),z(j+1),…,z(p))和x-j＝(x(1),…,x(j-1),z(j),z(j+1),…,z(p))；根据两个新实例，计算它们在深度学习模型f中的差异平均值，作为当前预测因素的Shapley值，公式如下所示：
式中，是当前实例x在预测因素组成向量上的预测数值，随机个数的预测因素被随机选择的实例z在对应因素位置上的数值替换，j本身的因素值除外，/>和/>之间的差异很小，并且/>也同样选择于实例z；
步骤4：根据步骤三计算出来的各预测因素的贡献度大小，确定深度学习模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。
2.根据权利要求1所述的深度学习模型预测因素解释方法，其特征在于：步骤4中，将不同预测因素按照其Shapley值的贡献度大小，由大至小顺序排列，保留排名前N位的预测因素数据，然后对保留的预测因素数据进行标准化处理，输入深度学习模型中进行训练，得到新的深度学习模型。
3.根据权利要求1所述的深度学习模型预测因素解释方法，其特征在于：步骤2中，深度学习模型采用LSTM模型。
4.权利要求1-3之一所述的深度学习模型预测因素解释方法在土壤含水量预测中的应用，其特征在于，包括以下步骤：
步骤1：将和土壤含水量相关的天气因素作为预测因素，对和土壤含水量相关的天气因素的预测因素以及土壤含水量的目标结果的时间序列数据进行处理；
步骤2：基于步骤1中标准化处理后的预测因素以及目标结果数据训练得到深度学习模型，用于预测输出结果的动态变化；
步骤3：采用Shapley值方法，计算不同预测因素对于上述构建的深度学习模型的土壤含水量输出结果的贡献度；
步骤4：根据步骤三计算出来的各预测因素的贡献度大小，确定深度学习模型中重要的预测因素，去除不重要的影响因素，对不同预测因素数据进行精简。
5.根据权利要求4所述的深度学习模型预测因素解释方法在土壤含水量预测中的应用，其特征在于：和土壤含水量相关的天气因素包括：最大温度、最小温度、平均温度、最大相对湿度、最小相对湿度、蒸汽压差、太阳总辐射、2米的平均风速、长波辐射、短波辐射、实际蒸气压、饱和蒸气压、最大温度饱和水气压、最小温度饱和水气压、蒸气压曲线的斜率、降雨量和蒸发量。
6.根据权利要求4所述的深度学习模型预测因素解释方法在土壤含水量预测中的应用，其特征在于：预测因素以及土壤水含量数据分为训练数据、验证数据以及预测数据三部分，比例为7：1：2；训练数据和验证数据用于训练得到满足一定准确度的深度学习模型，预测数据用于输入到得到的深度学习模型中预测土壤含水量的动态变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152908.0A CN113866391B (zh) | 2021-09-29 | 2021-09-29 | 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152908.0A CN113866391B (zh) | 2021-09-29 | 2021-09-29 | 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113866391A CN113866391A (zh) | 2021-12-31 |
| CN113866391B true CN113866391B (zh) | 2024-03-08 |
Family
ID=79000606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111152908.0A Active CN113866391B (zh) | 2021-09-29 | 2021-09-29 | 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113866391B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307742B (zh) * | 2023-05-19 | 2023-08-22 | 平安科技（深圳）有限公司 | 一种细分客群的风险识别方法、装置、设备及存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08314892A (ja) * | 1995-05-18 | 1996-11-29 | Hitachi Ltd | 計量経済モデルにニューラルネットを適用した金利予測システム |
| WO2004061548A2 (en) * | 2003-01-07 | 2004-07-22 | Ramot At Tel Aviv University Ltd. | Identification of effective elements in complex systems |
| CN106952161A (zh) * | 2017-03-31 | 2017-07-14 | 洪志令 | 一种基于长短期记忆深度学习网络的股票近期走势预测方法 |
| CN109374860A (zh) * | 2018-11-13 | 2019-02-22 | 西北大学 | 一种基于机器学习算法的土壤养分预测及综合评价方法 |
| CN109492760A (zh) * | 2018-12-21 | 2019-03-19 | 北京航空航天大学 | 基于深度模糊认知图模型的可解释预测方法 |
| CN109670629A (zh) * | 2018-11-16 | 2019-04-23 | 浙江蓝卓工业互联网信息技术有限公司 | 基于长短期记忆神经网络的燃煤锅炉热效率预测方法 |
| CN109993281A (zh) * | 2019-03-28 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的因果关系挖掘方法 |
| CN110309968A (zh) * | 2019-06-28 | 2019-10-08 | 万帮充电设备有限公司 | 一种基于桩群预测充电量的动态定价系统及方法 |
| CN111242210A (zh) * | 2020-01-09 | 2020-06-05 | 南京工程学院 | 基于改进Shapley值模型的短期负荷预测方法 |
| CN111307643A (zh) * | 2019-04-04 | 2020-06-19 | 西北大学 | 一种基于机器学习算法的土壤水分预测方法 |
| CN111563706A (zh) * | 2020-03-05 | 2020-08-21 | 河海大学 | 一种基于lstm网络的多变量物流货运量预测方法 |
| CN112085595A (zh) * | 2020-09-27 | 2020-12-15 | 中国建设银行股份有限公司 | 信用评分模型的监控方法及装置 |
| CN112215421A (zh) * | 2020-10-13 | 2021-01-12 | 北京工业大学 | 一种基于生成对抗网络的深度学习水质指标预测方法 |
| CN112508442A (zh) * | 2020-12-18 | 2021-03-16 | 湖南大学 | 基于自动化和可解释机器学习的暂态稳定评估方法及系统 |
| CN112734106A (zh) * | 2021-01-08 | 2021-04-30 | 深圳市国电科技通信有限公司 | 用于预测能源负荷的方法及装置 |
| CN112990598A (zh) * | 2021-03-31 | 2021-06-18 | 浙江禹贡信息科技有限公司 | 一种水库水位时间序列预测方法与系统 |
| CN113128544A (zh) * | 2020-01-15 | 2021-07-16 | 富士通株式会社 | 训练人工智能模型的方法和装置 |
| CN113159826A (zh) * | 2020-12-28 | 2021-07-23 | 武汉纺织大学 | 基于深度学习的服装流行元素预测的系统及方法 |
| CN113159450A (zh) * | 2021-05-13 | 2021-07-23 | 北京理工大学 | 一种基于结构化数据的预测系统 |
| WO2021175492A1 (en) * | 2020-03-03 | 2021-09-10 | Linde Gmbh | A method of evaluating operation of at least one vehicle |
-
2021
- 2021-09-29 CN CN202111152908.0A patent/CN113866391B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08314892A (ja) * | 1995-05-18 | 1996-11-29 | Hitachi Ltd | 計量経済モデルにニューラルネットを適用した金利予測システム |
| WO2004061548A2 (en) * | 2003-01-07 | 2004-07-22 | Ramot At Tel Aviv University Ltd. | Identification of effective elements in complex systems |
| CN106952161A (zh) * | 2017-03-31 | 2017-07-14 | 洪志令 | 一种基于长短期记忆深度学习网络的股票近期走势预测方法 |
| CN109374860A (zh) * | 2018-11-13 | 2019-02-22 | 西北大学 | 一种基于机器学习算法的土壤养分预测及综合评价方法 |
| CN109670629A (zh) * | 2018-11-16 | 2019-04-23 | 浙江蓝卓工业互联网信息技术有限公司 | 基于长短期记忆神经网络的燃煤锅炉热效率预测方法 |
| CN109492760A (zh) * | 2018-12-21 | 2019-03-19 | 北京航空航天大学 | 基于深度模糊认知图模型的可解释预测方法 |
| CN109993281A (zh) * | 2019-03-28 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的因果关系挖掘方法 |
| CN111307643A (zh) * | 2019-04-04 | 2020-06-19 | 西北大学 | 一种基于机器学习算法的土壤水分预测方法 |
| CN110309968A (zh) * | 2019-06-28 | 2019-10-08 | 万帮充电设备有限公司 | 一种基于桩群预测充电量的动态定价系统及方法 |
| CN111242210A (zh) * | 2020-01-09 | 2020-06-05 | 南京工程学院 | 基于改进Shapley值模型的短期负荷预测方法 |
| CN113128544A (zh) * | 2020-01-15 | 2021-07-16 | 富士通株式会社 | 训练人工智能模型的方法和装置 |
| WO2021175492A1 (en) * | 2020-03-03 | 2021-09-10 | Linde Gmbh | A method of evaluating operation of at least one vehicle |
| CN111563706A (zh) * | 2020-03-05 | 2020-08-21 | 河海大学 | 一种基于lstm网络的多变量物流货运量预测方法 |
| CN112085595A (zh) * | 2020-09-27 | 2020-12-15 | 中国建设银行股份有限公司 | 信用评分模型的监控方法及装置 |
| CN112215421A (zh) * | 2020-10-13 | 2021-01-12 | 北京工业大学 | 一种基于生成对抗网络的深度学习水质指标预测方法 |
| CN112508442A (zh) * | 2020-12-18 | 2021-03-16 | 湖南大学 | 基于自动化和可解释机器学习的暂态稳定评估方法及系统 |
| CN113159826A (zh) * | 2020-12-28 | 2021-07-23 | 武汉纺织大学 | 基于深度学习的服装流行元素预测的系统及方法 |
| CN112734106A (zh) * | 2021-01-08 | 2021-04-30 | 深圳市国电科技通信有限公司 | 用于预测能源负荷的方法及装置 |
| CN112990598A (zh) * | 2021-03-31 | 2021-06-18 | 浙江禹贡信息科技有限公司 | 一种水库水位时间序列预测方法与系统 |
| CN113159450A (zh) * | 2021-05-13 | 2021-07-23 | 北京理工大学 | 一种基于结构化数据的预测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113866391A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816095B (zh) | 基于改进门控循环神经网络的网络流量预测方法 | |
| Krasnopolsky et al. | Complex hybrid models combining deterministic and machine learning components for numerical climate modeling and weather prediction | |
| CN110648014B (zh) | 一种基于时空分位数回归的区域风电预测方法及系统 | |
| Luo et al. | A new kernel extreme learning machine framework for somatization disorder diagnosis | |
| CN112434848B (zh) | 基于深度信念网络的非线性加权组合风电功率预测方法 | |
| CN114219139B (zh) | 基于注意力机制的dwt-lstm电力负荷预测方法 | |
| CN110633846A (zh) | 燃气负荷预测方法和装置 | |
| Wang et al. | Enhancing robustness of monthly streamflow forecasting model using embedded-feature selection algorithm based on improved gray wolf optimizer | |
| CN116644970A (zh) | 一种基于vmd分解和叠层深度学习的光伏功率预测方法 | |
| CN114912673A (zh) | 一种基于鲸鱼优化算法和长短时记忆网络的水位预测方法 | |
| CN114580545A (zh) | 一种基于融合模型的风电机组齿轮箱故障预警方法 | |
| CN113866391B (zh) | 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 | |
| CN114492922A (zh) | 一种中长期发电量预测方法 | |
| Chen et al. | The optimal design and application of LSTM neural network based on the hybrid coding PSO algorithm | |
| CN113988263A (zh) | 工业物联网边缘设备中基于知识蒸馏的空时预测方法 | |
| Fu et al. | A building energy consumption prediction method based on integration of a deep neural network and transfer reinforcement learning | |
| CN114429077A (zh) | 一种基于量子游走的时间序列多尺度分析方法 | |
| CN115456245A (zh) | 一种感潮河网区溶解氧预测方法 | |
| Yu et al. | DWE-IL: a new incremental learning algorithm for non-stationary time series prediction via dynamically weighting ensemble learning | |
| CN115759461A (zh) | 一种面向物联网的多元时间序列预测方法及系统 | |
| Orang et al. | Randomized high order fuzzy cognitive maps as reservoir computing models: A first introduction and applications | |
| Wang et al. | Mutual information-weighted principle components identified from the depth features of stacked autoencoders and original variables for oil dry point soft sensor | |
| Vijayaprabakaran et al. | Neuroevolution based hierarchical activation function for long short-term model network | |
| Wang et al. | Broad learning system with Takagi–Sugeno fuzzy subsystem for tobacco origin identification based on near infrared spectroscopy | |
| CN115545159A (zh) | 一种深度神经网络的平均海表面温度预报方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |