CN110999766A

CN110999766A - 灌溉决策方法、装置、计算机设备和存储介质

Info

Publication number: CN110999766A
Application number: CN201911247566.3A
Authority: CN
Inventors: 周妮; 米贤武; 石洋铭; 肖义霖; 胡盼盼
Original assignee: Huaihua University
Current assignee: Huaihua University
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2020-04-14

Abstract

本申请涉及一种灌溉决策方法、装置、计算机设备和存储介质。该方法包括：获取目标灌溉区域的环境变量测量值，从而确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度；根据目标叶片水势、目标叶片气孔导度以及目标土壤湿度，确定强化学习奖励函数和目标奖励值；基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略；获取执行初始化灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得初始化灌溉策略的奖励值；根据奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型；根据强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。本申请能够提高灌溉信息的利用率。

Description

灌溉决策方法、装置、计算机设备和存储介质

技术领域

本申请涉及农业灌溉领域，特别是涉及一种灌溉决策方法、装置、计算机设备和存储介质。

背景技术

随着灌溉技术的发展，灌溉决策的精度在不断提高，需要的数据参数也随之增多，诸如历史积累数据、田间实测信息(土壤水分信息、作物生理指标、作物形态指标等信息)、天气预报信息、作物需水量信息、来源于不同尺度和不同区域的农业遥感信息，与地理位置有关的三维空间数据，以及专家经验等信息。由于每种传感器(如湿度、温度、水分、茎流等)都有各自的特点，通常一种传感器只能从某一方面或在某一范围内反映作物水分适宜程度，获得的仅是局部或片面的信息，同时，由于受人为操作、外界干扰和噪声等的影响，若单独以某个传感器所提供的信息或者专家的经验进行灌溉决策，可能造成灌溉信息的浪费，降低了灌溉信息的利用率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高灌溉信息的利用率的灌溉决策方法、装置、计算机设备和存储介质。

一种灌溉决策方法，所述方法包括：

获取目标灌溉区域的环境变量测量值；

根据所述环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度；

根据所述目标叶片水势、所述目标叶片气孔导度以及所述目标土壤湿度，确定强化学习奖励函数和目标奖励值；

基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略；

获取执行所述初始化灌溉策略的灌溉结果，根据所述强化学习奖励函数，对所述灌溉结果进行评估，获得所述初始化灌溉策略的奖励值；

根据所述奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型；

根据所述强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。

一种灌溉决策装置，所述装置包括：

环境变量确定模块，用于获取目标灌溉区域的环境变量测量值；根据所述环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度；

奖励函数确定模块，用于根据所述目标叶片水势、所述目标叶片气孔导度以及所述目标土壤湿度，确定强化学习奖励函数和目标奖励值；

初始化灌溉策略模块，用于基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略；获取执行所述初始化灌溉策略的灌溉结果，根据所述强化学习奖励函数，对所述灌溉结果进行评估，获得所述初始化灌溉策略的奖励值；

强化学习训练模块，用于根据所述奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型；

灌溉策略确定模块，用于根据所述强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标灌溉区域的环境变量测量值；

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标灌溉区域的环境变量测量值；

上述灌溉决策方法、装置、计算机设备和存储介质，通过获取到的多个环境变量的测量值，确定其中三个环境变量的最优值，从而确定强化学习奖励函数，同时基于改进粒子群优化算法得到初始化灌溉策略，利用初始化灌溉策略执行灌溉，评估灌溉结果得到奖励值，根据奖励值训练并存储最优的强化学习模型，该方法利用改进粒子群优化算法对强化学习模型进行优化，在保留原有强学习能力的基础上，综合改进粒子群优化算法的优势，有效提高了强化学习算法的性能，提高了灌溉信息的利用率和在多变环境中正确决策的能力。

附图说明

图1为一个实施例中灌溉决策方法的应用场景图；

图2为一个实施例中灌溉决策方法的流程示意图；

图3为一个实施例中得到初始化灌溉策略步骤的流程示意图；

图4为另一个实施例中基于强化学习的灌溉策略总体示意图；

图5为一个实施例中强化学习模型构建示意图；

图6为一个实施例中灌溉决策装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的灌溉决策方法，可以应用于如图1所示的应用环境中。其中，终端102获取多个监测传感器104的环境变量测量值，其中，环境变量测量值为多个环境变量的测量数据，包括土壤水分、叶片水势、叶片气孔导度、太阳辐射、土壤温度、土壤湿度、相对湿度、空气温度以及风速，终端102根据获取到的环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度，从而确定强化学习奖励函数和目标奖励值，同时基于改进粒子群优化算法得到初始化灌溉策略，对初始化灌溉策略执行灌溉的结果进行评估，得到初始化灌溉策略的奖励值，根据奖励值训练并存储最优的强化学习模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，监测传感器104可以用测量不同数据的测量传感器来实现，例如植物水势仪、植物动态气孔计、自动监测系统等。

在一个实施例中，如图2所示，提供了一种灌溉决策方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S202，获取目标灌溉区域的环境变量测量值。

其中，目标灌溉区域为待实施灌溉决策的农业灌溉区域，可以是一个也可以是多个灌溉区域，例如一个农场或一个农业子区域。环境变量测量值为监测传感器测量到的关于目标灌溉区域的环境变量数据。具体地，终端获取监测传感器不同时刻测量到的关于目标灌溉区域的9个不同的环境变量测量值，其中9 个不同的环境变量包括土壤水分x₁(t)、叶片水势x₂(t)、叶片气孔导度x₃(t)、太阳辐射x₄(t)、土壤温度x₅(t)、土壤湿度x₆(t)、相对湿度x₇(t)、空气温度x₈(t)以及风速x₉(t)。

在一些实施例中，将目标灌溉区域划分为n个灌溉子区域，具体划分情况可根据所种植作物品种、土壤情况、灌溉设备等情况进行划分。划分后的n个灌溉子区域需要满足以下条件：所种植作物品种相同；可以独立控制灌溉水量；具备一组以上监测传感器。其中，一组监测传感器可以包括分别测量灌溉子区域的土壤水分、叶片水势、叶片气孔导度、太阳辐射、土壤温度、土壤湿度、相对湿度、空气温度以及风速的9个不同类型的传感器。

本实施例中，通过将目标区域划分成多个灌溉子区域，实现不同灌溉子区域的农作物的合理灌溉，在节约用水的同时，提高了农业生产的效率。

在一些实施例中，传感器测量时间统一为某一时刻T,每间隔Ts时间，误差范围在T±0.03×Ts，在同一灌溉子区域采用传感器监测土壤水分，采用植物水势仪测定叶片水势，采用植物动态气孔计测量叶片气孔导度，由自动监测系统测量太阳辐射、土壤温度、土壤湿度、相对湿度、空气温度以及风速。

本实施例中，通过设置传感器统一时间进行测量，可以保证同一灌溉区域的环境变量测量值的有效性，提高灌溉决策的准确性。

在一些实施例中，若灌溉子区域的传感器数量大于一组，则取相同类型传感器的均值作为最终测定值。为保证后续数据分析，首先对数据的时间进行强制对齐，忽略0.03Ts的误差。本实施例中，考虑到实际传感器类型不同，传感器的采样频率和采样时长都是不同的，时间上难以保持一致，因此处理的时候需要先把时间对齐。

步骤S204，根据环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度。

其中，目标叶片水势(x_2max)为反映农作物情况的最佳叶片水势，目标叶片气孔导度(x_3max)为反映农作物情况的最佳叶片气孔导度，目标土壤湿度(x_6max) 为反映农作物情况的最佳土壤湿度。具体地，终端根据获取到的9个环境变量测量值，存储环境变量测量值的历史数据，根据种植的农作物品种，确定农作物品种的目标叶片水势x_2max、目标叶片气孔导度x_3max以及目标土壤湿度x_6max。

步骤S206，根据目标叶片水势、目标叶片气孔导度以及目标土壤湿度，确定强化学习奖励函数和目标奖励值。

其中，强化学习奖励函数为强化学习模型的奖励函数，公式如下：

上述公式中，x₂(t)为监测传感器测量到的叶片水势，x₃(t)为监测传感器测量到的叶片气孔导度，x₆(t)为监测传感器测量到的土壤湿度，x_2max为目标叶片水势，x_3max为目标叶片气孔导度，x_6max为目标土壤湿度。

目标奖励值(r_max)为预设的强化学习奖励函数值，可以根据目标叶片水势、目标叶片气孔导度以及目标土壤湿度设置，也可以根据实际灌溉区域的情况设置。

步骤S208，基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略。

具体地，在一个实施例中，如图3所示，上述步骤包括步骤S302至步骤S304：

步骤S302，基于改进粒子群优化算法，确定目标灌溉区域的适应值。

其中，改进粒子群优化算法是一种群体智能优化算法，具体地，将灌溉时间代入适应度函数，确定目标灌溉区域的适应值(fitness)，适应度函数的公式如下：

式中，w，v为网络权值，θ，b为阈值，p为粒子历史最优值，q为种群的历史最优值。

步骤S304，比较适应值与目标灌溉区域的历史最优值，若适应值大于目标灌溉区域的历史最优值，则更新目标灌溉区域的历史最优值。

目标灌溉区域的历史最优值为已存储的关于目标灌溉区域的历史数据中的最优适应值，具体地，通过对比目标灌溉区域的适应值和目标灌溉区域的历史最优适应值，当适应值大于目标灌溉区域的历史最优适应值时，将目标灌溉区域的历史最优适应值替换成该适应值。

在一个实施例中，继续如图3所示，步骤S304后还包括步骤S306：

步骤S306，比较适应值与种群灌溉区域的历史最优值，若适应值大于种群灌溉区域的历史最优值，则更新种群灌溉区域的历史最优值。

种群灌溉区域的历史最优值为已存储的关于农作物某一种群灌溉区域的历史数据中的最优适应值，具体地，通过对比目标灌溉区域的适应值和种群灌溉区域的历史最优适应值，当适应值大于种群灌溉区域的历史最优适应值时，将种群灌溉区域的历史最优适应值替换成该适应值。

在一个实施例中，继续如图3所示，步骤S306后还包括步骤S308至步骤 S310：

步骤S308，基于改进粒子群优化算法，确定种群灌溉区域的聚集度。

其中，聚集度为农作物某一种群灌溉区域的聚集度指数C(t)，计算聚集度指数的公式如下：

式中，F(gbest_t)为第t代相应的最优适应度值，X_t[i]为第t代第i个粒子的位置，F(X_t[i])为第t代第i个粒子的适应度值，n为粒子群算法迭代的个数，m为粒子的群体总数。

步骤S310，判断聚集度是否超出预设聚集度约束范围，若超出，则对超出灌溉区域进行聚集度更新，直至满足预设聚集度约束范围。

其中，聚集度(C(t))为种群灌溉区域的聚集度，预设聚集度约束范围包括种群灌溉区域的预设最小聚集度(C(t)_min)和预设最大聚集度(C(t)_max)，预设最小聚集度至预设最大聚集度之间的数值范围即预设聚集度范围。在一个实施例中，预设最小聚集度C(t)_min设置为0.65，预设最大聚集度C(t)_max设置为0.92，预设聚集度范围设置为0.65～0.92。具体地，终端判断当前种群灌溉区域的聚集度是否满足不等式C(t)_min≤C(t)≤C(t)_max，若不满足，即不等式不成立，超出预设聚集度范围，则对超出的目标灌溉区域进行聚集度更新，直到满足上述不等式为止。

在一些实施例中，继续如图3所示，步骤S310后还包括步骤S312至步骤 S314：

步骤S312，若聚集度未超出预设聚集度约束范围，则基于改进粒子群优化算法，更新目标灌溉区域的灌溉时间和灌溉水流量。

其中，基于改进粒子群优化算法的更新公式如下：

式中，i＝1，2，…，m，d＝1，2，…，D，

表示第i个粒子的第k代的第d个速度分量，

表示第i个粒子的第k代的第d个位置分量，

表示第i 个粒子在迭代寻优过程中所出现的最优位置的第d分量，

表示整个种群迭代寻优过程中出现的最优位置的第d个分量，w表示控制继承大小的惯性因子，为正数，c₁和c₂分别表示两个学习常数为正数，ξ和η是(0，1)间的两个随机数，表示控制速度分量权重的约束因子。此外，每个粒子的速度

都被限制在最大速度所约束的范围

内，当粒子的第d 维度分量

超过了d维分量所允许的最大速度值

时，则令

即将其强行限制在最大速度的约束范围内。

具体地，基于改进粒子群优化算法，将上述公式中的位置和速度替换成灌溉时间和灌溉水流量，实现更新目标灌溉区域的灌溉时间和灌溉水流量。

步骤S314，判断是否达到迭代终止条件，若达到，则强化学习过程结束，确定关于灌溉水流量和灌溉时间的初始化灌溉策略，反之，则跳转至步骤S304。

具体地，终止条件一般包含两种：一种是误差函数达到设定精度，另一种是迭代次数达到设定的最大迭代次数，满足两种终止准则中的任意一种，则迭代终止，强化学习过程结束，反之，则转到步骤S304继续优化。其中，初始化灌溉策略是关于目标灌溉区域的灌溉水流量和灌溉时间的初始化策略。

步骤S208之后，还包括：

步骤S210，获取执行初始化灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得初始化灌溉策略的奖励值。

其中，灌溉结果为用户执行初始灌溉策略后传感器监测到的农作物叶片水势x₂(t)、叶片气孔导度x₃(t)以及土壤湿度x₆(t)的测量值。具体地，终端获取执行初始灌溉策略所获取到的灌溉后农作物叶片水势x₂(t)，叶片气孔导度 x₃(t)，土壤湿度x₆(t)，根据强化学习奖励函数，获取奖励值r。

步骤S212，根据奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型。

具体地，将获取到的奖励值r传入强化学习模型，获得更新后的灌溉水流量和灌溉时间，直至奖励值r达到目标奖励值r_max，并且达到强化学习模型的训练终止条件，即可存储该强化学习模型。

在一个实施例中，取待决策时刻的土壤水分x₁(t)、叶片水势x₂(t)、叶片气孔导度x₃(t)、太阳辐射x₄(t)、土壤温度x₅(t)、土壤湿度x₆(t)、相对湿度 x₇(t)、空气温度x₈(t)以及风速x₉(t)，共计9个量化数据作为强化学习模型的环境状态变量。

本实施例中，通过使用土壤水分，叶片水势，叶片气孔导度，太阳辐射、土壤温度、土壤湿度、相对湿度、空气温度、风速共计9个量化数据完成灌溉决策，将强化学习将引入到灌溉决策中，解决了多源灌溉决策信息融合过程中存在的难题。

在一个实施例中，当奖励值达到目标奖励值时，判断强化学习模型的训练次数是否达到预设训练次数，若达到，则存储强化学习模型。

其中，预设训练次数为预先设定的强化学习模型的最大迭代次数。本实施例中，通过设置预设训练次数，可以在不影响灌溉决策精度的同时，减少不必要的决策时间浪费。

在另一个实施例中，当奖励值达到目标奖励值时，判断强化学习模型的误差函数是否达到预设精度，若达到，则存储强化学习模型。

本实施例中，通过设置强化学习模型的误差函数，通过判断误差函数的是否达到预设精度，从而决定是否停止训练强化学习模型，提高了灌溉决策的精度。

在其中一个实施例中，当奖励值未达到目标奖励值时，根据强化学习模型和奖励值，获得关于灌溉水流量和灌溉时间的更新后的灌溉策略；获取执行更新后的灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得更新后的灌溉策略的奖励值；当更新后的灌溉策略的奖励值达到目标奖励值时，判断强化学习模型的训练是否达到训练终止条件，当达到时，存储强化学习模型。

本实施例中，在未达到灌溉目标时，灌溉目标即目标奖励值，获得更新后的灌溉策略，通过执行更新后的灌溉策略，得到更新后的奖励值，不断地进行奖励值对比，直至达到目标奖励值时，在判断是否停止训练强化学习模型。通过本方法，不达到灌溉目标，则不进入模型训练结束判断逻辑，提高了强化学习模型正确决策的能力。

步骤S214，根据强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。

具体地，终端根据训练完毕后的强化学习模型，执行关于灌溉水流量和灌溉时间的灌溉策略。其中，灌溉策略主要控制灌溉水流量和灌溉时间。

本实施例中，通过获取到的多个环境变量的测量值，确定其中三个环境变量的最优值，从而确定强化学习奖励函数，同时基于改进粒子群优化算法得到初始化灌溉策略，利用初始化灌溉策略执行灌溉，评估灌溉结果得到奖励值，根据奖励值训练并存储最优的强化学习模型，该方法利用改进粒子群优化算法对强化学习模型进行优化，在保留原有强学习能力的基础上，综合改进粒子群优化算法的优势，有效提高了强化学习算法的性能，提高了灌溉信息的利用率和在多变环境中正确决策的能力。

在一些实施例中，由于强化学习模型训练数据有限，有可能出现假饱和现象，为提高强化学习的收敛性，必须将负荷数据进行归一化处理，将其处理为[0，1]之间的值，具体过程如下式所示：

在输出层又需要对归一化的数据进行反归一化处理，处理为实际的值进行输出，具体过程如下式所示：

X_t＝(X_tmax-X_tmin)X′_t+X_tmin(t＝1,2,…,8)

式中，X_t′为t时刻观测数据归一化值，X_t为t时刻观测数据实际值，X_tmin为训练样本集中所有t时刻观测数据最小值，X_tmax为训练样本集中所有t时刻观测数据最大值。

在一个优选的实施例中，如图4和图5所示，在强化学习模型训练开始之前，还包括初始化参数，建立Q值表。

其中，Q值包括灌溉水流量和灌溉时间，Q值表为包括灌溉水流量和灌溉时间的状态参数表，即关于灌溉水流量和灌溉时间的0矩阵。具体地，根据灌溉水流量和灌溉时间，建立初始化的状态参数表；根据状态参数表，确定灌溉时间的等级数；根据改进粒子群优化算法的相关参数取值范围，随机生成初始灌溉时间；根据最大灌溉水流量，确定初始灌溉水流量。其中，最大灌溉水流量的大小取决于灌溉时间的波动范围，可取最大波动范围的10％～20％。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种灌溉决策装置600，包括：环境变量确定模块602、奖励函数确定模块604、初始化灌溉策略模块606、强化学习训练模块608和灌溉策略确定模块610，其中：

环境变量确定模块602，用于获取目标灌溉区域的环境变量测量值；根据环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度。

奖励函数确定模块604，用于根据目标叶片水势、目标叶片气孔导度以及目标土壤湿度，确定强化学习奖励函数和目标奖励值。

初始化灌溉策略模块606，用于基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略；获取执行初始化灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得初始化灌溉策略的奖励值。

强化学习训练模块608，用于根据奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型。

灌溉策略确定模块610，用于根据强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。

在一个实施例中，初始化灌溉策略模块606还用于基于改进粒子群优化算法，确定目标灌溉区域的适应值；比较适应值与目标灌溉区域的历史最优值，若适应值大于目标灌溉区域的历史最优值，则更新目标灌溉区域的历史最优值。

在一个实施例中，初始化灌溉策略模块606还用于比较适应值与种群灌溉区域的历史最优值，若适应值大于种群灌溉区域的历史最优值，则更新种群灌溉区域的历史最优值。

在一个实施例中，初始化灌溉策略模块606还用于基于改进粒子群优化算法，确定种群灌溉区域的聚集度；判断聚集度是否超出预设聚集度约束范围，若超出，则对超出灌溉区域进行聚集度更新，直至满足预设聚集度约束范围。

在一个实施例中，强化学习训练模块608还用于当奖励值达到目标奖励值时，判断强化学习模型的训练次数是否达到预设训练次数，若达到，则存储强化学习模型。

在一个实施例中，强化学习训练模块608还用于当奖励值达到目标奖励值时，判断强化学习模型的误差函数是否达到预设精度，若达到，则存储强化学习模型。

在一个实施例中，强化学习训练模块608还用于当奖励值未达到目标奖励值时，根据强化学习模型和奖励值，获得关于灌溉水流量和灌溉时间的更新后的灌溉策略；获取执行更新后的灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得更新后的灌溉策略的奖励值；当更新后的灌溉策略的奖励值达到目标奖励值时，判断强化学习模型的训练是否达到训练终止条件，当达到时，存储强化学习模型。

关于灌溉决策装置的具体限定可以参见上文中对于灌溉决策方法的限定，在此不再赘述。上述灌溉决策装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种灌溉决策方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取目标灌溉区域的环境变量测量值；

根据环境变量测量值，确定目标叶片水势、目标叶片气孔导度以及目标土壤湿度；

根据目标叶片水势、目标叶片气孔导度以及目标土壤湿度，确定强化学习奖励函数和目标奖励值；

获取执行初始化灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得初始化灌溉策略的奖励值；

根据奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型；

根据强化学习模型，确定关于灌溉水流量和灌溉时间的灌溉策略。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于改进粒子群优化算法，确定目标灌溉区域的适应值；比较适应值与目标灌溉区域的历史最优值，若适应值大于目标灌溉区域的历史最优值，则更新目标灌溉区域的历史最优值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：比较适应值与种群灌溉区域的历史最优值，若适应值大于种群灌溉区域的历史最优值，则更新种群灌溉区域的历史最优值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于改进粒子群优化算法，确定种群灌溉区域的聚集度；判断聚集度是否超出预设聚集度约束范围，若超出，则对超出灌溉区域进行聚集度更新，直至满足预设聚集度约束范围。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当奖励值达到目标奖励值时，判断强化学习模型的训练次数是否达到预设训练次数，若达到，则存储强化学习模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当奖励值达到目标奖励值时，判断强化学习模型的误差函数是否达到预设精度，若达到，则存储强化学习模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当奖励值未达到目标奖励值时，根据强化学习模型和奖励值，获得关于灌溉水流量和灌溉时间的更新后的灌溉策略；获取执行更新后的灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得更新后的灌溉策略的奖励值；当更新后的灌溉策略的奖励值达到目标奖励值时，判断强化学习模型的训练是否达到训练终止条件，当达到时，存储强化学习模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取目标灌溉区域的环境变量测量值；

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于改进粒子群优化算法，确定目标灌溉区域的适应值；比较适应值与目标灌溉区域的历史最优值，若适应值大于目标灌溉区域的历史最优值，则更新目标灌溉区域的历史最优值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：比较适应值与种群灌溉区域的历史最优值，若适应值大于种群灌溉区域的历史最优值，则更新种群灌溉区域的历史最优值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于改进粒子群优化算法，确定种群灌溉区域的聚集度；判断聚集度是否超出预设聚集度约束范围，若超出，则对超出灌溉区域进行聚集度更新，直至满足预设聚集度约束范围。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当奖励值达到目标奖励值时，判断强化学习模型的训练次数是否达到预设训练次数，若达到，则存储强化学习模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当奖励值达到目标奖励值时，判断强化学习模型的误差函数是否达到预设精度，若达到，则存储强化学习模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当奖励值未达到目标奖励值时，根据强化学习模型和奖励值，获得关于灌溉水流量和灌溉时间的更新后的灌溉策略；获取执行更新后的灌溉策略的灌溉结果，根据强化学习奖励函数，对灌溉结果进行评估，获得更新后的灌溉策略的奖励值；当更新后的灌溉策略的奖励值达到目标奖励值时，判断强化学习模型的训练是否达到训练终止条件，当达到时，存储强化学习模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM (RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态 RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种灌溉决策方法，所述方法包括：

获取目标灌溉区域的环境变量测量值；

2.根据权利要求1所述的方法，其特征在于，所述基于改进粒子群优化算法，得到关于灌溉水流量和灌溉时间的初始化灌溉策略，包括：

基于改进粒子群优化算法，确定所述目标灌溉区域的适应值；

比较所述适应值与所述目标灌溉区域的历史最优值，若所述适应值大于所述目标灌溉区域的历史最优值，则更新所述目标灌溉区域的历史最优值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

比较所述适应值与种群灌溉区域的历史最优值，若所述适应值大于所述种群灌溉区域的历史最优值，则更新所述种群灌溉区域的历史最优值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于改进粒子群优化算法，确定种群灌溉区域的聚集度；

判断所述聚集度是否超出预设聚集度约束范围，若超出，则对超出灌溉区域进行聚集度更新，直至满足所述预设聚集度约束范围。

5.根据权利要求1所述的方法，其特征在于，所述根据所述奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型，包括：

当所述奖励值达到所述目标奖励值时，判断强化学习模型的训练次数是否达到预设训练次数，若达到，则存储所述强化学习模型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型，包括：

当所述奖励值达到所述目标奖励值时，判断强化学习模型的误差函数是否达到预设精度，若达到，则存储所述强化学习模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述奖励值与目标奖励值的关系以及强化学习模型的训练终止条件，存储满足条件的强化学习模型，包括：

当所述奖励值未达到所述目标奖励值时，根据强化学习模型和所述奖励值，获得关于灌溉水流量和灌溉时间的更新后的灌溉策略；

获取执行所述更新后的灌溉策略的灌溉结果，根据所述强化学习奖励函数，对所述灌溉结果进行评估，获得所述更新后的灌溉策略的奖励值；

当所述更新后的灌溉策略的奖励值达到目标奖励值时，判断强化学习模型的训练是否达到训练终止条件，当达到时，存储所述强化学习模型。

8.一种灌溉决策装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。