CN116058195B

CN116058195B - 一种叶菜生长环境光照调控方法、系统及装置

Info

Publication number: CN116058195B
Application number: CN202310353974.7A
Authority: CN
Inventors: 位耀光; 李涵; 安冬; 刘金存; 李道亮; 陈英义
Original assignee: China Agricultural University
Current assignee: China Agricultural University
Priority date: 2023-04-06
Filing date: 2023-04-06
Publication date: 2023-07-04
Anticipated expiration: 2043-04-06
Also published as: CN116058195A; US11978210B1

Abstract

本发明公开一种叶菜生长环境光照调控方法、系统及装置，涉及植物生长环境控制技术领域，所述方法包括：获取叶菜的生长环境图像和生长环境光照参数；将生长环境图像输入至图像分割模型中，得到初始像素分割图；利用CAM‑K算法，根据初始像素分割图确定叶菜叶面面积；将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数；根据叶菜的生长指数，调整生长环境光照参数。本发明实现了叶菜生长环境光照的自动化智能调控。

Description

一种叶菜生长环境光照调控方法、系统及装置

技术领域

本发明涉及植物生长环境控制技术领域，特别是涉及一种叶菜生长环境光照调控方法、系统及装置。

背景技术

当前，随着世界人口的增长与工业化的发展，人类活动范围的扩大和程度的加深对环境资源造成了很大的破坏，环境因素的变化自然对作物的生长有着不可避免的影响，暴雨、大风等极端天气会造成作物品质的不可控性。

随着水培技术的发展，水培叶菜比传统叶菜种植在操作方面更加省时省力，对环境因素可把控力度较大，并且突破了季节的限制，产量也变得更高。目前对于叶菜光照环境的调控，通过人工去判断叶菜生长状况和所处生长周期，然后再去人工调整补光灯的启停，并不能智能化判断叶菜生长状态，并根据其状态去智能调控补光灯的启停周期。

发明内容

本发明的目的是提供一种叶菜生长环境光照调控方法、系统及装置，实现了叶菜生长环境光照的自动化智能调控。

为实现上述目的，本发明提供了如下方案：

一种叶菜生长环境光照调控方法，所述方法包括：

获取叶菜的生长环境图像和生长环境光照参数；所述生长环境图像中包括：叶菜和非叶菜；所述非叶菜包括：种植架和泡沫板；所述生长环境光照参数包括：光照强度、光照比例和光照周期；

将所述生长环境图像输入至图像分割模型中，得到初始像素分割图；所述图像分割模型是利用第一训练数据集对Yolov7目标检测网络进行训练得到的，所述第一训练数据集包括：多张训练用叶菜生长环境图和对应的训练用像素分割图；

利用CAM-K算法，根据所述初始像素分割图确定叶菜叶面面积；所述CAM-K算法包括CAM算法和K-Means聚类算法；

将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数；所述叶菜生长指数预测模型是利用第二训练数据集对长短期记忆网络进行训练得到的，所述第二训练数据集包括：多组第二训练数据，所述第二训练数据包括训练用叶菜在不同时刻的叶片面积、生长环境光照参数和生长指数；

根据所述叶菜的生长指数，调整所述生长环境光照参数。

可选地，所述图像分割模型的训练过程，具体包括：

获取多张所述训练用叶菜生长环境图；

对每张所述训练用叶菜生长环境图进行像素级标注，得到对应的训练用像素分割图；

将多张所述训练用叶菜生长环境图作为输入，对应的训练用像素分割图作为输出，对所述Yolov7目标检测网络训练，得到所述图像分割模型。

可选地，利用CAM-K算法，根据所述初始像素分割图确定叶菜叶面面积，具体包括：

利用所述CAM算法，对所述初始像素分割图进行CAM可视化，得到可视化后的像素分割图；

将所述可视化后的像素分割图和所述初始像素分割图进行叠加，得到叠加像素图；

利用所述K-Means聚类算法，对所述叠加像素图进行聚类，得到聚类图像；

根据所述聚类图像确定所述叶菜叶面面积。

可选地，所述叶菜生长指数预测模型的训练过程，具体包括：

获取所述第二训练数据中每株训练用叶菜在不同时刻的叶片面积和生长环境光照参数；

根据不同时刻的叶片面积和生长环境光照参数计算每株所述训练用叶菜的生长指数；

将所有所述叶片面积和对应的生长环境光照参数作为输入，所有训练用叶菜的生长指数作为标签，对所述长短期记忆网络进行训练，得到所述叶菜生长指数预测模型。

可选地，获取叶菜的生长环境图像，具体包括：

获取叶菜所处环境的RGB图像和对应的深度图像；

将叶菜所处环境的RGB图像和对应的深度图像确定为所述生长环境图像。

可选地，根据所述聚类图像确定所述叶菜叶面面积，具体包括：

确定所述聚类图像中标注为叶菜叶面的像素数量；

根据所述像素数量确定所述叶菜叶面面积。

一种叶菜生长环境光照调控系统，所述系统包括：

参数获取模块，用于获取叶菜的生长环境图像和生长环境光照参数；所述生长环境图像中包括：叶菜和非叶菜；所述非叶菜包括：种植架和泡沫板；所述生长环境光照参数包括：光照强度、光照比例和光照周期；

分割模块，用于将所述生长环境图像输入至图像分割模型中，得到初始像素分割图；所述图像分割模型是利用第一训练数据集对Yolov7目标检测网络进行训练得到的，所述第一训练数据集包括：多张训练用叶菜生长环境图和对应的训练用像素分割图；

面积确定模块，用于利用CAM-K算法，根据所述初始像素分割图确定叶菜叶面面积；所述CAM-K算法包括CAM算法和K-Means聚类算法；

生长指数预测模块，用于将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数；所述叶菜生长指数预测模型是利用第二训练数据集对长短期记忆网络进行训练得到的，所述第二训练数据集包括：多组第二训练数据，所述第二训练数据包括训练用叶菜在不同时刻的叶片面积、生长环境光照参数和生长指数；

光照调整模块，用于根据所述叶菜的生长指数，调整所述生长环境光照参数。

一种叶菜生长环境光照调控装置，用于实现上述任一项所述的叶菜生长环境光照调控方法，其特征在于，所述叶菜生长环境光照调控装置包括：生长环境图像获取装置、生长环境光照参数获取装置、补光灯和控制装置；所述生长环境图像获取装置、所述生长环境光照参数获取装置和所述补光灯分别与所述控制装置连接；

所述生长环境图像获取装置用于获取叶菜的生长环境图像；所述生长环境图像中包括：叶菜和非叶菜；所述非叶菜包括：种植架和泡沫板；

所述生长环境光照参数获取装置用于获取所述叶菜的生长环境光照参数；所述生长环境光照参数包括：光照强度、光照比例和光照周期；

所述控制装置用于：

利用所述图像分割模型对所述叶菜生长环境图像进行分割，得到始像素分割图；

利用CAM-K算法，根据所述初始像素分割图确定叶菜叶面面积；

利用叶菜生长指数预测模型，基于所述叶菜叶面面积确定叶菜的生长指数；

根据所述叶菜的生长指数，调节所述补光灯，从而调整生长环境光照参数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种叶菜生长环境光照调控方法、系统及装置，获取叶菜的生长环境图像和生长环境光照参数；将生长环境图像输入至图像分割模型中，得到初始像素分割图；利用CAM-K算法，根据初始像素分割图确定叶菜叶面面积；将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数；根据叶菜的生长指数，调整生长环境光照参数，实现了叶菜生长环境光照的自动化智能调控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的叶菜生长环境光照调控方法流程示意图；

图2为利用CAM-K算法确定叶菜叶面面积流程图；

图3为多元线性回归模型流程图；

图4为LSTM多元时间序列预测模型流程图；

图5为本发明实施例2提供的叶菜生长环境光照调控系统结构示意图；

图6为本发明实施例3提供的叶菜生长环境光照调控装置结构示意图；

图7为叶菜生长环境光照调控装置整体架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种叶菜生长环境光照调控方法、系统及装置，旨在实现叶菜生长环境光照的自动化智能调控。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

图1为本发明实施例1提供的叶菜生长环境光照调控方法流程示意图。如图1所示，本实施例中的叶菜生长环境光照调控方法，包括：

步骤101：获取叶菜的生长环境图像和生长环境光照参数；生长环境图像中包括：叶菜和非叶菜；非叶菜包括：种植架和泡沫板；生长环境光照参数包括：光照强度、光照比例和光照周期。

具体的，生长环境图像包括RGB图像与深度图像，并对生长环境图像进行增强处理，提高图像的对比度。

步骤102：将生长环境图像输入至图像分割模型中，得到初始像素分割图。图像分割模型是利用第一训练数据集对Yolov7目标检测网络进行训练得到的，第一训练数据集包括：多张训练用叶菜生长环境图和对应的训练用像素分割图。

步骤103：利用CAM-K算法，根据初始像素分割图确定叶菜叶面面积。CAM-K算法包括CAM算法和K-Means聚类算法。

步骤104：将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数。叶菜生长指数预测模型是利用第二训练数据集对长短期记忆网络进行训练得到的，第二训练数据集包括：多组第二训练数据，第二训练数据包括训练用叶菜在不同时刻的叶片面积、生长环境光照参数和生长指数。

步骤105：根据叶菜的生长指数，调整生长环境光照参数。

作为一种可选的实施方式，图像分割模型的训练过程，具体包括：

获取多张训练用叶菜生长环境图。

具体的，选定鱼菜共生集装箱内水培种植架叶菜培育场景，在多时间段内使用Kinect相机定时拍摄图像，该数据集中可能会包含场景中的多种对象，如种植架、叶菜、鱼池、水培种植板等多种对象。

对每张训练用叶菜生长环境图进行像素级标注，得到对应的训练用像素分割图。

具体的，本实施例中，采用人工进行标记得到的训练用像素分割图包括标注准确结果的图片和标注粗略的图片，其中类别参数为2种类别，叶菜类与非叶菜类，按6:2:2比例划分为训练集、测试集和验证集。

由于鱼菜共生集装箱内部的光照较暗，不利于目标检测网络提取到图像的纹理特征。因此，需要对数据集中的图像进行处理，增强图像的对比度。RGB图像和深度图像均进行处理，进行滤波操作，减少噪声点。针对RGB彩色图像，可以采用HSV（空间的彩色图像增强方法。

本实施例中，选用Mosaic数据增强、自适应锚框计算、自适应图片缩放等trick对经过数据增强后的图像进行处理，作为Yolov7目标检测网络的输入。Mosaic数据增强采用随机4张图片，按照随机缩放、随机裁剪、随机排布的方式进行拼接，主要用来解决小目标检测的问题，让网络的鲁棒性更好；自适应锚框计算，针对不同的数据集，都会有初始设定长宽的锚框，在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框Groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数；自适应图片缩放，在项目实际使用时，由于不同图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度，因此对原始图像自适应的添加最少的黑边，提升推理速度。

Yolov7网络的结构分为头部、骨架，输入的640×640大小的图像经过backbone骨架模块中的卷积的堆叠对特征进行提取，输出32倍降采样特征图，然后经过head输出模块，有三个输出层，每个输出层有三个anchor，分别对应特征图大小是80×80×512，40×40×1024，20×20×1024。训练后会产生最近一次的训练参数权重文件，将其中训练效果最好的参数权重文件保存下来。其中，对于检测网络骨架主要使用ELAN和MP结构，总共有50层，首先是经过4层卷积层CBS。CBS是Yolov7网络中的一个组合结构，包含Convolution层、Batchnormalization层、激活函数SiLU，简称CBS。SiLU激活函数是Swish激活函数的变体，Swish激活函数如公式（1）所示：

（1）。

其中，β为常数或者可训练的参数，x为自变量参数，当β=1时，称作SiLU激活函数，如公式（2）所示：

（2）。

检测网络骨架主要是用了较多的1×1和3×3的卷积，每个卷积的输出会作为下一个卷积的输入，同时还会和其他卷积的输出进行通道数的合并（Concat）操作，这样的结构提升了网络的精度。经过4个CBS后，特征图变为160×160×128大小，随后会经过ELAN模块，ELAN由多个CBS构成，其输入输出特征大小保持不变，通道数在开始的两个CBS会有变化，后面的几个输入通道都是和输出通道保持一致的，经过最后一个CBS输出为需要的网络骨架Backbone，经过4个CBS后，接入一个ELAN，然后是三个MP（Maxpooling的简称，最大池化）加ELAN的输出。MP模块有两个分支，作用是进行下采样：第一条分支先经过一个Maxpool，也就是最大池化，然后再经过一个1×1的卷积进行通道数的改变；第二条分支先经过一个1×1的卷积，做通道数的变化，然后再经过一个3×3卷积核、步长为2的卷积块，这个卷积块也是用来下采样的；最后把第一个分支和第二分支的结果加在一起，得到超级下采样的结果，对应大小分别为80×80×512，40×40×1024，20×20×1024。每一个MP有5层，ELAN有8层，所以整个Backbone的层数为4+8+13×3=51层，从0开始，最后一层就是第50层。

对于Backbone最后输出的32倍降采样特征图，之后经过SPPCSP（在SPP模块基础上在最后增加concat操作，与SPP模块之前的特征图进行融合，更加丰富了特征信息），通道数从1024变为512。先按照top down（自上而下）和之前的特征图进行融合，再按bottom-up（自下而上）去做融合。其中空间金字塔池化（Spatial Pyramid Pooling，SPP）的作用是能够增大感受野，使得算法适应不同的分辨率图像，它是通过最大池化来获得不同感受野。CSP模块，首先将特征分为两部分，其中的一个部分进行常规的处理，另外一个部分进行SPP结构的处理，最后把这两个部分合并在一起，这样子就能够减少一半的计算量，使得速度变得快，精度会提升。

对于损失函数，主要有坐标损失、目标置信度损失和分类损失三部分。其中，目标置信度损失和分类损失采用BCEWithLogitsLoss（BCEWithLogitsLoss是一组常用的带log二元交叉熵损失函数），坐标损失采用CIoU损失，BCEWithLogitsLoss函数如公式（3）所示：

假设有N个Batch（Batch是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。训练数据集可以分为一个或多个Batch），每个Batch预测q个标签，则Loss（损失函数）为：

Loss = {l1,...,lN},l_q=-[y_q⋅log(σ(x_q))+(1-y_q)⋅log(1-σ(x_q))]（3）。

其中，l_q表示第q个样本的Loss值，y_q表示第q个样本的所属的真实类别标签，x_q表示第q个样本的预测值；σ(x_q)为Sigmoid函数，可以把x_q映射到（0，1）的区间，Sigmoid函数如公式（4）所示：

（4）。

IoU（Intersection of Union），在目标检测中表示为真实框和预测框的交并比（即真实框和预测框的交集和并集之比），定义如公式（5）所示：

（5）。

当真实框与预测框完全重合时，IoU为1，因此在目标检测中边框回归损失函数定义如公式（6）所示：

LossIoU = 1-IoU （6）。

CIoU引入长宽比因子，CIoU可区分预测框和真实框的长宽比关系，具体定义如公式（7）、（8）所示：

（7）。

LossCIoU = 1-CIoU（8）。

其中，d为预测框和真实框中心点的距离，c为最小外接矩形的对角线距离，v是长宽比的相似性因子，定义如公式（9）所示：

（9）。

其中，Wb、Hb、Wp、Hp分别为真实框宽、高以及预测框宽、高。

采用正负样本匹配策略提取初筛Anchors（预定义的框）的信息，位置IoU、前背景目标、类别等，接着，计算Loss函数并构建cost矩阵，根据cost矩阵挑出前k个候选框，并去除重复候选框。利用验证集验证效果后，得到最终的网络模型参数。并在测试集中进行泛化能力测试。

将多张训练用叶菜生长环境图作为输入，对应的训练用像素分割图作为输出，对Yolov7目标检测网络训练，得到图像分割模型。

具体的，经过训练的图像分割模型精确率为量化的基准A_b，设置阈值σ，记量化后的图像分割模型精确率为A_q，则权值量化应满足的条件是|A_b-A_q|≤σ。

利用知识蒸馏技术，自动为模型添加训练逻辑；无需修改训练代码，仅拿训练好的模型和部分无标注数据，训练几十分钟，即可达到预期效果。具体步骤包括：首先构造教师模型，加载推理模型文件，并将推理模型在内存中复制一份，作为知识蒸馏中的教师模型，待量化模型则作为学生模型；其次添加loss，自动地分析模型结构，寻找适合添加蒸馏loss的层，会将每个head最后一个带可训练参数的卷积层作为蒸馏节点；最后蒸馏训练，教师模型通过蒸馏loss监督原模型的稀疏训练或量化训练，完成模型压缩的过程。将量化完毕后的模型进行调整，部署到嵌入式终端中。

作为一种可选的实施方式，步骤103，具体包括：

利用CAM算法，对初始像素分割图进行CAM可视化，得到可视化后的像素分割图。

将可视化后的像素分割图和初始像素分割图进行叠加，得到叠加像素图。

利用K-Means聚类算法，对叠加像素图进行聚类，得到聚类图像。

根据聚类图像确定叶菜叶面面积。

具体的，如图2所示，步骤103具体为：

将通过图像分割模型检测出的叶菜在图像中的四个坐标（top、left、bottom、right）暂存，然后使用opencv在带有坐标信息的叶菜图像上利用矩阵的方式进行目标截取，最后保存到本地，生成新的对象数据集。

S301：使用ResNet50体系结构的卷积层进行目标截取后得到的新数据集进行分类，并进行基于语义分割的图像标注。其中，分类是为了再次筛选，降低负样本数量，分类还是对叶菜和非叶菜进行分类，语义分割是指将图像中每个像素赋予一个类别标签，然后用不同的颜色来表示。得到的像素图结果用来后边的面积估算。

实现上述过程的架构是基于全卷积网络FCN结构的，FCN中包括一个高级的编码器-解码器架构，它将带有三个颜色通道的图像作为编码器的输入，公式（10）表示第一层的输入像素数据：

(10)。

其中，

，∀i = 1,2,...,n，∀j = 1,2,...,m，X^ch是n×m的矩阵，表示输入的图像，n为图像样本总数；y是一维标签向量，每个图像样本都有m个特征（像素）；y₁表示第1个样本的所属的真实类别标签；y_n表示第1个样本的所属的真实类别标签。该架构初始层为维度降低全局平均池化（GlobalAveragePooling2D），将每张图片的每个通道值各自加起来再求平均，最后结果是没有了宽高维度，只剩下个数与平均值两个维度，变成了多张单像素图片，如公式（11）所示。激活函数为Softmax，如公式（12）所示；优化函数为Adam，Adam本质上是带有动量项的RMSprop（root mean square prop：平方平均数），它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，它的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，如公式（13）所示；损失函数为Categorical-Crossentropy（交叉熵损失函数），如公式（14）所示：

[B,H,W,C]->GlobalAveragePooling2D->[B,C]（11）。

（12）。

其中，B为批处理大小，全称为Batch；H为高度，全称为Height，表示图像垂直维度的像素数；W为宽度，全称为Width，表示图像水平维度的像素数；C为通道数，全称为Channel，表示一张图像中的通道数；

为第i个输入信号x_i的指数函数，/>

第j个输入信号x_j的指数函数。假设，Softmax（x）_i为第i个神经元的输出；j的范围是[1,z]，z为输出层神经元的数量。

对于长度为U的任意实向量，Softmax函数可以将其压缩为长度值在[0，1]范围内，并且向量中元素的总和为1的实向量。

；

；

；

；

（13）。

其中，t为时间步，初始化为0；

为指数衰减率，用于控制权重分配，通常取接近于1的值，默认为0.9；/>

为指数衰减率，用于控制梯度平方的影响情况；g_t表示时间步为t时的梯度；θ表示要更新的参数；m_t表示对梯度的一阶矩估计；n_t表示对梯度的二阶矩估计；/>

表示对m_t的校正；/>

表示对n_t的校正；/>

表示初始学习率；/>

表示矢量参数差值；/>

表示为了维持数值稳定性而添加的常数。

（14）。

其中，y_i是第i个样本的所属类别真实标签；

是第i个样本所属标签的预测值；outputsize是输出层网络的数量。根据公式（14）可以发现，因为y_i要么是0，要么是1，而当y_i等于0时，结果就是0，当且仅当y_i等于1时，才会有结果，也就是说Categorical_Crossentropy只专注于一个结果，因而它一般配合Softmax做单标签分类。

完成图像分类后，为了识别每个对象标记图像中的主题区域，将执行分割，贯穿以下三个步骤：对象轮廓识别，将图像分割成段，将每个像素进行二进制分类。采用语义分割方法，首先将分类后的图像转换为224×224×3数组，作为FCN的主输入，随后，编码器作为一个特征提取器，将整个卷积层的像素处理成一个特征映射，初始的FCN层提取较低级别的特征，如对象边缘，而后续的层使用下采样将这些特征聚合为更高级别的对象特征。这些下采样的对象特征映射馈入后续的卷积层，用于解码操作，如公式（15）所示：

H(X) = F(X) + X（15）。

其中，X是输入；H(X)是预测值，等于X经映射处理后得到的F(X)和未经处理的X的合并输出，通过贯穿卷积层的主路径和捷径路径获得；F(X)是残差值。之后，这个解码部分对每个输入特征进行标记，并逐渐对原始图像的细节进行采样。FCN的输出是原始图像的像素级标记分割图，称为像素图。

S302：进行CAM可视化。在所有的CAM算法中，ResNet-50模型的最后一层被用来计算每个图像的类激活映射。类激活映射是使用特定激活对每个图像像素进行映射而得到的权重矩阵，该激活产生识别的类标签。除了类激活图，显著性图还能识别出对最终分类结果影响最大的像素点的位置。因此，结合类激活和显著性映射定位梯度加权类在他们的影响位置。采用三个类激活映射，分别为Grad-CAM、Grad-CAM++和ScoreCAM。

Grad-CAM是类激活和显著性映射的组合，它使用最后卷积层中的信息对特定标签类的像素重要性进行排序。为此，首先，每个类的梯度得分映射到每个图像特征，同时使用全局平均池(Global Average Pooling)获得它们相关的梯度权重，如公式（16）所示：

（16）。

其中，

为size是n×m的权重矩阵，它捕获了每个标签类c的重要特征映射m。Z为分离的激活映射，用于映射A^m中的像素个数;(i,j)表示在激活图A^m中的空间位置。y^c为给每个映射像素的梯度评分，然后将得到的权重矩阵乘以最后一个卷积层，然后用最后的校正线性单元(ReLU)激活函数激活，如公式（17）所示：

（17）。

其中，

表示标签类c的Grad-CAM定位图。这产生了一个热图，显示了叶菜类中的重要像素。在Grad-CAM算法中，Relu函数对重要的标签赋正权，而对影响较小的像素赋零权。

为了提高Grad-CAM算法的定位能力，将相关激活映射

的偏导数重新排列，从而产生显示每个像素位置重要性的梯度权重因子，如公式（18）所示：

（18）。

其中，

表示像素位置(i，j)各标签类c的梯度权值，a,b表示A^m中的空间位置。

在Grad-CAM定位图中添加梯度权重，以增强每个像素的强度，提高了图像中多次出现的对象的分类精度，如公式（19）所示：

（19）。

激活图是使用Relu激活函数得到的，如公式(20)所示：

(20)。

其中，

表示标签类c的Grad-CAM++定位图。

Score-CAM使用分类标签的评分权重，而不是来自最后一个卷积层的加权信息。这使得Score-CAM能够独立可视化机器视觉，具有更好的泛化能力，如公式（21）所示：

（21）。

将激活映射归一化，得到处理后激活映射的掩码图像（M^m），如公式（22）所示：

（22）。

其中，

为第m个激活映射的目标类分数勒索得到的权重矩阵。由公式（23）得到Score-Map的类激活映射：

（23）。

每个CAM算法都添加了一个热图来说明整个图像的梯度加权像素类。将每种CAM算法生成的热图叠加在原始图像上，然后将K-Means聚类算法应用于叠加的叶菜分类图像上。

S303：在CAM可视化之后，使用叠加在原始层上的热图层来说明CAM结果，对叠加后的图像进一步进行K-Means聚类算法处理，以减少彩色像素的数量。

具体地，首先是初始化超参数，对尝试次数和颜色集群进行随机初始化。根据这些初始化的超参数，随机选取质心的K的个数，如公式（24）所示：

（24）。

其中，k为随机预先确定的簇数，c_k为每张图像的第k个颜色簇的每个质心坐标，

。

其次，计算每个颜色像素到其最近的聚类质心的距离，如公式（25）所示：

（25）。

其中，D是m×k大小的矩阵，它找到了每个颜色像素之间的平均距离

和与其最近的聚类质心c_k。

之后，进行颜色像素分配，嵌入式（25）中的距离矩阵，用于将每个颜色像素x_j分类到其最近的聚类质心c_k，同时创建k个聚类，如公式（26）所示：

D = {D₁,D₂,...,D_K,}（26）。

其中，D_K为第K簇的聚类误差，表示聚类中所有颜色像素到其质心的总距离。K-Means聚类算法的主要目标是最小化D_K。为此，从Python环境中的Scikit-learn库中使用了标准的无惩罚K-Means公式。

最后，计算新的聚类质心集，为了进一步最小化聚类错误，使用公式（25）中的像素分配更新了聚类质心c_k。因此，重复公式（25）到公式（26）之间的步骤，直到算法收敛到最小值。

S304：测量识别出的叶菜类的像素面积（经过前面对图像的处理，图像中叶菜部分已有颜色标注，统计出被测物体在图像上所占的像素数，即可求出其面积），并将面积信息存储在数据库中。

具体的，K-means算法完成了所有的尝试，颜色像素被分组为K个最主要的颜色，然后，将得到的颜色簇分为叶菜类和非叶菜类，测量识别出的叶菜类的像素面积，并将面积信息存储在数据库中。

作为一种可选的实施方式，叶菜生长指数预测模型的训练过程，具体包括：

获取第二训练数据中每株训练用叶菜在不同时刻的叶片面积和生长环境光照参数。

根据不同时刻的叶片面积和生长环境光照参数计算每株训练用叶菜的生长指数。

将所有叶片面积和对应的生长环境光照参数作为输入，所有训练用叶菜的生长指数作为标签，对长短期记忆网络进行训练，得到叶菜生长指数预测模型。

具体的，如图3所示，在实际操作中，叶菜生长指数预测模型的确定过程包括：

S401：通过多组叶菜生长全周期试验，估测叶菜叶面面积。

具体地，从每组栽培对象中随机抽取6株叶菜进行叶面积的测量。每7天对叶菜植株进行拍摄，在拍摄过程中从叶菜正上方对参照物与叶菜进行拍摄（俯视）。通过Kinect相机采集叶菜RGB图像与深度图像信息，采用滤波算法对整幅图像进行处理，修复信息无效区域和噪声信息。

S402：在叶菜各周期内采集叶菜生长环境数据。

具体地，叶菜生长环境数据包括光照强度、光质比例、光照周期与其他环境传感器测得的数据。

S403：将所采集的光照强度、光质比例、光照周期与其他环境传感器测得数据对该阶段所估测的叶菜叶面积进行多元线性回归分析。

具体地，将叶菜叶面积作为因变量，所采集的光照强度等环境数据作为多元自变量，对所述数据进行回归分析，得到相关系数，并可以据此估算得出回归方程。

S404：推导出光照强度等呈线性相关环境因素的权重值，得到主要环境影响因素。

进一步将经过多元线性回归模型得到的具有权重值的光照强度等线性相关因素数据与对应叶菜生长周期内的面积数据作为输入，输入到基于LSTM多元时间序列预测模型中，得到叶菜生长指数作为输出，如图4所示，具体包括：

通过多元线性回归分析可得在叶菜生长周期内，有效光照等环境因素与叶面积指数之间存在着较高的相关性。

S501，将分析得到的相关因素数据与叶菜叶面指数作为LSTM多元时间序列预测模型的输入。

S502，经过数据预处理、构建数据集、划分训练集和测试集、数据缩放加快收敛、训练LSTM模型、模型泛化、预测结果可视化。

具体地，首先将对数据进行预处理，数据格式标准化；其次构建数据集，将数据转换成数组类型进行保存，按照比例将数据集划分为训练集和测试集，并将训练集和测试集中的数据都缩放到[-1，1]之间，可以加快收敛；数据集构建完成后就可以开始训练LSTM模型，初始化LSTM模型并开始训练，设置神经元核心的个数，设置训练时输入数据的格式等等；最后进行模型的泛化与预测结果的可视化。

S503，输出所预测的叶菜生长指数。

具体地，由LSTM多元时间序列预测模型对其输入的环境数据与叶菜叶面面积数据进行数据处理与分析，得到对下一阶段叶菜叶面面积指数的预测，输出定义为叶菜的生长指数，通过上述步骤，可对叶菜生长状况进行分析评估。

作为一种可选的实施方式，获取叶菜的生长环境图像，具体包括：

获取叶菜所处环境的RGB图像和对应的深度图像。

将叶菜所处环境的RGB图像和对应的深度图像确定为生长环境图像。

作为一种可选的实施方式，根据聚类图像确定叶菜叶面面积，具体包括：

确定聚类图像中标注为叶菜叶面的像素数量。

根据像素数量确定叶菜叶面面积。

实施例2

图5为本发明实施例2提供的叶菜生长环境光照调控系统结构示意图。如图5所示，本实施例中的叶菜生长环境光照调控系统，包括：

参数获取模块201，用于获取叶菜的生长环境图像和生长环境光照参数；生长环境图像中包括：叶菜和非叶菜；非叶菜包括：种植架和泡沫板；生长环境光照参数包括：光照强度、光照比例和光照周期。

分割模块202，用于将生长环境图像输入至图像分割模型中，得到初始像素分割图；图像分割模型是利用第一训练数据集对Yolov7目标检测网络进行训练得到的，第一训练数据集包括：多张训练用叶菜生长环境图和对应的训练用像素分割图。

面积确定模块203，用于利用CAM-K算法，根据初始像素分割图确定叶菜叶面面积；CAM-K算法包括CAM算法和K-Means聚类算法。

生长指数预测模块204，用于将叶菜叶面面积和生长环境光照参数输入至叶菜生长指数预测模型中，得到叶菜的生长指数；叶菜生长指数预测模型是利用第二训练数据集对长短期记忆网络进行训练得到的，第二训练数据集包括：多组第二训练数据，第二训练数据包括训练用叶菜在不同时刻的叶片面积、生长环境光照参数和生长指数。

光照调整模块205，用于根据叶菜的生长指数，调整生长环境光照参数。

实施例3

图6为本发明实施例3提供的叶菜生长环境光照调控装置结构示意图。如图6所示，本实施例中的叶菜生长环境光照调控装置，用于实现实施例1中的叶菜生长环境光照调控方法，叶菜生长环境光照调控装置包括：生长环境图像获取装置301、生长环境光照参数获取装置302、补光灯303和控制装置304；生长环境图像获取装置301、生长环境光照参数获取装置302和补光灯303分别与控制装置304连接。

生长环境图像获取装置301用于获取叶菜的生长环境图像；生长环境图像中包括：叶菜和非叶菜；非叶菜包括：种植架和泡沫板。

生长环境光照参数获取装置302用于获取叶菜的生长环境光照参数；生长环境光照参数包括：光照强度、光照比例和光照周期。

控制装置304用于：

利用图像分割模型对叶菜生长环境图像进行分割，得到始像素分割图。

利用CAM-K算法，根据初始像素分割图确定叶菜叶面面积。

利用叶菜生长指数预测模型，基于叶菜叶面面积确定叶菜的生长指数。

根据叶菜的生长指数，调节补光灯303，从而调整生长环境光照参数。

具体的，如图7所示，叶菜生长环境光照调控装置，具体包括：叶菜生长环境信息采集与调控装置和边缘端叶菜生长预测模型。

叶菜生长环境信息采集与调控装置设有多类别传感器（即生长环境光照参数获取装置）、Kinect相机（即生长环境图像获取装置）、电力线载波模块、智能开关、叶菜生长环境调控设备和控制装置（包括STM32F407核心控制器和JETSON XAVIER NX核心控制器模块）。

优选地，多类别传感器包括光照强度传感器、温度传感器、湿度传感器、pH传感器、溶解氧传感器、电导率传感器、浊度传感器；使用传感器采集叶菜生长环境的多维环境感知信息；多维环境感知信息包括生长环境信息和调控设备状态信息；生长环境信息包括含光照强度、温湿度、pH值、溶解氧浓度、电导率和浊度；调控设备状态信息包括设备（主要是补光灯）的电流值、电压值、表面温度值和电功率值。

优选地，Kinect相机，通过USB转串口与JETSON XAVIER NX核心控制器连接，放置于叶菜培养架顶部，Kinect相机可同时采集叶菜生长的RGB图像与深度图像，RGB图像可以用于目标检测，深度图像可直接反应叶菜可见表面的几何形状，利用深度图像可以进行对叶菜三维信息的目标检测与图像分割，将采集的叶菜的RGB图像和深度图像均发送至）传输给JETSON XAVIER NX核心控制器进行边缘端的图像处理。

优选地，电力线载波模块（电力线载波模块包括图7中的电力线载波器A、电力线、电力线载波器B，主要用于叶菜生长环境信息采集模块（各类传感器）与核心控制器的通讯连接，核心控制器与调控设备的通讯连接）是指利用高压电力线（在电力载波领域通常指35kV及以上电压等级）、中压电力线（指10kV电压等级）或低压配电线（380/220V用户线）作为信息传输媒介进行数据传输的一种特殊通信方式，叶菜生长环境信息基于电力线载波技术获取，并通过RS485总线与STM32F407和智能开关进行通信。

优选地，智能开关是指利用控制板和电子元器件的组合及编程，以实现电路智能开关控制的单元，接收到由电力线载波模块传输的信号，通过RS485总线控制补光灯等调控设备。

优选地，多类别调控设备包括补光灯、循环泵、空调、排气扇；补光灯将根据由边缘端叶菜生长预测模型传输给STM32F407核心控制器的光照强度、光质比例与光照周期的调控参数来调节光照强度、光质比例与光照周期（JETSON XAVIER NX核心控制器模块中是用于进行预测算法的部署，而STM32控制器是根据算法输出的结果去进行控制光照等调控设备）；循环泵用来把鱼菜共生测控系统中鱼池的水进行循环利用作为叶菜的水培用水；空调用于调节生长环境温度；排气扇用于调节集装箱内温度及湿度，主要是调节湿度。循环泵主要是在该系统中对水培生菜进行补充水分，对系统中的水资源进行循环利用，不需要根据参数进行修改，需要利用智能开关去启停。

作为本发明的一种优选实施例，核心控制器为STM32F407系列开发板，该开发板配有较多串口、ADC采集速度与SPI通讯速度相对较快，实时性较高，并具有以太网模块，较多的通讯接口可以采集更多的外部信息及传感器数据，例如光照强度、温湿度、pH值、溶解氧浓度、电导率和浊度等数据信息。

优选地，JETSON XAVIER NX核心控制器模块搭载了特殊的AI核和图形处理器，支持AI系统的运行，可以在非常短的时间内处理大量数据，以实现边缘计算，是整个叶菜生长环境光照智能调控模型的边缘端信息处理核心，其作用为：其一，接受来自上位机的指令信号，由搭载的Kinect相机采集叶菜生长图像信息。其二，在该开发板中部署基于YOLOv7目标检测网络以及一种利用K-Means算法与基于深度学习的CAM可视化技术相结合的自动估计像素面积的框架，对叶菜进行目标检测、图像分割与图像处理等操作。其三，在该开发板中部署基于多元线性回归与LSTM多元时间序列的叶菜生长面积预测模型，能够通过所采集的多维环境感知信息与叶菜面积信息对下一步叶菜生长面积做出预测，从而得到叶菜的生长指数。其四，模块中存储了根据历史经验所获取的叶菜每个生长阶段的最佳生长数据与环境信息，并通过由基于多元线性回归与LSTM多元时间序列的叶菜生长面积预测模型得到的叶菜生长指数与其进行比较，从而做出叶菜生长调控决策，得到光照强度、光质比例与光照周期的调控参数。其五，能够将光照强度、光质比例与光照周期的调控参数传达给下位机进行对叶菜生长光环境的调控。

优选地，还包括叶菜水培种植架、Kinect相机固定器以及用于调控光照的补光灯组，Kinect相机固定在叶菜水培种植架上部，与补光灯组保持一定距离，避免采集图像信息时曝光。在叶菜水培种植架上通过铝合金等轻质金属材料搭载循环检测用的Kinect相机固定器。为了能够更好采集到叶菜的生长图像信息，该固定器可根据叶菜生长状况，实时调节高度，使Kinect相机能够拍摄到整个叶菜叶面。

Kinect相机主要用于拍摄水培种植架内叶菜整体叶面的图像，通过图像处理和机器视觉等方法对叶菜生长状态进行评估。

调控光照的补光灯组主要用于根据上述对叶菜生长状态的评估信息，调节叶菜生长环境内所需要的光照强度、光质比例与光照周期。

上位机应实现如下功能，（1）能够实时读取各传感器采集的多维环境数据、Kinect相机采集的RGB图像与深度图像数据。（2）能够发送相应控制指令，控制相应调控设备。（3）能够显示基于多元线性回归模型的相关性分析与基于LSTM多元时间序列的叶菜生长面积预测模型得到的叶菜生长指数与光照强度、光质比例与光照周期的调控参数。（4）能够向STM32F407核心控制器发送控制信息，控制设备启停。（5）在上位机中显示各设备的工作状态。

在利用控制装置实现控制参数的确定后，根据多组实验数据对比与专家经验，构建叶菜生长状态与光照强度、光质比例与光照周期等相关环境因素配比之间的关系，从而能够得到叶菜在各生长周期内达到的最佳生长数据与环境信息，并将该信息存储在控制装置中的数据库中。

通过采集多组实验数据对比与专家经验，可得到叶菜处不同生长周期时，叶菜达到生长最佳状态所需光照环境数据等相关环境数据，其中光照环境数据包括光照强度、光质比例（红光与蓝光比例）与光照周期（补光灯组启停时间占比）。

将上述所得到的叶菜在各生长周期内达到的最佳生长数据与环境信息数据作为历史经验构建规则表，存储于数据库中。

通过实验数据对构建的预测模型进行训练，修改模型参数，训练与验证表示叶菜生长最佳状态与光照强度、光质比例与光照周期等环境因素最佳配比之间的关系。

根据对叶菜叶面积的测算，评估是根据查询数据库中当前叶菜所处生长周期内所对应的叶菜叶面积，并结合数据库中的历史经验规则表，判断当前叶菜长势是否良好，结合当前由基于多元线性回归与LSTM多元时间序列的叶菜生长面积预测模型得到的叶菜生长指数与数据库中存储的对应阶段应达到的最佳生长数据进行比较，从而做出叶菜生长调控决策，得到光照强度、光质比例与光照周期的调控参数，将调控参数传达给下位机，下位机根据调控参数下发控制指令，调节补光灯组的光照强度、光质比例与光照周期，从而调节叶菜生长光照环境。

将调控参数传达给下位机STM32F407核心控制器，下位机根据调控参数下发控制指令，采用PWM技术，利用PWM控制信号，通过控制LED补光灯组的正向工作电流的占空比来调节LED补光灯组的光照强度与光质比例，利用定时器调节光照周期。

根据专家经验，叶菜类的光照补偿点为1500Lux以上，饱和点在2万Lux以上。在一定范围光照越强，光合作用越强，新陈代谢加快，生长速度加快，生长周期缩短。一天中光照时数不能低于5小时，光照度不能低于植物的光补偿点，处于开花结果阶段的叶菜平均光照度不能低于6000Lux，生长盛期的叶菜光照最好大于3000Lux。通过多组实验对比与专家经验结合，根据上述所得到的叶菜生长状态评估与叶菜生长调控决策，结合不同生长阶段与生长状况所需，进行光照强度的调控。

LED补光灯组是由620-680nm的红光和400-500nm的蓝光进行配比的，其红光对作物叶片生长有促进作用，蓝光对作物根茎生长有促进作用。根据专家经验，叶菜类在定植和育苗光质比例分别采用红蓝光6∶1和7∶1的比例最适合叶菜其生长。通过多组实验对比与专家经验结合，根据上述所得到的叶菜生长状态评估与叶菜生长调控决策，结合不同生长阶段与生长状况所需，进行光质比例的调控。

根据专家经验，叶菜在完全人工照明情况下，生长前期的光照周期为6h开，2h关，每天循环3次；生长后期的光照周期为14h开，10h关，每天循环2次。通过多组实验对比与专家经验结合，根据上述所得到的叶菜生长状态评估与叶菜生长调控决策，结合不同生长阶段与生长状况所需，利用定时器对叶菜的光照周期进行调控。

根据叶菜生长光环境的调控，记录当前叶菜生长数据、环境数据与相关设备工作状态，并更新至数据库中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种叶菜生长环境光照调控方法，其特征在于，所述方法包括：

根据所述叶菜的生长指数，调整所述生长环境光照参数；

获取叶菜的生长环境图像，具体包括：

获取叶菜所处环境的RGB图像和对应的深度图像；

将叶菜所处环境的RGB图像和对应的深度图像确定为所述生长环境图像；

所述图像分割模型的训练过程，具体包括：

获取多张所述训练用叶菜生长环境图；

将多张所述训练用叶菜生长环境图作为输入，对应的训练用像素分割图作为输出，对所述Yolov7目标检测网络训练，得到所述图像分割模型；

其中，在对每张所述训练用叶菜生长环境图进行像素级标注，得到对应的训练用像素分割图之前，还包括：

对每张训练用叶菜生长环境图依次进行滤波操作、Mosaic数据增强、自适应锚框计算和自适应图片缩放。

2.根据权利要求1所述的叶菜生长环境光照调控方法，其特征在于，利用CAM-K算法，根据所述初始像素分割图确定叶菜叶面面积，具体包括：

根据所述聚类图像确定所述叶菜叶面面积。

3.根据权利要求1所述的叶菜生长环境光照调控方法，其特征在于，所述叶菜生长指数预测模型的训练过程，具体包括：

4.根据权利要求2所述的叶菜生长环境光照调控方法，其特征在于，根据所述聚类图像确定所述叶菜叶面面积，具体包括：

确定所述聚类图像中标注为叶菜叶面的像素数量；

根据所述像素数量确定所述叶菜叶面面积。

5.一种叶菜生长环境光照调控系统，其特征在于，所述系统包括：

光照调整模块，用于根据所述叶菜的生长指数，调整所述生长环境光照参数；

获取叶菜的生长环境图像，具体包括：

获取叶菜所处环境的RGB图像和对应的深度图像；

所述图像分割模型的训练过程，具体包括：

获取多张所述训练用叶菜生长环境图；

6.一种叶菜生长环境光照调控装置，用于实现权利要求1-4任一项所述的叶菜生长环境光照调控方法，其特征在于，所述叶菜生长环境光照调控装置包括：生长环境图像获取装置、生长环境光照参数获取装置、补光灯和控制装置；所述生长环境图像获取装置、所述生长环境光照参数获取装置和所述补光灯分别与所述控制装置连接；

所述控制装置用于：

根据所述叶菜的生长指数，调节所述补光灯，从而调整生长环境光照参数；

获取叶菜的生长环境图像，具体包括：

获取叶菜所处环境的RGB图像和对应的深度图像；

所述图像分割模型的训练过程，具体包括：

获取多张所述训练用叶菜生长环境图；