CN114937030A - 一种用于智慧农业种植生菜的表型参数计算方法 - Google Patents

Abstract

本发明涉及一种用于智慧农业种植生菜的表型参数计算方法，包括：采集生菜图像并进行通道像素预处理；将生菜图像分割为生菜信息与背景信息；设计多尺度卷积网络结构，将预处理后的生菜图像和分割后的生菜图像一起输入所述多尺度卷积网络结构得到生菜的表型参数。本发明的有益效果是：本发明可以有效进行生菜的生长状态评估，不存在图像数据源单一的问题，此外，本发明估算的作物表型参数维度较多；并且本发明提供的多尺度卷积网络在作物表型参数估算上的性能较优。

Description

一种用于智慧农业种植生菜的表型参数计算方法

技术领域

本发明涉及智慧农业作物种植领域，更确切地说，它涉及一种用于智慧农业种植生菜的表型参数计算方法。

背景技术

年来，随着我国精准农业和植物工厂等智慧农业技术的不断发展，在作物种植时需要获取作物的生长表型参数以确定作物的生长过程是否符合预期。这要求在作物种植的多个时刻对作物进行状态检测和评估(每日一次或多次)。一般来说，检测是由有经验的人通过测量来完成的，但是人工检测的效率和精度都相对有限，在植物工厂的精准环境调控下，这样的误差会对精细化的生产策略产生无法修正的影响，是不能被容忍的。目前，植物工厂或蔬菜大棚中最常见的作物为生菜，如何更好的进行生菜表型参数的自动化高精度估算正成为从业人员关注的焦点和难点。

人工智能驱动的计算机智能视觉技术在各个领域得到成功应用，也进入了农业领域，渗透到植物表型研究的方方面面，取得了不错的成绩。综合利用机器视觉对植物的重要表型参数进行采集和分析是植物工厂中作物生产过程管理的一种重要技术手段。但有研究严重依赖于手动设计特征、易受环境噪声影响等问题，在图像数据源方面，仅依赖于二维RGB俯视图，同时估算的作物表型参数维度较少，不能满足植物工厂中作物的生长状态评估。

发明内容

本发明的目的是克服现有技术中的不足，提供了一种用于智慧农业种植生菜的表型参数计算方法，包括：

S1、使用深度图像相机采集生菜图像并进行通道像素预处理，随后计算图像像素散度；

S2、设计最小化吉布斯能量函数将生菜图像分割为生菜信息与背景信息；

S3、设计多尺度卷积网络结构，所述多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块，将预处理后的生菜图像和分割后的生菜图像一起输入所述多尺度卷积网络结构得到生菜的表型参数。

作为优选，S1包括：

S101、将深度图像相机以俯视生菜的视角进行安装，悬挂在生菜正上方并采集生菜图像，所述生菜图像包括输出可见光图像和深度图图像；

S102、对所述生菜图像进行如下预处理：

其中，μ_c为第c个通道的像素值的均值，σ_c为第c个通道的像素值的标准差，pixel_c,i代表预处理前图像中第c个通道的第i个像素的像素值；可见光图像有3个通道，深度图图像仅有1个通道，pixel′_c,i代表预处理后图像中第c通道的第i个像素的像素值；

S103、获取标准生菜图像样本，并将S102中预处理后的生菜图像分割成若干区域，对每个区域求归一化颜色直方图，用KL散度表示每个区域的归一化颜色直方图与标准生菜图像样本的归一化颜色直方图之间的相似性，KL散度的计算公式为：

其中，S表示KL散度，p_k表示原始图像区域的像素数值概率分布，q_k表示原始图像区域的像素数值近似分布；并设置阈值α，KL散度S低于阈值α的区域为包含生菜像素的区域，KL散度S高于阈值α的区域为不包含生菜像素的区域。

作为优选，S2包括：

S201、初始化前景和背景的高斯混合模型，基于吉布斯能量函数最小化建模生菜信息与背景信息的分割；

S202、使用最小割算法求解在当前各个像素向量k的情况下，最小的吉布斯能量函数。

作为优选，S3包括：

S301、设计多尺度卷积网络结构，所述多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块；

S302、对步骤S2分割出的生菜3通道RGB图像和1通道Depth图像，基于主干卷积网络提取多尺度的图像特征；

S303、通过特征增强模块对S302提取的多尺度的图像特征进行定位，在下一个尺度提取图像特征时，使用前一个尺度输出的注意力机制区域作为输入，采用双线性插值的上采样方式对特征增强后的图像进行放大；

S304、在数值预测模块采用正规化平均根方差(NMSE)作为损失函数，预测生菜的表型参数数值。

作为优选，S201中，吉布斯能量函数E表示为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

其中，k为像素向量，U用于评价在给定模型θ时，像素z被划分为α的合理程度，V用于评价分割的平滑程度，U表示为：

其中，p为高斯概率分布，π为混合权重相关系数，z_n表示像素，α_n表示z_n的划分结果，k_n表示z_n的高斯混合模型分量；

V表示为：

其中，γ为常数，β＝(2<(z_m-z_n)²>)^-1；

θ表示为：

θ＝{π(α,k),μ(α,k),∑(a,k)；α＝0,1；k＝1...K}

其中，π为权重，μ为均值，∑为协方差。

作为优选，S202中，迭代优化直至收敛，给待求解像素合集

中每个像素重新分配高斯混合模型分量，公式如下：

其中，arg min表示最小化求解，表示在当前模型θ下，像素z_n的高斯混合模型分量k_n被划分为α_n的合理程度，D_n表示图像分割的似然项；

使用最小割算法求解在当前各个像素向量k的情况下，最小的Gibbs能量函数E，当求解收敛后得到最终图像分割结果，表示为：

作为优选，S302中，主干卷积网络的输入尺寸为[255,255,n]，其中n表示图像的通道数，在第m尺度输入的图像维度为n＝(3+1)m，其中3指的是RGB图像的3通道，1指的是Depth图像的1通道，每经过一个尺度维度数会增加4。

作为优选，S303中，特征增强模块的多尺度特征信息定位，在下一个尺度提取特征时，使用前一个尺度输出的注意力机制区域作为输入，其中特征增强模块采用的损失函数为排序损失函数：

其中，

表示在第k层尺度上预测得到的作物表型参数向量，

表示在第k+1层尺度上预测得到的作物表型参数向量，

表示在第k层预测出的表型参数向量损失，

表示在第k+1层预测出的表型参数向量损失，β为附加差额。

作为优选，S303中，特征增强后的图像为裁剪后的图像，采用双线性插值的上采样方式对特征增强后的图片进行放大，表示为：

其中，

表示放大后的图片矩阵，

表示需要放大的图片矩阵，下标表示矩阵的行和列，α＝m-{i/λ}且β＝n-{j/λ}，λ是上采样因子,m和n为裁剪后图片的大小。

作为优选，S304中，在数值预测模块采用正规化平均根方差作为损失函数，预测生菜的表型参数数值，表示为：

其中，m表示每次训练时使用的图片数量，n表示预测时生菜作物表型参数的维度数量，y_ij表示第i张图片第j个维度的真实数值，

表示多尺度神经网络的预测估算数值。

本发明的有益效果是：

(1)本发明提出了一种用于智慧农业种植生菜的表型参数计算方法，可以有效进行生菜的生长状态评估。

(2)本发明的图像数据源不仅包括可见光图像，还包括深度图图像，因此，不存在图像数据源单一的问题，此外，本发明估算的作物表型参数维度较多。

(3)本发明提供的多尺度卷积网络在作物表型参数估算上的性能较优，并且数据处理流程的自动化程度较高。

附图说明

图1为本申请提供的一种用于智慧农业种植生菜的表型参数计算方法的流程图；

图2为本申请提供的生菜表型参数采集示意图；

图3为本申请提供的生菜数据采集及预处理流程图；

图4为本申请提供的生菜图像前景信息分割流程图；

图5为本申请提供的生菜图像前景信息分割结果示意图；

图6为本申请提供的多尺度卷积网络预测流程图；

图7为本申请提供的多尺度卷积网络结构图。

具体实施方式

下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

实施例1：

现有技术中可以利用机器视觉对植物的重要表型参数进行采集和分析，但是存在严重依赖于手动设计特征、易受环境噪声影响等问题，并且在图像数据源方面，现有技术仅依赖于二维RGB俯视图，同时估算的作物表型参数维度较少，不能满足植物工厂中作物的生长状态评估。因此，为解决上述问题，本申请提供了一种用于智慧农业种植生菜的表型参数计算方法，如图1所示，包括：

S1、使用深度图像相机采集生菜图像并进行通道像素预处理，随后计算图像像素散度；

S2、设计最小化吉布斯(Gibbs)能量函数将生菜图像分割为生菜信息与背景信息；

S3、设计多尺度卷积网络结构，多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块，将预处理后的生菜图像和分割后的生菜图像一起输入多尺度卷积网络结构得到生菜的表型参数。

如图3所示，S1包括：

S101、将深度图像(RGBD)相机以俯视生菜的视角进行安装，悬挂在生菜正上方并采集生菜图像，生菜图像包括输出可见光(RGB)图像和深度图(Depth)图像；

本申请不对深度图像相机的悬挂高度进行限定，示例地，如图2所示，将生菜种子放入穴盘中在培养箱环境下进行培育，待幼苗生长到“五叶一心”时，定植到16*16*25cm基质盆中，置于植物工厂多层种植架上。低成本的RealSense D415 RGBD相机进行生菜表型参数的图像数据采集，相机悬挂在生菜正上方约0.90-1.00米处，采集的图像格式为PNG格式，图像原始分辨率为1920×1080像素，RGB图像位深为8，Depth图像位深为16。

S102、对生菜图像进行如下预处理：

其中，μ_c为c通道图像像素值的均值，σ_c为c通道图像像素值的标准差，pixel_c,i代表预处理前图像中第c个通道的第i个像素的像素值；可见光图像有3个通道，深度图图像仅有1个通道，pixel′_c,i代表预处理后图像中第c通道的第i个像素的像素值；c＝0,1,2；i＝0,1,2...,369664。

S103、获取标准生菜图像样本，并将S102中预处理后的生菜图像分割成若干区域，比如，划分为若干个15×15的区域，对每个区域求归一化颜色直方图，用KL散度表示每个区域的归一化颜色直方图与标准生菜图像样本的归一化颜色直方图之间的相似性，KL散度的计算公式为：

其中，S表示KL散度，p_k表示原始图像区域的像素数值概率分布，q_k表示原始图像区域的像素数值近似分布；并设置阈值α，KL散度S低于阈值α的区域为包含生菜像素的区域，KL散度S高于阈值α的区域为不包含生菜像素的区域。示例地，设定阈值α＝4.5，k＝1，2，3...，225。

如图4所示，S2包括：

S201、初始化前景和背景的高斯混合模型，基于吉布斯能量函数最小化建模生菜信息与背景信息的分割，分割结果如图5所示；

S202、使用最小割算法求解在当前各个像素向量k的情况下，最小的吉布斯能量函数。

如图6所示，S3包括：

S301、设计如图7所示的多尺度卷积网络结构，多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块；

S302、对步骤S2分割出的生菜3通道RGB图像和1通道Depth图像，基于主干卷积网络提取多尺度的图像特征；

需要说明的是，S2中分割出生菜信息与背景信息时，就完成了生菜3通道RGB图像和1通道Depth图像的分割。

S303、通过特征增强模块对S302提取的多尺度的图像特征进行定位，在下一个尺度提取图像特征时，使用前一个尺度输出的注意力机制区域作为输入，采用双线性插值的上采样方式对特征增强后的图像进行放大；

S304、在数值预测模块采用正规化平均根方差作为损失函数，预测生菜的表型参数数值。示例地，生菜的表型参数包括作物高度、作物直径、叶面积、作物干重和作物鲜重。

S201中，图像背景前景初始化，前景的初始选取方法相对简单，由于生菜图像集中于画面中间，不会超出一个预设的矩形T_r，于是将其余部分标记为背景

将标记好的前景作为T_F，背景作为T_B，初始化前景和背景的高斯混合模型(GMM)。任一个高斯混合模型(前景一个，背景一个)都被设置为一个有K＝5个高斯分量的全协方差高斯混合模型。引入向量k＝{k₁,...,k_n}且{k_n∈1,...,K}，向量k给图像中每个像素分配一个高斯混合模型分量，α_n＝0表示分量来自于背景，α_n＝1表示分量来自于前景。使图像分割问题转化为Gibbs能量函数最小化的问题。吉布斯能量函数E表示为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

其中，k为像素向量，U用于评价在给定模型θ时，像素z被划分为α的合理程度，V用于评价分割的平滑程度，U表示为：

其中，p为高斯概率分布，π为混合权重相关系数，z_n表示像素，α_n表示z_n的划分结果，k_n表示z_n的高斯混合模型分量；

V表示为：

其中，γ为常数，如γ＝50，β＝(2<(z_m-z_n)²>)^-1；

θ表示为：

θ＝{π(α,k),μ(α,k),∑(α,k)；α＝0,1；k＝1...K}

其中，π为权重，μ为均值，∑为协方差。

S202中，迭代优化直至收敛，给待求解像素合集

中每个像素重新分配高斯混合模型分量，公式如下：

其中，arg min表示最小化求解，该公式表示在当前模型θ下，像素z_n的高斯混合模型分量k_n被划分为α_n的合理程度，D_n表示图像分割的似然项，即需要区分是前景还是后景的像素点；

使用最小割算法求解在当前各个像素向量k的情况下，最小的吉布斯能量函数E，当求解收敛后得到最终图像分割结果，表示为：

当RGB的图像完成分割后，深度图像依据RGB图像的像素位点选择，选择相同的像素点也同样完成图像的分割。

S302中，主干卷积网络的输入尺寸为[255,255,n]，其中n表示图像的通道数，在第m尺度输入的图像维度为n＝(3+1)m，其中3指的是RGB图像的3通道，1指的是Depth图像的1通道，每经过一个尺度维度数会增加4。通常可以采用InceptionV4作为主干卷积网络。

S303中，特征增强模块(APN)的多尺度特征信息定位，在下一个尺度提取特征时，使用前一个尺度输出的注意力机制区域作为输入，其中特征增强模块采用的损失函数为排序损失函数：

其中，

表示在第k层尺度上预测得到的作物表型参数向量，

表示在第k+1层尺度上预测得到的作物表型参数向量，

表示在第k层预测出的表型参数向量损失，

表示在第k+1层预测出的表型参数向量损失，β为一个很小的附加差额通常可以取0.0001。

特征定位任务也是两个堆叠的全连接层实现的，最后一个全连接层输出的向量(t_x,t_y,t_l),可以通过下式表示：

(t_x,t_y,t_l)＝g(W_c*X)

其中(t_x,t_y)表示注意力区域的中心坐标，t_l表示注意力区域的半边长,这样可以计算出注意力区域的左上点(t_x(tl),t_y(tl))和右下点坐标(t_x(br),t_y(br))，t_x(tl)＝t_xx-t_l,t_y(tl)＝t_y-t_l；t_x(br)＝t_x+t_l,t_y(br)＝t_y+t_l。其中W_c表示网络模型参数，g(.)表特征增强模块的映射关系，*表示一系列卷积、池化和激活操作，X表示经过输入网络的原始图像。

计算注意力区域的掩模表达如公式:

M(·)＝[h(x-t_x(tl))-h(x-t_x(br))]·[h(y-t_y(tl))-h(y-t_y(br))]

其中函数h是以k为指数的逻辑(logistic)函数，表示为h(x)＝1/(1+exp^-kx)。

则最终的注意力区域裁剪结果表示如公式:

X^att＝X⊙M(t_x,t_y,t_l)

其中⊙表示两个矩阵同位的元素相乘，X^att表示原始图像裁剪后的特征增强图像。

最后在裁剪后需要进行自适应的图片放大，得到大小为[225,225,4]的注意力图片，因此可知S303中，特征增强后的图像为裁剪后的图像，采用双线性插值的上采样方式对特征增强后的图片进行放大，表示为：

其中，

表示放大后的图片矩阵，i＝j＝225，

表示需要放大的图片矩阵，下标表示矩阵的行和列，α＝m-{i/λ}且β＝n-{j/λ}，λ是上采样因子,m和n为裁剪后图片的大小。最终将得到的注意力图片和上一个尺度的输入图片进行特征拼接(即图层的数量增加了)，作为当前尺度的输入图片。

S304中，在数值预测模块采用正规化平均根方差作为损失函数，预测生菜的表型参数数值，表示为：

其中，m表示每次训练时使用的图片数量，n表示预测时生菜作物表型参数的维度数量，通常取5个维度表示作物高度、作物直径、叶面积、作物干重和作物鲜重，y_ij表示第i张图片第j个维度的真实数值，

表示多尺度神经网络的预测估算数值，L_pre表示在第k层预测出的表型参数向量损失。

实施例2：

为验证本发明提出的基于多尺度卷积神经网络在作物表型参数估算上的性能和传统估算方法进行定量对比实验，评价指标选取平均绝对百分比误差(Mean AbsolutePercentage Error,MAPE)

其中，

表示真实值的平均值，y_i表示真实表型参数数值，y′_i表示预测表型参数数值，n表示一共预测了n张生菜图片。

传统估算方法包括随机森林和多项式回归，其中多项式回归选取的5阶多项式，其实现方法采用scikit-learn包中提供的接口进行模型实现。结果如下表

表1

实验结果表明：现有方法对于作物表型参数的估算性能相对有限其中每项的百分比误差都超过了10％，在多项式模型对于作物干重的预测平均误差最大有23.56％，相比之下采用多尺度卷积神经网络的参数预测除了作物干重误差超过10％以外，剩下的预测估算数值误差均低于10％。其原因主要为传统的手动特征提取方法受制于人工经验，无法充分挖掘图像中的有效表型信息，而且特征提取过程与回归拟合过程的分离显著降低了数据处理流程的自动化程度。

Claims (10)

1.一种用于智慧农业种植生菜的表型参数计算方法，其特征在于，包括以下步骤：

S1、使用深度图像相机采集生菜图像并进行通道像素预处理，随后计算图像像素散度；

S2、设计最小化吉布斯能量函数将生菜图像分割为生菜信息与背景信息；

S3、设计多尺度卷积网络结构，所述多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块，将预处理后的生菜图像和分割后的生菜图像一起输入所述多尺度卷积网络结构得到生菜的表型参数。

2.根据权利要求1所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S1包括：

S101、将深度图像相机以俯视生菜的视角进行安装，悬挂在生菜正上方并采集生菜图像，所述生菜图像包括输出可见光图像和深度图图像；

S102、对所述生菜图像进行如下预处理：

其中，μ_c为第c个通道的像素值的均值，σ_c为第c个通道的像素值的标准差，pixel_c,i代表预处理前图像中第c个通道的第i个像素的像素值；可见光图像有3个通道，深度图图像仅有1个通道，pixel′_c,i代表预处理后图像中第c通道的第i个像素的像素值；

S103、获取标准生菜图像样本，并将S102中预处理后的生菜图像分割成若干区域，对每个区域求归一化颜色直方图，用KL散度表示每个区域的归一化颜色直方图与标准生菜图像样本的归一化颜色直方图之间的相似性，KL散度的计算公式为：

其中，S表示KL散度，p_k表示原始图像区域的像素数值概率分布，q_k表示原始图像区域的像素数值近似分布；并设置阈值α，KL散度S低于阈值α的区域为包含生菜像素的区域，KL散度S高于阈值α的区域为不包含生菜像素的区域。

3.根据权利要求1所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S2包括：

S201、初始化前景和背景的高斯混合模型，基于吉布斯能量函数最小化建模生菜信息与背景信息的分割；

S202、使用最小割算法求解在当前各个像素向量k的情况下，最小的吉布斯能量函数。

4.根据权利要求2所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S3包括：

S301、设计多尺度卷积网络结构，所述多尺度卷积网络结构包括主干卷积网络、特征增强模块和数值预测模块；

S302、对步骤S2分割出的生菜3通道RGB图像和1通道Depth图像，基于主干卷积网络提取多尺度的图像特征；

S303、通过特征增强模块对S302提取的多尺度的图像特征进行定位，在下一个尺度提取图像特征时，使用前一个尺度输出的注意力机制区域作为输入，采用双线性插值的上采样方式对特征增强后的图像进行放大；

S304、在数值预测模块采用正规化平均根方差作为损失函数，预测生菜的表型参数数值。

5.根据权利要求3所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S201中，吉布斯能量函数E表示为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

其中，k为像素向量，U用于评价在给定模型θ时，像素z被划分为α的合理程度，V用于评价分割的平滑程度，U表示为：

其中，p为高斯概率分布，π为混合权重相关系数，z_n表示像素，α_n表示像素z_n的划分结果，k_n表示z_n的高斯混合模型分量；

V表示为：

其中，m和n表示不同的像素，γ为常数，β＝(2<(z_m-z_n)²>)^-1；

θ表示为：

θ＝{π(α,k),μ(α,k),∑(α,k)；α＝0,1；k＝1…K}

其中，π为权重，μ为均值，∑为协方差。

6.根据权利要求3所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S202中，迭代优化直至收敛，给待求解像素合集

中每个像素重新分配高斯混合模型分量，公式如下：

其中，arg min表示最小化求解，该公式表示在当前模型θ下，像素z_n的高斯混合模型分量k_n被划分为α_n的合理程度，D_n表示图像分割的似然项；

使用最小割算法求解在当前各个像素向量k的情况下，最小的Gibbs能量函数E，当求解收敛后得到最终图像分割结果，表示为：

7.根据权利要求4所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S302中，主干卷积网络的输入尺寸为[255,255,n]，其中n表示图像的通道数，在第m尺度输入的图像维度为n＝(3+1)m，其中3指的是RGB图像的3通道，1指的是Depth图像的1通道，每经过一个尺度维度数会增加4。

8.根据权利要求4所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S303中，特征增强模块的多尺度特征信息定位，在下一个尺度提取特征时，使用前一个尺度输出的注意力机制区域作为输入，其中特征增强模块采用的损失函数为排序损失函数：

其中，

表示在第k层尺度上预测得到的作物表型参数向量，

表示在第k+1层尺度上预测得到的作物表型参数向量，

表示在第k层预测出的表型参数向量损失，

表示在第k+1层预测出的表型参数向量损失，β为附加差额。

9.根据权利要求4所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S303中，特征增强后的图像为裁剪后的图像，采用双线性插值的上采样方式对特征增强后的图片进行放大，表示为：

其中，

表示放大后的图片矩阵，

表示需要放大的图片矩阵，下标表示矩阵的行和列，α＝m-{i/λ}且β＝n-{j/λ}，λ是上采样因子,m和n为裁剪后图片的大小。

10.根据权利要求4所述的用于智慧农业种植生菜的表型参数计算方法，其特征在于，S304中，在数值预测模块采用正规化平均根方差作为损失函数，预测生菜的表型参数数值，表示为：

其中，m表示每次训练时使用的图片数量，n表示预测时生菜作物表型参数的维度数量，y_ij表示第i张图片第j个维度的真实数值，

表示多尺度神经网络的预测估算数值，L_pre表示在第k层预测出的表型参数向量损失。

Images