CN106778845A - 一种基于叶色检测的植物生长状况监测方法 - Google Patents

Abstract

本发明公开了一种基于叶色检测的植物生长状况监测方法。基于植物的叶色值与其叶绿素含量的正相关性可知，获取叶色值就能间接得到叶绿素含量。由此，本方法通过拍摄得到植物叶片图像，借助事先训练好的卷积神经网络分类器对植物进行分类；接着用图像处理技术对叶片的颜色进行分析，根据叶色与叶色值之间的模型，得到对应的叶色值，从而得到叶片的叶绿素含量，并得出植物的生长状况。本方法与传统方法相比，优点在于可以实现无损监测，并具有较强的可靠性，不受植物种类限制。

Description

一种基于叶色检测的植物生长状况监测方法

技术领域

本发明涉及计算机视觉技术及植物生长状况监测领域，尤其涉及一种基于叶色检测的植物生长状况监测方法。

背景技术

农业上，为了获得更好的经济效益或生态效益，常常需要对植物的生长状况进行监测，以及时对生长状况不良的植株采取措施。叶绿素含量与植物的光合作用、营养状况等密不可分，因此农业上常把叶绿素含量作为指标来判断植物的生长状况。而叶片颜色本质上是由植物体内的色素引起的，叶绿素作为一种重要的色素与叶片颜色密切相关。

叶绿素含量的精确测定十分繁琐，传统的方法主要有分光光度计法、近红外光谱法、高光谱法等。这些方法都需要采集叶片，研碎并浸在提取液中，通过昂贵的仪器来做定量分析。这种传统的叶绿素含量测定方法测定时间很长，且步骤繁琐、成本高，更重要的是，它会破坏叶片。研究表明，叶色值与叶色存在一定的相关关系，因此可以通过图像处理技术建立叶色与叶色值的对应关系来间接测定叶色值，继而得出叶绿素含量。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于叶色检测的植物生长状况监测方法。

本发明是通过以下技术方案来实现的：一种基于叶色检测的植物生长状况监测方法，该方法包括以下步骤：

(1)采集待监测植物的叶片彩色图像；

(2)对步骤1得到的叶片彩色图像进行预处理，首先将图像从RGB色彩空间转换到灰度空间，接着用OTSU算法分割前景和背景，然后将背景像素点置为(255,255,255)，即白色；

(3)将步骤2所得的叶片图像尺寸缩放到统一尺寸；

(4)将步骤3所得的预处理完成后的图像用基于LeNet的卷积神经网络进行训练，得到一个区分植物种类的分类器；

(5)用步骤4得到的分类器对植物叶片进行分类，获得不同种类的植物叶片；

(6)对每一种类植物叶片分别进行叶色-叶色值建模；

(7)利用步骤6得到的叶色-叶色值模型，估计新叶片的叶色值，从而得出该新叶片的叶绿素含量及生长状况。

进一步的，所述步骤2中，OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差为：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)；

当方差最大时，则认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值；灰度值大于阈值t的像素点即为背景，从而可以将背景像素点的灰度值置为(255,255,255)，即白色，实现背景分割。

进一步的，所述步骤3中，将步骤2所得的叶片图像尺寸缩放到统一尺寸，采用双线性插值法，具体如下：

假设源图像大小为m*n，目标图像大小为a*b，那么两幅图像的长宽比分别为m/a和n/b，则目标图像上坐标为(i，j)的像素点可以通过长宽比对应回源图像，其对应坐标为(i*m/a，j*n/b)。显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法直接在源图像中找到对应的像素值的，此时就需要使用双线性插值法来计算该点的值。

双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向上分别进行一次线性插值。若想得到源图像f在点P＝(x,y)的值，首先找到在源图像f上距离该坐标最近的四个像素点，即：Q₁₁＝(x₁,y₁)、Q₁₂＝(x₁,y₂)、Q₂₁＝(x₂,y₁)、Q₂₂＝(x₂,y₂)。

首先在x方向上进行线性插值，得到和点P在同一竖轴上的R₁、R₂两点对应的像素值：

R₁＝(x,y₁)

R₂＝(x,y₂)

然后在y方向上进行线性插值，得到P点的像素值：

其中，f(R₁)、f(R₂)、f(Q₁₁)、f(Q₂₁)、f(Q₁₂)、f(Q₂₂)、f(P)表示各点在源图像f上的像素值。

进一步的，所述步骤4中，除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP；每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享；输出层神经元的个数与待分类树种的种类数相同；

卷积层的计算方法为：

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

其中，down表示下采样函数，β表示权值，b为偏置；

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。

进一步的，所述步骤6中，所述叶色-叶色值建模过程如下：

将叶色仪测得的叶色值作为标准值，即y轴，对RGB三通道色彩进行分离，分别使用R、G、B、R+G+B、2G-R-B、2R-G-B、2B-R-G作为x轴，画出散点图，从各散点图中选取x向量和y向量线性相关性最大的图，进行线性回归分析，由此可得到叶色-叶色值的线性回归公式；要想得到叶色-叶色值的线性回归公式，即要得到y＝a*x+b的方程，其中，y表示叶色值，x表示叶色，a、b为未知系数，因此只要求出a、b即可。线性回归采用最小二乘法，具体求解公式如下：

其中，i为计数变量，n为用于建模的叶色值或叶色样本个数，x_i为第i个样本的叶色，y_i为第i个样本的叶色值，分别为所有样本叶色的平均值和叶色值的平均值。

本发明的有益效果是：本发明通过拍摄得到植物叶片图像，借助事先训练好的卷积神经网络分类器对植物进行分类；接着用图像处理技术对叶片的颜色进行分析，并根据叶色-叶色值模型得到对应的叶色值，从而得到叶片的叶绿素含量，并得出植物的生长状况。该方法最大的创新点在于建立叶色-叶色值模型，利用叶色值和叶绿素的相关关系，间接得到叶绿素含量，实现了对植物生长状况的无损监测。此外，该方法具有很强的通用性，不受植物种类的限制；并且具有较高的准确率。

附图说明

图1为本发明的方法流程图；

图2为预处理步骤示意图；

图3为基于LeNet的卷积神经网络的模型；

图4为基于LeNet的卷积神经网络的实例；

图5为三角枫叶色值与2R-G-B的关系图实例。

具体实施方式

下面结合实例和附图对本发明作进一步的说明。

如图1所示，本发明基于叶色检测的植物生长监测方法包括如下步骤：

步骤1：采集待监测植物的叶片彩色图像。

步骤2：对步骤1得到的树叶彩色图像进行预处理，通过OTSU算法将背景像素点置为白色，并将树叶图像缩放到统一的尺寸，以50*50为例。

OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。

则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)。

当方差最大时，可以认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值。将灰度值大于t的像素点的像素值置为(255,255,255)，即白色，从而得到清晰的树叶图像。然后，再将前景分割后的图像尺寸缩放至50*50。

步骤3：将步骤2所得的叶片图像尺寸统一缩小到50X50，为了便于卷积神经网络模型的训练，这里采用双线性插值法，采用双线性插值法，具体如下：

假设源图像大小为m*n，目标图像大小为a*b，那么两幅图像的长宽比分别为m/a和n/b，则目标图像上坐标为(i，j)的像素点可以通过长宽比对应回源图像，其对应坐标为(i*m/a，j*n/b)。显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法直接在源图像中找到对应的像素值的，此时就需要使用双线性插值法来计算该点的值。

双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向上分别进行一次线性插值。若想得到源图像f在点P＝(x,y)的值，首先找到在源图像f上距离该坐标最近的四个像素点，即：Q₁₁＝(x₁,y₁)、Q₁₂＝(x₁,y₂)、Q₂₁＝(x₂,y₁)、Q₂₂＝(x₂,y₂)。

首先在x方向上进行线性插值，得到和点P在同一竖轴上的R₁、R₂两点对应的像素值：

R₁＝(x,y₁)

R₂＝(x,y₂)

然后在y方向上进行线性插值，得到P点的像素值：

其中，f(R₁)、f(R₂)、f(Q₁₁)、f(Q₂₁)、f(Q₁₂)、f(Q₂₂)、f(P)表示各点在源图像f上的像素值。

图像的双线性插值算法，目标图像中新创造的像素值，是由源图像位置在它附近的2*2区域4个邻近像素的值通过加权平均计算得出的，因此算法处理后的图像质量较高，不会出现像素值不连续的情况。

步骤4：将步骤3所得的预处理完成后的图像用基于LeNet的卷积神经网络进行训练，得到一个区分植物种类的分类器；每种植物的彩色图像为一类，为每一类添加不同标签。除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP。每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享。输出层神经元的个数与待分类树种的种类数相同。

卷积层的计算方法为：

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

其中，down表示下采样函数，β表示权值，b为偏置。

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。

以卷积层采用3*3卷积核，下采样层采用2*2邻域为例，该卷积神经网络的具体参数如图4。图中，C1、C2表示卷积层，采用3*3卷积核，S1、S2表示下采样层，对2*2邻域进行下采样。MLP表示一个全连接的多层感知机。右边一列表示每一步处理后的图像尺寸。经过卷积神经网络的训练，可以得到一个区分不同树种的分类器。

步骤5：用步骤4得到的分类器对植物叶片进行分类。

步骤6：对步骤2预处理后的叶片图像进行对应的叶色-叶色值建模，具体方法如下：

将叶色仪测得的叶色值作为标准值，即y轴，对RGB三通道色彩进行分离，分别使用R、G、B、R+G+B、2G-R-B、2R-G-B、2B-R-G作为x轴，画出散点图，从各散点图中选取x向量和y向量线性相关性最大的图，进行线性回归分析，由此可得到叶色-叶色值的线性回归公式；要想得到叶色-叶色值的线性回归公式，即要得到y＝a*x+b的方程，其中，y表示叶色值，x表示叶色，a、b为未知系数，因此只要求出a、b即可。线性回归采用最小二乘法，具体求解公式如下：

其中，i为计数变量，n为用于建模的叶色值或叶色样本个数，x_i为第i个样本的叶色，y_i为第i个样本的叶色值，分别为所有样本叶色的平均值和叶色值的平均值。

由此，就能建立叶色-叶色值模型，当遇到新的叶片时，只要分析其叶色就能确定叶色值。

步骤7：利用步骤6得到的叶色-叶色值模型，估计新叶片的叶色值，从而得出其叶绿素含量及生长状况。

本发明提出了一种无损监测植物生长状况的方法。该方法通过拍摄得到植物叶片图像，首先借助事先训练好的卷积神经网络分类器对植物进行分类；接着分析植物叶色值及其叶绿素含量的对应关系，用图像处理技术获得叶色值，间接得到对应的叶绿素含量，继而得出植物的生长状况。用计算机进行测定具有高效、可靠性强的优点，且借助卷积神经网络的方法可以对大量植物进行分类，不受植物种类的限制。

Claims (5)

1.一种基于叶色检测的植物生长状况监测方法，其特征在于，该方法包括以下步骤：

(1)采集待监测植物的叶片彩色图像；

(2)对步骤1得到的叶片彩色图像进行预处理，首先将图像从RGB色彩空间转换到灰度空间，接着用OTSU算法分割前景和背景，然后将背景像素点置为(255,255,255)，即白色；

(3)将步骤2所得的叶片图像尺寸缩放到统一尺寸；

(4)将步骤3所得的预处理完成后的图像用基于LeNet的卷积神经网络进行训练，得到一个区分植物种类的分类器；

(5)用步骤4得到的分类器对植物叶片进行分类，获得不同种类的植物叶片；

(6)对每一种类植物叶片分别进行叶色-叶色值建模；

(7)利用步骤6得到的叶色-叶色值模型，估计新叶片的叶色值，从而得出该新叶片的叶绿素含量及生长状况。

2.根据权利要求1所述的基于叶色检测的植物生长状况监测方法，其特征在于，所述步骤2中，OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差为：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)；

当方差最大时，则认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值；灰度值大于阈值t的像素点即为背景，从而可以将背景像素点的灰度值置为(255,255,255)，即白色，实现背景分割。

3.根据权利要求1所述的基于叶色检测的植物生长状况监测方法，其特征在于，所述步骤3中，将步骤2所得的叶片图像尺寸缩放到统一尺寸，采用双线性插值法，具体如下：

假设源图像大小为m*n，目标图像大小为a*b，那么两幅图像的长宽比分别为m/a和n/b，则目标图像上坐标为(i，j)的像素点可以通过长宽比对应回源图像，其对应坐标为(i*m/a，j*n/b)。显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法直接在源图像中找到对应的像素值的，此时就需要使用双线性插值法来计算该点的值。

双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向上分别进行一次线性插值。若想得到源图像f在点P＝(x,y)的值，首先找到在源图像f上距离该坐标最近的四个像素点，即：Q₁₁＝(x₁,y₁)、Q₁₂＝(x₁,y₂)、Q₂₁＝(x₂,y₁)、Q₂₂＝(x₂,y₂)。

首先在x方向上进行线性插值，得到和点P在同一竖轴上的R₁、R₂两点对应的像素值：

$f\left(R_1\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{21}\right),R_1=(x,y_1)$

$f\left(R_2\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{22}\right),R_2=(x,y_2)$

然后在y方向上进行线性插值，得到P点的像素值：

其中，f(R₁)、f(R₂)、f(Q₁₁)、f(Q₂₁)、f(Q₁₂)、f(Q₂₂)、f(P)表示各点在源图像f上的像素值。

4.根据权利要求1所述的基于叶色检测的植物生长状况监测方法，其特征在于，所述步骤4中，除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP；每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享；输出层神经元的个数与待分类树种的种类数相同；

卷积层的计算方法为：

$X_j^l=f({\mathrm{\Σ}}_{i\∈M_j}{X}_i^{l-1}*k_{ij}^l+b_j^l);$

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

$X_j^l=f\left({\mathrm{\β}}_j^{l}down\right(X_j^{l-1})+b_j^l);$

其中，down表示下采样函数，β表示权值，b为偏置；

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。

5.根据权利要求1所述的基于叶色检测的植物生长状况监测方法，其特征在于，所述步骤6中，所述叶色-叶色值建模过程如下：

将叶色仪测得的叶色值作为标准值，即y轴，对RGB三通道色彩进行分离，分别使用R、G、B、R+G+B、2G-R-B、2R-G-B、2B-R-G作为x轴，画出散点图，从各散点图中选取x向量和y向量线性相关性最大的图，进行线性回归分析，由此可得到叶色-叶色值的线性回归公式；要想得到叶色-叶色值的线性回归公式，即要得到y＝a*x+b的方程，其中，y表示叶色值，x表示叶色，a、b为未知系数，因此只要求出a、b即可。线性回归采用最小二乘法，具体求解公式如下：

$\left\{\begin{array}{c}b=\frac{{\mathrm{\Σ}}_{i=1}^n(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{{\mathrm{\Σ}}_{i=1}^n{(x_i-\stackrel{\‾}{x})}^2}\\ a=\stackrel{\‾}{y}-b\stackrel{\‾}{x}\end{array}\right.$

其中，i为计数变量，n为用于建模的叶色值或叶色样本个数，x_i为第i个样本的叶色，y_i为第i个样本的叶色值，分别为所有样本叶色的平均值和叶色值的平均值。