CN108596987A - 基于图像深度特征序列的堆肥腐熟判断方法 - Google Patents

Abstract

本发明公开了一种基于图像深度特征序列的堆肥腐熟判断方法，包括以下步骤：S1、提取t时刻堆肥表面图像数据；S2、预处理，将堆肥表面图像数据进行图像去雾处理；S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取；S4、基于循环神经网络RNN进行预测，S3获得的堆肥图像特征作为输入量；S5、输出判断结果。本发明从堆肥图像外观特征出发，利用数字图像技术、人工智能技术，提出一种设备少、花费小、部署简单、抗干扰、实时响应的堆肥腐熟实时判断方法，为生产提供指导。

Description

基于图像深度特征序列的堆肥腐熟判断方法

技术领域

本发明涉及一种运用信息技术使用图像信息通过深度学习网络实现的堆肥腐熟实时预测 方法，属于农业信息学领域。

背景技术

在农业生产中，为了维持和提高土壤肥力需要向土壤施入一定量的有机质材料，在施用 前利用微生物对这些材料进行一定程度的腐解处理叫腐熟。堆肥生产方式分静态方式、动态 方式，本发明以直线型发酵槽堆肥方式为研究对象。堆肥的一次发酵时间一般在15～25天， 然后再将完成一次发酵的堆肥送入二次发酵场地进行后熟发酵。在实际生产中一次发酵与二 次发酵也可在同一发酵槽内完成，但是这种方式加长了发酵槽的占用时间，影响畜禽粪便的 处理能力，如能实时快速监测到腐熟完成，将提高场地利用效率。

腐熟度定义为堆肥的发酵完成程度，直接反映堆肥质量。故而企业在生产实践中习惯采 用腐熟度来表示堆肥进行程度，腐熟度的变化体现在物理、化学、生物这3个方面。常见的 腐熟判断法有：微生物活动判定方法、物理性状判定方法、腐殖物质判定方法、综合评分法、 生物判定方法、化学性状判定法等，大部分方法需要复杂物化实验，无法在堆肥现场使用， 不能做到实时腐熟判断。本发明为一种物理性状判定方法，已知堆肥过程颜色一般呈现黄～ 黄褐色、褐色、黑褐色～黑色，堆肥的形状一般呈现粘块状、块状易散、粉状，这些图像特 征可以用于实时判断腐熟，成本低、速度快。实际应用中，堆肥部分阶段会产生较大的雾气 干扰图像，严重影响腐熟判断，所以在判断过程中必须消除雾气。

综合以上分析，亟需一种相对完善、合理、准确的堆肥腐熟实时监测方法，为生产提供 指导。

发明内容

本发明针对背景技术中存在的问题，提出一种基于图像深度特征序列的堆肥腐熟判断方 法，包括以下步骤：

S1、提取t时刻堆肥表面图像数据；

S2、预处理，将堆肥表面图像数据进行图像去雾处理；

S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取；

S4、基于循环神经网络RNN进行预测，t-5至t-1时刻图像特征及S3获得的t时刻堆肥 图像特征作为输入量；

S5、输出判断结果。

具体的，S1中，通过下式提取t时刻堆肥表面图像数据：

R_tG_tB_t是图像RGB颜色矩阵I，拍摄时摄像头正对堆肥表面拍摄，距离堆肥表面1-6米， 取拍摄图像正中间区域80*80像素，n＝80。

具体的，S2中，对R_tG_tB_t组成的颜色矩阵I，去雾过程如下：

a)、求取象素点最小值矩阵M：

b)、计算M中所有象素点的均值对M作均值滤波处理，得到M_ave；

c)、计算环境光值L：

其中调解量ρ取1.25；

d)、计算RGB三通道全局大气光值A：

f)、最终去雾图像为D：

具体的，S3中，将N幅已标记腐熟、未腐熟的去雾图像样本D₀送入CNN训练得到图像特征提取网络的各项参数；然后CNN用于腐熟判断过程的特征提取；CNN包括3个卷积 层、3个子采样层、2个全连通层以及1个分类层，第二个全连通层的384维向量为图像的 最终特征即堆肥状态输入向量。

具体的，S4中，将数据送入模型进行训练前，先对数据进行最小最大法归一化处理， 将数据维度控制在[0.1，0.9]之间，归一化函数如下：

X_n＝(X_o-MIN(X))/(MAX(X)-MIN(X))

X_o是归一化前堆肥实时CNN的384维特征向量，X_n是归一化后堆肥实时CNN的384 维特征向量；MIN()、MAX()计算各属性维度的最小和最大值。

具体的，S4中，循环神经网络RNN包括三层：输入层、隐藏层和输出层，输入层接收堆肥状态输入向量，通过激活函数更新网络隐含层节点状态，由输出层做出预测输出堆肥是 否腐熟的信息；其中隐含层的状态存储了堆肥历史时刻的信息，可以挖掘出历史与当前时刻 信息之间的关系，循环神经网络RNN的t时刻腐熟判断方法为：

RNN使用前向传播算法计算y_t实现腐熟判断，t时刻腐熟状态的输出y_t由时刻t-5起逐次 向前传递计算得出，计算关系如下：

h_t＝σ(Ux_t+Wx_t-1+b)

其中，h_t是t时刻RNN模型的隐藏状态，460维；x_t是t时刻堆肥状态向量，384 维；σ是tanh激活函数，b是460维线性关系偏置向量，U、W、V三矩阵是RNN的参数， U大小384*460，W大小460*460，V大小460*1，每个阶段共享；

t时刻模型输出O_t为：

O_t＝Vh_t+c

c是一维偏置量，t时刻预测输出y_t为：

y_t＝θ(O_t)

θ是softmax激活函数。

具体的，S4中，所述循环神经网络RNN的训练过程为：将参数U、W、V、线性关系 偏置向量b、一维偏置量c由反向传播算法通过梯度下降法一轮轮的迭代得到。

具体的，S4中，所述反向传播算法定义损失函数L：

时间步长τ＝6，进而得出反向传播V、c梯度公式：

其中：y_t是t时刻预测输出，是t时刻实际输出，

定义序列t时刻的隐藏状态的梯度为：

故：

反向传播W、U、b的梯度计算表达式：

其中：x_t是t时刻堆肥状态向量，h_t是t时刻RNN模型的隐藏状态,序列t时刻的隐 藏状态的梯度

具体的，S4中，所述循环神经网络RNN的训练过程如下：

1)初始化各U、W、V、b、c的值为一个随机值，取值范围[0，1]

2)for iter to 1to训练迭代步数(200)

3)for start＝1to数据采集数量-5

4)利用前向传播算法计算y_t

5)计算损失函数L

6)反向传播算法过程利用输出层结点值计算所有隐藏层结点的偏导值，更新U、W、V、b、c

循环结束

循环结束

结束。

本发明的有益效果

本发明从堆肥图像外观特征出发，利用数字图像技术、人工智能技术，提出一种设备少、 花费小、部署简单、抗干扰、实时响应的堆肥腐熟实时判断方法，为生产提供指导。

附图说明

图1为本发明腐熟判断流程。

图2为CNN结构图。

图3为RNN模型结构。

图4为实施例中部分采集图像。

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

以某尾菜堆废厂为例，监测5道发酵槽一个生产周期，数据采集间隔设为4小时，共收 集温度、图像1000条数据，部分图像数据如图4所示。其中100个测试样本和900个训 练样本。

结合图1，一种基于图像深度特征序列的堆肥腐熟判断方法，包括以下步骤：

S1、提取t时刻堆肥表面图像数据；

优选的实施例中，S1中，通过下式提取t时刻堆肥表面图像数据：

R_tG_tB_t是图像RGB颜色矩阵I，拍摄时摄像头正对堆肥表面拍摄，距离堆肥表面1-6米， 取拍摄图像正中间区域80*80像素，n＝80。

S2、预处理，将堆肥表面图像数据进行图像去雾处理；

优选的实施例中，S2中，对R_tG_tB_t组成的颜色矩阵I，去雾过程如下：

a)、求取象素点最小值矩阵M：

b)、计算M中所有象素点的均值对M作均值滤波处理，得到M_ave；

c)、计算环境光值L：

其中调解量ρ取1.25；

d)、计算RGB三通道全局大气光值A：

f)、最终去雾图像为D：

S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取；

优选的实施例中，S3中，将N幅已标记腐熟、未腐熟的去雾图像样本D₀送入CNN训练得到图像特征提取网络的各项参数；然后CNN用于腐熟判断过程的特征提取；CNN结构 图如图2所示：包括3个卷积层、3个子采样层、2个全连通层以及1个分类层，第二个全 连通层的384维向量为图像的最终特征即堆肥状态输入向量。

第一次使用需要训练CNN网络参数。

CNN网络设置参数如下：

Layer1：一层卷积conv2d(输入维度＝3，输出维度＝48，卷积核大小＝3，步长＝1，采用0 填充＝1)，BatchNorm2d(数据的维度＝16)批量标准化，ReLU()激活函数，池化maxpool2d(卷积核大小＝2，步长＝2)。

Layer2：一层卷积conv2d(输入维度＝48，输出维度＝92，卷积核大小＝3，步长＝1，采用 0填充＝1)，BatchNorm2d(数据的维度＝32)批量标准化，ReLU()激活函数，池化maxpool2d(卷积核大小＝2，步长＝2)。

Layer3：一层卷积conv2d(输入维度＝92，输出维度＝184，卷积核大小＝3，步长＝1，采用 0填充＝1)，BatchNorm2d(数据的维度＝64)批量标准化，ReLU()激活函数，池化maxpool2d(卷积核大小＝2，步长＝2)。

全连接层：Linear(184*10*10，384)，ReLu()激活函数，Linear(384,5)。

经过100次迭代网络达到较好状态，保存相应参数用于特征提取。

S4、基于循环神经网络RNN进行预测，S3获得的堆肥图像特征作为输入量；

优选的实施例中，S4中，将数据送入模型进行训练前，先对数据进行最小最大法归一 化处理，将数据维度控制在[0.1，0.9]之间，归一化函数如下：

X_n＝(X_o-MIN(X))/(MAX(X)-MIN(X))

X_o是归一化前堆肥实时CNN的384维特征向量，X_n是归一化后堆肥实时CNN的384 维特征向量；MIN()、MAX()计算各属性维度的最小和最大值。

优选的实施例中，S4中，循环神经网络RNN包括三层：输入层、隐藏层和输出层，输入层接收堆肥状态输入向量，通过激活函数更新网络隐含层节点状态，由输出层做出预测输 出堆肥是否腐熟的信息；其中隐含层的状态存储了堆肥历史时刻的信息，可以挖掘出历史与 当前时刻信息之间的关系，循环神经网络RNN的t时刻腐熟判断方法为：

结合图3，RNN使用前向传播算法计算y_t实现腐熟判断，时间步长为6，时间连续的x_t-5……x_t生成一次序列预测结果y_t；t时刻腐熟状态的输出y_t由时刻t-5起逐次向前传递计算 得出，计算关系如下：

h_t＝σ(Ux_t+Wx_t-1+b)

其中，h_t是t时刻RNN模型的隐藏状态，460维；x_t是t时刻堆肥状态向量，384 维；σ是tanh激活函数，b是460维线性关系偏置向量，U、W、V三矩阵是RNN的参数， U大小384*460，W大小460*460，V大小460*1，每个阶段共享；

t时刻模型输出O_t为：

O_t＝Vh_t+c

c是一维偏置量，t时刻预测输出y_t为：

y_t＝θ(O_t)

θ是softmax激活函数。

第一次使用需要训练RNN网络参数。优选的实施例中，S4中，所述循环神经网络RNN的训练过程为：将参数U、W、V、线性关系偏置向量b、一维偏置量c由反向传播算 法通过梯度下降法一轮轮的迭代得到。

优选的实施例中，S4中，所述反向传播算法定义损失函数L：

时间步长τ＝6，进而得出反向传播V、c梯度公式：

其中：y_t是t时刻预测输出，是t时刻实际输出，

定义序列t时刻的隐藏状态的梯度为：

故：

反向传播W、U、b的梯度计算表达式：

其中：x_t是t时刻堆肥状态向量，h_t是t时刻RNN模型的隐藏状态,序列t时刻的隐 藏状态的梯度

具体的实施例中，S4中，所述循环神经网络RNN的训练过程如下：

1)初始化各U、W、V、b、c的值为一个随机值，取值范围[0，1]

2)for iter to 1to训练迭代步数(200)

3)for start＝1to数据采集数量-5

4)利用前向传播算法计算y_t

5)计算损失函数L

6)反向传播算法过程利用输出层结点值计算所有隐藏层结点的偏导值，更新U、W、V、b、c

循环结束

循环结束

结束。

S5、输出判断结果。

本发明从堆肥图像外观特征出发，利用数字图像技术、人工智能技术，提出一种设备少、 花费小、部署简单、抗干扰、实时响应的堆肥腐熟实时判断方法，为生产提供指导。

需要说明的是：CNN和RNN已是成熟的现有技术，本申请的创造性体现在利用该技术 实现堆肥腐熟的预测。现有技术中，并没有文献报道将CNN和RNN应用在堆肥腐熟预测，更进一步的，由于涉及图像处理，本申请针对性的提出了去雾图像处理技术的运用。故现有技术没有给出相应的技术启示，因此本申请具备创造性。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技 术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不 会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于图像深度特征序列的堆肥腐熟判断方法，其特征在于包括以下步骤：

S1、提取t时刻堆肥表面图像数据；

S2、预处理，将堆肥表面图像数据进行图像去雾处理；

S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取；

S4、基于循环神经网络RNN进行预测，t-5至t-1时刻图像特征及S3获得的t时刻堆肥图像特征作为输入量；

S5、输出判断结果。

2.根据权利要求1所述的方法，其特征在于S1中，通过下式提取t时刻堆肥表面图像数据：

R_tG_tB_t是图像RGB颜色矩阵I，拍摄时摄像头正对堆肥表面拍摄，距离堆肥表面1-6米，取拍摄图像正中间区域80*80像素，n＝80。

3.根据权利要求2所述的方法，其特征在于S2中，对R_tG_tB_t组成的颜色矩阵I，去雾过程如下：

a)、求取象素点最小值矩阵M：

b)、计算M中所有象素点的均值对M作均值滤波处理，得到M_ave；

c)、计算环境光值L：

其中调解量ρ取1.25；

d)、计算RGB三通道全局大气光值A：

f)、最终去雾图像为D：

4.根据权利要求1所述的方法，其特征在于S3中，将N幅已标记腐熟、未腐熟的去雾图像样本D₀送入CNN训练得到图像特征提取网络的各项参数；然后CNN用于腐熟判断过程的特征提取；CNN包括3个卷积层、3个子采样层、2个全连通层以及1个分类层，第二个全连通层的384维向量为图像的最终特征即堆肥状态输入向量。

5.根据权利要求4所述的方法，其特征在于S4中，将数据送入模型进行训练前，先对数据进行最小最大法归一化处理，将数据维度控制在[0.1，0.9]之间，归一化函数如下：

X_n＝(X_o-MIN(X))/(MAX(X)-MIN(X))

X_o是归一化前堆肥实时CNN的384维特征向量，X_n是归一化后堆肥实时CNN的384维特征向量；MIN()、MAX()计算各属性维度的最小和最大值。

6.根据权利要求4所述的方法，其特征在于S4中，循环神经网络RNN包括三层：输入层、隐藏层和输出层，输入层接收堆肥状态输入向量，通过激活函数更新网络隐含层节点状态，由输出层做出预测输出堆肥是否腐熟的信息；其中隐含层的状态存储了堆肥历史时刻的信息，可以挖掘出历史与当前时刻信息之间的关系，循环神经网络RNN的t时刻腐熟判断方法为：

RNN使用前向传播算法计算y_t实现腐熟判断，t时刻腐熟状态的输出y_t由时刻t-5起逐次向前传递计算得出，计算关系如下：

h_t＝σ(Ux_t+Wx_t-1+b)

其中，h_t是t时刻RNN模型的隐藏状态，460维；x_t是t时刻堆肥状态向量，384维；σ是tanh激活函数，b是460维线性关系偏置向量，U、W、V三矩阵是RNN的参数，U大小384*460，W大小460*460，V大小460*1，每个阶段共享；

t时刻模型输出O_t为：

O_t＝Vh_t+c

c是一维偏置量，t时刻预测输出y_t为：

y_t＝θ(O_t)

θ是softmax激活函数。

7.根据权利要求6所述的方法，其特征在于S4中，所述循环神经网络RNN的训练过程为：将参数U、W、V、线性关系偏置向量b、一维偏置量c由反向传播算法通过梯度下降法一轮轮的迭代得到。

8.根据权利要求7所述的方法，其特征在于S4中，所述反向传播算法定义损失函数L：

时间步长τ＝6，进而得出反向传播V、c梯度公式：

其中：y_t是t时刻预测输出，是t时刻实际输出，

定义序列t时刻的隐藏状态的梯度为：

故：

反向传播W、U、b的梯度计算表达式：

其中：x_t是t时刻堆肥状态向量，h_t是t时刻RNN模型的隐藏状态,序列t时刻的隐藏状态的梯度

9.根据权利要求8所述的方法，其特征在于S4中，所述循环神经网络RNN的训练过程如下：

1)初始化各U、W、V、b、c的值为一个随机值，取值范围[0，1]

2)for iter to 1to训练迭代步数(200)

3)for start＝1to数据采集数量-5

4)利用前向传播算法计算y_t

5)计算损失函数L

6)反向传播算法过程利用输出层结点值计算所有隐藏层结点的偏导值，更新U、W、V、b、c

循环结束

循环结束

结束。