CN109325495B - 一种基于深度神经网络建模的作物图像分割系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络建模的作为图像分割系统，该系统包括：图像采集模块；像素分类模块，用于通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；颜色空间转换模块，用于将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；神经网络训练模块；模型测试模块。本发明具有较高的作物图像分割处理速度及分割的精确性，且能够较好的适应户外复杂多变的光照环境，可在作物生长观测中对作物进行有效分割提取。

Description

一种基于深度神经网络建模的作物图像分割系统及方法

技术领域

本发明涉及一种作物图像分割系统及方法，具体涉及一种基于深度神经网络建模的作为图像分割系统及方法。

背景技术

由于水稻是一种容易受灾害性气候条件和病虫害影响的作物，以上灾害会直接影响水稻的产量。因此，对水稻的生长状况进行观测十分必要，有利于在水稻发生灾害时能够及时进行受灾评估并及时开展应对措施。此外，在一般的水稻发育过程中根据水稻观测结果进行合理的田间作业比如灌溉、施肥和晒田，也可以有效的实现水稻增产。传统的观测手段主要是人工观测，即由一些农技人员凭借个人观测经验来判断水稻的生长状况。人工观测方法经过了极长时间的发展，使得这种方法已经十分成熟。但是这种依靠人力的方法有诸多弊端，比如观测效率低、工作量大、人工成本高、易受主观因素影响等。随着计算机视觉及人工智能技术等的发展，越来越多的学者开始研究并实现基于计算机视觉的作物生长发育自动观测技术。

在作物的自动观测过程中，无论是何种观测技术往往都离不开对所获取到的水稻图像进行图像分割，即将水稻从图像中分割处理这一环节。可以说作物图像分割是自动观测技术中的首要任务，因此作物图像的精确分割一直是研究的热点。Woebbecke等(Woebbecke,D.M.,Meyer,G.E.,Von Bargen,K.,Mortensen,D.A.,1995.Color indicesfor weed identification under various soil,residue,and lighting conditions.TAsae 38,259-269)根据在规范化的rgb颜色空间绿色作物比其它背景有更大的绿色色调值这一事实，提出了一种基于超绿算子的作物分割方法(Excess Green and Otsu,简称ExG)。此后，Neto等(Neto J C.A Combined Statistical-Soft Computing Approach forClassification and Mapping Weed Species in Minimum-TillageSystems.Unpublished Ph.D.Dissertation.University of Nebraska,Lincoln,NE,117pp.,2004:117pp-117pp)改进了ExG方法并提出了基于超绿与超红算子的作物图像分割方法(Excess Green minus Excess Red，简称ExGExR)。Tian等(Tian L F,Slaughter DC.Environmentally Adaptive Segmentation Algorithm for Outdoor ImageSegmentation.Computers And Electronics In Agriculture,1998,21(3):153-168)在1998年提出了基于贝叶斯理论的环境自适应分割方法(Environmentally AdaptiveSegmentation Algorithm，简称EASA)来实现对光照变化鲁棒的作物分割。Kataoka等(Kataoka T,Kaneko T,Okamoto H,et al.Crop Growth Estimation System UsingMachine Vision.Proceedings 2003IEEE/ASME International Conference on AdvancedIntelligent Mechatronics(AIM 2003),2003,2(Aim):b1079-b1083)通过利用每个像素的R，G，B三个通道的颜色值都被用来进行作物与背景的区分提出了CIVE方法(Color Indexof Vegetation Extraction，简称CIVE)。CIVE方法采用Ostu算法自动给出区分作物和背景的阈值。余正泓等(Yu Z,Cao Z,Wu X,et al.Automatic Image-Based DetectionTechnology for Two Critical Growth Stages of Maize:Emergence and Three-LeafStage.Agricultural And Forest Meteorology,2013,174-175:65-84)利用色度H及亮度I进行单高斯建模并结合AP聚类提出了AP-HI作物分割方法。该方法是假设图像中作物的颜色在给定的颜色空间的分布符合高斯模型分布，进而利用高斯模型对作物的颜色进行建模实现作物的分割。

然而，以上方法中无论是ExG、ExGExR还是CIVE算法都是基于阈值的作物分割方法，该类方法的优点是分割速度快可以实现实时处理，但是在复杂的光照环境下基于阈值的作物分割方法常常不能带来稳定的分割结果。且这三类方法都不可用于非绿色作物的分割如紫甘蓝等。基于贝叶斯理论的EASA分割方法一般需要较完备的训练样本以保证训练数据的无偏性，使该方法需要较大的样本量以保证训练样本集的完备性，该方法的数据采集过程比较繁琐。AP-HI方法的优点是可以通过少量的样本实现作物颜色模型的建模，然而该方法的缺陷是并不是所有作物的颜色分布都满足单高斯分布这一较强的假设。

发明内容

发明目的：为了克服现有技术的不足，本发明提供提出一种新的作物图像分割系统及方法，能够较好的克服以上方法的缺陷，同时具有较高的作物图像分割处理速度及分割的精确性。

技术方案：一方面，本发明提供一种基于深度神经网络建模的作为图像分割系统，该系统包括：

图像采集模块，用于采用数字相机和图像采集卡进行作物图像的采集，所述数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

像素分类模块，用于通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；

颜色空间转换模块，用于将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

神经网络训练模块，用于将所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，所述神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数；

模型测试模块，用于将训练得到所述5层神经网络结构和学习率递减策略的模型，对不同光照条件下的原始作物图像进行分割测试。

优选的，所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，第i个样本的颜色特征和输出类别分别表示为x⁽ⁱ⁾和y⁽ⁱ⁾，则，

x⁽ⁱ⁾＝(r⁽ⁱ⁾,g⁽ⁱ⁾,b⁽ⁱ⁾,L⁽ⁱ⁾,a⁽ⁱ⁾,b⁽ⁱ⁾)

其中，所述positive表示正样本标签，negative表示负样本标签，所述正负样本标签被分别记为[1,0]和[0,1]。

优选的，所述5层神经网络结构分别为1个输入层、3个隐藏层和1个输出层，所述输入层有6个神经元，每个隐藏层均有9个神经元，所述输出层有2个神经元；

第l层神经元激励值的加权和z^(l+1)定义为：

其中，x为神经网络的输入，W^(l)表示第l层神经元的连接权重，b^(l)表示第l层神经元的偏置，a^(l)为第l层的神经元激活值；

则第l+1层神经元的激活值为：

a^(l+1)＝f(z^(l+1))

其中，f(·)为激活函数；

所述神经网络的正向传播可写为：

y_＝h_W,b(x)

其中，y_为最后一层的输出激活，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数。

优选的，所述激活函数采用ReLU函数。

优选的，所述神经网络权重参数W和偏置参数b的求解通过最小化代价函数得到：

其中，M为总层数，N为正负样本总数量，λ为正规化参数，

为L2正规化因子，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数，

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数，x⁽ⁱ⁾和y⁽ⁱ⁾为第i个样本的颜色特征和输出类别。

优选的，所述神经网络权重参数W和偏置参数b的更新，实现公式为：

其中，N为正负样本总数量，

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数，

表示第l+1层第i个神经元的偏置，λ为正规化参数，

和

是代价函数J(W,b)对权重参数和偏置参数的偏导数。

优选的，所述学习率α是递减的，第n步的学习率α_n通过以下公式得到：

其中，α₀为初始学习率，step_size为触发衰减的步长，η是衰减速率。

另一方面，本发明还提供一种基于深度神经网络建模的作为图像的分割方法，该方法包括图像采集阶段、训练阶段和测试阶段，具体包括以下步骤：

(1)图像采集阶段：采用数字相机和图像采集卡进行作物图像的采集，所述数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

(2)训练阶段：

(21)通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；

(22)将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

(23)将所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，所述神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数；

(3)测试阶段：将训练得到所述5层神经网络结构和学习率递减策略的模型，对不同光照条件下的原始作物图像进行分割测试。

有益效果：本发明提供一种简便且分割精度高的作物图像分割系统及方法，具有较高的作物图像分割处理速度及分割的精确性，且能够较好的适应户外复杂多变的光照环境，可在作物生长观测中对作物进行有效分割提取。

附图说明

图1是用于作物分割的深度神经网络结构图；

图2是TensorBoard中作物分割方法的神经网络数据流图；

图3是本发明所述的作物分割方法的流程图；

图4是本发明所述的作物图像分割系统结构示意图；

图5是迭代过程神经网络的精确度的变化曲线图；

图6是迭代过程神经网络的交叉熵的变化曲线图；

图7是三张原始图像及对应分割结果。

具体实施方式

本发明旨在提供一种简便且分割精度高的作物图像分割系统及方法，能够较好的适应户外复杂多变的光照环境，可在作物生长观测中对作物进行有效分割提取。

如图4所示，首先提供了基于深度神经网络建模的作为图像分割系统，包括：

图像采集模块，用于采用数字相机和图像采集卡进行作物图像的采集，数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

像素分类模块，用于通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本，以此可以得到作物像素集合和背景像素集合作为监督学习下的训练样本。

颜色空间转换模块，用于将训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

若x⁽ⁱ⁾和y⁽ⁱ⁾分别表示该神经网络中第i个样本的输入颜色特征和输出的类别标签，正负样本总数量为N，则x⁽ⁱ⁾＝(r⁽ⁱ⁾,g⁽ⁱ⁾,b⁽ⁱ⁾,L⁽ⁱ⁾,a⁽ⁱ⁾,b⁽ⁱ⁾)。本发明中作物分割方法在于用神经网络实现作物像素的分类识别，即将作物像素从图像中的其它像素区分出来。因此正负样本标签可以被分别记为[1,0]和[0,1]，即y⁽ⁱ⁾可以表示为：

神经网络训练模块，用于将训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数。

如图1所示，本发明设计的神经网络共有5层，由1个输入层、3个隐藏层和1个输出层构成，其中每个隐藏层使用9个神经元。该神经网络中的网络层数以及隐藏层神经元个数的设计能保证网络对颜色建模的能力使作物图像得到准确分割，且同时不至于使神经网络的结构过于复杂使分割算法运算量过大分割效率下降。

对于神经网络的输入层，每个像素样本由RGB颜色空间转换为标准rgb和Lab颜色空间。因此，在神经网络中输入层中每个样本像素由其在标准rgb和Lab颜色空间中的各3个颜色值组成，故该神经网络的输入层共有6个神经元。对于输出层，由于正样本(作物像素)和负样本(背景像素)的标签分别为[1,0]和[0,1]，所以在网络输出层有2个神经元。在该神经网络中，前一层神经元的输出将成为下一层神经元的输入。为了实现该网络的快速收敛，使用了ReLU函数，即修正线性单元函数，作为激活函数。ReLU函数是一种人工神经网络中常用的激活函数。通过在训练阶段神经网络的最小化代价函数，最终可以得到最佳的神经连接权值和偏移值。

令W^(l)表示第l层神经元的连接权重。则

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数。令b^(l)表示第l层神经元的偏置，则

表示第l+1层第i个神经元的偏置。若a^(l)为第l层的神经元激活值，且z^(l+1)定义为：

则第l+1层神经元的激活值为：

a^(l+1)＝f(z^(l+1))

其中，f(·)为激活函数。该激活函数选用ReLU函数，因为它可以在随机梯度衰减中迅速的收敛。若令y_为最后一层的输出激活，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数，则网络的正向传播可以被写为：

y_＝h_W,b(x)

综上可得，神经网络的训练阶段的重点在于搜索最优的权重参数W和偏置参数b。搜索过程可以转化为最优化问题，参数的求解可以通过最小化以下代价函数获得：

其中，S_l是第l层的神经元数量，M为总层数。上式中第二个因子为L2正规化因子，它可以限制权重参数在合理的范围内并可以降低过拟合的可能。λ为正规化参数，通常可设为0.0001。对于以上关于代价函数J(W,b)最优化问题可以通过批量梯度下降法进行求解。在批量梯度下降方法中，通过梯度衰减的迭代来更新W和b，如下所示：

其中，α是学习率。

关于该神经网络的学习率，学习率控制着算法每一轮迭代中的更新步长。较大的学习率值可以使得网络收敛很快，但如果该值太大，则容易导致神经网络振荡，存在无法收敛的风险，而如果该值太小，虽能保证收敛，但是其收敛速度会很慢。为了既保证该神经网络在前期训练中能够快速收敛，又使得在训练后期不至于发生振荡而无法收敛，本发明采用了学习率递减的策略。令α₀为初始学习率，step_size为触发衰减的步长，它设为在样本总数和每次选取批量之间的比值。η是衰减速率，通常可设为0.9。第n步的学习率α_n通过如下公式得到：

参数W和b的求解可以转化为反向传播算法计算梯度更新公式中的偏导数

和

问题。在反向传播算法中对于单一样本x和其标签y，从l₂层到输出层l_M的激活值可以通过前向传播计算出。依据总的代价函数的定义可以得出：

结合以上两个公式便可以实现参数W和b的更新。当神经网络的参数求解迭代收敛后理想的神经网络参数W和b便可以最终获得。

神经网络的网络结构创建和网络参数迭代训练可以通过深度学习框架TensorFlow来实现。神经网络的内部结构可以被TensorFlow中的TensorBoard工具进行自动绘制实现网络结构的可视化。

模型测试模块，当获取了网络中的最佳连接权值和偏移值参数后，便可以对待检测的作物图像中的每个像素进行分类，识别其为作物像素或背景像素从而实现待检测图像的精确分割。

如图3所示，本发明还在分割系统的基础上提出了一种分割方法，包括图像采集阶段、训练阶段和测试阶段，具体包括以下步骤：

(1)图像采集阶段：采用数字相机和图像采集卡进行作物图像的采集，所述数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

(2)训练阶段：

(21)通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；

(22)将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

(23)将所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，所述神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数；

(3)测试阶段：将训练得到所述5层神经网络结构和学习率递减策略的模型，对不同光照条件下的原始作物图像进行分割测试。

为了验证本发明的优势，进行了以下实验：

首先，本发明中作物图像分割以水稻为例，所采用的作物图像均来自位于中国江西省(28.30N,115.58E)的嘉育948水稻种植区的观测点实景拍摄。水稻图像的采集系统获取主要由彩色数字相机OLYMPUS E-450和图像采集卡组成。两个数字相机被分别安装在半球保护罩内并固定于离地5m的支架上。相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间。每天固定时刻10点、12点和14点自动采集到的作物图像将通过3G网络模块及数据通信天线无线传送到远程服务器。所获取到的原始水稻图像分辨率为3648×2736。

本发明中作物分割方法采用在标准化的rgb和CIE L*a*b*(简称Lab)颜色空间中训练一个基于学习率递减策略的5层神经网络来实现作物颜色的建模，实现作物图像的精确分割。在神经网络的训练阶段，利用50张分别在晴天、多云和阴天拍摄得到的水稻原始图像来获取训练样本。之后，通过人工在图像中点选方式手动获得两类像素：作物像素(正样本)和背景像素(负样本)。通过该过程收集到0.9×10⁸个作物像素和0.1×10⁹个背景像素。最后，从以上样本中随机地选取0.5×10⁶个作物像素和同等数量的背景像素作为深度神经网络的训练样本。

为了获取训练样本中作物像素的准确颜色信息，进一步将训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间。进一步将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式。若x⁽ⁱ⁾和y⁽ⁱ⁾分别表示该神经网络中第i个样本的输入颜色特征和输出的类别标签，正负样本总数量为N，则x⁽ⁱ⁾＝(r⁽ⁱ⁾,g⁽ⁱ⁾,b⁽ⁱ⁾,L⁽ⁱ⁾,a⁽ⁱ⁾,b⁽ⁱ⁾)。本发明中作物分割方法在于用神经网络实现作物像素的分类识别，即将作物像素从图像中的其它像素区分出来。因此正负样本标签可以被分别记为[1,0]和[0,1]，即y⁽ⁱ⁾可以表示为：

本发明中的神经网络结构共有5层，其中有1个输入层、3个隐藏层，分别为第一隐藏层，第二隐藏层和第三隐藏层，以及1个输出层，如图1所示。其输入是每个作物图像的每个像素的颜色特征。由于每个样本像素被表示为6个颜色值，因此其输入层有6个神经元。由于正像素和负像素的标签表示法有2个元素，所以在输出层只有2个神经元。为了兼顾神经网络的分割准确度及运算速度，在本发明中每一个隐藏层的神经元数量均为9个。

令W^(l)表示第l层神经元的连接权重。则

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数。令b^(l)表示第l层神经元的偏置，则

表示第l+1层第i个神经元的偏置。若a^(l)为第l层的神经元激活值，且z^(l+1)定义为：

则第l+1层神经元的激活值为：

a^(l+1)＝f(z^(l+1))

其中，f(·)为激活函数。该激活函数选用ReLU函数，因为它可以在随机梯度衰减中迅速的收敛。若令y_为最后一层的输出激活，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数，则网络的正向传播可以被写为：

y_＝h_W,b(x)

综上可得，神经网络的训练阶段的重点在于搜索最优的权重参数W和偏置参数b。搜索过程可以转化为最优化问题，参数的求解可以通过最小化以下代价函数获得：

其中，S_l是第l层的神经元数量，M为总层数。上式中第二个因子为L2正规化因子，它可以限制权重参数在合理的范围内并可以降低过拟合的可能。λ为正规化参数，通常可设为0.0001。对于以上关于代价函数J(W,b)最优化问题可以通过批量梯度下降法进行求解。在批量梯度下降方法中，通过梯度衰减的迭代来更新W和b，如下所示：

其中，α是学习率。为了提高网络参数的求解精度，采用学习率递减的策略来替代固定的学习率α值。令α₀为初始学习率，step_size为触发衰减的步长，它设为在样本总数和每次选取批量之间的比值。η是衰减速率，通常可设为0.9。第n步的学习率α_n通过如下公式得到：

参数W和b的求解可以转化为反向传播算法计算梯度更新公式中的偏导数

和

问题。在反向传播算法中对于单一样本x和其标签y，从l₂层到输出层l_M的激活值可以通过前向传播计算出。依据总的代价函数的定义可以得出：

结合以上两个公式便可以实现参数W和b的更新。当神经网络的参数求解迭代收敛后理想的神经网络参数W和b便可以最终获得。

以上神经网络的网络结构创建和网络参数迭代训练可以通过深度学习框架TensorFlow来实现，TensorFlow是一个采用数据流图，用于数值计算的开源软件库。神经网络的内部结构可以被TensorFlow中的TensorBoard工具进行自动绘制实现网络结构的可视化，如图2所示。

图中表示出了网络层的顺序承接关系，并使用有向图来描述神经网络内部数据的转换。它可以清楚地描述不同网络层及优化求解操作之间的数据处理。网络中的所有层及交叉熵求解操作都与训练操作相连接从而实现了反向传播网络的训练网络参数的求解。学习率操作实现学习率的自动下降。

迭代训练过程中深度神经网络精确度(Classification accuracy)和交叉熵(Cross Entropy)在的变化曲线分别如图5和图6所示。在图5中可以看到的随着迭代步数(step number)的增长神经网络精确度值快速增长，而图6中的交叉熵则相反。这表明该神经网络在训练中可以快速收敛，神经网络的结构是有效的。训练结束后神经网络的识别精确度达到98.38％，训练样本的交叉熵下降到0.045。同时，对于0.1×10⁷个与训练样本独立测试样本进行测试，训练后的神经网络的精确度对测试样本达到了98.36％。这表明着该神经网络对作物像素的识别效果较好且具有不错的泛化能力。

在以上神经网络训练中，本发明专利采用5层神经网络和学习率递减策略进行建模。事实上，该神经网络也可以设计为不同层数和不同的学习率。接下来将尝试采用不同层数和不同学习率策略来进行神经网络训练建模，并比较的它们的效果。

通常情况下较少的层数可以简化神经网络结构，然而越多层数可以从输入样本中提取更为复杂的信息，每个方法都有各自的优势。此外，神经网络的能力也会受学习率参数的影响，越高的学习率可以使神经网络收敛越快，但这样存在致使神经网络无法收敛的风险，如当学习率为0.1时。较低的学习率能够保证神经网络的收敛，但是会需要更多的训练步骤和时间，如当学习率为0.001时。在实验中发现当学习率为0.01时神经网络并不能有效收敛，因此不再对比分析该情况。

实验中，使用相同的训练样本，采用不同层数，如3、5和7和不同学习率，如0.001和学习率递减来搭建六种不同结构的神经网络，并对比不同参数对神经网络分类准确度的影响。令神经网络中层数表示为L，且学习率为Lr。此外，本发明中将不同神经网络准确度的期望值μ和标准差σ进行了对比，如下表所示。

表1不同参数对应神经网络的分割精度对比

表1中精确度的各个值计算于神经网络收敛后的220步到300步。从表1可知，采用5层神经网络和学习率递减策略的处理效果是最佳的，其精确度的期望值和标准差分别为98.35％和0.04％。经过不同层数及学习率参数设置的对比实验，可以得到这些神经网络的识别准确度排名：(L＝5,Lr＝Decay)>(L＝7,Lr＝Decay)>(L＝3,Lr＝Decay)>(L＝7,Lr＝0.001)>(L＝5,Lr＝0.001)>(L＝3,Lr＝0.001)。当采用学习率递减策略时神经网络通常表现会更好。这是因为在学习率递减策略中学习率可以从一开始设置的略大的初始值逐渐减小到一个很小得值。这使得神经网络在训练的开始阶段能够快速收敛而具备较高效率，并且能够在后续的迭代步步骤中逐渐降低学习率使得代价函数尽可能接近最小值，来提高神经网络训练模型的准确度。

对比实验中得到，(L＝7,Lr＝Decay)神经网络训练模型的准确度要比(L＝5,Lr＝Decay)的差一些。这表明增加过多的增加神经网络层数也会使神经网络的准确度变差。这是因为在神经网络训练阶段反向误差传播从最后一层到第二层在渐渐衰减。在(L＝7,Lr＝Decay)的七层神经网络中，随着误差反向传播的递减至消失该神经网络的前几层已经不能对代价函数降低带来任何贡献。相反的，该网络中前面多余的层数会增加神经网络的复杂度并降低稳定性。综上所述，通过实验发现，本发明方法中采用5层神经网络和学习率递减策略的方法训练得到的模型分割准确度最佳。

采用5层神经网络和学习率递减策略的方法训练得到模型之后，对3张原始作物图像，优选大小为3648×2736，进行分割测试。如图7所示，这3张原始图像分别取材于差别很大的光照条件，包含：1张晴天、1张阴天和1张有阴影图像，因此更能体现本专利方法对光照的鲁棒性。图7中的第一列到第三列，分别为水稻作物原始图像、深度神经网络识别标记结果和最终分割结果。如图7所示，无论是晴天或阴天光照条件，本方法都能够保持很好的鲁棒性。即使当图像中出现采集设备造成的阴影时，本发明方法仍然能够获得比较理想的作物图像分割结果。

Claims (8)

1.一种基于深度神经网络建模的作物图像分割系统，其特征在于，该系统包括：

图像采集模块，用于采用数字相机和图像采集卡进行作物图像的采集，所述数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

像素分类模块，用于通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；

颜色空间转换模块，用于将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

神经网络训练模块，用于将所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，所述神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数；

模型测试模块，用于将训练得到所述5层神经网络结构和学习率递减策略的模型，对不同光照条件下的原始作物图像进行分割测试。

2.根据权利要求1所述的基于深度神经网络建模的作物图像分割系统，其特征在于，所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，第i个样本的颜色特征和输出类别分别表示为x⁽ⁱ⁾和y⁽ⁱ⁾，则，

x⁽ⁱ⁾＝(r⁽ⁱ⁾,g⁽ⁱ⁾,b⁽ⁱ⁾,L⁽ⁱ⁾,a⁽ⁱ⁾,b⁽ⁱ⁾)

其中，所述positive表示正样本标签，negative表示负样本标签，所述正负样本标签被分别记为[1,0]和[0,1]。

3.根据权利要求1所述的基于深度神经网络建模的作为图像分割系统，其特征在于，所述5层神经网络结构分别为1个输入层、3个隐藏层和1个输出层，所述输入层有6个神经元，每个隐藏层均有9个神经元，所述输出层有2个神经元；

第l层神经元激励值的加权和z^(l+1)定义为：

其中，x为神经网络的输入，W^(l)表示第l层神经元的连接权重，b^(l)表示第l层神经元的偏置，a^(l)为第l层的神经元激活值；

则第l+1层神经元的激活值为：

a^(l+1)＝f(z^(l+1))

其中，f(·)为激活函数；

所述神经网络的正向传播可写为：

y_＝h_W,b(x)

其中，y_为最后一层的输出激活，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数。

4.根据权利要求3所述的基于深度神经网络建模的作物图像分割系统，其特征在于，所述激活函数采用ReLU函数。

5.根据权利要求1所述的基于深度神经网络建模的作物图像分割系统，其特征在于，所述神经网络权重参数W和偏置参数b的求解通过最小化代价函数得到：

其中，M为总层数，N为正负样本总数量，λ为正规化参数，

为L2正规化因子，h_W,b(·)是基于神经网络权重参数W和偏置参数b的转换函数，

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数，x⁽ⁱ⁾和y⁽ⁱ⁾为第i个样本的颜色特征和输出类别。

6.根据权利要求4所述的基于深度神经网络建模的作物图像分割系统，其特征在于，所述神经网络权重参数W和偏置参数b的更新，实现公式为：

其中，N为正负样本总数量，

表示l层的第j个神经元和l+1层第i个神经元之间的权重参数，

表示第l+1层第i个神经元的偏置，λ为正规化参数，

和

是代价函数J(W,b)对权重参数和偏置参数的偏导数。

7.根据权利要求1所述的基于深度神经网络建模的作物图像分割系统，其特征在于，所述学习率α是递减的，第n步的学习率α_n通过以下公式得到：

其中，α₀为初始学习率，step_size为触发衰减的步长，η是衰减速率。

8.根据权利要求1-7任一项所述的基于深度神经网络建模的作物图像分割系统实现的分割方法，其特征在于，该方法包括图像采集阶段、训练阶段和测试阶段，具体包括以下步骤：

(1)图像采集阶段：采用数字相机和图像采集卡进行作物图像的采集，所述数字相机设置为全自动模式使其根据不同的户外光照条件自动调节光圈和快门时间，每天固定时刻将自动采集的作物图像通过网络模块及数据通信天线无线传送到远程服务器；

(2)训练阶段：

(21)通过人工在所述作物图像中以点选方式手动获得两类像素：作物像素和背景像素，即分别对应类别标签正样本和负样本，选取同等数量的所述正样本和负样本作为深度卷积神经网络的训练样本；

(22)将所述训练样本由RGB颜色空间转换为标准化的rgb和Lab颜色空间，并将样本的Lab颜色值按ICC规范将其转换为无符号8bit整数形式，形成所述训练样本的颜色特征；

(23)将所述训练样本的颜色特征作为神经网络的输入，训练样本的类别标签为神经网络的输出，所述神经网络采用基于学习率α递减策略的5层神经网络来实现作物颜色的建模，迭代训练收敛后得到最优权重参数和偏置参数；

(3)测试阶段：将训练得到所述5层神经网络结构和学习率递减策略的模型，对不同光照条件下的原始作物图像进行分割测试。

Images