CN111160079A - 一种快速识别柑橘花期的方法 - Google Patents

Abstract

本发明涉及农产品花期智能识别领域，特别涉及一种快速识别柑橘花期的方法，包括：采集多张柑橘各花期的开花枝条图片，对开花纸条图片中的花进行标识；将多张开花枝条图片分为训练集和测试集；将训练集输入深度学习神经网络训练以提取花期特征信息,根据花期特征信息获取柑橘花位置，经多次迭代后生成深度学习神经网络的网络参数；利用测试集对深度学习神经网络的网络参数进行测试，以获取最优网络参数的深度学习神经网络，再根据柑橘花位置的花期特征信息识别花期，根据各花期的花的数量获取柑橘花期。该方法可科学估算出当前枝条的柑橘所处花期，准确计算种植区柑橘花期，为农户提供有价值的参考。

Description

一种快速识别柑橘花期的方法

技术领域

本发明属于农产品花期智能识别领域，特别涉及一种快速识别柑橘花期的方法。

背景技术

在每年的三月到五月期间，柑橘都进入到开花时期，我们称为花期。柑橘花期有四个阶段现蕾期，露白期，绽蕾期，谢花期。不同的花期所进行的植保，营养等农事行为都是不一样的，花期判断失误会导致在用药，施肥，农事活动等出现失误而致使柑橘出现少产或诱发病虫害等问题。

现有的柑橘花期判断方式大部分都人工去查看判断，不仅效率低下并且准确率无法保证，于农事经验不足的农户花期判断困难的问题更是凸显。

发明内容

本发明的目的在于提供一种快速识别柑橘花期的方法，从而克服柑橘花期判断方法依靠人工去查看判断，不仅效率低下并且准确率无法保证的缺点。

为实现上述目的，本发明提供了一种快速识别柑橘花期的方法，包括以下步骤：

S1，采集多张柑橘各花期的开花枝条图片，对所述开花纸条图片中的花进行标识；

S2，将多张所述开花枝条图片分为训练集和测试集；

S3，将训练集输入深度学习神经网络训练以提取花期特征信息,根据所述花期特征信息获取柑橘花位置，经多次迭代后生成所述深度学习神经网络的网络参数；

S4，利用测试集对所述深度学习神经网络的网络参数进行测试，以获取最优网络参数的所述深度学习神经网络，再根据柑橘花位置的花期特征信息识别花期，根据各花期的花的数量获取柑橘花期。

优选的，上述技术方案中，步骤S4中根据各花期的花的数量获取柑橘花期具体如下：

S21，将单株柑橘各花期的花的数量设为：现蕾期数量N，露白期数量L，绽蕾期数量Z，谢花期数量X；

S22，建立柑橘花期计算规则：

RateN＝N/(N+L+Z+X)

RateL＝L/(N+L+Z+X)

RateZ＝Z/(N+L+Z+X)

RateX＝X/(N+L+Z+X)

RateN为现蕾期花数量占枝条花总数占比，RateL为现露白花数量占枝条花总数占比，RateZ为绽蕾期花数量占枝条花总数占比，RateX为谢花期花数量占枝条花总数占比。

S23，根据各花期花数量占枝条花总数占比获取柑橘花期。

优选的，上述技术方案中，若60％＞RateN≥40％且RateL＜35％且RateZ＜25％且RateX＜25％，或RateN≥60％且RateZ＜30％且RateX＜30％则判定为现蕾期；

若60％＞RateL≥35％且RateN＜60％且RateZ＜25％且RateX＜25％，或RateL≥60％且RateZ＜35％且RateX＜35％则判定为露白期；

若30％＞RateZ≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateZ≥30％且RateB＜60％且RateZ＞RateX，或RateZ≥35％且RateZ＞RateX则判定为绽蕾期；

若30％＞RateX≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateX≥30％且RateL＜60％且RateX≥RateZ，或RateX≥35％且RateX≥RateZ则判定为谢花期。

优选的，上述技术方案中，所述花期特征信息包括：纹理、色彩及形状。

优选的，上述技术方案中，所述深度学习神经网络为fasterrcnn深度神经网络。

优选的，上述技术方案中，步骤S3具体包括：

S41，将所述开花枝条图片输入CNN进行花期特征图提取；

S42，将所述花期特征图输入RPN生成20000个建议窗口，把建议窗口映射到CNN的最后一层卷积的feature map上；

S43，通过RoI pooling层使每个RoI生成固定尺寸的feature map；

S44，利用探测分类概率和探测边框回归对固定尺寸的feature mapde进行分类概率和边框回归联合训练以获取柑橘花期和精确位置。

与现有的技术相比，本发明中的快速识别柑橘花期的方法，通过智能终端拍摄开花阶段的柑橘开花枝条的照片，智能识别出柑橘现蕾期，露白期，绽蕾期，谢花期各时期的数量，即可科学估算出当前枝条的柑橘所处花期，准确计算种植区柑橘花期，为农户提供有价值的参考。

附图说明

图1为本发明快速识别柑橘花期的方法的流程图。

图2为本发明Faster RCNN的整体框架图。

图3为本发明Faster RCNN的网络结构图。

图4为本发明Faster RCNN逐像素对Anchor box进行二分类以及计算偏移量示意图。

图5为本发明Faster RCNN定义的面积为[0,0,15,15]的box,面积不变长宽比分别变化为[0.5,1,2]的Anchors box的示例图。

图6为图5经过Scales变化,即长、宽分别为(16*8＝128)、(16*16＝256)、(16*32＝512)后的示例图。

图7为定义的box经过图5和图6两种变化最后生成的9个Anchor box示例图。

图8为本发明利用Softmax Loss和L1Loss完成分类和定位的流程图。

图9和图10为本发明识别的结果示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，该实施例中的快速识别柑橘花期的方法，包括以下步骤：

步骤S1，采集多张柑橘各花期的开花枝条图片，对开花纸条图片中的花进行标识。

具体的，拍摄不同的含有柑橘现蕾期，露白期，绽蕾期，谢花期四个花期的多张照片作为柑橘花样本库，每个花期图片数量不少于1000张；利用labelimg标注工具对获取的图片中的柑橘花进行标注，框出图片中的花。

对标注好的图片进行预处理，使用OpenCV的RotateImage对图片进行旋转、使用LightImage对图片亮度、暗度进行处理，实现数据增强；使用caffe的Scale layer和BatchNorm layer实现数据归一化处理；增加样本数量，以提高算法鲁棒性，使网络能够更好的进行优化。

S2，将预处理后的多张开花枝条图片按照8:2的比例分为训练集和测试集。

S3，将训练集输入fasterrcnn深度神经网络训练以提取花期特征信息，花期特征信息包括：纹理、色彩及形状，根据花期特征信息获取柑橘花位置，经50万次迭代后生成fasterrcnn深度神经网络的网络参数。

S4，利用测试集对fasterrcnn深度神经网络的网络参数进行测试，获得测试图片的柑橘花期信息与在S1标注的柑橘花期信息进行比较，最终通过平均精度map和召回率recall进行评估，召回率recall为将正类预测为正类数占加将正类预测为负类数的比例，重复步骤S3和S4直到平均精度map和召回率recall达到需求，从而获取最优网络参数的所述fasterrcnn深度神经网络，利用该最优的fasterrcnn深度神经网络预测该位置的柑橘花的花期特征信息以识别花期，根据各花期的花的数量获取柑橘花期。

步骤S4中根据各花期的花的数量获取柑橘花期具体如下：

S21，将单株柑橘各花期的花的数量设为：现蕾期数量N，露白期数量L，绽蕾期数量Z，谢花期数量X；

S22，建立柑橘花期计算规则：

RateN＝N/(N+L+Z+X)

RateL＝L/(N+L+Z+X)

RateZ＝Z/(N+L+Z+X)

RateX＝X/(N+L+Z+X)

RateN为现蕾期花数量占枝条花总数占比，RateL为现露白花数量占枝条花总数占比，RateZ为绽蕾期花数量占枝条花总数占比，RateX为谢花期花数量占枝条花总数占比。

S23，根据各花期花数量占枝条花总数占比获取柑橘花期。

其中，现蕾期是柑橘花期的第一个时期，处于现蕾期的花的数量占总数的比例由100％逐渐递减，且现蕾期在四个时期中的重要性最低，所以设置的规则是现蕾期花朵数量占总数比例大于等于40％才开始考虑归类到现蕾期，且分为两种情况，一是现蕾期花朵数量占总数比例大于等于40％小于60％时，要求满足露白期花的数量占总数的比例小于35％，绽蕾期花的数量占总数的比例小于25％，谢花期花的数量占总数的比例小于25％三种情况下归类到现蕾期；二是现蕾期花朵数量占总数比例大于等于60％时，要求满足绽蕾期花的数量占总数的比例小于30％，谢花期花的数量占总数的比例小于30％两种情况下归类到现蕾期，即若60％＞RateN≥40％且RateL＜35％且RateZ＜25％且RateX＜25％，或RateN≥60％且RateZ＜30％且RateX＜30％则判定为现蕾期。

露白期是柑橘花期的第二个时期，处于现蕾期的花的数量占总数的比例由0逐渐递增，是一个过渡时期，从农业生产上来说露白期在四个时期中的重要性仅高于现蕾期，所以设置的规则是露白期花朵数量占总数的比例大于等于35％才开始考虑归类到露白期，且分为两种情况，一是露白期花朵数量占总数的比例大于等于35％小于60％时，要求满足现蕾期花朵数量占总数的比例小于60％，绽蕾期花朵数量占总数的比例小于25％，谢花期花朵数量占总数的比例小于25％三种情况下归类到露白期；二是露白期花朵数量占总数的比例大于等于60％时，要求满足绽蕾期花朵数量占总数的比例小于35％，谢花期花朵数量占总数的比例小于35％两种情况下归类到露白期。即若60％＞RateL≥35％且RateN＜60％且RateZ＜25％且RateX＜25％，或RateL≥60％且RateZ＜35％且RateX＜35％则判定为露白期；

绽蕾期是柑橘花期的第三个时期，处于绽蕾期的花的数量占总数的比例由0逐渐递增，是一个过渡时期，从农业生产上来说绽蕾期是四个时期中最重要的两个时期之一，所以设置的规则是绽蕾期花朵数量占总数的比例大于等于25％即开始考虑归类到绽蕾期，且分为三种情况，一是绽蕾期花朵数量占总数的比例大于等于25％，小于30％时，要求满足现蕾期花朵数量占总数的比例大于等于40％小于60％，露白期花朵数量占总数的比例大于等于35％小于60％；二是绽蕾期花朵数量占总数的比例大于等于30％小于35％时，要求满足露白期花朵数量占总数的比例小于60％，绽蕾期花朵数量占总数的比例大于谢花期花朵数量占总数的比例；三是绽蕾期花朵数量占总数的比例大于等于35％时要求满足绽蕾期花朵数量占总数的比例大于谢花期花朵数量占总数的比例。即若30％＞RateZ≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateZ≥30％且RateB＜60％且RateZ＞RateX，或RateZ≥35％且RateZ＞RateX则判定为绽蕾期。

谢花期是柑橘花期的第四个时期，处于绽蕾期的花的数量占总数的比例由0逐渐递增，是一个终结时期，从农业生产上来说谢花期是四个时期中最重要的两个时期之一，所以设置的规则是谢花期花朵数量占总数的比例大于等于25％即开始考虑归类到谢花期，且分为三种情况，一是谢花期花朵数量占总数的比例大于等于25％小于30％时，要求满足现蕾期花朵数量占总数的比例大于等于40％小于60％，露白期花朵数量占总数的比例大于等于35％小于60％；二是谢花期花朵数量占总数的比例大于等于30％小于35％时，要求满足露白期花朵数量占总数的比例小于60％，谢花期花朵数量占总数的比例大于等于绽蕾期花朵数量占总数的比例；三是谢花期花朵数量占总数的比例大于等于35％时要求满足谢花期大于花朵数量占总数的比例等于绽蕾期花朵数量占总数的比例。即若30％＞RateX≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateX≥30％且RateL＜60％且RateX≥RateZ，或RateX≥35％且RateX≥RateZ则判定为谢花期。

该实施例中，主要运用Faster RCNN网络作为深度学习预测模型，总体框架如图2所示，具体包括：

(1)Conv layers提取特征图：

作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取input image的feature maps，该feature maps会用于后续的RPN层和全连接层

(2)RPN(Region Proposal Networks):

RPN网络主要用于生成region proposals，首先生成一堆Anchor box，对其进行裁剪过滤后通过softmax判断anchors属于前景(foreground)或者后景(background)，即是物体or不是物体，所以这是一个二分类；同时，另一分支bounding box regression修正anchor box，形成较精确的proposal(注：这里的较精确是相对于后面全连接层的再一次box regression而言)。

(3)Roi Pooling：

该层利用RPN生成的proposals和VGG16最后一层得到的feature map，得到固定大小的proposal feature map,进入到后面可利用全连接操作来进行目标识别和定位。

(4)Classifier：

会将Roi Pooling层形成固定大小的feature map进行全连接操作，利用Softmax进行具体类别的分类，同时，利用L1Loss完成bounding box regression回归操作获得物体的精确位置。

具体实施步骤如图3所示：

步骤1，将开花枝条图片输入CNN进行花期特征图提取；

Faster RCNN首先是支持输入任意大小的图片的，比如上图中输入的P*Q，进入网络之前对图片进行了规整化尺度的设定，如可设定图像短边不超过600，图像长边不超过1000，我们可以假定M*N＝1000*600(如果图片少于该尺寸，可以边缘补0，即图像会有黑色边缘)

①13个conv层：kernel_size＝3,pad＝1,stride＝1；

卷积公式：

所以，conv层不会改变图片大小(即：输入的图片大小＝输出的图片大小)

②13个relu层：激活函数，不改变图片大小

③4个pooling层：kernel_size＝2,stride＝2；pooling层会让输出图片是输入图片的1/2经过Conv layers，图片大小变成(M/16)*(N/16)，即：60*40(1000/16≈60,600/16≈40)；则，Feature Map就是60*40*512-d(注：VGG16是512-d,ZF是256-d)，表示特征图的大小为60*40，数量为512。

步骤2，将花期特征图输入RPN生成20000左右建议窗口，把建议窗口映射到CNN的最后一层卷积的feature map上。

Feature Map进入RPN后，先经过一次3*3的卷积，同样，特征图大小依然是60*40,数量512，这样做的目的应该是进一步集中特征信息，接着看到两个全卷积,即kernel_size＝1*1,p＝0,stride＝1。

如图3中标识：①rpn_cls：60*40*512-d⊕1*1*512*18＝＝>60*40*9*2，逐像素对其9个Anchor box进行二分类。

②rpn_bbox：60*40*512-d⊕1*1*512*36＝＝>60*40*9*4，逐像素得到其9个Anchor box四个坐标信息。

Anchors的生成规则如图4所示，前面提到经过Conv layers后，图片大小变成了原来的1/16，令feat_stride＝16，在生成Anchors时，我们先定义一个base_anchor，大小为16*16的box(因为特征图(60*40)上的一个点，可以对应到原图(1000*600)上一个16*16大小的区域)，转化为[0,0,15,15]的数组，参数ratios＝[0.5,1,2]scales＝[8,16,32]，见图5，先看[0,0,15,15],面积保持不变，长、宽比分别为[0.5,1,2]是产生的Anchors box，见图6，如果经过scales变化，即长、宽分别均为(16*8＝128)、(16*16＝256)、(16*32＝512)，对应anchor box如图6所示，综合以上两种变换，见图7，最后生成9个Anchor box。

所以，最终base_anchor＝[0,0,15,15]生成的9个Anchor box坐标如下：

1[[-84.-40.99.55.]

2[-176.-88.191.103.]

3[-360.-184.375.199.]

4[-56.-56.71.71.]

5[-120.-120.135.135.]

6[-248.-248.263.263.]

7[-36.-80.51.95.]

8[-80.-168.95.183.]

9[-168.-344.183.359.]]

特征图大小为60*40，所以会一共生成60*40*9＝21600个Anchor box，通过width:(0～60)*16,height(0～40)*16建立shift偏移量数组，再和base_ancho基准坐标数组累加，得到特征图上所有像素对应的Anchors的坐标值，是一个[216000,4]的数组。

步骤3，通过RoI pooling层使每个RoI生成固定尺寸的feature map。

输入的是RPN层产生的region proposal(假定有300个region proposal box)和VGG16最后一层产生的特征图(60*40 512-d)，遍历每个region proposal，将其坐标值缩小16倍，这样就可以将在原图(1000*600)基础上产生的region proposal映射到60*40的特征图上，从而将在feature map上确定一个区域(定义为RB*)。

在feature map上确定的区域RB*，根据参数pooled_w:7,pooled_h:7,将这个RB*区域划分为7*7，即49个相同大小的小区域，对于每个小区域，使用max pooling方式从中选取最大的像素点作为输出，这样，就形成了一个7*7的feature map

以此，参照上述方法，300个region proposal遍历完后，会产生很多个7*7大小的feature map，故而输出的数组是：[300,512,7,7],作为下一层的全连接的输入。

步骤4，利用探测分类概率和探测边框回归对固定尺寸的feature mapde分类概率和边框回归联合训练以获取柑橘花期和精确位置。

经过roi pooling层之后，batch_size＝300,proposal feature map的大小是7*7,512-d,对特征图进行全连接，参照下图8，最后同样利用Softmax Loss和L1Loss完成分类和定位，通过full connect层与softmax计算每个region proposal具体属于哪个类别(如绽蕾期，露白期，现蕾期等)，输出cls_prob概率向量；同时再次利用bounding boxregression获得每个region proposal的位置偏移量bbox_pred，用于回归获得更加精确的目标检测框，预测结果见图9、图10。

即从PoI Pooling获取到7x7大小的proposal feature maps后，通过全连接主要做了：通过全连接和softmax对region proposals进行具体类别的分类；再次对regionproposals进行bounding box regression，获取更高精度的rectangle box。

综上，本发明中的快速识别柑橘花期的方法，通过智能终端拍摄开花阶段的柑橘开花枝条的照片，智能识别出柑橘现蕾期，露白期，绽蕾期，谢花期各时期的数量，即可科学估算出当前枝条的柑橘所处花期，准确计算种植区柑橘花期，为农户提供有价值的参考。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种快速识别柑橘花期的方法，其特征在于，包括以下步骤：

S1，采集多张柑橘各花期的开花枝条图片，对所述开花纸条图片中的花进行标识；

S2，将多张所述开花枝条图片分为训练集和测试集；

S3，将训练集输入深度学习神经网络训练以提取花期特征信息,根据所述花期特征信息获取柑橘花位置，经多次迭代后生成所述深度学习神经网络的网络参数；

S4，利用测试集对所述深度学习神经网络的网络参数进行测试，以获取最优网络参数的所述深度学习神经网络，再根据柑橘花位置的花期特征信息识别花期，根据各花期的花的数量获取柑橘花期。

2.根据权利要求1所述的快速识别柑橘花期的方法，其特征在于，步骤S4中根据各花期的花的数量获取柑橘花期具体如下：

S21，将单株柑橘各花期的花的数量设为：现蕾期数量N，露白期数量L，绽蕾期数量Z，谢花期数量X；

S22，建立柑橘花期计算规则：

RateN＝N/(N+L+Z+X)

RateL＝L/(N+L+Z+X)

RateZ＝Z/(N+L+Z+X)

RateX＝X/(N+L+Z+X)

RateN为现蕾期花数量占枝条花总数占比，RateL为现露白花数量占枝条花总数占比，RateZ为绽蕾期花数量占枝条花总数占比，RateX为谢花期花数量占枝条花总数占比。

S23，根据各花期花数量占枝条花总数占比获取柑橘花期。

3.根据权利要求2所述的快速识别柑橘花期的方法，其特征在于，若60％＞RateN≥40％且RateL＜35％且RateZ＜25％且RateX＜25％，或RateN≥60％且RateZ＜30％且RateX＜30％则判定为现蕾期；

若60％＞RateL≥35％且RateN＜60％且RateZ＜25％且RateX＜25％，或RateL≥60％且RateZ＜35％且RateX＜35％则判定为露白期；

若30％＞RateZ≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateZ≥30％且RateB＜60％且RateZ＞RateX，或RateZ≥35％且RateZ＞RateX则判定为绽蕾期；

若30％＞RateX≥25％且60％＞RateN≥40％且60％＞RateL≥35％，或35％＞RateX≥30％且RateL＜60％且RateX≥RateZ，或RateX≥35％且RateX≥RateZ则判定为谢花期。

4.根据权利要求1所述的快速识别柑橘花期的方法，其特征在于，所述花期特征信息包括：纹理、色彩及形状。

5.根据权利要求1所述的快速识别柑橘花期的方法，其特征在于，所述深度学习神经网络为fasterrcnn深度神经网络。

6.根据权利要求5所述的快速识别柑橘花期的方法，其特征在于，步骤S3具体包括：

S41，将所述开花枝条图片输入CNN进行花期特征图提取；

S42，将所述花期特征图输入RPN生成20000个建议窗口，把建议窗口映射到CNN的最后一层卷积的feature map上；

S43，通过RoIpooling层使每个RoI生成固定尺寸的feature map；

S44，利用探测分类概率和探测边框回归对固定尺寸的feature mapde进行分类概率和边框回归联合训练以获取柑橘花期和精确位置。

Images