CN110766690B - 基于深度学习点监督思想的麦穗检测和计数方法 - Google Patents

Abstract

本发明公开一种基于深度学习点监督思想的麦穗检测和计数方法，其包括对特定区域的大田麦穗图像进行预采集，从而得到输入图像的步骤；将输入图像输入网络结构并获得输出参数的步骤和获得每个麦穗斑块并预测麦穗数量的步骤。其中，本发明的网络结构首先通过下采样网络提取特征，然后通过上采样路径对提取的特征进行上采样，从而使输出与输入图像大小一致，得到输出图像中每个像素的概率，基于概率得到麦穗的斑块。本发明的方法能够有效克服野外环境中的噪声，实现对麦穗的快速检测和准确计数。通过在两个市的不同大田环境、不同光照强度、不同生长情况、不同拍照镜头远近的各种图片验证了本发明方法的可靠性。

Description

基于深度学习点监督思想的麦穗检测和计数方法

技术领域

本发明涉及麦穗检测，具体地涉及一种基于深度学习点监督思想的麦穗检测和计数方法。

背景技术

人工智能在农业领域的研发及应用早在本世纪初就已经开始，这其中既有耕作、播种和采摘等智能机器人，也有智能探测土壤、探测病虫害、气候灾难预警等智能识别系统，还有在家畜养殖业中使用的禽畜智能穿戴产品。这些应用正在帮助我们提高产出、提高效率，同时减少农药和化肥的使用。但是目前人工智能在我国农业领域的应用还存在着许多的问题和困难。不同于工业自动化程度，我国农业自动化、规模化程度都有很大提升空间，基础数据也比较薄弱，因此，在未来的农业现代化过程中，必须进一步提高农业生产过程的智能化，这是精准农业的必然趋势。

深度学习能够使计算机系统从经验和数据中得到提高的技术，能对现代化农业产生巨大的贡献。深度学习在未来的农业中可以做到提高农作物产量，减少化肥和灌溉成本，同时有助于早期发现作物或牲畜疾病，降低与收获后分拣相关的劳动力成本，提高市场上的产品和蛋白质的质量等农业应用。所以对于农业领域面临的诸多挑战，人工智能是重要的解决办法之一。

小麦是我国的主要粮食作物之一，其生产在国民经济和粮食生产中占有十分重要的地位。因此，小麦产量预测是农业生产中的一项重要任务。如果可以通过识别小麦群体图像进行计数，则可以代替人工计数小麦穗，提高小麦产量估计的效率。这对小麦生产决策具有重要的参考意义。机器学习在农田耕作领域得到了广泛的应用，但同时也存在一些无法突破的瓶颈。此外，深度学习算法在该领域的应用已成为当前最有前途的研究方向，小麦穗的定量预测研究也应纳入其中。

在小麦测产方面，当前有通过自制计算机视觉系统拍摄成熟期小麦群体图像，应用分形理论分析小麦群体图像的麦穗的分形特征，最后建立小麦单位面积产量模型；也有基于图像处理方法利用搭建的无人机平台获取田间小麦图像，通过图像算法对图像中的小麦植株进行计数。对于小麦的田间产量预测，主要是基于机器视觉的方法用于群体特性研究，也有少量基于深度学习的研究。但由于小麦大田环境复杂，小麦的特征分割或学习比较困难，目前而言，运用图像识别对小麦自动计数的研究并不多。

当前小麦测产存在的技术主要分为两个方向，一是传统机器学习方法，这也是当前主流的技术方向，二是基于深度学习进行计数。

就基于传统机器学习而言，主要是基于种群特征的机器视觉方法。例如Liu Zhet等采用的改进的k-means算法(Liu Zhe,Huang Wenzhun,Wang Liping.Field wheat earcounting automatically based on improved K-means clustering algorithm[J].Transactions of the Chinese Society of Agricultural Engineering(Transactionsof the CSAE),2019,35(3):174-181)。该方法通过颜色特征，建立从图像低层特征到图像中包含麦穗数的一个直接映射关系，从而不需要再对目标进行分割或检测。这是一种充分利用麦穗图像颜色特征，将局部区域内提取的子区域面积特征作为麦穗判断依据，从而把聚类区域内的子区域数作为麦穗数估计值输出。再例如，李毅念等采用的图像处理技术(李毅念,杜世伟,姚敏,et al.基于小麦群体图像的田间麦穗计数及产量预测方法[J].农业工程学报,2018,34(21):193-202)，利用特定装置以田间麦穗倾斜的方式获取田间麦穗群体图像，通过转换图像颜色空间RGB→HSI，提取饱和度S分量图像，然后把饱和度S分量图像转换成二值图像，再经细窄部位粘连去除算法进行初步分割，再由边界和区域的特征参数判断出粘连的麦穗图像，并利用基于凹点检测匹配连线的方法实现粘连麦穗的分割，进而识别出图像中的麦穗数量。还例如，中国专利文献CN105427275A公开了一种方法，该方法包括获取待测区域内的麦穗图像；提取所述麦穗图像的麦穗特征信息；根据所述麦穗特征信息获取二值化图像；将所述二值化图像进行细化处理，得到麦穗骨架图像；根据所述麦穗骨架图像确定麦穗骨架数量及麦穗骨架拐点数量，并将所述麦穗骨架数量及麦穗骨架拐点数量之和作为麦穗数量。在CN109145848A中也公开了类似的方法，区别仅在于具体过程略有不同。与之相似的还有CN107590812A和CN108492296A等。另外，CN107764382A还设计了一种综合麦穗产量预测的过程，但没有给出如何实现对于具体的每张图像的计数方法。CN103632157A对于单株麦穗的籽粒进行计数，以及杜等学者发布于南京大学农业学报的基于小麦穗部小穗图像分割的籽粒计数方法([J].南京农业大学学报,2018,v.41；No.177(04):172-181)等。

而对于基于深度学习的方法，当前主要使用麦穗(目标)检测的方法。例如CN109740721A公开的方法，该方法将麦田环境下拍摄到的图像输入至图像识别模型，输出图像的标签，图像识别模型是基于样本标签图像以及样本标签图像对应的标签训练得到的；若标签为麦穗图像，则基于非极大抑制算法确定图像中的麦穗数量。这是合理的，但是需要额外的预测标签，会影响计数准确性。在CN107145908A公开的基于R-FCN的对于小目标检测的方法也可以体现到麦穗识别中，但是同样的是目标检测的方法。

综合分析现有技术，目前存在的缺陷是明显的。即，基于传统机器学习的方法其鲁棒性差，不同光照强度，不同的生长，不同的生长环境的预测准确率是不稳定的，大多只能在实验室进行分析，在实际情况下预测准确率会降低。另外，传统方法需要多步处理，因此速率是较慢的。而基于深度学习的但属于目标检测的方法输出的是麦穗图像的标签，需要学习麦穗的大小，形状。在基于R-FCN的小目标检测算法中，是二状态目标检测，不能形成端到端的网络，另外，基于深度学习的方法在进行训练学习之前，要对麦穗(目标)进行标记。而在诸如CN109740721A以及CN107145908A中基于目标检测的方法既需要设置目标(麦穗，叶片，阴影等)的类别，还需要以每个目标的区域作为标签进行标记。

发明内容

针对当前技术存在的问题，特别是不能有效适应各生长阶段，各光照强度的麦穗大田环境问题，准确率不足，不能很好计数，以及处理手法复杂，需要多步设计进行处理，不能端到端的预测和速率较慢等问题，本发明进行了改进，研究并设计了一个基于点监督的卷积神经网络模型，实现了基于图像处理和深度学习技术的麦穗的识别和计数，从而解决了现有技术中存在至少部分技术问题。至少基于此完成了本发明。具体地，本发明包括以下内容。

本发明提供一种基于深度学习点监督思想的麦穗检测和计数方法，其包括以下步骤：

(1)对特定区域的大田麦穗图像进行预采集，从而得到图像的步骤；

(2)将所述输入图像输入网络结构并获得输出参数的步骤，其中，所述网络结构首先通过下采样网络提取特征，然后通过上采样路径对提取的特征进行上采样，从而使输出与输入图像大小一致，其中输出图像中每个像素i的得分表示属于c类的概率，最后基于所述概率得到麦穗的斑块；

(3)获得每个麦穗斑块并预测麦穗数量的步骤。

在步骤(1)中，图像采集的方法不特别限定，可例举人工摄像或无人机方法进行采集。对于采集的环境，例如光照强度、周围环境、麦穗生长状况等没有任何要求，在任何环境下采集的图像均可使用。另外，对于图像的大小和拍摄距离等也不特别限定。

在步骤(2)中，对于给定的输入图像，本发明的网络模型可以具体为首先通过下采样网络提取特征，然后通过上采样路径对提取的特征进行上采样的网络模型。对下采样和上采样的网络模型的实例不做出具体限定。本发明中，先下采样后上采样的思想主要是为了保持与输入图片大小对应，输出每个像素i的得分，用来表示它属于c类的概率，最后得到麦穗的斑块。

本发明中，网络结构的参数是由采集样本通过特定损失函数训练获得的，对损失函数的公式不做出具体限定。深度学习的一个重要特点便是特征学习，因此需要进行训练，本发明的方法不对训练样本数量做出具体限定，但由于训练集样本图片越多，训练模型的稳定性和准确性就更高，且可以更好防止过拟合。因此，本发明中训练样本集数量一般为200以上，优选500以上，更优选1000以上。

本发明中，对图像进行像素级的分类，采用输入与输出大小相同的思想，从而解决了语义级别的图像分割问题。与经典的CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，本发明可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图进行像素的分类。但值得一提的是，本发明的方法区别于一般语义分割网络，因为需要学习的方面是不一样的。

在步骤(3)中，通过以下三个子步骤来预测c类对象的数量：

(I)通过上采样路径输出一个矩阵Z，其中每一项Zic是像素i属于c类的概率；(II)生成二进制掩码F，其中像素Fic＝1，当且仅当argmaxk Zik＝c，否则为0；(III)使用F上的连通分量算法得到每个c簇，其计数为预测簇的个数。

步骤(II)中，生成二进制掩码F，当且仅当argmaxk Zik＝c，也就是通过网络预测像素i属于类别，若麦穗类置信度最高，则在二进制掩码中，像素Fic＝1，否则为0，即背景类，在本文中的二进制掩码，即对于2D静态图像，对每个像素点设置一个非0即1的编码，如此可以将斑块与背景区分。

步骤(III)中，连通分量算法即确定两个斑块之间不存在共同区域的算法，可采用已知方法。对连通分量算法不做出具体限定。优选使用例如Wu K,Otoo E,Shoshani A,etal.SPIE Proceedings[SPIE Medical Imaging-San Diego,CA(Saturday 12February2005)]Medical Imaging 2005:Image Processing-[C]//Medical Imaging 2005:ImageProcessing.International Society for Optics andPhotonics,2005:1965-1976.中的连通分量算法。

在某些实施方案中，在基于深度学习点监督思想的麦穗检测和计数方法的步骤(2)中，所述网络结构的参数是由采集样本通过损失函数训练获得的。优选地，所述损失函数包括图像级损失、点级损失、分割级损失和假阳性损失。更优选地，所述损失函数由下式(1)表示：

L(S,T)＝L_I(S,T)+L_P(S,T)+L_S(S,T)+L_F(S,T) (1)

其中，T表示与真实点释义匹配的矩阵，正确匹配的位置标记为c，其它位置为0，S表示网络结构输出的矩阵，对于矩阵的每一个点Sic是指i像素点属于c类的概率；

L_I表示图像级损失，意味着找到原始图像中存在的语义类别，其由下式(2)计算得到：

其中，Ce表示原图像中存在的物体集合，C表示不存在物体的类别和组合，

表示S中每个像素中属于C类物体的最大概率；

Lp表示点级损失，只计算标记的位置点，以找到需要预测的对象类别c,其由下式(3)计算得到：

其中，I_s为我们标记的像素点集，T_i是像素点i的真实标签，矩阵S在上文已经说明。

L_S表示分割级损失，其根据释义计算对象的边界，并将这些边界划分为背景类，其由下式(4)计算得到：

S_i0是像素点i属于背景类的概率，T_b是划分斑块边界上的像素点集，∝_i是对于像素点i所属的斑块，存在的我们标记的点的数量，即学习让每一个斑块只有一个真实麦穗标记。

L_F表示假阳性损失，用于计算所有不包含标记点的区域的成本损失，进而剔除需要预测的小麦穗以外的区域，其由下式(5)计算得到：

B_fp是不存在我们标记的点的斑块的像素点集，S_i0上文已经介绍，是像素点i属于背景类的概率，即这个损失函数让所有不包含真实标记的斑块里的像素点都被预测为背景类。

优选地，在基于深度学习点监督思想的麦穗检测和计数方法中，所述语义类别的数量为2，即只有麦穗类和背景类。

优选地，在基于深度学习点监督思想的麦穗检测和计数方法中，通过分水岭划分法或有线分割法来确定对象的边界。更优选地，所述分水岭划分法包括：使用分水岭分割算法全局应用于输入图像，并以具有点标记的位置作为种子，将分割应用于前景概率的距离变换，得到k个分割，其中k为图像中点标记的个数，和可选地，对于全局分割中的包含大于或等于两个点标记的斑块进一步进行局部分割，从而确保每个斑块至多有一个真实点标记。

本发明的方法是偏向于语义分割但又不同于传统语义分割的点监督方法，是专门针对于学习目标特征并计数的方法。本发明基于点监督的卷积神经网络模型实现基于图像处理和深度学习技术的麦穗的识别和计数的方案与当前的基于深度学习目标检测方法的麦穗识别不同。本发明根据田间环境采集图像的特点，利用算法对原始图像进行预处理，得到想要预测的单元，将得到的单元内的图像数据制成完整的小麦穗数据集，然后采用基于点监督的语义分割网络模型进行麦穗计数，这里与概念上的语义分割有所区别。该方法能够有效克服野外环境中的噪声，实现对麦穗的快速检测和准确计数。通过在两个市的不同大田环境、不同光照强度、不同生长情况、不同拍照镜头远近的各种图片下综合验证了本发明的方法。

与基于传统机器学习的方法相比，本发明的方法已经对两个城市不同的光照强度不同生长状况不同小麦数量的大田小麦图片一起进行分析验证，准确率和识别效果是稳定的。另外，与传统方法需要多步处理，速率较慢相比，本发明的方法是一种端到端的方法，输入麦穗图片直接通过一个网络结构即可获得计数结果，速率更快。

与属于目标检测的深度学习方法相比，本发明的输出并不是麦穗图像的标签，只需要一个不确定大小形状的斑块，不需要学习麦穗的大小，形状，但却同样可以学习麦穗的特征。因此，使本发明的方法的准确率高于当前存在的基于麦穗检测方法。另外，本发明的方法只需要对每个麦穗标记一个点即可完成工作，因此相对于目标检测的方法还会节省很多人力资源。

附图说明

图1本发明方法的一种示例性预测过程图。

图2为本发明方法所采用的一种网络结构示意图。

图3为示例性麦穗图像及输出结果图。其中，上方一行中的两张图为原图，下方一行中的两张图为预测结果图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为具体公开了该范围的上限和下限以及它们之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所述领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

实施例

一、图像采集

以无人机从河南省新乡市以及漯河市采集近两千张麦穗图片，这个图片包含诸多不同光照强度，不同拍摄距离，不同密集程度的样本。对1067张图片进行标记，随机抽取665张图片作为训练集，210张作为验证集，190张作为测试集，比例接近6:2:2。不同于目标检测方法，我们对每个麦穗只需要标记一个像素点。我们在训练过程中采用了平移、旋转、失真等数据增强方法来增加训练数据的数量。数据增强有利于神经网络的训练，避免过度拟合，提高模型的泛化能力。

二、将输入图像输入网络结构并获得输出参数

以ResNet作为示例性网络结构进行说明。关于ResNet可参见例如He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J].2015。

ResNet由于其在ILSVRC-2016中的96.4％的准确率而受到广泛关注。除了它的高精度，ResNet网络还以其高达152层的深度和插入剩余模块而闻名。残差模块解决了真实深度网络的训练问题。通过导入标识跳过连接，每一层都可以将其输入复制到后一层。这种方法的关键思想是确保下一层从输入中学习新内容(因为下一层同时获得前一层的输出和原始输入)。这种联系还有助于解决梯度消失的问题。需要说明的是，本发明的语义分割网络模型还可采用：

FCN8，参见Long J,Shelhamer E,Darrell T.Fully convolutional networksfor semantic segmentation[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2014,39(4):640-651；

Segnet，参见Badrinarayanan V,Kendall A,Cipolla R.SegNet:A DeepConvolutional Encoder-Decoder Architecture for Scene Segmentation[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2017:1-1；

PSPnet，参见Zhao H,Shi J,Qi X,et al.Pyramid Scene Parsing Network[J].2016；

Deeplab，参见Chen L C,Papandreou G,Kokkinos I,et al.Semantic ImageSegmentation with Deep Convolutional Nets and Fully Connected CRFs[J].Computer Science,2014；Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:Semantic Image Segmentation with Deep Convolutional Nets,Atrous Convolution,and Fully Connected CRFs[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2016,40(4):834-848；Chen L C,Papandreou G,Schroff F,etal.Rethinking Atrous Convolution for Semantic Image Segmentation[J].2017；ChenL C,Zhu Y,Papandreou G,et al.Encoder-Decoder with Atrous SeparableConvolution for Semantic Image Segmentation[J].2018。

在该步骤中，训练过程需要的损失函数可具体例举以下函数。

本示例性损失函数总共使用了四个损失函数，如式(1)所示，图像级损失和点级损失的功能是对图像的每个像素进行语义标记，分割级损失和假阳性损失起到了分割区域的作用，将包含多个目标对象的分割区域变成包含单个对象的独立区域。具体如下式(1)所示：

L(S,T)＝L_I(S,T)+L_P(S,T)+L_S(S,T)+L_F(S,T) (1)

式(1)的具体解释如下：T表示与真实点释义匹配的矩阵，正确匹配的位置标记为c，其它位置为0。我们的模型输出一个矩阵S，对于矩阵的每一个点Sic是指i像素点属于c类的概率，接下来，对L损失函数的四种损失进行详细的说明。

L_I表示图像级损失。它仅仅意味着找到原始图像中存在的所有语义类别。对于小麦数据集，找到图片中的所有类别，即麦穗、背景。式中，Ce为原图片中存在的物体集合，C为不存在物体的类别和组合，

为S中每个像素中属于C类物体的最大概率，L_I具体计算过程如下：

点级损失如式(3)所示。对于该发明，只计算标记的位置点，以找到我们需要预测的对象类别c。点级损失计算如下：

L_S是用来分割斑块的损失。它可以根据释义计算对象的边界，并将这些边界划分为背景类。计算方法如式(4)所示。

假阳性损失类似于公式(5)，通过计算所有不包含标记点的区域的成本损失，可以剔除需要预测的小麦穗以外的区域。

对于损失函数L_S部分，如何划分每个斑块的边界，优选地，我们使用分水岭划分方法来确定边界。分水岭划分方法由全局和局部分割过程组成，对于全局分割过程，我们使用分水岭分割算法全局应用于输入图像，并以具有点标记的位置作为种子，将分割应用于前景概率的距离变换，得到k个分割，其中k为图像中点标记的个数。对于局部分割过程，是对于全局分割中的包含大于或等于两个点标记的斑块而言的，确保每个斑块至多有一个真实点标记。另外，除了分水岭划分方法，备选的方法有线分割法等。

三、获得每个麦穗斑块并预测麦穗数量

本步骤中，优选地，类别即c所代表的数量为2，即只有麦穗类和背景类。这是合适的，因为基于点监督思想的算法是不需要考虑预测目标的形状的，并不需要准确预测出麦穗的整体位置，因此对于其他的噪声并不需要诊断出来。这与中国专利公布CN109740721A的说明中，类别还包含有叶片，阴影等完全不同。

依据本实施例的内容，我们在验证集里取准确率最优的网络结构参数，测试于测试集，取得了94.93％的准确率，对所有验证集图进行综合计数的总准确率为98.41％，预测效果图如图3所示。

深度学习是当前热门的话题之一，已经应用到各行各业和领域，本方法首先将深度学习点监督思想应用到麦穗计数当中，既不像传统机器学习方法那样需要多个处理过程，需要人工步骤较多，繁琐且速率低下，也不像目标检测算法那样需要预测目标框的形状大小，但我们的方法却仍然可以麦穗特征，这是符合深度学习的特征学习思想，也是符合计数这一具有针对性特点的设计。

不同于传统机器学习方法那样受环境因素影响在不同场景下准确率差异较大，且需要人为考虑因素较多，速率较慢，不能有效的应用到实际场景中，也不同于目标检测由于需要多余的位置大小形状检测因素导致准确率不高，本方法具有高鲁棒性，适应各种场景，且是端到端的设计，无需人工参与，且在准确率方面取得了先进性成果，这个准确率的对比如表1所示。

表1-本发明的方法和当前方法的比较

注：

[1]Liu Zhe,Huang Wenzhun,Wang Liping.Field wheat ear countingautomatically based on improved K-means clustering algorithm[J].Transactionsof the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2019,35(3):174-181.

[2]李毅念,杜世伟,姚敏等人.基于小麦群体图像的田间麦穗计数及产量预测方法[J].农业工程学报,2018,34(21):193-202.

[3]ZHANG Lingxian,CHEN Yunqiang,LI Yunxia,et al.Detection andCounting System for Winter Wheat Ears Based on Convolutional Neural Network.

尽管本发明已经参考示例性实施方案进行了描述，但应理解本发明不限于公开的示例性实施方案。在不背离本发明的范围或精神的情况下，可对本发明说明书的示例性实施方案做多种调整或变化。权利要求的范围应基于最宽的解释以涵盖所有修改和等同结构与功能。

Claims (7)

1.一种基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，包括以下步骤：

(1)对特定区域的大田麦穗图像进行预采集，从而得到输入图像的步骤；

(2)将所述输入图像输入网络结构并获得输出参数的步骤，其中，所述网络结构首先通过下采样网络提取特征，然后通过上采样路径对提取的特征进行上采样，从而使输出与输入图像大小一致，其中输出图像中每个像素i的得分表示属于c类的概率，最后基于所述概率得到麦穗的斑块，其中，所述c类为背景类或麦穗类，所述网络结构的参数由采集样本通过下式(1)表示的损失函数训练获得：

L(S,T)＝L_I(S,T)+L_P(S,T)+L_S(S,T)+L_F(S,T) (1)

其中，T表示与真实点释义匹配的矩阵，正确匹配的位置标记为1，其它位置为0，S表示网络结构输出的矩阵，对于矩阵的每一个点S_ic是指i像素点属于c类的概率；

L_I表示图像级损失，意味着找到原始图像中存在的语义类别，其由下式(2)计算得到：

其中，C_e表示原图像中存在的类别集合，

表示不存在的类别集合，

表示S中像素属于c类的最大概率；

Lp表示点级损失，只计算标记的位置点，以找到需要预测的对象类别,其由下式(3)计算得到：

其中，I_s表示标记的像素点集，T_i表示像素点i的真实标签；

L_S表示分割级损失，其根据释义计算对象的边界，并将这些边界划分为背景类，其由下式(4)计算得到：

S_i0表示像素点i属于背景类的概率，T_b表示划分斑块边界上的像素点集，∝_i表示对于像素点i所属的斑块，存在的已标记的点的数量；

L_F表示假阳性损失，用于计算所有不包含标记点的区域的成本损失，进而剔除需要预测的小麦穗以外的区域，其由下式(5)计算得到：

B_fp表示不存在已标记像素点的斑块的像素点集；

(3)获得每个麦穗斑块并预测麦穗数量的步骤，其包括通过以下三个子步骤来预测c类对象的数量：

(I)通过上采样路径输出一个矩阵S，其中每一项S_ic是像素i属于c类的概率；

(II)生成二进制掩码F，若麦穗类置信度最高，则在二进制掩码中，像素Fic＝1，否则为0，即背景类；

(III)在F上使用连通分量算法得到麦穗类簇，将其计数为预测簇的个数。

2.根据权利要求1所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，步骤(1)中，采用人工摄像或无人机方法进行大田麦穗图像的预采集。

3.根据权利要求1所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，步骤(1)中，对于预采集的环境以及图像的大小和拍摄距离不需要确定。

4.根据权利要求1所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，通过分水岭划分法或有线分割法来确定对象的边界。

5.根据权利要求4所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，所述分水岭划分法包括：

使用分水岭分割算法全局应用于输入图像，并以具有点标记的位置作为种子，将分割应用于前景概率的距离变换，得到k个分割，其中k为图像中点标记的个数。

6.根据权利要求5所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，所述分水岭划分法进一步包括对于全局分割中的包含大于或等于两个点标记的斑块进一步进行局部分割，从而确保每个斑块至多有一个真实点标记。

7.根据权利要求1所述的基于深度学习点监督思想的麦穗检测和计数方法，其特征在于，所述训练时的训练样本集数量为200以上。

Images