CN115019044A - 单株植物的分割方法、装置、终端设备和可读存储介质 - Google Patents

Abstract

本申请提供了一种单株植物的分割方法、装置、终端设备和可读存储介质，方法包括获取待识别植物图像；其中待识别植物图像中包括一株或多株植物；然后将待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，植物分割模型是采用标记的植物图像样本对改进的CBAM‑MaskRCNN模型进行训练得到的，改进的CBAM‑MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层该方法。可以实现对小型植物的分割，分割效率且准确率高。

Description

单株植物的分割方法、装置、终端设备和可读存储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种单株植物的分割方法、装置、终端设备和计算机可读存储介质。

背景技术

植被作为地球表面重要的覆被，植被叶片通过光合作用、蒸腾作用等控制着生态系统中的碳循环及能量交换，从而控制着植被生产力与自然系统间的平衡。目前，植被与大气变化的研究都是基于植被冠层与大气间的物质交换，单棵植被与大气相互作用的研究因获取方法的局限性受到影响。基于遥感卫星及近地面遥感探测方式的发展，植被观测研究也从植被冠层精确到单棵树木尺度上。单木分割是指从遥感图像中分割出单株植物，单株植物的森林结构参数可用于植被与大气交换的后续研究。

传统的单木提取是通过野外森林资源调查的方式，获取树高、胸径、冠幅等植物信息。传统方法测量难度大，工期长，信息采集效率低。随着遥感卫星及近地面卫星的发展，可以利用地面激光雷达或机载的激光雷达来记录植被数据，为单木提取带来了新的研究思路。地面激光雷达使用自下而上的记录方式限制了获取数据的高度，测量冠层部分出现盲区；机载激光雷达使用的是自上而下的记录方式，对于植被垂直结构特征有较好的视角记录。激光雷达获取的激光点云数据常用于单株树木的提取，提取方法都是通过构建系列的模型反演出植被特征，进行单木分割。结合激光点云数据的单木分割方法包括局部最大值方法、基于分水岭的方法、点云聚类的方法、PCS算法、基于CHM的多项式拟合、区域合并的均值漂移等。这些方法都是根据影像数据中植被的纹理特征及记录的激光点云数据进行处理，通过利用各种拟合方式提取树木的高度、冠幅直径等参数，确定单株植被的分割。这种方法往往受到激光点云探测的数据量而影响单木分割的精度，点云数据量过于稀疏无法刻画植被冠层垂直分布状况，从而不能保证单木分割的精度。

对于结构简单且稀疏分布的树木，一些研究者提出了结合超体素的点云数据处理方法被用于树木分割，即通过移动激光扫描数据，利用超体聚类的方法对几何特征进行分析，结合几何上下文特征及随机森林的方法对树木进行标记，通过局部信息的迭代正则化处理，在全局信息上进行整体优化,从而对初始的语义分类结果进行空间平滑，最后根据语义分割标记的结果,实现单株树木的分割。该方法可以有效的保持单株树木的几何边界，并且提升了单木分割的效率。但是对于结构复杂且狭窄的树木，依然会存在过分割与欠分割的现象。

随着深度学习的发展，一些深度学习方法也被用于无人机影像树木图像的分割。例如U-net卷积神经网络用于高分辨率影像中分割出植被范围，由于检测方式是像素级的，只能用于大型灌木的分割。一种基于深度学习的油棕树检测和计数方法，是在小区域性尺度上，通过使用一些简单深度学习模型作为分类器，分割出单株树木。深度学习的单株植物分割方法直接从影像中分割植被区域，相比于传统的反演方法更加方便快捷，但是分割的对象目前只能停留在大型灌木上，无法准确地分割出小型植物。

发明内容

有鉴于此，本申请实施例中提供了一种单株植物的分割方法、装置、终端设备和计算机可读存储介质，以克服现有技术中深度学习的单株植物分割方法只能适用于分割大型灌木，无法准确分割小型植物的问题。

第一方面，本申请实施例提供了一种单株植物的分割方法，该方法包括：

获取待识别植物图像；其中所述待识别植物图像中包括一株或多株植物；

将所述待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，所述植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，所述改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层。

第二方面，本申请实施例提供了一种单株植物的分割装置，该装置包括：

待识别植物图像获取模块，用于获取待识别植物图像；其中所述待识别植物图像中包括一株或多株植物；

分割结果模块，用于将所述待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，所述植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，所述改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层。

第三方面，本申请实施例提供了一种终端设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的单株植物的分割方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的单株植物的分割方法。

本申请实施例提供的单株植物的分割方法、装置、终端设备和计算机可读存储介质，首先获取待识别植物图像；其中待识别植物图像中包括一株或多株植物；然后将待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层。

本申请实施例中的单株植物的分割方法，采用了标记的植物图像样本来训练改进的CBAM-MaskRCNN模型从而来得到预先训练的植物分割模型，那么基于植物分割模型就能识别出待识别植物图像中的单株植物，从而实现对单株植物的分割，使用非常方便；并且采用改进的CBAM-MaskRCNN模型，在传统卷积模型中加入了CBAM注意力模块以及RPN网络，可以实现对小型植物的分割，分割效率且准确率高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的单株植物的分割方法的应用场景示意图；

图2为本申请一个实施例提供的单株植物的分割方法的流程示意图；

图3为本申请一个实施例提供的改进的CBAM-MaskRCNN模型结构示意图；

图4为本申请一个实施例中提供的单株植物的分割装置的结构示意图；

图5为本申请一个实施例中提供的终端设备的结构示意图；

图6为本申请一个实施例中提供的计算机可读存储介质的结构示意图。

具体实施方式

下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了更详细说明本申请，下面结合附图对本申请提供的一种单株植物的分割方法、装置、终端设备和计算机可读存储介质，进行具体地描述。

请参考图1，图1示出了本申请实施例提供的单株植物的分割方法的应用场景的示意图，该应用场景包括本申请实施例提供的终端设备100，终端设备100可以是具有显示屏的各种电子设备(如102、104、106和108的结构图)，包括但不限于智能手机和计算机设备，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。终端设备100中可以存储有预先训练的植物分割模型；终端设备100还可以用来对待识别植物进行拍照生成待识别植物图像。

终端设备100可以泛指多个终端设备中的一个，本实施例仅以终端设备100来举例说明。本领域技术人员可以知晓，上述终端设备的数量可以更多或更少。比如上述终端设备可以仅为几个，或者上述终端设备为几十个或几百个，或者更多数量，本申请实施例对终端设备的数量和类型不加以限定。终端设备100可以用来执行本申请实施例中提供的一种单株植物的分割方法。

在一种可选的实施方式中，该应用场景包括本申请实施例提供的终端设备100之外，还可以包括服务器，其中服务器与终端设备之间设置有网络。网络用于在终端设备和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。其中，终端设备通过网络与服务器交互，以接收或发送消息等。服务器可以是提供各种服务的服务器。其中服务器可以用来执行本申请实施例中提供的一种单株植物的分割方法的步骤。此外，终端设备在执行本申请实施例中提供的一种单株植物的分割方法时，可以将一部分步骤在终端设备执行，一部分步骤在服务器执行，在这里不进行限定。

基于此，本申请实施例中提供了一种单株植物的分割方法。请参阅图2，图2示出了本申请实施例提供的一种单株植物的分割方法的流程示意图，以该方法应用于图1中的终端设备为例进行说明，包括以下步骤：

步骤S110，获取待识别植物图像；其中待识别植物图像中包括一株或多株植物。

具体来说，待识别植物图像可以是任意的需要进行单株植物识别或分割的图像。其中待识别植物图像中包含有植物，植物数量可以是一株或多株，当有多株植物时，各株植物可以是分开的，即各株植物之间没有发生聚集或互相覆盖遮叠的情况；也可以是聚集的，即不同株植物之间有互相覆盖遮叠的情况。

另外，待识别植物图像的角度(即图像是否发生倾斜)、颜色、大小、分辨率等不限，只要能符合图像识别的最低要求即可。

步骤S120，将待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果。

其中，植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层。

具体地，模型训练就是给定输入向量和目标输出值，然后将输入向量来输入一个或多个网络结构或函数来求得实际输出值，并根据目标输出值和实际输出值来计算偏量，并判断偏量是否在容许范围内；若在容许范围内，则训练结束并固定相关参数；若不在容许范围内，不断去调整网络结构或函数中的一些参数，直至在偏量在容许范围内或达到了某一结束条件时，训练结束并固定相关参数，最后根据固定的相关参数即可得到训练完成的模型。

而本实施例中的植物分割模型的训练实际上为：将标记有植物信息的标记后的植物图像样本作为输入向量输入至改进的CBAM-MaskRCNN模型，将单株植物所在区域作为目标输出值；求隐含层，根据各层单元的输出，求出目标输出值和实际输出值的偏差，当偏差在不容许范围内，计算网络层中神经元的误差，求误差梯度，并更新权值，重新求隐含层，根据各层单元的输出，求出目标输出值和实际输出值的偏差，直至偏差在容许范围内，训练结束，固定权重和阈值，从而得到预先训练的植物分割模型。此外，在本实施例中，采用了改进的CBAM-MaskRCNN模型，改进的包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层(请参照图3所示)等几部分，其中CBAM模块是指卷积模块的注意力模块，即在传统的卷积模型中加入了CBAM模块(即注意力模块)。在CBAM-MaskRCNN模型中引入了注意力机制，能进一步提高单株植物识别或分割的准确率。

进一步地，还给出了训练或建立植物分割模型的实施方式，相关描述如下：

在一个实施例中，植物分割模型的训练方法，包括：

S1：获取植物图像样本，采用植物信息对植物图像样本中的每一个植物进行标记。

在本实施例中，首先要准备比较多(例如几千张、几万张等)数量的植物图像样本。其中，植物图像样本可以是拍摄设备自行拍摄收集，也可以是从数据库中进行爬取下载的。

在一种优选的实施方式中，植物图像样本来源于美国航空航天局旗下的分实验室ORNL DAAC提供的植被物候相机PhenoCam数据，PhenoCam网络(http://phenocam.sr.unh.edu)站点为一种近地面监测数据，该站点网络数据于2008年建立，目前已经超过了750个年际物候站点，主要分布在北美及加拿大区域，从阿拉斯加到佛罗里达，从夏威夷到亚利桑那到缅因州，在中美洲和南美洲以及欧洲也有一些地点。PhenoCam物候站点通过数码相机的图像在高时间分辨率下记录植被物候图像，从黎明到黄昏每30分钟记录一次包含红绿蓝波段的图像，在当地部分站点还增加了红外波段进行探测，在夜间的时间频率相对拉长。本发明选择了46个站点区域的一年内的物候相机图像，每个站点选择一年的数据作为研究区域，包含纬度32°至47°N范围和高程1-1550m范围数据数据，大部分的这些研究地点是温带大陆性气候。每个站点选择当地时间中午11：30到下午13：30内的物候相机影像数据进行实验。

本申请实施例中的植物图像样本选择PhenoCam数据，一是因为该数据为公开数据，方便获取。该站点实时传输的物候相机图像数据公开在网站平台上，用户可以直下载。二是因为该数据覆盖范围广，包括不同气候类型区域的植被类型。目前该数据截至2018年底包括1783个站点年的数据，跨越的范围从北美到南美部分地区。三是该站点平台的数据和图像已经过筛选，排除了使用了自动白平衡设置的灰度相机数据。由于自动白平衡设置会对派生的植被信息数据质量产生负面影响，为了单株植物分割的准确率，在本申请实施例中提出了白平衡数据进行了剔除。

通常情况下，植物图像样本越多，其训练的模型更加精确；但植物图像样本太多会降低模型训练的速度。因此，在实际应用中，选择合适数量的图像样本即可。

在本实施例中，在从植被物候相机PhenoCam数据中获取物候相机数据时，还对物候相机数据进行预处理，其预处理过程从选择站点数据开始，优先选择公开数据集中数据连续且丢失较少的站点数据，一些选择的站点数据中，因数据污染包括天气原因如下雨淋湿镜头等导致拍摄的图像中含有水珠，或因镜头有雾甚至太阳光斑等造成的噪声干扰，或因动物足迹等污染对图片进行剔除处理。最后考虑到不同站点气候分布及植被类型等因素，在本申请实施例中一共挑选了该网站平台的46个站点数据共7639张物候相机图片用于训练和验证。另外，在准备植物图像样本时尽可能使样本多样化。

此外，在获取到植物图像样本之后，可以对植物图像样本按照预设比例(例如7:3)划分成训练集和测试集。然后对训练集和测试集中的植物图像样本采用植物信息进行标记。可选地，可以采用植物标签来对植物图像样本中的每一株植物进行标记。

在一种可选地实施方式中，可以采用labelimg软件来对植物图像样本做标记，在植物图像样本上框选出每一株植物，其中每个标签样本对象定义为树，每棵树为单独的一个封闭的多边形区域构成，从而生成植物标签，将植物标签保存在相应的(例如xml)格式文件中。

在标记完成后，可以采用训练集中标记后的植物图像样本来训练改进的CBAM-MaskRCNN模型，从而得到植物分割模型。在得到植物分割模型后，可以采用测试集中的标记后的植物图像样本来验证植物分割模型的精度。

在采用标记后的植物图像样本训练改进的CBAM-MaskRCNN模型，还可以对标记前或标记后的植物图像样本做一些处理，例如图像增强，图像尺寸调整，以提高模型的泛化能力，以避免产生过拟合现象。

接下来，给出了对植物图像样本进行处理的实施例，具体描述如下：

在一个实施例中，将采用植物信息对所述植物图像样本中的每一个植物进行标记之前，还包括：随机选择一种或多种增强处理方法对植物图像样本进行增强处理；其中当选择多种增强处理方法时，每一种增强处理方法的运行顺序是随机的，增强处理方法包括对植物图像样本进行灰度变换处理、随机偏移变换处理、随机折叠处理、随机缩放处理、随机拉伸处理和随机旋转处理。

具体来说，植物图像样本增强对植物分割模型的单株植物识别或分割性能起着至关重要的作用，数据增强处理还有助于提升改进的CBAM-MaskRCNN模型的泛化能力。未经过图像增强处理的植物图像样本相比于经过图像增强处理的植物图像样本，规模通常较小，直接用于图像识别、分类及分割的模型训练中，常会产生过拟合现象。为了训练出优秀的植物分割模型，对标记后的植物图像样本进行数据增强处理，同时为了避免因数据量小造成的过拟合问题，需要对植物图像样本进行扩充等操作。

在本实施例中，可以采用以下几种方法对植物图像样本进行增强处理：(1)随机偏移变换：将植物图像样本通过不同方向平移影像数据，以增加数据量同时增强数据的泛化性，在本实施例中图像偏移量最多不超过10％。(2)灰度变换：包括对植物图像样本进行灰度变化和色度饱和度等处理，以消除非研究对象的噪声信息干扰，增加模型对于目标图像信息特征的识别。(3)随机折叠：随机折叠的过程中使用了包括横、竖、斜三种不同的方式对植物图像样本进行折叠，满足数据在不同变换需求内的识别精度，提高数据预测的泛化能力。(4)随机缩放：在随机缩放情况下，保证植物图像样本随机缩放比最多不超过10％。(5)随机拉伸：在本实施例中使用的随机拉升指将植物图像样本沿垂直方向或水平方向随机拉升，拉升的比例一般不超过10％。(6)随机旋转：随机旋转指在植物图像样本上进行一定比例的旋转，以增强植物图像样本的样本量，并对复杂站点样本数据增加模型泛化能力。

在一个实施例中，将标记后的植物图像样本输入至主干网络提取图像特征之前，还包括：对标记后的植物图像样本的尺寸进行调整。

具体而言，为了统一模型输入数据，从而方便模型运行，同时考虑到硬件因素的影响。可以对标记后的植物图像样本的尺寸统一处理。可以将标记后的植物图像样本的尺寸调整为目标尺寸(例如224x224)。其中在对标记后的植物图像样本进行尺寸调整时，可以采用对图像缩放方式，如果不足224x224区域的图像尺寸用0值填充，本实施例中的尺寸调整方法相较于使用其他方式如裁剪填充等方法，更大程度的保留原数据图像中的细节特征信息。通过使用缩放函数在后期的卷积神经网络识别过程中，避免了后续的植被信息应用过程中丢失重要信息特征。在对标记后的植物图像样本的尺寸调整完成后，可以将图像样本格式统一转换为所需要的格式。

S2：将标记后的植物图像样本输入至主干网络提取图像特征，并将图像特征通过CBAM模块进行特征优化，以得到优化特征图。

请参照图3，改进的CBAM-MaskRCNN模型主要包括主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层等几大部分。其中主干网络即为图中的Backbone部分，Backbone部分为卷积神经网络的主框架部分，中间增加了CBAM注意力机制用于提高MaskRCNN的分割精度。其中注意力机制CBAM部分的是由CA和SA构成，CA部分是通道上对像元尺度增加的注意力学习，SA是区域尺度上增加的注意力学习。RPN为特征区域部分的筛选过程，用于特征的识别。ROI Align部分将特征信息重新采样到统一大小部分，最后得到特征图。

在一个实施例中，主干网络包括ResNet网络和金字塔网络；将标记后的植物图像样本输入到主干网络提取图像特征包括：将标记后的植物图像样本输入至ResNet网络进行特征提取，得到初始特征；将初始特征通过金字塔网络进行特征融合，得到图像特征。

在一个实施例中，ResNet网络包括ResNet50网络或ResNet101网络。

其中，Backbone部分可以ResNet深度卷积神经网络。常用可以ResNet50或者ResNet101作为特征提取。在本实施例中将224x224标记后的植物图像样本输入到ResNet中，会得到五个不同尺寸大小的特征图，分别为112x112，56x56，28x28，14x14，7x7五个不同尺寸大小的特征图。不同尺寸大小的特征图中含有不同的特征信息，不同层次的特征信息通过卷积神经网络得到识别，包括低级的细节信息如树木的颜色、轮廓、纹理等，高级的特征信息包括图像的类别集属性等。在改进后的Backbone部分还增加了特征金字塔网络结构，对不同层次的信息特征进行融合，防止特征信息的丢失。特征金字塔网络结构可以同时利用低层特征图的空间信息和高层特征图的语义信息，把分辨率较小的高层特征首先通过卷积降维，在经过上采样的方式，采样到与前一个特征图的尺寸相同，再对每个元素逐个相加，即能得到融合后的特征。

此外，在改进的CBAM-MaskRCNN结构中将注意力机制加在Backbone层，通过增加CBAM注意力机制增加模型的训练能力，提高模型的分割精度。在CBAM部分由CA和SA两部分的结构构成，其中CA表示通道注意力机制模块，SA表示空间注意力机制模块；CA通过通道在像元尺度上增加学习能力，SA通过在区域性空间尺度上增加学习能力，这两个过程组合成的CBAM注意力机制置于Backbone中增加特征提取的精度。

S3：将优化特征图依次输入至RPN网络和ROI Align网络进行特征筛选以及重采样，以得到最终特征图。

其中，在RPN部分，即区域推荐的网络部分，主要用于网络特征的筛选。CBAM-MaskRCNN通过系列的框点，然后通过一定的规则对特征信息进行筛选。每个框的大小由比例和比率确定，每个像素点可以产生三个不同大小的框，三个像素框的面积不变，通过比例尺或者比率缩放的方式来改变长宽比，从而产生三个不同大小的框，三个框指的是可以选择不同尺寸大小的特征，在不同尺度的特征都能被识别，增强边界识别的效果，减少细小信息特征的漏分概率。

ROI Align部分是CBAM-MaskRCNN模型与其它模型的改进之处。在本实施例中，对于ROI Align部分，需要把RPN部分产生的不同框的类别都重采样为相同的特征图像大小，通过池化层将不同的特征类别上采样成一个一维的向量，从而完成后面的分类与回归任务。ROI Align对采样点像素进行的是双线性插值，插值后的图像对每个单元格内的采样点进行池化，就可以得到最终的ROI Align的结果。

S4：将最终特征图输入至全连接层，以得到实际分割结果。

具体地，经过损失函数输出的类别及定位的图像通过全连接层，最后输出实例分割的单株树木特征。

S5：对改进的CBAM-MaskRCNN模型的参数进行调整，直至实际分割结果与目标分割结果的偏差在容许范围内时，训练完成，得到植物分割模型。

具体地，根据植物信息可以确定标记后的植物图像样本中的各株植物位置(即目标分割结果)，然后将实际分割结果(即采用改进的CBAM-MaskRCNN模型对植物图像样本进行分割得到的结果)，看其偏差是否在容许范围，若不是，对改进的CBAM-MaskRCNN模型的权重进行调整，重新输出实际分割结果，直至实际分割结果与目标分割结果的偏差在容许范围内时，训练完成，得到植物分割模型。其中，容许范围可以是一个预设的值，表示可接收的实际分割结果与目标分割结果最大偏差。

另外，在对改进的CBAM-MaskRCNN模型进行训练时，对其损失函数也有改进，关于损失函数的描述如下：

在一个实施例中，株植物的分割方法还包括：对改进的CBAM-MaskRCNN模型进行训练时，采用的损失函数包括回归损失函数、定位损失函数和掩模损失函数。

具体来说，如图3所示，改进的CBAM-MaskRCNN在损失函数部分，一共使用了五个损失函数，由于引入注意力机制的CBAM-MaskRCNN是多任务，它的损失函数包括回归、定位、分割(又称为掩模)三部分，但由于在RPN结构处也有回归和定位，因此一共使用了五个损失函数。改进的CBAM-MaskRCNN损失函数的采用的是MaskRCNN分支对于每个分类对象都有不同维度的输出。Lclass为对应CBAM-MaskRCNN模型中用于分类的损失函数，可以平均二值交叉熵损失函数。Lbox为对应CBAM-MaskRCNN模型中定位的损失函数。Lmask为该CBAM-MaskRCNN模型中增加的淹没掩模部分的损失函数，这样定义可以允许对每个类别都会生成掩模，并且不会存在类间竞争。Ltotal为总体的损失函数，对于特征提取的精度及边界范围的识别提高预测精度。其中Ltotal＝Lclass+Lbox+Lmas，Ltotal为改进的CBAM-MaskRCNN模型整体的损失函数。

本申请实施例中的单株植物的分割方法，采用了标记的植物图像样本来训练改进的CBAM-MaskRCNN模型从而来得到预先训练的植物分割模型，那么基于植物分割模型就能识别出待识别植物图像中的单株植物，从而实现对单株植物的分割，使用非常方便；并且采用改进的CBAM-MaskRCNN模型，在传统卷积模型中加入了CBAM注意力模块以及RPN网络，可以实现对小型植物的分割，分割效率且准确率高。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述本申请公开的实施例中详细描述了一种单株植物的分割方法，对于本申请公开的上述方法可采用多种形式的设备实现，因此本申请还公开了对应上述方法的单株植物的分割装置，下面给出具体的实施例进行详细说明。

请参阅图4，为本申请实施例公开的一种单株植物的分割装置，主要包括：

待识别植物图像获取模块410，用于获取待识别植物图像；其中待识别植物图像中包括一株或多株植物。

分割结果输出模块420，用于将待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROI Align网络和全连接层。

在一个实施例中，装置包括：

标记模块，用于获取植物图像样本，采用植物信息对植物图像样本中的每一个植物进行标记。

图像特征提取模块，用于将标记后的植物图像样本输入至主干网络提取图像特征。

特征优化模块，用于将图像特征通过CBAM模块进行特征优化，以得到优化特征图。

最终特征图获得模块，用于将优化特征图依次输入至RPN网络和ROI Align网络进行特征筛选以及重采样，以得到最终特征图；

实际分割结果获得模块，用于将最终特征图输入至全连接层，以得到实际分割结果；

植物分割模块获得模块，用于对改进的CBAM-MaskRCNN模型的参数进行调整，直至实际分割结果与目标分割结果的偏差在容许范围内时，训练完成，得到植物分割模型。

在一个实施例中，主干网络包括ResNet网络和金字塔网络；图像特征提取模块，用于标记后的植物图像样本输入至ResNet网络进行特征提取，得到初始特征；将初始特征通过金字塔网络进行特征融合，得到图像特征。

在一个实施例中，ResNet网络包括ResNet50网络或ResNet101网络。

在一个实施例中，装置还包括：

图像增强模块，用于随机选择一种或多种增强处理方法对标记后的植物图像样本进行增强处理；其中当选择多种增强处理方法时，每一种增强处理方法的运行顺序是随机的，增强处理方法包括对植物图像样本进行灰度变换处理、随机偏移变换处理、随机折叠处理、随机缩放处理、随机拉伸处理和随机旋转处理。

在一个实施例中，装置还包括：尺寸调整模块，用于将标记后的植物图像样本的尺寸进行调整。

在一个实施例中，装置还包括：对改进的CBAM-MaskRCNN模型进行训练时，采用的损失函数包括回归损失函数、定位损失函数和掩模损失函数。

关于单株植物的分割装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参考图5，图5其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备50可以是计算机设备。本申请中的终端设备50可以包括一个或多个如下部件：处理器52、存储器54以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器54中并被配置为由一个或多个处理器52执行，一个或多个应用程序配置用于执行上述应用于终端设备的方法实施例中所描述的方法，也可以配置用于执行上述应用于单株植物的分割方法实施例中所描述的方法。

处理器52可以包括一个或者多个处理核。处理器52利用各种接口和线路连接整个终端设备50内的各个部分，通过运行或执行存储在存储器54内的指令、程序、代码集或指令集，以及调用存储在存储器54内的数据，执行终端设备50的各种功能和处理数据。可选地，处理器52可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器52可集成中央处理器(Central ProcessingUnit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器52中，单独通过一块通信芯片进行实现。

存储器54可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器54可用于存储指令、程序、代码、代码集或指令集。存储器54可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备50在使用中所创建的数据等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

综上，本申请实施例提供的终端设备用于实现前述方法实施例中相应的单株植物的分割方法，并具有相应的方法实施例的有益效果，在此不再赘述。

请参阅图6，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质60中存储有程序代码，程序代码可被处理器调用执行上述单株植物的分割方法实施例中所描述的方法，也可以被处理器调用执行上述单株植物的分割方法实施例中所描述的方法。

计算机可读取存储介质60可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质60包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质60具有执行上述方法中的任何方法步骤的程序代码62的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码62可以例如以适当形式进行压缩。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种单株植物的分割方法，其特征在于，所述方法包括：

获取待识别植物图像；其中所述待识别植物图像中包括一株或多株植物；

将所述待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，所述植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，所述改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROIAlign网络和全连接层。

2.根据权利要求1所述的方法，其特征在于，所述植物分割模型的训练方法，包括：

获取植物图像样本，采用植物信息对所述植物图像样本中的每一个植物进行标记；

将所述标记后的植物图像样本输入至所述主干网络提取图像特征，并将所述图像特征通过所述CBAM模块进行特征优化，以得到优化特征图；

将所述优化特征图依次输入至所述RPN网络和所述ROI Align网络进行特征筛选以及重采样，以得到最终特征图；

将所述最终特征图输入至所述全连接层，以得到实际分割结果；

对所述改进的CBAM-MaskRCNN模型的参数进行调整，直至实际分割结果与目标分割结果的偏差在容许范围内时，训练完成，得到所述植物分割模型。

3.根据权利要求2所述的方法，其特征在于，所述主干网络包括ResNet网络和金字塔网络；所述将所述标记后的植物图像样本输入到所述主干网络提取图像特征包括：

将所述标记后的植物图像样本输入至所述ResNet网络进行特征提取，得到初始特征；

将所述初始特征通过所述金字塔网络进行特征融合，得到所述图像特征。

4.根据权利要求3所述的方法，其特征在于，所述ResNet网络包括ResNet50网络或ResNet101网络。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述采用植物信息对所述植物图像样本中的每一个植物进行标记之前，还包括：

随机选择一种或多种增强处理方法对所述植物图像样本进行增强处理；

其中当选择多种增强处理方法时，每一种增强处理方法的运行顺序是随机的，所述增强处理方法包括对所述植物图像样本进行灰度变换处理、随机偏移变换处理、随机折叠处理、随机缩放处理、随机拉伸处理和随机旋转处理。

6.根据权利要求5所述的方法，其特征在于，所述将所述标记后的植物图像样本输入至所述主干网络提取图像特征之前，还包括：

将所述标记后的植物图像样本的尺寸进行调整。

7.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

对改进的CBAM-MaskRCNN模型进行训练时，采用的损失函数包括回归损失函数、定位损失函数和掩模损失函数。

8.一种单株植物的分割装置，其特征在于，所述装置包括：

待识别植物图像获取模块，用于获取待识别植物图像；其中所述待识别植物图像中包括一株或多株植物；

分割结果模块，用于将所述待识别植物图像输入至预先训练的植物分割模型，以输出单株植物分割结果；其中，所述植物分割模型是采用标记的植物图像样本对改进的CBAM-MaskRCNN模型进行训练得到的，所述改进的CBAM-MaskRCNN模型包括依次连接的主干网络、CBAM模块、RPN网络、ROIAlign网络和全连接层。

9.一种终端设备，其特征在于，包括：

存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

Images