CN117876823A - 一种茶园图像检测方法及其模型训练方法和系统 - Google Patents

Abstract

本发明公开了一种茶园图像检测方法及其模型训练方法和系统，包括：S1.对无人机采集的茶园图像进行预处理；S2.标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜，将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；S3.使用训练集输入茶园图像检测模型进行训练，在训练后使用验证集进行精度验证。无人机根据检测任务采集茶园图像，输入至茶园图像检测模型，进行茶园图像检测；其中，所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。实现模型自动训练，自动验证，与自动迭代优化。具有更精确的算法处理，可准确区分茶树和其他植被，简化茶园图像的分割和检测。

Description

一种茶园图像检测方法及其模型训练方法和系统

技术领域

本发明涉及图像识别处理技术领域，尤其涉及一种茶园图像检测方法及其模型训练方法和系统。

背景技术

深度学习实例分割技术在农业方面的应用逐渐广泛，智慧农业精准农业得到长足发展，在农业多种任务场景（农业资源盘点、作物长势监测、作物灌溉施肥撒药、作物收割）越来越需要全流程自动化、无人化；无人机被广泛用于江南地区小型家庭农场的各种任务，尤其在作物种植面积的监测上。相比于平坦的平原大田作物的种植形态，山区的茶园种植形态更为破碎化，大小不一，形状复杂，较难使用一个固定尺度的算法完成各种形态茶园的检测与分割。当前无人机获取茶园面积的做法为：先外业采集图像，后内业处理数据训练模型，应用模型分割，这中间工作流程有很强的先后顺序，且效率有很大的提升空间。在算法优化方面，一旦训练出一个算法，往往很难在生产环境实现自迭代优化，需要线下人工参与重新训练与部署。将SOLOv2算法直接运用到农业相关的实例检测方面，其速度与准确率还不足以满足实际生产的需要，亟需在网络结构与实际训练生产流程上进行优化与提升。

发明内容

发明要解决的技术问题

为了克服上述技术问题，本发明提供了一种茶园图像检测方法及其模型训练方法和系统。实现模型自动训练，自动验证，与自动迭代优化。具有更精确的算法处理，可准确区分茶树和其他植被，简化茶园图像的分割和检测。

技术方案

为解决上述问题，本发明提供的技术方案为：

一种茶园图像检测模型训练方法，包括：S1.对无人机采集的茶园图像进行预处理；S2.标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜，将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；S3.使用训练集输入茶园图像检测模型进行训练，在训练后使用验证集进行精度验证；S4.将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度，0＜M＜1；S5.若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型；所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。

优选的，S3中将预处理后的茶园图像，以及无人机执行实际检测任务采集的无人机茶园图像输入至茶园检测模型进行优化训练；精度验证后，纠正错误预测结果，将最终纠正后的结果纳入训练集、验证集与测试集中；所述茶园图像检测模型还包括：颈部网络通过动态卷积和检测头连接。

优选的，S3中将预处理后的茶园图像，训练集，以及无人机执行实际检测任务采集的无人机茶园图像和训练结果输入至茶园检测模型进行优化训练，将置信度高于N的训练结果纳入训练集、验证集与测试集中；重复S3-S5，实现自动迭代优化，0＜N＜1。

优选的，所述主干网络使用ResNet-50网络；所述颈部网络使用特征金字塔网络；所述检测头包括分类分支和掩膜分支；损失函数包括Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost。

优选的，所述ResNet-50网络结构为：包括五个不同输出尺度的卷积阶段依次连接，分别记为依次连接的第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段，对应的输出分别记为第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像，所述特征金字塔的每层网络结构采用1×1的卷积通道，所述第二特征图像至第五特征图像分别和每层网络结构连接，输出特征P1-P4后，分别输出到检测头U1-U4，其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

优选的，将所述ResNet-50网络结构输出的第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像输入Attention注意力操作，与1×1的卷积通道输出一起输入到卷积核中进行后续操作；所述Attention注意力操作包括依次连接的平均池化、全连接层、ReLu激活层、全连接层和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积进行集成与整合。

一种茶园图像检测模型训练系统，包括茶园图像预处理模块，用于对无人机采集的茶园图像进行预处理；茶园图像标注模块用于标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜；茶园图像数据集划分模块用于将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；茶园图像检测模型训练模块用于对茶园图像检测模型进行训练；茶园图像验证模块，用于在训练后使用验证集进行精度验证；初代模型族模块，用于将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度；茶园图像检测模型部署模块：若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型；所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。

一种茶园图像检测方法，包括：无人机根据检测任务采集茶园图像，输入至茶园图像检测模型，进行茶园图像检测；其中，所述茶园图像检测模型由以上任一项技术方案所述的一种茶园图像检测模型训练方法训练得到。

优选的，所述茶园图像检测模型还包括：颈部网络通过动态卷积和检测头连接。

优选的，所述主干网络使用ResNet-50网络；所述颈部网络使用特征金字塔网络；所述检测头包括分类分支和掩膜分支；损失函数包括Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost。

优选的，所述ResNet-50网络结构为：包括五个不同输出尺度的卷积阶段依次连接，分别记为依次连接的第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段，对应的输出分别记为第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像，所述特征金字塔的每层网络结构采用1×1的卷积通道，所述第二特征图像至第五特征图像分别和每层网络结构连接，输出P1-P4的特征后，分别输出到检测头U1-U4，其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

优选的，将所述ResNet-50网络结构输出的第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像输入Attention注意力操作，与1×1的卷积通道输出一起输入到卷积核中进行后续操作；所述Attention注意力操作包括依次连接的平均池化、全连接层、ReLu激活层、全连接层和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积进行集成与整合。

一种茶园图像检测系统，包括茶园图像采集模块和茶园图像检测模块，所述茶园图像采集模块：无人机根据检测任务采集茶园图像；所述茶园图像检测模块：茶园图像检测模型接收采集的茶园图像，进行茶园图像检测；其中，所述茶园图像检测模型由以上任一项技术方案所述的一种茶园图像检测模型训练方法训练得到。

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

本申请实施例提出的茶园图像检测模型训练方法和系统，在脚本与模型训练和参数调整方面实现自动化，将整个茶园图像检测模型的训练与应用部署逐步自动化，实现模型自动训练，自动验证，与自动迭代优化。减少人工参与，提高了效率。

本申请实施例提出的茶园图像检测方法和系统，具有更精确的算法处理，可准确区分茶树和其他植被，可随着茶树生长状态不同，处理不同的图像特征，从而适应茶树生长阶段的变化，可以处理大规模数据集，简化茶园图像的分割和检测。

附图说明

图1为本发明一实施例提出的一种茶园图像检测模型训练方法流程示意图之一；

图2为本发明一实施例提出的一种茶园图像检测模型结构框图；

图3为本发明一实施例提出的一种茶园图像检测模型注意力操作流程示意图；

图4为本发明一实施例提出的一种茶园图像检测模型训练方法流程示意图之二。

图5为本发明一实施例提出的一种茶园图像检测模型训练方法流程示意图之三。

具体实施方式

为进一步了解本发明的内容，结合附图及实施例对本发明作详细描述。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。本发明中所述的第一、第二等词语，是为了描述本发明的技术方案方便而设置，并没有特定的限定作用，均为泛指，对本发明的技术方案不构成限定作用。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例1

结合图1-图5，本实施例提供了一种茶园图像检测模型训练方法，包括：

S1.对无人机采集的茶园图像进行预处理；使用无人机进行茶园实地拍摄，采集大量的茶园无人机影像，作为训练模型的原始数据。对采集后的影像进行预处理，将成像条件较差的数据直接剔除掉，若剔除后数据总量较少，则进行原始数据补采。

S2.标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜，将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；

对预处理后的茶园图像进行标注，根据成像区域有无茶树将茶园图像划分成两堆，每堆再按照比例划分，然后再对茶树进行标注，标注后再和相同比例的不含茶树的图像进行混合，形成数据集：训练集、验证集和测试集。在一具体实施方式中，先对采集到的无人机影像按照COCO的数据格式进行人工标注，定义哪些是茶树，哪些不是茶树，即标注的内容包括茶园在图片上的位置信息和茶园的整体掩膜；然后将标注后的数据集根据7：2：1的比例进行划分，形成训练集、验证集与测试集。占据数据集大部分的训练集用于训练模型，即通过这部分数据来学习或捕捉数据的特征和模式。在茶园图像的处理中，这意味着模型会尝试理解茶园图像中的各种特征，如茶树形状、颜色和纹理等。验证集用于模型的调整和优化。在训练过程中，通过在验证集上评估模型的表现，可以调整模型的参数。这有助于提高模型的泛化能力，即在未知数据上的表现。测试集是在模型开发完成后，用于评估模型最终性能的数据集，可以提供关于模型在实际应用中表现的可靠信息。通过这种划分，可以在各种数据上评估模型的表现，确保它既能学习茶园图像数据的特征，又不会对特定的数据集过度优化。

S3.使用训练集输入茶园图像检测模型进行训练，在训练后使用验证集进行精度验证；所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。所述茶园图像检测模型还包括：颈部网络通过动态卷积和检测头连接。在SOLOv2算法的颈部网络和检测头之间引入动态卷积可以被视为对原始SOLOv2算法的一种改进。动态卷积通过允许网络根据输入图像的特征动态调整卷积核的参数，为模型提供了更高的适应性和灵活性。这样的改进可以带来几个潜在的好处：动态卷积能够使网络更加关注于图像的关键部分，如特定的茶树形状或大小，从而提高分割和识别的精度。通过动态调整卷积核，模型能够更好地处理图像中的变化，如不同的茶树密度、大小或由光照条件引起的变化，从而增强其泛化能力。动态卷积可以减少在不必要的特征上的计算开销，专注于图像中对当前任务更为重要的区域，从而提升整体的处理效率。因此，尽管动态卷积不是SOLOv2原始算法中的一部分，但将其引入到颈部网络和检测头之间可以对算法有效改进。这种改进利用了动态卷积的优点，为特定的应用场景，如茶园图像检测，提供了潜在的性能提升。基于SOLOv2算法，构建专门针对茶园景物的检测模型，用于进行茶园图像的定位和检测。所构建的基于SOLOv2算法的无人机茶园图像分割模型的主干网络使用ResNet-50网络；颈部网络使用FPN网络(Feature Pyramid Network，特征金字塔网络)，检测头部分分为两个分支：分类分支（Category Branch）和掩膜分支（Mask Branch），其中Mask Branch又分为掩膜核分支MaskKernal和掩膜特征分支Mask Feature分支。损失函数由Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost综合组成。

其中，主干网络ResNet-50的网络结构为：包括五个不同输出尺度的卷积阶段，第一卷积阶段（图2中标为Conv_Stage0）输入通道数为3、长宽均为256的图像（3×256×256），经过卷积核大小为7×7，通道数为3，步长为2的卷积运算，以及Batch Normalize、ReLU激活函数激活和卷积核为3×3，步长为2的最大池化，输出大小为64×64×64的第一特征图像；主干网络主要关注于提取图像的基本特征，如边缘、角点、颜色和纹理等。对于茶园图像，这有助于模型识别茶叶、茶树的基本形状和纹理。

第二卷积阶段（图中标为Conv_Stage1）以第一特征图像为输入，依次经过3个卷积块操作，分别是1个Ⅰ型颈部卷积块和2个Ⅱ型颈部卷积块操作，最终输出256×64×64的第二特征图像；第二卷积阶段进一步提取出更加复杂的特征，如具体的纹理和形状细节。在茶园图像处理中，这有助于区分茶树与背景之间的差异，以及识别茶园内部的不同植物和元素。

第三卷积阶段以第二特征图像为输入，依次经过4个卷积块操作，分别是一个Ⅰ型颈部卷积块和3个Ⅱ型颈部卷积块操作，最终输出512×32×32的第三特征图像；第三卷积阶段开始整合之前层次的特征，提取出更加复杂的图像属性。对于茶园图像，这意味着模型能够更好地理解茶树的聚集模式、茶园的布局以及可能的行间距等。

第四卷积阶段以第三特征图像为输入，依次经过7个卷积块操作，分别是一个Ⅰ型颈部卷积块和6个Ⅱ型颈部卷积块操作，最终输出1024×16×16的第四特征图像；在第四卷积阶段，主干网络能够捕获到高级的语义信息，这些信息对于理解整体场景非常重要。在茶园图像中，这有助于模型把握茶园的整体结构，如茶园的规模、茶树的分布密度等。

第五卷积阶段以第四特征图像为输入，依次经过3个卷积块操作，分别是1个Ⅰ型颈部卷积块和2个Ⅱ型颈部卷积块操作，最终输出2048×8×8的第五特征图像。最后的卷积阶段聚焦于全局的上下文信息，帮助模型理解图像的整体情境和最复杂的特征。对茶园图像而言，该阶段有助于识别和理解茶园的整体环境，包括茶园与周围环境的交互、特定种植模式的识别等。通过这五个卷积阶段的逐步深入，SOLOv2算法能够从基本的边缘和纹理特征逐渐过渡到复杂的语义理解，为茶园图像的分割和识别提供了强大的特征支持。这种分层的特征提取机制使得模型能够在不同的层次上理解图像内容，从而在实例分割任务中达到更高的准确率和效率。

其中，卷积块为一系列卷积操作的统称，Ⅰ型颈部卷积块表示输入与输出形状不同的卷积操作，Ⅱ型颈部卷积块表示输入与输出形状相同的卷积操作，上述第二至第五卷积阶段中Ⅰ型颈部卷积块与Ⅱ型颈部卷积块卷积核大小均不相同。利用其五个不同输出尺度的卷积阶段，为茶园图像实例分割任务提供了强大的多尺度特征提取能力，从而提高了模型在各种尺寸对象和复杂环境下的性能，适应性强。Ⅰ型和Ⅱ型颈部卷积块通过使用不同大小的卷积核，能够捕获不同尺度的特征，实现多尺度特征提取。较小的卷积核更适合捕获细节信息，如茶叶的纹理、茶树枝条的细微变化等；而较大的卷积核有助于捕获更广泛的上下文信息，如茶园区块的整体布局和茶树群体的分布模式。不同大小的卷积核使得网络能够在多个层面上理解图像，从局部细节到全局结构，增强特征的表达能力。这种多层次的特征理解有助于提高模型对复杂场景的适应能力，尤其是在茶园图像中，不同的植被、地形和光照条件都可能影响检测效果。通过融合不同尺度的特征，模型能够更准确地识别和分割茶园中的目标，如准确划分茶树行和非茶树区域。同时，这种设计提高了模型对于光照变化、遮挡和茶园内部多样性的鲁棒性，从而提高模型检测的精确度和鲁棒性。在实际应用中，不同卷积核大小的结合可以根据任务需求进行优化，以平衡模型的计算复杂度和性能，从而优化模型的性能。对于茶园图像检测，这意味着可以根据具体的应用场景（如实时监测、高精度地图制作等）调整颈部卷积块的配置，以达到最佳的效率和准确率平衡。总之，通过在颈部卷积块中使用不同大小的卷积核，SOLOv2算法能够更全面和灵活地处理茶园图像，提高检测的精度和效率，这种模型构造在处理复杂的茶园图像任务时具备高度适应性和灵活性。

由主干网络生成的第二至第五特征图像分别输入颈部网络FPN的各个阶段进行进一步的特征提取。其中，颈部网络采用FPN模块，FPN充分使用骨干网络第二至第五层不同尺度的特征图像，采用自上而下的路径，利用不同尺度高层次特征图像的语义信息，增强不同尺度的特征；在每层网络结构中先使用1×1的卷积改变通道大小，用于减少特征图的通道数，使得网络计算更高效，同时保留重要的特征信息。再进行两倍大的上采样，最后与底层特征融合，使得其空间尺寸增大。上采样后的特征图与低层（较浅层）的特征图进行融合。改善对小物体的检测和分割性能：FPN通过融合高层和低层特征，增强了模型对小物体的识别能力。按照惯例采用加法操作，目的是充分利用低层（较浅层）的目标定位（监测）和高层（较深层）的目标分类（分割）的综合能力。低层特征富含图像的细节信息，如边缘、纹理等，这对于识别茶园中的小茶树或幼苗至关重要。FPN的结构使得这些细节信息得以保留，并与高层特征相结合，从而提高对小茶树的识别精度。茶园内部可能包含各种尺寸的茶树，以及不同的地形和光照条件。FPN通过融合不同层次的特征，增强了模型对这种内部多样性的适应性，使模型能够更好地处理复杂的茶园场景。在进行茶树实例分割时，对小对象的精细处理尤为重要。FPN的结构有助于在生成掩膜时保留小茶树的形状和边界细节，从而提升分割的质量和准确度。高层特征代表更抽象的信息，如对象的类别和场景的上下文信息。这些信息有助于模型区分茶树和背景（如土地、杂草等），尤其是在茶树较小或与背景相似时更为重要。FPN结构有助于模型更好地适应不同光照条件下的茶园图像。低层特征对光照的局部变化敏感，而高层特征更关注于全局信息，二者的融合有助于提高模型在不同光照条件下的表现。通过这些技术效果，FPN显著提升了深度学习模型处理茶园图像时的性能，尤其是在识别和分割小茶树、处理复杂场景和适应多样化光照条件方面，这些优势对于实现高精度的茶园检测和分析应用至关重要。最终形成P1-P4的特征后分别输出到检测头U1-U4。其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

其中第一层的特征P1需要经过下采样再进行输出到检测头U1，第四层特征P4除了本层特征输出到检测头，还需要经过下采样生成第五层特征P5再输出到第五检测头U5。U1-U5为执行具体任务的检测头，输入对象为FPN网络从低到高输出的特征图像，每一层P对应一个检测头U，与P类似，U的尺寸不一，主要任务是判断是否存在目标，若存在则将对象分别进行目标定位（Mask Branch）与分类（Category Branch）。通过这种方式模型能够更专门化地处理不同尺寸的目标。P1特征图经下采样后输出到U1可能更适合检测小尺寸的茶树，而P4经过下采样生成的P5输出到U5则更适合处理大尺寸的茶园区域或整体茶树群。低级特征（如P1）含有丰富的细节信息，适合识别小茶树或茶园中的细微特征。而高级特征（如P4转换的P5）则蕴含更多的语义信息，有助于识别茶园的整体结构或大片茶树区域。这种不同层级特征的有效利用，有助于提高茶园图像中目标检测的精度。通过融合来自不同卷积阶段的特征，模型能够更好地适应茶园图像中的多样性，包括不同大小的茶树、不同密度的茶树排列以及复杂的背景条件。这种多尺度特征的处理策略有助于提升模型对茶园图像的泛化能力。将特定的特征图下采样并指定给特定的检测头，有助于优化计算资源的分配，确保模型能够高效地处理茶园图像。茶园图像可能包含复杂的场景，如不同生长阶段的茶树、不均匀的光照条件以及多样的背景元素。通过不同检测头处理经过特定处理的特征图，模型能够更有效地适应并处理这些复杂场景。综上所述，在处理茶园图像时，通过将主干网络中不同卷积阶段的输出特征经过适当的处理后分配给不同的检测头，能够提高模型的检测精度、泛化能力和计算效率，特别是在处理不同尺寸目标和复杂场景方面表现出色。

其中检测头部分结构将颈部网络FPN学习到的多尺度分层特征输出到下游实际分类分割的具体任务分支，其中分类分支为一个完整的分类分支Category Branch，掩膜分支（Mask Branch）为加快掩膜预测速度与准确度划分为掩膜核分支（Kernal Branch）和掩膜特征分支（Feature Branch）两个二级分支。从而确保了每个分支可以专注于其特定任务，进而提高整体的效率和效果。具体的，分类分支判断当前图像包不包含目标，掩膜分支用来确定图像上目标位置与目标轮廓范围；进一步，掩膜分支划分为掩膜核分支与掩膜特征分支，掩膜核分支确定目标在图像上的大概热点区域（中心位置），掩膜特征分支确定目标轮廓范围，将整个实例监测任务通过细分化，首先提高了最终结果的准确度，其次提高了整个模型网络运行的效率。

其中，在Mask Branch阶段，通过卷积核将掩膜核分支（Kernal Branch）和掩膜特征分支（Feature Branch）两个二级分支的结果采用动态卷积（符号为×）进行集成与整合，最终与分类分支（Category Branch）一起输出最终实力分割结果。

其中，损失函数在按照如下公式进行计算：

其中，表示整体的损失函数，/>表示分类分支的损失函数，表示掩膜分支的掩膜核分支的损失函数，/>为掩膜分支的掩膜特征次分支的损失函数。/>，/>，/>和/>为平衡损失的系数，满足以下要求：

。

S4.将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度M，0＜M＜1；在一具体实施方式中，根据S3验证的初代模型，M=55%，将高于55%的模型组合形成初代算法模型族，同时标记其更新时间与验证精度。

S5.若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型。

重复S2-S5进行每轮的模型训练，模型精度满意为止，完成模型部署后，无人机根据检测任务进行实际任务的执行，实现图像实时分割，识别出。

在一实施例中重复S2-S5进行训练，不同之处在于，步骤S3中将预处理后的茶园图像，以及无人机执行实际检测任务采集的无人机茶园图像输入至茶园检测模型进行优化训练；精度验证后，纠正错误预测结果，将最终纠正后的结果纳入训练集、验证集与测试集中；具体应用时，验证精度M取值提高至75%。

初代网络模型只在最终掩膜分支MaskBranch阶段使用了可变卷积集成尺度大小不同的Mask Kernal Branch和Mask Feature Branch两个子分支的结果，充分考虑到同一张特征图像上不同目标的尺度异质性。在FPN阶段初步考虑了Backbone网络输出不同特征图的尺度异质性，但不够彻底，并未考虑到同一特征图上不同区域/目标的尺度异质性。所以，在颈部网络输出特征结果到检测头阶段加入动态卷积操作，综合学习不同尺度的特征。

其中，改进的动态卷积操作如图3所示，将FPN中P1-P5输出到U1-U5的原来简单的卷积操作改造为带有动态卷积的操作。

具体的，将原来将FPN的输入直接输出到卷积核进行卷积操作扩充为复制为两份，一份按照原路径进行卷积操作，另一部分输入新改进的Attention注意力操作，在注意力操作流程中，先后经过平均池化（Avg Pool）、全连接层（FC）、ReLu激活层、全连接层（FC）、和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积（符号为×）进行集成与整合，最后和第一部分的输入一起输入到卷积核中进行卷积等后续操作。通过在动态卷积之前引入注意力机制，模型能够更加聚焦于茶园图像中的重要特征，如茶树、茶叶等。这种注意力引导的方法有助于模型提取出更有区分度的特征，从而增强特征的表达能力。通过对不同尺度的特征应用不同系数的动态卷积核，模型能够更灵活地适应茶园图像中不同大小的茶树和茶叶。这种尺度敏感的动态调整机制使得模型在处理从小茶叶到大茶树群等不同尺度目标时更加精确。将FPN的输出特征进行复制并通过两条路径处理，一条保持原始卷积操作，另一条经过注意力机制和动态卷积的加权聚合，这种结合可以充分挖掘和利用图像特征，尤其是在检测和分割茶园中的细小或密集排列的茶树时，能够显著提升精度。通过注意力操作和动态卷积核的自适应调整，模型能够根据输入图像的具体内容自动调整特征处理方式，这种自适应性增强了模型对于不同茶园环境和条件变化的泛化能力。虽然引入了额外的操作，如注意力机制和动态卷积，但是通过聚焦于重要特征和对特征进行有效的聚合，可以减少对不必要特征的计算，从而在一定程度上优化了计算资源的使用。综上所述，这种改进的动态卷积操作通过融合注意力机制和动态卷积核技术，为茶园图像的检测和分割提供了一种更为精细化和自适应的处理方法。这不仅提高了模型在处理复杂茶园场景时的精度和效率，还增强了模型对不同条件下茶园图像的泛化能力。

现有技术中茶园图像检测面临的技术问题为：1、茶园图像检测具有复杂的背景干扰：茶园通常位于自然环境中，周围可能有许多树木、灌木或其他农作物，这些元素可以干扰茶园图像的分割和检测，这使得分离茶园和周围背景变得更加复杂。2、类似植被和颜色：茶树和其他植被在图像中可能具有相似的外观和颜色，这增加了准确地分割茶园的难度。传统的颜色或纹理特征在这种情况下可能不够准确，需要更高级的图像处理算法来区分茶树和其他植被。3、不同季节和生长状态的变化：茶园图像的外观在不同季节和茶树生长状态下会发生变化。这意味着相同的茶园需要处理不同的图像特征，以适应茶树生长阶段的变化。这对于设计适应不同茶园条件的分割和检测算法是一个挑战。4、大尺度的茶园图像：茶园通常占据较大的空间，如果拍摄茶园的全景图像，图像数据集将非常庞大。这将带来存储、传输和处理的挑战。需要考虑高效的存储和处理方法，以及能够处理大规模数据集的算法。

采用该方案带来的技术效果为：通过引入注意力操作，具有更精确的算法处理，可准确区分茶树和其他植被，可随着茶树生长状态不同，处理不同的图像特征，从而适应茶树生长阶段的变化，可以处理大规模数据集，简化茶园图像的分割和检测。

S3中对模型执行任务后的输出的结果进行结果精度核验，对输出的结果进行验证，并纠正错误预测结果，将最终修正后的结果纳入训练、验证与测试数据集，实现数据数量与数据质量方面的扩充。

另一优选实施方案中，重复S3-S5对模型进行训练，如图1，不同之处在于，S3中将预处理后的茶园图像，训练集，以及无人机执行实际检测任务采集的无人机茶园图像和训练结果输入至茶园检测模型进行优化训练，将置信度高于N的训练结果纳入训练集、验证集与测试集中；重复S3-S5，实现自动迭代优化，0＜N＜1。在模型开发完成后，测试集评估模型最终性能。

根据SOLOv2网络输出的特点，除了包括最终的掩膜图像，还有掩膜的置信度，对于模型输出的结果，设置置信度阈值N为0.75，认定置信度低于0.35的为错误预测，将低于0.35的自动剔除掉。将置信度较高的结果过滤出来，纳入数据集，形成对数据集的提纯与优化。将模型精度筛选标准设定为90%，即验证精度M为90%，进一步提高模型检测精度。该训练方案的自动训练更新架构，在脚本与模型训练和参数调整方面实现自动化，将整个茶园图像检测模型的训练与应用部署逐步自动化，实现模型自动训练，自动验证，与自动迭代优化。减少人工参与，提高了效率。

另外，本实施例提出了一种茶园图像检测模型训练系统，包括茶园图像预处理模块，用于对无人机采集的茶园图像进行预处理；茶园图像标注模块用于标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜；茶园图像数据集划分模块用于将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；茶园图像检测模型训练模块用于对茶园图像检测模型进行训练；茶园图像验证模块，用于在训练后使用验证集进行精度验证；初代模型族模块，用于将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度；茶园图像检测模型部署模块：若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型。

此外，本实施例提出了 一种茶园图像检测方法，包括：无人机根据检测任务采集茶园图像，输入至茶园图像检测模型，进行茶园图像检测；其中，所述茶园图像检测模型由以上任一项技术方案所述的一种茶园图像检测模型训练方法训练得到。

所述茶园图像检测模型还包括：颈部网络通过动态卷积和检测头连接。所述主干网络使用ResNet-50网络；所述颈部网络使用特征金字塔网络；所述检测头包括分类分支和掩膜分支；损失函数包括Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost。

所述ResNet-50网络结构为：包括五个不同输出尺度的卷积阶段依次连接，分别记为依次连接的第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段，对应的输出分别记为第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像，所述特征金字塔的每层网络结构采用1×1的卷积通道，所述第二特征图像至第五特征图像分别和每层网络结构连接，输出P1-P4的特征后，分别输出到检测头U1-U4。其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

将所述ResNet-50网络结构输出的第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像输入Attention注意力操作，与1×1的卷积通道输出一起输入到卷积核中进行后续操作；所述Attention注意力操作包括依次连接的平均池化、全连接层、ReLu激活层、全连接层和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积进行集成与整合。

茶园图像检测模型，可采用上述模型训练方法训练的模型，分割和检测出茶园图像后，计算茶园面积：无人机在获取影像时具有特定的分辨率，表示为每个像素在地面上代表的区域大小，例如“10cm/像素”表示无人机图像上每个像素的长度表示实际距离为10cm，每个像素的大小表示实际地理面积10cm*10cm。获取一整片茶园面积的步骤为，获取整个茶园的无人机影像，识别茶树种植区域（对应为茶园图像），统计识别为茶园区域的像素数，再乘以分辨率，即得到整片茶园的面积。无人机采集茶园影响，通过上述茶园检测模型，即可自动快速获取茶园种植面积。

对于农户而言，在茶园维护管理的过程中，茶树种植面积自动快速获取具有重要的意义：

1、快速准确的茶园面积测量：传统上，测量茶园面积需要人工测量或使用测量仪器。而无人机配备了高分辨率相机和GPS定位系统，可以通过航拍茶园并使用图像处理算法来自动测量茶园面积。这大大节省了时间和人力成本，并提供了更准确的测量结果。

2、茶园规划和设计：了解茶园的确切面积对于规划和设计茶园非常重要。通过自动获取茶园面积，种植者可以更好地规划农作物的种植区域以及灌溉和施肥的需求。此外，茶园的面积也对于种植者进行土地租赁、资金申请和保险索赔等方面非常重要。

3、监测和管理茶园的健康状况：无人机可以通过航拍茶园获取高分辨率图像，通过图像处理技术可以分析茶园的植被状况、生长情况和病虫害等问题。准确的茶园面积信息可以帮助种植者定位和监测茶园中的特定区域，及时发现并处理可能存在的问题。

4、精确施肥和用药：利用无人机航拍的茶园图像，可以进行精确的施肥和用药管理。通过根据茶园面积和不同区域的生长状态来制定施肥和用药计划，可以更好地控制营养供应和预防病虫害，提高作物产量和质量。

5、茶园种植区域自动识别与测绘，是实现智慧茶园，茶树种植过程全自动化的核心基石。

最后，本实施例提出了一种茶园图像检测系统，包括茶园图像采集模块和茶园图像检测模块，所述茶园图像采集模块：无人机根据检测任务采集茶园图像；所述茶园图像检测模块：茶园图像检测模型接收采集的茶园图像，进行茶园图像检测；其中，所述茶园图像检测模型由以上任一项技术方案所述的一种茶园图像检测模型训练方法训练得到。该系统可安装于拍摄茶园影像的无人机端，或与无人机通信的各类终端上，以便自动化快速获取茶园种植面积。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种茶园图像检测模型训练方法，其特征在于，包括：

S1.对无人机采集的茶园图像进行预处理；

S2.标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜，将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；

S3.使用训练集输入茶园图像检测模型进行训练，在训练后使用验证集进行精度验证；

S4.将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度，0＜M＜1；

S5.若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型；

所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。

2.根据权利要求1所述的一种茶园图像检测模型训练方法，其特征在于，S3中将预处理后的茶园图像，以及无人机执行实际检测任务采集的无人机茶园图像输入至茶园检测模型进行优化训练；精度验证后，纠正错误预测结果，将最终纠正后的结果纳入训练集、验证集与测试集中。

3.根据权利要求2所述的一种茶园图像检测模型训练方法，其特征在于，S3中将预处理后的茶园图像，训练集，以及无人机执行实际检测任务采集的无人机茶园图像和训练结果输入至茶园检测模型进行优化训练，将置信度高于N的训练结果纳入训练集、验证集与测试集中；重复S3-S5，实现自动迭代优化，0＜N＜1。

4.根据权利要求1所述的一种茶园图像检测模型训练方法，其特征在于：所述主干网络使用ResNet-50网络；所述颈部网络使用特征金字塔网络；所述检测头包括分类分支和掩膜分支；损失函数包括Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost。

5.根据权利要求4所述的一种茶园图像检测模型训练方法，其特征在于：所述ResNet-50网络结构为：包括五个不同输出尺度的卷积阶段依次连接，分别记为依次连接的第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段，对应的输出分别记为第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像，所述特征金字塔的每层网络结构采用1×1的卷积通道，所述第二特征图像至第五特征图像分别和每层网络结构连接，输出特征P1-P4后，分别输出到检测头U1-U4，其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

6.根据权利要求5所述的一种茶园图像检测模型训练方法，其特征在于：将所述ResNet-50网络结构输出的第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像输入Attention注意力操作，与1×1的卷积通道输出一起输入到卷积核中进行后续操作；所述Attention注意力操作包括依次连接的平均池化、全连接层、ReLu激活层、全连接层和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积进行集成与整合。

7.一种茶园图像检测模型训练系统，其特征在于，包括茶园图像预处理模块，用于对无人机采集的茶园图像进行预处理；茶园图像标注模块用于标注出预处理后的茶园图像上有无茶树，茶园在图像上的位置信息和茶园的整体掩膜；茶园图像数据集划分模块用于将标注后的茶园图像按比例进行划分形成训练集、验证集和测试集；茶园图像检测模型训练模块用于对茶园图像检测模型进行训练；茶园图像验证模块，用于在训练后使用验证集进行精度验证；初代模型族模块，用于将验证的初代模型中高于M的茶园图像检测模型组合形成初代模型族，同时标记其更新时间与验证精度；茶园图像检测模型部署模块：若初代模型族中有模型，则将所述初代模型族中的模型部署至无人机端模型推理硬件；若后续初代模型精度存在高于现有部署于无人机端模型推理硬件的模型，则将无人机端模型推理硬件的模型更新为最新且精度最高的一个模型；所述茶园图像检测模型包括：依次连接的主干网络、颈部网络、检测头和损失函数。

8.一种茶园图像检测方法，其特征在于，包括：

无人机根据检测任务采集茶园图像，输入至茶园图像检测模型，进行茶园图像检测；其中，所述茶园图像检测模型由权利要求1-6任一项所述的一种茶园图像检测模型训练方法训练得到。

9.根据权利要求8所述的一种茶园图像检测方法，其特征在于，所述茶园图像检测模型还包括：颈部网络通过动态卷积和检测头连接。

10.根据权利要求8所述的一种茶园图像检测方法，其特征在于，所述主干网络使用ResNet-50网络；所述颈部网络使用特征金字塔网络；所述检测头包括分类分支和掩膜分支；损失函数包括Category_Cost，Mask_Kernal_Cost，和Mask_Feature_Cost。

11.根据权利要求10所述的一种茶园图像检测方法，其特征在于：所述ResNet-50网络结构为：包括五个不同输出尺度的卷积阶段依次连接，分别记为依次连接的第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段，对应的输出分别记为第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像，所述特征金字塔的每层网络结构采用1×1的卷积通道，所述第二特征图像至第五特征图像分别和每层网络结构连接，输出P1-P4的特征后，分别输出到检测头U1-U4，其中，输出特征P1经过下采样后输出到检测头U1，输出特征P4经过下采样生成输出特征P5后输出到检测头U5。

12.根据权利要求11所述的一种茶园图像检测方法，其特征在于：将所述ResNet-50网络结构输出的第一特征图像、第二特征图像、第三特征图像、第四特征图像和第五特征图像输入Attention注意力操作，与1×1的卷积通道输出一起输入到卷积核中进行后续操作；所述Attention注意力操作包括依次连接的平均池化、全连接层、ReLu激活层、全连接层和Softmax激活层，再进行可变动态卷积，根据不同的尺度的不同系数，聚合不同的并行卷积核，然后再输入动态卷积进行集成与整合。

13.一种茶园图像检测系统，其特征在于，包括茶园图像采集模块和茶园图像检测模块，所述茶园图像采集模块：无人机根据检测任务采集茶园图像；所述茶园图像检测模块：茶园图像检测模型接收采集的茶园图像，进行茶园图像检测；其中，所述茶园图像检测模型由权利要求1-6任一项所述的一种茶园图像检测模型训练方法训练得到。