CN114581816A - 一种植物工厂茄果类蔬菜果实实时检测与计数方法 - Google Patents

Abstract

本发明公开了一种植物工厂茄果类蔬菜果实实时检测与计数方法，系统包括图像与视频采集单元、云计算平台单元、计算机终端单元、手持式智能终端单元、数据采集模块、数据标注模块、数据增强模块、数据集转换模块、数据集预处理模块、检测模型训练模块、检测模型评估模块和目标检测与计数模块。该方法用修改的Labelimg和自动标注加人工辅助补充修正方法，对含有目标的图像数据进行标注，构建专用数据集；并结合改进的实时检测方法对优化的深度学习模型进行训练，获得目标检测模型及参数文件；并导入计算机及智能终端用于植物工厂蔬菜果实实时检测与计数，此方法提高了检测精度和速度，节省了大量人工劳动，提高了生产效率。

Description

一种植物工厂茄果类蔬菜果实实时检测与计数方法

技术领域

本发明属于人工智能技术领域，涉及计算机视觉、图像处理与目标检测分类方法，具体涉及一种植物工厂茄果类蔬菜果实通用实时检测与计数方法。

背景技术

人工智能已经在人类社会的各个领域发挥着巨大的作用，深刻改变着人类的生活生产方式，给我们带来了方方面面的极大便利。许多优秀的深度学习模型和算法层出不穷，在不同领域都得到了深入广泛的应用。植物工厂是最具农业现代化特征的新型农业形态，是设施农业、智慧农业的最高端形式，正处于跨出实验室迈向产业化、商业化阶段，成为未来最具前景和挑战性的都市生产农业形式。植物工厂作为现代化农业的最显著特征就是包括生产、管理、销售及原材料供应的各个方面实现高度的自动化、智能化和无人化，极大减少人工参与。茄果类蔬菜是最受人们喜爱的植物产品，在世界范围内得到广泛种植，将成为植物工厂的主打植物产品。茄果类蔬菜果实的实时检测、计数与产量预估是植物工厂生物生长实时监测、智能采摘机器人、自动搬运设备、智慧营销决策等的基础，是植物工厂实现智慧化的关键技术之一。

本发明主要采用了目前最新的、最流行的YOLO(You Only Look Once)目标检测的YOLOv5模型与算法，并在数据标注、数据增强、网络结构、模型训练、激活函数、损失函数等多方面进行了不同程度的综合改进和优化，提出了改进的针对计算机终端的YOLOv5X_MT和智能移动终端的YOLOv5S_MT模型，得到了较高的检测识别准确率和召回率，其它综合指标也都有明显提高，使检测速度最快、多尺度目标检测综合效果最优。

基于图像和视频的目标检测是计算机视觉领域的最基本和最具挑战性的任务，继2014年提出了基于深度学习的R-CNN目标监测算法之后，出现了Fast R-CNN、Faster R-CNN、SPPNet、YOLO系列等许多优秀的目标监测算法，在速度、准确性、复杂条件下的鲁棒性等各方面都得到了极大增强，但资源消耗大，速度慢，不能满足实时检测需求。YOLOv3是YOLO系列中非常经典的算法，而YOLOv5模型是在对YOLOv3和YOLOv4不断改进优化的基础上发展而来的，是目前单阶段目标检测YOLO系列中最新的算法。通过对三者在网络结构、性能等各方面的比较，可以发现YOLOv4在整体性能上表现最优秀，在速度方面YOLOv3和YOLOv5较好，在速度相当时YOLOv5优于YOLOv3，且具有四种网络模型，选择灵活性较强，可以满足不同场景和项目的需要。

表1 YOLOv3、YOLOv4、YOLOv5模型对比

YOLOv5具有YOLOv5S、YOLOv5M、YOLOv5L、YOLOv5X四种模型，其中YOLOv5S网络规模最小，模型文件最小，速度最快，尽管AP精度也最低。但因模型文件只有十几兆大小，线上实时效果最好，适合安装到嵌入式设备或手持式智能终端中用于机动场景下的实时检测与计数。Yolov5S网络是Yolov5系列中深度最小，特征图的宽度最小的网络，其它三种网络是在YOLOv5S基础上深度不断加深，特征图宽度加宽，AP精度也不断提升，但资源消耗在不断增加，检测速度也在不断变慢，因此，YOLOv5X模型适合安装在计算机终端上用于固定场景的实时检测与计数。

表2 YOLOv5与YOLOv3性能对比

因此，选择合适的最新技术实现植物工厂茄果类蔬菜多应用场景的果实实时检测、计数与产量预估对提高植物工厂综合经济效益和决策智能化有着重大的现实意义。

发明内容

根据目前目标检测技术的发展和现有技术存在的问题，本发明把目标检测的最新研究与技术成果加以利用与改进，应用到正处于快速发展的植物工厂生产领域，提供了一种基于YOLOv5的植物工厂茄果类蔬菜果实实时检测与计数系统及方法，有效提高了密集遮挡目标检测精度，为实现植物工厂不同使用场景下生物生长实时监测、自动计数与产量预估及机器人采摘等生产管理智能化提供一种基础技术。

为实现上述目的，本发明采用的技术方案为：一种植物工厂茄果类蔬菜果实进行实时检测与计数方法，其特征在于：

S1、系统，包括硬件单元与软件模块两部分，具体包括，

S101、图像与视频采集单元，包括高清摄像头、能够在植物工厂种植架上横向、竖向灵活移动的云台装置和补光装置；

S102、云计算平台单元，包括1台两路机架式服务器和64T的小型存储系统，用于存储图像和视频数据文件及其它服务器程序和文件；

S103、计算机终端单元，该计算机终端单元安装有数据采集模块，用于控制全天候定时或手动采集植物工厂果蔬植株的图片和视频数据，同时安装有为计算机终端开发的目标检测计数程序和已训练好的YOLOv5X_MT目标检测模型文件，主要用于对植物工厂种植的茄果类蔬菜果实进行全天候实时检测与计数，适宜于固定场景下对茄果类蔬菜果实的长期实时检测、计数与估产；

S104、手持式智能终端单元，该手持式智能终端单元安装有为智能终端设计开发的实时检测与计数的Android、IOS应用程序和已训练好的YOLOv5S_MT模型文件，主要用于对植物工厂种植茄果类蔬菜果实进行手持便捷的实时检测与计数，适宜于移动场景下对茄果类蔬菜果实的灵活机动、简便快捷的实时检测、计数与估产；

S105、数据采集模块，用于控制云台的位置及拍摄角度和控制摄像头定时或手动采集果蔬植株的图像和视频，并把采集的图像和视频文件上传至S102云计算平台单元；

S106、数据标注模块，对采集来自植物工厂实验室和温室盆栽茄果类蔬菜果实进行软件标注，生成PASCAL VOC2007标准的XML文件，增加了自动标注和格式转换功能，实现了自动标注辅以人工标注的方法，提高了数据标注效率和准确度，还实现了把XML文件转换为YOLOv5模型训练使用的TXT格式文件或训练其他模型所要求的格式，解决了训练模型数据格式不兼容问题；

S107、图像增强模块，用于对采集的果蔬植株图片文件进行各种增强操作，减少数据标注工作量，扩展数据集数量，提高训练模型的泛化能力；

S108、数据集转换模块，把利用通用数据标注工具生成的XML、Json格式文件转换成用于训练YOLOv5模型的TXT格式文件；

S109、数据集预处理模块，对标注过的数据集进行预处理，并根据设定的规则划分成训练集、验证集和测试集，以供训练模型和评估模型用；

S110、检测模型训练模块，用自建的数据集，设计合适的深度学习神经网络结构，通过YOLOv5算法，经训练获得最佳的YOLOv5模型文件；

S111、模型评估模块，运用S109模块划分得到的与训练集互斥的验证集对训练的模型进行评估运算，并获得准确度、精准度、召回率、F1得分和mAP评价指标数据及图表文件；

S112、目标检测与计数模块，用训练好的模型文件，对测试图片、视频或摄像头实时视频流进行茄果类蔬菜果实预测和计数；

S2、方法，具体包括以下步骤：

S201、植物工厂茄果类蔬菜果实图像采集及方法，利用图像与视频采集单元中的高清摄像头定时采集与照相机、手机、平板随机拍照相结合的方式，采集植物工厂不同光照环境下水培、温室盆栽的茄果类蔬菜果实图像或视频，并把文件上传至云计算平台单元；

S202、数据标注与数据集构建及方法，分别采用了经过改造后的Labelimg数据标注工具，对每张图片中的茄果类蔬菜果实进行计算机自动标注和人工补充修正标注相结合的方法，经不断迭代，构建符合PASCAL VOC2007或COCO标准数据集，并上传至云计算平台单元；

S203、数据增强、格式转换及方法，由图像增强模块和数据集转换模块实现，运用翻转、旋转、光线、色彩、饱和度和滤镜处理算法与方法，对原始照片进行增强和扩展，扩大了数据集数量，增加了数据集的普适性，并根据不同模型训练要求转换成不同的文件格式；

S204、数据集预处理及方法，由数据集预处理模块实现对标注过的数据集划分成训练集、验证集和测试集；

S205、YOLOv5S_MT和YOLOv5X_MT目标检测模型与训练方法，由检测模型训练模块实现，是用数据集预处理及方法划分的数据集分别对训练YOLOv5S_MT和YOLOv5X_MT模型进行训练，获得对应的模型文件，输入计算机终端单元和手持式智能终端单元相关数据作为茄果类蔬菜果实预测模型用于实时检测与计数；

S206、模型评估及方法，由模型评估模块实现，用数据集预处理及方法划分出来的验证集对训练出来的YOLOv5S_MT和YOLOv5X_MT模型进行评估，得出评估指标的结果文件和绘制指标可视化图表；

S207、目标预测与计数及方法，由安装于计算机终端和移动智能终端的目标检测与计数模块实现，用S205 YOLOv5S_MT和YOLOv5X_MT目标检测模型与训练方法训练得到的YOLOv5S_MT和YOLOv5X_MT模型文件，通过目标预测与计数方法，获得图片或实时视频茄果类蔬菜果实检测与计数的结果。

作为上述技术方案的进一步描述，还包括改进的YOLOv5目标检测网络模型及模型训练方法，具体包括以下步骤：

S301、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块，传送至YOLOv5网络中，该网络结构由输入端、主干特征提取Backbone、颈部Neck、头部Head四部分组成，所述输入端的输入图像为608x608大小，进行了图像预处理，将输入图像缩放到网络的输入大小，并进行归一化操作，在网络训练阶段还使用了Mosaic数据增强操作提升模型的训练速度和网络的精度，提出了一种自适应锚框计算、自适应图片缩放优化与改进方法，Backbone用来提取通用的特征表示，使用了CSPDarknet53结构，还使用了Focus结构作为基准网络，Focus和CSP网络结构，Neck位于Backbone和Head网络中间，可进一步提升特征的多样性和鲁棒性，用到了SPP模块、FPN+PAN模块，Head用来完成目标检测结果的输出，使用了改进的GIOU损失函数以提升算法检测精度；

S302、基于构建的植物工厂茄果类蔬菜果实数据集，采用不同的参数和微调的网络结构，分别对YOLOv5S_MT和YOLOv5X_MT模型进行600个Epochs的训练，获得相应的两种模型文件，植入不同的计算机终端和智能移动终端，满足固定场景和移动环境下植物工厂茄果类蔬菜果实的实时检测与技术。

作为上述技术方案的进一步描述，还包括植物工厂茄果类蔬菜果实数据集构建方法，具体包括以下步骤：

S401、自动与人工相结合的数据采集方法，包括利用图像与视频采集单元中由编程控制的摄像头实现定时自动图片采集，还利用单反相机、智能手机、平板多种拍摄设备，多次分不同时段，在不同光照条件下，由人工拍摄进行图片采集，以增加数据的广泛性和丰富性；

S402、自动标注为主，辅以人工修正的数据标注方法，具体为先用单反相机采集果实清晰可见、数量少、容易标注的番茄高清图片，用Labelimg通用标注工具对图片中的所有果实进行标注，制作PASCAL VOC2007标准数据集，经数据集预处理后导入检测模型训练模块进行模型训练，得出YOLOv5X_MT模型文件，用改进后的目标检测与计数模块对新采集的番茄植株图片进行果实预测，并生成标注过的图片和数据标注文件，再把自动生成的标注文件导入数据标注模块进行人工修正与补标，经过不断的迭代，构建大的植物工厂茄果类蔬菜果实数据集，此方法省去了大量的人工劳动力，提高了标注的效率；

S403、改进的数据增强方法，包括使用了翻转、旋转、光线、色彩、饱和度、滤镜、增加噪声20种不同方法、不同层级的处理算法与方法，增加光线、模糊、色偏差的图像适应性，扩大了数据集以避免数据不对称性与训练过拟合的现象发生。

作为上述技术方案的进一步描述，还包括适应固定和移动场景下的茄果类蔬菜果实通用实时检测与计数方法，具体包括以下步骤：

S501、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块，传送至YOLOv5S_MT网络中，经模型训练得到YOLOv5S_MT模型文件；

S502、将S501中的数据集传送至YOLOv5X_MT网络中，训练得到YOLOv5X_MT模型文件；

S503、将经502获得的YOLOv5X_MT模型文件导入安装有目标检测与计数模块的计算机终端单元中，用于固定场景下的植物工厂茄果类蔬菜果实的实时检测与计数；

S504、将经501获得的YOLOv5S_MT模型文件导入安装有目标检测与计数模块的手持式智能终端单元中，用于机动灵活的移动场景下植物工厂茄果类蔬菜果实的实时检测与计数。

本发明在以下方面存在优势：

1.本发明利用摄像头、单反相机、手机、平板等，采用自动和手动相结合的图像采集方法，对植物工厂水培和温室基质盆栽同品种茄果类蔬菜果实进行多角度、不同光环境下图像采集，提高了数据采集广泛性和适用性。

2.本发明利用Labelimg对采集的图像数据进行番茄果实标注，一边标注一边用于训练模型，用训练出的模型文件对未标注的文件进行预测并生成标注文件，再通过修正和补标的人工辅助标注以构建新的数据集，反复训练新的模型，经过不断的迭代，构建大的植物工厂茄果类蔬菜果实数据集，此方法省去了大量的人工劳动力，提高了标注的效率。

本发明使用了翻转、旋转、光线、色彩、饱和度、滤镜、增加噪声等20种不同方法、不同层级的数据增强算法与方法，增加光线、模糊、色偏差等的图像适应性，扩大了数据集以避免数据不对称性与训练过拟合的现象发生。

本发明采用了改进的输入数据的增强算法、加强的网络结构与训练方法，增加了算法的鲁棒性和稳定性，提高了目标检测识别的框选能力，解决了植物工厂多变光环境下密集果实的实时识别与计数准确率、召回率不高、实用性差等问题。

本发明采用了改进的YOLOv5S_MT和YOLOv5X_MT模型，提高了复杂环境下密集果实检测计数的准确度，提供了适应固定工作场景和机动灵活的移动场景下植物工厂茄果类蔬菜果实实时检测与计数的不同需求。

附图说明

图1为本发明提出的一种植物工厂茄果类蔬菜果实实时检测与计数方法的系统架构图：其中S101为图像与视频采集单元，S102为云计算平台单元，S103为计算机终端单元，S104为手持式智能终端单元，S105为数据采集模块，S106为数据标注模块，S107为图像增强模块，S108为数据集转换模块，S109为数据集预处理模块，S110为检测模型训练模块，S111为模型评估模块，S112为目标检测与计数模块；

图2为植物工厂和温室盆栽番茄果实采集的样例图片：其中(a)近景图像，(b)远景图像，(c)遮挡图像，(d)青果图像，(e)青果与红果混合图像，(f)红果图像；

图3为运用Labelimg进行数据标注示例；

图4为原图与增强处理后的番茄果实对比图片：其中(a)原图，(b)暗度增强，(c)亮度增强，(d)绿色增强，(e)蓝色增强，(f)红色增强，(g)上下镜像，(h)左右镜像，(i)上下+左右镜像，(j)高斯模糊增强，(k)Hue50增强，(l)曝光增强，(m)饱和度增强，(n)锐化增强，(o)椒盐噪声增强；

图5为改进的YOLOv5网络结构图，其中(a)YOLOv5网络结构，(b)Focus模块，(c)CBL模块，(d)Res unit模块，(e)CSP1_X模块CSP2_X模块，(f)CSP2_X模块，(g)SPP模块；

图6为数据预处理的mosaic增强示例；

图7为植物工厂番茄图片的预测与计数示例，其中(a)果实稀疏，(b)果实密集；

图8为YOLO系列模型性能评估对比，其中(a)F1，(b)P曲线，(c)R曲线，(d)PR曲线。

具体实施方式

下面结合附图，以植物工厂矮化番茄果实实时检测与计数为具体实施例对本发明进行详细描述，本发明具有完整的系统性，所述方法细微处较多，所描述的实施例仅是本发明的主要实施例，并非全部实施例，以此实施例对本申请做详细的描述说明。

参阅图1，本发明提供了一种基于YOLOv5的植物工厂茄果类蔬菜果实通用实时检测与计数方法，包括：

S1、系统，包括硬件单元与软件模块两部分，具体包括，

S101、图像与视频采集单元，包括高清摄像头、可在植物工厂种植架上横向、竖向灵活移动的云台装置和补光装置；

S102、云计算平台单元，包括1台两路机架式服务器和64T的小型存储系统，用于存储图像和视频数据文件及其他应服务器程序和文件；

S103、计算机终端单元，该计算机终端单元安装有数据采集模块，用于控制全天候定时或手动采集植物工厂果蔬植株的图片和视频数据，另外，还安装有为计算机终端开发的目标检测计数程序和已训练好的YOLOv5X_MT目标检测模型文件，主要用于对植物工厂种植的茄果类蔬菜果实进行全天候实时检测与计数，适宜于固定场景下对茄果类蔬菜果实的长期实时检测、计数与估产；

S104、手持式智能终端单元，该单元安装有为智能终端设计开发的实时检测与计数的Android、IOS应用程序和已训练好的YOLOv5S_MT模型文件，主要用于对植物工厂种植茄果类蔬菜果实进行手持便捷的实时检测与计数，适宜于移动场景下对茄果类蔬菜果实的灵活机动、简便快捷的实时检测、计数与估产；

S105、数据采集模块，用于控制云台的位置及拍摄角度和控制摄像头定时或手动采集果蔬植株的图像和视频，并把采集的图像和视频文件上传至云计算平台单元S102；

S106、数据标注模块，对采集来自植物工厂实验室和温室盆栽茄果类蔬菜果实进行软件标注，生成PASCAL VOC2007标准的XML文件，增加了自动标注和格式转换功能，实现了自动标注辅以人工标注的方法，提高了数据标注效率和准确度，还实现了把XML文件转换为YOLOv5模型训练使用的TXT格式文件或训练其他模型所要求的格式，解决了训练模型数据格式不兼容问题；

S107、图像增强模块，用于对采集的果蔬植株图片文件进行各种增强操作，减少了数据标注工作量，扩展了数据集数量，提高了训练模型的泛化能力；

S108、数据集转换模块，把利用其它通用数据标注工具生成的XML、Json等格式文件转换成用于训练YOLOv5模型的TXT格式文件；

S109、数据集预处理模块，对标注过的数据集进行预处理，并根据设定的规则划分成训练集、验证集和测试集，以供训练模型和评估模型用；

S110、检测模型训练模块，用自建的数据集，设计合适的深度学习神经网络结构，通过YOLOv5算法，经训练获得最佳的YOLOv5模型文件；

S111、模型评估模块，运用数据集预处理模块S109划分得到的与训练集互斥的验证集对训练的模型进行评估运算，并获得准确度、精准度、召回率、F1得分、mAP等评价指标数据及图表文件；

S112、目标检测与计数模块，用训练好的模型文件，对测试图片、视频或摄像头实时视频流进行茄果类蔬菜果实预测和计数。

S2、方法，具体包括以下步骤：

S201、植物工厂茄果类蔬菜果实图像采集及方法，利用图像与视频采集单元S101中的摄像头定时采集与照相机、手机、平板等随机拍照相结合的方式，采集植物工厂不同光照环境下水培、温室盆栽的茄果类蔬菜果实图像或视频，并把文件上传至云计算平台单元S102；

S202、数据标注与数据集构建及方法，分别采用了经过改造后的Labelimg数据标注工具，对每张图片中的茄果类蔬菜果实进行计算机自动标注和人工补充修正标注相结合的方法，经不断迭代，构建符合PASCAL VOC2007或COCO标准数据集，并上传至云计算平台单元S102；

S203、数据增强、格式转换及方法，由图像增强模块S107和数据集转换模块S108实现，运用翻转、旋转、光线、色彩、饱和度、滤镜等处理算法与方法，对原始照片进行增强和扩展，扩大了数据集数量，增加了数据集的普适性，并根据不同模型训练要求转换成不同的文件格式；

S204、数据集预处理及方法，由数据集预处理模块S109实现了对标注过的数据集划分成训练集、验证集和测试集；

S205、YOLOv5S_MT和YOLOv5X_MT目标检测模型与训练方法，由检测模型训练模块S110实现，是用S204划分的数据集分别对训练YOLOv5S_MT和YOLOv5X_MT模型进行训练，获得对应的模型文件，输入计算机终端单元S103和手持式智能终端单元S104作为茄果类蔬菜果实预测模型用于实时检测与计数；

S206、模型评估及方法，由模型评估模块S111实现，用S204划分出来的验证集对训练出来的YOLOv5S_MT和YOLOv5X_MT模型进行评估，得出评估指标的结果文件和绘制指标可视化图表；

S207、目标预测与计数及方法，由安装于计算机终端和移动智能终端的目标检测与计数模块S112实现，用S205训练得到的YOLOv5S_MT和YOLOv5X_MT模型文件，通过目标预测与计数方法，获得图片或实时视频茄果类蔬菜果实检测与计数的结果。

参阅图5-6，本发明提供的技术方案还包括改进的YOLOv5模型、算法及模型训练方法，具体包括以下步骤：

S301、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块S110，传送至YOLOv5网络中，该网络结构由输入端、主干特征提取Backbone、颈部Neck、头部Head四部分组成；

所述输入端的输入图像为608×608大小，进行了图像预处理，将输入图像缩放到网络的输入大小，并进行归一化等操作，在网络训练阶段还使用了Mosaic数据增强操作提升模型的训练速度和网络的精度，提出了一种自适应锚框计算、自适应图片缩放等优化与改进方法。Mosaic数据增强方法是对CutMix方法的改进，采用了4张图片，按照随机缩放、随机裁剪和随机排布拼接而成，不仅丰富了数据集，同时提升了网络训练速度，降低了模型的内存需求。自适应锚框计算，在网络训练阶段，模型在初始锚点的基础上输出对应的预测框，计算与GroundTruth框间的差距，并进行反向更新操作，从而更新整个网络参数，改进的YOLOv5将该功能嵌入到代码中，每次训练时将根据数据集名称自适应计算出最佳的锚点框。自适应图片缩放，能够自适应地将原始不同大小图片缩放到固定尺寸时添加最少的黑边，减少信息冗余，提高算法推理速度；

基准网络Backbone用来进行主干特征的提取，使用了Focus和CSPDarknet53相结合的网络结构。Focus结构是通过Slice操作对输入的图片进行裁剪，把原始输入大小为608×608×3的图片，经Slice和Concat操作后输出304×304×12的特征映射，接着经过一个通道数为32的Conv层，再输出一个304×304×32大小的特征映射。改进的YOLOv5使用了两种CSP结构，一种CSP1_X结构应用于Backbone主干网络，另一种CSP2_X应用于Neck网络；

改进的YOLOv5的Neck网络位于Backbone和Head网络中间，是在FPN+PAN结构的基础上进行了许多改进和优化，借鉴了CSPnet设计的CSP2结构，多处利用CSP2_X或CSP1_X结构代替CBL模块，在一些地方还去掉了一些CBL模块，从而加强了网络特征融合能力，进一步提升特征的多样性和鲁棒性；

Head用来完成目标检测结果的输出，在训练时使用了改进的GIoU_Loss做Bounding box的损失函数和预测框筛选的DIOU_NMS相结合的方法，提升了算法检测精度；

S302、优化BottlenckCSP结构。在YOLOv5模型的主干网络中，小目标所具有的特征信息会随着卷积操作而减少或者消失，从而增加了小目标物体的检测难度。针对该问题，本文简化了主干网络中的特征提取层，将原来主干网络中BottleneckCSP的模块数量由(×3，×9，×9，×3)变为了(×2，×6，×6，×2)来提取更多的浅层特征信息。为了解决过多卷积核使参数量变大的问题，又删除了原始模块分支上的卷积层，并将BottleneckCSP模块的输入特征映射与另一个分支的输出特征图直接连接，有效地减少了模块中的参数数量；

S303、YOLOv5S_MT和YOLOv5X_MT对基础网络的改进。对于输入图像来说，Micro-Tom番茄的果实较小，枝叶茂盛，背景占据了图像的较大部分，在进行卷积操作时，背景的迭代累积会形成大量冗余信息，从而淹没部分目标，导致检测准确率不高。为了突出目标特征，精准地定位和识别小番茄，提升检测准确率，本文在主干特征提取网络的SPP结构之后增加了协同注意力机制(Coordinate Attention，CA)，将位置信息嵌入到通道注意力中，不仅能捕获跨通道的信息，还能捕获方向和位置感知的信息，使模型更加精准地定位和识别感兴趣的目标。CA通过精确的位置信息对通道关系和长期依赖性进行编码。首先，给定输入X，通过全局平均池化，分别沿水平方向和垂直方向进行分解、编码，得到两个一维方向感知特征图，从而实现坐标信息的嵌入。然后，将提取到的特征信息进行拼接，利用一个1×1卷积变换函数进行信息转换，进而得到中间特征图，并沿着空间维度分解为2个单独的张量，再利用两个卷积变换为具有相同通道数的张量，最后将输出结果进行扩展，分别作为注意力权重分配值，从而实现坐标信息特征图的生成；

S304、改进的YOLOv5S_TM和YOLOv5X_MT使用了自适应锚框(Auto LearningBounding Box Anchors)计算思想，采用K均值聚类(K-Means)聚类算法根据标注的目标框(ground truth)自动计算获取合适的锚框，锚框由训练数据自动学习获得。依据COCO数据集设置了九种锚定框，分别是：(10,13)，(16,30)，(33,23)，(30,61)，(62,45)，(59,119)，(116,90)，(156,198)，(373,326)。本文针对Micro-Tom番茄边界不明显的小目标，添加了三个锚定框尺寸，分别为(5,6)，(8,14)，(15,11)。按照检测层尺度分配锚框，以检测较小的番茄；

S305、基于构建的同一植物工厂茄果类蔬菜果实数据集，采用不同的参数和微调的网络结构，分别对YOLOv5S_MT和YOLOv5X_MT模型进行不少于300个Epochs训练，获得相应的两种模型文件，分别植入计算机终端和智能移动终端，满足固定场景和移动环境下植物工厂茄果类蔬菜果实的实时检测与技术。

参阅图2-4，本发明提供的技术方案还包括数据集构建方法，具体包括以下步骤：

S401、自动与人工相结合的数据采集方法，包括利用图像与视频采集单元S101中由编程控制的摄像头实现定时自动图片采集，还利用单反相机、智能手机、平板等多种拍摄设备，多次分不同时段，在不同光照条件下，由人工拍摄进行图片采集，以增加数据的广泛性和丰富性；

S402、自动标注为主，辅以人工修正的数据标注方法，具体为先用单反相机采集果实清晰可见、数量少、容易标注的果实高清图片，用Labelimg和Labelme通用标注工具对图片中的所有番茄果实进行标注，制作PASCAL VOC2007标准数据集，经数据集预处理模块S109数据集预处理导入检测模型训练模块S110训练得出YOLOv5X_MT模型文件，用改进后的目标检测与计数模块S112对新采集的番茄植株图片进行番茄预测，并生成标注过的图片和数据标注文件，再把自动生成的标注文件导入数据标注模块S106进行人工修正与补标，经过不断的迭代，构建大的植物工厂茄果类蔬菜果实数据集，此方法省去了大量的人工劳动力，提高了标注的效率；

S403、改进的数据增强方法，包括使用了翻转、旋转、光线、色彩、饱和度、滤镜、增加噪声等20种不同方法、不同层级的处理算法与方法，增加光线、模糊、色偏差等的图像适应性，扩大数据集以避免数据不对称性与训练过拟合，提高了模型的检测性能。

参阅图7-8，本发明提供了一种技术方案还包括适应固定和机动场景下的实时检测与计数方法，具体包括以下步骤：

S501、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块S110，传送至YOLOv5S_MT网络中，训练得到YOLOv5S_MT模型文件；

S502、将S501所述的数据集，传送至YOLOv5X_MT网络中，训练得到YOLOv5X_MT模型文件；

S503、将经502获得的模型导入安装有目标检测与计数模块S112的计算机终端用于固定场景下的植物工厂茄果类蔬菜果实的实时检测与计数；

S504、将经501获得的模型导入安装有目标检测与计数模块S112的手持式智能终端模块S104用于机动场景下的植物工厂茄果类蔬菜果实的实时检测与计数。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种植物工厂茄果类蔬菜果实进行实时检测与计数方法，其特征在于：

S1、系统，包括硬件单元与软件模块两部分，具体包括，

S101、图像与视频采集单元，包括高清摄像头、能够在植物工厂种植架上横向、竖向灵活移动的云台装置和补光装置；

S102、云计算平台单元，包括1台两路机架式服务器和64T的小型存储系统，用于存储图像和视频数据文件及其它服务器程序和文件；

S103、计算机终端单元，该计算机终端单元安装有数据采集模块，用于控制全天候定时或手动采集植物工厂果蔬植株的图片和视频数据，同时安装有为计算机终端开发的目标检测计数程序和已训练好的YOLOv5X_MT目标检测模型文件，主要用于对植物工厂种植的茄果类蔬菜果实进行全天候实时检测与计数，适宜于固定场景下对茄果类蔬菜果实的长期实时检测、计数与估产；

S104、手持式智能终端单元，该手持式智能终端单元安装有为智能终端设计开发的实时检测与计数的Android、IOS应用程序和已训练好的YOLOv5S_MT模型文件，主要用于对植物工厂种植茄果类蔬菜果实进行手持便捷的实时检测与计数，适宜于移动场景下对茄果类蔬菜果实的灵活机动、简便快捷的实时检测、计数与估产；

S105、数据采集模块，用于控制云台的位置及拍摄角度和控制摄像头定时或手动采集果蔬植株的图像和视频，并把采集的图像和视频文件上传至S102云计算平台单元；

S106、数据标注模块，对采集来自植物工厂实验室和温室盆栽茄果类蔬菜果实进行软件标注，生成PASCAL VOC2007标准的XML文件，增加了自动标注和格式转换功能，实现了自动标注辅以人工标注的方法，提高了数据标注效率和准确度，还实现了把XML文件转换为YOLOv5模型训练使用的TXT格式文件或训练其他模型所要求的格式，解决了训练模型数据格式不兼容问题；

S107、图像增强模块，用于对采集的果蔬植株图片文件进行各种增强操作，减少数据标注工作量，扩展数据集数量，提高训练模型的泛化能力；

S108、数据集转换模块，把利用通用数据标注工具生成的XML、Json格式文件转换成用于训练YOLOv5模型的TXT格式文件；

S109、数据集预处理模块，对标注过的数据集进行预处理，并根据设定的规则划分成训练集、验证集和测试集，以供训练模型和评估模型用；

S110、检测模型训练模块，用自建的数据集，设计合适的深度学习神经网络结构，通过YOLOv5算法，经训练获得最佳的YOLOv5模型文件；

S111、模型评估模块，运用S109模块划分得到的与训练集互斥的验证集对训练的模型进行评估运算，并获得准确度、精准度、召回率、F1得分和mAP评价指标数据及图表文件；

S112、目标检测与计数模块，用训练好的模型文件，对测试图片、视频或摄像头实时视频流进行茄果类蔬菜果实预测和计数；

S2、方法，具体包括以下步骤：

S201、植物工厂茄果类蔬菜果实图像采集及方法，利用图像与视频采集单元中的高清摄像头定时采集与照相机、手机、平板随机拍照相结合的方式，采集植物工厂不同光照环境下水培、温室盆栽的茄果类蔬菜果实图像或视频，并把文件上传至云计算平台单元；

S202、数据标注与数据集构建及方法，分别采用了经过改造后的Labelimg数据标注工具，对每张图片中的茄果类蔬菜果实进行计算机自动标注和人工补充修正标注相结合的方法，经不断迭代，构建符合PASCAL VOC2007或COCO标准数据集，并上传至云计算平台单元；

S203、数据增强、格式转换及方法，由图像增强模块和数据集转换模块实现，运用翻转、旋转、光线、色彩、饱和度和滤镜处理算法与方法，对原始照片进行增强和扩展，扩大了数据集数量，增加了数据集的普适性，并根据不同模型训练要求转换成不同的文件格式；

S204、数据集预处理及方法，由数据集预处理模块实现对标注过的数据集划分成训练集、验证集和测试集；

S205、YOLOv5S_MT和YOLOv5X_MT目标检测模型与训练方法，由检测模型训练模块实现，是用数据集预处理及方法划分的数据集分别对训练YOLOv5S_MT和YOLOv5X_MT模型进行训练，获得对应的模型文件，输入计算机终端单元和手持式智能终端单元相关数据作为茄果类蔬菜果实预测模型用于实时检测与计数；

S206、模型评估及方法，由模型评估模块实现，用数据集预处理及方法划分出来的验证集对训练出来的YOLOv5S_MT和YOLOv5X_MT模型进行评估，得出评估指标的结果文件和绘制指标可视化图表；

S207、目标预测与计数及方法，由安装于计算机终端和移动智能终端的目标检测与计数模块实现，用S205 YOLOv5S_MT和YOLOv5X_MT目标检测模型与训练方法训练得到的YOLOv5S_MT和YOLOv5X_MT模型文件，通过目标预测与计数方法，获得图片或实时视频茄果类蔬菜果实检测与计数的结果。

2.根据权利要求1所述的植物工厂茄果类蔬菜果实进行实时检测与计数方法，其方法特征在于还包括改进的YOLOv5-MT目标检测网络模型及模型训练方法，具体包括以下步骤：

S301、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块，传送至YOLOv5网络中，该网络结构由输入端、主干特征提取Backbone、颈部Neck、头部Head四部分组成，所述输入端的输入图像为608x608大小，进行了图像预处理，将输入图像缩放到网络的输入大小，并进行归一化操作，在网络训练阶段还使用了Mosaic数据增强操作提升模型的训练速度和网络的精度，提出了一种自适应锚框计算、自适应图片缩放优化与改进方法，Backbone用来提取通用的特征表示，使用了CSPDarknet53结构，还使用了Focus结构作为基准网络，Focus和CSP网络结构，Neck位于Backbone和Head网络中间，可进一步提升特征的多样性和鲁棒性，用到了SPP模块、FPN+PAN模块，Head用来完成目标检测结果的输出，使用了改进的GIOU损失函数以提升算法检测精度；

S302、基于构建的植物工厂茄果类蔬菜果实数据集，采用不同的参数和微调的网络结构，分别对YOLOv5S_MT和YOLOv5X_MT模型进行600个Epochs的训练，获得相应的两种模型文件，植入不同的计算机终端和智能移动终端，满足固定场景和移动环境下植物工厂茄果类蔬菜果实的实时检测与技术。

3.根据权利要求2所述的植物工厂茄果类蔬菜果实进行实时检测与计数方法，其方法特征在于还包括植物工厂茄果类蔬菜果实数据集构建方法，具体包括以下步骤：

S401、自动与人工相结合的数据采集方法，包括利用图像与视频采集单元中由编程控制的摄像头实现定时自动图片采集，还利用单反相机、智能手机、平板多种拍摄设备，多次分不同时段，在不同光照条件下，由人工拍摄进行图片采集，以增加数据的广泛性和丰富性；

S402、自动标注为主，辅以人工修正的数据标注方法，具体为先用单反相机采集果实清晰可见、数量少、容易标注的番茄高清图片，用Labelimg通用标注工具对图片中的所有果实进行标注，制作PASCAL VOC2007标准数据集，经数据集预处理后导入检测模型训练模块进行模型训练，得出YOLOv5X_MT模型文件，用改进后的目标检测与计数模块对新采集的番茄植株图片进行果实预测，并生成标注过的图片和数据标注文件，再把自动生成的标注文件导入数据标注模块进行人工修正与补标，经过不断的迭代，构建大的植物工厂茄果类蔬菜果实数据集，此方法省去了大量的人工劳动力，提高了标注的效率；

S403、改进的数据增强方法，包括使用了翻转、旋转、光线、色彩、饱和度、滤镜、增加噪声20种不同方法、不同层级的处理算法与方法，增加光线、模糊、色偏差的图像适应性，扩大了数据集以避免数据不对称性与训练过拟合的现象发生。

4.根据权利要求3所述的植物工厂茄果类蔬菜果实进行实时检测与计数、方法，其方法特征在于还包括适应固定和移动场景下的茄果类蔬菜果实通用实时检测与计数方法，具体包括以下步骤：

S501、将S201、S202、S203、S204生成的训练数据集和验证数据集导入检测模型训练模块，传送至YOLOv5S_MT网络中，经模型训练得到YOLOv5S_MT模型文件；

S502、将S501中的数据集传送至YOLOv5X_MT网络中，训练得到YOLOv5X_MT模型文件；

S503、将经502获得的YOLOv5X_MT模型文件导入安装有目标检测与计数模块的计算机终端单元中，用于固定场景下的植物工厂茄果类蔬菜果实的实时检测与计数；

S504、将经501获得的YOLOv5S_MT模型文件导入安装有目标检测与计数模块的手持式智能终端单元中，用于机动灵活的移动场景下植物工厂茄果类蔬菜果实的实时检测与计数。

Images