CN114743104A - 一种便携式甘蔗田间测产系统 - Google Patents

一种便携式甘蔗田间测产系统 Download PDF

Info

Publication number
CN114743104A
CN114743104A CN202210393815.5A CN202210393815A CN114743104A CN 114743104 A CN114743104 A CN 114743104A CN 202210393815 A CN202210393815 A CN 202210393815A CN 114743104 A CN114743104 A CN 114743104A
Authority
CN
China
Prior art keywords
sugarcane
image
module
portable
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210393815.5A
Other languages
English (en)
Other versions
CN114743104B (zh
Inventor
杨丹彤
戴久翔
岳学军
郑丁科
郭家文
高欣欣
黄燕娟
黄世醒
陈惠明
张畅冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210393815.5A priority Critical patent/CN114743104B/zh
Publication of CN114743104A publication Critical patent/CN114743104A/zh
Application granted granted Critical
Publication of CN114743104B publication Critical patent/CN114743104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种便携式甘蔗田间测产系统，包括：边缘计算设备、便携式显示屏、双目摄像头、第一便携供电电源、第二便携供电电源、蓝牙操控键盘、图像输入模块、图像处理模块和图像识别模块；双目摄像头、第一便携供电电源、便携显示屏、蓝牙操控键盘均与边缘计算设备连接，第二便携供电电源与便携显示屏相连接；图像输入模块采集甘蔗的图像和视频，图像处理模块对图像和视频进行分析处理，图像识别模块负责对图像处理模块处理后的图像和视频进行多尺度测量，实现甘蔗产量测量。本发明可取代传统的人工产量测量方式，改善农工田间实时产量测量情况，提高工作效率和可靠性。

Description

一种便携式甘蔗田间测产系统
技术领域
本发明涉及深度学习和甘蔗田间产量测量的技术领域，尤其是指一种便携式甘蔗田间测产系统。
背景技术
传统的甘蔗产量测量仍离不开人工操作，需要人工取植株上中下三点直径后取平均值得到植株直径，还需要对植株的高度进行人工测量，每年需测量4-5次，不仅工作效率低，准确性也有影响。
在农业产量测量方面，传统机器视觉学者针对获取的图片通过阈值分割法将RGB颜色模型中的甘蔗茎节和分叉点从背景中分离出来，并进一步分析识别出茎节和分叉点的个数与产量之间的关系，这样操作不仅复杂而且效率低下。甘蔗大多种植在户外，与其相关的作业也大多是在户外进行，背景条件复杂且受自然光照的影响，识别难度大；如借鉴传统机器视觉的方法，不仅甘蔗茎节和分叉点识别的准确性和稳定性无法保证，二者识别数量与产量之间的相关系数也较低，实施的可能性不大。
在最近几年人工智能的发展中，深度学习与卷积神经网络的发展带给目标检测方向质的飞跃，提供了良好的效果。但是，现阶段基于视觉的目标检测大多是在服务器端对单张图片进行处理和检测，对于实时的、在线的目标检测来说，参考的意义不大，并且也无法搬运到田地场景中实施，实施的可行性仍不大。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种便携式甘蔗田间测产系统，基于改进后的YOLOv5神经网络模型，通过视觉识别甘蔗植株的高度和直径计算出体积，再乘以甘蔗的容重，从而得到甘蔗单个植株的重量。通过快速、大量采集甘蔗植株的重量，就可以获得某地块的甘蔗产量，该系统可取代传统的人工产量测量方式，改善农工田间实时产量测量情况。
为实现上述目的，本发明所提供的技术方案为：一种便携式甘蔗田间测产系统，包括：
硬件部分，包括边缘计算设备、便携式显示屏、双目摄像头、第一便携供电电源、第二便携供电电源和蓝牙操控键盘；其中，所述双目摄像头、第一便携供电电源、便携式显示屏、蓝牙操控键盘均通过特定数据线和接口与边缘计算设备相连接，所述第二便携供电电源与便携式显示屏相连接，提供电量支持；
软件部分，加载于边缘计算设备，包括图像输入模块、图像处理模块和图像识别模块；其中，所述图像输入模块通过双目摄像头采集甘蔗的图像和视频，所述图像处理模块负责对图像输入模块输入的图像和视频进行分析处理，所述图像识别模块负责对图像处理模块处理后的图像和视频进行多尺度测量，基于改进后的YOLOv5神经网络模型处理，对甘蔗茎节和分叉点进行识别，进而实现甘蔗产量测量，其中茎节是指甘蔗植株表面凸起的节点部分，分叉点是指甘蔗植株和甘蔗叶子的交点部分；
其中，对YOLOv5神经网络模型进行改进，包括：①训练时使用SGD优化，添加warmup策略，并在模型训练初始时使用小的学习率，再逐步提高学习率以提高学习速度；②使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框；③添加CBAM注意力模块和VarifocalNet模块，用于提高在田间遮挡严重的情况下对甘蔗茎节和分叉点的实时检测准确率。
进一步，使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框，具体情况如下：
k-means聚类均值算法先从所有数据样本中选取K个聚类，聚类是指将数据集中的样本划分为若干个不相交的子集，每个子集称为一个“簇”，聚类中数据的均值表示中心，即用每一个聚类的中心对该簇进行描述，不断回归得到各聚类值；在不断的计算过程中，将所有样本划分到距离最小的中心所在的聚类中；其中，为了使得各聚类平方和达到最小值，在选取样本的过程中要保持中心不变，根据Labelimg工具标注图像中甘蔗茎节特征后生成的txt文件，其中包含标注甘蔗茎节特征在原图像当中的位置信息和标注框左上角坐标(x，y)以及标注框的宽w、高h；运用k-means聚类均值算法聚类k个先验框的高度和宽度，计算先验框与每个边界框boundinig box的交并比IOU，评估后选出最大值；不断计算，直至获取得到最适合甘蔗茎节特征的先验框尺寸；
添加CBAM注意力模块，具体情况如下：
CBAM注意力模块是由通道注意力模块和空间注意力模块组成，对于输入的特征层，依次经过通道注意力模块和空间注意力模块，将新得到的注意力图与输入特征层进行自适应特征优化；通道注意力模块和空间注意力模块的依次结合，简化了模型结构，降低了计算压力；
通道注意力模块执行以下操作：对输入的单个特征层，分别进行全局平均池化和全局最大池化，之后将池化后的结果利用共享的全连接层进行处理，对处理后的两个结果进行相加，取结果的均值，获得输入特征层每一个通道的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得通道注意力值；
空间注意力模块执行以下操作：对输入进来的特征层，在每一个特征点的通道上取最大值和平均值，之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，取结果的均值，得到输入特征层每一个特征点的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得空间注意力值；
添加VarifocalNet模块，具体情况如下：
IOU感知的分类得分IACS，是用来表示物体存在置信度和定位精度的一项指标，对于密集物体的检测有更精准的排序；Varifocal损失函数使用训练后的密集特征检测器来预测IACS，结合星形边界框特征表示来估算IACS和改进粗略边界框，并以FCOS+ATSS为基本网络，移除掉Centerness分支，组成VarifocalNet模块。
进一步，所述图像处理模块选用了Python网络爬虫爬取的多张图片，对已有的甘蔗图像进行数据增强，其中包括调整亮度、对比度、色彩饱和加噪，并进行不同程度的裁剪处理，构建图像数据集，然后再使用LambleImg图像标注工具对图像数据集中的图像的甘蔗茎节和分叉点目标进行标注，并将图像数据集按比例分为训练集、验证集和测试集；其中，将上述训练集输入改进后的YOLOv5神经网络模型进行训练，能够得到甘蔗茎节和分叉点检测所需权重文件。
进一步，所述图像识别模块的所有工作均在边缘计算设备完成，具体情况如下：
当双目摄像头采集到甘蔗图像后，将图像传递给图像识别模块，对图像进行resize操作，对图片整体成比例进行resize，使得图像的长边为416，如果图像的长边和短边长度相同，则图像大小为416*416，如果短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图像大小都固定尺寸为416*416，然后再将resize后的图像输入到改进后的YOLOv5神经网络模型中进行检测：将特征信息通过上采样的方式进行传递融合成特征图，得到特征图后进行识别，使用CSPdarknet作为主要的特征提取网络，并使用LeakyReLU和Sigmoid激活函数，再根据Mosaic数据增强和Focus模块获得更有效、更深层的特征信息，以增强模型的拟合性及提升检测效果和检测速度，进而提高了田间实时对甘蔗茎节和分叉点的识别准确率。
进一步，所述边缘计算设备为测产系统的控制核心，提供了测产系统工作的操作系统以及改进后的YOLOv5神经网络模型的运行环境、运算平台和计算力支持，并实现转换数据的输入输出；在边缘计算设备内，改进后的YOLOv5神经网络模型对双目摄像头采集的图像和视频进行处理，识别出甘蔗茎节和分叉点的位置，计算出甘蔗植株的高度和直径，再计算出体积，最后乘以甘蔗的容重，从而得到甘蔗单个植株的重量。
进一步，所述边缘计算设备环境配置为Ubuntu18.04，使用双核NVIDIA Denver 264位CPU与四核
Figure BDA0003598154210000051
-A57 MPCore复合处理器，内存8GB，配置Pascal架构GPU。
进一步，所述第一便携供电电源为8400mAh 21V电源。
进一步，所述第二便携供电电源为9000mAh 5V电源。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明所设计的测产系统，与传统的产量测量方案相比具有更快的工作速度，可直接将产量测量所需要的参数识别出来，不需要人为单植株手工测量，操作者只需要移动摄像头且记录数据即可，大幅减少人工作业，提高工作效率。
2、本发明系统所有设备方便携带，容易安装，可满足在田间等多种复杂环境下工作使用，不拘泥于在服务器端对单张图片进行识别检测，可实现在田间实时检测，提高了田间产量测量的可靠性。
3、本发明系统结合了基于机器视觉的目标检测方法，使用改进后的YOLOv5神经网络模型对甘蔗茎节和分叉点进行自动识别，提高产量测量的作业效率。
4、，本发明系统的边缘计算设备和显示器用电分别来自于8400mAh 21V和9000mAh5V的便携供电电源，属于安全用电，不存在用电安全隐患。
总之，本发明系统应用前景广泛，不仅可以满足农业田间实时工作，而且可以广泛地应用于柑橘、玉米等其它农业作物，以及医疗、教育等其它技术领域。
附图说明
图1为实施例提供的便携式甘蔗田间测产系统的整体结构图；
图2为实施例提供的便携式甘蔗实时测产系统的部分结构图；
附图中，1-边缘计算设备；2-便携式显示屏；3-双目摄像头；4-8400mAh 21V便携供电电源；5-蓝牙操控键盘；6-9000mAh 5V便携供电电源；11-可调速散热风扇；12-引线；13-三脚支架。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1和图2所示，本实施例提供了一种便携式甘蔗田间测产系统，其硬件部分包括边缘计算设备1及与边缘计算设备1连接的便携式显示屏2；边缘计算设备1上连双目接摄像头3；边缘计算设备1使用8400mAh 21V便携供电电源4；便携式显示屏2使用9000mAh 5V便携供电电源6；蓝牙操控键盘5对系统传输控制命令；整个测产系统由多个可拆卸的组件连接构成，方便携带，安装简单。
进一步地，在图1中，除蓝牙操控键盘5外，各硬件设备需要通过引线12相连接，其中全系统供电由8400mAh 21V和9000mAh 5V便携供电电源4、5完成，增加便携性和操作安全性。双目摄像头3与边缘计算设备1连接，实现获取图像信息并传输给边缘计算设备的功能，将获取的图像信息传递给改进后的YOLOv5神经网络模型进行处理，便携式显示屏2与边缘计算设备1相连接，对处理后的效果进行可视化展示。
如图2所示，边缘计算设备1上设有可调速散热风扇11，保证系统的散热效果。其中，双目摄像头自带三脚支架13，可以保证系统工作的稳定性和操作的简易性等优势，将三脚支架13和双目摄像头3组装完成后组成为整体，完成便携式甘蔗田间测产系统的整体安装。
其中，为满足多种场景下的可靠性和实用性，优先选择LED显示屏，相比液晶显示屏，无拼缝，亮度高，更加适合在户外使用。采用双目摄像头不仅可以满足图片或视频的采集，实现对甘蔗茎节和分叉点的识别，而且还具备测距的要求，增强可扩展性和普适性，故优先选择双目摄像头。
所述边缘计算设备1功能丰富，具备很强的计算能力，集开发测试于一体，是软件开发的工具、终端、系统，且可配置环境、调试参数与承载神经网络模型的运行，由于神经网络模型占内存较大，对于移植到边缘计算设备存在较大的困难，因此使用改进后的YOLOv5神经网络模型，减少模型的计算量且加快模型的运行速度，提高模型的鲁棒性。边缘计算设备至少为两个可与其连接的外部组件提供了接口，串联起整个设备的数据传输，全面丰富便携式甘蔗田间测产系统的完整性，使整个测产系统亦具有良好的扩展性。
进一步地，所述边缘计算设备主要功能如下：
提供测产系统工作的操作系统，提供改进后的YOLOv5神经网络模型的运行环境，提供改进后的YOLOv5神经网络模型的运算平台，提供改进后的YOLOv5神经网络模型的计算力支持，作为测产系统的控制核心，转换数据的输入输出。
所述边缘计算设备环境配置为Ubuntu18.04，使用双核NVIDIA Denver 2 64位CPU与四核
Figure BDA0003598154210000081
-A57 MPCore复合处理器，内存8GB，配置Pascal架构GPU。
在边缘计算设备内，改进后的YOLOv5神经网络模型对双目摄像头采集的图像和视频进行处理，识别出甘蔗茎节和分叉点的位置，计算出蔗植株的高度和直径进而计算出体积，再乘以甘蔗的容重，从而得到甘蔗单个植株的重量。
为实现在田间户外实时进行甘蔗茎节和分叉点的识别，本发明使用便携轻巧的边缘计算设备和显示器，分别使用8400mAh 21V和9000mAh 5V的便携供电电源，均不需要特殊固定的供电方式，满足实时测产设备的便携性和安全性。
本实施例提供的便携式甘蔗田间测产系统，适用于多种田间环境，双目摄像头可通过调整三脚支架进行固定，进而可从各个角度对甘蔗田进行图像或视频的获取，传入边缘计算设备内置的改进YOLOv5神经网络模型，也可开启双目摄像头的实时拍摄模式，对拍摄范围内的甘蔗茎节和分叉点进行实时检测。下面对边缘计算设备内置的软件部分进行详细说明，其软件部分包括：
图像输入模块，负责采集甘蔗的图像和视频；
图像处理模块，负责对输入的图像和视频进行分析处理；
图像识别模块，负责对图像处理模块处理后的图像和视频进行多尺度测量，基于改进后的YOLOv5神经网络模型处理，对甘蔗茎节和分叉点进行识别，进而实现甘蔗产量测量，其中茎节是指甘蔗植株表面凸起的节点部分，分叉点是指甘蔗植株和甘蔗叶子的交点部分。
所述图像输入模块，所有获取的图像均由双目摄像头采集完成。
所述图像处理模块，所使用的甘蔗图像拍摄于广东省湛江市雷州市甘蔗田地，共拍摄1086张，并且选用了Python网络爬虫爬取的260张图片。为加强数据的多样化，提高样本的鲁棒性，对已有的甘蔗图像进行数据增强，其中包括调整亮度、对比度、色彩饱和加噪等变换，并进行不同程度的裁剪，共获得图像1860张，构建一个图像数据集。将上述甘蔗图片整理，使用LambleImg图像标注工具来对图像中的甘蔗茎节和分叉点目标进行标注。共有标注目标9307个，将数据集分按70％、20％、10％的比例分为训练集、验证集、测试集各1302张、372张和186张。其中，将上述整理的训练集输入改进后的YOLOv5神经网络模型训练，可得到甘蔗茎节和分叉点检测所需权重文件。
所述图像识别模块，所有工作均在边缘计算设备完成，具体情况如下：
当双目摄像头采集到甘蔗图像后，将图像传递给图像识别模块，对图像进行resize操作，对图片整体成比例进行resize，使得图像的长边为416，如果图像的长边和短边长度相同，则图像大小为416*416，如果短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图像大小都固定尺寸为416*416，然后再将resize后的图像输入到改进后的YOLOv5神经网络模型中进行检测：将特征信息通过上采样的方式进行传递融合成特征图，得到特征图后进行识别，使用CSPdarknet作为主要的特征提取网络；使用LeakyReLU和Sigmoid激活函数，在对精度影响较小的情况下，有着训练速度、推断速度快的优点，再根据Mosaic数据增强和Focus模块获得更有效、更深层的特征信息，增强模型的拟合性，提升检测效果，提高检测速度，进而提高了田间实时对甘蔗茎节和分叉点的识别准确率。
本发明使用的改进后的YOLOv5神经网络模型需要先将双目摄像头获取到甘蔗图像，统一为一定的分辨率416*416，后送入图片输入模块，使用CSPdarknet作为主要的特征提取网络；使用LeakyReLU和Sigmoid激活函数，在对精度影响较小的情况下，有着训练速度、推断速度快的优点，再根据Mosaic数据增强和Focus模块获得更有效、更深层的特征信息，增强模型的拟合性，提升检测效果，提高检测速度。
本系统实现的技术核心是改进后的YOLOv5神经网络模型，对YOLOv5神经网络模型进行改进，包括：①训练时使用SGD优化，添加warm up策略，并在模型训练初始时使用小的学习率，再逐步提高学习率以提高学习速度；②使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框；③添加CBAM注意力模块和VarifocalNet模块，用于提高在田间遮挡严重的情况下对甘蔗茎节和分叉点的实时检测准确率。
使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框，具体情况如下：
k-means聚类均值算法先从所有数据样本中选取K个聚类，聚类是指将数据集中的样本划分为若干个不相交的子集，每个子集称为一个“簇”，聚类中数据的均值表示中心，即用每一个聚类的中心对该簇进行描述，不断回归得到各聚类值；在不断的计算过程中，将所有样本划分到距离最小的中心所在的聚类中；其中，为了使得各聚类平方和达到最小值，在选取样本的过程中要保持中心不变，根据labelimg工具标注图像中甘蔗茎节特征后生成的txt文件，其中包含标注甘蔗茎节特征在原图像当中的位置信息和标注框左上角坐标(x，y)以及标注框的宽w、高h；运用k-means聚类均值算法聚类k个先验框的高度和宽度，计算先验框与每个边界框boundinig box的交并比IOU，评估后选出最大值；不断计算，直至获取得到最适合甘蔗茎节特征的先验框尺寸；
添加CBAM注意力模块，具体情况如下：
CBAM注意力模块是由通道注意力模块和空间注意力模块组成，对于输入的特征层，依次经过通道注意力模块和空间注意力模块，将新得到的注意力图与输入特征层进行自适应特征优化；通道注意力模块和空间注意力模块的依次结合，简化了模型结构，降低了计算压力；
通道注意力模块执行以下操作：对输入的单个特征层，分别进行全局平均池化和全局最大池化，之后将池化后的结果利用共享的全连接层进行处理，对处理后的两个结果进行相加，取结果的均值，获得输入特征层每一个通道的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得通道注意力值；
空间注意力模块执行以下操作：对输入进来的特征层，在每一个特征点的通道上取最大值和平均值，之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，取结果的均值，得到输入特征层每一个特征点的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得空间注意力值；
添加VarifocalNet模块，具体情况如下：
IOU感知的分类得分IACS，是用来表示物体存在置信度和定位精度的一项指标，对于密集物体的检测有更精准的排序；Varifocal损失函数使用训练后的密集特征检测器来预测IACS，结合星形边界框特征表示来估算IACS和改进粗略边界框，并以FCOS+ATSS为基本网络，移除掉Centerness分支，组成VarifocalNet模块。
由于设备的内存、显存与服务器设备存在一定的差距，所以运行的神经网络模型需要具备结构简单、运行快和参数少等特点，因此，对现有的YOLOv5神经网络模型进行改进。
因自制的甘蔗数据集中数据较为单一，在模型训练和数据增强部分做出优化。模型在刚开始训练时，每个数据点对于神经网络模型来说较为新颖，模型会较快的进行数据矫正，学习到一些本不属于甘蔗茎节和分叉点的固有特征，使得模型过拟合。为了使模型更加稳定的训练，保证模型深层训练时不会过于震荡，增加模型稳定性，训练时使用SGD优化，添加warm up策略，在模型训练初始时使用较小的学习率，先细微的学习模型特征，当损失趋于稳定时，使用较大的学习率正常训练模型，可以较为良好的减缓模型训练初期时潜在发生的过拟合现象。并且使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框，添加CBAM注意力模块和VarifocalNet模块，提高在田间遮挡严重的情况下对甘蔗茎节和分叉点的实时检测准确率。为了使模型更具有鲁棒性，对甘蔗数据集进行数据翻转、亮度调节等数据增强操作，提高训练结果的可靠性。
本实施例提供的便携式甘蔗田间测产系统需要先对自制的甘蔗数据集进行标注，在1060 3GB服务器端对优化后的算法进行训练，得到对甘蔗茎节和分叉点检测的模型权重文件；然后将训练好的模型文件移植到Jetson TX2开发板并调整参数，配置环境；使用改进后的YOLOv5神经网络模型进行甘蔗茎节和分叉点的检测和识别，分为三种情况：其一，对视频进行检测，将视频进行读取逐帧识别；其二，对图像进行检测，读入图片并调整图片尺寸，得到检测框后进行非极大值抑制，获得最终检测框；其三，对场景进行检测，调用外部双目摄像头，对甘蔗茎节和分叉点进行实景检测。
甘蔗数据的处理以及评估过程如下：
本发明中网络模块训练时使用的甘蔗图像拍摄于广东省湛江市雷州市甘蔗田地，共拍摄1086张，并且选用了Python网络爬虫爬取的260张图片。为加强数据的多样化，提高样本的鲁棒性，对已有的甘蔗图像进行数据增强，其中包括调整亮度、对比度、色彩饱和加噪等变换，并进行不同程度的裁剪，共获得图像1860张。
将上述甘蔗图片整理，使用LambleImg图像标注工具来对图像中的甘蔗茎节和分叉点目标进行标注。共有标注目标9307个，将数据集分按70％、20％、10％的比例分为训练集、验证集、测试集各1302张、372张和186张。将上述整理的数据集放入改进后的YOLOv5神经网络模型训练，得到甘蔗茎节和分叉点检测所需权重文件。
本发明使用改进后的YOLOv5神经网络模型在VOC数据集上得到的预训练权重进行迁移学习，在训练过程中，使用warm up训练策略，提高模型识别不同分辨率甘蔗图像的效果。并显著提高了在GPU上的训练速度，可以在单个GPU上快速训练，有效降低了训练时间和资源使用。评估指标使用了精准率(precision)、对单张图片的处理速度(speed)和对视频帧的处理速度(FPS/s)。
数据可视化显示：
核心算法处理获取的甘蔗图像、视频，处理效果将通过显示屏进行可视化展示(显示屏连接在嵌入式开发板上)，同时也可对实时拍摄的场景进行甘蔗茎节和分叉点的检测。在无外界严重干扰的情况下，可随时随地对甘蔗茎节和分叉点进行检测，无需其他的专用设备，移动性好，操作简单，更加直观的展示甘蔗茎节和分叉点的检测情况。
本发明以“智慧农业+人工智能”为导向，提出将神经网络模型移植到AI边缘计算设备，使用适用于边缘计算设备的YOLOv5系列算法，确保实现甘蔗茎节和分叉点的实时精准检测功能。提高了甘蔗田地测产技术的可靠性和测产装备的智能、便携性，进一步扩展了人工智能在农业工程领域的应用范畴，从而推动了农业的高效化、精细化和绿色化。
本发明提供的便携式甘蔗田间测产系统，将机器视觉技术与边缘计算设备相结合，可对某地块的甘蔗产量进行测量，符合精细农业由机械化向自动化、信息化、智能化发展的方向，具有较好的应用价值。提高甘蔗田地测产工作效率，进而提高农业生产科技含量，进而为甘蔗田地和糖厂之间的产业链提供可靠的数据支持。
本发明结合边缘计算设备和神经网络，进行甘蔗茎节和分叉点的目标检测与算法移植，以及算法在前端平台的优化和加速，完成甘蔗茎节和分叉点识别与定位的算法兼容性和适配性。在边缘计算设备中使用改进后的算法检测对单张图片的测试速度达到0.012s，对视频的测试速率可以达到14FPS/s，满足便携式甘蔗田间测产系统的实用性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种便携式甘蔗田间测产系统，其特征在于，包括：
硬件部分，包括边缘计算设备、便携式显示屏、双目摄像头、第一便携供电电源、第二便携供电电源和蓝牙操控键盘；其中，所述双目摄像头、第一便携供电电源、便携式显示屏、蓝牙操控键盘均通过特定数据线和接口与边缘计算设备相连接，所述第二便携供电电源与便携式显示屏相连接，提供电量支持；
软件部分，加载于边缘计算设备，包括图像输入模块、图像处理模块和图像识别模块；其中，所述图像输入模块通过双目摄像头采集甘蔗的图像和视频，所述图像处理模块负责对图像输入模块输入的图像和视频进行分析处理，所述图像识别模块负责对图像处理模块处理后的图像和视频进行多尺度测量，基于改进后的YOLOv5神经网络模型处理，对甘蔗茎节和分叉点进行识别，进而实现甘蔗产量测量，其中茎节是指甘蔗植株表面凸起的节点部分，分叉点是指甘蔗植株和甘蔗叶子的交点部分；
其中，对YOLOv5神经网络模型进行改进，包括：①训练时使用SGD优化，添加warm up策略，并在模型训练初始时使用小的学习率，再逐步提高学习率以提高学习速度；②使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框；③添加CBAM注意力模块和VarifocalNet模块，用于提高在田间遮挡严重的情况下对甘蔗茎节和分叉点的实时检测准确率。
2.根据权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于，使用k-means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框，具体情况如下：
k-means聚类均值算法先从所有数据样本中选取K个聚类，聚类是指将数据集中的样本划分为若干个不相交的子集，每个子集称为一个“簇”，聚类中数据的均值表示中心，即用每一个聚类的中心对该簇进行描述，不断回归得到各聚类值；在不断的计算过程中，将所有样本划分到距离最小的中心所在的聚类中；其中，为了使得各聚类平方和达到最小值，在选取样本的过程中要保持中心不变，根据Labelimg工具标注图像中甘蔗茎节特征后生成的txt文件，其中包含标注甘蔗茎节特征在原图像当中的位置信息和标注框左上角坐标(x，y)以及标注框的宽w、高h；运用k-means聚类均值算法聚类k个先验框的高度和宽度，计算先验框与每个边界框boundinig box的交并比IOU，评估后选出最大值；不断计算，直至获取得到最适合甘蔗茎节特征的先验框尺寸；
添加CBAM注意力模块，具体情况如下：
CBAM注意力模块是由通道注意力模块和空间注意力模块组成，对于输入的特征层，依次经过通道注意力模块和空间注意力模块，将新得到的注意力图与输入特征层进行自适应特征优化；通道注意力模块和空间注意力模块的依次结合，简化了模型结构，降低了计算压力；
通道注意力模块执行以下操作：对输入的单个特征层，分别进行全局平均池化和全局最大池化，之后将池化后的结果利用共享的全连接层进行处理，对处理后的两个结果进行相加，取结果的均值，获得输入特征层每一个通道的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得通道注意力值；
空间注意力模块执行以下操作：对输入进来的特征层，在每一个特征点的通道上取最大值和平均值，之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，取结果的均值，得到输入特征层每一个特征点的权值，权值为0-1之间，再将权值乘上原输入特征层即可获得空间注意力值；
添加VarifocalNet模块，具体情况如下：
IOU感知的分类得分IACS，是用来表示物体存在置信度和定位精度的一项指标，对于密集物体的检测有更精准的排序；Varifocal损失函数使用训练后的密集特征检测器来预测IACS，结合星形边界框特征表示来估算IACS和改进粗略边界框，并以FCOS+ATSS为基本网络，移除掉Centerness分支，组成VarifocalNet模块。
3.根据权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于：所述图像处理模块选用了Python网络爬虫爬取的多张图片，对已有的甘蔗图像进行数据增强，其中包括调整亮度、对比度、色彩饱和加噪，并进行不同程度的裁剪处理，构建图像数据集，然后再使用LambleImg图像标注工具对图像数据集中的图像的甘蔗茎节和分叉点目标进行标注，并将图像数据集按比例分为训练集、验证集和测试集；其中，将上述训练集输入改进后的YOLOv5神经网络模型进行训练，能够得到甘蔗茎节和分叉点检测所需权重文件。
4.根据权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于：所述图像识别模块的所有工作均在边缘计算设备完成，具体情况如下：
当双目摄像头采集到甘蔗图像后，将图像传递给图像识别模块，对图像进行resize操作，对图片整体成比例进行resize，使得图像的长边为416，如果图像的长边和短边长度相同，则图像大小为416*416，如果短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图像大小都固定尺寸为416*416，然后再将resize后的图像输入到改进后的YOLOv5神经网络模型中进行检测：将特征信息通过上采样的方式进行传递融合成特征图，得到特征图后进行识别，使用CSPdarknet作为主要的特征提取网络，并使用LeakyReLU和Sigmoid激活函数，再根据Mosaic数据增强和Focus模块获得更有效、更深层的特征信息，以增强模型的拟合性及提升检测效果和检测速度，进而提高了田间实时对甘蔗茎节和分叉点的识别准确率。
5.根据权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于，所述边缘计算设备为测产系统的控制核心，提供了测产系统工作的操作系统以及改进后的YOLOv5神经网络模型的运行环境、运算平台和计算力支持，并实现转换数据的输入输出；在边缘计算设备内，改进后的YOLOv5神经网络模型对双目摄像头采集的图像和视频进行处理，识别出甘蔗茎节和分叉点的位置，计算出甘蔗植株的高度和直径，再计算出体积，最后乘以甘蔗的容重，从而得到甘蔗单个植株的重量。
6.如权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于，所述边缘计算设备环境配置为Ubuntu18.04，使用双核NVIDIA Denver 2 64位CPU与四核
Figure FDA0003598154200000041
-A57 MPCore复合处理器，内存8GB，配置Pascal架构GPU。
7.如权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于，所述第一便携供电电源为8400mAh 21V电源。
8.如权利要求1所述的一种便携式甘蔗田间测产系统，其特征在于，所述第二便携供电电源为9000mAh 5V电源。
CN202210393815.5A 2022-04-15 2022-04-15 一种便携式甘蔗田间测产系统 Active CN114743104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210393815.5A CN114743104B (zh) 2022-04-15 2022-04-15 一种便携式甘蔗田间测产系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210393815.5A CN114743104B (zh) 2022-04-15 2022-04-15 一种便携式甘蔗田间测产系统

Publications (2)

Publication Number Publication Date
CN114743104A true CN114743104A (zh) 2022-07-12
CN114743104B CN114743104B (zh) 2024-09-10

Family

ID=82282343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210393815.5A Active CN114743104B (zh) 2022-04-15 2022-04-15 一种便携式甘蔗田间测产系统

Country Status (1)

Country Link
CN (1) CN114743104B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613438A (zh) * 2020-12-29 2021-04-06 华南农业大学 一种便携式柑橘在线测产仪
CN113392775A (zh) * 2021-06-17 2021-09-14 广西大学 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN113763196A (zh) * 2021-08-23 2021-12-07 中国农业大学烟台研究院 一种基于改进YOLOv3的果园产量测定系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613438A (zh) * 2020-12-29 2021-04-06 华南农业大学 一种便携式柑橘在线测产仪
CN113392775A (zh) * 2021-06-17 2021-09-14 广西大学 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN113763196A (zh) * 2021-08-23 2021-12-07 中国农业大学烟台研究院 一种基于改进YOLOv3的果园产量测定系统

Also Published As

Publication number Publication date
CN114743104B (zh) 2024-09-10

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
Xiong et al. Visual detection of green mangoes by an unmanned aerial vehicle in orchards based on a deep learning method
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN111862213A (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN112949517B (zh) 基于深度迁移学习的植物气孔密度和开度识别方法及系统
CN110688955A (zh) 一种基于yolo神经网络的建筑构建目标检测方法
CN112613438A (zh) 一种便携式柑橘在线测产仪
CN117392382A (zh) 一种基于多尺度密集实例检测的单木果树分割方法与系统
CN115497006A (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统
CN115359295A (zh) 一种解耦知识蒸馏金具目标检测方法及系统
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
CN113837166B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN115858846B (zh) 一种基于深度学习的滑雪者图像检索方法和系统
Wang et al. A lightweight Yunnan Xiaomila detection and pose estimation based on improved YOLOv8
CN115546735B (zh) 一种冷却塔结冰检测识别系统、方法和存储介质
CN109034033B (zh) 一种基于改进vgg16卷积网络的排烟视频检测方法
CN114743104B (zh) 一种便携式甘蔗田间测产系统
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN111881744B (zh) 一种基于空间位置信息的人脸特征点定位方法及系统
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
CN113378739A (zh) 一种基于深度学习的地基云状目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant