CN114782455A - 一种用于农机嵌入式设备的棉花行中心线图像提取方法 - Google Patents

一种用于农机嵌入式设备的棉花行中心线图像提取方法 Download PDF

Info

Publication number
CN114782455A
CN114782455A CN202210732956.5A CN202210732956A CN114782455A CN 114782455 A CN114782455 A CN 114782455A CN 202210732956 A CN202210732956 A CN 202210732956A CN 114782455 A CN114782455 A CN 114782455A
Authority
CN
China
Prior art keywords
cotton
model
cotton row
layer
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210732956.5A
Other languages
English (en)
Other versions
CN114782455B (zh
Inventor
孙友强
胡悦
黄河
盛佳佳
张玮
裴昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202210732956.5A priority Critical patent/CN114782455B/zh
Publication of CN114782455A publication Critical patent/CN114782455A/zh
Application granted granted Critical
Publication of CN114782455B publication Critical patent/CN114782455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于农机嵌入式设备的棉花行中心线图像提取方法，与现有技术相比解决了复杂图像环境下的棉花行中心线提取鲁棒性差、计算时间长、难以满足农机自动导航的实时性要求的缺陷。本发明包括以下步骤：棉田图像数据的采集与预处理；构建轻量级棉花行检测模型；轻量级棉花行检测模型的训练；待提取中心线的棉田图像的获取与预处理；棉花行中心线图像提取结果的获得。本发明实现了复杂农田环境下的棉花行中心线准确提取，通过构建轻量级YOLOv4模型，在保持较高检测精度的同时显著提升了检测速度，适合部署在计算能力有限的农机嵌入式设备上。

Description

一种用于农机嵌入式设备的棉花行中心线图像提取方法
技术领域
本发明涉及数据图像处理技术，具体来说是一种用于农机嵌入式设备的棉花行中心线图像提取方法。
背景技术
农业机械化是转变农业发展方式、提高农业生产力的重要基础。基于机器视觉的农机自动导航技术是农业机械化的重要组成部分，可以有效降低劳动力成本，提高生产效率，广泛应用于除草、施肥、农作物收获和采摘。机器视觉利用安装在机身上的相机获取农田图像，实时地对采集到的图像进行分析，以提供农机的导航信息。该方法获取的信息更丰富、操作灵活性好、成本低，是目前使用最为广泛的农机自动导航技术。
作物行的中心线通常包含了指导农机行进的位置信息，根据提取到的中心线计算导航参数，可以有效引导农机沿目标路径行驶。因此，作物行中心线的快速准确提取是实现农机自动导航的重要前提。
在覆膜回收时期的棉田场景中，棉花行中心线提取的难点在于：（1）废旧地膜、棉花、秸秆、土等目标会导致棉花行与背景难以区分；（2）光照条件的变化会影响所拍摄图像的质量；（3）瑕疵和遮挡在现实世界的场景中也非常常见，例如：棉花行之间的地面斑块、农机自身遮挡部分棉花行的伪影。在这些环境因素的影响下，现有的模型方法难以实现鲁棒的棉花行中心线提取，因此研究一种鲁棒性强、实时性好的棉花行中心线提取算法，对于提高农机自动导航的精度以及作业效率具有重要意义。
近年来，基于深度学习的目标检测技术飞速发展，在复杂场景中也能保持较高的识别精度，为棉花行中心线的提取提供了新思路。然而，现有的目标检测模型通常设计的过于庞大，若部署在计算能力有限的农机嵌入式设备上，难以满足农机自动导航对于棉花行中心线提取的实时性要求。
为解决上述问题，需要设计轻量级的目标检测模型以减少模型参数量与计算量，使其能够部署在计算能力较低、存储空间受限的农机嵌入式设备中。
发明内容
本发明的目的是为了解决现有技术中复杂图像环境下的棉花行中心线提取鲁棒性差、计算时间长、难以满足农机自动导航的实时性要求的缺陷，提供一种用于农机嵌入式设备的棉花行中心线图像提取方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种用于农机嵌入式设备的棉花行中心线图像提取方法，包括以下步骤：
11）棉田图像数据的采集与预处理：采集覆膜回收时期的棉田图像，根据透视投影原理建立图像的感兴趣区域ROI，并使用标注工具对ROI内的棉花行进行分段标注，形成预处理后的棉田图像数据；
12）构建轻量级棉花行检测模型：利用MobileNetV3网络对YOLOv4模型进行轻量化改进，引入跨阶段局部连接，构建出基于改进后YOLOv4模型的轻量级棉花行检测模型；
13）轻量级棉花行检测模型的训练：将预处理后的棉田图像数据输入轻量级棉花行检测模型，使用K-means++聚类算法优化先验框参数，训练轻量级棉花行检测模型；
14）待提取中心线的棉田图像的获取与预处理：获取提取中心线的棉田图像，并进行预处理；
15）棉花行中心线图像提取结果的获得：将预处理后的棉田图像输入训练后的轻量级棉花行检测模型，得到棉花行特征点，再对棉花行特征点进行中心线拟合处理，提取出棉花行中心线。
所述构建轻量级棉花行检测模型包括以下步骤：
21）引入轻量级网络MobileNetV3：对YOLOv4模型的特征提取网络进行改进，引入轻量级网络MobileNetV3重构YOLOv4模型的特征提取网络；
22）引入跨阶段局部连接的PAN模块：对YOLOv4模型的PAN模块中的原始卷积模块进行改进，引入跨阶段局部连接将PAN模块中的标准卷积替换为改进后的卷积模块CSP_Conv；
23）将改进特征提取网络和PAN模块的YOLOv4模型作为轻量级棉花行检测模型。
所述轻量级棉花行检测模型的训练包括以下步骤：
31）将预处理后的棉田图像数据输入轻量级棉花行检测模型；
32）棉花行的K个初始候选框的获得：利用K-means++聚类算法对人工标注的目标框进行维度聚类，得到适合棉花行的K个初始候选框；
33）将训练样本输入模型，使用反向传播算法对模型中的参数进行充分训练，输出得到棉花行检测框。
所述棉花行中心线图像提取结果的获得包括以下步骤：
41）对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类，将属于同一棉花行的检测框归为一类，得到同列检测框；
42）基于检测框区域进行特征点提取：选择检测到的正确角点数量最多的SUSAN角点作为棉花行特征点；
43）直线拟合操作：利用改进的RANSAC算法对提取到的特征点进行直线拟合，得到棉花行中心线图像提取结果。
所述引入轻量级网络MobileNetV3包括以下步骤：
51）设定YOLOv4模型的特征提取网络为17层，去掉MobileNetV3的softmax、池化层和全连接层，将前14层作为YOLOv4模型的主干网络，重新构建第15层、16层和17层；
52）设定输入大小为416×416的图像，经过前四层3×3卷积运算，在第4层输出的特征图维度为52×52×24；
53）设定在第5层除了提取特征外，还与PAN模块进行融合，具体操作分为两部分：一部分经过通道扩张到52×52×72，然后进行逐点卷积得到52×52×256的特征向量，将其传入PAN模块进行处理；另一部分经过含SE模块的倒残差结构得到26×26×40的特征向量，传入第6层；
54）设定第6层与第7层均为含有倒残差的卷积层，经过步长为1的卷积操作，在第7层输出26×26×40的特征向量到第8层；第8层与第5层相同，一个分支通过逐点卷积得到特征向量为26×26×512，传入PAN模块进行处理，另一个分支经过倒残差结构得到13×13×80的特征向量，传入第9层；
55）设定第9层、第10层、第11层、第12层、第13层与第7层相同，为含有倒残差结构的卷积操作，设定在第13层输出26×26×112的特征向量；
56）设定在第14层步长调整为1，输出13×13×112的特征向量给第15层；第15层与第16层利用1×1卷积核进行通道扩张，输出尺寸为13×13×160的特征向量；在第17层经过1×1的逐点卷积得到13×13×1024的特征向量。
所述引入跨阶段局部连接的PAN模块包括以下步骤：
61）设定将特征提取网络第5层输出的52×52×256特征向量与第8层输出的26×26×51特征向量作为PAN模块的输入，每个输入的特征向量被划分成两个部分；
62）设定第一部分使用一个1×1卷积核进行卷积操作；
63）设定第二部分使用两个1×1卷积核与两个3×3的卷积核进行卷积操作；
64）设定融合第一部分与第二部分的多尺度特征信息以提高检测的精度；
65）设定在YOLOv4模型的PAN模块的 5 个卷积处加入了CSP跨阶段局部结构，即使用改进后的CSP_Conv模块替换原始标准卷积。
所述棉花行的K个初始候选框的获得包括以下步骤：
71）随机选取一个样本点作为初始聚类中心
Figure 991309DEST_PATH_IMAGE001
；
72）计算每个样本点与当前聚类中心
Figure 661324DEST_PATH_IMAGE002
的最短距离
Figure 244752DEST_PATH_IMAGE003
，然后计算每个样本成为下个聚类中心的概率
Figure 494468DEST_PATH_IMAGE004
，最后用轮盘法选出下一个聚类中心；
73）重复步骤72），直到选出K个聚类中心；
74）遍历数据集中每个样本点，计算其到每个当前聚类中心
Figure 479742DEST_PATH_IMAGE002
距离，将每个样本点分到距离最近的聚类中心所属类别；
75）计算每个类别中所有样本特征的均值，并将该均值作为每个类新的聚类中心；
76）重复步骤74）和75），直到聚类中心不再改变或达到最大迭代次数，最终的聚类中心即为先验框。
所述对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类包括以下步骤：
81）将检测框结构定义为：
Figure 805812DEST_PATH_IMAGE005
，其中
Figure 876536DEST_PATH_IMAGE006
为检测框结构，
Figure 929943DEST_PATH_IMAGE007
和
Figure 300881DEST_PATH_IMAGE008
表示检测框中心点的坐标，
Figure 781541DEST_PATH_IMAGE009
和
Figure 73982DEST_PATH_IMAGE010
表示检测框的宽和高；
82）根据最小的
Figure 462238DEST_PATH_IMAGE011
坐标确定离图像上边界最近的初始聚类检测框
Figure 156525DEST_PATH_IMAGE012
，其中
Figure 808086DEST_PATH_IMAGE013
和
Figure 384561DEST_PATH_IMAGE014
表示初始聚类检测框中心点的坐标，
Figure 779770DEST_PATH_IMAGE015
和
Figure 328563DEST_PATH_IMAGE016
表示初始聚类检测框的宽和高；
83）找到初始聚类检测框后，按照如下规则从上往下聚类下一个邻近检测框，定义为
Figure 416605DEST_PATH_IMAGE017
，其中
Figure 464064DEST_PATH_IMAGE018
和
Figure 662964DEST_PATH_IMAGE019
表示与初始检测框邻近的检测框中心点的坐标，
Figure 66264DEST_PATH_IMAGE020
和
Figure 325207DEST_PATH_IMAGE021
表示与初始检测框邻近的检测框的宽和高，
Figure 610695DEST_PATH_IMAGE022
式中，
Figure 347707DEST_PATH_IMAGE023
表示横向距离阈值，
Figure 871092DEST_PATH_IMAGE024
表示纵向距离阈值，如果满足以上两个条件，则将
Figure 300936DEST_PATH_IMAGE025
和
Figure 808141DEST_PATH_IMAGE026
归为同一类；
84）将
Figure 348844DEST_PATH_IMAGE026
作为新的初始聚类检测框，继续按照步骤83）中的规则往下查找邻近的同列检测框，直到对所有检测框完成聚类。
所述的直线拟合操作包括以下步骤：
91）根据两点确定一条直线的原则，拟合直线方程每次最少随机选取两个点，保证每次特征点集合
Figure 992315DEST_PATH_IMAGE027
中的样本数量
Figure 327481DEST_PATH_IMAGE028
；
92）每次随机选取两个数据点
Figure 587561DEST_PATH_IMAGE029
和
Figure 666375DEST_PATH_IMAGE030
，得到初始直线模型
Figure 164353DEST_PATH_IMAGE031
：
当
Figure 952311DEST_PATH_IMAGE032
时：
Figure 965267DEST_PATH_IMAGE033
，
当
Figure 847772DEST_PATH_IMAGE034
时：
Figure 200256DEST_PATH_IMAGE035
，
由初始估计得到，当
Figure 142804DEST_PATH_IMAGE036
时，直线模型
Figure 111897DEST_PATH_IMAGE037
的斜率
Figure 532514DEST_PATH_IMAGE038
，直线与
Figure 5084DEST_PATH_IMAGE039
轴的夹角
Figure 384113DEST_PATH_IMAGE040
，当
Figure 309343DEST_PATH_IMAGE041
时，继续进行下一步，其中，
Figure 533651DEST_PATH_IMAGE042
为中心线角度范围值；否则重复91）步操作，在剩余点中重新抽样；
93）依次计算特征点集合
Figure 860727DEST_PATH_IMAGE043
中剩余数据点与直线的距离，如果该距离小于等于给定的阈值
Figure 925504DEST_PATH_IMAGE044
，则归为局内点，反之为局外点；
94）如果集合
Figure 338031DEST_PATH_IMAGE043
中局内点个数大于阈值
Figure 100451DEST_PATH_IMAGE045
，则运用最小二乘法重新拟合这些点，重新计算直线模型
Figure 282033DEST_PATH_IMAGE046
，否则此模型不符合条件舍弃；
95）去除94）步中与拟合出的直线距离小于
Figure 268444DEST_PATH_IMAGE047
的点；如果剩余数据点在特征点集合
Figure 168267DEST_PATH_IMAGE043
的占比已小于50%，将包含最多局内点的直线模型
Figure 734377DEST_PATH_IMAGE046
输出，得到棉花行中心线。
有益效果
本发明的一种用于农机嵌入式设备的棉花行中心线图像提取方法，与现有技术相比实现了复杂农田环境下的棉花行中心线准确提取，通过构建轻量级YOLOv4模型，在保持较高检测精度的同时显著提升了检测速度，适合部署在计算能力有限的农机嵌入式设备上。本发明采用目标识别的思想提取棉花行中心线，克服了分割方法对于复杂农田环境鲁棒性不强及计算耗时较多的缺点。
本发明通过引入MobileNetV3构建轻量级特征提取网络，在路径聚合网络中添加跨阶段局部结构，并使用K-means++聚类算法重置先验框尺寸，来构建轻量级YOLOv4模型，使得模型在保持较高精度的同时显著提升了检测速度，满足了农机实际作业中的实时性要求。
同时，通过在检测框区域进行特征点提取中心线拟合，减少了背景噪声的干扰，提升了提取效率；通过约束初始点的选取，改进了RANSAC算法，使得中心线拟合的准确率和抗噪性得到了一定的提升。
本发明通过基于轻量级YOLOv4的棉花行检测和基于检测框区域的中心线拟合构建一个准确高效的棉花行中心线提取方法，实现了复杂农田环境下棉花行中心线准确提取，具有较好鲁棒性和较快的检测速度，完全满足农机作业的实时性要求。
附图说明
图1为本发明的方法顺序图；
图2为本发明的逻辑顺序框图；
图3为本发明所涉及轻量级棉花行检测模型的结构框图；
图4a为利用Hough变换进行棉花行中心线拟合的效果图；
图4b为利用最小二乘法进行棉花行中心线拟合的效果图；
图4c为利用传统RANSAC算法进行棉花行中心线拟合的效果图；
图4d为利用本发明改进的RANSAC算法进行棉花行中心线拟合的效果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1和图2所示，本发明所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，包括以下步骤：
第一步，棉田图像数据的采集与预处理：采集覆膜回收时期的棉田图像，根据透视投影原理建立图像的感兴趣区域ROI，并使用标注工具对ROI内的棉花行进行分段标注，形成预处理后的棉田图像数据。
在实际应用中，为了提高算法对光照变化的鲁棒性，分别在13点、15点、19点各采集200张图像，共组成600张图像样本；在实验室环节，随机将数据集按照7:2:1的比例划分为训练集、测试集和验证集。为了提取对导航具有指导意义的棉花行以及减少后续图像处理数据量，根据透视投影计算建立棉田图像的感兴趣区域（ROI）；利用标注工具对ROI图像中的棉花行进行人工标注，为了减少背景噪声的干扰，采用分段标注方式；利用图像旋转、镜像、调整对比度等多种数据增强技术扩充图像数据集。
第二步，构建轻量级棉花行检测模型：利用MobileNetV3网络对YOLOv4模型进行轻量化改进，引入跨阶段局部连接，构建出基于改进后YOLOv4模型的轻量级棉花行检测模型。
考虑到实际应用中的农机嵌入式设备大多数使用CPU 平台，尽管有部分使用GPU平台，但其性能仍然有限。在实际应用中，不能只考虑模型的性能，还要解决大规模网络模型在嵌入式设备上的部署问题。YOLOv4 在嵌入式平台上存在检测速度较慢，难以满足实时检测的问题，由于主干网络是模型的重要组成部分，是提取图像特征的关键网络，原主干网络的模型较为复杂，参数量相较过大，考虑将一种性能优异且轻量化的网络引入 YOLOv4中构成新的网络结构。相比其他轻量级网络，MobiletNetV3 在计算量小、参数少的前提下，在目标检测任务依然取得了较好的成绩,提出使用 MobileNetV3 代替YOLOv4的主干特征提取网络CSPDarknet-53进行棉花行检测定位，加快模型的检测速度。
其具体步骤如下：
（1）引入轻量级网络MobileNetV3：对YOLOv4模型的特征提取网络进行改进，引入轻量级网络MobileNetV3重构YOLOv4模型的特征提取网络。
MoblieNetV3 作为 MobileNet系列最新的网络结构，其进一步降低模型的复杂度和计算量的同时提高了模型的性能。MobileNetV3 去除了全连接操作，使用平均池化操作搭配深度可分离卷积结构，引入SE通道注意力机制，在有效地减少模型参数量的同时降低了模型占用的内存大小，使其能够在移动设备上使用。
A1）设定YOLOv4模型的特征提取网络为17层，去掉MobileNetV3的softmax、池化层和全连接层，将前14层作为YOLOv4模型的主干网络，为了保证模型的特征融合能力，重新构建第15层、16层和17层；
A2）设定输入大小为416×416的图像，经过前四层3×3卷积运算，在第4层输出的特征图维度为52×52×24；
A3）设定在第5层除了提取特征外，还与PAN模块进行融合，具体操作分为两部分：一部分经过通道扩张到52×52×72，然后进行逐点卷积得到52×52×256的特征向量，将其传入PAN模块进行处理；另一部分经过含SE模块的倒残差结构得到26×26×40的特征向量，传入第6层；
A4）设定第6层与第7层均为含有倒残差的卷积层，经过步长为1的卷积操作，在第7层输出26×26×40的特征向量到第8层；第8层与第5层相同，一个分支通过逐点卷积得到特征向量为26×26×512，传入PAN模块进行处理，另一个分支经过倒残差结构得到13×13×80的特征向量，传入第9层；
A5）设定第9层、第10层、第11层、第12层、第13层与第7层相同，为含有倒残差结构的卷积操作，设定在第13层输出26×26×112的特征向量；
A6）设定在第14层步长调整为1，输出13×13×112的特征向量给第15层；第15层与第16层利用1×1卷积核进行通道扩张，输出尺寸为13×13×160的特征向量；在第17层经过1×1的逐点卷积得到13×13×1024的特征向量。
（2）引入跨阶段局部连接的PAN模块：对YOLOv4模型的PAN模块中的原始卷积模块进行改进，引入跨阶段局部连接将PAN模块中的标准卷积替换为改进后的卷积模块CSP_Conv。在此，将原始PAN模块中的标准卷积替换为改进后的卷积模块CSP_Conv，可以在进一步减少参数量的同时提高模型的特征融合能力。
B1）设定将特征提取网络第5层输出的52×52×256特征向量与第8层输出的26×26×51特征向量作为PAN模块的输入，每个输入的特征向量被划分成两个部分；
B2）设定第一部分使用一个1×1卷积核进行卷积操作；
B3）设定第二部分使用两个1×1卷积核与两个3×3的卷积核进行卷积操作；
B4）设定融合第一部分与第二部分的多尺度特征信息以提高检测的精度；
B5）设定在YOLOv4模型的PAN模块的 5 个卷积处加入了CSP跨阶段局部结构，即使用改进后的CSP_Conv模块替换原始标准卷积。
（3）将改进特征提取网络和PAN模块的YOLOv4模型作为轻量级棉花行检测模型。
第三步，轻量级棉花行检测模型的训练：将预处理后的棉田图像数据输入轻量级棉花行检测模型，使用K-means++聚类算法优化先验框参数，训练轻量级棉花行检测模型。
为了提高训练的效率，采用迁移学习的训练策略，使用已经在 PASCAL VOC 数据集上训练达到收敛的 MobileNetV3 权重文件。整个训练过程分为两步：第一步，为了避免MobileNetV3权重被破坏，冻结 MobileNetV3网络参数，为加快训练速度将学习率设为0.001，采用小批量梯度下降法，一次输入 16 张图片进行训练。第二步，解冻MobileNetV3参数，为了充分学习提取棉花行图像的特征，更好地达到收敛效果，学习率设为0.0001，一次性训练8 张图片。
其具体步骤如下：
（1）将预处理后的棉田图像数据输入轻量级棉花行检测模型。
（2）棉花行的K个初始候选框的获得：利用K-means++聚类算法对人工标注的目标框进行维度聚类，得到适合棉花行的K个初始候选框，从而提高棉花行的定位精度。
C1）随机选取一个样本点作为初始聚类中心
Figure 770467DEST_PATH_IMAGE001
；
C2）计算每个样本点与当前聚类中心
Figure 927778DEST_PATH_IMAGE002
的最短距离
Figure 314897DEST_PATH_IMAGE003
，然后计算每个样本成为下个聚类中心的概率
Figure 419120DEST_PATH_IMAGE004
，最后用轮盘法选出下一个聚类中心；
C3）重复步骤C2），直到选出K个聚类中心；
C4）遍历数据集中每个样本点，计算其到每个当前聚类中心
Figure 575294DEST_PATH_IMAGE002
距离，将每个样本点分到距离最近的聚类中心所属类别；
C5）计算每个类别中所有样本特征的均值，并将该均值作为每个类新的聚类中心；
C6）重复步骤C4）和C5），直到聚类中心不再改变或达到最大迭代次数，最终的聚类中心即为先验框。
（3）将训练样本输入模型，使用反向传播算法对模型中的参数进行充分训练，输出得到棉花行检测框。
第四步，待提取中心线的棉田图像的获取与预处理：获取提取中心线的棉田图像，并进行预处理。
第五步，棉花行中心线图像提取结果的获得：将预处理后的棉田图像输入训练后的轻量级棉花行检测模型，得到棉花行特征点，再对棉花行特征点进行中心线拟合处理，提取出棉花行中心线。
（1）对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类，将属于同一棉花行的检测框归为一类，得到同列检测框。
D1）将检测框结构定义为：
Figure 903508DEST_PATH_IMAGE005
，其中
Figure 512343DEST_PATH_IMAGE006
为检测框结构，
Figure 685836DEST_PATH_IMAGE007
和
Figure 696517DEST_PATH_IMAGE008
表示检测框中心点的坐标，
Figure 946364DEST_PATH_IMAGE009
和
Figure 42496DEST_PATH_IMAGE010
表示检测框的宽和高；
D2）根据最小的
Figure 488521DEST_PATH_IMAGE011
坐标确定离图像上边界最近的初始聚类检测框
Figure 150446DEST_PATH_IMAGE012
，其中
Figure 23724DEST_PATH_IMAGE013
和
Figure 607153DEST_PATH_IMAGE014
表示初始聚类检测框中心点的坐标，
Figure 856868DEST_PATH_IMAGE015
和
Figure 373300DEST_PATH_IMAGE016
表示初始聚类检测框的宽和高；
D3）找到初始聚类检测框后，按照如下规则从上往下聚类下一个邻近检测框，定义为
Figure 683059DEST_PATH_IMAGE017
，其中
Figure 753783DEST_PATH_IMAGE018
和
Figure 807190DEST_PATH_IMAGE019
表示与初始检测框邻近的检测框中心点的坐标，
Figure 178128DEST_PATH_IMAGE020
和
Figure 658788DEST_PATH_IMAGE021
表示与初始检测框邻近的检测框的宽和高，
Figure 951229DEST_PATH_IMAGE022
式中，
Figure 808327DEST_PATH_IMAGE023
表示横向距离阈值，
Figure 283039DEST_PATH_IMAGE024
表示纵向距离阈值，如果满足以上两个条件，则将
Figure 934600DEST_PATH_IMAGE025
和
Figure 979917DEST_PATH_IMAGE026
归为同一类；
D4）将
Figure 375126DEST_PATH_IMAGE026
作为新的初始聚类检测框，继续按照步骤D3）中的规则往下查找邻近的同列检测框，直到对所有检测框完成聚类。
（2）基于检测框区域进行特征点提取：选择特征较为稳定、分布集中的SUSAN角点作为棉花行特征点。
（3）直线拟合操作：为了避免背景噪声的干扰并减少需处理的数据量，基于检测框区域进行特征点提取。根据所提取特征点的分布情况和计算耗时，选择特征较为稳定、分布集中的SUSAN角点作为棉花行特征点；
直线拟合操作包括以下步骤：
E1）根据两点确定一条直线的原则，拟合直线方程每次最少随机选取两个点，保证每次特征点集合
Figure 455078DEST_PATH_IMAGE027
中的样本数量
Figure 543119DEST_PATH_IMAGE028
；
E2）每次随机选取两个数据点
Figure 810153DEST_PATH_IMAGE029
和
Figure 743474DEST_PATH_IMAGE030
，得到初始直线模型
Figure 740248DEST_PATH_IMAGE031
：
当
Figure 999191DEST_PATH_IMAGE032
时：
Figure 487942DEST_PATH_IMAGE033
，
当
Figure 490533DEST_PATH_IMAGE034
时：
Figure 295809DEST_PATH_IMAGE035
，
由初始估计得到，当
Figure 460074DEST_PATH_IMAGE036
时，直线模型
Figure 701699DEST_PATH_IMAGE037
的斜率
Figure 242402DEST_PATH_IMAGE038
，直线与
Figure 151452DEST_PATH_IMAGE039
轴的夹角
Figure 752198DEST_PATH_IMAGE040
，当
Figure 215540DEST_PATH_IMAGE041
时，继续进行下一步，其中，
Figure 559934DEST_PATH_IMAGE042
为中心线角度范围值；否则重复E1）步操作，在剩余点中重新抽样；
E3）依次计算特征点集合
Figure 589070DEST_PATH_IMAGE043
中剩余数据点与直线的距离，如果该距离小于等于给定的阈值
Figure 95137DEST_PATH_IMAGE044
，则归为局内点，反之为局外点；
E4）如果集合
Figure 311355DEST_PATH_IMAGE043
中局内点个数大于阈值
Figure 459440DEST_PATH_IMAGE045
，则运用最小二乘法重新拟合这些点，重新计算直线模型
Figure 811924DEST_PATH_IMAGE046
，否则此模型不符合条件舍弃；
E5）去除E4）步中与拟合出的直线距离小于
Figure 488893DEST_PATH_IMAGE047
的点；如果剩余数据点在特征点集合
Figure 926827DEST_PATH_IMAGE043
的占比已小于50%，将包含最多局内点的直线模型
Figure 393450DEST_PATH_IMAGE046
输出，得到棉花行中心线。
表1为不同检测模型的性能对比。如表1所示，本发明的平均检测精度均优于其他对比模型。本发明提出的模型虽然使用了轻量级主干网络，但检测精度并没有下降，由于引入跨阶段局部连接提升了特征融合能力，并使用K-means++算法优化先验框参数，使得平均检测精度相比于原始YOLOv4模型提高了1.03%，比YOLOv4-Tiny模型提升了5.55%，达到了87.81%。在速度方面，每秒检测帧数为77 FPS略低于YOLOv4-Tiny模型，但由于YOLOv4-Tiny模型网络结构简单，存在特征提取能力不足等问题，导致检测精度表现一般。结果证明本发明所提出的模型在检测精度与速度之间取得了更好的平衡。
表2为不同中心线拟合方法准确率的对比。如表2所示，改进后的RANSAC算法在选取初始点时添加了约束条件，提前去除了冗余点，相比于传统RANSAC算法，不仅减少了算法的处理时间，平均拟合准确率也提高了4%，达到了92%，拟合精度在四个算法中表现最佳，平均横向偏移为11.89px，平均角度误差为1.69°。结果证明本发明所改进的RANSAC算法的准确率和抗噪性得到了一定的提升，综合考虑拟合准确度和计算速度，本发明相比其他方法拟合效果更佳。
表1 不同检测模型性能对比表
网络模型 平均检测精度(%) 每秒检测帧数(f/s) 模型大小 (MB)
Faster R-CNN 83.47 6.7 487.4
YOLOv3 85.97 29 235.0
YOLOv4 86.78 25 244.4
YOLOv4-Tiny 82.26 88 34.7
所提出的模型 87.81 77 39.5
表2 中心线拟合方法对比表
算法 平均横向偏移(px) 平均角度误差(°) 准确率(%) 耗时(ms)
Hough 18.28 4.45 78 96
最小二乘法 15.47 3.63 80 65
RANSAC 13.98 2.18 88 77
改进的RANSAC算法 11.89 1.69 92 73
如图4a、图4b、图4c、图4d所示，由图4a可以看出，在棉花作物行噪声多，干扰严重的情况下，Hough 变换的过程中会由于检测到错误峰值而产生伪作物行；由图4b可以看出，由于最小二乘法受噪声点影响较大，在复杂棉田环境下，会存在一定的误差；由图4c可以看出，RANSAC算法下的拟合效果均优于前两种算法，也验证了RANSAC算法可以有效剔除噪声点；由图4d可以看出，由于本发明方法在选取初始点时添加了约束条件，提前去除了完全错误的点，相比于传统RANSAC算法拟合效果得到进一步提升，实现了复杂棉田场景下的棉花行中心线准确提取，说明本发明所提出的中心线拟合方法在复杂的棉花行背景下也能取得良好的拟合效果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，包括以下步骤：
11）棉田图像数据的采集与预处理：采集覆膜回收时期的棉田图像，根据透视投影原理建立图像的感兴趣区域ROI，并使用标注工具对ROI内的棉花行进行分段标注，形成预处理后的棉田图像数据；
12）构建轻量级棉花行检测模型：利用MobileNetV3网络对YOLOv4模型进行轻量化改进，引入跨阶段局部连接，构建出基于改进后YOLOv4模型的轻量级棉花行检测模型；
13）轻量级棉花行检测模型的训练：将预处理后的棉田图像数据输入轻量级棉花行检测模型，使用K-means++聚类算法优化先验框参数，训练轻量级棉花行检测模型；
14）待提取中心线的棉田图像的获取与预处理：获取提取中心线的棉田图像，并进行预处理；
15）棉花行中心线图像提取结果的获得：将预处理后的棉田图像输入训练后的轻量级棉花行检测模型，得到棉花行特征点，再对棉花行特征点进行中心线拟合处理，提取出棉花行中心线。
2.根据权利要求1所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述构建轻量级棉花行检测模型包括以下步骤：
21）引入轻量级网络MobileNetV3：对YOLOv4模型的特征提取网络进行改进，引入轻量级网络MobileNetV3重构YOLOv4模型的特征提取网络；
22）引入跨阶段局部连接的PAN模块：对YOLOv4模型的PAN模块中的原始卷积模块进行改进，引入跨阶段局部连接将PAN模块中的标准卷积替换为改进后的卷积模块CSP_Conv；
23）将改进特征提取网络和PAN模块的YOLOv4模型作为轻量级棉花行检测模型。
3.根据权利要求1所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述轻量级棉花行检测模型的训练包括以下步骤：
31）将预处理后的棉田图像数据输入轻量级棉花行检测模型；
32）棉花行的K个初始候选框的获得：利用K-means++聚类算法对人工标注的目标框进行维度聚类，得到适合棉花行的K个初始候选框；
33）将训练样本输入模型，使用反向传播算法对模型中的参数进行充分训练，输出得到棉花行检测框。
4.根据权利要求1所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述棉花行中心线图像提取结果的获得包括以下步骤：
41）对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类，将属于同一棉花行的检测框归为一类，得到同列检测框；
42）基于检测框区域进行特征点提取：选择检测到的正确角点数量最多的SUSAN角点作为棉花行特征点；
43）直线拟合操作：利用改进的RANSAC算法对提取到的特征点进行直线拟合，得到棉花行中心线图像提取结果。
5.根据权利要求2所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述引入轻量级网络MobileNetV3包括以下步骤：
51）设定YOLOv4模型的特征提取网络为17层，去掉MobileNetV3的softmax、池化层和全连接层，将前14层作为YOLOv4模型的主干网络，重新构建第15层、16层和17层；
52）设定输入大小为416×416的图像，经过前四层3×3卷积运算，在第4层输出的特征图维度为52×52×24；
53）设定在第5层除了提取特征外，还与PAN模块进行融合，具体操作分为两部分：
一部分经过通道扩张到52×52×72，然后进行逐点卷积得到52×52×256的特征向量，将其传入PAN模块进行处理；另一部分经过含SE模块的倒残差结构得到26×26×40的特征向量，传入第6层；
54）设定第6层与第7层均为含有倒残差的卷积层，经过步长为1的卷积操作，在第7层输出26×26×40的特征向量到第8层；第8层与第5层相同，一个分支通过逐点卷积得到特征向量为26×26×512，传入PAN模块进行处理，另一个分支经过倒残差结构得到13×13×80的特征向量，传入第9层；
55）设定第9层、第10层、第11层、第12层、第13层与第7层相同，为含有倒残差结构的卷积操作，设定在第13层输出26×26×112的特征向量；
56）设定在第14层步长调整为1，输出13×13×112的特征向量给第15层；第15层与第16层利用1×1卷积核进行通道扩张，输出尺寸为13×13×160的特征向量；在第17层经过1×1的逐点卷积得到13×13×1024的特征向量。
6.根据权利要求2所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述引入跨阶段局部连接的PAN模块包括以下步骤：
61）设定将特征提取网络第5层输出的52×52×256特征向量与第8层输出的26×26×51特征向量作为PAN模块的输入，每个输入的特征向量被划分成两个部分；
62）设定第一部分使用一个1×1卷积核进行卷积操作；
63）设定第二部分使用两个1×1卷积核与两个3×3的卷积核进行卷积操作；
64）设定融合第一部分与第二部分的多尺度特征信息以提高检测的精度；
65）设定在YOLOv4模型的PAN模块的 5 个卷积处加入了CSP跨阶段局部结构，即使用改进后的CSP_Conv模块替换原始标准卷积。
7.根据权利要求3所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述棉花行的K个初始候选框的获得包括以下步骤：
71）随机选取一个样本点作为初始聚类中心
Figure 712109DEST_PATH_IMAGE001
；
72）计算每个样本点与当前聚类中心
Figure 629249DEST_PATH_IMAGE002
的最短距离
Figure 189412DEST_PATH_IMAGE003
，然后计算每个样本成为下个聚类中心的概率
Figure 584622DEST_PATH_IMAGE004
，最后用轮盘法选出下一个聚类中心；
73）重复步骤72），直到选出K个聚类中心；
74）遍历数据集中每个样本点，计算其到每个当前聚类中心
Figure 398994DEST_PATH_IMAGE002
距离，将每个样本点分到距离最近的聚类中心所属类别；
75）计算每个类别中所有样本特征的均值，并将该均值作为每个类新的聚类中心；
76）重复步骤74）和75），直到聚类中心不再改变或达到最大迭代次数，最终的聚类中心即为先验框。
8.根据权利要求4所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类包括以下步骤：
81）将检测框结构定义为：
Figure 752615DEST_PATH_IMAGE005
，其中
Figure 19648DEST_PATH_IMAGE006
为检测框结构，
Figure 218548DEST_PATH_IMAGE007
和
Figure 887427DEST_PATH_IMAGE008
表示检测框中心点的坐标，
Figure 208687DEST_PATH_IMAGE009
和
Figure 963016DEST_PATH_IMAGE010
表示检测框的宽和高；
82）根据最小的
Figure 700028DEST_PATH_IMAGE011
坐标确定离图像上边界最近的初始聚类检测框
Figure 223413DEST_PATH_IMAGE012
，其中
Figure 935149DEST_PATH_IMAGE013
和
Figure 176774DEST_PATH_IMAGE014
表示初始聚类检测框中心点的坐标，
Figure 451898DEST_PATH_IMAGE015
和
Figure 95369DEST_PATH_IMAGE016
表示初始聚类检测框的宽和高；
83）找到初始聚类检测框后，按照如下规则从上往下聚类下一个邻近检测框，定义为
Figure 961693DEST_PATH_IMAGE017
，其中
Figure 425036DEST_PATH_IMAGE018
和
Figure 300588DEST_PATH_IMAGE019
表示与初始检测框邻近的检测框中心点的坐标，
Figure 798565DEST_PATH_IMAGE020
和
Figure 304633DEST_PATH_IMAGE021
表示与初始检测框邻近的检测框的宽和高，
Figure 255271DEST_PATH_IMAGE022
式中，
Figure 934515DEST_PATH_IMAGE023
表示横向距离阈值，
Figure 286998DEST_PATH_IMAGE024
表示纵向距离阈值，如果满足以上两个条件，则将
Figure 963967DEST_PATH_IMAGE025
和
Figure 401902DEST_PATH_IMAGE026
归为同一类；
84）将
Figure 822519DEST_PATH_IMAGE026
作为新的初始聚类检测框，继续按照步骤83）中的规则往下查找邻近的同列检测框，直到对所有检测框完成聚类。
9.根据权利要求4所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法，其特征在于，所述直线拟合操作包括以下步骤：
91）根据两点确定一条直线的原则，拟合直线方程每次最少随机选取两个点，保证每次特征点集合
Figure 295089DEST_PATH_IMAGE027
中的样本数量
Figure 188964DEST_PATH_IMAGE028
；
92）每次随机选取两个数据点
Figure 114195DEST_PATH_IMAGE029
和
Figure 338503DEST_PATH_IMAGE030
，得到初始直线模型
Figure 400000DEST_PATH_IMAGE031
：
当
Figure 215509DEST_PATH_IMAGE032
时：
Figure 628036DEST_PATH_IMAGE033
，
当
Figure 656035DEST_PATH_IMAGE034
时：
Figure 837617DEST_PATH_IMAGE035
，
由初始估计得到，当
Figure 355186DEST_PATH_IMAGE036
时，直线模型
Figure 255009DEST_PATH_IMAGE037
的斜率
Figure 821120DEST_PATH_IMAGE038
，直线与
Figure 122788DEST_PATH_IMAGE039
轴的夹角
Figure 765253DEST_PATH_IMAGE040
，当
Figure 152372DEST_PATH_IMAGE041
时，继续进行下一步，其中，
Figure 522174DEST_PATH_IMAGE042
为中心线角度范围值；否则重复91）步操作，在剩余点中重新抽样；
93）依次计算特征点集合
Figure 943928DEST_PATH_IMAGE043
中剩余数据点与直线的距离，如果该距离小于等于给定的阈值
Figure 740982DEST_PATH_IMAGE044
，则归为局内点，反之为局外点；
94）如果集合
Figure 349818DEST_PATH_IMAGE043
中局内点个数大于阈值
Figure 523311DEST_PATH_IMAGE045
，则运用最小二乘法重新拟合这些点，重新计算直线模型
Figure 65150DEST_PATH_IMAGE037
，否则此模型不符合条件舍弃；
95）去除94）步中与拟合出的直线距离小于
Figure 33106DEST_PATH_IMAGE046
的点；如果剩余数据点在特征点集合
Figure 129238DEST_PATH_IMAGE043
的占比已小于50%，将包含最多局内点的直线模型
Figure 840842DEST_PATH_IMAGE037
输出，得到棉花行中心线。
CN202210732956.5A 2022-06-27 2022-06-27 一种用于农机嵌入式设备的棉花行中心线图像提取方法 Active CN114782455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210732956.5A CN114782455B (zh) 2022-06-27 2022-06-27 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210732956.5A CN114782455B (zh) 2022-06-27 2022-06-27 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Publications (2)

Publication Number Publication Date
CN114782455A true CN114782455A (zh) 2022-07-22
CN114782455B CN114782455B (zh) 2022-09-09

Family

ID=82422302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210732956.5A Active CN114782455B (zh) 2022-06-27 2022-06-27 一种用于农机嵌入式设备的棉花行中心线图像提取方法

Country Status (1)

Country Link
CN (1) CN114782455B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630012A (zh) * 2023-11-29 2024-03-01 广东石油化工学院 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
CN113327227A (zh) * 2021-05-10 2021-08-31 桂林理工大学 一种基于MobilenetV3的小麦头快速检测方法
CN114359727A (zh) * 2021-12-31 2022-04-15 华南农业大学 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN114612899A (zh) * 2022-03-16 2022-06-10 青岛理工大学 基于改进YOLOv3的麦苗行中心线检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
CN113327227A (zh) * 2021-05-10 2021-08-31 桂林理工大学 一种基于MobilenetV3的小麦头快速检测方法
CN114359727A (zh) * 2021-12-31 2022-04-15 华南农业大学 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN114612899A (zh) * 2022-03-16 2022-06-10 青岛理工大学 基于改进YOLOv3的麦苗行中心线检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAXIA ZHANG,ET AL.: "An Improved Lightweight Network MobileNetv3 Based YOLOv3 for Pedestrian Detection", 《2021 IEEE INTERNATIONAL CONFERENCE ON CONSUMERELECTRONICS AND COMPUTER ENGINEERING(ICCECE)》 *
张勤 等: "基于YOLOv3目标检测的秧苗列中心线提取方法", 《农业机械学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630012A (zh) * 2023-11-29 2024-03-01 广东石油化工学院 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法
CN117630012B (zh) * 2023-11-29 2024-05-17 广东石油化工学院 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法

Also Published As

Publication number Publication date
CN114782455B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN111354017A (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
Lin et al. The pest and disease identification in the growth of sweet peppers using faster R-CNN and mask R-CNN
CN113436227A (zh) 一种基于倒残差的孪生网络目标跟踪方法
CN111984817B (zh) 一种基于自注意力机制加权的细粒度图像检索方法
CN111310756A (zh) 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN111199245A (zh) 油菜害虫识别方法
CN111506759A (zh) 一种基于深度特征的影像匹配方法及装置
CN114782455B (zh) 一种用于农机嵌入式设备的棉花行中心线图像提取方法
CN114841961A (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
Fan et al. UAV image crop classification based on deep learning with spatial and spectral features
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN113379806B (zh) 基于可学习稀疏转换注意力机制的目标跟踪方法与系统
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
CN118053154A (zh) 平菇生长监测方法、装置、电子设备及存储介质
CN107704509A (zh) 一种联合稳定区域与深度学习的重排序方法
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN110472092B (zh) 一种街景图片的地理定位方法及系统
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN114494586B (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant