CN117274674A - 对靶施药方法、电子设备、存储介质及系统 - Google Patents

对靶施药方法、电子设备、存储介质及系统 Download PDF

Info

Publication number
CN117274674A
CN117274674A CN202311141968.1A CN202311141968A CN117274674A CN 117274674 A CN117274674 A CN 117274674A CN 202311141968 A CN202311141968 A CN 202311141968A CN 117274674 A CN117274674 A CN 117274674A
Authority
CN
China
Prior art keywords
target
unit
spraying
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311141968.1A
Other languages
English (en)
Inventor
王爱臣
钱伟豪
袁源
赵明宝
崔冰波
王启阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202311141968.1A priority Critical patent/CN117274674A/zh
Publication of CN117274674A publication Critical patent/CN117274674A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Pest Control & Pesticides (AREA)
  • Insects & Arthropods (AREA)
  • Environmental Sciences (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明提供一种对靶施药方法，包括：获取靶标识别模型输出的靶标的标记框的位置信息；在包含靶标的图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；根据靶标的标记框的位置信息、实际喷雾像素线的位置信息以及区域划分像素线的位置信息控制喷施设备进行施药动作；靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，目标检测模型是以YOLOv8模型为基础框架在YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将YOLOv8模型的分类损失设为VFL变焦损失，将YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。

Description

对靶施药方法、电子设备、存储介质及系统
技术领域
本发明涉及农业精准施药技术领域，尤其涉及一种对靶施药方法、电子设备、存储介质及系统。
背景技术
农药喷洒是农作物病虫害防治的主要手段之一，传统的均匀大面积地喷施方式会使大量农药误喷到靶标周围的土壤表层，药液利用率低，并引发农药残留量大、生产成本高、环境污染、食品安全等一系列问题。因此，准确地识别作物和杂草，并将识别到的作物或者杂草作为靶标进行对靶施药，可以提高农药利用率，有效降低成本投入，并可以减少对空气、土壤以及地下水等的污染。
目前田间靶标(作物或杂草)识别方法主要基于传统机器视觉或超声波传感技术对靶标进行识别，但是由于田间环境的复杂性、杂草与作物相似，使得同时识别杂草和作物变得十分困难。
发明内容
针对现有技术存在的问题，本发明实施例提供一种对靶施药方法、电子设备、存储介质及系统。
第一方面，本发明提供一种对靶施药方法，包括：
获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；
将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；
在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；
根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；
其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
根据本发明提供的对靶施药方法，所述根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作，包括：
基于所述区域划分像素线的位置信息将所述图像划分成若干个待喷洒子区域；
若所述实际喷雾像素线处于所述靶标的标记框的上边界框线与下边界框线之间，则根据所述靶标的标记框的左边界框线的位置以及右边界框线的位置确定目标待喷洒子区域；
根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作。
根据本发明提供的对靶施药方法，所述喷施设备包括至少一个喷头，各所述喷头均配置有一个相应的电磁阀，所述根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作，包括：
将所述目标待喷洒子区域的位置信息发送给所述喷施设备，以使所述喷施设备根据所述目标待喷洒子区域的位置信息开启相应的电磁阀的阀门进行施药动作。
根据本发明提供的对靶施药方法，所述样本图像是通过以下方式得到的：
获取包含有农作物以及杂草的原始样本图像；
确定所述原始样本图像中的种子像素，并根据所述种子像素从所述原始样本图像中分割出杂草图像；
将所述杂草图像作为对象，所述原始样本图像作为背景进行图像合成，得到图像中杂草数量达到预设数量要求的样本图像。
根据本发明提供的对靶施药方法，所述靶标识别模型包括图像输入模块、特征提取模块、特征融合模块以及识别模块，所述特征提取模块包括多个级联的第一神经网络单元，所述特征融合模块包括多个级联的第二神经网络单元，所述识别模块包括VFL变焦损失函数、DFL分布焦损失函数与WIoU回归损失函数的加权损失函数；
其中，所述第一神经网络单元包括残差特征学习C2f单元、卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元以及特征融合SPPF单元中的任意一种；
所述第二神经网络单元包括卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元、图像拼接Concat单元以及图像上采样Upsample单元中的任意一种。
根据本发明提供的对靶施药方法，所述将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的坐标，包括：
将所述图像通过所述图像输入模块输入至所述特征提取模块，获取所述特征提取模块中的第一C2f单元输出的第一特征图、第二C2f单元输出的第二特征图以及SPPF单元输出的第三特征图，所述第二C2f单元为所述第一C2f单元的下级单元；
将所述第一特征图、所述第二特征图以及所述第三特征图依次输入至所述特征融合模块中的第一Concat单元、第二Concat单元以及Upsample单元，获取所述特征融合模块中的第一C2f-N单元输出的第一特征矩阵、第二C2f-N单元输出的第二特征矩阵以及第三C2f-N单元输出的第三特征矩阵，所述第二Concat单元为所述第一Concat单元的下级单元，所述第三C2f-N单元为所述第二C2f-N单元的下级单元，所述第二C2f-N单元为所述第一C2f-N单元的下级单元；
将所述第一特征矩阵、所述第二特征矩阵以及所述第三特征矩阵输出至所述识别模块，通过所述识别模块中的所述VFL变焦损失函数、所述DFL分布焦损失函数与WIoU回归损失函数的加权损失函数识别出农作物以及杂草，并通过包含空间坐标信息的标注框在所述农作物以及所述杂草中标记出靶标。
第二方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述对靶施药方法。
第三方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述对靶施药方法。
第四方面，本发明还提供一种对靶施药系统，包括：靶标识别定位处理器及可在所述靶标识别定位处理器上运行的程序或指令，所述程序或指令被所述靶标识别定位处理器执行时实现如上述任一种所述对靶施药方法。
根据本发明提供的对靶施药系统，还包括图像采集设备以及喷施设备；所述图像采集设备及所述喷施设备分别与所述靶标识别定位处理器连接；
所述图像采集设备用于实时采集种植于待喷洒区域内的靶标的视频流，并将所述视频流发送至所述靶标识别定位处理器，以供所述靶标识别定位处理器基于所述视频流获取连续多帧图像；
所述喷施设备用于根据所述靶标识别定位处理器输出的控制信号进行施药动作。
本发明提供的对靶施药方法、电子设备、存储介质及系统，包括获取图像采集设备对当前待喷洒区域进行图像采集得到的连续多帧图像；将各帧图像依次输入靶标识别模型，获取靶标识别模型输出的靶标的标记框的位置信息，靶标为当前待喷药对象；在包含靶标的图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；根据靶标的标记框的位置信息、实际喷雾像素线的位置信息以及区域划分像素线的位置信息控制喷施设备进行施药动作；其中，靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，目标检测模型是以YOLOv8模型为基础框架，在YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将YOLOv8模型的分类损失设为VFL变焦损失，将YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的，由此本发明能实现田间复杂环境下靶标准确识别和精确定位，实现精准对靶施药。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的对靶施药方法的流程示意图；
图2是本发明提供的靶标定位场景示意图；
图3是本发明提供的喷施设备的喷洒场景示意图；
图4是本发明提供的靶标识别模型的结构示意图；
图5是本发明提供的C2f-N单元的结构示意图；
图6是本发明提供的对靶施药装置的结构示意图；
图7是本发明提供的对靶施药系统的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面将结合附图详细描述本发明的技术方案。图1是本发明提供的对靶施药方法的流程示意图之一，该方法中各步骤的执行主体可以是对靶施药装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑、学习机等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。
如图1所示，该方法可以包括如下步骤：
步骤101，获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；
本实施例中，连续多帧图像是通过视频流的方式获取的，如此可以避免因漏拍而产生的靶标信息丢失问题。
具体地，图像采集设备可以按照预设路线在待喷洒区域内移动，用于实时采集种植于待喷洒区域内的靶标的视频流，从而从视频流中获取每一帧包含靶标的图像。
其中，待喷洒区域即指代待喷施农药的区域，其可以根据实际情况确定，例如：可以为露天种植的大田区域，还可以为温室区域。本发明实施例中对此不作具体限定。
预设路线为对种植于待喷洒区域内的靶标喷施农药的路线，预设路线可以根据先验知识和/或实际情况确定。本发明实施例中对预设路线不作具体限定。
本实施例中，靶标为当前待喷药对象，其可以根据喷药需求灵活设定，比如当需要对农作物喷洒药物时，则靶标即为农作物，当需要对杂草喷洒药物时，则靶标即为杂草。
步骤102，将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；
其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
本实施例中的靶标识别模型可以对当前帧图像中的农作物以及农作物周边的杂草进行识别，并通过携带有坐标标识的标注框对识别到的农作物和杂草进行标注，进而可以输出当前帧图像的农作物和杂草的坐标信息。
在一示例中，靶标识别模型在输出当前帧图像的农作物和杂草的坐标信息时，可以选择屏蔽杂草的坐标信息仅输出识别到的农作物的坐标信息，还可以选择屏蔽农作物的坐标信息仅对输出识别到的杂草的坐标信息，进而后续可以实现对作物或者杂草分别施药。
本实施例中，由于图像采集设备可以在不同拍摄条件下进行图像采集，因此本实施例中的样本图像可以是基于不同的拍摄条件下采集得到的，其中，拍摄条件，可以包括但不限光照条件、天气情况和杂草密度等。
需要说明的是，本实施例中的样本图像中的农作物以及杂草与待喷洒区域内的农作物以及杂草的种类相同，样本图像对应的样本区域与待喷洒区域可以相同或不同。本发明实施例中对样本区域不作具体限定。
需要说明的是，YOLO(You Only Look Once)模型是一种基于深度神经网络的对象识别和定位算法，YOLO具体运行速度快、适用于实时运算等特点。
NAM(Normalization-based Attention Module)注意力机制模块是一种基于归一化的注意力机制模块，相比于其他的注意力机制，无需额外的全连接，卷积等额外的计算和参数，直接使用批量归一化BN中的缩放因子来计算注意力权重，并通过增加正则化项来进一步抑制不显著的特征，这种方式在注意力模块上应用了稀疏的权重惩罚，这使得这些权重在计算上更加高效，同时能够保持同样的性能。
VFL(VariFocal Loss，变焦损失)是一种动态缩放的二元交叉熵损失。它采用了一种非对称训练示例加权方法。VFL降低了解决训练过程中类不平衡问题的负样本的权重，而增加了生成高质量的正样本的权重。这将训练重点放在高质量的正样本上，更好地解决了类别不平衡的问题。
DFL(Distribution Focal Loss，分布焦损失)通过引入焦点因子和分布参数来调整样本的权重。焦点因子主要用于缓解类别不平衡问题，为罕见类别分配更高的权重，使模型更关注罕见类别的分类准确性。而分布参数则用于控制样本分布的形状，在处理较难的样本时起到进一步加权的效果。
WIoU(Weighted Intersection over Union Regression Loss，加权交并比回归损失)提出了动态非单调聚焦机制，使用“离群度”替代IoU对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减小了低质量示例产生的有害梯度，这使得WIoU可以聚焦于普通质量的锚框，并提高检测器的整体性能，极大地解决了样本密集和互相遮挡的问题。
具体地，本发明实施例中以现有技术中的YOLOv8模型为基础框架，首先，在其残差特征学习C2f单元中添加NAM注意力机制模块，以增加主干网络的特征提取能力，为特征融合阶段提供了可靠的前端信息来源；其次VFL分类损失函数更好地解决了作物和杂草样本数量不平衡的问题，增强了网络模型的可靠性。最后使用WIoU回归损失+DFL分布焦损失极大解决了农作物和杂草生长密集和互相遮挡导致难以识别定位的问题。
在一个示例中，模型的训练与测试任务可以是在配有11th Gen Intel i9 CPU和NVIDIA GTX3080Ti GPU的工作站上进行，其中使用的Pytorch型号为1.10.2，用于网络模型的构建。在参数设置方面：模型训练过程预加载在coco数据集上训练好的权重文件；输入的农作物和杂草数据集图像分辨率尺寸为640×640，训练次数为300个epoch，batchsize为8。每迭代一次更新一次模型权重，使用测试集数据对模型性能进行测试，保存识别准确率最高的模型权重作为训练好的靶标识别模型的权重。
步骤103，在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；
需要说明的是，由于图像采集设备发送的当前帧的信息有一定的延时性，可能导致当前时间节点出现的靶标不能及时喷洒。其次，喷头可能不能精准定位到靶标的位置。因此本实施例中，构建横向的实际喷雾像素线以及竖向的区域划分像素线。
可以理解地，喷施设备的多个喷头所设定的位置通常情况下处于同一条水平线上，不同喷头对应喷洒相应的区域，因此本实施例中，可以根据喷施设备的多个喷头所设定的高度、图像采集设备所采集的图像的视角高度预先配置好图像采集设备所采集的图像中的实际喷雾像素线(即多个喷头所对应的水平线)，根据各个喷头可喷洒的范围预先配置好图像采集设备所采集的图像中的区域划分像素线，以将图像划分成各个喷头对应的喷雾控制区域，从而实现精准喷药。
步骤104，根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；
本实施例中，根据靶标的标记框的位置信息与实际喷雾像素线的位置信息判断靶标是否到达喷施设备的喷洒区域附近，根据标记框的位置信息以及区域划分像素线的位置信息可进一步判断靶标具体达到了哪个喷头的喷洒区域附近，从而控制喷施设备进行施药动作。
本发明提供的对靶施药方法，通过获取图像采集设备对当前待喷洒区域进行图像采集得到的连续多帧图像；将各帧图像依次输入靶标识别模型，获取靶标识别模型输出的靶标的标记框的位置信息，靶标为当前待喷药对象；在包含靶标的图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；根据靶标的标记框的位置信息、实际喷雾像素线的位置信息以及区域划分像素线的位置信息控制喷施设备进行施药动作，如此提高了精准施药的实时性，避免漏检以及喷洒响应延迟，此外本发明中的靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，目标检测模型是以YOLOv8模型为基础框架，在YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将YOLOv8模型的分类损失设为VFL变焦损失，将YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的，提高了模型对农作物和杂草区分的正确率，提高了靶标识别模型的识别准确率，由此本发明能实现田间复杂环境下靶标准确识别和精确定位，实现精准对靶施药。
在一些实施例中，所述根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作，包括：
基于所述区域划分像素线的位置信息将所述图像划分成若干个待喷洒子区域；
若所述实际喷雾像素线的位置处于所述靶标的标记框的上边界框线与下边界框线之间，则根据所述靶标的标记框的左边界框线的位置以及右边界框线的位置确定目标待喷洒子区域；
根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作。
本实施例中，如图2及图3所示，当喷施设备包括4个喷头时，在图像中构建1条横向的实际喷雾像素线以及4条竖向的区域划分像素线，区域划分像素线将当前帧图像按像素横坐标等比例划分为4个区域，每个区域对应一个喷雾控制区域，根据靶标的标记框的上界边界框线和下界边界框线的纵坐标判断靶标是否达到实际喷雾像素线附近，当上界边界框线的纵坐标值大于实际喷雾像素线对应的纵坐标值，下界边界框线的纵坐标值小于实际喷雾像素线对应的纵坐标值，即可认为靶标运动到指定位置，结合靶标的标记框的左边界框线的横坐标值以及右边界框线的横坐标值与四个喷雾控制区域的横坐标值范围，即可确定出目标待喷洒子区域。
本发明实施例通过根据区域划分像素线的横坐标划分若干个待喷洒子区域，根据纵坐标判断靶标是否达到实际喷雾像素线附近，从而解决目标漏检以及响应延迟的问题，进一步了提高精准施药的实时性。
在一些实施例中，所述喷施设备包括至少一个喷头，各所述喷头均配置有一个相应的电磁阀，所述根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作，包括：
将所述目标待喷洒子区域的位置信息发送给所述喷施设备，以使所述喷施设备根据所述目标待喷洒子区域的位置信息开启相应的电磁阀的阀门进行施药动作。
本实施例中，通过上下位机与喷施设备进行串口通信，具体地，上位机通过串口通信发送指令，下位机根据靶标的区域位置信息进一步控制喷头的电磁阀的开关闭合状态。
在一个示例中，为了能够与上位机进行通讯，工控板预先对UART串口配置模块的波特率、数据位、校验位、停止位等进行配对，以进行信息接收和解析。工控板根据接收到的具体报文信息来判断靶标的区域位置，比如当工控板接收到十六进制标志位01时，即认为开启喷药模式，若接收到标志位为00，不开启喷药模式。
如图3所示，当喷施设备包括4个喷头时，喷药模式中4个划分的区域的像素画面范围分别为0～160px、160～320px、320～480px、480～640px，各区域对应靶标若到达实际喷雾像素线附近，工控板将根据报文信息给出控制指令到喷雾模块，对四个电磁阀进行PWM(Pulse Width Modulation，脉宽调制)调节，即可调节PWM的占空比来对电磁阀的开合状态进行控制，进而实现施药动作。
在一些实施例中，所述样本图像是通过以下方式得到的：
获取包含有农作物以及杂草的原始样本图像；
确定所述原始样本图像中的种子像素，并根据所述种子像素从所述原始样本图像中分割出杂草图像；
将所述杂草图像作为对象，所述原始样本图像作为背景进行图像合成，得到图像中杂草数量达到预设数量要求的样本图像。
需要说明的是，由于图像采集设备所采集的原始样本图像中的农作物的数量和杂草样本数据可能会出现不均衡的情况，因此本实施例中可以采用基于区域信息分割法来对图像中的土壤背景和杂草进行分割，并将分割出的杂草图像进行扩充，以确保农作物的数量和杂草样本数据的均衡。
具体地，随机选取图像中的一个像素作为种子像素，并检索种子像素附近的像素点，将相似区域的聚合，通过区域信息分割法遍历图像中所有的像素点，即完成了图像分割。之后将分割后的杂草图像作为“对象”，其他原始样本图像作为“背景”，进行图像的合成，如此增加了图像中的杂草样本的数量，得到了杂草数量达到预设数量要求的样本图像。
获得样本图像后，可以使用LabelImg标注软件对样本图像中的农作物以及杂草添加标记框，得到标注后的样本图像。按照预设的比例，将标注后的样本图像划分为训练集、测试集和验证集，对目标检测模型进行训练，进而可以获得训练好的靶标识别模型。
本发明实施例通过对原始样本图像进行像素级数据扩充，较好解决了农作物与杂草的样本比例失衡问题，能够提高农作物以及杂草的靶标识别模型的鲁棒性，能增大农作物以及杂草的靶标识别模型的适用范围。
在一些实施例中，所述靶标识别模型包括图像输入模块、特征提取模块、特征融合模块以及识别模块，所述特征提取模块包括多个级联的第一神经网络单元，所述特征融合模块包括多个级联的第二神经网络单元，所述识别模块包括VFL变焦损失函数、DFL分布焦损失函数与WIoU回归损失函数的加权损失函数；
其中，所述第一神经网络单元包括残差特征学习C2f单元、卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元以及特征融合SPPF单元中的任意一种；
所述第二神经网络单元包括卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元、图像拼接Concat单元以及图像上采样Upsample单元中的任意一种。
本实施例中，参考图4，靶标识别模型包括input图像输入模块201、Backbone特征提取模块202、Neck特征融合模块203以及Prediction识别模块204。
input图像输入模块201用于输入分辨率尺寸为640×640的RGB图像，Backbone特征提取模块202包括多个级联的第一神经网络单元；Neck特征融合模块203基于PANet网络构建，包括多个级联的第二神经网络单元，并且当前神经网络单元的输入为上一个神经网络单元的输出，或者为上一个神经网络单元以及上N个神经网络单元的输出，其中，N为大于1的正整数；Prediction识别模块204包括VFL变焦损失函数、DFL分布焦损失函数与WIoU回归损失函数的加权损失函数。
残差特征学习C2f单元用于对残差特征进行学习；卷积Conv单元用于对输入图像进行卷积、归一化处理和激活函数计算；特征融合SPPF单元用于将不同尺寸的输入图像进行特征融合，丰富了输出图像的表达能力，有利于检测不同生长周期大小差异较大的目标；图像上采样Upsample单元用于对输入图像进行上采样，图像拼接Concat单元用于对输入图像进行Concat函数计算。
本实施例中，为了提高靶标识别模型对目标的识别准确率，并一定程度上减少模型参数，提高模型实时检测速度，提出了基于NAM注意力机制的残差特征学习C2f-N单元，如此增加主干网络的特征提取能力，为特征融合阶段提供了可靠的前端信息来源。基于NAM注意力机制的残差特征学习C2f-N单元是基于NAM注意力机制模块构建，NAM注意力机制模块用于抑制不显著的特征，具体地，参考图5，C2f-N单元由ConvBNSiLU网络层301、Split网络层302、n个BottleNeck网络层303、NAM网络层304以及ConvBNSiLU网络层305构成，本实施例中BottleNeck网络层303的数量可根据实际情况灵活调整，对此不作限制。
可选地，本实施例中，特征提取模块202可以由至少三个Conv单元、至少三个C2f单元或C2f-N单元和至少一个SPFF单元级联构成，且任意两个C2f单元或C2f-N单元不相邻，SPFF单元为特征提取模块202中的最后一个单元。
需要说明的是，本发明实施例中对Backbone特征提取模块202中Conv单元、C2f单元或C2f-N单元和SPFF单元的数量和级联方式可以根据先验知识确定，本发明实施例中对Backbone特征提取模块202中Conv单元、C2f单元或C2f-N单元和SPFF单元的数量和级联方式不作具体限定。
可选地，Neck特征融合模块203可以由至少三个Conv单元、至少三个C2f单元或C2f-N单元、多个Concat单元和Upsample单元级联构成，且任意两个C2f单元或C2f-N单元不相邻。
本发明实施例中对Neck特征融合模块203中Conv单元、C2f单元或C2f-N单元、concat单元和Upsample单元的数量和级联方式可以根据先验知识确定，本发明实施例中对Neck特征融合模块203中Conv单元、C2f单元或C2f-N单元、Concat单元和Upsample单元的数量和级联方式不作具体限定。
为了便于对本发明实施例中的靶标识别模型的理解，以下通过一个实例说明本发明实施例中的靶标识别模型。靶标识别模型中各神经网络单元的连接关系如表1和图4所示，靶标识别模型的模型参数如表1所示。
其中，表1中C2f单元210的备注“n＝2”，表示C2f单元内部结构中BottleNeck模块的数量为2；表1中C2f-N单元214的备注“n＝1”，表示C2f-N单元内部结构中BottleNeck模块的数量为1。
表1靶标识别模型的结构关系和模型参数表
表1中Concat单元216的备注“210、217”表示Concat单元216的输入为Cf2单元210和Upsample单元217的输出；表1中Concat单元219的备注“212、220”表示Concat单元219的输入为Cf2单元212和Upsample单元220的输出。
具体地，本实施中所述将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的坐标，包括：
将所述图像通过所述图像输入模块输入至所述特征提取模块，获取所述特征提取模块中的第一C2f单元输出的第一特征图、第二C2f单元输出的第二特征图以及SPPF单元输出的第三特征图，所述第二C2f单元为所述第一C2f单元的下级单元；
将所述第一特征图、所述第二特征图以及所述第三特征图依次输入至所述特征融合模块中的第一Concat单元、第二Concat单元以及Upsample单元，获取所述特征融合模块中的第一C2f-N单元输出的第一特征矩阵、第二C2f-N单元输出的第二特征矩阵以及第三C2f-N单元输出的第三特征矩阵，所述第二Concat单元为所述第一Concat单元的下级单元，所述第三C2f-N单元为所述第二C2f-N单元的下级单元，所述第二C2f-N单元为所述第一C2f-N单元的下级单元；
将所述第一特征矩阵、所述第二特征矩阵以及所述第三特征矩阵输出至所述识别模块，通过所述识别模块中的所述VFL变焦损失函数、所述DFL分布焦损失函数与WIoU回归损失函数的加权损失函数识别出农作物以及杂草，并通过包含空间坐标信息的标注框在所述农作物以及所述杂草中标记出靶标。
本实施例中，input图像输入模块201将当前帧图像输入Backbone特征提取模块202之后，Backbone特征提取模块202可以对当前帧图像进行农作物和杂草特征提取，Backbone特征提取模块202中的Cf2单元210(即第一C2f单元)可以输出第一特征图至特征融合模块203中的Concat单元216；特征提取模块202中的Cf2单元212(即第二C2f单元)可以输出第二特征图至特征融合模块203中的Concat单元219；特征提取模块202中的SPFF单元215可以输出第三特征图至特征融合模块203中的Upsample单元220和Concat单元226。
Neck特征融合模块203中的C2f-N单元221(即第一C2f-N单元)可以输出第一特征矩阵至Prediction识别模块204中的Loss function模块205，Neck特征融合模块203中的C2f-N单元224(即第二C2f-N单元)可以输出第二特征矩阵至Loss function模块205，Neck特征融合模块203中的C2f-N单元227(即第三C2f-N单元)可以输出第三特征矩阵至Lossfunction模块205。其中，第一特征矩阵的尺寸为80×80×45、第二特征矩阵的尺寸为40×40×45、第二特征矩阵的尺寸为20×20×45。
Loss function模块205可以基于第一特征矩阵、第二特征矩阵和第三特征矩阵，采用WIoU+DFL回归损失函数228和VFL分类损失函数229进行目标作物和杂草的识别，并可以通过标注框在当前帧图像中标注识别到的目标作物和杂草，进而输出标注到的作物和杂草的空间坐标信息。
下面对本发明提供的对靶施药装置进行描述，下文描述的对靶施药装置与上文描述的对靶施药方法可相互对应参照。
图6是本发明提供的对靶施药装置的结构示意图，如图6所示，所述装置包括：图像获取模块610，用于获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；靶标识别模块620，用于将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；靶标定位模块630，用于在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；喷雾控制模块640，用于根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
本发明提供的对靶施药装置，通过获取图像采集设备对当前待喷洒区域进行图像采集得到的连续多帧图像；将各帧图像依次输入靶标识别模型，获取靶标识别模型输出的靶标的标记框的位置信息，靶标为当前待喷药对象；在包含靶标的图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；根据靶标的标记框的位置信息、实际喷雾像素线的位置信息以及区域划分像素线的位置信息控制喷施设备进行施药动作；其中，靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，目标检测模型是以YOLOv8模型为基础框架，在YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将YOLOv8模型的分类损失设为VFL变焦损失，将YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的，实现田间复杂环境下靶标准确识别和精确定位，实现精准对靶施药。
下面对本发明提供的对靶施药系统进行描述，如图7所示，一种基于改进YOLOv8的精准对靶施药系统包括靶标识别定位处理器701及可在所述靶标识别定位处理器上运行的程序或指令。
需要说明的是，靶标识别定位处理器上运行的程序或指令被靶标识别定位处理器执行上述靶标识别定位方法的具体过程可以参见上述各实施例的内容，本发明实施例中不再赘述。
可选地，上述靶标识别定位处理器可以为功率为15W的NVIDIA Jeston Xavier NX开发板。上述靶标识别定位处理器可以基于Pytorch 1.10.2框架执行上述靶标识别定位方法。
基于上述各实施例的内容，一种基于改进YOLOv8的精准对靶施药系统，还包括：电源702、图像采集设备703、显示设备704以及喷施设备705；电源702、图像采集设备703、显示设备703与喷施设备705分别与靶标识别定位处理器701连接。其中喷施设备705，包括：药箱706、管路707、喷头708、喷杆709、泵710、电磁阀711。
电源702靶标识别定位处理器701和喷施设备705连接，从而可以为靶标识别定位处理器701和喷施设备705提供电源。
图像采集设备703用于实时采集种植于待喷洒区域内的靶标的视频流，并将视频流至靶标识别定位处理器，以供靶标识别定位处理器基于视频流获取当前帧图像；
显示设备704用于接收并显示靶标识别定位处理器701发送的靶标的区域位置信息。
喷施设备705由药箱706、管路707、喷头708、喷杆709、泵710以及电磁阀711等组成，用于接收到靶标识别定位处理器701输出的控制信号后，控制电磁阀711开合状态来进行施药动作。
本发明实施例的对靶施药系统提高作物和杂草识别的鲁棒性，能提高作物和杂草同时识别时的精确率，能提高施药动作的响应速度，能实现精准对靶施药。
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行对靶施药方法，该方法包括：
获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；
将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；
在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；
根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；
其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的对靶施药方法，该方法包括：
获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；
将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；
在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；
根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；
其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种对靶施药方法，其特征在于，包括：
获取连续多帧图像，所述连续多帧图像是根据图像采集设备对当前待喷洒区域内的靶标进行图像采集得到的，所述靶标为当前待喷药对象；
将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的位置信息；
在所述图像中构建横向的实际喷雾像素线以及竖向的区域划分像素线；
根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作；
其中，所述靶标识别模型是根据标注有农作物标签以及杂草标签的样本图像对目标检测模型训练得到的，所述目标检测模型是以YOLOv8模型为基础框架，在所述YOLOv8模型的残差特征学习C2f单元中添加NAM注意力机制模块，将所述YOLOv8模型的分类损失设为VFL变焦损失，将所述YOLOv8模型的回归损失设为DFL分布焦损失与WIoU回归损失的加权损失构建得到的。
2.根据权利要求1所述对靶施药方法，其特征在于，所述根据所述靶标的标记框的位置信息、所述实际喷雾像素线的位置信息以及所述区域划分像素线的位置信息控制喷施设备进行施药动作，包括：
基于所述区域划分像素线的位置信息将所述图像划分成若干个待喷洒子区域；
若所述实际喷雾像素线的位置处于所述靶标的标记框的上边界框线与下边界框线之间，则根据所述靶标的标记框的左边界框线的位置以及右边界框线的位置确定目标待喷洒子区域；
根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作。
3.根据权利要求2所述对靶施药方法，其特征在于，所述喷施设备包括至少一个喷头，各所述喷头均配置有一个相应的电磁阀，所述根据所述目标待喷洒子区域控制所述喷雾系统的喷施设备进行施药动作，包括：
将所述目标待喷洒子区域的位置信息发送给所述喷施设备，以使所述喷施设备根据所述目标待喷洒子区域的位置信息开启相应的电磁阀的阀门进行施药动作。
4.根据权利要求1所述对靶施药方法，其特征在于，所述样本图像是通过以下方式得到的：
获取包含有农作物以及杂草的原始样本图像；
确定所述原始样本图像中的种子像素，并根据所述种子像素从所述原始样本图像中分割出杂草图像；
将所述杂草图像作为对象，所述原始样本图像作为背景进行图像合成，得到图像中杂草数量达到预设数量要求的样本图像。
5.根据权利要求1至4任一项所述对靶施药方法，其特征在于，所述靶标识别模型包括图像输入模块、特征提取模块、特征融合模块以及识别模块，所述特征提取模块包括多个级联的第一神经网络单元，所述特征融合模块包括多个级联的第二神经网络单元，所述识别模块包括VFL变焦损失函数、DFL分布焦损失函数与WIoU回归损失函数的加权损失函数；
其中，所述第一神经网络单元包括残差特征学习C2f单元、卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元以及特征融合SPPF单元中的任意一种；
所述第二神经网络单元包括卷积Conv单元、基于NAM注意力机制的残差特征学习C2f-N单元、图像拼接Concat单元以及图像上采样Upsample单元中的任意一种。
6.根据权利要求5所述对靶施药方法，其特征在于，所述将各帧所述图像依次输入靶标识别模型，获取所述靶标识别模型输出的靶标的标记框的坐标，包括：
将所述图像通过所述图像输入模块输入至所述特征提取模块，获取所述特征提取模块中的第一C2f单元输出的第一特征图、第二C2f单元输出的第二特征图以及SPPF单元输出的第三特征图，所述第二C2f单元为所述第一C2f单元的下级单元；
将所述第一特征图、所述第二特征图以及所述第三特征图依次输入至所述特征融合模块中的第一Concat单元、第二Concat单元以及Upsample单元，获取所述特征融合模块中的第一C2f-N单元输出的第一特征矩阵、第二C2f-N单元输出的第二特征矩阵以及第三C2f-N单元输出的第三特征矩阵，所述第二Concat单元为所述第一Concat单元的下级单元，所述第三C2f-N单元为所述第二C2f-N单元的下级单元，所述第二C2f-N单元为所述第一C2f-N单元的下级单元；
将所述第一特征矩阵、所述第二特征矩阵以及所述第三特征矩阵输出至所述识别模块，通过所述识别模块中的所述VFL变焦损失函数、所述DFL分布焦损失函数与WIoU回归损失函数的加权损失函数识别出农作物以及杂草，并通过包含空间坐标信息的标注框在所述农作物以及所述杂草中标记出靶标。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述对靶施药方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述对靶施药方法。
9.一种对靶施药系统，包括：靶标识别定位处理器及可在所述靶标识别定位处理器上运行的程序或指令，其特征在于，所述程序或指令被所述靶标识别定位处理器执行时实现如权利要求1至6任一项所述对靶施药方法。
10.根据权利要求9所述对靶施药系统，其特征在于，还包括图像采集设备以及喷施设备；所述图像采集设备及所述喷施设备分别与所述靶标识别定位处理器连接；
所述图像采集设备用于实时采集种植于待喷洒区域内的靶标的视频流，并将所述视频流发送至所述靶标识别定位处理器，以供所述靶标识别定位处理器基于所述视频流获取连续多帧图像；
所述喷施设备用于根据所述靶标识别定位处理器输出的控制信号进行施药动作。
CN202311141968.1A 2023-09-05 2023-09-05 对靶施药方法、电子设备、存储介质及系统 Pending CN117274674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311141968.1A CN117274674A (zh) 2023-09-05 2023-09-05 对靶施药方法、电子设备、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311141968.1A CN117274674A (zh) 2023-09-05 2023-09-05 对靶施药方法、电子设备、存储介质及系统

Publications (1)

Publication Number Publication Date
CN117274674A true CN117274674A (zh) 2023-12-22

Family

ID=89213434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311141968.1A Pending CN117274674A (zh) 2023-09-05 2023-09-05 对靶施药方法、电子设备、存储介质及系统

Country Status (1)

Country Link
CN (1) CN117274674A (zh)

Similar Documents

Publication Publication Date Title
US11748976B2 (en) Automated plant detection using image data
WO2020078396A1 (zh) 分布信息的确定方法、无人飞行器的控制方法及装置
CN105173085B (zh) 无人机变量施药自动控制系统及方法
WO2021254205A1 (zh) 一种目标检测方法及装置
AU2015265625B2 (en) Methods, systems, and devices relating to real-time object identification
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
US20220157047A1 (en) Feature Point Detection
Aravind et al. Design and development of automatic weed detection and smart herbicide sprayer robot
CN105809711B (zh) 一种基于视频追踪的猪只运动大数据提取方法及其系统
JP2019514123A (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
Peng et al. Weed detection in paddy field using an improved RetinaNet network
CN109948444A (zh) 基于cnn的果实与障碍物的同步识别方法、系统与机器人
CN109197278A (zh) 作业策略的确定方法及装置、药物喷洒策略的确定方法
CN110189140A (zh) 基于区块链的农产品溯源存证方法及溯源存证系统
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN109886155A (zh) 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN111860514A (zh) 一种基于改进DeepLab的果园场景多类别实时分割方法
Wang et al. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network
Buddha et al. Weed detection and classification in high altitude aerial images for robot-based precision agriculture
Mendoza-Bernal et al. A Convolutional Neural Network approach for image-based anomaly detection in smart agriculture
CN113065562A (zh) 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN115457437A (zh) 作物识别方法、装置、系统及农药喷施机器人
CN117274674A (zh) 对靶施药方法、电子设备、存储介质及系统
CN113673340B (zh) 一种害虫种类图像识别方法及系统
Li et al. Predicting positions and orientations of individual kiwifruit flowers and clusters in natural environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination