CN112541383B - 杂草区域的识别方法和装置 - Google Patents

杂草区域的识别方法和装置 Download PDF

Info

Publication number
CN112541383B
CN112541383B CN202010537565.9A CN202010537565A CN112541383B CN 112541383 B CN112541383 B CN 112541383B CN 202010537565 A CN202010537565 A CN 202010537565A CN 112541383 B CN112541383 B CN 112541383B
Authority
CN
China
Prior art keywords
area
weed
image
crop
planting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537565.9A
Other languages
English (en)
Other versions
CN112541383A (zh
Inventor
黄敬易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202010537565.9A priority Critical patent/CN112541383B/zh
Publication of CN112541383A publication Critical patent/CN112541383A/zh
Application granted granted Critical
Publication of CN112541383B publication Critical patent/CN112541383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本发明公开了一种杂草区域的识别方法和装置。其中，该方法包括：获取多张作物图像，并对多张作物图像进行处理，得到数据集；基于数据集对神经网络模型进行训练，得到作物区域识别模型；基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。本发明解决了现有技术中直接人工标记杂草所导致的数据标注工作量大的技术问题。

Description

杂草区域的识别方法和装置
技术领域
本发明涉及作物识别领域，具体而言，涉及一种杂草区域的识别方法和装置。
背景技术
杂草的适应性强，繁殖能力强，杂草在田间的生长会对田间作物的生长以及产量均会产生影响。为了提高田间作物的产量，现有技术可通过化学除草和机械化除草两种方式进行田间除草，而化学除草会污染环境，机械化除草对环境友好，因此，为了提高田间作物的产量，同时保护环境，目前许多农场采用机械化除草。然而，对于面积较大的农田，如果采用人工除草的方式不仅会增加成本，还会降低除草效率。
随着计算机技术的发展，农田也采用了自动化设备，例如，使用田间机器人巡查的方式来确定农田中的杂草区域；又例如，使用无人机巡视，通过无人机观察拍到的照片来确定农田中的杂草区域。在确定了杂草区域之后，可使用自动化的除草设备进行田间除草。
然而，现有的通过图像分析来确定杂草区域的方式(例如，无人机拍照确定杂草区域的方式)，需要人工干预的环节较多，鲁棒性差。另外，现有技术还可通过神经网络模型对农田图像进行识别处理来确定杂草区域，但现有技术通常是通过人工标注数据的方式来训练神经网络模型，而且，现有的神经网络模型严重依赖于标注数据的质量与数量。如果需要获得高鲁棒性、精度高的神经网络模型，则需要大量的标注数据，而且不同地域不同作物下杂草的类型不同，这又增加了数据标注的工作量。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种杂草区域的识别方法和装置，以至少解决现有技术中直接人工标记杂草所导致的数据标注工作量大的技术问题。
根据本发明实施例的一个方面，提供了一种杂草区域的识别方法，包括：获取多张作物图像，并对多张作物图像进行处理，得到数据集；基于数据集对神经网络模型进行训练，得到作物区域识别模型；基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
进一步地，杂草区域的识别方法还包括：对多张作物图像进行处理，得到作物区域所对应的标签图；确定多张作物图像以及标签图的对应关系，基于对应关系获取数据集。
进一步地，杂草区域的识别方法还包括：对多张作物图像进行二值化处理，得到二值化图像；将二值化图像转换为种植行方向为垂直方向的第一图像；检测第一图像中的植被种植状态，其中，植被种植状态至少包括：种植行内连续密植状态和种植行内稀疏种植状态；根据植被种植状态对第一图像进行反转处理，得到标签图。
进一步地，杂草区域的识别方法还包括：获取多张作物图像的多个预设颜色通道的颜色值；基于多个预设颜色通道的颜色值得到多张作物图像中每个像素点所对应的颜色指数；基于颜色指数以及预设的颜色阈值对多张作物图像进行二值化处理，得到二值化图像。
进一步地，杂草区域的识别方法还包括：基于霍夫检测直线算法确定二值化图像中的作物的种植行方向；对二值化图像扩充处理，得到预设形状的第二图像，其中，第二图像中的扩充区域所对应的像素值为零值；基于种植行方向对第二图像进行旋转处理，得到种植行方向为垂直方向的第一图像。
进一步地，杂草区域的识别方法还包括：在植被种植状态为种植行内连续密植状态的情况下，在垂直方向对第一图像中的非零像素的个数进行累加处理，得到第一累加曲线；对第一累加曲线进行平滑处理，得到第一平滑曲线；确定第一平滑曲线所对应的特征信息，其中，特征信息至少包括：波峰顶点信息以及种植行的宽度；基于特征信息对第一图像中的种植行进行逐行覆盖操作，得到第三图像；对第三图像进行反转操作，得到标签图。
进一步地，杂草区域的识别方法还包括：在植被种植状态为种植行内稀疏种植状态的情况下，在垂直方向对第一图像中的零像素的个数进行累加处理，得到第二累加曲线；对第二累加曲线进行平滑处理，得到第二平滑曲线；确定第二平滑曲线的波峰顶点信息；基于波峰顶点信息对第一图像中的种植行进行分割处理，得到种植行区域；对种植行区域逐行进行连通域处理，得到第四图像；对第四图像进行反转操作，得到标签图。
进一步地，杂草区域的识别方法还包括：对种植行区域进行筛选，得到作物连通域；对作物连通域进行分析处理，得到分析结果，其中，分析处理至少包括如下之一：面积分析、特征分析、形状分析、纹理分析；根据分析结果对作物连通域进行标记，得到第四图像。
进一步地，杂草区域的识别方法还包括：基于数据集对卷积神经网络进行训练，得到作物区域识别模型。
进一步地，杂草区域的识别方法还包括：从数据集中获取第一训练数据和第一测试数据；基于第一训练数据对卷积神经网络进行训练，得到预训练的作物区域识别模型；基于第一测试数据对预训练的作物区域识别模型进行测试，得到第一测试结果；基于第一测试结果对预训练的作物区域识别模型进行参数优化，得到目标作物区域识别模型。
进一步地，杂草区域的识别方法还包括：获取包含杂草的图集；基于作物区域识别模型对图集进行识别处理，得到识别结果；基于识别结果对图集中的杂草区域进行标记，得到杂草数据集；基于杂草数据集对预设的神经网络模型进行训练，得到杂草识别模型。
进一步地，杂草区域的识别方法还包括：基于图集对作物区域识别模型进行识别处理，确定图集中的作物区域；基于预设筛选条件以及识别结果对图集中的杂草区域进行标记，得到杂草数据集，其中，预设筛选条件至少包括连通域面积筛选条件。
进一步地，杂草区域的识别方法还包括：获取包含杂草的图集；对图集中的杂草区域进行标记，得到杂草数据集；基于杂草数据集对预设的神经网络模型进行训练，得到杂草识别模型。
进一步地，杂草区域的识别方法还包括：从杂草数据集中获取第二训练数据和第二测试数据；基于第二训练数据对预设的神经网络模型进行训练，得到预训练的杂草识别模型；基于第二测试数据对预训练的杂草识别模型进行测试，得到第二测试结果；基于第二测试结果对预训练的杂草识别模型进行参数优化，得到目标杂草识别模型。
根据本发明实施例的另一方面，还提供了一种杂草区域的识别方法，包括：获取待识别区域的待识别图像；基于杂草识别模型对待识别图像进行识别，得到识别结果，其中，识别结果用于表征待识别区域中的杂草区域，杂草识别模型是基于作物区域识别模型得到的，作物区域识别模型用于识别待识别区域内的作物区域。
根据本发明实施例的另一方面，还提供了一种除草方法，通过上述的杂草区域的识别方法识别杂草，得到杂草位置，包括：获取待除草区域的区域图像；在区域图像中对杂草位置进行标记，得到标记位置；控制除草设备按照标记位置执行除草操作，其中，除草操作包括如下至少之一：喷除草剂、拔除作业。
根据本发明实施例的另一方面，还提供了一种除草路径规划方法，通过上述的杂草区域的识别方法识别杂草，得到杂草位置，包括：获取待除草区域的区域图像；根据杂草位置以及区域图像生成进行除草作业的作业路径。
根据本发明实施例的另一方面，还提供了一种产量预估方法，通过上述的杂草区域的识别方法识别杂草，得到杂草位置，包括：确定待预估区域内无杂草时的目标产量；根据杂草位置确定杂草面积与待预估区域的区域面积的比值；根据比值确定杂草所造成的减产产量；根据目标产量以及减产产量确定待预估区域内作物的预估产量。
根据本发明实施例的另一方面，还提供了一种杂草区域的识别装置，包括：获取模块，用于获取多张作物图像，并对多张作物图像进行处理，得到数据集；训练模块，用于基于数据集对神经网络模型进行训练，得到作物区域识别模型；确定模块，用于基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；识别模块，用于基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的杂草区域的识别方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的杂草区域的识别方法。
在本发明实施例中，采用基于作物区域识别模型所确定的杂草识别模型来识别待识别图像中的杂草区域的方式，在获取多张作物图像之后，对多张作物图像进行处理，得到数据集，然后基于数据集对神经网络模型进行训练，得到作物区域识别模型，并基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型，最后，基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
在上述过程中，杂草识别模型并不是通过人工标注数据的方式得到的，而是通过作物区域识别模型得到的，其中，作物区域识别模型是用于识别田间中的作物的识别模型。由于在田间作物的区域通常大于杂草区域，而从包含少量杂草区域的作物图像中易训练得到作物区域识别模型，进而可快速的得到杂草识别模型。与现有的通过人工标注杂草的方式相比，本申请能够快速的识别田间的杂草区域。
由此可见，本申请所提供的方案达到了基于杂草识别模型快速识别杂草的目的，从而实现了快速识别杂草区域的技术效果，进而解决了现有技术中直接人工标记杂草所导致的数据标注工作量大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种杂草区域的识别方法流程图；
图2是根据本发明实施例的一种可选的原始的作物图像的示意图；
图3是根据本发明实施例的一种可选的第一图像的示意图；
图4是根据本发明实施例的一种可选的原始的作物图像的示意图；
图5是根据本发明实施例的一种可选的第一图像的示意图；
图6是根据本发明实施例的一种可选的第一累加曲线的示意图；
图7是根据本发明实施例的一种可选的种植行区域覆盖图；
图8是根据本发明实施例的一种可选的第三图像的示意图；
图9是根据本发明实施例的一种可选的第二累加曲线的示意图；
图10是根据本发明实施例的一种可选的杂草区域的识别方法的流程图；
图11是根据本发明实施例的一种杂草区域的识别方法流程图；以及
图12是根据本发明实施例的一种杂草区域的识别装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种杂草区域的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的杂草区域的识别方法流程图，其中，在本实施例中，杂草识别系统可作为本实施例中的杂草区域的识别方法的执行主体。如图1所示，该方法包括如下步骤：
步骤S102，获取多张作物图像，并对多张作物图像进行处理，得到数据集。
在步骤S102中，作物图像中至少包括作物区域，其中，作物区域为农田中种植作物的区域，例如，种植水稻、小麦的区域。
在一种可选的实施例中，无人机可在农田上方的空中进行俯拍，得到多张作物图像，并将俯拍得到的多张作物图像传输至杂草识别系统。杂草识别系统在接收到无人机拍摄的多张作物图像之后，对多张作物图像进行处理，并将处理后的多张作物图像作为数据集，以实现对作物区域识别模型的训练。
需要说明的是，无人机在俯拍农田得到多张作物图像的过程中，可对种植不同作物类型的农田进行拍摄，以使得根据本申请的杂草区域的识别方法得到杂草识别模型更具有广泛性和鲁棒性。
步骤S104，基于数据集对神经网络模型进行训练，得到作物区域识别模型。
在步骤S104中，作物区域识别模型用于识别农田区域中的作物区域。另外，上述神经网络模型可以为但不限于卷积神经网络。其中，在神经网络模型为卷积神经网络的情况下，杂草识别系统基于数据集对卷积神经网络进行训练，得到作物区域识别模型。
步骤S106，基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型。
需要说明的是，在步骤S102中，多张作物图像可以为没有杂草，或者包含少量杂草的农田的图像，而在步骤S106中，图集可以为农田航拍图集，其中，农田航拍图集中的图像为包含杂草的图像。
另外，由步骤S106可知，本申请中的杂草识别模型并不是基于人工标注的方式得到的，而是基于作物区域识别模型得到的。容易注意到的是，在机械化农田中，作物的数量通常远大于杂草的数量，因此，基于包含少量杂草的农田图像容易训练得到作物区域识别模型，进而也容易得到杂草识别模型，从而避免了现有技术中，直接人工逐个标记杂草工作量大，且严重依赖于标记质量的问题。
步骤S108，基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
在步骤S108中，在得到杂草识别模型之后，杂草识别系统可将待识别区域的待识别图像输入至杂草识别模型，杂草识别模型即可输出待识别图像中的杂草区域。在一种可选的实施例中，杂草识别模型还可输出杂草区域在待识别区域中的位置信息以及面积信息等。可选的，杂草识别系统具有显示设备，其可在待识别图像标记出杂草区域的位置信息以及面积信息。
在另一种可选的实施例中，杂草识别模型还可识别出杂草区域内所对应的杂草类型，此时，杂草识别系统可在显示设备中显示待识别图像中的杂草区域的位置信息、面积信息、杂草种类，并根据杂草区域的位置信息、面积信息以及杂草种类给出对应的除草策略，例如，除草工具、除草时间以及预计的除草时长等信息，以供用户参考。
基于上述步骤S102至步骤S108所限定的方案，可以获知，采用基于作物区域识别模型所确定的杂草识别模型来识别待识别图像中的杂草区域的方式，在获取多张作物图像之后，对多张作物图像进行处理，得到数据集，然后基于数据集对神经网络模型进行训练，得到作物区域识别模型，并基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型，最后，基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
容易注意到的是，杂草识别模型并不是通过人工标注数据的方式得到的，而是通过作物区域识别模型得到的，其中，作物区域识别模型是用于识别田间中的作物的识别模型。由于在田间作物的区域通常大于杂草区域，而从包含少量杂草区域的作物图像中易训练得到作物区域识别模型，进而可快速的得到杂草识别模型。与现有的通过人工标注杂草的方式相比，本申请能够快速的识别田间的杂草区域。
由此可见，本申请所提供的方案达到了基于杂草识别模型快速识别杂草的目的，从而实现了快速识别杂草区域的技术效果，进而解决了现有技术中直接人工标记杂草所导致的数据标注工作量大的技术问题。
在一种可选的实施例中，在获取到多张作物图像之后，杂草识别系统对多张作物图像进行处理，得到数据集。具体的，杂草识别系统对多张作物图像进行处理，得到作物区域所对应的标签图，然后确定多张作物图像以及标签图的对应关系，并基于对应关系获取数据集。
需要说明的是，在上述过程中，标签图为对作物图像中的作物区域进行标记之后的图像，另外，在得到标签图之后，杂草识别系统将标签图与作物图像进行成对存储，从而得到数据集。
可选的，杂草识别系统首先对多张作物图像进行二值化处理，得到二值化图像，然后将二值化图像转换为种植行方向为垂直方向的第一图像，并检测第一图像中的植被种植状态，最后再根据植被种植状态对第一图像进行反转处理，得到标签图，其中，植被种植状态至少包括：种植行内连续密植状态(例如，小麦、甘蔗等作物的条带状的种植状态)和种植行内稀疏种植状态(例如，水稻、果树等作物的种植状态)。
需要说明的是，上述二值化处理的方法可以包括但不限于颜色空间法、颜色指数法、植被指数法等，其中，颜色空间法可以为量RGB(Red、Green、Blue，即红绿蓝)转换为HSV(Hue、Saturation、Value，即色调、饱和度、明度)的方法。
在一种可选的实施例中，杂草识别系统使用颜色指数法对多张作物图像进行二值化处理，得到二值化图像。具体的，杂草识别系统获取多张作物图像的多个预设颜色通道的颜色值，然后基于多个预设颜色通道的颜色值得到多张作物图像中每个像素点所对应的颜色指数，最后基于颜色指数以及预设的颜色阈值对多张作物图像进行二值化处理，得到二值化图像。其中，预设颜色通道可以为红绿蓝三个颜色通道。
可选的，上述颜色指数法可以为超绿指数(Excess Green)法。其中，超绿指数ExG可满足下式：
ExG＝2*Green-Red-Blue
在上式中，Red、Green、Blue分别为红绿蓝三通道的像素值。
需要说明的是，上述公式在实际使用时，需要进行归一化等数学处理。另外，在得到超绿指数之后，杂草识别系统通过超绿指数ExG(即颜色阈值)从多张作物图像分离出作物区域，其中，作物图像中的超绿指数大于预设的颜色阈值的位置设置为非零值，作物图像中的超绿指数小于预设的颜色阈值的位置置零，从而得到二值化图。其中，上述预设的颜色阈值可以人为设定，也可以通过Ostu法获得。
进一步地，在得到二值化图像之后，杂草识别系统进一步将二值化图像转换为种植行方向为垂直方向的第一图像。具体的，杂草识别系统基于霍夫检测直线算法确定二值化图像中的作物的种植行方向，并对二值化图像扩充处理，得到预设形状的第二图像，然后基于种植行方向对第二图像进行旋转处理，得到种植行方向为垂直方向的第一图像。其中，第二图像中的扩充区域所对应的像素值为零值。
可选的，杂草识别系统通过如下的霍夫检测直线法来确定种植方向：
首先杂草识别系统将二值化图转换到极坐标系霍夫空间，然后再通过霍夫空间累加器返回靠前的直线的角度、半径列表，对列表数据进行统计分析，得到种植行主方向。其中，上述统计分析的方法包括但不限于选取出现次数最多的角度作为种植行方向，当靠前的直线的角度、半径列表的数量小于预设数量时，可对靠前的直线的角度按照出现次数的多少进行排序，并选取次数最多的角度作为种植行方向。
进一步地，在确定了种植行方向后，杂草识别系统将二值化图像扩充至预设形状，其中，预设形状可以为正方形。然后，杂草识别系统根据种植行方向的角度旋转二值化图像至垂直方向，根据二值化图像的高度、宽度计算二值化图像的对角线长度，填补零值使得二值化图变为正方形，并根据主方向角度旋转种植行至垂直。如图2和图4为原始的作物图像的示意图，图3为对图2所示的作物图像的二值化图像进行旋转后所得到的第一图像的示意图，图5为对图4所示的作物图像的二值化图像进行旋转后所得到的第一图像的示意图，由图3和图5可知，第一图像中的种植行方向为垂直方向。
更进一步的，在得到第一图像之后，杂草识别系统根据植被种植状态来采用不同的方式对第一图像进行反转处理，得到标签图。
可选的，在植被种植状态为种植行内连续密植状态的情况下，杂草识别系统在垂直方向对第一图像中的非零像素的个数进行累加处理，得到第一累加曲线，并对第一累加曲线进行平滑处理，得到第一平滑曲线，然后确定第一平滑曲线所对应的特征信息，并基于特征信息对第一图像中的种植行进行逐行覆盖操作，得到第三图像，最后对第三图像进行反转操作，得到标签图。其中，特征信息至少包括：波峰顶点信息以及种植行的宽度。
其中，图6示出了一种可选的第一累加曲线的示意图，在图6中，曲线A1为第一累加曲线，曲线B1为第一平滑曲线，顶点C1为波峰顶点。其中，杂草识别系统根据波峰顶点与宽度逐行覆盖种植行矩形条，生成种植行区域覆盖图(即第三图像)，种植行区域覆盖图反旋转反填补后得到标签图。可选的，种植行区域覆盖图也是二值图，如图7所示的种植行区域覆盖图，每行对应一个种植行矩形条，矩形条的中线为波峰定点所在列，矩形宽度为波峰宽度，矩形高度为原图宽度。另外，图8为对种植行区域覆盖图(即第三图像)进行反转操作后所生成的标签图。
需要说明的是，种植行矩形条为理想状态下种植行区域，矩形条内区域为非零值，矩形条间区域为零值。
此外，还需要说明的是，对第一累加曲线进行平滑处理的方法包括但不限于移动平均后去噪方法、LOWESS平滑后去噪方法、Univariate Spline拟合后去噪方法、Savitzky_Golay Filter平滑后去噪方法。其中，对第一累加曲线进行平滑处理可用于修正Savitzky_Golay Filter平滑后的负数值等。另外，计算平滑后曲线的波峰顶点与宽度可以用scipy.signal.find_peaks等类似方法。
可选的，在植被种植状态为种植行内稀疏种植状态的情况下，在垂直方向对第一图像中的零像素的个数进行累加处理，得到第二累加曲线，并对第二累加曲线进行平滑处理，得到第二平滑曲线，然后确定第二平滑曲线的波峰顶点信息，并基于波峰顶点信息对第一图像中的种植行进行分割处理，得到种植行区域，最后对种植行区域逐行进行连通域处理，得到第四图像，并对第四图像进行反转操作，得到标签图。
其中，图9示出了一种可选的第二累加曲线的示意图，在图9中，曲线A2为第二累加曲线，曲线B2为第二平滑曲线，顶点C2为波峰顶点，直线D为直线集合，任意两条直线D之间的区域为二值化图像中的种植行区域，其中，种植行区域的宽度大于作物的宽度，直线D为两行作物的中间分界。
可选的，在确定了种植行区域之后，杂草识别系统对种植行区域逐行进行连通域处理，得到第四图像。具体的，杂草识别系统对种植行区域进行筛选，得到作物连通域，然后对作物连通域进行分析处理，得到分析结果，并根据分析结果对作物连通域进行标记，得到第四图像。其中，分析处理至少包括如下之一：面积分析、特征分析、形状分析、纹理分析。
需要说明的是，杂草识别系统根据波峰顶点切割出种植行区域，逐行筛选出作物连通域并导出第四图像，第四图像反旋转反填补后得到标签图。其中，杂草识别系统逐行筛选出作物连通域，对种植行区域内的连通域进行面积分析或者特征分析(例如，形状分析，或结合原图进行纹理分析)，并将符合作物特征的连通域进行标记。
此外，还需要说明的是，形状分析可以是进行椭圆分析，例如，棉花叶片是椭圆。纹理分析是通过连通域找到对应的原图区域，进行纹理分析，其中，纹理分析工具包括但不限于GaborFilter。分析方法包括但不限于比对作物植被纹理，例如，如果与小麦植被纹理相似度在置信区间内，则可判别为作物。
在一种可选的实施例中，图10示出了一种可选的杂草区域的识别方法的流程图，由图10可知，杂草识别系统首先从作物图像中提取作物所在区域，并将其转换为二值化图像，然后基于二值化图像确定种植行方向，并填补至边长为原图对角线长度的正方形，并根据种植行方向的角度对二值化图像进行旋转，使得种植行方向为垂直方向。然后，杂草识别系统在分别基于植被种植状态采用两种方式对旋转后的二值化图像进行处理，得到标签图。其中，在植被种植状态为种植行内连续密植状态和种植行内稀疏种植状态的情况下，得到标签图的方法已在上文中进行说明，在此不再赘述。
另外，由图10可知，在得到标签图之后，杂草识别系统将标签图与作物图像进行成对存储，从而得到数据集，然后，基于数据集对卷积神经网络进行训练，得到作物区域识别模型。具体的，杂草识别系统从数据集中获取第一训练数据和第一测试数据，并基于第一训练数据对卷积神经网络进行训练，得到预训练的作物区域识别模型，然后基于第一测试数据对预训练的作物区域识别模型进行测试，得到第一测试结果，最后基于第一测试结果对预训练的作物区域识别模型进行参数优化，得到目标作物区域识别模型。
需要说明的是，在存在“作物区域-农田航拍图”的数据集的情况下，杂草识别系统可通过训练卷积神经网络得到作物区域识别模型。其中，数据集的获取可以通过人工标注的方式得到，也可以通过上述方法获得。
进一步地，由图10可知，在得到作物区域识别模型之后，杂草识别系统基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型。具体的，杂草识别系统获取包含杂草的图集，并基于作物区域识别模型对图集进行识别处理，得到识别结果，然后基于识别结果对图集中的杂草区域进行标记，得到杂草数据集，最后基于杂草数据集对预设的神经网络模型进行训练，得到杂草识别模型。
需要说明的是，杂草识别系统还可基于作物区域识别模型对图集进行识别处理，确定图集中的作物区域，并基于预设筛选条件以及识别结果对图集中的杂草区域进行标记，得到杂草数据集，其中，预设筛选条件至少包括连通域面积筛选条件。
此外，还需要说明的是，除图10所示的通过作物区域识别模型来对杂草区域进行标记的方式，还可采用人工直接标记的方式得到杂草数据集。具体的，杂草识别系统首先获取包含杂草的图集，然后对图集中的杂草区域进行标记，得到杂草数据集，最后基于杂草数据集对预设的神经网络模型进行训练，得到杂草识别模型。
由图10可知，在得到杂草数据集之后，杂草识别系统可基于所述杂草数据集对预设的神经网络模型进行训练，得到所述杂草识别模型。具体的，杂草识别系统首先从杂草数据集中获取第二训练数据和第二测试数据，并基于第二训练数据对预设的神经网络模型进行训练，得到预训练的杂草识别模型，然后再基于第二测试数据对预训练的杂草识别模型进行测试，得到第二测试结果，最后基于第二测试结果对预训练的杂草识别模型进行参数优化，得到目标杂草识别模型。
进一步地，如图10所示，在得到杂草识别模型之后，用户可将待识别图像输入至杂草识别模型中，杂草识别模型即可对待识别图像进行识别处理，得到识别结果，其中，该识别结果可以包括杂草区域的位置信息、面积信息，还可以包括但不限于杂草种类等信息。
需要说明的是，对于机械化种植的农田，基于空中俯拍的农田图像，采用本申请所提供的方案，能够快速地显示或告知杂草的位置与面积，从而提高了杂草的识别效率。
实施例2
根据本发明实施例，还提供了一种杂草区域的识别方法的实施例，其中，图11是根据本发明实施例的杂草区域的识别方法流程图，如图11所示，该方法包括如下步骤：
步骤S1402，获取待识别区域的待识别图像。
在步骤S1402中，待识别区域为包含杂草和作物的区域。
在一种可选的实施例中，无人机可在农田上方的空中进行俯拍，得到待识别区域的待识别图像，然后，无人机实时将待识别图像传输至杂草识别系统，杂草识别系统在接收到无人机拍摄的待识别图像之后，可对待识别图像进行预处理，并将预处理后的待识别图像输入至杂草识别模型，以得到对待识别区域的识别结果。
步骤S1404，基于杂草识别模型对待识别图像进行识别，得到识别结果，其中，识别结果用于表征待识别区域中的杂草区域，杂草识别模型是基于作物区域识别模型得到的，作物区域识别模型用于识别待识别区域内的作物区域。
在步骤S1404中，在得到待识别图像之后，杂草识别系统可将待识别区域的待识别图像输入至杂草识别模型，杂草识别模型即可输出待识别图像中的杂草区域。在一种可选的实施例中，杂草识别模型还可输出杂草区域在待识别区域中的位置信息以及面积信息等。可选的，杂草识别系统具有显示设备，其可在待识别图像标记出杂草区域的位置信息以及面积信息。
在另一种可选的实施例中，杂草识别模型还可识别出杂草区域内所对应的杂草类型，此时，杂草识别系统可在显示设备中显示待识别图像中的杂草区域的位置信息、面积信息、杂草种类，并根据杂草区域的位置信息、面积信息以及杂草种类给出对应的除草策略，例如，除草工具、除草时间以及预计的除草时长等信息，以供用户参考。
基于上述步骤S1402至步骤S1404所限定的方案，可以获知，采用基于作物区域识别模型所确定的杂草识别模型来识别待识别图像中的杂草区域的方式，在得打待识别图像之后，基于杂草识别模型对所述待识别图像进行识别，得到识别结果。
容易注意到的是，杂草识别模型并不是通过人工标注数据的方式得到的，而是通过作物区域识别模型得到的，其中，作物区域识别模型是用于识别田间中的作物的识别模型。由于在田间作物的区域通常大于杂草区域，而从包含少量杂草区域的作物图像中易训练得到作物区域识别模型，进而可快速的得到杂草识别模型。与现有的通过人工标注杂草的方式相比，本申请能够快速的识别田间的杂草区域。
由此可见，本申请所提供的方案达到了基于杂草识别模型快速识别杂草的目的，从而实现了快速识别杂草区域的技术效果，进而解决了现有技术中直接人工标记杂草所导致的数据标注工作量大的技术问题。
需要说明的是，基于作物区域识别模型得到杂草识别模型的方法已在实施例1中进行说明，在此不再赘述。
实施例3
根据本发明实施例，还提供了一种除草方法的实施例，其中，该方法可通过上述实施例1中的杂草区域的识别方法识别杂草，得到杂草位置，该方法还包括如下步骤：
步骤S1602，获取待除草区域的区域图像。
可选的，除草系统可以包括除草控制设备以及除草设备，其中，除草控制设备用于控制除草设备进行除草作业。另外，除草控制设备可作为本实施例所提供的方法的执行主体。
在一种可选的实施例中，无人机可采集待除草区域的区域图像，并将采集到的区域图像传送至除草控制设备，从而除草控制设备可得到上述区域图像，其中，在该场景中，无人机与除草控制设备为两种不同的设备。在另一种可选的实施例中，除草控制设备可以为无人机，在该场景中，无人机可直接获取待除草区域的区域图像，并执行步骤S1604和步骤S1606，即无人机可在区域图像中对杂草位置进行标记，得到标记位置，并控制除草设备按照标记位置执行除草操作。
步骤S1604，在区域图像中对杂草位置进行标记，得到标记位置。
需要说明的是，在步骤S1604中，杂草位置可通过实施例1所提供的方法得到。在得到了待除草区域内的杂草位置之后，除草控制设备在区域图像中标出杂草的位置，得到标记位置。可选的，可以使用与待除草区域的背景颜色相差较大的颜色来进行标记。
步骤S1606，控制除草设备按照标记位置执行除草操作，其中，除草操作包括如下至少之一：喷除草剂、拔除作业。
在一种可选的实施例中，在除草控制设备得到区域图像中杂草的标记位置之后，除草控制设备将该标记位置发送至除草设备，除草设备将区域图像中的标记位置转换为待除草区域中所对应的现实世界中的物理位置，并在物理位置处进行除草操作。
在另一种可选的实施例中，在除草控制设备得到区域图像中杂草的标记位置之后，除草控制设备将该标记位置发送至除草设备，除草设备将区域图像中的标记位置转换为待除草区域中所对应的现实世界中的物理位置，并根据物理位置来确定待除草区域中的杂草区域，然后在杂草区域内进行除草操作。
还存在一种可选的实施例，在除草控制设备得到区域图像中杂草的标记位置之后，除草控制设备将区域图像中的标记位置转换为待除草区域中所对应的现实世界中的物理位置，并将该物理位置发送至除草设备。除草设备在得到物理位置之后，根据物理位置来确定待除草区域中的杂草区域，然后在杂草区域内进行除草操作。
由上述内容可知，本实施例所提供的除草方法可实现自动对杂草区域的识别，并对杂草区域进行自动除草，与现有技术相比，本实施例所提供的除草方法实现了自动除草，节省了人力物力，提高了除草效率。
实施例4
根据本发明实施例，还提供了一种除草路径规划方法的实施例，其中，该方法可通过上述实施例1中的杂草区域的识别方法识别杂草，得到杂草位置，该方法还包括如下步骤：
步骤S1702，获取待除草区域的区域图像。
可选的，除草系统可以包括除草控制设备以及除草设备，其中，除草控制设备用于控制除草设备进行除草作业。另外，除草控制设备可作为本实施例所提供的方法的执行主体。
在一种可选的实施例中，无人机可采集待除草区域的区域图像，并将采集到的区域图像传送至除草控制设备，从而除草控制设备可得到上述区域图像，其中，在该场景中，无人机与除草控制设备为两种不同的设备。在另一种可选的实施例中，除草控制设备可以为无人机，在该场景中，无人机可直接获取待除草区域的区域图像，并执行步骤S1704，即无人机可根据杂草位置以及区域图像生成进行除草作业的作业路径，以使除草设备按早作业路径进行除草作业。
步骤S1704，根据杂草位置以及区域图像生成进行除草作业的作业路径。
需要说明的是，在步骤S1704中，杂草位置可通过实施例1所提供的方法得到。在得到了待除草区域内的杂草位置之后，除草控制设备在区域图像中标出杂草的位置，得到标记位置，并将得到至少一个标记位置进行连接，得到多个候选作业路径，然后从多个候选作业路径中选出最优的候选作业路径，作为除草设备进行除草作业的作业路径。可选的，上述最优的候选作业路径可以为但不限于除草设备完成除草作业的时长最短的路径，以及除草设备完成除草作业所移动的距离最短的路径。
由上述内容可知，本实施例所提供的除草路径规划方法可得到最优的除草的作业路径，除草设备按照该作业路径进行除草作业可以有效的提高除草效率。
实施例5
根据本发明实施例，还提供了一种产量预估方法的实施例，其中，该方法可通过上述实施例1中的杂草区域的识别方法识别杂草，得到杂草位置，该方法还包括如下步骤：
步骤S1802，确定待预估区域内无杂草时的目标产量。
需要说明的是，通过步骤S1802所得到的目标产量为待预估区域内全部种植作物，没有杂草时的理想情况下的作物的产量。
步骤S1804，根据杂草位置确定杂草面积与待预估区域的区域面积的比值。
需要说明的是，在步骤S1804中，杂草位置可通过实施例1所提供的方法得到。在确定了待预估区域内的杂草位置之后，可根据杂草位置来确定待预估区域内杂草面积，而待预估区域的区域面积可以通过无人机拍摄的方式来获取。
步骤S1806，根据比值确定杂草所造成的减产产量。
需要说明的是，上述比值越大，说明杂草所造成的减产产量越大，其中，减产产量可以通过如下公式确定：
Q1＝λQ0
在上式中，Q1为减产产量，λ为杂草面积与待预估区域的区域面积的比值，Q0为待预估区域内无杂草时的目标产量。
步骤S1808，根据目标产量以及减产产量确定待预估区域内作物的预估产量。
可选的，步骤S1808可以满足下式：
Q＝Q0-Q1
在上式中，Q为预估产量，Q1为减产产量，Q0为待预估区域内无杂草时的目标产量。
需要说明的是，由上述内容可知，本实施例所提供的产量预估方法可准确的预估种植区域内作物的产量，从而使得作物管理人员根据预估产量以及作物的类型等信息来确定最优的种植策略，最大化的提高作物的产量，同时也提高了土地的利用率。
实施例6
根据本发明实施例，还提供了一种杂草区域的识别装置的实施例，其中，图12是根据本发明实施例的杂草区域的识别装置示意图，如图12所示，该装置包括：获取模块1501、训练模块1503、确定模块1505以及识别模块1507。
其中，获取模块1501，用于获取多张作物图像，并对多张作物图像进行处理，得到数据集；训练模块1503，用于基于数据集对神经网络模型进行训练，得到作物区域识别模型；确定模块1505，用于基于作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；识别模块1507，用于基于杂草识别模型对待识别区域的待识别图像进行识别，得到待识别区域中的杂草区域。
此处需要说明的是，上述获取模块1501、训练模块1503、确定模块1505以及识别模块1507对应于上述实施例的步骤S102至步骤S108，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。
实施例7
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1或实施例2中的杂草区域的识别方法。
实施例8
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述实施例1或实施例2中的杂草区域的识别方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种杂草区域的识别方法，其特征在于，包括：
获取多张作物图像，并对所述多张作物图像进行处理，得到数据集；
基于所述数据集对神经网络模型进行训练，得到作物区域识别模型，所述作物区域识别模型用于识别作物区域，所述作物区域是不包含杂草的区域；
基于所述作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；
基于所述杂草识别模型对待识别区域的待识别图像进行识别，得到所述待识别区域中的杂草区域；
其中，对所述多张作物图像进行处理，得到所述数据集，包括：
对所述多张作物图像进行处理，得到作物区域所对应的标签图；
确定所述多张作物图像以及所述标签图的对应关系，基于所述对应关系获取所述数据集；
其中，对所述多张作物图像进行处理，得到作物区域所对应的标签图，包括：
对所述多张作物图像进行二值化处理，得到二值化图像；
将所述二值化图像转换为种植行方向为垂直方向的第一图像；
检测所述第一图像中的植被种植状态，其中，所述植被种植状态至少包括：
种植行内连续密植状态和种植行内稀疏种植状态；
根据所述植被状态对所述第一图像进行反转处理，得到所述标签图。
2.根据权利要求1所述的方法，其特征在于，对所述多张作物图像进行二值化处理，得到二值化图像，包括：
获取所述多张作物图像的多个预设颜色通道的颜色值；
基于所述多个预设颜色通道的颜色值得到所述多张作物图像中每个像素点所对应的颜色指数；
基于所述颜色指数以及预设的颜色阈值对所述多张作物图像进行二值化处理，得到所述二值化图像。
3.根据权利要求1所述的方法，其特征在于，将所述二值化图像转换为种植行方向为垂直方向的第一图像，包括：
基于霍夫检测直线算法确定所述二值化图像中的作物的种植行方向；
对所述二值化图像扩充处理，得到预设形状的第二图像，其中，所述第二图像中的扩充区域所对应的像素值为零值；
基于所述种植行方向对所述第二图像进行旋转处理，得到所述种植行方向为垂直方向的第一图像。
4.根据权利要求1所述的方法，其特征在于，根据所述植被种植状态对所述第一图像进行反转处理，得到所述标签图，包括：
在所述植被种植状态为所述种植行内连续密植状态的情况下，在所述垂直方向对所述第一图像中的非零像素的个数进行累加处理，得到第一累加曲线；
对所述第一累加曲线进行平滑处理，得到第一平滑曲线；
确定所述第一平滑曲线所对应的特征信息，其中，所述特征信息至少包括：波峰顶点信息以及种植行的宽度；
基于所述特征信息对所述第一图像中的种植行进行逐行覆盖操作，得到第三图像；
对所述第三图像进行反转操作，得到所述标签图。
5.根据权利要求1所述的方法，其特征在于，根据所述植被种植状态对所述第一图像进行反转处理，得到所述标签图，包括：
在所述植被种植状态为所述种植行内稀疏种植状态的情况下，在所述垂直方向对所述第一图像中的零像素的个数进行累加处理，得到第二累加曲线；
对所述第二累加曲线进行平滑处理，得到第二平滑曲线；
确定所述第二平滑曲线的波峰顶点信息；
基于所述波峰顶点信息对所述第一图像中的种植行进行分割处理，得到种植行区域；
对所述种植行区域逐行进行连通域处理，得到第四图像；
对所述第四图像进行反转操作，得到所述标签图。
6.根据权利要求5所述的方法，其特征在于，对所述种植行区域逐行进行连通域处理，得到第四图像，包括：
对所述种植行区域进行筛选，得到作物连通域；
对所述作物连通域进行分析处理，得到分析结果，其中，所述分析处理至少包括如下之一：面积分析、特征分析、形状分析、纹理分析；
根据所述分析结果对所述作物连通域进行标记，得到所述第四图像。
7.根据权利要求1所述的方法，其特征在于，基于所述数据集对神经网络模型进行训练，得到作物区域识别模型，包括：
基于所述数据集对卷积神经网络进行训练，得到所述作物区域识别模型。
8.根据权利要求7所述的方法，其特征在于，基于所述数据集对卷积神经网络进行训练，得到所述作物区域识别模型，包括：
从所述数据集中获取第一训练数据和第一测试数据；
基于所述第一训练数据对所述卷积神经网络进行训练，得到预训练的作物区域识别模型；
基于所述第一测试数据对所述预训练的作物区域识别模型进行测试，得到第一测试结果；
基于所述第一测试结果对所述预训练的作物区域识别模型进行参数优化，得到目标作物区域识别模型。
9.根据权利要求1所述的方法，其特征在于，基于所述作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型，包括：
获取包含杂草的图集；
基于所述作物区域识别模型对所述图集进行识别处理，得到识别结果；
基于所述识别结果对所述图集中的杂草区域进行标记，得到杂草数据集；
基于所述杂草数据集对预设的神经网络模型进行训练，得到所述杂草识别模型。
10.根据权利要求9所述的方法，其特征在于，
基于所述图集对所述作物区域识别模型进行识别处理，得到识别结果，包括：
基于所述图集对所述作物区域识别模型进行识别处理，确定所述图集中的作物区域；
基于所述识别结果对所述图集中的杂草区域进行标记，得到杂草数据集，包括：基于预设筛选条件以及所述识别结果对所述图集中的杂草区域进行标记，得到所述杂草数据集，其中，所述预设筛选条件至少包括连通域面积筛选条件。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取包含杂草的图集；
对所述图集中的杂草区域进行标记，得到杂草数据集；
基于所述杂草数据集对预设的神经网络模型进行训练，得到所述杂草识别模型。
12.根据权利要求9或11中任意一项所述的方法，其特征在于，基于所述杂草数据集对预设的神经网络模型进行训练，得到所述杂草识别模型，包括：
从所述杂草数据集中获取第二训练数据和第二测试数据；
基于所述第二训练数据对所述预设的神经网络模型进行训练，得到预训练的杂草识别模型；
基于所述第二测试数据对所述预训练的杂草识别模型进行测试，得到第二测试结果；
基于所述第二测试结果对所述预训练的杂草识别模型进行参数优化，得到目标杂草识别模型。
13.一种杂草区域的识别方法，其特征在于，包括：
获取待识别区域的待识别图像；
基于杂草识别模型对所述待识别图像进行识别，得到识别结果，其中，所述识别结果用于表征所述待识别区域中的杂草区域，所述杂草识别模型是基于作物区域识别模型得到的，所述作物区域识别模型用于识别所述待识别区域内的作物区域，所述作物区域是不包含杂草的区域；
所述方法还包括：
获取多张作物图像，并对所述多张作物图像进行处理，得到数据集；
基于所述数据集对神经网络模型进行训练，得到作物区域识别模型；
其中，对所述多张作物图像进行处理，得到所述数据集，包括：
对所述多张作物图像进行处理，得到作物区域所对应的标签图；
确定所述多张作物图像以及所述标签图的对应关系，基于所述对应关系获取所述数据集；
其中，对所述多张作物图像进行处理，得到作物区域所对应的标签图，包括：
对所述多张作物图像进行二值化处理，得到二值化图像；
将所述二值化图像转换为种植行方向为垂直方向的第一图像；
检测所述第一图像中的植被种植状态，其中，所述植被状态至少包括：种植行内连续密植状态和种植行内稀疏种植状态；
根据所述植被状态对所述第一图像进行反转处理，得到所述标签图。
14.一种除草方法，其特征在于，通过权利要求1至12中任意一项所述的方法识别杂草，得到杂草位置，所述方法还包括：
获取待除草区域的区域图像；
在所述区域图像中对所述杂草位置进行标记，得到标记位置；
控制除草设备按照所述标记位置执行除草操作，其中，所述除草操作包括如下至少之一：喷除草剂、拔除作业。
15.一种除草路径规划方法，其特征在于，通过权利要求1至12中任意一项所述的方法识别杂草，得到杂草位置，所述方法还包括：
获取待除草区域的区域图像；
根据所述杂草位置以及所述区域图像生成进行除草作业的作业路径。
16.一种产量预估方法，其特征在于，通过权利要求1至12中任意一项所述的方法识别杂草，得到杂草位置，包括：
确定待预估区域内无杂草时的目标产量；
根据所述杂草位置确定杂草面积与所述待预估区域的区域面积的比值；
根据所述比值确定杂草所造成的减产产量；
根据所述目标产量以及所述减产产量确定所述待预估区域内作物的预估产量。
17.一种杂草区域的识别装置，其特征在于，包括：
获取模块，用于获取多张作物图像，并对所述多张作物图像进行处理，得到数据集；
训练模块，用于基于所述数据集对神经网络模型进行训练，得到作物区域识别模型，所述作物区域识别模型用于识别作物区域，所述作物区域是不包含杂草的区域；
确定模块，用于基于所述作物区域识别模型对包含杂草的图集进行识别的识别结果确定杂草识别模型；
识别模块，用于基于所述杂草识别模型对待识别区域的待识别图像进行识别，得到所述待识别区域中的杂草区域
所述装置还用于：
对所述多张作物图像进行处理，得到作物区域所对应的标签图；
确定所述多张作物图像以及所述标签图的对应关系，基于所述对应关系获取所述数据集；
对所述多张作物图像进行二值化处理，得到二值化图像；
将所述二值化图像转换为种植行方向为垂直方向的第一图像；
检测所述第一图像中的植被种植状态，其中，所述植被状态至少包括：种植行内连续密植状态和种植行内稀疏种植状态；
根据所述植被状态对所述第一图像进行反转处理，得到所述标签图。
18.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至13中任意一项所述的杂草区域的识别方法。
19.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至13中任意一项所述的杂草区域的识别方法。
CN202010537565.9A 2020-06-12 2020-06-12 杂草区域的识别方法和装置 Active CN112541383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537565.9A CN112541383B (zh) 2020-06-12 2020-06-12 杂草区域的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537565.9A CN112541383B (zh) 2020-06-12 2020-06-12 杂草区域的识别方法和装置

Publications (2)

Publication Number Publication Date
CN112541383A CN112541383A (zh) 2021-03-23
CN112541383B true CN112541383B (zh) 2021-12-28

Family

ID=75013326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537565.9A Active CN112541383B (zh) 2020-06-12 2020-06-12 杂草区域的识别方法和装置

Country Status (1)

Country Link
CN (1) CN112541383B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023003818A1 (en) * 2021-07-19 2023-01-26 Sprayer Mods, Inc. Herbicide spot sprayer
CN114818909B (zh) * 2022-04-22 2023-09-15 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750584A (zh) * 2012-04-18 2012-10-24 中国农业大学 玉米粒在穗计数方法
CN107220647A (zh) * 2017-06-05 2017-09-29 中国农业大学 一种叶片交叉条件下作物中心点定位方法及系统
CN109886094A (zh) * 2019-01-08 2019-06-14 中国农业大学 一种作物苗情苗势采集分析方法和装置
CN110135341A (zh) * 2019-05-15 2019-08-16 河北科技大学 杂草识别方法、装置及终端设备
CN110457989A (zh) * 2019-06-19 2019-11-15 华南农业大学 基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法
CN110826556A (zh) * 2019-10-15 2020-02-21 遂昌濠畅电子科技有限公司 改进深度学习的广谱农作物杂草识别与定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3244343A1 (en) * 2016-05-12 2017-11-15 Bayer Cropscience AG Recognition of weed in a natural environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750584A (zh) * 2012-04-18 2012-10-24 中国农业大学 玉米粒在穗计数方法
CN107220647A (zh) * 2017-06-05 2017-09-29 中国农业大学 一种叶片交叉条件下作物中心点定位方法及系统
CN109886094A (zh) * 2019-01-08 2019-06-14 中国农业大学 一种作物苗情苗势采集分析方法和装置
CN110135341A (zh) * 2019-05-15 2019-08-16 河北科技大学 杂草识别方法、装置及终端设备
CN110457989A (zh) * 2019-06-19 2019-11-15 华南农业大学 基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法
CN110826556A (zh) * 2019-10-15 2020-02-21 遂昌濠畅电子科技有限公司 改进深度学习的广谱农作物杂草识别与定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Edge Link Detector Based Weed Classifier;Muhammad 等;《2009 International Conference on Digital Image Processing》;20090804;第255-259页 *
基于无人机遥感影像的育种玉米垄数统计监测;苏伟 等;《农业工程学报》;20180531;第34卷(第10期);第92-98页 *

Also Published As

Publication number Publication date
CN112541383A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
Luo et al. A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard
Hamuda et al. Automatic crop detection under field conditions using the HSV colour space and morphological operations
JP7307743B2 (ja) 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法
Liu et al. A computer vision system for early stage grape yield estimation based on shoot detection
Burgos-Artizzu et al. Real-time image processing for crop/weed discrimination in maize fields
Shirzadifar Automatic weed detection system and smart herbicide sprayer robot for corn fields
CN108710840B (zh) 一种农田喷药机器人视觉导航路径识别方法
Lavania et al. Novel method for weed classification in maize field using Otsu and PCA implementation
CN112541383B (zh) 杂草区域的识别方法和装置
Majeed et al. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards
CN111950391A (zh) 果树芽体的识别方法及装置
Ji et al. In-field automatic detection of maize tassels using computer vision
CN112734083A (zh) 一种基于机器视觉的水稻收割机路径规划控制系统
Arun et al. Reduced U-Net architecture for classifying crop and weed using pixel-wise segmentation
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN104573701A (zh) 一种玉米雄穗性状的自动检测方法
CN110689022A (zh) 基于叶片匹配的各株作物图像提取方法
Liu et al. Development of a proximal machine vision system for off-season weed mapping in broadacre no-tillage fallows
CN115953690B (zh) 用于无人收割机行进校准的倒伏作物识别方法
Li et al. Image processing for crop/weed discrimination in fields with high weed pressure
Ashok Kumar et al. A review on crop and weed segmentation based on digital images
Bulanon et al. Machine vision system for orchard management
Bini et al. Intelligent agrobots for crop yield estimation using computer vision
CN113807143A (zh) 作物连通域的识别方法、装置及作业系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Jifei Technology Co.,Ltd.

Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Identification method and device of weed area

Effective date of registration: 20220718

Granted publication date: 20211228

Pledgee: China Co. truction Bank Corp Guangzhou branch

Pledgor: Guangzhou Jifei Technology Co.,Ltd.

Registration number: Y2022980010599

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230928

Granted publication date: 20211228

Pledgee: China Co. truction Bank Corp Guangzhou branch

Pledgor: Guangzhou Jifei Technology Co.,Ltd.

Registration number: Y2022980010599

PC01 Cancellation of the registration of the contract for pledge of patent right