CN113807143A - 作物连通域的识别方法、装置及作业系统 - Google Patents
作物连通域的识别方法、装置及作业系统 Download PDFInfo
- Publication number
- CN113807143A CN113807143A CN202010541204.1A CN202010541204A CN113807143A CN 113807143 A CN113807143 A CN 113807143A CN 202010541204 A CN202010541204 A CN 202010541204A CN 113807143 A CN113807143 A CN 113807143A
- Authority
- CN
- China
- Prior art keywords
- crop
- connected domain
- neural network
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003062 neural network model Methods 0.000 claims abstract description 117
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000002372 labelling Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 27
- 238000012216 screening Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000003306 harvesting Methods 0.000 claims description 6
- 238000009331 sowing Methods 0.000 claims description 6
- 238000005507 spraying Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
本发明公开了一种作物连通域的识别方法、装置及作业系统。其中，该方法包括：获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。本发明解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的的技术问题。
Description
技术领域
本发明涉及作物识别领域，具体而言，涉及一种作物连通域的识别方法、装置及作业系统。
背景技术
随着计算机技术的发展，农田也采用了自动化设备，例如，使用田间机器人巡查的方式来确定农田中的作物区域；又例如，使用无人机巡视，通过无人机观察拍到的照片来确定农田中的作物区域，然而，现有的通过图像分析来确定作物区域的方式，需要人工干预的环节较多，鲁棒性差。另外，现有技术还可通过神经网络模型对农田图像进行识别处理来确定作物区域，但现有技术通常是通过人工标注数据的方式来训练神经网络模型，而且，现有的神经网络模型严重依赖于标注数据的质量与数量。如果需要获得高鲁棒性、精度高的神经网络模型，则需要大量的标注数据，增加了数据标注的工作量。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种作物连通域的识别方法、装置及作业系统，以至少解决现有技术中直接人工标记作物所导致的数据标注工作量较大的的技术问题。
根据本发明实施例的一个方面，提供了一种作物连通域的识别方法，包括：获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
可选地，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，包括：从样本图像中提取多个植被连通域；从植被连通域中筛选出作物连通域，并保留作物连通域和删除多个植被连通域中的非作物连通域，以得到包含作物连通域的图像；对包含作物连通域的图像进行二值化处理，得到第一二值化图像。
可选地，样本数据集中的二值化图像通过以下方式对样本图像进行标注：确定二值化图像中与作物连通域对应的图形元素，基于图形元素和图形元素在二值化图像中的位置对样本图像中的作物连通域进行标注，其中，图形元素包括：与作物连通域对应的白色像素区域或黑色像素区域。
可选地，从样本图像中提取多个植被连通域，包括：确定样本图像中各个像素点的超绿指数；对于每个像素点，比较超绿指数和预设阈值的大小；依据比较结果确定像素点是否为植被区域中的像素点；统计属于植被区域中的像素点，并基于统计结果确定样本图像中的植被连通域。
可选地，从植被连通域中筛选出作物连通域，包括：比较植被连通域的面积与预设的作物连通域面积范围，若植被连通域的面积在预设的作物苗连通域面积范围之内，则确定植被连通域为作物苗连通域。
可选的，基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，包括：将数据集中的数据划分为训练数据和测试数据；基于训练数据对神经网络模型进行训练，得到预训练的神经网络模型；基于测试数据对预训练的神经网络模型模型进行测试，得到测试结果；基于测试结果对预训练的神经网络模型进行参数优化，得到训练后的神经网络模型。
可选地，所述神经网络模型包括语义分割神经网络模型；基于所述训练数据对所述神经网络模型进行训练，得到预训练的神经网络模型，包括：基于训练数据训练语义分割神经网络模型，其中，语义分割神经网络模型包括编码器网络和解码器网络；采用训练数据训练编码器网络，以生成用于辨别作物连通域的可辨别特征；采用解码器网络基于可辨别特征将作物连通域的可辨别特征映射至像素空间，从而得到预训练的神经网络模型。
可选地，基于所述测试数据对所述预训练的神经网络模型模型进行测试，进一步包括：将测试数据输入至预训练的神经网络模型，直到测试数据的交并比的准确度满足预设条件。
根据本发明实施例的另一方面，还提供了另一种作物连通域的识别方法，包括：获取目标图像；将目标图像输入至神经网络模型进行分析，识别出目标图像中的作物连通域，其中，神经网络模型是通过多组数据训练得到的，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于识别出的作物连通域控制无人作业设备进行作业。
根据本发明实施例的另一方面，还提供了一种作物连通域的识别装置，包括：获取模块，用于获取目标区域的至少一个样本图像；确定模块，用于确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立模块，用于建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；训练模块，用于基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
根据本发明实施例的另一方面，还提供了一种作业系统，包括：服务器，用于获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域；无人作业设备，用于获取目标图像；将目标图像发送至服务器，以利用神经网络模型对目标图像进行分析；接收服务器对目标图像的分析结果，得到目标图像中的作物连通域；基于接收的分析结果控制无人作业设备进行作业。
根据本发明实施例的另一方面，还提供了一种补种方法，包括：采用任意一种作物连通域的识别方法确定缺苗区域；根据缺苗区域生成农机作业的推荐路径。
根据本发明实施例的另一方面，还提供了一种作业路线规划方法，包括：采用任意一种作物连通域的识别方法确定缺苗区域；根据缺苗区域确定作业路线。
根据本发明实施例的另一方面，还提供了一种作业方法，包括：作业设备执行任意一种作物连通域的识别方法确定缺苗区域，其中，作业设备包括以下至少之一：喷洒设备、播撒设备和采收设备；作业设备对标记缺苗区域进行标记，以确定缺苗位置；当作业设备位于缺苗位置时，则控制作业设备停止在缺苗位置进行作业。
根据本发明实施例的另一方面，还提供了一种产量测算方法，包括：采用任意一种作物连通域的识别方法确定缺苗区域；根据缺苗区域确定非缺苗区域的面积；通过非缺苗区域的单位面积产量与非缺苗区域的总面积的乘积确定作物区域总产量。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种作物连通域的识别方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种作物连通域的识别方法。
在本发明实施例中，采用神经网络模型识别的方式，通过基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，达到了利用训练后的神经网络模型识别目标图像中的作物连通域的目的，从而实现了快速识别作物连通域的技术效果，进而解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1(a)是根据本发明实施例的一种作物连通域的识别方法的流程示意图；
图1(b)是本发明实施例的一种可选的二值化图像；
图1(c)是本发明实施例一种可选的作物连通域的识别方法的流程图；
图2是根据本发明实施例的另一种作物连通域的识别方法的流程示意图；
图3是根据本发明实施例一种作物连通域的识别装置的结构示意图；
图4是根据本发明实施例的一种作业系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解上述实施例，以下将本申请实施例中涉及的技术术语的含义解释如下：
交并比：目标检测中使用的一个概念，是产生的候选框与原标记框的交叠率，即两者交集与并集的比值。
根据本发明实施例，提供了一种作物连通域的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1(a)是根据本发明实施例的作物连通域的识别方法的流程示意图，如图1(a)所示，该方法包括如下步骤：
步骤S102，获取目标区域的至少一个样本图像；
步骤S104，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；
步骤S106，建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；
步骤S108，基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
上述作物连通域的识别方法中，首先，获取目标区域的至少一个样本图像，其次，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，然后建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像，最后基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域，达到了利用训练后的神经网络模型识别目标图像中的作物连通域的目的，从而实现了快速识别作物连通域的技术效果，进而解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的技术问题。
本申请一些可选的实施例中，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，包括：从样本图像中提取多个植被连通域；从植被连通域中筛选出作物连通域，并保留作物连通域和删除多个植被连通域中的非作物连通域，以得到包含作物连通域的图像；对包含作物连通域的图像进行二值化处理，得到第一二值化图像。其中，从筛选作物连通域的方法，包括但不限于人为设定阈值法、形状筛选法、纹理筛选法。
需要说明的是，第一二值化图像为图像的亮度只有两个状态：黑(像素值为0)或者白(像素值为255)，其中，作物连通域指的是作物苗像素点邻接关系构成连通。具体地，在视觉上，彼此连通的点形成了一个区域，而不连通的点形成了不同的区域，这样的一个所有的点彼此连通点构成的集合，称为连通区域，简称连通域。
本申请一些实施例中，样本数据集中的二值化图像通过以下方式对样本图像进行标注：确定二值化图像中与作物连通域对应的图形元素，基于图形元素和图形元素在二值化图像中的位置对样本图像中的作物连通域进行标注，其中，图形元素包括：与作物连通域对应的白色像素区域或黑色像素区域。容易注意到的是，对作物连通域标记是二值化图像分析的基础，当进行标记时，可以通过对二值化图像中白色像素区域(作物苗)的标记，让每个单独的连通域形成一个被标识的块，具体地，如图1(b)所示，其中，白色像素区域为对作物苗连通域进行的标记，所有被标记的作物苗的单独的连通域形成了一个被标识的块(即图1(b)所示出的白色条状块)，黑色区域则是非作物苗区域，即是背景图，也可以停放在田边的车辆或树木等。
需要说明的是，采用深度学习算法对样本图像进行标记进而生成作物连通域标签，其中标签可以是不规则图形连通域、高斯圆、矩形框集合，也可以是多边形等符合网络的输入的形状。
本申请一些实施例中，从样本图像中提取多个植被连通域，可以确定样本图像中各个像素点的超绿指数；然后对于每个像素点，比较超绿指数和预设阈值的大小，依据比较结果确定像素点是否为植被区域中的像素点；最后，统计属于植被区域中的像素点，并基于统计结果确定样本图像中的植被连通域。
其中，确定样本图像中各个像素点的超绿指数可以通过以下方式确定：可以获取样本图像中各个预设颜色通道的颜色值，然后，基于多个预设颜色通道的颜色值得到样本图像中每个像素点所对应的超绿指数，其中，预设颜色通道的颜色值可以为红绿蓝三个颜色通道。
其中，超绿指数满足以下公式：
ExG＝2*Green-Red-Blue
在上式中，Red、Green、Blue分别为红绿蓝三通道的像素值。
需要说明的是，上述公式在实际使用时，需要进行归一化等数学处理。另外，在得到超绿指数之后，通过超绿指数ExG(即颜色阈值)从样本图像分离出植被区域，其中，样本图像中的超绿指数大于预设阈值的位置设置为非零值，样本图像中的超绿指数小于预设的颜色阈值的位置设置为零。其中，上述预设的颜色阈值可以人为设定，也可以通过Ostu法(即大律法)获得。
本申请一些可选的实施例中，从植被连通域中筛选出作物连通域，包括：比较植被连通域的面积与预设的作物连通域面积范围，若植被连通域的面积在预设的作物苗连通域面积范围之内，则确定植被连通域为作物苗连通域，具体地，可以通过统计所有的连通域面积，通过众数、密集区间等方法确定预设的作物连通域面积范围，在面积范围内的植被连通域留下，例如，植被连通域面积区间为[20，50](单位/㎡)，则符合这个面积区间的植被连通域被留下，例如，植被连通域面积的大小众数为30㎡，则可以将面积为30平方米的连通域留下。
本申请一些实施例中，基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，包括：将数据集中的数据划分为训练数据和测试数据；基于训练数据对神经网络模型进行训练，得到预训练的神经网络模型；基于测试数据对预训练的神经网络模型模型进行测试，得到测试结果；基于测试结果对预训练的神经网络模型进行参数优化，得到训练后的神经网络模型。
本申请一些可选的实例中，所述神经网络模型包括语义分割神经网络模型；基于所述训练数据对所述神经网络模型进行训练，得到预训练的神经网络模型，具体地，基于训练数据训练语义分割神经网络模型，其中，语义分割神经网络模型包括编码器网络和解码器网络；采用训练数据训练编码器网格，以生成用于辨别作物连通域的可辨别特征；采用解码器网络基于可辨别特征将作物连通域的可辨别特征映射至像素空间，从而得到预训练的神经网络模型。
进一步地，基于所述测试数据对所述预训练的神经网络模型模型进行测试，可以将测试数据输入至预训练的神经网络模型，直到测试数据的交并比的准确度满足预设条件。
本申请的一些实施例中，图1(c)示出了一种可选的作物连通域的识别方法的流程图，由图1(c)可知，该识别方法中，首先，俯拍农田的大量照片，形成农田照片集，利用算法提取照片中植被所在区域，并对所有植被连通域进行筛选，留下作物的连通域，生成作物的二值化图，进而生成作物标签，或者直接通过人工标注的方法，生成作物标签，得到农田照片与生成作物标签成对存储的训练数据集、测试数据集、验证数据集；其次，通过深度网络对训练数据集进行训练，得到深度学习模型，验证集用于调超参数，选出效果最优模型所对应的参数，测试集用来衡量最优的性能；最终得到目标模型。
图2是根据本发明实施例的另一种作物连通域的识别方法的流程示意图，如图2所示，该方法包括如下步骤：
S202，获取目标图像；
S204，将目标图像输入至神经网络模型进行分析，识别出目标图像中的作物连通域，其中，神经网络模型是通过多组数据训练得到的，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；
S206，基于识别出的作物连通域控制无人作业设备进行作业。
上述作物连通域的识别方法中，首先，获取目标图像；其次，将目标图像输入至神经网络模型进行分析，识别出目标图像中的作物连通域，其中，神经网络模型是通过多组数据训练得到的，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；最后，基于识别出的作物连通域控制无人作业设备进行作业，达到了利用训练后的神经网络模型识别目标图像中的作物连通域的目的，从而实现了基于识别出的作物连通域控制无人作业设备进行作业的技术效果，进而解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的技术问题。
本申请一些可选的实施例中，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，包括：从样本图像中提取多个植被连通域；从植被连通域中筛选出作物连通域，并保留作物连通域和删除多个植被连通域中的非作物连通域，以得到包含作物连通域的图像；对包含作物连通域的图像进行二值化处理，得到第一二值化图像。其中，从筛选作物连通域的方法，包括但不限于人为设定阈值法、形状筛选法、纹理筛选法。
图3是根据本发明实施例的作物连通域的识别装置的结构示意图，如图3所示，该装置包括：
获取模块30，用于获取目标区域的至少一个样本图像；
确定模块32，用于确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；
建立模块34，用于建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；
训练模块36，用于基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
上述作物连通域的识别装置中，获取模块30，用于获取目标区域的至少一个样本图像；确定模块32，用于确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立模块34，用于建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；训练模块36，用于基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域，达到了利用训练后的神经网络模型识别目标图像中的作物连通域的目的，从而实现了快速识别作物连通域的技术效果，进而解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的技术问题。
本申请一些可选的实施例中，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，包括：从样本图像中提取多个植被连通域；从植被连通域中筛选出作物连通域，并保留作物连通域和删除多个植被连通域中的非作物连通域，以得到包含作物连通域的图像；对包含作物连通域的图像进行二值化处理，得到第一二值化图像。其中，从筛选作物连通域的方法，包括但不限于人为设定阈值法、形状筛选法、纹理筛选法。
图4是根据本发明实施例的作业系统的结构示意图，如图4所示，该系统包括：
服务器40，用于获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域；
无人作业设备42，用于获取目标图像；将目标图像发送至服务器，以利用神经网络模型对目标图像进行分析；接收服务器对目标图像的分析结果，得到目标图像中的作物连通域；基于接收的分析结果控制无人作业设备进行作业。
上述系统中，服务器用于获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域；无人作业设备用于获取目标图像；将目标图像发送至服务器，以利用神经网络模型对目标图像进行分析；接收服务器对目标图像的分析结果，得到目标图像中的作物连通域；基于接收的分析结果控制无人作业设备进行作业，达到了利用训练后的神经网络模型识别目标图像中的作物连通域的目的，从而实现了基于识别出的作物连通域控制无人作业设备进行作业的技术效果，进而解决了现有技术中直接人工标记作物所导致的数据标注工作量较大的技术问题。
本申请一些可选的实施例中，确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像，包括：从样本图像中提取多个植被连通域；从植被连通域中筛选出作物连通域，并保留作物连通域和删除多个植被连通域中的非作物连通域，以得到包含作物连通域的图像；对包含作物连通域的图像进行二值化处理，得到第一二值化图像。其中，从筛选作物连通域的方法，包括但不限于人为设定阈值法、形状筛选法、纹理筛选法。
在作物的耕种过程中，由于农机故障等人为因素，一般都会导致某些区域内存在缺失作物苗的现象，因此，根据本发明实施例的另一方面，还提供了一种补种方法，具体地，可以采用任意一种作物连通域的识别方法确定缺苗区域；然后，根据缺苗区域生成农机作业的推荐路径，对缺苗区域进行补种，例如，当农机作业时，可以依据作物连通域的识别方法确定出缺苗区域，然后农机就可以直接这些若干个缺苗区域，进行补种作业，而不必对整个作物区域进行一一排查再进行补种。
根据本发明实施例的另一方面，还提供了一种作业路线规划方法，包括：采用任意一种作物连通域的识别方法确定缺苗区域；根据缺苗区域确定作业路线，例如，当农机在进行作业时，可以首先识别出依据作物连通域的识别方法确定出缺苗区域，然后农机就可以依据这些若干个缺苗区域，规划出避开缺苗区域的路径。
为了方便各种类型的设备进行作业，节省各种设备作业的时间和成本，根据本发明实施例的另一方面，还提供了一种作业方法，包括：作业设备执行任意一种作物连通域的识别方法确定缺苗区域；作业设备对缺苗区域进行标记，确定缺苗位置；当作业设备所在位置位于缺苗位置时，则控制作业设备停止在缺苗位置进行作业。
需要说明的是，上述设备包括但不限于以下类型：喷洒设备、播撒设备和采收设备。
具体地，例如喷洒设备在喷洒农药时，可以依据作物连通域的识别方法得到缺苗区域，当喷洒设备落入缺苗区域的范围时，停止喷洒作业；又例如，当播撒设备在播撒固态化肥时，当播撒设备落入缺苗区域的范围时，停止播撒作业。再例如，当采收设备收割作物时，行驶到缺苗区域时，可以自行收起收割装置，暂停收割作业。
为了更加准确的估算某块区域内作物的产量，根据本发明实施例的另一方面，还提供了一种产量测算方法，具体地：首先，可采用上述作物连通域的识别方法确定缺苗区域；然后，根据缺苗区域确定非缺苗区域的面积；最后，通过非缺苗区域的单位面积产量与非缺苗区域的总面积的乘积确定作物区域总产量，例如，某块农田的总面积为1公顷、非缺苗区域单位面积的产量为1吨，经过上述作物连通域的识别方法识别出了这片农田中若干缺苗区域，然后再得到缺苗区域面积大小为0.1公顷，此时，非缺苗区域的面积大小为农田的总面积减去缺苗区域面积等于0.9公顷，然后再乘以上述单位产量1吨后，可以得到非缺苗区域的作物产量为0.9吨，即这块农田的产量为0.9吨。
本发明实施例，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种的作物连通域的识别方法。
具体地，上述非易失性存储介质用于存储执行以下功能的程序指令，实现以下功能：
获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
本发明实施例，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种作物连通域的识别方法。
具体地，上述处理器用于调用存储器中的程序指令，实现以下功能：
获取目标区域的至少一个样本图像；确定至少一个样本图像中的作物连通域，并生成与作物连通域对应的第一二值化图像；建立第一二值化图像与至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且多组数据中的每组数据中均包括：样本图像和用于对样本图像中的作物连通域进行标注的二值化图像；基于样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，训练后的神经网络模型用于识别目标图像中的作物连通域。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (17)
1.一种作物连通域的识别方法，其特征在于，包括：
获取目标区域的至少一个样本图像；
确定所述至少一个样本图像中的作物连通域，并生成与所述作物连通域对应的第一二值化图像；
建立所述第一二值化图像与所述至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且所述多组数据中的每组数据中均包括：样本图像和用于对所述样本图像中的作物连通域进行标注的二值化图像；
基于所述样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，所述训练后的神经网络模型用于识别目标图像中的作物连通域。
2.根据权利要求1所述的方法，其特征在于，确定所述至少一个样本图像中的作物连通域，并生成与所述作物连通域对应的第一二值化图像，包括：
从所述样本图像中提取多个植被连通域；从所述植被连通域中筛选出作物连通域，并保留所述作物连通域和删除所述多个植被连通域中的非作物连通域，以得到包含所述作物连通域的图像；
对包含所述作物连通域的图像进行二值化处理，得到所述第一二值化图像。
3.根据权利要求2所述的方法，其特征在于，所述样本数据集中的二值化图像通过以下方式对所述样本图像进行标注：
确定二值化图像中与所述作物连通域对应的图形元素，基于所述图形元素和所述图形元素在所述二值化图像中的位置对所述样本图像中的作物连通域进行标注，其中，所述图形元素包括：与所述作物连通域对应的白色像素区域或黑色像素区域。
4.根据权利要求2所述的方法，其特征在于，从所述样本图像中提取多个植被连通域，包括：
确定所述样本图像中各个像素点的超绿指数；
对于每个像素点，比较所述超绿指数和预设阈值的大小；
依据比较结果确定所述像素点是否为所述植被区域中的像素点；
统计属于所述植被区域中的像素点，并基于统计结果确定所述样本图像中的植被连通域。
5.根据权利要求2所述的方法，其特征在于，从所述植被连通域中筛选出作物连通域，包括：
比较所述植被连通域的面积与预设的作物连通域面积范围，若所述植被连通域的面积在预设的作物苗连通域面积范围之内，则确定所述植被连通域为所述作物苗连通域。
6.根据权利要求1所述的方法，其特征在于，基于所述样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，包括：
将所述数据集中的数据划分为训练数据和测试数据；
基于所述训练数据对所述神经网络模型进行训练，得到预训练的神经网络模型；
基于所述测试数据对所述预训练的神经网络模型模型进行测试，得到测试结果；
基于所述测试结果对所述预训练的神经网络模型进行参数优化，得到所述训练后的神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述神经网络模型包括语义分割神经网络模型；基于所述训练数据对所述神经网络模型进行训练，得到预训练的神经网络模型，包括：
基于所述训练数据训练所述语义分割神经网络模型，其中，所述语义分割神经网络模型包括编码器网络和解码器网络；
采用所述训练数据训练所述编码器网络，以生成用于辨别所述作物连通域的可辨别特征；
采用所述解码器网络将所述作物连通域的可辨别特征映射至像素空间，以得到所述预训练的神经网络模型。
8.根据权利要求7所述的方法，其特征在于，基于所述测试数据对所述预训练的神经网络模型模型进行测试，包括：
将所述测试数据输入至所述预训练的神经网络模型，直到所述测试数据的交并比的准确度满足预设条件。
9.一种作物连通域的识别方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入至神经网络模型进行分析，识别出所述目标图像中的作物连通域，其中，所述神经网络模型是通过多组数据训练得到的，且所述多组数据中的每组数据中均包括：样本图像和用于对所述样本图像中的作物连通域进行标注的二值化图像；
基于识别出的作物连通域控制无人作业设备进行作业。
10.一种作物连通域的识别装置，其特征在于，包括：
获取模块，用于获取目标区域的至少一个样本图像；
确定模块，用于确定所述至少一个样本图像中的作物连通域，并生成与所述作物连通域对应的第一二值化图像；
建立模块，用于建立所述第一二值化图像与所述至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且所述多组数据中的每组数据中均包括：样本图像和用于对所述样本图像中的作物连通域进行标注的二值化图像；
训练模块，用于基于所述样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，所述训练后的神经网络模型用于识别目标图像中的作物连通域。
11.一种作业系统，其特征在于，包括：
服务器，用于获取目标区域的至少一个样本图像；确定所述至少一个样本图像中的作物连通域，并生成与所述作物连通域对应的第一二值化图像；建立所述第一二值化图像与所述至少一个样本图像的映射关系，以得到样本数据集，其中，该样本数据集中包括多组数据，且所述多组数据中的每组数据中均包括：样本图像和用于对所述样本图像中的作物连通域进行标注的二值化图像；基于所述样本数据集中的数据对神经网络模型进行训练，得到训练后的神经网络模型，其中，所述训练后的神经网络模型用于识别目标图像中的作物连通域；
无人作业设备，用于获取目标图像；将所述目标图像发送至所述服务器，以利用所述神经网络模型对所述目标图像进行分析；接收所述服务器对所述目标图像的分析结果，得到所述目标图像中的作物连通域；基于接收的分析结果控制无人作业设备进行作业。
12.一种补种方法，其特征在于，包括：
采用权利要求1至8中任意一项所述的作物连通域的识别方法确定缺苗区域；
根据所述缺苗区域生成农机作业的推荐路径。
13.一种作业路线规划方法，其特征在于，包括：
采用权利要求1至8中任意一项所述的作物连通域的识别方法确定缺苗区域；
根据所述缺苗区域确定作业路线。
14.一种作业方法，其特征在于，包括：
作业设备执行权利要求1至8中任意一项所述的作物连通域的识别方法确定缺苗区域，其中，所述作业设备包括以下至少之一：喷洒设备、播撒设备和采收设备；
所述作业设备对所述缺苗区域进行标记，以确定缺苗位置；
当所述作业设备位于所述缺苗位置时，则控制所述作业设备停止在所述缺苗位置进行作业。
15.一种产量测算方法，其特征在于，包括：
采用权利要求1至8中任意一项所述的作物连通域的识别方法确定缺苗区域；
根据所述缺苗区域确定非缺苗区域的总面积；
通过所述非缺苗区域的单位面积产量与所述非缺苗区域的总面积的乘积确定作物区域总产量。
16.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至9中任意一项所述的作物连通域的识别方法。
17.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9中任意一项所述作物连通域的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541204.1A CN113807143A (zh) | 2020-06-12 | 2020-06-12 | 作物连通域的识别方法、装置及作业系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541204.1A CN113807143A (zh) | 2020-06-12 | 2020-06-12 | 作物连通域的识别方法、装置及作业系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807143A true CN113807143A (zh) | 2021-12-17 |
Family
ID=78892326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010541204.1A Pending CN113807143A (zh) | 2020-06-12 | 2020-06-12 | 作物连通域的识别方法、装置及作业系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807143A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485612A (zh) * | 2021-12-29 | 2022-05-13 | 广州极飞科技股份有限公司 | 路线生成方法、装置、无人作业车、电子设备及存储介质 |
| CN116453003A (zh) * | 2023-06-14 | 2023-07-18 | 之江实验室 | 一种基于无人机监测智能识别水稻生长势的方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101859375A (zh) * | 2010-06-01 | 2010-10-13 | 南京林业大学 | 农田苗期行内作物-杂草识别方法 |
| CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质 |
| CN110298366A (zh) * | 2019-07-05 | 2019-10-01 | 北华航天工业学院 | 农作物分布提取方法及装置 |
| CN113807128A (zh) * | 2020-06-12 | 2021-12-17 | 广州极飞科技股份有限公司 | 一种缺苗标记方法、装置、计算机设备和存储介质 |
| BR112022002385A2 (pt) * | 2019-09-05 | 2022-04-26 | Basf Se | Métodos implementados por computador, produto de programa de computador e sistema de computador |
-
2020
- 2020-06-12 CN CN202010541204.1A patent/CN113807143A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101859375A (zh) * | 2010-06-01 | 2010-10-13 | 南京林业大学 | 农田苗期行内作物-杂草识别方法 |
| CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质 |
| CN110298366A (zh) * | 2019-07-05 | 2019-10-01 | 北华航天工业学院 | 农作物分布提取方法及装置 |
| BR112022002385A2 (pt) * | 2019-09-05 | 2022-04-26 | Basf Se | Métodos implementados por computador, produto de programa de computador e sistema de computador |
| CN113807128A (zh) * | 2020-06-12 | 2021-12-17 | 广州极飞科技股份有限公司 | 一种缺苗标记方法、装置、计算机设备和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485612A (zh) * | 2021-12-29 | 2022-05-13 | 广州极飞科技股份有限公司 | 路线生成方法、装置、无人作业车、电子设备及存储介质 |
| CN116453003A (zh) * | 2023-06-14 | 2023-07-18 | 之江实验室 | 一种基于无人机监测智能识别水稻生长势的方法和系统 |
| CN116453003B (zh) * | 2023-06-14 | 2023-09-01 | 之江实验室 | 一种基于无人机监测智能识别水稻生长势的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A computer vision system for early stage grape yield estimation based on shoot detection | |
| Liu et al. | A vision-based robust grape berry counting algorithm for fast calibration-free bunch weight estimation in the field | |
| CN102915446A (zh) | 基于svm机器学习的植物病虫害检测方法 | |
| CN111727457B (zh) | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 | |
| CN102855485B (zh) | 一种小麦抽穗的自动检测方法 | |
| CN114818909B (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| CN115482465A (zh) | 基于机器视觉的农作物病虫害预测方法、系统及存储介质 | |
| CN113807143A (zh) | 作物连通域的识别方法、装置及作业系统 | |
| CN110188661B (zh) | 边界识别方法及装置 | |
| CN114782838A (zh) | 水稻识别方法、装置、电子设备和存储介质 | |
| CN112069985A (zh) | 基于深度学习的高分辨率大田图像稻穗检测与计数方法 | |
| CN115661650A (zh) | 一种基于物联网数据监测的农场管理系统 | |
| CN115331100A (zh) | 耕地种植属性的空间分布监测方法及系统 | |
| CN112541383B (zh) | 杂草区域的识别方法和装置 | |
| Rocha et al. | Automatic detection and evaluation of sugarcane planting rows in aerial images | |
| CN104573701A (zh) | 一种玉米雄穗性状的自动检测方法 | |
| CN111582035B (zh) | 一种果树树龄识别方法、装置、设备及存储介质 | |
| CN116416523A (zh) | 一种基于机器学习的水稻生长阶段的识别系统和方法 | |
| Li et al. | Image processing for crop/weed discrimination in fields with high weed pressure | |
| CN110580495A (zh) | 一种梨树叶面积与叶面炭疽病病斑数自动化分析方法 | |
| CN114663652A (zh) | 图像处理方法、装置、管理系统、电子设备和存储介质 | |
| CN115294472A (zh) | 果实产量估计方法、模型训练方法、设备及存储介质 | |
| WO2022137242A1 (en) | Deep learning system for estimating object volume, weight and crop yields based on remote imaging | |
| Moghaddam et al. | Developing a selective thinning algorithm in sugar beet fields using machine vision system | |
| Bonaria | Grapevine yield estimation using image analysis for the variety Arinto |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |