CN113807135A - 基于语义分割网络的缺苗区域识别方法、设备和存储介质 - Google Patents
基于语义分割网络的缺苗区域识别方法、设备和存储介质 Download PDFInfo
- Publication number
- CN113807135A CN113807135A CN202010538100.5A CN202010538100A CN113807135A CN 113807135 A CN113807135 A CN 113807135A CN 202010538100 A CN202010538100 A CN 202010538100A CN 113807135 A CN113807135 A CN 113807135A
- Authority
- CN
- China
- Prior art keywords
- area
- seedling
- farmland
- planting
- lacking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 156
- 230000011218 segmentation Effects 0.000 title claims abstract description 137
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000010801 machine learning Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 25
- 238000009825 accumulation Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000003306 harvesting Methods 0.000 claims description 6
- 238000005507 spraying Methods 0.000 claims description 6
- 238000009331 sowing Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 239000002699 waste material Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 244000038559 crop plants Species 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01C—PLANTING; SOWING; FERTILISING
- A01C21/00—Methods of fertilising, sowing or planting
- A01C21/005—Following a specific plan, e.g. pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Soil Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割网络的缺苗区域识别方法、设备和存储介质。该方法包括：获取多张农田图片；根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型；将待识别的农田图片输入至所述目标深度学习语义分割模型中，得到缺苗区域图。本发明实施例的技术方案可以实现快速识别缺苗区域，并对于非严格直线种植的作物同样适用。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种基于语义分割网络的缺苗区域识别方法、设备和存储介质。
背景技术
我国是农业大国，作物植株的数量对于作物产量有重大影响，只有作物植株密度达到特定数值，才能提高作物产量。但由于种子质量、出苗率等因素的影响，容易出现农田种植行缺苗的情况，能够快速识别缺苗区域，并及时进行补种，对提高农作物产量到了重要的作用。
现有技术中，对获得的农田图像进行缺苗区域识别，主要通过图像分析，或通过训练神经网络模型来实现。发明人在实现本发明的过程中，发现现有技术存在以下缺陷：依赖于人工对大量作为训练样本的农田图像进行标注，人工成本高，效率低，并且训练出的模型往往只能适用于识别严格直线种植的作物的缺苗区域，适用率比较低。
发明内容
本发明实施例提供一种基于语义分割网络的缺苗区域识别方法、设备和存储介质，以实现快速识别缺苗区域，并对于非严格直线种植的作物同样适用。
第一方面，本发明实施例提供了一种基于语义分割网络的缺苗区域识别方法，该方法包括：
获取多张农田图片；
根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
将待识别的农田图片输入至所述目标深度学习语义分割模型中；
通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
第二方面，本发明实施例还提供了一种补种方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
第三方面，本发明实施例还提供了一种作业路线规划方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
第四方面，本发明实施例还提供了一种作业控制方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
第五方面，本发明实施例还提供了一种产量测算方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
第六方面，本发明实施例还提供了一种基于语义分割网络的缺苗区域识别装置，该装置包括：
农田图片获取模块，用于获取多张农田图片；
数据集构建模块，用于根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
目标深度学习语义分割模型获取模块，用于通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
待识别农田图片输入模块，用于将待识别的农田图片输入至所述目标深度学习语义分割模型中；
编码器处理模块，用于通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
池化层处理模块，用于通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
解码器处理模块，用于通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
第七方面，本发明实施例还提供了一种补种装置，该装置包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
补种作业路线生成模块，用于根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
第八方面，本发明实施例还提供了一种作业路线规划装置，该装置包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
有苗区域图确定模块，用于根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
有苗区域地理位置信息确定模块，用于根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
作业路线生成模块，用于根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
第九方面，本发明实施例还提供了一种作业控制装置，该装置包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
缺苗位置标记模块，用于根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
第十方面，本发明实施例还提供了一种产量测算装置，该装置包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用本发明实施例所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
有苗区域面积计算模块，用于根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
区域产量确定模块，用于根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
第十一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的基于语义分割网络的缺苗区域识别方法，或者补种方法，或者作业路线规划方法，或者作业控制方法，或者产量测算方法。
第十二方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的基于语义分割网络的缺苗区域识别方法，或者补种方法，或者作业路线规划方法，或者作业控制方法，或者产量测算方法。
本发明实施例自动根据多张农田图片的种植行主方向来标记缺苗区域图，并通过标记后的农田图片训练目标深度学习语义分割模型，将待识别的农田图片输入目标深度学习语义分割模型之后，由编码器提取特征信息，池化层进行池化操作，解码器进行上采样处理，最终获得缺苗区域图。解决了现有技术中依赖于人工对大量作为训练样本的农田图像进行标注，人工成本高，效率低的问题，以及训练出的模型往往只能适用于识别严格直线种植的作物的缺苗区域，适用率比较低的问题，实现了快速、准确识别缺苗区域，并对于非严格直线种植的作物同样适用的效果。
附图说明
图1a是本发明实施例一中的一种基于语义分割网络的缺苗区域识别方法的流程图；
图1b是适用于本发明实施例中的农田图片的示意图；
图1c是适用于本发明实施例中的缺苗区域图的示意图；
图2a是本发明实施例二中的一种基于语义分割网络的缺苗区域识别方法的流程图；
图2b是适用于本发明实施例中的作物二值图的外接矩形的示意图；
图2c是适用于本发明实施例中的累加曲线的示意图；
图2d是适用于本发明实施例中的作物区域掩模图的示意图；
图2e是适用于本发明实施例中的作物区域掩模图与作物二值图进行异或运算的示意图；
图2f是适用于本发明实施例中的处理后的缺苗区域图的示意图；
图3是本发明实施例三中的一种补种方法的流程图；
图4是本发明实施例四中的一种作业路线规划方法的流程图；
图5是本发明实施例五中的一种作业控制方法的流程图；
图6是本发明实施例六中的一种产量测算方法的流程图；
图7是本发明实施例七中的一种基于语义分割网络的缺苗区域识别装置的结构示意图；
图8是本发明实施例八中的一种补种装置的结构示意图；
图9是本发明实施例九中的一种作业路线规划装置的结构示意图；
图10是本发明实施例十中的一种作业控制装置的结构示意图；
图11是本发明实施例十一中的一种产量测算装置的结构示意图；
图12是本发明实施例十二中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种基于语义分割网络的缺苗区域识别方法的流程图，本实施例可适用于需要识别农田图片中的缺苗区域的情况，该方法可以由基于语义分割网络的缺苗区域识别装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在服务器中。
如图1a所示，本发明实施例的技术方案，具体包括如下步骤：
S110、获取多张农田图片。
其中，农田图片可以为经过几何纠正的农田的航摄像片，相当于是正射投影的航摄农田相片。在一个具体的示例中，图1b提供了一种农田图片的示意图，如图1b所示，农田图片为对农田的俯拍图像。
S120、根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集。
其中，种植行主方向可以指作物的种植方向，在本发明实施例中，种植行主方向与农田图片的观察方向可以为垂直或不垂直，当种植行主方向与农田图片的观察方向不垂直时，需要获取种植行主方向。在一个具体的示例中，如图1b所示，图1b中的作物的种植行主方向就与农田图片的观察角度的方向不垂直。
缺苗区域图可以为显示农田图片中缺苗区域的图像，与农田图片相对应。示例性的，图1c提供了一种缺苗区域图的示意图，如图1c所示，该缺苗区域图与图1b中的农田图片相对应，显示了图1b中农田图片中的缺苗区域。
在本发明一个可选的实施例中，根据农田图片中的种植行主方向，在所述农田图片中标注缺苗区域图，可以包括：根据当前处理的目标农田图片生成作物二值图，并根据所述作物二值图获取种植行主方向；根据所述作物二值图和所述种植行主方向，获取至少一个种植行矩形条；根据所述种植行矩形条以及所述作物二值图，获取缺苗区域图；在所述目标农田图片中标注缺苗区域图。
其中，二值图可以指图像上的每一个像素只有两种可能的取值或灰度等级状态，也即，图像中的任何像素点的灰度值均为0或者255，分别代表黑色和白色。作物二值图可以指图像中的任何像素点只能代表作物或非作物。在一个具体的示例中，可以使灰度值为255的像素点代表作物，灰度值为0的像素点代表非作物，也可以使灰度值为255的像素点代表非作物，灰度值为0的像素点代表作物，本实施例对不同灰度值的像素分别代表作物还是非作物不进行限制。
种植行矩形条表示该矩形条范围内为作物区域，用种植行矩形条表示作物区域的好处在于，对于非严格直线种植的作物，可以全面准确的获取作物区域。
在本发明实施例中，根据农田图片获取作物二值图，并获取种植行主方向之后，在作物二值图内沿种植行主方向生成种植行矩形条，从而获得缺苗区域图。对需要进行标注的农田正射图像进行缺苗区域识别，这样设置的好处在于，节省了获取训练样本的时间，节省了人工成本，提高了作物区域识别效率。
在本发明一个可选的实施例中，根据标注后的农田图片构建数据集，可以包括：根据所述标注后的农田图片构建训练样本集以及测试样本集。
其中，数据集可以划分为训练样本集和测试样本集，本实施例对训练样本集和测试样本集中农田图片的数量比例不进行限制。
S130、通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器。
其中，目标深度学习语义分割模型用于根据输入的待识别的农田图片，获得与该待识别的农田图片对应的缺苗区域图。目标深度学习语义分割模型可以以ResNet网络、VGG网络等作为骨干网络，本实施例对目标深度学习语义分割模型的骨干网络的类型不进行限制。目标深度学习语义分割模型由编码器、池化层和解码器构成。编码器可以是一个预训练的分类网络，用于提取农田图片中的可判别特征，池化层可以为ASPP(Atous SpatialPyramid Pooling，空洞空间金字塔池化)，池化层用于增加编码器输出的特征信息图的感受野，感受野上即为特征信息图中每个像素点在原始图像上映射的区域大小。解码器用于对特征信息图进行上采样操作，上采样操作的作用是将特征信息图还原到与农田正射图像相同的大小。
在本发明实施例中，通过标注后的农田图片训练得到目标深度学习语义分割模型，目标深度学习语义分割模型结构包括编码器、池化层和解码器。
在本发明一个可选的实施例中，通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，可以包括：通过所述训练样本集对预设的机器学习模型进行训练，获得深度学习语义分割模型；将所述测试样本集输入至所述深度学习语义分割模型中，根据输出结果调整所述深度学习语义分割模型的参数，得到目标深度学习语义分割模型。
在本发明实施例中，训练样本集的作用在于对预设的机器学习模型进行训练，以得到深度学习语义分割模型。测试样本集的作用在于，通过输入至深度学习语义分割模型获得输出结果，根据输出的结果对深度学习语义分割模型的参数进行修改，从而获得目标深度学习语义分割模型。
S140、将待识别的农田图片输入至所述目标深度学习语义分割模型中。
其中，待识别的农田图片可以为需要进行缺苗区域识别的农田图片。
S150、通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层。
其中，特征信息可以为是否缺苗相关的信息，特征信息图可以为对待识别的农田图片进行特征提取获得的图片。
在本发明实施例中，目标深度学习语义分割模型中的编码器提取待识别的农田图片中的特征，生成特征信息图。
S160、通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器。
在本发明实施例中，池化层对编码器发送的特征信息图进行池化操作，获得池化后特征图。
S170、通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
在本发明实施例中，解码器对池化层发送的池化后特征图进行上采样处理，获得缺苗区域图。
在本发明一个可选的实施例中，所述缺苗区域图与所述待识别农田图片尺寸可以相同；在所述缺苗区域图中，任一像素的值可以为所述目标深度学习语义分割模型预测的像素点位置所属的语义类别，其中，所述语义类别可以为背景或者缺苗。
在本发明实施例中，缺苗区域图中可以由像素点灰度值为0代表该像素点位置为背景，像素点灰度值为255代表该像素点位置为缺苗，反之亦可，本实施例对不同像素点灰度值分别代表背景还是缺苗不进行限制。
本实施例的技术方案，通过自动根据多张农田图片的种植行主方向来标记缺苗区域图，并通过标记后的农田图片训练目标深度学习语义分割模型，将待识别的农田图片输入目标深度学习语义分割模型之后，由编码器提取特征信息，池化层进行池化操作，解码器进行上采样处理，最终获得缺苗区域图。解决了现有技术中依赖于人工对大量作为训练样本的农田图像进行标注，人工成本高，效率低的问题，以及训练出的模型往往只能适用于识别严格直线种植的作物的缺苗区域，适用率比较低的问题，实现了快速、准确识别缺苗区域，并对于非严格直线种植的作物同样适用的效果。
实施例二
图2a是本发明实施例二提供的一种基于语义分割网络的缺苗区域识别方法的流程图，本发明实施例在上述实施例的基础上，对在农田图片中标记缺苗区域的过程进行了进一步的具体化。
相应的，如图2a所示，本发明实施例的技术方案，具体包括如下步骤：
S210、获取多张农田图片。
S220、根据所述农田图片中包括的植被点，生成植被二值图。
其中，植被点表明图像中的像素点代表植被，可以通过颜色空间的转换、颜色指数以及植被指数等方式确定图像中的像素点是否为植被点。在一个具体的示例中，可以通过植被指数中的过绿指数(Excess Green Index，EXG)判断图像中的像素点是否为植被点。具体的，通过下述公式计算像素点的过绿指数：EXG＝2*Green-Red-Blue，Green、Red、Blue表示像素点的RGB指数经过归一化处理后得到的数值。如果像素点的过绿指数大于一定阈值，则判断为植被，否则为非植被。植被二值图可以指图像中的任何像素点只能代表植被或非植被。
S230、在所述植被二值图中获取至少一个植被连通域，并在所述植被连通域筛选并保留作物连通域，以得到所述作物二值图。
其中，植被连通域可以为彼此联通的灰度值代表植被的像素点的集合。在植被连通域中筛选作物连通域，可以通过按照连通域面积筛选、按照形状筛选、按照形状筛选以及按照纹理筛选等方式实现。
在一个具体的示例中，可以按照连通域面积筛选作物连通域。具体的，可以统计所有植被连通域的面积，通过植被连通域面积的平均数、众数以及密集区间等确定作物连通域的面积范围，或人为设定作物连通域的面积范围。将面积明显小于作物连通域的面积范围的植被连通域删除，保留的植被连通域即为作物连通域。
在本发明实施例中，判断农田图片中的像素点是否为植被点，对植被点和其他像素点赋予不同的灰度值，生成植被二值图，筛选植被二值图中的植被连通域，保留作物连通域，获得作物二值图。
S240、按照预设的直线检测算法，获取与所述作物二值图中的各作物连通域对应的至少一条直线，并根据各直线相对于参考方向的角度值，识别种植行主方向。
其中，预设的直线检测算法可以为用于获取直线以及直线对应的相对于参考方向的角度值的算法。在一个具体的示例中，直线检测算法可以为霍夫变换直线检测法，通过将作物二值图转换到极坐标系霍夫空间，通过霍夫空间累加器统计若干直线对应的与参考方向的相对角度和圆的半径。本发明对直线检测算法的类型和具体检测过程不进行限制。作物二值图中包括若干作物连通域，作物连通域可以为彼此联通的灰度值代表作物的像素的集合。
在本发明实施例中，通过预设的直线检测算法对作物二值图进行处理，得到各作物连通域对应的至少一条直线，并根据各直线相对于参考方向的角度值的统计结果，获取种植行主方向。
在本发明一个可选的实施例中，S240又包括：
S241、将所述各作物连通域内的像素点映射至极坐标系霍夫空间中，得到作物点映射结果。
其中，极坐标系霍夫空间可以为对笛卡尔坐标系进行霍夫变换之后得到的参数空间。作物点映射结果可以为各作物连通域内的像素点经过霍夫变换之后在霍夫空间内得到的结果，作物点映射结果可以为一条直线。
S242、获取霍夫空间累加器针对所述作物点映射结果反馈的直线检测结果。
其中，霍夫空间累加器可以用于统计各作物点映射结果对应的直线角度。直线角度可以为直线与图像的观察角度之间的夹角，在一个具体的示例中，直线角度可以为作物二值图的宽的方向与直线的夹角。
S243、对所述直线检测结果进行统计分析，得到所述农田的种植行主方向。
其中，所述直线检测结果中包括目标数量的直线，以及与各直线对应的直线角度。
在本发明一个可选的实施例中，S243又包括：
S2430、判断所述目标数量是否大于等于第一数量阈值，如果是，则执行S2431，否则执行S2432。
S2431、统计与各所述直线角度分别对应的直线个数，并获取直线个数最大的直线角度作为所述种植行主方向。
S2432、获取所述直线检测结果中首条直线的直线角度作为所述种植行主方向。
在本发明实施例中，将各作物连通域内的像素点映射至极坐标系霍夫空间中，得到对应的线作为作物点映射结果，通过霍夫空间累加器统计目标数量的直线，以及与各直线对应的直线角度，并根据目标数量的大小选择将直线个数最多的直线角度作为种植行主方向，或首条直线的直线角度作为种植行主方向。
在本发明实施例中，将各作物连通域内的像素点映射至极坐标系霍夫空间中，得到对应的线作为作物点映射结果，通过霍夫空间累加器统计目标数量的直线，以及与各直线对应的直线角度，并根据目标数量的大小选择将直线个数最多的直线角度作为种植行主方向，或首条直线的直线角度作为种植行主方向。
需要说明的是，S2430-S2432只是获取种植行主方向的其中一种方式，任何可以获得种植行主方向的统计分析方法，都在本发明实施例的保护范围之内。
S250、根据所述作物二值图和所述种植行主方向，生成所述作物二值图的外接矩形；其中，所述外接矩形的高度方向为所述种植行主方向。
其中，外接矩形的作用在于使作物二值图中的作物连通域沿种植行主方向陈列，以便建立坐标轴，统计像素点个数以及生成累加曲线。示例性的，图2b提供了作物二值图的外接矩形的示意图，如图2b所示，种植行主方向与图像的观察角度垂直。
在本发明实施例中，获取作物二值图和种植行主方向之后，以种植行主方向为高度方向生成作物二值图的外接矩形。
S260、以所述外接矩形的高度方向为纵坐标方向，建立坐标系，并将所述作物二值图投影于所述坐标系中。
S270、统计所述纵坐标方向上作物连通域内的像素点的个数，生成累加曲线。
其中，累加曲线为横坐标各点对应的种植行主方向上作物连通域内的像素点的个数连线形成的曲线。累加曲线上横坐标的点对应的纵坐标值越高，说明横坐标的点对应的种植行主方向上作物点越多。在一个具体的示例中，图2c提供了一种累加曲线的示意图，如图2c所示，纵坐标为外接矩形的高度方向，横坐标为外接矩形的长度方向。
在本发明一个可选的实施例中，可以对累加曲线进行平滑处理。其中，对累加曲线进行平滑处理的方法可以为移动平均后去躁、LOWESS平滑后去躁、Univariate Spline拟合后去噪以及Savitzky_Golay Filter平滑后去躁等，去噪的方法可以为修正Savitzky_Golay Filter平滑后负数的值等，本实施例对平滑处理的具体类型和过程，以及去噪的具体过程不进行限制。
在本发明实施例中，对累加曲线进行平滑处理，这样设置的好处在于，减少累加曲线的锯齿，以便获取波峰顶点，从而准确划分种植行矩形条。
S280、根据所述累加曲线，获取至少一个种植行矩形条。
在本发明一个可选的实施例中，S280又包括：
S281、获取所述累加曲线中的各波峰顶点的横坐标，沿所述种植行主方向生成直线。
在本发明实施例中，在各波峰顶点横坐标处沿种植行主方向生成直线，目的在于确定各种植行矩形条的中线。
S282、以由各波峰顶点生成的直线为中线，以各波峰宽度为宽度生成至少一个种植行矩形条。
在本发明实施例中，各波峰顶点分别对应一个种植行矩形条，种植行矩形条以各波峰顶点横坐标处沿种植行主方向生成的直线为中线，以各波峰的宽度为宽。
S290、将根据各波峰顶点生成的种植行矩形条进行组合，生成作物区域掩模图。
其中，作物区域掩模图又称mask图，mask图可以为对原始图像进行特定区域提取后产生的图像。
在本发明实施例中，各波峰顶点以生成的直线为中线，以各波峰的宽度为宽生成种植行矩形条之后，将各种植行矩形条进行组合，即可得到作物区域掩模图。
在一个具体的示例中，图2d提供了一种作物区域掩模图的示意图，如图2d所示，作物区域掩模图为各种植行矩形条的组合。
S2100、在所述坐标系下，对所述作物区域掩模图和所述作物二值图进行异或运算，生成中间图像。
其中，异或是一种基于二进制的位运算，用符号xor或者^表示，其运算法则是对运算符两侧数的每一个二进制位，同值取0，异值取1。对作物区域掩模图和所述作物二值图进行异或运算，也即，去掉两幅图中相同的部分，保留两幅图中不同的部分。
在一个具体的示例中，图2e提供了一种作物区域掩模图和作物二值图进行异或运算的示意图，如图2e所示，将作物区域掩模图和所述作物二值图重合，作物二值图区域内，未与作物区域掩模图重叠的部分即为缺苗区域。
S2110、对所述中间图像进行反旋转和反填补处理，获得缺苗区域图。
其中，反旋转和反填补是指根据作物二值图和种植行主方向生成外接矩形的反向操作，这样设置的好处在于，可以使进行反旋转和反填补操作后获得的缺苗区域图与原农田图像相对应，更加准确直观。
在本发明一个可选的实施例中，可以对获得的缺苗区域图进行进一步优化处理。例如，可以根据实际需求，通过设定面积的大小范围对缺苗区域图中的连通域进行筛选，过滤掉面积过小或者过大的连通域。或者通过图像处理消除缺苗区域图中的毛刺。本实施例对对缺苗区域图的优化处理方式和具体实现过程不进行限制。
在一个具体的示例中，图2f提供了一种处理后的缺苗区域图的示意图，如图2f所示，图2f中的缺苗区域即为对图1c中的缺苗区域进行连通域面积筛选后得到，筛选标准为连通域面积最小150个像素，最大60000个像素。
S2120、在所述目标农田图片中标注缺苗区域图。
S2130、根据所述标注后的农田图片构建训练样本集以及测试样本集。
S2140、通过所述训练样本集对预设的机器学习模型进行训练，获得深度学习语义分割模型。
S2150、将所述测试样本集输入至所述深度学习语义分割模型中，根据输出结果调整所述深度学习语义分割模型的参数，得到目标深度学习语义分割模型。
S2160、将待识别的农田图片输入至所述目标深度学习语义分割模型中。
S2170、通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层。
S2180、通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器。
S2190、通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
本发明实施例的技术方案，通过根据农田图片生成作物二值图，自动识别种植行主方向，获取种植行矩形条，并获取缺苗区域图，对农田图片进行标注，并通过多个标记后的农田图片训练目标深度学习语义分割模型，将待识别的农田图片输入目标深度学习语义分割模型之后，由编码器提取特征信息，池化层进行池化操作，解码器进行上采样处理，最终获得缺苗区域图。解决了现有技术中依赖于人工对大量作为训练样本的农田图像进行标注，人工成本高，效率低的问题，以及训练出的模型往往只能适用于识别严格直线种植的作物的缺苗区域，适用率比较低的问题，实现了快速标注农田图片中的缺苗区域，节省了人工成本，提高了标注效率，并且训练完成的目标深度学习语义分割模型能够快速、准确识别缺苗区域，并对于非严格直线种植的作物同样适用。
实施例三
图3是本发明实施例三提供的一种补种方法的流程图，本实施例可适用于对农田中的缺苗区域进行补种的情况，该方法可以由补种装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备或农机设备中。
如图3所示，本发明实施例的技术方案，具体包括如下步骤：
S310、获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图。
其中，设定种植区域是需要进行补种作业的种植区域。获取种植区域对应的各农田图片之后，采用基于语义分割网络的缺苗区域识别方法，获得与种植区域对应的多个缺苗区域图。
S320、根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息。
在本发明实施例中，根据各缺苗区域图的地理位置信息，以及各缺苗区域在缺苗区域图中的图像位置，可以确定各缺苗区域的地理位置信息。
示例性的，可以先获取缺苗区域图对应的经纬度范围，再获取各缺苗区域的中心在缺苗区域图中的坐标，从而获取各缺苗区域的中心的经纬度，但本发明实施例对确定缺苗区域地理位置信息的方式不进行限制。
S330、根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
在本发明实施例中，农机设备在种植区域内沿补种作业路线行进时，当检测到行进至缺苗区域位置处时，在该位置进行补种作业。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，并确定各缺苗区域的地理位置信息，根据缺苗区域的地理位置信息生成补种作业路线，指示农机设备在种植区域内进行补种作业。解决了现有技术中补种依赖于人工作业，成本高，效率低的问题，实现了补种作业的自动化，提高了补种效率，节省了人工成本。
实施例四
图4是本发明实施例四提供的一种作业路线规划方法的流程图，本实施例可适用于根据农田中的缺苗区域进行农机设备的作业路线规划的情况，该方法可以由作业路线规划装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备或农机设备中。
如图4所示，本发明实施例的技术方案，具体包括如下步骤：
S410、获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图。
其中，设定种植区域是需要进行作业路线规划的种植区域。获取种植区域对应的各农田图片之后，采用基于语义分割网络的缺苗区域识别方法，获得与种植区域对应的多个缺苗区域图。
S420、根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图。
在本发明实施例中，根据农田图片对应的缺苗区域图，可以确定农田图片对应的有苗区域图。具体的，可以识别农田图像中的作物区域，作物区域内除缺苗区域之外的区域即为有苗区域，本发明实施例对获取与农田图片对应的有苗区域图的方式不进行限制。
S430、根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息。
在本发明实施例中，根据各有苗区域图的地理位置信息，以及各有苗区域在有苗区域图中的图像位置，可以确定各有苗区域的地理位置信息。
示例性的，可以先获取有苗区域图对应的经纬度范围，再获取各有苗区域的中心在有苗区域图中的坐标，从而获取各有苗区域的中心的经纬度，但本发明实施例对确定有苗区域地理位置信息的方式不进行限制。
S440、根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
在本发明实施例中，作业路线可以是指示农机设备在有苗区域处进行作业的路线。根据种植区域内的有苗区域的地理位置信息，生成作业路线，这样设置的好处在于，可以避免农机设备在缺苗处进行作业，确保农机设备仅在有苗区域处进行作业，节省农机设备作业时间，提高农机设备的作业效率，避免资源浪费。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，根据缺苗区域确定有苗区域图，并确定各有苗区域的地理位置信息，根据有苗区域的地理位置信息规划作业路线，指示农机设备在种植区域内沿作业路线行进至有苗位置时进行作业。解决了现有技术中农机设备对种植区域进行连续不间断的作业，当存在缺苗时，在缺苗位置同样进行作业而造成的资源、成本和时间的浪费问题，实现了农机设备自动避开缺苗区域进行作业，仅在有苗区域进行自动作业，节省了农机设备的作业时间，提高了农机设备的作业效率，避免了资源的浪费。
实施例五
图5是本发明实施例五提供的一种作业控制方法的流程图，本实施例可适用于根据农田中的缺苗区域控制农机设备的作业状态的情况，该方法可以由作业控制装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备或农机设备中。
如图5所示，本发明实施例的技术方案，具体包括如下步骤：
S510、获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图。
其中，设定种植区域是需要对农机设备进行作业控制的种植区域。获取种植区域对应的各农田图片之后，采用基于语义分割网络的缺苗区域识别方法，获得与种植区域对应的多个缺苗区域图。
S520、根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息。
在本发明实施例中，根据各缺苗区域图的地理位置信息，以及各缺苗区域在缺苗区域图中的图像位置，可以确定各缺苗区域的地理位置信息。
示例性的，可以先获取缺苗区域图对应的经纬度范围，再获取各缺苗区域的中心在缺苗区域图中的坐标，从而获取各缺苗区域的中心的经纬度，但本发明实施例对确定缺苗区域地理位置信息的方式不进行限制。
S530、根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
在本发明实施例中，与种植区域匹配的作业路线是农机设备在种植区域内连续不间断进行作业的路线。在获取缺苗区域的地理位置信息之后，根据缺苗区域的地理位置信息在作业路线的相应位置处标记缺苗。农机设备在沿标记缺苗位置后的作业路线行进过程中，当到达标记为缺苗的位置处时，暂停进行作业。这样设置的好处在于，可以避免农机设备在缺苗处进行作业，节省农机设备作业时间，提高农机设备的作业效率，避免资源浪费。
在本发明一个可选的实施例中，所述农机设备的作业方式可以包括：喷洒作业、播撒作业或采收作业。喷洒作业可以是农机设备进行的喷洒农药等作业，播撒作业可以是农机设备进行的播撒水或营养液等作业，采收作业可以是农机设备进行的采收农作物的作业。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，并确定各缺苗区域的地理位置信息，根据缺苗区域的地理位置信息对作业路线进行缺苗位置标记，指示农机设备在种植区域内沿作业路线行进至缺苗位置时暂停作业。解决了现有技术中农机设备对种植区域进行连续不间断的作业，当存在缺苗时，在缺苗位置同样进行作业而造成的资源、成本和时间的浪费问题，实现了农机设备自动避开缺苗区域进行作业，节省了农机设备的作业时间，提高了农机设备的作业效率，避免了资源的浪费。
实施例六
图6是本发明实施例六提供的一种产量测算方法的流程图，本实施例可适用于测算设定种植区域的农田的区域产量的情况，该方法可以由产量测算装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中。
如图6所示，本发明实施例的技术方案，具体包括如下步骤：
S610、获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图。
其中，设定种植区域是需要进行产量测算的种植区域。获取种植区域对应的各农田图片之后，采用基于语义分割网络的缺苗区域识别方法，获得与种植区域对应的多个缺苗区域图。
S620、根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积。
在本发明实施例中，确定缺苗区域面积之后，可以根据缺苗区域的面积确定有苗区域的面积。确定缺苗区域面积，可以通过计算缺苗区域图中缺苗区域所占像素数量，与缺苗区域图中每个像素所代表的实际农田面积的乘积来实现，但本发明实施例对确定缺苗区域面积的方式不进行限制。
根据缺苗区域的面积确定有苗区域的面积，可以识别农田图像中的作物区域，计算作物区域面积，将作物区域面积与缺苗区域面积的差值作为有苗区域的面积，但本发明实施例对获取与农田图片对应的有苗区域图的方式不进行限制。
S630、根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
在本发明实施例中，将有苗区域的面积与单位面积产量的乘积，作为种植区域的区域产量。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，根据缺苗区域图确定缺苗区域面积，并确定各有苗区域的面积，根据有苗区域的面积计算区域产量。解决了现有技术中估算种植区域作物产量时，准确度较低的问题，实现了自动识别种植区域的有苗区域，并根据有苗区域确定区域产量，提高了产量测算的准确度。
实施例七
图7是本发明实施例七提供的一种基于语义分割网络的缺苗区域识别装置的结构示意图，该装置包括：农田图片获取模块710、数据集构建模块720、目标深度学习语义分割模型获取模块730、待识别农田图片输入模块740、编码器处理模块750、池化层处理模块760以及解码器处理模块770。其中：
农田图片获取模块710，用于获取多张农田图片；
数据集构建模块720，用于根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
目标深度学习语义分割模型获取模块730，用于通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
待识别农田图片输入模块740，用于将待识别的农田图片输入至所述目标深度学习语义分割模型中；
编码器处理模块750，用于通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
池化层处理模块760，用于通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
解码器处理模块770，用于通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
本实施例的技术方案，通过自动根据多张农田图片的种植行主方向来标记缺苗区域图，并通过标记后的农田图片训练目标深度学习语义分割模型，将待识别的农田图片输入目标深度学习语义分割模型之后，由编码器提取特征信息，池化层进行池化操作，解码器进行上采样处理，最终获得缺苗区域灰度图。解决了现有技术中依赖于人工对大量作为训练样本的农田图像进行标注，人工成本高，效率低的问题，以及训练出的模型往往只能适用于识别严格直线种植的作物的缺苗区域，适用率比较低的问题，实现了快速、准确识别缺苗区域，并对于非严格直线种植的作物同样适用的效果。
在上述实施例的基础上，所述缺苗区域图与所述待识别农田图片尺寸相同；
在所述缺苗区域图中，任一像素的值为所述目标深度学习语义分割模型预测的像素点位置所属的语义类别，其中，所述语义类别为背景或者缺苗。
在上述实施例的基础上，数据集构建模块720，包括：
样本集构建单元，用于根据所述标注后的农田图片构建训练样本集以及测试样本集；
目标深度学习语义分割模型获取模块730，包括：
训练样本集训练单元，用于通过所述训练样本集对预设的机器学习模型进行训练，获得深度学习语义分割模型；
测试样本集测试单元，用于将所述测试样本集输入至所述深度学习语义分割模型中，根据输出结果调整所述深度学习语义分割模型的参数，得到目标深度学习语义分割模型。
在上述实施例的基础上，数据集构建模块720，包括：
种植行主方向获取单元，用于根据当前处理的目标农田图片生成作物二值图，并根据所述作物二值图获取种植行主方向；
种植行矩形条获取单元，用于根据所述作物二值图和所述种植行主方向，获取至少一个种植行矩形条；
缺苗区域图获取单元，用于根据所述种植行矩形条以及所述作物二值图，获取缺苗区域图；
缺苗区域图标注单元，用于在所述目标农田图片中标注缺苗区域图。
在上述实施例的基础上，所述种植行矩形条获取单元，包括：
外接矩形生成子单元，用于根据所述作物二值图和所述种植行主方向，生成所述作物二值图的外接矩形；其中，所述外接矩形的高度方向为所述种植行主方向；
坐标系建立子单元，用于以所述外接矩形的高度方向为纵坐标方向，建立坐标系，并将所述作物二值图投影于所述坐标系中；
累加曲线生成子单元，用于统计所述纵坐标方向上作物连通域内的像素点的个数，生成累加曲线；
种植行矩形条获取子单元，用于根据所述累加曲线，获取至少一个种植行矩形条。
在上述实施例的基础上，种植行矩形条获取子单元，具体用于：
获取所述累加曲线中的各波峰顶点的横坐标，沿所述种植行主方向生成直线；
以由各波峰顶点生成的直线为中线，以各波峰宽度为宽度生成至少一个种植行矩形条。
在上述实施例的基础上，种植行主方向获取单元，包括：
植被二值图生成子单元，用于根据所述农田图片中包括的植被点，生成植被二值图；
作物二值图生成子单元，用于在所述植被二值图中获取至少一个植被连通域，并在所述植被连通域筛选并保留作物连通域，以得到所述作物二值图。
在上述实施例的基础上，种植行主方向获取单元，包括：
直线检测子单元，用于按照预设的直线检测算法，获取与所述作物二值图中的各作物连通域对应的至少一条直线，并根据各直线相对于参考方向的角度值，识别种植行主方向。
在上述实施例的基础上，直线检测子单元，具体用于：
将所述各作物连通域内的像素点映射至极坐标系霍夫空间中，得到作物点映射结果；
获取霍夫空间累加器针对所述作物点映射结果反馈的直线检测结果，对所述直线检测结果进行统计分析，得到所述农田的种植行主方向；
其中，所述直线检测结果中包括目标数量的直线，以及与各直线对应的直线角度。
在上述实施例的基础上，直线检测子单元，具体用于：
如果所述目标数量大于等于第一数量阈值，则统计与各所述直线角度分别对应的直线个数，并获取直线个数最大的直线角度作为所述种植行主方向；
如果所述目标数量小于第二数量阈值，则获取所述直线检测结果中首条直线的直线角度作为所述种植行主方向。
在上述实施例的基础上，缺苗区域图获取单元，包括：
作物区域掩模图生成子单元，用于将根据各波峰顶点生成的种植行矩形条进行组合，生成作物区域掩模图；
中间图像生成子单元，用于在所述坐标系下，对所述作物区域掩模图和所述作物二值图进行异或运算，生成中间图像；
缺苗区域图获取子单元，用于对所述中间图像进行反旋转和反填补处理，获得缺苗区域图。
本发明实施例所提供的基于语义分割网络的缺苗区域识别装置可执行本发明任意实施例所提供的基于语义分割网络的缺苗区域识别方法，具备执行方法相应的功能模块和有益效果。
实施例八
图8是本发明实施例八提供的一种补种装置的结构示意图，该装置包括：缺苗区域图确定模块810、地理位置信息确定模块820以及补种作业路线生成模块830，其中：
缺苗区域图确定模块810，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块820，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
补种作业路线生成模块830，用于根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，并确定各缺苗区域的地理位置信息，根据缺苗区域的地理位置信息生成补种作业路线，指示农机设备在种植区域内进行补种作业。解决了现有技术中补种依赖于人工作业，成本高，效率低的问题，实现了补种作业的自动化，提高了补种效率，节省了人工成本。
本发明实施例所提供的补种装置可执行本发明任意实施例所提供的补种方法，具备执行方法相应的功能模块和有益效果。
实施例九
图9是本发明实施例九提供的一种作业路线规划装置的结构示意图，该装置包括：缺苗区域图确定模块910、有苗区域图确定模块920、有苗区域地理位置信息确定模块930以及作业路线生成模块940。其中：
缺苗区域图确定模块910，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
有苗区域图确定模块920，用于根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
有苗区域地理位置信息确定模块930，用于根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
作业路线生成模块940，用于根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，根据缺苗区域确定有苗区域图，并确定各有苗区域的地理位置信息，根据有苗区域的地理位置信息规划作业路线，指示农机设备在种植区域内沿作业路线行进至有苗位置时进行作业。解决了现有技术中农机设备对种植区域进行连续不间断的作业，当存在缺苗时，在缺苗位置同样进行作业而造成的资源、成本和时间的浪费问题，实现了农机设备自动避开缺苗区域进行作业，仅在有苗区域进行自动作业，节省了农机设备的作业时间，提高了农机设备的作业效率，避免了资源的浪费。
本发明实施例所提供的作业路线规划装置可执行本发明任意实施例所提供的作业路线规划方法，具备执行方法相应的功能模块和有益效果。
实施例十
图10是本发明实施例十提供的一种作业控制装置的结构示意图，该装置包括：缺苗区域图确定模块1010、地理位置信息确定模块1020以及缺苗位置标记模块1030。其中：
缺苗区域图确定模块1010，用于获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块1020，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
缺苗位置标记模块1030，用于根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，并确定各缺苗区域的地理位置信息，根据缺苗区域的地理位置信息对作业路线进行缺苗位置标记，指示农机设备在种植区域内沿作业路线行进至缺苗位置时暂停作业。解决了现有技术中农机设备对种植区域进行连续不间断的作业，当存在缺苗时，在缺苗位置同样进行作业而造成的资源、成本和时间的浪费问题，实现了农机设备自动避开缺苗区域进行作业，节省了农机设备的作业时间，提高了农机设备的作业效率，避免了资源的浪费。
在上述实施例的基础上，所述农机设备的作业方式包括：喷洒作业、播撒作业或采收作业。
本发明实施例所提供的作业控制装置可执行本发明任意实施例所提供的作业控制方法，具备执行方法相应的功能模块和有益效果。
实施例十一
图11是本发明实施例十一提供的一种产量测算装置的结构示意图，该装置包括：缺苗区域图确定模块1110、有苗区域面积计算模块1120以及区域产量确定模块1130。其中：
缺苗区域图确定模块1110，用于获取与设定种植区域匹配的至少一张农田图片，并采用本发明实施例所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
有苗区域面积计算模块1120，用于根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
区域产量确定模块1130，用于根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
本发明实施例的技术方案，通过基于语义分割网络的缺苗区域识别方法，确定种植区域的缺苗区域图，根据缺苗区域图确定缺苗区域面积，并确定各有苗区域的面积，根据有苗区域的面积计算区域产量。解决了现有技术中估算种植区域作物产量时，准确度较低的问题，实现了自动识别种植区域的有苗区域，并根据有苗区域确定区域产量，提高了产量测算的准确度。
本发明实施例所提供的产量测算装置可执行本发明任意实施例所提供的产量测算方法，具备执行方法相应的功能模块和有益效果。
实施例十二
图12为本发明实施例十二提供的一种计算机设备的结构示意图，如图12所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图12中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图12中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于语义分割网络的缺苗区域识别方法对应的模块(例如，基于语义分割网络的缺苗区域识别装置中的农田图片获取模块710、数据集构建模块720、目标深度学习语义分割模型获取模块730、待识别农田图片输入模块740、编码器处理模块750、池化层处理模块760以及解码器处理模块770)。再如本发明实施例中的补种方法对应的模块(例如，补种装置中的缺苗区域图确定模块810、地理位置信息确定模块820以及补种作业路线生成模块830)。再如本发明实施例中的作业路线规划方法对应的模块(例如，作业路线规划装置中的缺苗区域图确定模块910、有苗区域图确定模块920、有苗区域地理位置信息确定模块930以及作业路线生成模块940)。再如本发明实施例中的作业控制方法对应的模块(例如，作业控制装置中的缺苗区域图确定模块1010、地理位置信息确定模块1020以及缺苗位置标记模块1030)。再如本发明实施例中的产量测算方法对应的模块(例如，产量测算装置中的缺苗区域图确定模块1110、有苗区域面积计算模块1120以及区域产量确定模块1130)。
处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的基于语义分割网络的缺苗区域识别方法。该方法包括：
获取多张农田图片；
根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
将待识别的农田图片输入至所述目标深度学习语义分割模型中；
通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
还可以实现上述的补种方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
还可以实现上述的作业路线规划方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
还可以实现上述的作业控制方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
还可以实现上述的产量测算方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例十三
本发明实施例十三还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于语义分割网络的缺苗区域识别方法，该方法包括：
获取多张农田图片；
根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
将待识别的农田图片输入至所述目标深度学习语义分割模型中；
通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
还可以执行一种补种方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
还可以执行一种作业路线规划方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
还可以执行一种作业控制方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
还可以执行一种产量测算方法，该方法包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如本发明实施例中所述的基于语义分割网络的缺苗区域识别方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于语义分割网络的缺苗区域识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述基于语义分割网络的缺苗区域识别装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (24)
1.一种基于语义分割网络的缺苗区域识别方法，其特征在于，包括：
获取多张农田图片；
根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
将待识别的农田图片输入至所述目标深度学习语义分割模型中；
通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
2.根据权利要求1所述的方法，其特征在于，所述缺苗区域图与所述待识别农田图片尺寸相同；
在所述缺苗区域图中，任一像素的值为所述目标深度学习语义分割模型预测的像素点位置所属的语义类别，其中，所述语义类别为背景或者缺苗。
3.根据权利要求1或2所述的方法，其特征在于，根据标注后的农田图片构建数据集，包括：
根据所述标注后的农田图片构建训练样本集以及测试样本集；
通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，包括：
通过所述训练样本集对预设的机器学习模型进行训练，获得深度学习语义分割模型；
将所述测试样本集输入至所述深度学习语义分割模型中，根据输出结果调整所述深度学习语义分割模型的参数，得到目标深度学习语义分割模型。
4.根据权利要求1所述的方法，其特征在于，根据农田图片中的种植行主方向，在所述农田图片中标注缺苗区域图，包括：
根据当前处理的目标农田图片生成作物二值图，并根据所述作物二值图获取种植行主方向；
根据所述作物二值图和所述种植行主方向，获取至少一个种植行矩形条；
根据所述种植行矩形条以及所述作物二值图，获取缺苗区域图；
在所述目标农田图片中标注缺苗区域图。
5.根据权利要求4所述的方法，其特征在于，根据所述作物二值图和所述种植行主方向，获取至少一个种植行矩形条，包括：
根据所述作物二值图和所述种植行主方向，生成所述作物二值图的外接矩形；其中，所述外接矩形的高度方向为所述种植行主方向；
以所述外接矩形的高度方向为纵坐标方向，建立坐标系，并将所述作物二值图投影于所述坐标系中；
统计所述纵坐标方向上作物连通域内的像素点的个数，生成累加曲线；
根据所述累加曲线，获取至少一个种植行矩形条。
6.根据权利要求5所述的方法，其特征在于，根据所述累加曲线，获取至少一个种植行矩形条，包括：
获取所述累加曲线中的各波峰顶点的横坐标，沿所述种植行主方向生成直线；
以由各波峰顶点生成的直线为中线，以各波峰宽度为宽度生成至少一个种植行矩形条。
7.根据权利要求4所述的方法，其特征在于，根据当前处理的目标农田图片生成作物二值图，包括：
根据所述农田图片中包括的植被点，生成植被二值图；
在所述植被二值图中获取至少一个植被连通域，并在所述植被连通域筛选并保留作物连通域，以得到所述作物二值图。
8.根据权利要求4所述的方法，其特征在于，根据所述作物二值图获取种植行主方向，包括：
按照预设的直线检测算法，获取与所述作物二值图中的各作物连通域对应的至少一条直线，并根据各直线相对于参考方向的角度值，识别种植行主方向。
9.根据权利要求8所述的方法，其特征在于，按照预设的直线检测算法，获取与所述作物二值图中的各作物连通域对应的至少一条直线，并根据各直线相对于参考方向的角度值，识别种植行主方向，包括：
将所述各作物连通域内的像素点映射至极坐标系霍夫空间中，得到作物点映射结果；
获取霍夫空间累加器针对所述作物点映射结果反馈的直线检测结果，对所述直线检测结果进行统计分析，得到所述农田的种植行主方向；
其中，所述直线检测结果中包括目标数量的直线，以及与各直线对应的直线角度。
10.根据权利要求9所述的方法，其特征在于，对所述直线检测结果进行统计分析，得到所述农田的种植行主方向，包括：
如果所述目标数量大于等于第一数量阈值，则统计与各所述直线角度分别对应的直线个数，并获取直线个数最大的直线角度作为所述种植行主方向；
如果所述目标数量小于第二数量阈值，则获取所述直线检测结果中首条直线的直线角度作为所述种植行主方向。
11.根据权利要求5所述的方法，其特征在于，根据所述种植行矩形条以及所述作物二值图，获取缺苗区域图，包括：
将根据各波峰顶点生成的种植行矩形条进行组合，生成作物区域掩模图；
在所述坐标系下，对所述作物区域掩模图和所述作物二值图进行异或运算，生成中间图像；
对所述中间图像进行反旋转和反填补处理，获得缺苗区域图。
12.一种补种方法，其特征在于，包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
13.一种作业路线规划方法，其特征在于，包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
14.一种作业控制方法，其特征在于，包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
15.根据权利要求14所述的方法，其特征在于，所述农机设备的作业方式包括：喷洒作业、播撒作业或采收作业。
16.一种产量测算方法，其特征在于，包括：
获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
17.一种基于语义分割网络的缺苗区域识别装置，其特征在于，包括：
农田图片获取模块，用于获取多张农田图片；
数据集构建模块，用于根据各农田图片中的种植行主方向，在各所述农田图片中标注缺苗区域图，并根据标注后的农田图片构建数据集；
目标深度学习语义分割模型获取模块，用于通过数据集对预设的机器学习模型进行训练，获得目标深度学习语义分割模型，目标深度学习语义分割模型包括：依次相连的编码器、池化层和解码器；
待识别农田图片输入模块，用于将待识别的农田图片输入至所述目标深度学习语义分割模型中；
编码器处理模块，用于通过所述编码器，提取所述待识别农田图片的特征信息，生成特征信息图，并将所述特征信息图传输至池化层；
池化层处理模块，用于通过所述池化层，对所述特征信息图进行池化操作，并将处理后特征图传输至解码器；
解码器处理模块，用于通过所述解码器，对所述处理后特征图进行上采样处理，得到缺苗区域图。
18.一种补种装置，其特征在于，包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
补种作业路线生成模块，用于根据与各所述缺苗区域匹配的地理位置信息，生成与所述种植区域匹配的补种作业路线，其中，所述补种作业路线用于指示农机设备对所述种植区域中包括的各缺苗区域进行作物补种。
19.一种作业路线规划装置，其特征在于，包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
有苗区域图确定模块，用于根据与各所述农田图片对应的缺苗区域图，确定与各所述农田图片对应的有苗区域图；
有苗区域地理位置信息确定模块，用于根据有苗区域在各所述有苗区域图中的图像位置，以及与各所述有苗区域图分别匹配的地理位置信息，确定与各所述有苗区域匹配的地理位置信息；
作业路线生成模块，用于根据与所述种植区域内的有苗区域匹配的地理位置信息，生成作业路线，其中，所述作业路线用于指示农机设备对所述种植区域中包括的各有苗区域进行作业。
20.一种作业控制装置，其特征在于，包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
地理位置信息确定模块，用于根据缺苗区域在各所述缺苗区域图中的图像位置，以及与各所述缺苗区域图分别匹配的地理位置信息，确定与各所述缺苗区域匹配的地理位置信息；
缺苗位置标记模块，用于根据与各所述缺苗区域匹配的地理位置信息，在与所述种植区域匹配的作业路线中，标记缺苗位置，其中，标记所述缺苗位置后的所述作业路线用于指示农机设备在沿作业路线作业至所述缺苗位置时暂停作业。
21.根据权利要求20所述的装置，其特征在于，所述农机设备的作业方式包括：喷洒作业、播撒作业或采收作业。
22.一种产量测算装置，其特征在于，包括：
缺苗区域图确定模块，用于获取与设定种植区域匹配的至少一张农田图片，并采用如权利要求1-11任一项所述的方法确定与各所述农田图片对应的缺苗区域图；
有苗区域面积计算模块，用于根据缺苗区域在各所述缺苗区域图中的面积，计算与所述种植区域匹配的有苗区域的面积；
区域产量确定模块，用于根据有苗区域的单位面积产量以及所述有苗区域的面积，确定所述种植区域的区域产量。
23.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-11中任一所述的基于语义分割网络的缺苗区域识别方法，或者权利要求12所述的补种方法，或者权利要求13所述的作业路线规划方法，或者权利要求14所述的作业控制方法，或者权利要求16所述的产量测算方法。
24.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的基于语义分割网络的缺苗区域识别方法，或者权利要求12所述的补种方法，或者权利要求13所述的作业路线规划方法，或者权利要求14所述的作业控制方法，或者权利要求16所述的产量测算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538100.5A CN113807135A (zh) | 2020-06-12 | 2020-06-12 | 基于语义分割网络的缺苗区域识别方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538100.5A CN113807135A (zh) | 2020-06-12 | 2020-06-12 | 基于语义分割网络的缺苗区域识别方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807135A true CN113807135A (zh) | 2021-12-17 |
Family
ID=78944148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010538100.5A Pending CN113807135A (zh) | 2020-06-12 | 2020-06-12 | 基于语义分割网络的缺苗区域识别方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807135A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485612A (zh) * | 2021-12-29 | 2022-05-13 | 广州极飞科技股份有限公司 | 路线生成方法、装置、无人作业车、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886094A (zh) * | 2019-01-08 | 2019-06-14 | 中国农业大学 | 一种作物苗情苗势采集分析方法和装置 |
| CN109934186A (zh) * | 2019-03-19 | 2019-06-25 | 广东省农业科学院农业生物基因研究中心 | 一种农作物直播成苗率的智慧高效监控方法 |
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
| JP2019154394A (ja) * | 2018-03-16 | 2019-09-19 | 井関農機株式会社 | 作業車両 |
| US20190362146A1 (en) * | 2018-05-24 | 2019-11-28 | Blue River Technology Inc. | Semantic Segmentation to Identify and Treat Plants in a Field and Verify the Plant Treatments |
| CN110765916A (zh) * | 2019-10-17 | 2020-02-07 | 北京中科原动力科技有限公司 | 一种基于语义和实例分割的农田苗垄识别方法及系统 |
-
2020
- 2020-06-12 CN CN202010538100.5A patent/CN113807135A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019154394A (ja) * | 2018-03-16 | 2019-09-19 | 井関農機株式会社 | 作業車両 |
| US20190362146A1 (en) * | 2018-05-24 | 2019-11-28 | Blue River Technology Inc. | Semantic Segmentation to Identify and Treat Plants in a Field and Verify the Plant Treatments |
| CN109886094A (zh) * | 2019-01-08 | 2019-06-14 | 中国农业大学 | 一种作物苗情苗势采集分析方法和装置 |
| CN109934186A (zh) * | 2019-03-19 | 2019-06-25 | 广东省农业科学院农业生物基因研究中心 | 一种农作物直播成苗率的智慧高效监控方法 |
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
| CN110765916A (zh) * | 2019-10-17 | 2020-02-07 | 北京中科原动力科技有限公司 | 一种基于语义和实例分割的农田苗垄识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| VIJAY BADRINARAYANAN 等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 39, no. 12, 10 November 2017 (2017-11-10), pages 2481 - 2495, XP055942927, DOI: 10.1109/TPAMI.2016.2644615 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485612A (zh) * | 2021-12-29 | 2022-05-13 | 广州极飞科技股份有限公司 | 路线生成方法、装置、无人作业车、电子设备及存储介质 |
| CN114485612B (zh) * | 2021-12-29 | 2024-04-26 | 广州极飞科技股份有限公司 | 路线生成方法、装置、无人作业车、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909679B (zh) | 冬小麦历史种植区的休耕轮作信息遥感识别方法及系统 | |
| CN103530643A (zh) | 基于农作物行间自动识别技术的农药定位喷洒方法及系统 | |
| AU2019238712A1 (en) | Plant planting data measuring method, working route planning method, device and system | |
| CN111727457B (zh) | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 | |
| CN108153861B (zh) | 基于gis的河口渔业资源集群分布分析方法 | |
| CN113807128B (zh) | 一种缺苗标记方法、装置、计算机设备和存储介质 | |
| CN114239756B (zh) | 一种虫害检测方法及系统 | |
| CN115272887A (zh) | 基于无人机检测的海岸带垃圾识别方法、装置以及设备 | |
| CN114430536B (zh) | 基于北斗定位模块的农业物联网方法、系统及云平台 | |
| CN113807135A (zh) | 基于语义分割网络的缺苗区域识别方法、设备和存储介质 | |
| CN107437262B (zh) | 作物种植面积预警方法和系统 | |
| CN113570273A (zh) | 一种灌溉耕地统计数据的空间化方法及系统 | |
| CN113807129A (zh) | 一种作物区域识别方法、装置、计算机设备和存储介质 | |
| CN116897668A (zh) | 一种电驱农作物播种施肥控制方法及系统 | |
| CN116843164A (zh) | 基于图像分析的农业机械智能化控制系统 | |
| CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
| CN116681959A (zh) | 基于机器学习的锋线识别方法、装置、存储介质及终端 | |
| CN115619286A (zh) | 一种评估育种田间小区样地质量的方法和系统 | |
| CN113221788B (zh) | 一种田块垄作特征提取方法及装置 | |
| CN114821268A (zh) | 一种基于机器学习的杂草与作物识别方法 | |
| CN114663652A (zh) | 图像处理方法、装置、管理系统、电子设备和存储介质 | |
| CN111753687A (zh) | 缺苗识别方法、装置、电子设备和计算机可读存储介质 | |
| CN116612139B (zh) | 基于深度学习的高精度种子发芽率测定方法、系统及装置 | |
| CN116823918B (zh) | 作物苗株数测量方法、装置、电子设备及存储介质 | |
| CN116912702B (zh) | 杂草覆盖度确定方法、系统、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |