CN113325868B - 一种基于无人机的农作物实时识别系统及方法 - Google Patents
一种基于无人机的农作物实时识别系统及方法 Download PDFInfo
- Publication number
- CN113325868B CN113325868B CN202110600066.4A CN202110600066A CN113325868B CN 113325868 B CN113325868 B CN 113325868B CN 202110600066 A CN202110600066 A CN 202110600066A CN 113325868 B CN113325868 B CN 113325868B
- Authority
- CN
- China
- Prior art keywords
- image
- crop
- aerial vehicle
- unmanned aerial
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000002347 injection Methods 0.000 claims description 6
- 239000007924 injection Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000011835 investigation Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无人机的农作物实时识别系统，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，其中，无人机平台上设置有图像采集装置和农作物识别模块，航线规划模块设置在所述服务器中；本发明还公开了一种基于无人机的农作物实时识别方法，该方法在服务器规划好无人机航线后，上传至移动终端，无人机收到指令后即可执行农作物图像采集及农作物实时识别任务，并将得到的农作物图像与最终识别结果上传至农情数据库。农作物类型识别模块基于YOLOv3训练好的农作物识别模型实现。
Description
技术领域
本发明涉及农作物调查、监测技术领域，特别是涉及一种基于无人机的农作物实时识别系统及方法。
背景技术
纵观古今，农业乃我国的立国之本，在我国的经济发展中占有举足轻重的地位。近年来，国内外学者在运用遥感技术识别农作物种类方面的研究有一定进展，且大多将长时间序列遥感影像与农作物物候特征结合来实现农作物分类。在我国农业现代化快速发展的驱使下，“精细农业”这一概念已渗透到农业生产的各个层面。无人机以其操作灵活、分辨率高等优势，已成为采集精细农业信息的重要工具，尤其广泛应用于农作物分类，其实现的本质是分析不同作物在图像中的纹理特征、光谱特征。经过长期的实际操作我们发现，现有方法仍存在以下不足：
1、高成本：传统的农作物调查模式需派遣人员前往实地调查，并人工记录数据，需投入大量人力物力财力。而就遥感技术方面来看，遥感数据的准确解译，仍离不开大量的地面验证数据。
2、遥感数据的不确定性：遥感数据易受天气、大气、电磁等外界因素的干扰，且分辨率较低，导致遥感图像分类的结果不确定性高，农作物类型识别精度较低。
3、田间作业环境复杂：在实际农情调查中，无人机操作存在农村建筑物分布零散，电线错综复杂，树木高矮不一，河流网络密布，田块大小分布不均等问题。在综合考虑农村调查环境及无人机电池续航能力的前提下，如何规划好无人机调查线，确保能够收集到足够且具有空间代表性的地面验证影像资料，是开展无人机农情普查工作亟待解决的问题。
4、农作物类型入库工作繁杂：目前在农情调查调查工作中，虽已用无人机获取近地面的无人机影像资料，但常出现内、外业沟通、协调不便现象。并且，后期农作物类型及入库工作多为人工，倘若发现调查样本存在数量或质量的缺失，则无法弥补，将极大降低工作效率和调查工作的准确性。为此，设计出一套可实现内、外业协同分析的农作物实时识别系统，是开展无人机农情普查工作中急需解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于无人机的农作物实时识别系统及方法，用以解决背景技术中提及的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于无人机的农作物实时识别系统，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，所述无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、农作物识别模块、服务器和移动终端之间互相通讯；
所述图像采集装置用于对待调查区域进行连续图像采集，获取所述待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，所述第一图像为所述无人机平台处于距离地面100m～500m的空中时，所述图像采集装置获取的所述待调查区域的整体图像，所述第二图像为所述无人机平台处于距离地面15m～20m的空中时，所述图像采集装置获取的所述待调查区域的部分图像；
所述服务器不仅接收所述第一图像，还接收用户通过GNSS手持机获取到的所述待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器端的航线规划模块；
所述航线规划模块基于待调查区域相对应的卫星底图和采集的地面控制点坐标信息对所述第一图像，采用仿射变换模型对其进行图像校正处理，得到几何校正后的第一图像，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对所述初始低飞航线进行修正，得到最终低飞航线，所述航线规划模块将该最终低飞航线传输至移动终端；
所述移动终端接收并且展示所述第一图像、第二图像以及所述最终低飞航线，所述移动终端将获取的所述最终低飞航线传输至所述无人机平台，所述无人机平台根据所述最终低飞航线在空中飞行；
所述农作物识别模块接收所述第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果。
进一步的，所述图像采集装置为像素值大于或者等于1200万的相机，所述农作物识别模块采用Jetson TX1芯片，并且该芯片中加载有已训练好的农作物识别模型，该模型是以DarkNet-53卷积神经网络作为提取特征的主干网络，基于COCO Dataset和所述无人机平台拍摄的农作物图像构成的数据集，使用YOLOv3目标检测算法训练出的模型，并且所述DarkNet-53卷积神经网络中的批量归一化层被替换为群组归一化层。
进一步的，用户在移动终端通过实时查看所述移动终端展示的所述第二图像以及最终低飞航线，若发现所述第二图像中的某一张或者某几张图像存在异常，则通过移动终端标记出异常图像对应的无人机低飞航线中的航点，并将该航点传输至无人机平台，所述无人机平台根据获取到的异常航点，重新拍摄该航点的图像；若无异常，用户通过移动终端发出指定给到所述农作物识别模块，所述农作物识别模块识别所述第二图像中的农作物种类。
进一步的，所述识别结果具体为所述第二图像中农作物的分类结果，并且该分类结果被标注在图像中相应的农作物位置处。
进一步的，该系统还包括农情数据库，所述农作物识别模块将生成的识别结果上传至服务器的农情数据库中。
进一步的，所述移动终端包括平板电脑、智能手机。
一种基于无人机的农作物实时识别系统的识别方法，包括如下步骤：
步骤S1、通过无人机平台上的图像采集装置获取待调查区域的第一图像，并且通过GNSS手持机获取所述待调查区域的地面控制点坐标信息；
步骤S2、根据步骤S1中的获取的地面控制点信息，将第一图像与卫星遥感影像进行几何校正处理，得到经几何校正后的第一图像，使其具有对应的几何坐标信息，该图像为校正后的图像；
步骤S3、将步骤S2中得到的配准后的图像输入预先训练好的的YOLOv3障碍物识别模型中进行识别，获得所述待调查区域的障碍物及其坐标，并且通过多尺度组合聚合分割算法对所述配准后的图像进行处理，获得所述待调查区域的各个地块的边界；
步骤S4、通过多边形三角剖分骨架图分析所述各个地块之间的拓扑关系和几何关系，获取所述各个地块的中心点，然后根据所述机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线；
步骤S5、以所述障碍物为圆心，10m为半径的圆作为障碍物的缓冲区，采用引射线法判断所述初始低飞航线中的航点是否在所述缓冲区内，然后剔除所述缓冲区内的航点，生成最终低飞航线；
步骤S6、移动终端接收所述最终低飞航线，并且将该最终低飞航线传输至无人机平台，当所述无人机平台每到达一个航点时，图像采集装置在距离地面15m～20m的高度上垂直向下拍摄图像，该图像为第二图像；
步骤S7、所述第二图像被传输至农作物识别模块中进行农作物识别，得到识别结果，该识别结果被上传至农情数据库。
进一步的，在所述步骤S4中，根据所述机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线，具体包括：计算所述无人机平台在任意两个中心点处拍摄的第二图像之间的重叠度，删除重叠度大于0.3对应的两个中心点，保留其他中心点，对其他中心点进行拟合，生成初始低飞航线。
进一步的，在所述步骤S5中，所述采用引射线法判断所述初始航线中的航点是否在所述缓冲区内具体包括：从初始低飞航线中的航点出发引出一条射线，判断该射线与缓冲区所有边的交点个数，若交点个数为奇数，则剔除或移动该航点；反之，则保留。
进一步的，在所述步骤S7中，当所述农作物识别模块获取到所述第二图像时，首先判断所述农作物识别模块中是否加载有已训练好的该类农作物识别模型，若有，则通过该农作物识别模型识别第二图像中的农作物种类，若无，则构建该类农作物数据集，并基于YOLOv3目标检测算法训练所述农作物识别模型。
本发明的有益效果是：
1、本发明以无人机为载体，集GNSS定位、无人机路径规划、农作物自动识别、无人机-平板-服务器端协同分析的数据传输等技术为一体，实现高频次、高密度、客观、精准、快速、低成本地获取目标地块的农作物影像资料、类别、位置、类型分布等信息。
2、本发明实现了无人机在农田环境下基于田块划分的路径规划，不仅可获取与每个田块相对应的无人机调查影像，防止出现漏拍，多拍等情况，同时，缓解了实际农田调查中调查范围广而无人机电池储备能力有限的矛盾冲突，切实提高了农作物执行检测任务的效率与信息化技术水平。
3、本发明解决了传统的农作物调查模式耗时费力、空间代表性不足等问题，提升了实地操作人员的便利性，并极大提高了农情调查与监测的工作效率和准确度，为遥感农情数据的监测提供大量优质的地面验证样本，顺应现代化农业向自动化、精准化、智能化方向发展的趋势，促进农业可持续性发展。
附图说明
图1为本实施例1中提供的基于无人机的农作物实时识别系统的各模块交互示意图。
图2为本实施例1中提供的基于无人机的农作物实时识别系统中内、外业流程示意图。
图3为本实施例2中无人机平台航线规划流程示意图。
图4为本实施例2中农作物识别流程示意图。
图5为本实施例2中进行农作物识别之后，得到识别结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1和图2，本实施例提供一种基于无人机的农作物实时识别系统，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、航线规划模块、农作物识别模块、服务器和移动终端之间可互相通讯。
图像采集装置用于对待调查区域进行连续图像采集，获取待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，第一图像为无人机平台处于距离地面100m～500m的空中时，图像采集装置获取的待调查区域的整体图像，第二图像为无人机平台处于距离地面15m～20m的空中时，图像采集装置获取的待调查区域的部分图像。
服务器接收第一图像，还接收用户通过GNSS手持机获取到的待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器，其中，该用户为外业人员。
航线规划模块用于对第一图像以及地面控制点坐标信息进行几何校正处理，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对初始低飞航线进行修正，得到最终低飞航线，航线规划模块将该最终低飞航线传输至移动终端。
移动终端接收并且展示第一图像、第二图像以及最终低飞航线，移动终端将获取的最终低飞航线传输至无人机平台，无人机平台根据最终低飞航线在空中飞行。
农作物识别模块接收第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果。
具体的说，图像采集装置、农作物识别模块、无人机平台、航线规划模块、服务器和移动终端之间可以通过常规的通信手段实现互相通讯，比如：4G或者5G移动蜂窝网络。
具体的说，在本实施例中，图像采集装置为像素值大于或者等于1200万的相机，农作物识别模块采用Jetson TX1芯片，Jetson TX1芯片是一台超高性能、低功耗的超级计算机模块，并且该芯片中加载有已训练好的农作物识别模型，该模型是以DarkNet-53卷积神经网络作为提取特征的主干网络，基于COCO Dataset和无人机平台拍摄的农作物图像构成的数据集，使用YOLOv3目标检测算法训练出的模型，并且DarkNet-53卷积神经网络中的批量归一化层(BN)被替换为群组归一化层(GN)，以避免BN对批处理大小(batch size)的依赖性，改善训练网络时误差加大的弊端。
具体的说，在本实施例中，内业人员通过实时查看所述移动终端展示的所述第二图像以及最终低飞航线，若发现所述第二图像中的某一张或者某几张图像存在异常，则通过移动终端标记出异常图像对应的无人机低飞航线中的航点，并将该航点传输至无人机平台，所述无人机平台根据获取到的异常航点，重新拍摄该航点的图像；若无异常，用户通过移动终端发出指定给到所述农作物识别模块，所述农作物识别模块识别所述第二图像中的农作物种类。
具体的说，在本实施例中，所述识别结果具体为所述第二图像中农作物的分类结果，并且该分类结果被标注在图像中相应的农作物位置处。
具体的说，在本实施例中，该系统还包括农情数据库，所述农作物识别模块将生成的识别结果传输至农情数据库以及所述服务器，更具体的说，识别结果被导出为csv文件，然后被传输至农情数据库，同时，也上传到服务器，再由内业人员处理后，自动发布在用户APP端或网页端。
具体的说，在本实施例中，移动终端包括平板电脑、智能手机。
具体的说，参见图2，本系统的数据之间的交互主要围绕无人机平台、移动终端以及服务器端三方，更具体的说：
1、无人机平台与移动终端：外业人员基于开发的无人机长期–协同生态环境观测系统(FragMAP)APP，可在移动终端实时查看无人机平台拍摄的照片。(具体的说，上述无人机长期–协同生态环境观测系统请参见Yi.FragMAP:a tool for long-term andcooperative monitoring and analysis of small-scale habitat fragmentationusing an unmanned aerial vehicle[J].International Journal of Remote Sensing,2017,38(8-10).)
若操作者中途发现反馈的图像有异常，可标记并上传该航点，要求无人机平台重新拍摄；若图像并无异常，则可执行农作物识别模块，获取所拍摄地块农作物的类型和位置。
2、移动终端与服务器端：外业人员在移动终端将最新获取的待调查区域的高飞无人机图像和野外测定的GNSS地面控制点上传至服务器端，内业人员在服务器端进行图像配准及低飞无人机航线规划任务，最后将规划好的低飞无人机航线上传回移动终端。
3、服务器端与无人机平台：首先，无人机平台负责收集农作物影像数据集，上传至服务器端。其次，内业人员基于收集的数据和YOLOv3目标检测算法训练农作物识别模型，并将最优作物识别模型传回无人机的Jetson TX1芯片中。最后，基于无人机平台搭载的农作物识别模型，实现无人机端的作物自动实时识别功能。
实施例2
参见图3-图5，本实施例提供一种基于无人机的农作物实时识别方法，其特征在于，包括如下步骤：
步骤S1、根据调查范围和实际情况，无人机平台高飞至100m～500m，通过无人机平台上的图像采集装置获取待调查区域的第一图像，并且通过GNSS手持机获取待调查区域的地面控制点坐标信息，并且该第一图像以及对应的地面控制点坐标信息被上传至服务器；
步骤S2、内业人员在服务器下载第一图像以及对应的地面控制点坐标信息，并且对其进行几何校正处理，使其具有对应的集合坐标信息，得到经几何校正后的图像；
步骤S3、将步骤S2中得到的配准后的图像输入预先训练好的的YOLOv3障碍物识别模型中进行识别，获得待调查区域的障碍物及其坐标，并且通过多尺度组合聚合分割算法对配准后的图像进行处理，获得待调查区域的各个地块的边界；
具有的说，通过多尺度组合聚合分割算法对配准后的图像进行处理，获得待调查区域的各个地块的边界具体包括：
步骤S301、确定最合适地面下采样距离及采用分块策略对校正后的第一图像进行预处理。为提高运算速率及地块准确识别度，采用双线性插值法对第一图像进行下采样，其中，最优地面采样通过对比不同地面采样距离下所获的地块边界准确性而择优确定。其次，采用分块分割策略，对采样后的影像，切分成相同像素大小的影像瓦片。
步骤S302、采用多尺度组合聚合分割算法对校正后的第一图像进行轮廓检测和分割处理，并且分析边界提取准确率，选择最优的分割尺度，进行分割；
步骤S303、对步骤S302经过分割后的第一图像进行二值化处理，形成边界图。
更具体的说，在本实施例中，虽然高分辨率影像能够清楚地显示地物细节信息，但空间分辨率的提高并不能保证地块边界准确率的提高，关键在于找到地物与地物尺度相匹配地空间分辨。高分辨率无人机影像幅面大，难以直接处理，采用分块分割策略，既能克服大幅面下无人机影像难以直接分割的难点，又能提高实用性。
多尺度组合聚合分割算法是一种快速、有效的轮廓检测和图像分割算法。首先该方法基于结构森林边缘检测器快速检测图像边缘，但此时边缘是非闭合的线段；然后通过频谱划分来考虑局部和全局图像尺度上的边缘，使用有向分水岭变换将检测的边缘生成闭合区域，并消除纹理化区域中的无关边缘来识别最初的轮廓；最后通过全局化加权每个边界和区域，将每个像素的大小转换为边界概率，构建一个定义分层分割的超度量等高图。
农业用地在高分辨率无人机遥感影像上呈现地块相对规整，地块尺寸大小不一，细节信息十分清楚。使用多尺度组合聚合分割算法进行轮廓检测，获得超度量等高图，不仅各地块间的边界清晰可见，且同一地块内部的细小边界也可见。由于超度量等高图的值表示这些区域的等级，取值范围为[0，1]，通过改变超度量等高图值的大小能够改变分割区域的大小，故将超度量等高图的值定义为尺度k，通过控制尺度k的大小将超度量等高图二值化形成边界图，去除细节信息，保留明显边界，解决由于地块尺寸大小不一致导致的过分割问题，提高地块边界提取的准确性。
步骤S4、通过多边形三角剖分骨架图分析各个地块之间的拓扑关系和几何关系，获取各个地块的中心点，然后根据机载相机获取图像的覆盖范围，剔除多余的中心点，生成初始低飞航线；
具体的说，在本实施例中，本实施例基于多边形三角剖分骨架图结构，借鉴图论领域的中心性理论，定义骨架图顶点的中心性度量，进而获得中心性较高的骨架顶点作为面状目标的形状中心。
在图论中，居间中心性是一种基于最短路径的对图中节点的中心性测度，由通过一个顶点的所有最短路径数目来表达。
本专利因考虑到视觉特征点之间的骨架路径反映了形状视觉特征部分的连贯性，由此定义骨架图中节点的居间中心性为经过该节点骨架路径的数目。
定义1骨架图节点V的居间中心性：经过V的骨架路径的数目。计算公式如下：
公式(1)中，Cb(V)表示为某一节点V的居间中心性，ps，V，t表示为连接端点s、t并且经过节点V的路径；
图论中邻近中心性是另一种图中节点的中心性测度，通过计算节点到图中其他所有节点的最短路径长度的总和的倒数求得。因考虑骨架点到各个视觉特征点邻近性感受的均衡性，本实施例定义骨架图节点到骨架图端点的骨架枝长度标准差的倒数作为骨架图节点的邻近中心性。
定义2骨架图节点V的邻近中心性：V到各个端点s的骨架枝的带权长度dw(V，s)标准差M的倒数。计算公式如下：
公式(2)中，Cc(V)表示为某一节点V的邻近中心性，dw(V，s)表示为节点V到各个端点s的骨架枝的带权长度，M表示为该带权长度的倒数，骨架枝对应边的权w取长度、宽度或者面积。
通过计算骨架图中结点的中心性得到三角剖分骨架图上各个节点的中心性程度，对其进行排序，得到中心性程度最大的点即可作为区域的形状中心点。
更具体的说，然后根据机载相机获取图像的覆盖范围，剔除多余的中心点，包括：计算所述无人机平台在任意两个中心点处拍摄的第二图像之间的重叠度，删除重叠度大于0.3对应的两个中心点，保留其他中心点，对其他中心点进行拟合，生成初始低飞航线。
步骤S5、以障碍物为圆心，10m为半径的圆作为障碍物的缓冲区，采用引射线法判断初始低飞航线中的航点是否在缓冲区内，然后剔除缓冲区内的航点，生成最终低飞航线；
具体的说，在本实施例中，采用引射线法判断初始低飞航线中的航点是否在缓冲区内具体包括：从初始低飞航线中的航点出发引出一条射线，判断该射线与缓冲区所有边的交点个数，若交点个数为奇数，则剔除或移动该航点；反之，则保留。
步骤S6、外业人员通过移动终端接收最终低飞航线，并且将该最终低飞航线传输至无人机平台，当无人机平台每到达一个航点时，图像采集装置在距离地面15m～20m的高度上垂直向下拍摄图像，该图像为第二图像；
步骤S7、第二图像被传输至农作物识别模块中进行农作物识别，得到识别结果，具体参见图5，该识别结果被上传至农情数据库。
具体的说，在本实施例中，在步骤S7中，当农作物识别模块获取到第二图像时，首先判断农作物识别模块中是否加载有已训练好的该类农作物识别模型，若有，则通过该农作物识别模型识别第二图像中的农作物种类，若无，则构建该类农作物数据集，并基于YOLOv3目标检测算法训练农作物识别模型。
具体的说，在本实施例中，在步骤S7中，当识别结果被上传至农情数据库，同时，该识别结果也被上传至服务器，服务器接收后再由内业人员处理，并且将识别结果发布在APP端或网页端。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于无人机的农作物实时识别系统，其特征在于，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，所述无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、农作物识别模块、服务器和移动终端之间互相通讯；
所述图像采集装置用于对待调查区域进行连续图像采集，获取所述待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，所述第一图像为所述无人机平台处于距离地面100m~500m的空中时，所述图像采集装置获取的所述待调查区域的整体图像，所述第二图像为所述无人机平台处于距离地面15m~20m的空中时，所述图像采集装置获取的所述待调查区域的部分图像；
所述服务器不仅接收所述第一图像，还接收用户通过GNSS手持机获取到的所述待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器端的航线规划模块；
所述航线规划模块基于待调查区域相对应的卫星底图和采集的地面控制点坐标信息对所述第一图像，采用仿射变换模型对其进行图像校正处理，得到几何校正后的第一图像，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对所述初始低飞航线进行修正，得到最终低飞航线，所述航线规划模块将该最终低飞航线传输至移动终端；
所述移动终端接收并且展示所述第一图像、第二图像以及所述最终低飞航线，所述移动终端将获取的所述最终低飞航线传输至所述无人机平台，所述无人机平台根据所述最终低飞航线在空中飞行；
所述农作物识别模块接收所述第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果；
所述多尺度组合聚合分割算法包括：基于结构森林边缘检测器快速检测图像边缘；通过频谱划分来考虑局部和全局图像尺度上的边缘，使用有向分水岭变换将检测的边缘生成闭合区域，并消除纹理化区域中的无关边缘来识别最初的轮廓；最后通过全局化加权每个边界和区域，将每个像素的大小转换为边界概率，构建一个定义分层分割的超度量等高图；
所述多边形三角剖分骨架图技术包括：基于多边形三角剖分骨架图结构，借鉴图论领域的中心性理论，定义骨架图顶点的中心性度量，进而获得中心性较高的骨架顶点作为面状目标的形状中心；具体的：
定义骨架图中节点的居间中心性为经过该节点骨架路径的数目；
定义骨架图中节点到骨架图端点的骨架枝长度标准差的倒数作为骨架图节点的邻近中心性；
通过计算骨架图中结点的中心性得到三角剖分骨架图上各个节点的中心性程度，对其进行排序，得到中心性程度最大的点即可作为区域的形状中心点；再根据图像采集装置获取图像的覆盖范围，剔除多余的中心点；具体包括：计算所述无人机平台在任意两个中心点处拍摄的第二图像之间的重叠度，删除重叠度大于0.3对应的两个中心点，保留其他中心点，对其他中心点进行拟合，生成初始低飞航线；
所述图像采集装置为像素值大于或者等于1200万的相机，所述农作物识别模块采用Jetson TX1芯片，并且该芯片中加载有已训练好的农作物识别模型，该模型是以DarkNet-53卷积神经网络作为提取特征的主干网络，基于COCO Dataset和所述无人机平台拍摄的农作物图像构成的数据集，使用YOLOv3目标检测算法训练出的模型，并且所述DarkNet-53卷积神经网络中的批量归一化层被替换为群组归一化层。
2.根据权利要求1所述的一种基于无人机的农作物实时识别系统，其特征在于，用户在移动终端通过实时查看所述移动终端展示的所述第二图像以及最终低飞航线，若发现所述第二图像中的某一张或者某几张图像存在异常，则通过移动终端标记出异常图像对应的无人机低飞航线中的航点，并将该航点传输至无人机平台，所述无人机平台根据获取到的异常航点，重新拍摄该航点的图像；若无异常，用户通过移动终端发出指定给到所述农作物识别模块，所述农作物识别模块识别所述第二图像中的农作物种类。
3.根据权利要求2所述的一种基于无人机的农作物实时识别系统，其特征在于，所述识别结果具体为所述第二图像中农作物的分类结果，并且该分类结果被标注在图像中相应的农作物位置处。
4.根据权利要求3所述的一种基于无人机的农作物实时识别系统，其特征在于，该系统还包括农情数据库，所述农作物识别模块将生成的识别结果上传至服务器的农情数据库中。
5.根据权利要求4所述的一种基于无人机的农作物实时识别系统，其特征在于，所述移动终端包括平板电脑、智能手机。
6.利用权利要求1-5中任一权利要求所述的一种基于无人机的农作物实时识别系统的识别方法，其特征在于，包括如下步骤：
步骤S1、通过无人机平台上的图像采集装置获取待调查区域的第一图像，并且通过GNSS手持机获取所述待调查区域的地面控制点坐标信息；
步骤S2、根据步骤S1中的获取的地面控制点信息，将第一图像与卫星遥感影像进行几何校正处理，得到经几何校正后的第一图像，使其具有对应的几何坐标信息，该图像为校正后的图像；
步骤S3、将步骤S2中得到的配准后的图像输入预先训练好的YOLOv3障碍物识别模型中进行识别，获得所述待调查区域的障碍物及其坐标，并且通过多尺度组合聚合分割算法对所述配准后的图像进行处理，获得所述待调查区域的各个地块的边界；
步骤S4、通过多边形三角剖分骨架图分析所述各个地块之间的拓扑关系和几何关系，获取所述各个地块的中心点，然后根据机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线；
步骤S5、以所述障碍物为圆心，10m为半径的圆作为障碍物的缓冲区，采用引射线法判断所述初始低飞航线中的航点是否在所述缓冲区内，然后剔除所述缓冲区内的航点，生成最终低飞航线；
步骤S6、移动终端接收所述最终低飞航线，并且将该最终低飞航线传输至无人机平台，当所述无人机平台每到达一个航点时，图像采集装置在距离地面15m~20m的高度上垂直向下拍摄图像，该图像为第二图像；
步骤S7、所述第二图像被传输至农作物识别模块中进行农作物识别，得到识别结果，该识别结果被上传至农情数据库；
在所述步骤S5中，所述采用引射线法判断初始航线中的航点是否在所述缓冲区内具体包括：从初始低飞航线中的航点出发引出一条射线，判断该射线与缓冲区所有边的交点个数，若交点个数为奇数，则剔除或移动该航点；反之，则保留。
7.根据权利要求6所述的一种基于无人机的农作物实时识别系统的识别方法，其特征在于，在所述步骤S4中，根据所述机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线，具体包括：计算所述无人机平台在任意两个中心点处拍摄的第二图像之间的重叠度，删除重叠度大于0.3对应的两个中心点，保留其他中心点，对其他中心点进行拟合，生成初始低飞航线。
8.根据权利要求6所述的一种基于无人机的农作物实时识别系统的识别方法，其特征在于，在所述步骤S7中，当所述农作物识别模块获取到所述第二图像时，首先判断所述农作物识别模块中是否加载有已训练好的该类农作物识别模型，若有，则通过该农作物识别模型识别第二图像中的农作物种类，若无，则构建该类农作物数据集，并基于YOLOv3目标检测算法训练所述农作物识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110600066.4A CN113325868B (zh) | 2021-05-31 | 2021-05-31 | 一种基于无人机的农作物实时识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110600066.4A CN113325868B (zh) | 2021-05-31 | 2021-05-31 | 一种基于无人机的农作物实时识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113325868A CN113325868A (zh) | 2021-08-31 |
| CN113325868B true CN113325868B (zh) | 2023-02-28 |
Family
ID=77422587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110600066.4A Active CN113325868B (zh) | 2021-05-31 | 2021-05-31 | 一种基于无人机的农作物实时识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113325868B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140519A (zh) * | 2021-11-30 | 2022-03-04 | 江西裕丰智能农业科技有限公司 | 农业用地内农作物的数量确定方法、装置、计算机设备 |
| CN115019216B (zh) * | 2022-08-09 | 2022-10-21 | 江西师范大学 | 实时地物检测和定位计数方法、系统及计算机 |
| CN115514979A (zh) * | 2022-09-26 | 2022-12-23 | 上海翰萨智能科技有限公司 | 一种无人机远程自动控制系统及控制方法 |
| CN115713700B (zh) * | 2022-11-23 | 2023-07-28 | 广东省国土资源测绘院 | 一种空地协同的典型农作物种植样本采集方法 |
| CN115834845A (zh) * | 2023-02-24 | 2023-03-21 | 山东慧创信息科技有限公司 | 一种基于物联网的无人机土地数据识别系统 |
| CN116185079B (zh) * | 2023-04-28 | 2023-08-04 | 西安迈远科技有限公司 | 一种基于自适应巡航的无人机施工巡检航线规划方法 |
| CN116225072B (zh) * | 2023-05-09 | 2023-07-18 | 济宁市兖州区同瑞机械有限公司 | 一种适用于农业运输机的路线实时规划管理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977924A (zh) * | 2019-04-15 | 2019-07-05 | 北京麦飞科技有限公司 | 针对农作物的无人机机上实时图像处理方法及系统 |
| CN110657891A (zh) * | 2019-09-29 | 2020-01-07 | 浙江农林大学 | 一种无人机运用多光谱侦查相机对植物识别的技术 |
| CN110956187A (zh) * | 2019-11-28 | 2020-04-03 | 中国农业科学院农业信息研究所 | 一种基于集成学习的无人机影像植物冠层信息提取方法 |
| CN111556157A (zh) * | 2020-05-06 | 2020-08-18 | 中南民族大学 | 农作物分布的监测方法、设备、存储介质及装置 |
| CN111753688A (zh) * | 2020-06-12 | 2020-10-09 | 广州极飞科技有限公司 | 种植行中心线确定方法、装置、电子设备及存储介质 |
| CN112580493A (zh) * | 2020-12-16 | 2021-03-30 | 广东省林业科学研究院 | 基于无人机遥感的植物识别方法、装置、设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110600066.4A patent/CN113325868B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977924A (zh) * | 2019-04-15 | 2019-07-05 | 北京麦飞科技有限公司 | 针对农作物的无人机机上实时图像处理方法及系统 |
| CN110657891A (zh) * | 2019-09-29 | 2020-01-07 | 浙江农林大学 | 一种无人机运用多光谱侦查相机对植物识别的技术 |
| CN110956187A (zh) * | 2019-11-28 | 2020-04-03 | 中国农业科学院农业信息研究所 | 一种基于集成学习的无人机影像植物冠层信息提取方法 |
| CN111556157A (zh) * | 2020-05-06 | 2020-08-18 | 中南民族大学 | 农作物分布的监测方法、设备、存储介质及装置 |
| CN111753688A (zh) * | 2020-06-12 | 2020-10-09 | 广州极飞科技有限公司 | 种植行中心线确定方法、装置、电子设备及存储介质 |
| CN112580493A (zh) * | 2020-12-16 | 2021-03-30 | 广东省林业科学研究院 | 基于无人机遥感的植物识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113325868A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113325868B (zh) | 一种基于无人机的农作物实时识别系统及方法 | |
| Goodbody et al. | Assessing the status of forest regeneration using digital aerial photogrammetry and unmanned aerial systems | |
| CN109949326B (zh) | 基于背包式三维激光点云数据的建筑物轮廓线提取方法 | |
| CN107735794B (zh) | 使用图像处理的状况检测 | |
| US20150130840A1 (en) | System and method for reporting events | |
| JP6273473B2 (ja) | 森林情報管理装置 | |
| US11238282B2 (en) | Systems and methods for automated detection of changes in extent of structures using imagery | |
| US20220004740A1 (en) | Apparatus and Method For Three-Dimensional Object Recognition | |
| CN113239864A (zh) | 一种适用于农业调查的无人机的路线规划方法 | |
| CN108711172A (zh) | 基于细粒度分类的无人机识别与定位方法 | |
| CN112630160A (zh) | 一种基于图像采集的无人机航迹规划土壤湿度监测方法、系统及可读存储介质 | |
| CN116486289A (zh) | 一种多源数据和知识驱动下的燃气管道高后果区识别方法 | |
| CN113284144A (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN114639023A (zh) | 一种基于机器学习的屋顶光伏潜力评估方法 | |
| CN113223155A (zh) | 一种距离预测方法、装置、设备及介质 | |
| CN113033386A (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| Sui et al. | Processing of multitemporal data and change detection | |
| CN113340307A (zh) | 一种基于田块划分的无人机路径规划方法 | |
| Yajima et al. | Ai-driven 3d point cloud-based highway infrastructure monitoring system using UAV | |
| CN111985497B (zh) | 架空输电线路下吊车作业识别方法及系统 | |
| CN115164769A (zh) | 一种基于倾斜摄影技术的三维不动产测算方法 | |
| CN114298229A (zh) | 作物类别确定方法、装置、电子设备及存储介质 | |
| CN111860038B (zh) | 一种农作物前端识别装置及方法 | |
| FAN et al. | Intelligent antenna attitude parameters measurement based on deep learning ssd model | |
| Mudau et al. | Towards development of a national human settlement layer using high resolution imagery: a contribution to SDG reporting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |