CN110569786A - 一种基于无人机数据采集的果树识别和数量监测方法及系统 - Google Patents
一种基于无人机数据采集的果树识别和数量监测方法及系统 Download PDFInfo
- Publication number
- CN110569786A CN110569786A CN201910840661.8A CN201910840661A CN110569786A CN 110569786 A CN110569786 A CN 110569786A CN 201910840661 A CN201910840661 A CN 201910840661A CN 110569786 A CN110569786 A CN 110569786A
- Authority
- CN
- China
- Prior art keywords
- fruit tree
- data
- fruit
- tree
- dem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 239000002420 orchard Substances 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 230000008030 elimination Effects 0.000 claims abstract description 7
- 238000003379 elimination reaction Methods 0.000 claims abstract description 7
- 239000004744 fabric Substances 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 32
- 238000005520 cutting process Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 241000132456 Haplocarpha Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于无人机数据采集的果树识别和数量监测方法，包括：S1‑1，对无人机采集的多幅图像进行拼接，根据拼接后的图像得到三维点云数据集和数字表面模型DSM数据；S1‑2，对三维点云数据集进行布料模拟滤波CSF处理，得到数字高程模型DEM数据；S1‑3，对DEM进行异常值剔除和DEM校准；S1‑4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据转化为灰度图，再进一步将灰度图转化为假彩图图像。本发明还提出一种对应的系统。本发明解决了树木影子和杂草对无人机遥感图像处理产生影响，提高了果树识别和数量统计精度。
Description
技术领域
本发明涉及一种精细化果园管理方法，尤其涉及一种基于无人机数据采集的果树识别和数量监测方法及系统。
背景技术
果园精准管理是农业信息化的重要组成部分，也是提高果园管理效率、提高经济收入的有效途径。随着遥感技术空间分辨率的提高，遥感与计算机技术融合发展，在果园面积监测、病虫害监测、果树个体检测等方面取得了众多突破。尤其是近年来无人机低空遥感技术的快速发展，使遥感数据获取更加灵活和便捷，成本更低，促进了遥感在农业上的应用。
对果树的个体识别和准确计数是进行精准施肥、精准用药、产量预测、农业保险等果园现代化应用的重要数据基础。由于现代果园规模越来越大，依靠人工统计方法进行果园个体识别和计数困难较大。另外，为了适应果园日常管理，对果树的识别和计数应该更加精准并具有实时性。
中国专利申请“CN201910207888.9一种基于深度学习卷积神经网络的果树长势监控系统”实现了一种根据果园照片自动分离出单株果树轮廓，并对单株果树长势进行判断分类的方法。该专利申请利用深度学习方法，在果树各个生长周期利用无人机拍摄监控地块照片，并利用基于卷积神经网络的目标检测方法分离出单株果树，并利用计算机视觉算法勾画果树表型特征，同时对果树长势进行分类和评价，从而实现对果树的自动长势监测管理。另外，王上上等在仲恺农业工程学院学报2017年第30卷第3期发表的“无人机遥感技术对园林树木的计数统计”中提出利用eCognition软件对无人机遥感图像进行处理，实现了公园不同种类树木的树冠统计。
在利用无人机低空遥感图像进行果园果树识别提取中，基于光谱(颜色)特征的果树识别方法通常容易受到光照强度及阴影的干扰。例如，在不同季节不同时间段不同地域、由于太阳照射角度不同，导致果树的阴影会随之发生变化。正是由于阴影具有动态变化的特征，在图像识别处理中往往难以消除阴影，导致识别精度下降。在基于机器学习的果树识别方法中，由于训练数据与测试数据的采集时间、地点、光照状况不同，训练数据与测试数据存在明显特征差异，导致训练出来的识别模型环境适应性较差。
同时，基于光谱(颜色)特征的果树识别方法还存在将杂草或者其他具有相似颜色的植被错误分类成果树的现象，也就是说在果树识别提取中，颜色特征本身在类别的区分度上区分度较差。
再次，在果树识别和数目统计中，还存在重复计数的现象。例如，同一株果树可能出现在无人机所拍摄的多幅图像中，如果不进行去重处理，会产生重复计数问题，影响计算结果的准确性。另外，经过无人机图像拼接后所得到的园区整体图像，由于其尺寸大小超过图像处理算法单次能够处理的图像大小的最大限制，往往需要切分后才能进行果树识别处理。在切分边界上，存在一棵树被切分在不同子图像中的现象，容易导致该果树识别失败、或者该果树在两个子图或者多个子图中同时被识别为果树，这样也导致了果树被重复计数，从而影响了果园数目统计的最终精度。
综上所述，其一，在果树识别提取中光谱(颜色)特征不是理想的稳定性高、区分度好的特征，从而可能影响果树识别的精度和识别方法的环境适应性。其二，果树识别处理中还需要克服果树重复计数的难题。
发明内容
针对背景技术中的问题，本发明提出一种基于无人机数据采集的果树识别和数量监测方法，包括：
S1-1，对无人机采集的多幅图像进行拼接，根据拼接后的图像得到三维点云数据集和数字表面模型DSM数据；
S1-2，对三维点云数据集进行布料模拟滤波CSF处理，得到数字高程模型 DEM数据；
S1-3，对DEM进行异常值剔除和DEM校准；
S1-4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据转化为灰度图，再进一步将灰度图转化为假彩图图像。
根据另一个实施方式，本发明提出一种基于无人机数据采集的果树识别和数量监测方法，包括：
S1，对无人机采集的图像数据进行处理来提取果树树高数据，将果树树高数据转化为灰度图，然后将灰度数据转换成假彩色图像；
S2，将果树树高假彩图进行裁剪形成多个子图像，标注子图像中代表果树的不规则点作为果树训练样本库；
S3，对果树训练样本库进行果树单株识别模型的训练，得到果树单株识别模型；
S4，以统一坐标系为基础，将果树树高假彩图裁剪为小图，剪裁后的小图与其四周临近图像保持一定的重叠度，然后利用S3中的果树训练出的果树识别模型，逐一识别小图中的果树并记录果树在小图中的位置信息，识别后将所识别的果树的位置进行坐标转换处理，计算其在统一参考坐标系下的位置值，并将图像重叠部分所识别的果树根据距离进行合并处理，得到果园果树信息。
本发明还提出一种基于无人机数据采集的果树识别和数量监测系统，包括：
树高计算单元，所述树高计算单元对无人机采集的图像数据进行处理来提取果树树高数据，将果树树高数据转化为灰度图，然后将灰度数据转换成假彩色图像；
果树样本库制作单元，所述果树样本库制作单元将果树树高假彩图进行裁剪形成多个子图像，标注子图像中代表果树的不规则点作为果树训练样本库；
果树单株识别单元，所述果树单株识别单元对果树训练样本库进行果树单株识别模型的训练，得到果树单株识别模型；
果树计数统计单元，所述果树计数统计单元以统一坐标系为基础，将果树树高假彩图裁剪为小图，剪裁后的小图与其四周临近图像保持一定的重叠度，然后利用果树单株识别单元中的果树训练出的果树识别模型，逐一识别小图中的果树并记录果树在小图中的位置信息，识别后将所识别的果树的位置进行坐标转换处理，计算其在统一参考坐标系下的位置值，并将图像重叠部分所识别的果树根据距离进行合并处理，得到果园果树信息。
本发明的有益效果为：提出一种基于无人机数据采集的果树识别和数量监测系统及方法，通过对无人接遥感图像进行拼接处理,分别得到果园果树的数字表面模型(DSM,Digital Surface Model)及果园果树的三维点云数据,通过对三维点云的滤波处理获得果园果树的数字高程模型(DEM,Digital Elevation Matrix), 根据DEM数据和DSM数据计算果树高度。基于上述果树高度灰度图像,利用深度学习目标识别方法，实现果园果树的精准识别,降低或者避免了树木阴影和杂草等相似植被在无人机遥感图像处理过程中产生的不利影响，提高了果树识别和数量统计精度。
附图说明
为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。
图1为本发明的系统的系统结构图。
图2为本发明的方法的树高计算流程图。
图3为本发明的方法的果树单株识别模型训练过程图。
图4为本发明的方法的果树技术统计单元实现流程图。
图5为本发明的方法的单株果树位置标识坐标图。
具体实施方式
下面参照附图描述本发明的实施方式，其中相同的部件用相同的附图标记表示。在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合。
本发明提供一种基于无人机数据采集的果树识别和数量监测系统，如图1所示，本发明的系统包括：树高计算单元、果树样本库制作单元、果树单株识别单元、果树计数统计单元和产品输出单元。
所述树高计算单元对无人机低空遥感采集的图像数据进行处理来提取果树树高数据，例如可以利用布料模拟滤波(Cloth Simulation Filter，CSF)算法,针对无人接图像拼接后生成的三维点云数据,用布料模拟滤波(Cloth Simulation Filter，CSF)算法计算果园的数字高程数据(DEM,Digital Elevation Matrix),并计算DSM数据与DEM的差值来获取果树的高度数据。然后,将果树树高数据通过归一化处理转化为灰度图像,再将灰度数据转换成假彩色图像,使其满足主流深度学习算法对输入数据维度的要求(主流深度学习方法多数基于三通道RGB彩色图像)，为后续单元的工作提供数据准备。
所述果树样本库制作单元将完整的果园树高假彩图按照固定尺寸进行裁剪，形成多个子图像，人工标注子图像中代表果树的不规则点，作为果树样本训练集合，制作成果树识别训练样本库，为果树识别和计数提供训练样本。
所述果树单株识别单元以果树样本库为基础，采用基于深度学习的目标检测方法，例如SSD(Single Shot MultiBox Detector))、YOLOV3(You Only Look Once) 等主流深度学习识别框架，进行果树单株识别模型的训练，获得训练参数，得到果树单株识别模型，为果树计数统计单元服务。SSD及YOLOV3等为计算机领域广泛采用的主流深度学习目标识别框架，不再进行详细叙述。
所述果树计数统计单元以统一坐标系为基础，对果树树高假彩图按照固定尺寸裁剪，化大图为小图。在剪裁尺寸的选取上以同时兼顾识别精度和识别效率为标准，同时，在图像剪裁的空间位置策略上，采用重叠剪裁的策略，使得剪裁后的小图与其四周临近图像保持一定的重叠度。
然后，果树计数统计单元利用果树单株识别单元中果树训练出的果树识别模型，逐一识别小图中的果树并记录果树在小图中的位置信息，识别后将所识别的果树的位置进行坐标转换处理，计算其在统一参考坐标系下的位置值，并将相邻图像的重叠部分所识别的果树根据距离进行合并处理，避免果树数目重复计数，最后生成果园整体数据，包括果园内果树的总数量，果树位置、果树大小及高度、果树平均密度、总株数等统计信息。
所述产品输出单元根据前面所述的果树计数统计单元，将果树的统计结果制作成果树矢量位置图、果园果树总数量等数字产品，并输出矢量图、统计表。
下面详细描述每个单元的工作流程。
树高计算单元
树高计算单元通过对无人机获取的原始图像进行处理，获取果园树高假彩图。其主要处理过程如图2所示。
S1-1，对无人机采集的多幅图像(图像1～n)进行拼接，根据拼接后的图像得到三维点云数据集和DSM数据。
S1-2，对三维点云数据集进行CSF滤波算法处理，得到DEM数据。
S1-3，对DEM进行异常值剔除和DEM校准，得到精度更高的DEM数据。
S1-4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据通过归一化处理转化为灰度图，然后再将灰度图转化为假彩图,作为后续处理的输入数据源。
需要指出的是，树高计算单元中进行了异常值处理和校准、假彩图转换。
(1)异常值处理和校准：
通过CSF滤波算法处理获得的DEM数据是在无实际参照点基础上的相对数据，为了避免数据误差造成后期处理的问题，本发明在步骤S1-3中加入了实际参照点对DEM和进行校准，剔除异常值，并进行整体误差校准。
异常值处理的步骤包括：
A1，获得实际参照点，例如，获得果园多个不同位置的点的地面高度SH、较低果树高度LTH、较高果树高度HTH。实际参照点的获取采用地面调查和测量的方法，可以借助于专业的地面测量工具，也可以通过其他方法，获取果园多个不同位置的点的地面高度SH、较低果树高度LTH、较高果树高度HTH。
A2，将地面高度SH和两倍的较高果树高度HTH作为最小和最大值，对DEM 中低于SH和高于2*HTH的数据进行剔除。
A3，将实际参照点的数据和相对DEM值进行比较，建立回归方程，利用实际测量点对相对DEM进行校准，求得新的DEM数据。
(2)假彩图转换：
在S1-4中将果树高度生成的灰度图进行伪彩色处理，转化为具有三通道的假彩色图。
果树样本库制作单元
果树样本库制作单元以树高计算单元所输出的果园树高假彩图为基础，结合影像原始图像的纹理、结构、阴影、亮度、色调等特征，以框图方式手动勾绘单株果树的边界，重复多次，所勾绘的果树识别图作为单株果树样本。
果树样本库的制作过程如下所述：
S2-1，设定某一固定尺寸，将果园树高假彩图按照该尺寸随机裁剪出多个小图，尺寸大小的选择上以兼顾识别精度和识别效率为标准。
S2-2，选取其中一个小图，结合原始图像，根据人工目释，采用矩形框标注出单株果树的位置，每个矩形框为一棵独立果树；每标注一棵果树，将标注的果树信息生成一条记录保存到果树样本库训练文件中，每条果树信息的数据格式为：
<PICTUREID><ID><left-top x><left-top y><width><height>；
该数据格式中，PICTUREID为小图编号，ID为果树编号，left-top x为矩形框左上角x坐标，left-top y为矩形框左上角y坐标，width为矩形框宽度，height 为矩形框高度。
S2-3，将裁剪出的小图按照步骤S2-3依次进行标注，直到所有选择的小图都标注完成。
S2-4，将标注后的小图存储到固定位置，作为果树样本库留存待用。
果树单株识别单元
果树单株识别单元将标注好的果树样本库图片以及果树样本库训练文件作为训练基础，采用YOLO训练果树单株识别模型，训练过程如图3所示。
S3-1，读取果树样本库图片和果树样本库训练文件。
S3-2，进行预训练，得到初始卷积层权重。
S3-3，采用YOLO方法进行再次训练，迭代多次后，得到最终的卷积权重。
果树计数统计单元
果树计数统计单元利用果树单株识别单元的卷积权重参数，对果园树高假彩图进行识别，将单株果树进行标注，并同时进行计数。果树计数统计单元的实现过程如图4所示。
S4-1，对果园树高假彩图进行带重叠切割，使其分成n个固定尺寸的小图。
带重叠切割小图：在对果园树高假彩图进行固定尺寸切割小图操作时，为了避免切割时把同一株果树给分开，在切割时采用带重叠的切割方式，也就是在操作时，每两个小图中都设置一个d厘米宽度作为重叠区域，假设果园树高假彩图坐标的左上角坐标为(0,0)，第一幅图从该点开始切割，第一幅图的长和宽分别为 L和W，则第二幅图的左上角(起始)坐标应该是(0,L-d)。
S4-2，对每个小图进行果树识别，并标注出单株果树的位置。
如图5显示了单株果树位置的标识坐标，果树位置标识方法：果树位置识别后，采用矩形代表一颗单独的果树，记录果树的信息采用<ID，XT，YT，LT， WT>向量，其中ID为随机顺序编号，XT为矩形左上角X轴坐标，YT为矩形左上角Y轴坐标，LT为矩形沿着X轴的长度，HT为矩形沿着Y轴的长度。
S4-3，所有小图识别完成后，合并这些小图的果树位置，并将坐标转化为大图坐标。
S4-4，根据重叠率去除重复的果树。根据图像重叠部分所识别的果树的中心坐标(矩形的中心)，计算该果树与其相邻果树之间的欧式距离，当距离值小于一定阈值时，将该果树与前述相邻果树进行合并处理，视为同一株果树，以避免果树数目重复计数。最后生成果园整体数据，包括果园内果树的总数量，果树位置、果树大小及高度、果树密度等统计信息。
产品输出单元
产品输出单元将根据前面所述的果树计数统计单元，将果树的统计结果制作成果树矢量位置图、果园果树总数量等数字产品，并输出矢量图、统计表。
其中果树矢量位置图，将代表果树的矩形框在地图中进行标注，并记录每个矩形框代表的果树编号、矩形框长款、位置等信息，以矢量地图格式输出。
其中果园果树总数量，将果园名称、果园果树总株树记录到表格中，并以 Excel等表格形式输出。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (12)
1.一种基于无人机数据采集的果树识别和数量监测方法，其特征在于，包括：
S1-1，对无人机采集的多幅图像进行拼接，根据拼接后的图像得到三维点云数据集和数字表面模型DSM数据；
S1-2，对三维点云数据集进行布料模拟滤波CSF处理，得到数字高程模型DEM数据；
S1-3，对DEM进行异常值剔除和DEM校准；
S1-4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据转化为灰度图，再进一步将灰度图转化为假彩图图像。
2.根据权利要求2所述的方法，其特征在于，步骤S1-3包括：
A1，获取果园多个不同位置的点的地面高度SH、较低果树高度LTH和较高果树高度HTH作为实际参照点；
A2，将地面高度SH作为最小值，将较高果树高度HTH的一定倍值作为最大值，对DEM中低于所述最小值和所述最大值的数据进行剔除；
A3，将实际参照点的数据和相对DEM值进行比较，建立回归方程，利用实际测量点对相对DEM进行校准，求得新的DEM数据。
3.一种基于无人机数据采集的果树识别和数量监测方法，其特征在于，包括：
S1，对无人机采集的图像数据进行处理来提取果树树高数据，将果树树高数据转化为灰度图，然后将灰度数据转换成假彩色图像；
S2，将果树树高假彩图进行裁剪形成多个子图像，标注子图像中代表果树的不规则点作为果树训练样本库；
S3，对果树训练样本库进行果树单株识别模型的训练，得到果树单株识别模型；
S4，以统一坐标系为基础，将果树树高假彩图裁剪为小图，剪裁后的小图与其四周临近图像保持一定的重叠度，然后利用S3中的果树训练出的果树识别模型，逐一识别小图中的果树并记录果树在小图中的位置信息，识别后将所识别的果树的位置进行坐标转换处理，计算其在统一参考坐标系下的位置值，并将图像重叠部分所识别的果树根据距离进行合并处理，得到果园果树信息。
4.根据权利要求3所述的方法，其特征在于，步骤S1包括：
S1-1，对无人机采集的多幅图像进行拼接，根据拼接后的图像得到三维点云数据集和数字表面模型DSM数据；
S1-2，对三维点云数据集进行布料模拟滤波CSF处理，得到数字高程模型DEM数据；
S1-3，对DEM进行异常值剔除和DEM校准；
S1-4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据转化为灰度图，将灰度图转化为假彩图图像。
5.根据权利要求4所述的方法，其特征在于，步骤S1-3包括：
A1，获取果园多个不同位置的点的地面高度SH、较低果树高度LTH和较高果树高度HTH作为实际参照点；
A2，将地面高度SH作为最小值，将较高果树高度HTH的一定倍值作为最大值，对DEM中低于所述最小值和所述最大值的数据进行剔除；
A3，将实际参照点的数据和相对DEM值进行比较，建立回归方程，利用实际测量点对相对DEM进行校准，求得新的DEM数据。
6.根据权利要求3所述的方法，其特征在于，步骤S2包括：
S2-1，设定某一固定尺寸，将果园树高假彩图按照该尺寸随机裁剪出多个小图；
S2-2，选取其中一个小图，结合原始图像，根据人工目释，采用矩形框标注出单株果树的位置，每个矩形框为一棵独立果树；每标注一棵果树，将标注的果树信息生成一条记录保存到果树样本库训练文件中；
S2-3，将裁剪出的小图按照步骤S2-2依次进行标注，直到所有选择的小图都标注完成；
S2-4，将标注后的小图存储到固定位置，作为果树样本库。
7.根据权利要求3所述的方法，其特征在于，步骤S3包括：
S3-1，读取果树样本库图片和果树样本库训练文件；
S3-2，进行预训练，得到初始卷积层权重；
S3-3，采用YOLO方法进行再次训练，迭代多次后，得到最终的卷积权重。
8.根据权利要求3所述的方法，其特征在于，步骤S4包括：
S4-1，对果园树高假彩图进行带重叠切割，使其分成n个固定尺寸的小图；
S4-2，对每个小图进行果树识别，并标注出单株果树的位置；
S4-3，所有小图识别完成后，合并这些小图的果树位置，并将坐标转化为大图坐标；
S4-4，根据图像重叠部分所识别的果树的中心坐标，计算该果树与其相邻果树之间的欧式距离，当距离值小于一定阈值时，将该果树与前述相邻果树进行合并处理，生成果园信息。
9.一种基于无人机数据采集的果树识别和数量监测系统，其特征在于，包括：
树高计算单元，所述树高计算单元对无人机采集的图像数据进行处理来提取果树树高数据，将果树树高数据转化为灰度图，然后将灰度数据转换成假彩色图像；
果树样本库制作单元，所述果树样本库制作单元将果树树高假彩图进行裁剪形成多个子图像，标注子图像中代表果树的不规则点作为果树训练样本库；
果树单株识别单元，所述果树单株识别单元对果树训练样本库进行果树单株识别模型的训练，得到果树单株识别模型；
果树计数统计单元，所述果树计数统计单元以统一坐标系为基础，将果树树高假彩图裁剪为小图，剪裁后的小图与其四周临近图像保持一定的重叠度，然后利用果树单株识别单元中的果树训练出的果树识别模型，逐一识别小图中的果树并记录果树在小图中的位置信息，识别后将所识别的果树的位置进行坐标转换处理，计算其在统一参考坐标系下的位置值，并将图像重叠部分所识别的果树根据距离进行合并处理，得到果园果树信息。
10.根据权利要求9所述的系统，其特征在于，
所述树高计算单元完成如下步骤：
S1-1，对无人机采集的多幅图像进行拼接，根据拼接后的图像得到三维点云数据集和数字表面模型DSM数据；
S1-2，对三维点云数据集进行布料模拟滤波CSF处理，得到数字高程模型DEM数据；
S1-3，对DEM进行异常值剔除和DEM校准：A1，获取果园多个不同位置的点的地面高度SH、较低果树高度LTH和较高果树高度HTH作为实际参照点；A2，将地面高度SH作为最小值，将较高果树高度HTH的一定倍值作为最大值，对DEM中低于所述最小值和所述最大值的数据进行剔除；A3，将实际参照点的数据和相对DEM值进行比较，建立回归方程，利用实际测量点对相对DEM进行校准，求得新的DEM数据；
S1-4，根据DEM数据和DSM数据计算差值求得果园的树高数据，并将树高数据转化为灰度图，将灰度图转化为假彩色图像。
11.根据权利要求9所述的系统，其特征在于，
所述果树样本库制作单元完成如下步骤：
S2-1，设定某一固定尺寸，将果园树高假彩图按照该尺寸随机裁剪出多个小图；
S2-2，创建果树样本库训练文件；
S2-3，选取其中一个小图，结合原始图像，根据人工目释，采用矩形框标注出单株果树的位置，每个矩形框为一棵独立果树；每标注一棵果树，将标注的果树信息生成一条记录保存到果树样本库训练文件中；
S2-4，将裁剪出的小图按照步骤S2-3依次进行标注，直到所有选择的小图都标注完成；
S2-5，将标注后的小图存储到固定位置，作为果树样本库。
12.根据权利要求9所述的系统，其特征在于，
所述果树单株识别单元完成如下步骤：
S3-1，读取果树样本库图片和果树样本库训练文件；
S3-2，进行预训练，得到初始卷积层权重；
S3-3，采用YOLO方法进行再次训练，迭代多次后，得到最终的卷积权重；
所述果树计数统计单元完成如下步骤：
S4-1，对果园树高假彩图进行带重叠切割，使其分成n个固定尺寸的小图；
S4-2，对每个小图进行果树识别，并标注出单株果树的位置；
S4-3，所有小图识别完成后，合并这些小图的果树位置，并将坐标转化为大图坐标；
S4-4，根据图像重叠部分所识别的果树的中心坐标，计算该果树与其相邻果树之间的欧式距离，当距离值小于一定阈值时，将该果树与前述相邻果树进行合并处理，生成果园信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210213173.6A CN114581801A (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法 |
| CN201910840661.8A CN110569786B (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910840661.8A CN110569786B (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法及系统 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210213173.6A Division CN114581801A (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110569786A true CN110569786A (zh) | 2019-12-13 |
| CN110569786B CN110569786B (zh) | 2022-03-29 |
Family
ID=68778103
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910840661.8A Active CN110569786B (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法及系统 |
| CN202210213173.6A Pending CN114581801A (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210213173.6A Pending CN114581801A (zh) | 2019-09-06 | 2019-09-06 | 一种基于无人机数据采集的果树识别和数量监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110569786B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402318A (zh) * | 2020-02-18 | 2020-07-10 | 中国农业科学院农业资源与农业区划研究所 | 一种树上果实产量快速估测方法及装置 |
| CN111552762A (zh) * | 2020-05-12 | 2020-08-18 | 广西旗鸣信息科技有限公司 | 一种基于果树编码的果园种植数字地图化管理方法和系统 |
| CN112465963A (zh) * | 2020-10-22 | 2021-03-09 | 浩亚信息科技有限公司 | 基于dem的电子地形晕渲图制作方法、电子设备、存储介质 |
| CN112861837A (zh) * | 2020-12-30 | 2021-05-28 | 北京大学深圳研究生院 | 一种基于无人机的红树林生态信息智慧提取方法 |
| CN113313692A (zh) * | 2021-06-03 | 2021-08-27 | 广西大学 | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 |
| CN114486732A (zh) * | 2021-12-30 | 2022-05-13 | 武汉光谷卓越科技股份有限公司 | 一种基于线扫描三维的瓷砖缺陷在线检测方法 |
| CN114596494A (zh) * | 2022-03-16 | 2022-06-07 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN114612806A (zh) * | 2022-02-07 | 2022-06-10 | 安徽理工大学 | 一种提高消费级无人机dem产品精度方法 |
| CN115294482A (zh) * | 2022-09-26 | 2022-11-04 | 山东常生源生物科技股份有限公司 | 一种基于无人机遥感图像的食用菌产量估算方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464148A (zh) * | 2007-12-21 | 2009-06-24 | 财团法人工业技术研究院 | 三维影像侦测、编修及重建系统 |
| US8121409B2 (en) * | 2008-02-26 | 2012-02-21 | Cyberlink Corp. | Method for handling static text and logos in stabilized images |
| CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN107479065A (zh) * | 2017-07-14 | 2017-12-15 | 中南林业科技大学 | 一种基于激光雷达的林窗立体结构量测方法 |
| CN108319894A (zh) * | 2017-12-28 | 2018-07-24 | 杭州乔戈里科技有限公司 | 基于深度学习的水果识别方法及装置 |
| CN109084690A (zh) * | 2018-10-31 | 2018-12-25 | 杨凌禾讯遥感科技有限公司 | 基于无人机可见光遥感的作物株高计算方法 |
-
2019
- 2019-09-06 CN CN201910840661.8A patent/CN110569786B/zh active Active
- 2019-09-06 CN CN202210213173.6A patent/CN114581801A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464148A (zh) * | 2007-12-21 | 2009-06-24 | 财团法人工业技术研究院 | 三维影像侦测、编修及重建系统 |
| US8121409B2 (en) * | 2008-02-26 | 2012-02-21 | Cyberlink Corp. | Method for handling static text and logos in stabilized images |
| CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN107479065A (zh) * | 2017-07-14 | 2017-12-15 | 中南林业科技大学 | 一种基于激光雷达的林窗立体结构量测方法 |
| CN108319894A (zh) * | 2017-12-28 | 2018-07-24 | 杭州乔戈里科技有限公司 | 基于深度学习的水果识别方法及装置 |
| CN109084690A (zh) * | 2018-10-31 | 2018-12-25 | 杨凌禾讯遥感科技有限公司 | 基于无人机可见光遥感的作物株高计算方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李福根 等: "利用单次无人机影像的果树精准识别方法", 《中国农业信息》 * |
| 段凌凤 等: "基于深度全卷积神经网络的大田稻穗分割", 《农业工程学报》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402318B (zh) * | 2020-02-18 | 2023-04-07 | 中国农业科学院农业资源与农业区划研究所 | 一种树上果实产量快速估测方法及装置 |
| CN111402318A (zh) * | 2020-02-18 | 2020-07-10 | 中国农业科学院农业资源与农业区划研究所 | 一种树上果实产量快速估测方法及装置 |
| CN111552762A (zh) * | 2020-05-12 | 2020-08-18 | 广西旗鸣信息科技有限公司 | 一种基于果树编码的果园种植数字地图化管理方法和系统 |
| CN112465963A (zh) * | 2020-10-22 | 2021-03-09 | 浩亚信息科技有限公司 | 基于dem的电子地形晕渲图制作方法、电子设备、存储介质 |
| CN112861837A (zh) * | 2020-12-30 | 2021-05-28 | 北京大学深圳研究生院 | 一种基于无人机的红树林生态信息智慧提取方法 |
| CN112861837B (zh) * | 2020-12-30 | 2022-09-06 | 北京大学深圳研究生院 | 一种基于无人机的红树林生态信息智慧提取方法 |
| CN113313692A (zh) * | 2021-06-03 | 2021-08-27 | 广西大学 | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 |
| CN114486732A (zh) * | 2021-12-30 | 2022-05-13 | 武汉光谷卓越科技股份有限公司 | 一种基于线扫描三维的瓷砖缺陷在线检测方法 |
| CN114486732B (zh) * | 2021-12-30 | 2024-04-09 | 武汉光谷卓越科技股份有限公司 | 一种基于线扫描三维的瓷砖缺陷在线检测方法 |
| CN114612806A (zh) * | 2022-02-07 | 2022-06-10 | 安徽理工大学 | 一种提高消费级无人机dem产品精度方法 |
| CN114596494A (zh) * | 2022-03-16 | 2022-06-07 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN114596494B (zh) * | 2022-03-16 | 2023-10-24 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN115294482B (zh) * | 2022-09-26 | 2022-12-20 | 山东常生源生物科技股份有限公司 | 一种基于无人机遥感图像的食用菌产量估算方法 |
| CN115294482A (zh) * | 2022-09-26 | 2022-11-04 | 山东常生源生物科技股份有限公司 | 一种基于无人机遥感图像的食用菌产量估算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110569786B (zh) | 2022-03-29 |
| CN114581801A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569786B (zh) | 一种基于无人机数据采集的果树识别和数量监测方法及系统 | |
| Li et al. | Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots | |
| Dorj et al. | An yield estimation in citrus orchards via fruit detection and counting using image processing | |
| Dias et al. | Multispecies fruit flower detection using a refined semantic segmentation network | |
| CN111709489A (zh) | 一种基于改进YOLOv4的柑橘识别方法 | |
| CN104200193A (zh) | 一种果树产量估测方法及装置 | |
| Ji et al. | In-field automatic detection of maize tassels using computer vision | |
| CN114818909A (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| CN109034268A (zh) | 一种面向信息素诱捕器的红脂大小蠹检测器优化方法 | |
| CN112990103A (zh) | 一种基于机器视觉的串采二次定位方法 | |
| Hsieh et al. | Fruit maturity and location identification of beef tomato using R-CNN and binocular imaging technology | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| CN111950391A (zh) | 果树芽体的识别方法及装置 | |
| CN114627411A (zh) | 基于计算机视觉下并行检测的农作物生育期识别方法 | |
| Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
| CN113313692B (zh) | 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法 | |
| CN115661647A (zh) | 一种树木栽种生长状况的定时巡检方法 | |
| CN111552762A (zh) | 一种基于果树编码的果园种植数字地图化管理方法和系统 | |
| CN110689022A (zh) | 基于叶片匹配的各株作物图像提取方法 | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 | |
| CN116071653A (zh) | 基于自然图像的树木多级枝干结构自动提取方法 | |
| CN113723833B (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| CN115995017A (zh) | 一种果实识别与定位方法、装置及介质 | |
| CN115690778A (zh) | 基于深度神经网络的成熟期水果的检测与跟踪计数的方法 | |
| Kanwal et al. | Overlapped apple fruit yield estimation using pixel classification and hough transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |