CN114005027A - 一种基于无人机影像的城市单木检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于无人机影像的城市单木检测系统及方法，包括图像标注模块、图像生成模块、遥感探测模块、数据统计模块、网络模型测试模块，所述图像标注模块与图像生成模块电连接，所述数据统计模块与图像标注模块电连接；所述图像标注模块用于对根据银杏树冠遥感图像制作图像数量组合的训练数据集，所述图像生成模块用于生成二维数字正射影像图，所述遥感探测模块用于采集银杏树冠遥感影像，所述网络模型测试模块用于对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，所述数据统计模块用于得到基于三维点云提取树高参数，本发明，具有实用性强的特点。

Description

一种基于无人机影像的城市单木检测系统及方法

技术领域

本发明涉及无人机检测技术领域，具体为一种基于无人机影像的城市单木检测系统及方法。

背景技术

单棵树木的各项参数主要包括树冠面积、冠幅、树高和胸径等。传统的树木参数获取方法主要为人工实地借助皮尺、胸径尺以及测高仪等仪器进行测量，这种方式需要消耗大量的人力物力，且难以获取面积范围较大的树木参数信息，实用性差，而无人机平台的出现与发展，为城市中树木参数提取提供了新的数据来源渠道。

相较于卫星遥感技术，近年来无人机遥感技术的出现与发展很大程度上弥补了卫星遥感技术的缺陷，其具有高分辨率、高时效性以及成本较低等优势，为树木参数提取的数据来源提供了新的途径，且影像获取方式更加便捷的优点也使其能良好地适用于各个不同场景[。

因此，设计实用性强的一种基于无人机影像的城市单木检测系统及方法是很有必要的。

发明内容

本发明的目的在于提供一种基于无人机影像的城市单木检测系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于无人机影像的城市单木检测系统及方法，包括图像标注模块、图像生成模块、遥感探测模块、数据统计模块、网络模型测试模块，所述图像标注模块与图像生成模块电连接，所述数据统计模块与图像标注模块电连接；

所述图像标注模块用于对根据银杏树冠遥感图像制作图像数量组合的训练数据集，所述图像生成模块用于生成二维数字正射影像图，所述遥感探测模块用于采集银杏树冠遥感影像，所述网络模型测试模块用于对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，所述数据统计模块用于得到基于三维点云提取树高参数。

根据上述技术方案，所述网络模型测试模块的算法采用基于区域的卷积神经网络系列算法，其将目标检测分为两个阶段，第一个阶段首先产生一系列样本候选框，产生大致的位置信息，第二个阶段使用卷积神经网络对样本候选区域进行分类和细调。

根据上述技术方案，包括以下具体步骤：

S1、使用无人机遥感技术采集研究区域中银杏树冠遥感影像，进行预处理生成二维数字正射影像图与三维点云数据，基于数字正射影像图进行目视解译，以此获取银杏树冠冠幅与树冠面积实测值，基于三维点云提取树高参数；

S2、筛选银杏树冠遥感图像，使用图像标注模块制作七种含有不同数据类型和图像数量组合的训练数据集进行模型训练，选择测试区域正射影像图放入训练好的网络模型进行测试，对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，与目视解译所得实测值进行对比分析，验证模型适用性；

S3、分析树高、冠幅和树冠面积与胸径之间的相关性，选用训练区域冠幅和树冠面积作为自变量，胸径作为因变量制作二元回归模型对银杏树木胸径进行预测，加入树高作为自变量，制作三元回归模型对单木胸径进行反演预测并对胸径预测精度进行检验。

根据上述技术方案，上述步骤S3中，树高的计算首先使用测距仪测量距离树木的水平距离、距离树冠顶点的距离与两距离之间的夹角度数，然后结合余弦定理进行计算树高并以此作为树木高度的实测值；

胸径的测量首先测定地面往上1.3m处树干周长，再根据周长公式计算树干直径作为胸径数据。

根据上述技术方案，上述步骤S2中，图像标注模块的图像制作过程主要步骤包括添加照片、对齐照片、建立密集点云、生成网格以及建立数字正射影像图，其中数字正射影像图是以遥感影像为基础进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的影像集。

根据上述技术方案，上述步骤S1中，三维点云数据具体为郁闭度的提取，是指用树冠投影面积与林地面积的比值反应林分密度的指标，利用数据统计模块制作数字正射影像图的制作过程中，在建立密集点云步骤已生成高密度的三维点云数据并保存为LAS格式文件。

根据上述技术方案，上述步骤S2中，树冠面积参数的提取方法具体为通过目视解译所绘制的边框与轮廓，根据冠幅指树冠南北和东西方向宽度的平均值与树冠面积指树冠垂直投射在地平面上的面积的定义。

根据上述技术方案，上述步骤S3中，胸径预测精度进行检验的具体方法为，利用交并比IoU作为树冠检测与分割是否正确的依据，设置IoU阈值为0.5，即当IoU≥0.5时标记为正确检测的结果，当IoU＜0.5时标记为错误检测的结果，IoU的计算公式如下：

其中G表示真实像素区域，P表示预测像素区域。

根据上述技术方案，上述步骤S3中，评估的具体方法采用查准率P、查全率R与F1-score对网络模型的检测与分割结果进行评估，P、R与F1-score的值越高，代表检测与分割结果越准确，相关公式如下：

其中TP表示检测正确的正例，FN表示检测错误的正例，FP表示检测错误的反例。

根据上述技术方案，上述步骤S3中，对树冠冠幅及精度评价的方法具体为：

a、根据树冠冠幅等于树冠南北和东西方向宽度的平均值的定义，计算检测所得方形边界框周长的1/4即为树冠冠幅值；

b、基于数字正射影像图以及目视解译过程所得的实测值与网络模型预测银杏冠幅值做比较，使用平均相对误差ARE与均方根误差RMSE评价预测精度；

c、统计得预测冠幅值，与目视解译所得实测冠幅值做比较计算各项精度指标。

d、根据实测与预测的银杏冠幅值，制作实测值与预测值分布关系图。

与现有技术相比，本发明所达到的有益效果是：本发明，通过以无人机银杏树木遥感影像为数据基础，通过深度学习中的算法结合数字正射影像图对城市中不同场景下的银杏树冠进行检测与分割并自动获取树冠冠幅、树冠面积以及胸径等参数。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的模块原理示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：一种基于无人机影像的城市单木检测系统及方法，包括图像标注模块、图像生成模块、遥感探测模块、数据统计模块、网络模型测试模块，图像标注模块与图像生成模块电连接，数据统计模块与图像标注模块电连接；

图像标注模块用于对根据银杏树冠遥感图像制作图像数量组合的训练数据集，图像生成模块用于生成二维数字正射影像图，遥感探测模块用于采集银杏树冠遥感影像，网络模型测试模块用于对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，数据统计模块用于得到基于三维点云提取树高参数；

网络模型测试模块的算法采用基于区域的卷积神经网络系列算法，其将目标检测分为两个阶段，第一个阶段首先产生一系列样本候选框，产生大致的位置信息，第二个阶段使用卷积神经网络对样本候选区域进行分类和细调；

包括以下具体步骤：

S1、使用无人机遥感技术采集研究区域中银杏树冠遥感影像，进行预处理生成二维数字正射影像图与三维点云数据，基于数字正射影像图进行目视解译，以此获取银杏树冠冠幅与树冠面积实测值，基于三维点云提取树高参数；

S2、筛选银杏树冠遥感图像，使用图像标注模块制作七种含有不同数据类型和图像数量组合的训练数据集进行模型训练，选择测试区域正射影像图放入训练好的网络模型进行测试，对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，与目视解译所得实测值进行对比分析，验证模型适用性；

S3、分析树高、冠幅和树冠面积与胸径之间的相关性，选用训练区域冠幅和树冠面积作为自变量，胸径作为因变量制作二元回归模型对银杏树木胸径进行预测，加入树高作为自变量，制作三元回归模型对单木胸径进行反演预测并对胸径预测精度进行检验。

4.根据权利要求3的一种基于无人机影像的城市单木检测系统及方法，其特征在于：上述步骤S3中，树高的计算首先使用测距仪测量距离树木的水平距离、距离树冠顶点的距离与两距离之间的夹角度数，然后结合余弦定理进行计算树高并以此作为树木高度的实测值；

胸径的测量首先测定地面往上1.3m处树干周长，再根据周长公式计算树干直径作为胸径数据；

上述步骤S2中，图像标注模块的图像制作过程主要步骤包括添加照片、对齐照片、建立密集点云、生成网格以及建立数字正射影像图，其中数字正射影像图是以遥感影像为基础进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的影像集；

上述步骤S1中，三维点云数据具体为郁闭度的提取，是指用树冠投影面积与林地面积的比值反应林分密度的指标，利用数据统计模块制作数字正射影像图的制作过程中，在建立密集点云步骤已生成高密度的三维点云数据并保存为LAS格式文件；

上述步骤S2中，树冠面积参数的提取方法具体为通过目视解译所绘制的边框与轮廓，根据冠幅指树冠南北和东西方向宽度的平均值与树冠面积指树冠垂直投射在地平面上的面积的定义；

上述步骤S3中，胸径预测精度进行检验的具体方法为，利用交并比IoU作为树冠检测与分割是否正确的依据，设置IoU阈值为0.5，即当IoU≥0.5时标记为正确检测的结果，当IoU＜0.5时标记为错误检测的结果，IoU的计算公式如下：

其中G表示真实像素区域，P表示预测像素区域；

上述步骤S3中，评估的具体方法采用查准率P、查全率R与F1-score对网络模型的检测与分割结果进行评估，P、R与F1-score的值越高，代表检测与分割结果越准确，相关公式如下：

其中TP表示检测正确的正例，FN表示检测错误的正例，FP表示检测错误的反例；

上述步骤S3中，对树冠冠幅及精度评价的方法具体为：

a、根据树冠冠幅等于树冠南北和东西方向宽度的平均值的定义，计算检测所得方形边界框周长的1/4即为树冠冠幅值；

b、基于数字正射影像图以及目视解译过程所得的实测值与网络模型预测银杏冠幅值做比较，使用平均相对误差ARE与均方根误差RMSE评价预测精度；

c、统计得预测冠幅值，与目视解译所得实测冠幅值做比较计算各项精度指标。

d、根据实测与预测的银杏冠幅值，制作实测值与预测值分布关系图。

实施例1：研究结果表明，OBL-90数据集训练模型拥有最佳的检测效果，总体F1-score达到了91.66％。根据检测与分割结果提取树冠冠幅与树冠面积参数，并将提取的树冠参数与上述通过目视解译获取的实测值进行对比分析，得到冠幅与树冠面积的平均相对误差分别为7.5％与11.15％，表明结合无人机影像与Mask R-CNN算法可以对城市中不同场景的银杏树冠参数进行有效地自动提取；

实施例2，作为上述技术方案的一种变体，将通过上述方法提取得到的树冠冠幅与树冠面积参数代入由训练区域树木参数制作的三种二元胸径反演模型(冠幅&树冠面积--胸径)中预测树木胸径，并与对应实测胸径做对比分析，其中二元线性模型U2DBH拥有最佳胸径预测精度，平均相对误差为9.37％，综合误差为0.107，达到了良好的胸径预测效果。将通过三维点云数据提取的树高参数加入制作三元胸径反演模型(冠幅&树冠面积&树高--胸径)，并将树冠参数代入反演模型预测树木胸径并做对比分析，其中三元幂函数模型P3DBH拥有最佳胸径预测效果，平均相对误差为8.24％，综合误差为0.092，且三元反演模型相较于二元反演模型普遍拥有更高的预测精度，可以预测得到更高精度的胸径参数。研究结果表明，基于自动提取的树冠参数与胸径反演模型可以进一步对银杏树木胸径参数进行准确获取。

实施例3：本研究选取了4个测试样地对模型进行测试，并将四个测试样地分别标记为测试样地一、二、三、四，其中测试样地一对应研究区域⑤号实验区的一部分，与训练数据有着相似的环境背景，除了拥有两侧行道树外，内侧拥有更复杂的树冠排列结构，图像分辨率与实际大小的比例为1：0.009 324 3m；测试样地二在对应研究区域①号实验区的一部分，其树冠间距较短，但排列整齐有序，比例为1：010 714 8m；而为了验证网络模型在不同环境背景下的适用性，本研究另外选取了研究区域以外的两块区域作为测试样地，其中样地三以小区为背景，拥有包括建筑物等其他比较复杂的背景，比例为1：0.020 890 5m；样地四以城市街道为背景，含有其他不同种类的树植物以及包括车辆和其他街道在内更为复杂的背景但两侧排列间距较大，比较容易区分，比例为1：0.006 1724m。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机影像的城市单木检测系统，其特征在于：包括图像标注模块、图像生成模块、遥感探测模块、数据统计模块、网络模型测试模块，所述图像标注模块与图像生成模块电连接，所述数据统计模块与图像标注模块电连接；

所述图像标注模块用于对根据银杏树冠遥感图像制作图像数量组合的训练数据集，所述图像生成模块用于生成二维数字正射影像图，所述遥感探测模块用于采集银杏树冠遥感影像，所述网络模型测试模块用于对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，所述数据统计模块用于得到基于三维点云提取树高参数。

2.根据权利要求1所述的一种基于无人机影像的城市单木检测系统，其特征在于：所述网络模型测试模块的算法采用基于区域的卷积神经网络系列算法，其将目标检测分为两个阶段，第一个阶段首先产生一系列样本候选框，产生大致的位置信息，第二个阶段使用卷积神经网络对样本候选区域进行分类和细调。

3.一种基于无人机影像的城市单木检测系统的方法，其特征在于：包括以下具体步骤：

S1、使用无人机遥感技术采集研究区域中银杏树冠遥感影像，进行预处理生成二维数字正射影像图与三维点云数据，基于数字正射影像图进行目视解译，以此获取银杏树冠冠幅与树冠面积实测值，基于三维点云提取树高参数；

S2、筛选银杏树冠遥感图像，使用图像标注模块制作七种含有不同数据类型和图像数量组合的训练数据集进行模型训练，选择测试区域正射影像图放入训练好的网络模型进行测试，对银杏树冠进行自动检测和分割，并获取检测与分割结果对应的冠幅与树冠面积参数，与目视解译所得实测值进行对比分析，验证模型适用性；

S3、分析树高、冠幅和树冠面积与胸径之间的相关性，选用训练区域冠幅和树冠面积作为自变量，胸径作为因变量制作二元回归模型对银杏树木胸径进行预测，加入树高作为自变量，制作三元回归模型对单木胸径进行反演预测并对胸径预测精度进行检验。

4.根据权利要求3所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S3中，树高的计算首先使用测距仪测量距离树木的水平距离、距离树冠顶点的距离与两距离之间的夹角度数，然后结合余弦定理进行计算树高并以此作为树木高度的实测值；

胸径的测量首先测定地面往上1.3m处树干周长，再根据周长公式计算树干直径作为胸径数据。

5.根据权利要求4所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S2中，图像标注模块的图像制作过程主要步骤包括添加照片、对齐照片、建立密集点云、生成网格以及建立数字正射影像图，其中数字正射影像图是以遥感影像为基础进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的影像集。

6.根据权利要求5所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S1中，三维点云数据具体为郁闭度的提取，是指用树冠投影面积与林地面积的比值反应林分密度的指标，利用数据统计模块制作数字正射影像图的制作过程中，在建立密集点云步骤已生成高密度的三维点云数据并保存为LAS格式文件。

7.根据权利要求6所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S2中，树冠面积参数的提取方法具体为通过目视解译所绘制的边框与轮廓，根据冠幅指树冠南北和东西方向宽度的平均值与树冠面积指树冠垂直投射在地平面上的面积的定义。

8.根据权利要求7所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S3中，胸径预测精度进行检验的具体方法为，利用交并比IoU作为树冠检测与分割是否正确的依据，设置IoU阈值为0.5，即当IoU≥0.5时标记为正确检测的结果，当IoU＜0.5时标记为错误检测的结果，IoU的计算公式如下：

其中G表示真实像素区域，P表示预测像素区域。

9.根据权利要求8所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S3中，评估的具体方法采用查准率P、查全率R与F1-score对网络模型的检测与分割结果进行评估，P、R与F1-score的值越高，代表检测与分割结果越准确，相关公式如下：

其中TP表示检测正确的正例，FN表示检测错误的正例，FP表示检测错误的反例。

10.根据权利要求9所述的一种基于无人机影像的城市单木检测系统的方法，其特征在于：上述步骤S3中，对树冠冠幅及精度评价的方法具体为：

a、根据树冠冠幅等于树冠南北和东西方向宽度的平均值的定义，计算检测所得方形边界框周长的1/4即为树冠冠幅值；

b、基于数字正射影像图以及目视解译过程所得的实测值与网络模型预测银杏冠幅值做比较，使用平均相对误差ARE与均方根误差RMSE评价预测精度；

c、统计得预测冠幅值，与目视解译所得实测冠幅值做比较计算各项精度指标；

d、根据实测与预测的银杏冠幅值，制作实测值与预测值分布关系图。

Images