CN113591766A - 一种无人机多源遥感的树种识别方法 - Google Patents

一种无人机多源遥感的树种识别方法 Download PDF

Info

Publication number
CN113591766A
CN113591766A CN202110910033.XA CN202110910033A CN113591766A CN 113591766 A CN113591766 A CN 113591766A CN 202110910033 A CN202110910033 A CN 202110910033A CN 113591766 A CN113591766 A CN 113591766A
Authority
CN
China
Prior art keywords
tree
data
laser radar
crown
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110910033.XA
Other languages
English (en)
Other versions
CN113591766B (zh
Inventor
陈巧
陈永富
徐志杨
李华玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Forest Resource Information Techniques Chinese Academy Of Forestry
Original Assignee
Research Institute Of Forest Resource Information Techniques Chinese Academy Of Forestry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Forest Resource Information Techniques Chinese Academy Of Forestry filed Critical Research Institute Of Forest Resource Information Techniques Chinese Academy Of Forestry
Priority to CN202110910033.XA priority Critical patent/CN113591766B/zh
Publication of CN113591766A publication Critical patent/CN113591766A/zh
Application granted granted Critical
Publication of CN113591766B publication Critical patent/CN113591766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机多源遥感的树种识别方法，包括获取可见光图像和激光雷达点云，分别对激光雷达点云和可见光图像进行预处理；将所述激光雷达点云的冠层高度模型通过局部最大值法探测树顶后用分水岭法分割树冠得到分割后的树冠边界；以分割后的树冠边界为外边界，以可见光正射影像亮度值和激光雷达冠层高度模型(CHM)为特征，获得树冠数据集和样本数据集；通过卷积神经网络对所述树冠数据集和样本数据集进行迁移学习和集成学习后输出识别树种结果。本发明综合应用无人机可见光遥感图像和激光雷达点云，采用深层CNN模型进行迁移学习，输入深层卷积神经网络迁移学习和集成学习进行树种识别的方法，增加了对无人机遥感树种识别的准确性。

Description

一种无人机多源遥感的树种识别方法
技术领域
本发明属于遥感识别技术领域，尤其涉及一种无人机多源遥感的 树种识别方法。
背景技术
树种的精准识别是森林参数提取和计算的前提，对于森林生态系 统和生物多样性的监测、评价、森林区划、森林可持续经营等具有深 远意义。传统的树种识别主要依靠地面调查手段，根据林木的根、茎、 叶、花、果、汁、色等特征识别和鉴定树种。深度学习尤其是卷积神 经网络因其优秀的高层次特征自动提取能力和较高的识别精度在诸 多领域得到普及，在UAV-RGB图像的树种识别中它也得以应用并取得 较为出色的识别效果。经典CNN模型都能够提取图像高层次特征并得 到较好的识别精度，但是，不同CNN模型所提取的特征以及不同分类 识别方法均存在一定差异，单独使用某一种特征或分类识别方法的精 度有其局限性。
遥感技术的发展为树种识别提供了更为方便的数据源(可见光、 多光谱、高光谱、激光雷达等)，有基于航天(卫星)遥感的树种识 别技术，也有基于航空(有人飞机、无人飞机、气球灯)遥感的树种 识别技术，还有基于地面摄影图像的树种识别技术；识别方法上有最 大似然法、决策树法、随机森林法、支持向量机法等。
高空间分辨率多光谱图像是通过不同树种的光谱特征(单波段或 多波段组合特征)、高空间分辨率特点、以及结合生境条件，识别个 体树木、群体林分，但其空间分辨率和光谱分辨率仍然不高，提取树 种特征主要在树木光谱及整株或类型方面，缺乏更多细微的识别特 征，导致树种识别精度低，树种识别特征支撑不足。高空间分辨率多 光谱图像主要反映树木光谱信息，没有树木的空间结构信息，在有限 的光谱特征下，难以解决因同谱异物、异物同谱造成的混淆识别的问 题。
高光谱图像遥感树种识别通过乎连续的地物光谱信息，能准确 探测到具有细微光谱差异的各种地物类型。但是无法克服同谱异物、 异物同谱的混淆识别问题。很多树种光谱的高度相似性，或在不同光 照条件下，相同树种也会呈现不同的光谱特征，导致树种识别精度低。 高光谱图像缺乏树种识别的空间信息，影响树种识别的精度。
激光雷达识别主要获取树木的三维结构特征，结合高光谱的树 木连续光谱信息，达到提取识别树种精度的目的。但是基于高光谱数 据和激光雷达点云的数据获取的成本都很高，激光雷达点云主要是提 取树木位置和树高，树冠形态结构特征尚未有效利用，树种识别精度 低。因此，需要一种无人机多源遥感的树种识别方法。
发明内容
本发明提供一种针对遥感图像树种识别空间信息不足，识别精度 低的问题，解决基于可见光遥感图像与激光雷达点云综合应用的图像 空间特征识别技术问题的—种无人机多源遥感的树种识别方法。
本发明包括以下步骤：
A获取可见光图像和激光雷达点云，分别对激光雷达点云和可见 光图像进行预处理，获得预处理后的激光雷达点云和可见光正射影 像；
B将所述激光雷达点云生成数字高程模型(DEM)和数字地表模 型(DSM)，计算输出冠层高度模型(CHM)；
C将所述可见光正射影像与所述激光雷达点云的冠层高度模型 (CHM)进行综合得到综合后的图像数据，以冠层高度模型(CHM)为 参考基准进行可见光正射影像与激光雷达冠层高度模型(CHM)进行 地理坐标匹配，包括导入图像和自动图像对齐；
D将所述激光雷达冠层高度模型(CHM)数据通过局部最大法探 测树顶后用分水岭法分割获得树冠边界；
E以地面调查样地树木为基础，以激光雷达CHM分割后的树冠边 界为外边界，以可见光正射影像亮度值和激光雷达冠层高度模型 (CHM)为特征，制作样本并分类，获得训练集、验证集和测试集合， 通过卷积神经网络对所述树冠的数据集和样本数据集进行迁移学习 和集成学习后输出识别树种结果。
进一步地，对可见光图像的预处理方法包括ENVI、几何校正、 辐射校正、和正射校正。
进一步地，所述激光雷达点云的预处理方法包括去除激光雷达点 云中的噪声点，
进一步地，，所述数字高程模型(DEM)和数字地表模型(DSM) 的生成方法包括对所述激光雷达点云的数据分类后利用Kriging插 值法对地面点进行插值，得到数字高程模型(DEM)，以激光雷达反射 的第一回波激光点为数据源采用Kriging插值法生成数字表面模型 (DSM)，并通过对临近栅格的分析，采用上述插值方法对数字高程 模型(DEM)和数字表面模型(DSM)进行空洞补充去除无效值；DSM 模型与DEM模型之差形成激光雷达冠层高度模型(CHM)，CHM分辨 率大小为0.5m，并采用平滑滤波法对CHM进行平滑滤波去除空洞和 不连续现象。
进一步地，在步骤E中所述制作样本并分类包括
(1)采集地面样本数据；
(2)对所述地面样本数据的样木数据进行调查；
(3)对所述样木数据进行ARCGIS处理；
(4)对处理后的数据进行样本矢量化；
(5)提取矢量化后的样木数据在正射影像和CHM中的位置及树 冠顶点位置；
(6)对所述样木数据进行正射影像和CHM树冠图片切片；
(7)对所述树冠图片进行数据集划分。
进一步地，所述卷积神经网络采用局部连接与权值共享的机制来 提取遥感图像的特征，包括输入层、卷积层、池化层以及全连接层。
进一步地，所述ArcGIS处理包括添加经纬度记录的中心点和定 位树位置数据，生成经纬度表示的SHP矢量图层，然后进行投影变换， 转换为横纵坐标表示的SHP矢量数据，以中心点横纵坐标值为原点对 样地内每木相对位置进行三角函数解算以得到每木的横纵坐标，最后 以横纵坐标为XY值将每木数据添加到ArcGIS中生成每木矢量位置数 据，采用投影变换后的定位树位置对每木位置进行检查控制，从而得 到样地内实测单木矢量位置。
进一步地，所述分水岭法分割树冠的方法包括采用局部最大值法 探测得到单木树顶，再将探测到的树顶作为标记点，通过分水岭法分 割得到单木树冠。
本发明的有益效果为：
本发明综合无人机可见光遥感图像和激光雷达点云，采用深层 CNN模型进行迁移学习，输入深层卷积神经网络迁移学习和集成学习 进行树种识别的方法，训练、验证、测试数据集上的识别精度分别达 到了98.35％、94.51％和92.62％，超过采用传统机器学习方法的无人 机遥感树种识别精度15％以上，与传统的SVM+HOG特征分类结果相比， 在相同数据集条件下，大大的增加了对遥感树种识别的准确性。
附图说明
图1本发明的技术流程图；
图2 4个树种(组)图像举例示意图
图3树种识别集成学习模型结构示意图
图4不同迁移学习方式训练准确率示意图
图5 5幅研究区子图在不同方法下的识别结果示意图
图6重新训练后单木影像混淆矩阵示意图
A、B、C、D分别表示毛竹、阔叶树、杉木和马尾松
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发 明，并非用于限定本发明的范围。
如图1所示，在本实施例子中包括以下步骤：
A获取可见光图像和激光雷达点云，分别对激光雷达点云和可见 光图像进行预处理，获得预处理后的激光雷达点云和可见光正射影 像；
无人机搭载RIEGL VUX-1LR激光雷达传感器通过近红外(1 550nm) 激光束和旋转镜330°视场角快速扫描实现激光雷达点云的数据的高 速获取，搭载Sony ILCE-6000微单相机采集可见光数据，使用PPK 动态后处理定位技术实现高定位精度15mm，数据采集于2019年植被 生长旺季，采用仿地飞行模式，以地形表面为基准设置相对高度，在 160m航飞高度上采集激光雷达点云的数据和可见光图像。无人机遥 感数据由数据生产商北京数字绿土科技有限公司生产提供。
B将所述激光雷达点云生成数字地形模型(DEM)和数字地表模 型(DSM)输出冠层高度模型(CHM)；
通过数字绿土LiDAR360软件进行激光雷达点云数据预处理。首先 去除点云中的噪声点，包括明显高于地表物、低于地表面的激光点， 根据绝对高程或阈值去除较为明显的异常点；其次进行点云分类，将 点云分为地面点和非地面点，本研究非地面点为森林的激光雷达反射 脉冲点；第三利用Kriging插值法对地面点进行插值，得到数字高程 模型(DEM)，以激光雷达反射的第一回波激光点为数据源采用 Kriging插值法生成数字表面模型(DSM)，并通过对临近栅格的分 析，采用上述插值方法对数字高程模型(DEM)和数字表面模型(DSM) 进行空洞补充去除无效值；DSM模型与DEM模型之差获得冠层高度模 型(CHM)，CHM分辨率大小为0.5m，并采用平滑滤波法对CHM进行 平滑滤波去除空洞和不连续现象。
C将所述可见光图像与所述激光雷达点云的冠层高度模型进行综 合得到综合图像数据，以冠层高度模型为参考基准进行可见光图像与 激光雷达冠层高度模型地理坐标匹配；
在ENVI5.3软件下对UAV-RGB正射影像进行校正，校正误差在1 个像元范围内。
以同期、相同航高下的UAV-LiDAR生成的冠层高度模型为参考基 准，使用数字绿土LiMapper软件进行可见光图像与激光雷达冠层高 度模型进行地理坐标匹配，主要处理流程包括导入图像、自动图像对 齐等。
对于地面样地数据，需要将属性表示的每木数据转换为矢量数据。 首先在ArcGIS中添加经纬度记录的中心点和定位树位置数据，定义 地理坐标系为CGCS2000，生成经纬度表示的SHP矢量图层，然后进 行投影变换，转换为横纵坐标表示的SHP矢量数据，以中心点横纵坐 标值为原点对样地内每木相对位置进行三角函数解算以得到每木的 横纵坐标，最后以横纵坐标为XY值将每木数据添加到ArcGIS中生成 每木矢量位置数据，采用投影变换后的定位树位置对每木位置进行检 查控制，从而得到样地内实测单木矢量位置。
D将所述预处理后的激光雷达点云通过局部最大法探测树顶后用 分水岭法分割获得树冠边界；
标记控制分水岭方法是较为经典的图像分割算法，常用于对冠层 高度模型(CHM)进行单木树冠分割。主要工作流程为：首先采用局 部最大值法探测得到单木树顶，再将探测到的树顶作为标记点，通过 分水岭法分割得到单木树冠。采用该算法，本研究利用数字绿土 LiDAR360软件进行单木分割，提取研究区单木探测位置与树冠大小， 样地单木探测精度采用下面3个指标验证。
Figure BDA0003203373240000081
Figure BDA0003203373240000082
Figure BDA0003203373240000083
其中：r表示树冠探测率，p表示树冠探测准确性，F表示总体精 度，Nt是探测到并且实际存在的树冠数，Nc是探测到但实际不存在 的树冠数，No为未探测出但实际存在的树冠数。
E以地面调查样地树木为基础，以分割后的树冠边界为外边界， 以可见光正射影像亮度值和激光雷达冠层高度模型(CHM)为特征， 制作样本并分类，获得训练集、验证集和测试集合，通过卷积神经网 络对所述树冠的数据集和样本数据集进行迁移学习和集成学习后输 出识别树种结果。
地面样本收集研究区2019年度森林资源规划设计调查成果矢量 数据作为单木树种样本辅助材料，其包含小班优势树种、龄组、平均 胸径和平均高等属性信息。2020年植被生长旺季调查完成30个面积 为0.04ha的乔木林圆形样地，采用RTK定位并记录样地中心点坐标， 记载5cm以上树木的每木相对位置、树种、胸径、树高、枝下高、林 木分级、枯死原因、东西南北向冠幅等。
在样本制作时，30个乔木林样地内共检测出596株单株树木样 本(杉木474株，马尾松18株，阔叶树94株)。深度学习需要大量 带标签的训练数据样本支持，以避免因模型过于复杂而数据量太少出 现过拟合的问题。为弥补样地单株树木样本量不足，以单木分割结果 为基础，在ArcGIS平台下以RGB正射影像和CHM为工作底图，结合 “二类调查”数据优势树种和先验知识，选择单株探测样本并填写乔 木树种名称，样本量共补充到4 091株(杉木1 300株，马尾松453 株，阔叶树1 118株，毛竹1 220株)。以树顶为中心、单木分割树 冠冠幅提取单株树冠影像切片，切片文件分别以树种名称+探测单木 树顶号命名。4个树种(组)的样本图像举例如图2所示。
因马尾松样本量相对较少，为了避免样本量不均衡引起模型过拟 合，对马尾松样本进行缩放切割、随机水平与垂直翻转操作，使各树 种的样本数量大致均衡，最终数据集样本总数为4 738个(杉木1 300 个、马尾松1 100个、阔叶树1 118个、毛竹1 220个)。然后再分 别树种随机地将数据集以3:1:1的比例划分为训练集、验证集和测试 集，训练集、验证集用于CNN模型训练和验证精度，测试集用于优选 的CNN模型精度测试。
单木树冠影像切片与数据集划分等均通过编写Python脚本处理 实现。
卷积神经网络采用局部连接与权值共享的机制来提取遥感图像的 特征，特征值具有尺度与平移不变性。卷积神经网络一般由输入层、 卷积层、池化层以及全连接层组成，
输入层读取单木切片影像数据，产生特定尺寸的向量作为CNN网 络的输入。利用pytorch框架的torchvision.transform模块自动调 整图像大小，本发明ResNet18输入影像尺寸为64像素×64像素， AlexNet、VGG16、DenseNet均为224像素×224像素，InceptionV3 为299像素×299像素。
卷积层由若干个特征图组成，利用可训练的卷积核，通过图像卷 积运算与非线性映射可得到，计算公式为：
Figure BDA0003203373240000101
式中：xi为卷积神经网络第i层特征图，ki为第i层卷积核，bi为第 i层网络偏置参数，
Figure BDA0003203373240000102
为卷积运算符，f为激活函数。卷积核用于影 像特征提取，其优劣影响卷积神经网络模型提取特征的性能。激活函 数定义的是数据非线性映射转换方式，能够更好地解决卷积神经网络 特征表达能力不足的问题，用的激活函数有sigmoid、tanh、Relu等。 本发明使用Relu激活函数，公式为：
f(x)＝max(0,x) (5)
池化层即下采样层。它对卷积层特征图进行降维，且最大程度保 留原特征图信息，增强了特征平移不变性，缩减了下一层特征图输入 大小与参数量，降低了模型复杂度，减小了过拟合风险。最大池化和 均值池化是较为常见的池化运算。
全连接层的多神经元与上一层的特征节点连接，整合网络中卷积、 池化与非线性操作得到的特征图，将它们转为表示图像全局信息的一 维特征向量来用于图像分类。卷积神经网络中普通全连接层的激活函 数通常仍采用Relu等激活函数，但最后一个全连接层为Softmax分 类层，用于预测每一类的概率。
一般地，卷积神经网络中网络模型参数主要集中在卷积层的卷积 核和全连接层的连接权重，其中卷积层提取图像的特征，全连接层用 于特征的整合和分类。大量研究表明，卷积神经网络层数增加能够提 高模型特征提取能力，但是网络加深的同时也带来了卷积核参数增 多，也需要大量数据来完成训练。迁移学习将某个领域或任务上学习 到的知识或模式应用到相关领域或问题中，能够完成或改进目标领域 或者任务的学习效果。自然图像的深度学习目标分类识别方法已经渐 趋成熟，将其分类模型用于遥感影像特征提取和分类可以一定程度上 避免遥感影像分类场景训练数据缺乏所导致的过拟合以及训练过程 复杂等问题。但是遥感影像与自然图像存在巨大差异，将深层卷积神 经网络迁移至遥感影像分类必须充分完善迁移学习过程。本发明将 AlexNet、VGG16、InceptionV3、ResNet18和DenseNet121这5种在 ImageNet大型数据集上预训练的卷积神经网络模型及参数迁移到目 标树种数据集，分别采用重新训练(retraining)全部参数、微调 (finetune)训练全连接层两种方式进行对比并选择最优迁移学习过 程，CNN迁移学习采用SGD优化器、初始学习率0.001、学习率衰减 值0.01、动量0.9、批量大小32、循环训练500次来选择最优卷积 神经网络模型参数。
集成学习通过构建多个分类器以集成方式完成学习任务，不仅能 够实现分类器之间的优势互补，从而获得比单一分类器更好的效果， 还能减少对训练所需数据的依赖程度。本发明提出的基于集成迁移学 习的树种图像分类模型结构，通过AlexNet、VGG16、InceptionV3、 ResNet18和DenseNet121这5种CNN模型迁移学习提取特征和树种 初分类，然后通过相对多数投票法建立集成模型。
实验环境为Windows10 X64操作系统，配置64GB内存、Intel i9-9900K3.6GHzCPU，卷积神经网络的训练、验证以及测试均利用 Python编程调用PyTorch框架实现，采用显存11G的NVIDIA GeForce RTX2080TiGPU加速训练，训练过程中将识别精度、损失等信息保 存到CSV日志文件，循环训练完成后保存最优模型参数，使用Python 的Matplotlib模块编制程序绘制识别结果图。
使用标记控制分水岭方法对研究区CHM进行单木冠幅提取的位置 及冠幅结果如图3，其中单木树冠用预测半径大小绘制圆以显示探测 效果。对单木分割位置结果进行了精度评价(表1)，单木探测率(r) 达到了76.51％，准确率(p)达到了95.80％，总体精度(F)达到了 85.08％，单木冠幅的提取精度较高，为树种准确分类识别提供了保障。
表1单木冠幅探测精度Tab.1Theaccuracyofdetectedcrownposition
Figure BDA0003203373240000131
单木识别训练采用AlexNet、VGG16、InceptionV3、ResNet18和 DenseNet121这5种卷积神经网络结构模型，加载ImageNet上预训 练参数作为初始化参数，分别重新训练全部参数和微调训练分类层两 种迁移学习方式，使用SGD优化器、初始学习率0.001、学习率衰减 值0.01、动量0.9、循环训练500次，选择识别精度较高的迁移学习 方式进行集成学习，并同时对比经典图像分类识别方法SVM分类器 +HOG特征的识别精度，各模型识别精度对比见表2。
由表2可见，单木树冠数据集重新训练全部参数的集成迁移学习 识别精度最高，训练、验证、测试数据集识别精度分别达到了98.35％、 94.51％和92.62％。
图4所示的是单木树冠影像数据集采用重新训练(retraining) 全部参数与微调(finetune)训练分类层两种方式的训练准确率(红 色、绿色曲线表示重新训练全部参数的训练和验证精度，蓝色、紫色 曲线表示微调训练分类层的训练和验证精度)，所示的是相应的损失 值情况。重新训练(retraining)全部参数的识别效果明显优于微调 (finetune)训练分类层，重新训练(retraining)全部参数过程中， 除AlexNet模型外，VGG16、InceptionV3、ResNet18、DenseNet121 这4个CNN模型都能较快收敛。
表2单木识别精度
Table2 Individual tree recognition accuracy％
Figure BDA0003203373240000141
为对比识别精度，采用图像识别领域较为广泛应用的方向梯度直 方图(Histogram of Oriented Gradient,HOG)特征结合支持向量 机(Support VectorMachine，SVM)分类器对相同实验样本进行分 类识别。HOG特征通常是将图像分成小的细胞单元，采集细胞单元中 各像素点的梯度的或边缘的方向直方图并且把这些直方图组合起来 构成特征描述器。本发明分别提取训练、验证、测试数据集的HOG特 征，并基于HOG特征向量，运用网格搜索和5折交叉验证法对SVM分 类器径向基函数(Radial Basis Function，RBF)的参数进行搜索， 获取参数γ和C的最佳组合，而后采用最佳参数组合初始化SVM分类器并对验证和测试数据进行分类识别，且验证其精度。运用SVM+HOG 特征分类法，表2中验证、测试数据准确率分别为61.29％和57.59％， 其结果与集成迁移学习取得的最优识别精度差距较大。
以单木分割预测直径从研究区正射影像和CHM提取单木树冠切片 图像，以单木分割树冠多边形的ID予以标识，将单木树冠图像代入 重新训练全部参数的集成迁移学习框架预测树种类别，同时，提取 HOG特征代入训练好的的SVM分类器预测树种类别，以单木分割树冠 多边形ID作为连接纽带，获得两种方法的单木树种属性信息。结果 如图2所示，五个研究区子图中采用集成迁移学习方式的树种识别结 果明显优于SVM+HOG特征的识别结果。
在重新训练全部参数条件下，利用独立单木影像和CHM测试样本 (杉木、马尾松、阔叶树和毛竹样本数量分别为260、220、224和 244个)的混淆矩阵分析各CNN模型迁移学习与集成学习各树种(组) 识别的准确性。在混淆矩阵中，用蓝色表示识别准确度，颜色越深，识别准确度越高。x轴表示预测数据集，y轴表示真实数据集，A～D 分别代表毛竹、阔叶树、杉木和马尾松这4个树种类别。如图5所 示，图5(a)、(b)、(c)、(d)、(e)这5个经典CNN模型预测结果 中A～D这4个树种(组)识别率均较高，集成学习硬投票预测结果 中，A、B的树种识别率均优于5个CNN模型，C的树种识别率优于图5(a)、(c)、(e)这3个CNN模型，D的树种识别率优于图6(a)、 (b)而仅次于图6(d)、(e)，这些是经典CNN模型的迁移学习以及 集成学习的具体表现，结果较为理想。从图6(f)可以发现，阔叶 树和杉木两个树种(组)间识别错误现象相对突出，这可能与研究区 阔叶树种多、树冠的形态、颜色与纹理复杂多样而本发明将它们归为 阔叶树类中引起CNN提取的类内高层次特征多样，部分特征与杉木相 似造成；毛竹亦有部分被错误识别为阔叶树，这可能与二者的部分样 本高层次特征相似有关；而马尾松识别率最高，这应与该树种初始样 本数量少而通过图像变换增加样本数量有直接关系。整体上看，各 CNN模型的迁移学习与集成学习结果较为理想，虽然部分样本识别错 误，但绝大部分样本被正确识别。
单木树冠的准确探测是保证树种识别结果的重要前提环节。本发 明单木探测率76.51％、准确率95.80％、总体精度85.08％，准确率较 高意味着探测到的树顶真实存在概率较大。本发明提出的采用 UAV-LiDAR CHM单木分割得到单木树冠信息结合UAV-RGB正射影像和 CHM生成单木影像切片输入深层卷积神经网络迁移学习和集成学习进 行树种识别的方法，训练、验证、测试数据集上的识别精度分别达到 了98.35％、94.51％和92.62％，超过采用传统机器学习方法的无人机 遥感树种识别精度15％以上。与传统的SVM+HOG特征分类结果相比， 在相同数据集条件下，本发明方法的结果明显更好。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范 围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内，根据本发明的技术方案及其发明构思加以等同替换或改 变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种无人机多源遥感的树种识别方法，其特征在于，包括以下步骤：
A获取可见光图像和激光雷达点云，分别对激光雷达点云和可见光图像进行预处理，获得预处理后的激光雷达点云和可见光正射影像；
B将所述预处理后的激光雷达点云生成数字高程模型(DEM)和数字地表模型(DSM)，计算输出激光雷达冠层高度模型(CHM)；
C将所述可见光正射影像与所述激光雷达冠层高度模型(CHM)进行综合得到综合图像数据，以冠层高度模型为参考基准进行可见光正射影像与所述冠层高度模型(CHM)进行地理坐标匹配，包括导入图像和自动图像对齐；
D将所述激光雷达冠层高度模型(CHM)通过局部最大法探测树顶后用分水岭法分割获得树冠边界；
E以地面调查样地树木为基础，以分割后的树冠边界为外边界，以可见光正射影像亮度值和激光雷达冠层高度模型(CHM)为特征，制作样本并分类，获得训练集、验证集和测试集合，通过卷积神经网络对所述树冠的数据集和样本数据集进行迁移学习和集成学习后输出识别树种结果。
2.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，对可见光图像的预处理方法包括ENVI、几何校正、辐射校正、和正射校正。
3.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，所述激光雷达点云的预处理方法包括去除激光雷达点云数据中的噪声点。
4.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，所述数字高程模型(DEM)和数字地表模型(DSM)的生成方法包括对所述激光雷达点云的数据分类后利用Kriging插值法对地面点进行插值，得到数字高程模型(DEM)，以激光雷达反射的第一回波激光点为数据源采用Kriging插值法生成数字表面模型(DSM)，并通过对临近栅格的分析，采用上述插值方法对数字高程模型(DEM)和数字表面模型(DSM)进行空洞补充去除无效值；DSM模型与DEM模型之差形成激光雷达冠层高度模型(CHM)，CHM分辨率大小为0.5m，并采用平滑滤波法对CHM进行平滑滤波去除空洞和不连续现象。
5.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，在步骤E中所述制作样本并分类包括
(1)采集地面样本数据；
(2)对所述地面样本数据的样木数据进行调查；
(3)对所述样木数据进行ARCGIS处理；
(4)对处理后的数据进行样本矢量化；
(5)提取矢量化后的样木数据在正射影像和CHM中的位置及树冠顶点位置；
(6)对所述样木数据进行正射影像和CHM树冠图片切片；
(7)对所述树冠图片进行数据集划分。
6.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，所述ArcGIS处理包括添加经纬度记录的中心点和定位树位置数据，生成经纬度表示的SHP矢量图层，然后进行投影变换，转换为横纵坐标表示的SHP矢量数据，以中心点横纵坐标值为原点对样地内每木相对位置进行三角函数解算以得到每木的横纵坐标，最后以横纵坐标为XY值将每木数据添加到ArcGIS中生成每木矢量位置数据，采用投影变换后的定位树位置对每木位置进行检查控制，从而得到样地内实测单木矢量位置。
7.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，所述卷积神经网络采用局部连接与权值共享的机制来提取遥感图像的特征，包括输入层、卷积层、池化层以及全连接层。
8.根据权利要求1所述一种无人机多源遥感的树种识别方法，其特征在于，所述分水岭法分割树冠的方法包括采用局部最大值法探测得到单木树顶，再将探测到的树顶作为标记点，通过分水岭法分割得到单木树冠。
CN202110910033.XA 2021-08-09 2021-08-09 一种无人机多源遥感的树种识别方法 Active CN113591766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910033.XA CN113591766B (zh) 2021-08-09 2021-08-09 一种无人机多源遥感的树种识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110910033.XA CN113591766B (zh) 2021-08-09 2021-08-09 一种无人机多源遥感的树种识别方法

Publications (2)

Publication Number Publication Date
CN113591766A true CN113591766A (zh) 2021-11-02
CN113591766B CN113591766B (zh) 2022-10-11

Family

ID=78256508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110910033.XA Active CN113591766B (zh) 2021-08-09 2021-08-09 一种无人机多源遥感的树种识别方法

Country Status (1)

Country Link
CN (1) CN113591766B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580564A (zh) * 2022-03-21 2022-06-03 滁州学院 一种基于无人机影像的优势树种遥感分类方法及分类系统
CN114648706A (zh) * 2022-05-23 2022-06-21 四川嘉普信工程技术咨询有限公司 基于卫星遥感影像的森林树种识别方法、装置及设备
CN114743008A (zh) * 2022-06-09 2022-07-12 西南交通大学 一种单株植被点云数据分割方法、装置及计算机设备
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN115358440A (zh) * 2022-07-06 2022-11-18 华南师大(清远)科技创新研究院有限公司 一种基于角二阶矩与深度学习的树木覆盖预测方法
SE2100172A1 (en) * 2021-11-09 2023-05-10 Saab Ab Method, system and computer program product for forming a digital surface model based on treetops
TWI823654B (zh) * 2022-11-01 2023-11-21 國立中央大學 結構物表面缺陷識別校正系統
CN117495932A (zh) * 2023-12-25 2024-02-02 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815850A (zh) * 2017-01-22 2017-06-09 武汉地普三维科技有限公司 基于激光雷达技术获取甚高郁闭度森林蓄积量的方法
CN108846352A (zh) * 2018-06-08 2018-11-20 广东电网有限责任公司 一种植被分类与识别方法
CN108986131A (zh) * 2018-07-24 2018-12-11 南京林业大学 一种迭代h-minima改进分水岭的无人机高分影像单木树冠提取方法
CN110223314A (zh) * 2019-06-06 2019-09-10 电子科技大学 一种基于树冠三维点云分布的单木分割方法
CN110728197A (zh) * 2019-09-19 2020-01-24 中山大学 基于深度学习的单木级树种识别方法
CN110956187A (zh) * 2019-11-28 2020-04-03 中国农业科学院农业信息研究所 一种基于集成学习的无人机影像植物冠层信息提取方法
CN111428784A (zh) * 2020-03-23 2020-07-17 湖南工学院 采用机载激光雷达对落叶林树级参数测定的鲁棒分割方法
CN111462134A (zh) * 2020-03-31 2020-07-28 武汉大学 高分遥感影像和激光雷达点云融合的单木分割方法及系统
KR20200122897A (ko) * 2019-04-19 2020-10-28 서울대학교산학협력단 라이다 측량자료를 이용한 숲틈 모니터링 시스템 및 방법
CN111898688A (zh) * 2020-08-04 2020-11-06 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN112163458A (zh) * 2020-09-04 2021-01-01 江苏东晟辉科技开发有限公司 基于CASI高光谱与机载LiDAR融合的地物分类方法
CN112729130A (zh) * 2020-12-29 2021-04-30 四川天奥空天信息技术有限公司 卫星遥感测量树木冠层高度的方法
CN112819066A (zh) * 2021-01-28 2021-05-18 北京林业大学 一种Res-UNet单木树种分类技术
CN112907520A (zh) * 2021-02-05 2021-06-04 南京林业大学 基于端到端深度学习方法的单株树冠检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815850A (zh) * 2017-01-22 2017-06-09 武汉地普三维科技有限公司 基于激光雷达技术获取甚高郁闭度森林蓄积量的方法
CN108846352A (zh) * 2018-06-08 2018-11-20 广东电网有限责任公司 一种植被分类与识别方法
CN108986131A (zh) * 2018-07-24 2018-12-11 南京林业大学 一种迭代h-minima改进分水岭的无人机高分影像单木树冠提取方法
KR20200122897A (ko) * 2019-04-19 2020-10-28 서울대학교산학협력단 라이다 측량자료를 이용한 숲틈 모니터링 시스템 및 방법
CN110223314A (zh) * 2019-06-06 2019-09-10 电子科技大学 一种基于树冠三维点云分布的单木分割方法
CN110728197A (zh) * 2019-09-19 2020-01-24 中山大学 基于深度学习的单木级树种识别方法
CN110956187A (zh) * 2019-11-28 2020-04-03 中国农业科学院农业信息研究所 一种基于集成学习的无人机影像植物冠层信息提取方法
CN111428784A (zh) * 2020-03-23 2020-07-17 湖南工学院 采用机载激光雷达对落叶林树级参数测定的鲁棒分割方法
CN111462134A (zh) * 2020-03-31 2020-07-28 武汉大学 高分遥感影像和激光雷达点云融合的单木分割方法及系统
CN111898688A (zh) * 2020-08-04 2020-11-06 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN112163458A (zh) * 2020-09-04 2021-01-01 江苏东晟辉科技开发有限公司 基于CASI高光谱与机载LiDAR融合的地物分类方法
CN112729130A (zh) * 2020-12-29 2021-04-30 四川天奥空天信息技术有限公司 卫星遥感测量树木冠层高度的方法
CN112819066A (zh) * 2021-01-28 2021-05-18 北京林业大学 一种Res-UNet单木树种分类技术
CN112907520A (zh) * 2021-02-05 2021-06-04 南京林业大学 基于端到端深度学习方法的单株树冠检测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
TAO HE等: ""WOOD SPECIES IDENTIFICATION BASED ON AN ENSEMBLE OF DEEP CONVOLUTION NEURAL NETWORKS"", 《WOOD RESEARCH》 *
YING SUN等: ""Characterizing Tree Species of a Tropical Wetland in Southern China at the Individual Tree Level Based on Convolutional Neural Network"", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
ZHANYUAN CHANG等: ""Fusion of Hyperspectral CASI and Airborne LiDAR Data for Ground Object Classification through Residual Network"", 《SENSORS》 *
冯海林等: ""基于树木整体图像和集成迁移学习的树种识别"", 《农业机械学报》 *
周小成等: ""无人机遥感估算绿化园林三维绿量——以福州大学旗山校区为例"", 《福州大学学报(自然科学版)》 *
徐志扬等: ""基于无人机LiDAR的杉木树冠上部外轮廓模拟与可视化研究"", 《HTTP://WWW.LYKXYJ.COM/CN/ARTICLE/DOI/10.13275/J.CNKI.LYKXYJ.2021.04.005?VIEWTYPE=HTML》 *
李华玉等: ""基于无人机可见光和LiDAR数据的单木树种识别"", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/53.1218.S.20210205.1610.004.HTML》 *
李文静: ""基于机载LiDAR点云和航空影像的输电线走廊树种分类研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王莉影: ""基于迁移学习的遥感影像树种识别的研究"", 《中国优秀硕士学位论文全文数据 工程科技Ⅱ辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085996A1 (en) * 2021-11-09 2023-05-19 Saab Ab Method, system and computer program product for forming a digital surface model based on treetops
SE2100172A1 (en) * 2021-11-09 2023-05-10 Saab Ab Method, system and computer program product for forming a digital surface model based on treetops
CN114580564A (zh) * 2022-03-21 2022-06-03 滁州学院 一种基于无人机影像的优势树种遥感分类方法及分类系统
CN114648706B (zh) * 2022-05-23 2022-07-29 四川嘉普信工程技术咨询有限公司 基于卫星遥感影像的森林树种识别方法、装置及设备
CN114648706A (zh) * 2022-05-23 2022-06-21 四川嘉普信工程技术咨询有限公司 基于卫星遥感影像的森林树种识别方法、装置及设备
CN114743008A (zh) * 2022-06-09 2022-07-12 西南交通大学 一种单株植被点云数据分割方法、装置及计算机设备
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN115170979B (zh) * 2022-06-30 2023-02-24 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN115358440A (zh) * 2022-07-06 2022-11-18 华南师大(清远)科技创新研究院有限公司 一种基于角二阶矩与深度学习的树木覆盖预测方法
CN115358440B (zh) * 2022-07-06 2023-04-18 华南师大(清远)科技创新研究院有限公司 一种基于角二阶矩与深度学习的树木覆盖预测方法
TWI823654B (zh) * 2022-11-01 2023-11-21 國立中央大學 結構物表面缺陷識別校正系統
CN117495932A (zh) * 2023-12-25 2024-02-02 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统
CN117495932B (zh) * 2023-12-25 2024-04-16 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统

Also Published As

Publication number Publication date
CN113591766B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN113591766B (zh) 一种无人机多源遥感的树种识别方法
Mäyrä et al. Tree species classification from airborne hyperspectral and LiDAR data using 3D convolutional neural networks
Koirala et al. Deep learning–Method overview and review of use for fruit detection and yield estimation
Miraki et al. Individual tree crown delineation from high-resolution UAV images in broadleaf forest
CN111898688B (zh) 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
Ke et al. A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing
Liu et al. Tree species classification of LiDAR data based on 3D deep learning
CN110378909A (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
Sun et al. Characterizing tree species of a tropical wetland in southern china at the individual tree level based on convolutional neural network
Zortea et al. Automatic citrus tree detection from UAV images based on convolutional neural networks
Dong et al. Multi-layered tree crown extraction from LiDAR data using graph-based segmentation
Marinelli et al. An approach based on deep learning for tree species classification in LiDAR data acquired in mixed forest
CN115880487A (zh) 基于深度学习方法的林木激光点云枝叶分离方法
Agustin et al. Deep Learning-based Method for Multi-Class Classification of Oil Palm Planted Area on Plant Ages Using Ikonos Panchromatic Imagery
Sun et al. 3D computer vision and machine learning based technique for high throughput cotton boll mapping under field conditions
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
Ayazi et al. Comparison of traditional and machine learning base methods for ground point cloud labeling
CN114862872A (zh) 一种基于Faster R-CNN的红树林单木分割方法
Veramendi et al. Algorithm for the countering maize plants based on UAV, digital image processing and semantic modeling
Mustafić et al. Deep Learning for Improved Individual Tree Detection from Lidar Data
Tian et al. Recognition Method of Corn and Rice Crop Growth State Based on Computer Image Processing Technology
CN114494586B (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
Dietenberger et al. Tree stem detection and crown delineation in a structurally diverse deciduous forest combining leaf-on and leaf-off UAV-SfM data
Amiri et al. Feature relevance assessment for single tree species classification using ALS point clouds and aerial imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Chen Qiao

Inventor after: Chen Yongfu

Inventor after: Xu Zhiyang

Inventor after: Li Huayu

Inventor before: Chen Qiao

Inventor before: Chen Yongfu

Inventor before: Xu Zhiyang

Inventor before: Li Huayu

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant