CN115937304B

CN115937304B - 一种通过稀疏点云精确估计立木位置及胸径的方法及装置

Info

Publication number: CN115937304B
Application number: CN202310236819.7A
Authority: CN
Inventors: 范永祥; 徐冲; 刘龙晖; 王艺鹏
Original assignee: Individual
Current assignee: Individual
Priority date: 2023-03-13
Filing date: 2023-03-13
Publication date: 2023-06-16
Anticipated expiration: 2043-03-13
Also published as: CN115937304A

Abstract

本发明涉及森林清查技术领域，具体涉及一种通过稀疏点云精确估计立木位置及胸径的方法及装置。该方法及装置首先在增强现实场景中点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；再扫描胸高位置，根据地径位置的平面位置索引出稀疏点云中属于立木胸高范围的点云；最后根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计。本发明不需要ToF相机提供数据，基于稀疏点云即可完成立木位置及胸径估计；利用立木不同侧面的胸高数据对立木位置及胸径估计，而现有技术方案仅考虑单侧数据，故本发明的位置及胸径精度更可靠。

Description

一种通过稀疏点云精确估计立木位置及胸径的方法及装置

技术领域

本发明涉及森林清查技术领域，具体而言，涉及一种通过稀疏点云精确估计立木位置及胸径的方法及装置。

背景技术

增强现实是一种以SLAM（Simultaneous Localization and Mapping）技术为实时定位及建图基础，将虚拟场景置于真实场景的一种技术。SLAM是一种仅依靠于观测传感器及运动传感器完成相对定位及建图的技术，具有不依赖于全球导航卫星系统（GlobalNavigation Satellite System，简称GNSS）信号的特点。在森林调查中，使用SLAM技术定位及建图可估计森林中的测树因子，通过增强现实场景将测量结果融合与真实场景中，不仅做到了“所见即所得”，还可实现对估计结果质量的“监督”，有效地避免了可能出现的粗差。相比于传统森林调查手段具有便携、精确、效率高等优势，相比于其他遥感手段具有可靠等优势，故其在森林调查（特别是森林样地调查）中起着重要作用。

增强现实设备在林业调查中得到初步应用，利用增强现实技术中的实时定位、建图、可视化及交互功能可完成对森林中立木因子进行测量。目前实时测量立木位置及胸径的方法是通过拟合深度相机获取点云实现的。在没有深度相机时，仅能通过实时稠密化纹理相机影像获取点云，但其噪声往往太大，故无法基于该点云直接拟合胸径；此外，目前拟合胸径的方法仅考虑到树木单侧的信息，若树干非圆柱体，则很难精确估计立木位置及胸径。

近些年来，许多学者贡献了大量基于摄影测量或点云数据估计单木因子的算法，但这些方法主要用于内业数据处理中。内业数据往往具有全局性、数据量大等特性，对计算机运算能力等有一定的需求，而且需要消耗一定的时间从而不一定能满足实时性的要求。目前，用于增强现实的测树系统利用SLAM系统提供的单张深度图及其位姿进行估计，该算法利用立木单侧的稠密点云构建损失函数通过圆拟合的方法进行立木位置及胸径估计，未充分考虑立木胸高圆柱体的非对称性、非规则性，显然会引入较大误差；此外，该算法使用深度相机作为点云获取手段，目前大量手持增强现实设备（如手机）并不具备该条件，单目SLAM仍然为主流SLAM系统。故有必要研制基于单目SLAM的轻量级算法，对立木位置及胸径进行精确估计。

增强现实可将测量结果与真实场景融合，不仅做到了“所见即所得”，还可实现对估计结果质量的“监督”，有效地避免了可能出现的粗差。相比于传统森林调查手段具有便携、精确、效率高等优势，相比于其他遥感手段具有可靠等优势，是一种具有潜力的森林调查解决方案。

现有技术中，博士毕业论文“范永祥. 便携式RGB-D SLAM测树系统关键技术研究[D].北京林业大学,2020.DOI:10.26949/d.cnki.gblyu.2020.000087.”，该方案中以手机ToF相机为获取单帧点云数据的传感器，以RGB-D SLAM系统为获取位姿的方法，然后基于单帧点云及实时位姿完成了立木位置及胸径估计。在估计中，将立木胸高圆点云投影至水平面上，然后以属于立木胸高圆的点云及单帧点云原点与立木胸径圆的切线为约束条件构建了优化方程式，完成胸径圆的拟合。该算法未充分考虑立木胸高圆柱体的非对称性、非规则性，显然会引入较大误差；此外，该算法使用深度相机作为点云获取手段，目前大量手持增强现实设备（如手机）并不具备该条件，单目SLAM仍然为主流SLAM系统。

发明内容

本发明实施例提供了一种通过稀疏点云精确估计立木位置及胸径的方法及装置，以至少解决现有技术很难精确估计立木位置及胸径的技术问题。

根据本发明的一实施例，提供了一种通过稀疏点云精确估计立木位置及胸径的方法，包括以下步骤：

S101:启动SLAM系统进行实时定位及建图；

S102:在增强现实场景中点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；

S103:扫描胸高位置，根据地径位置的平面位置索引出稀疏点云中属于立木胸高范围的点云；

S104:根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计。

进一步地，方法还包括：

S105:构建增强现实场景，为用户提供监督测量结果场景。

进一步地，步骤S101包括：

在利用IMU和面阵相机为传感器的SLAM系统中，以IMU积分数据构建运动方程、以面阵影像提取的特征点构建观测方程，对当前位姿及特征点的三维位置进行估计。

进一步地，步骤S102包括：

在增强现实场景中点击地径处一点，利用多张影像的位姿及影像纹理利用PatchMatch Stereo方法进行稠密重建，获取当前影像的深度图。

进一步地，步骤S104包括：

在获取到胸高点后将其投影至水平面上，并索引距离每个投影点最远的另一投影点构成点对，获取点对垂直平分线后将所有垂直平分线两两相交点的加权平均值作为立木位置；

立木中心与胸高处点构成胸高圆半径，组成多个类扇形，类扇形面积总和为胸高的横截面积，将立木胸高假设为圆并利用该横截面积计算胸径。

进一步地，在增强现实场景中呈现胸高位置时，围绕胸高转一圈，获取胸高不同侧面的稀疏点云信息；

然后，过滤胸高稀疏点云，在获取到胸高点后并将其投影至水平面。

进一步地，在完成立木中心估计后，立木中心与胸高处点构成胸高圆半径，并组成多个类扇形，类扇形面积总和为胸高的横截面积，将立木胸高假设为圆利用该横截面积计算胸径；其中在求类扇形面积时，假设类扇形的半径随角度线性变化，并基于此假设积分获取扇形面积。

进一步地，步骤S105包括：

在完成立木位置及胸径估计后，基于当前位姿可计算必要的视图矩阵及投影矩阵，将立木位置及胸径表达于增强现实场景中用于监督测量结果精度。

根据本发明的另一实施例，提供了一种通过稀疏点云精确估计立木位置及胸径的装置，包括：

系统启动单元，用于启动SLAM系统进行实时定位及建图；

胸高位置确定单元，用于在SLAM系统中点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；

胸高位置扫描单元，用于扫描胸高位置，根据地径位置的平面位置索引出稀疏点云中属于立木胸高范围的点云；

立木胸径估计单元，用于根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计。

进一步地，该装置还包括：

现实场景构建单元，用于构建增强现实场景，为用户提供监督测量结果场景。

一种存储介质，存储介质存储有能够实现上述任意一项通过稀疏点云精确估计立木位置及胸径的方法的程序文件。

一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的通过稀疏点云精确估计立木位置及胸径的方法。

本发明实施例中的通过稀疏点云精确估计立木位置及胸径的方法及装置，首先在SLAM系统中点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；再扫描胸高位置，根据地径位置的平面位置索引出稀疏点云中属于立木胸高范围的点云；最后根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计。本发明不需要ToF相机提供数据，基于稀疏点云即可完成立木位置及胸径估计；利用立木不同侧面的胸高数据对立木位置及胸径估计，而现有技术方案仅考虑单侧数据，故本发明的位置及胸径精度更可靠。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明中增强现实测树系统工作流程图；

图2为本发明中SLAM过程图；

图3（a）为地径位置增强现实场景图；

图3（b）为胸高位置增强现实场景图；

图4为本发明中立木位置估计中的元素示意图；

图5为本发明中立木胸径估计中的元素示意图；

图6为本发明中立木位置及胸径增强现实场景图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

针对现有技术的缺点，本发明利用从增强现实SLAM系统实时稀疏点云中获取的立木胸高处5个以上点坐标完成立木位置及胸径的估计。在获取到胸高点后将其投影至水平面上，并索引距离每个投影点最远的另一投影点构成“点对”，获取点对垂直平分线后将所有垂直平分线两两相交点的加权平均值作为立木中心（即立木位置），本发明中定义两垂直平分线相交点的权与获取垂直平分线的“点对”距离成正比、垂直平分线夹角的归一化值负对数成反比；最后，立木中心与胸高处点构成胸高圆半径，组成多个类扇形（各半径并不相等），类扇形面积总和即为胸高的横截面积，将立木胸高假设为圆便可利用该横截面积计算胸径，本发明在求类扇形面积时假设类扇形的半径随角度线性变化，并基于此假设积分获取扇形面积。显然，本发明中求立木中心所使用的权充分考虑了胸高点的噪声，提高了立木位置的估计精度；利用类扇形的面积积分方法精确估计了立木胸径。

本发明利用增强现实SLAM系统实时稀疏点云中获取立木胸高处5个以上点坐标，投影在胸高水平面上后进行立木位置及胸径估计。该方法稀疏点云可为立木胸高处任意方向的点，故可对立木的不均匀性、非对称性进行充分考虑的情况下进行立木位置及胸径估计。且在立木位置估计中，（1）利用圆弦的垂直平分线相交获取各个方向对立木位置的影响，并基于充分考虑各稀疏点的精度的基础上实现立木位置的加权估计，最后通过积分获取胸高横断面积的方式精确估计胸径值；（2）新方法基于单目SLAM稀疏点云即可完成立木位置及胸径估计，不需深度相机。

本发明技术方案详细阐述如下：

增强现实的核心技术是实时SLAM技术，该技术中的实时定位及建图数据不仅可作为构建增强现实场景的数据，也可作为测树的数据源。增强现实测树系统工作流程如图1所示，具体地：（1）启动SLAM系统实现实时定位及建图；（2）点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；（3）扫描胸高位置，根据地径位置的平面位置可以索引出稀疏点云中属于立木胸高范围的点云；（4）利用胸高点云便可对立木位置进行估计；（5）完成立木位置估计后，利用立木位置和胸高点云便可实现立木胸径估计；（6）构建增强现实场景，为用户提供监督测量结果场景。

1.SLAM过程

SLAM问题即移动平台在未知环境中的未知位置实时构建周围环境的全局一致性地图并利用该地图实时估计运动平台位姿的问题。或者说，SLAM问题即：在没有任何先验位置信息的前提下，实时估计平台的运动轨迹及地面路标点位置（如图2所示）。在利用IMU和面阵相机为传感器的SLAM系统中，通常以IMU积分数据构建运动方程、以面阵影像提取的特征点（如ORB特征）构建观测方程，可对当前位姿及特征点的三维位置进行估计（即稀疏点云）。

2.地径位置估计

在确定地径处一点时需要在增强现实场景中点击地径处一点，利用多张影像的位姿及影像纹理利用Patch Match Stereo等方法可实现稠密重建，获取当前影像的深度图。利用被点击点的像素坐标与深度及当前位姿便可获取该点坐标：

；

其中，

为地径处被点击点在初始化世界坐标系内的坐标表示；/>

为影像上被点击像素点的齐次坐标系；/>

为被点击像素点的深度；/>

、/>

为当前状态下相机相对于SLAM初始化世界坐标系的旋转矩阵及平移向量；/>

为相机的内方位元素矩阵。由此，/>

为立木胸高处平面上一点在初始化世界坐标系中的表达。图3（a）为地径位置增强现实场景图，图3（b）为胸高位置增强现实场景图，点

与点/>

连线被表达到增强现实场景中，从而使观测者可以在显示器上看到胸高位置。

3.立木位置精确估计

在增强现实场景中呈现胸高位置时，为获取更高精度的立木位置及胸径可围绕胸高转一圈，获取胸高不同侧面的稀疏点云信息。然后，过滤

点上下10cm范围内、水平面0.4米半径内的点作为胸高稀疏点云。在获取到胸高点并将其投影至水平面（即仅保留x、y轴方向的值，为二维坐标）后，

（1）索引距离每个投影点最远的另一投影点构成N组“点对”集合（图4）

；

其中：

，/>

、/>

为投影点，/>

为一组“点对”；

（2）获取点对垂直平分线及点对距离的集合（图4）

；

其中：

为/>

、/>

中点或/>

垂直平分线上一点，/>

为/>

的垂直平分线斜率（若设

斜率为/>

，则/>

），/>

为/>

的距离；

（3）计算两两垂直平分线的交点（即立木位置估计值）及其权，并组成集合（图4）

；

其中：

且/>

，/>

为第/>

、/>

条垂直平分线交点。本发明中定义两垂直平分线相交点的权与获取垂直平分线的“点对”距离成正比、垂直平分线夹角的归一化值负对数成反比，即若令/>

为第/>

、/>

条垂直平分线的夹角、/>

及/>

为第/>

、/>

个点对的距离，则/>

对应权为：

；

此时，由

获取的立木位置的最佳估计为：

；

4.立木胸径精确估计

在完成立木中心估计后，立木中心与胸高处点构成胸高圆半径，并组成多个类扇形（各半径并不相等，如图5所示），类扇形面积总和即为胸高的横截面积，若将立木胸高假设为圆便可利用该横截面积计算胸径。本发明在求类扇形面积时，假设类扇形的半径随角度线性变化，并基于此假设积分获取扇形面积。即半径

、/>

间的散形面积为：

；

其中，

为向量/>

的极坐标，/>

为/>

的角元素，/>

为/>

的线元素。由此可得胸径的最佳估计值为：

；

5.增强现实场景构建

在完成立木位置及胸径估计后，基于当前位姿可计算必要的视图矩阵及投影矩阵，将立木位置及胸径表达于增强现实场景中用于监督测量结果精度（图6）。

本发明的关键点和欲保护点为：

1.在利用“点对”形成垂直平分线计算立木位置时，以

作为第j、k个点对计算立木位置中心的权。

2.利用类扇形面积计算立木胸高横断面积时，假设类扇形的半径随角度线性变化，即半径

、/>

间的散形面积为/>

。

与现有技术相比，本发明的优点为：

相比于博士毕业论文“便携式RGB-D SLAM测树系统关键技术研究”，（1）本发明不需要ToF相机提供数据，基于稀疏点云即可完成立木位置及胸径估计；（2）本发明利用立木不同侧面的胸高数据对立木位置及胸径估计，而现有技术方案仅考虑单侧数据，故本发明的位置及胸径精度更可靠；（3）本发明中利用胸高横截面积计算胸径值，胸径的目的正是计算横截面积，故本发明的胸径可靠性更高，而现有技术方案通过拟合圆的方法获取胸径，未注重胸高断面的非标准圆柱体特性。

本发明的替换方案为：本发明中以手机ToF相机为获取单帧点云数据的传感器，以RGB-D SLAM系统为获取位姿的方法，然后基于单帧点云及实时位姿完成了立木位置及胸径估计。在估计中，将立木胸高圆点云投影至水平面上，然后以属于立木胸高圆的点云及单帧点云原点与立木胸径圆的切线为约束条件构建了优化方程式，完成胸径圆的拟合。但要求有ToF相机，且该算法仅考虑立木单侧的点云进行拟合。

实施例2

实施例3

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，包括以下步骤：

S101:启动SLAM系统进行实时定位及建图；

S104:根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计；

所述步骤S104包括：

2.根据权利要求1所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，所述方法还包括：

S105:构建增强现实场景，为用户提供监督测量结果场景。

3.根据权利要求1所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，步骤S101包括：

4.根据权利要求1所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，步骤S102包括：

5.根据权利要求1所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，在增强现实场景中呈现胸高位置时，围绕胸高转一圈，获取胸高不同侧面的稀疏点云信息；

6.根据权利要求5所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，在完成立木中心估计后，立木中心与胸高处点构成胸高圆半径，并组成多个类扇形，类扇形面积总和为胸高的横截面积，将立木胸高假设为圆利用该横截面积计算胸径；其中在求类扇形面积时，假设类扇形的半径随角度线性变化，并基于此假设积分获取扇形面积。

7.根据权利要求2所述的通过稀疏点云精确估计立木位置及胸径的方法，其特征在于，步骤S105包括：

8.一种通过稀疏点云精确估计立木位置及胸径的装置，其特征在于，包括：

系统启动单元，用于启动SLAM系统进行实时定位及建图；

胸高位置确定单元，用于在增强现实场景中点击地径处一点，并通过该点确定立木胸高位置，并构建增强现实场景；

立木胸径估计单元，用于根据胸高点云对立木位置进行估计，并根据胸高点云及立木位置进行立木胸径估计；

所述立木胸径估计单元在获取到胸高点后将其投影至水平面上，并索引距离每个投影点最远的另一投影点构成点对，获取点对垂直平分线后将所有垂直平分线两两相交点的加权平均值作为立木位置；

9.根据权利要求8所述的通过稀疏点云精确估计立木位置及胸径的装置，其特征在于，所述装置还包括：