CN115457212A - 树木影像图处理方法、装置、终端设备及存储介质 - Google Patents

树木影像图处理方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN115457212A
CN115457212A CN202211173252.5A CN202211173252A CN115457212A CN 115457212 A CN115457212 A CN 115457212A CN 202211173252 A CN202211173252 A CN 202211173252A CN 115457212 A CN115457212 A CN 115457212A
Authority
CN
China
Prior art keywords
tree
full
image
model
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211173252.5A
Other languages
English (en)
Inventor
张郁
王明省
吴辉
刘洋
王楠
秦亮军
丁晶
余锐
陈德权
李爽
陈敏
谭福宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Urban Planning Survey and Design Institute
Original Assignee
Guangzhou Urban Planning Survey and Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Urban Planning Survey and Design Institute filed Critical Guangzhou Urban Planning Survey and Design Institute
Priority to CN202211173252.5A priority Critical patent/CN115457212A/zh
Publication of CN115457212A publication Critical patent/CN115457212A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种树木影像图处理方法、装置、终端设备及存储介质，通过获取目标树木的多视角影像图；基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。本发明实施例获取目标树木的全要素信息，实现目标树木的全域实景三维建模和单体化建模。

Description

树木影像图处理方法、装置、终端设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种树木影像图处理方法、装置、终端设备及存储介质。
背景技术
森林作为全球生态系统的重要组成部分之一，在调节全球气候变化、推动碳循环等方面具有重要作用。而树木作为一种重要的森林资源，通过借助一定的调查方法快速精确地获取区域树木全要素信息，对于实现森林资源的精细化管理具有重要意义。在过去几十年内，传统的树木调查技术方法主要通过人工手段来获取，从而表现出人工成本高、耗时长、精度较低等弊端。
虽然，近年来，随着计算机、遥感、激光扫描等技术领域的快速发展，基于无人机倾斜摄影测量技术、机载LIDAR技术、近景摄影测量技术、三维激光扫描技术等新型测绘技术不断涌现。但是，在树木调查领域中，大多数采用单一新型测绘技术来获取单一维度的影像数据，所以难以获得全要素信息，因此，亟需探索一种多维影像数据融合的新型树木调查技术方法，实现树木精细化建模，从而获取树木全要素信息。
发明内容
本发明提供一种树木影像图处理方法、装置、终端设备及存储介质，通过预设的全场景语义信息启发式的影像细节匹配模型处理目标树木的多角度影像图，能够获取目标树木的全要素信息，实现目标树木的全域实景三维建模和单体化建模。
为了实现上述目的，第一方面，本发明实施例提供了一种树木影像图处理方法，包括：
获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
作为上述方案的改进，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
作为上述方案的改进，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure BDA0003864174230000031
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
作为上述方案的改进，所述根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化，具体为：
根据所述目标树木的对应掩膜，采用Unity3D建模对所述目标树木进行定位和贴图，得到所述目标树木的全域实景三维模型；结合三维实景Mesh模型，通过白膜制作、纹理自动映射、纹理修饰等模型修饰，构建所述目标树木的单体化模型，以使所述目标树木在全域和单体双维度上可视化。
作为上述方案的改进，所述正射影像图和侧面影像图是通过采用小型多旋翼高精度无人机型，在所述无人机平台上的垂直方向和倾斜方向搭载多镜头传感器，在所述目标树木的垂直方向和倾斜方向上进行测量获得；
所述地面影像图是通过采用机载式、手持式、背包移动式、车载式等多载体激光扫描仪，在地面对所述目标树木进行的全方位激光扫描，得到所述目标树木的激光点云数据集；对所述激光点云数据集进行降噪和配准预处理，获得有用的激光点云数据集；采用云际拼接和靶标拼接所述有用的激光点云数据集而获得；
所述近地面细节化影像图是通过使用影像测量仪，在所述目标树木所采集的正射影像图、侧面影像图和地面影像图的重叠范围内，结合所述影像测量仪自身设备条件以及补集影像的精度和分辨率要求，进行自动化近景拍摄而获得。
第二方面，本发明实施例提供了一种树木影像图处理装置，包括：
输入模块，用于获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
获取模块，用于基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
建模模块，用于根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
管理模块，用于基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
作为上述方案的改进，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
作为上述方案的改进，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure BDA0003864174230000051
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
第三方面，本发明实施例对应提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述树木影像图处理方法。
此外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述树木影像图处理方法。
与现有技术相比，本发明实施例公开的一种树木影像图处理方法、装置、终端设备及存储介质，通过采用预设的全场景语义信息启发式的影像细节匹配模型对目标树木的多视角影像图进行处理，得到目标树木的全要素信息以及目标树木的对应掩膜，进而构建目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化，对目标树木的全要素信息进行管理。因此，本发明实施例能够利用深度学习算法的优势，精细化提取树木的全要素信息，同时实现树木全域和单体双维度的精细可视化，对森林资源的精细化管理具有重要意义。
附图说明
图1是本发明实施例提供的一种树木影像图处理方法的流程示意图；
图2是本发明实施例提供的一种树木影像图处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的术语“包括”和“具体”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本发明实施例提供的一种树木影像图处理方法的流程示意图，该树木影像图处理方法，包括步骤S11至S14：
S11：获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
需要说明的是，目标树木的多视角影像图是可以通过航拍获得，或者从云端图库中获得。多视角影像图是高精度且高分辨率，它们的数据之间可以实现高精度匹配。
S12：基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
需要说明的是，预设的全场景语义信息启发式的影像细节匹配模型是基于样本树木的全场景语义信息所构建的，所以该模型不需要依赖大量训练样本和反复低效的运算为代价来提升匹配精度。
S13：根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
S14：基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
需要说明的是，全要素树木信息档案可以用于查询树木的信息。
可选的，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
具体的，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure BDA0003864174230000081
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
具体的，在上述步骤S13中，所述方法具体为：根据所述目标树木的对应掩膜，采用Unity3D建模对所述目标树木进行定位和贴图，得到所述目标树木的全域实景三维模型；结合三维实景Mesh模型，通过白膜制作、纹理自动映射、纹理修饰等模型修饰，构建所述目标树木的单体化模型，以使所述目标树木在全域和单体双维度上可视化。
具体的，所述正射影像图和侧面影像图是通过采用小型多旋翼高精度无人机型，在所述无人机平台上的垂直方向和倾斜方向搭载多镜头传感器，在所述目标树木的垂直方向和倾斜方向上进行测量获得；
在具体实施当中，确定作业区域，进行实地踏勘，从而确保对作业区域的飞行环境有较为熟悉的了解，为精确确定后期的无人机飞行参数设置奠定基础；
确定无人机机型，结合无人机自带的航线规划系统以及对作业区域飞行环境的深入考察，确定飞行航线和参数设置；
在无人机平台上的垂直方向和倾斜方向搭载多维度镜头的传感器，开展目标物垂直方向和倾斜方向等全方位的免像控空中测量，从而获取高精度且高分辨率的正射方向和倾斜方向等多维视角的航测影像图。
所述地面影像图是通过采用机载式、手持式、背包移动式、车载式等多载体激光扫描仪，在地面对所述目标树木进行的全方位激光扫描，得到所述目标树木的激光点云数据集；对所述激光点云数据集进行降噪和配准预处理，获得有用的激光点云数据集；采用云际拼接和靶标拼接所述有用的激光点云数据集而获得；
在具体实施当中，确定作业区域，进行现场实地踏勘，结合现场考察结果确定激光扫描站点；
综合采用机载式、手持式、背包移动式、车载式等多载体激光扫描仪，开展目标物地面的全方位激光扫描作业，获取激光点云数据集；
激光点云数据集的预处理，主要包括点云去噪、点云平滑等工作，从而剔除点云数据集中的错误点数据，减少数据量；
综合采用云际拼接、靶标拼接等技术手段实现多载体点云数据集的完整拼接，从而最终获取高精度且高分辨率的目标物地面影像图。
所述近地面细节化影像图是通过使用影像测量仪，在所述目标树木所采集的正射影像图、侧面影像图和地面影像图的重叠范围内，结合所述影像测量仪自身设备条件以及补集影像的精度和分辨率要求，进行自动化近景拍摄而获得。
在具体实施当中，确定作业区域，进行实地踏勘，摸清作业区域的实际环境情况；
依据作业区域的环境条件，为尽可能获取细节化的目标物近地面影像数据，选取影像测量仪，结合影像测量仪自身设备条件以及补集影像的精度和分辨率要求，构建贴近式补集测量模型；
基于所构建的贴近式补集测量模型，开展大面积作业区域影像数据采集，实现免像控自动化的近景拍摄，从而获取目标物近地面细节化的影像图，作为无人机倾斜摄影测量技术与激光扫描技术所获取的影像数据集的补充影像数据集，补充细节化的结构和纹理信息。
本发明实施例提供的树木影像图处理方法，通过借助现代多元化的新型测绘技术，高效高质地获取目标树木正射、倾斜、地面、近地面等多视角影像图，通过预设的全场景语义信息启发式的影像细节匹配模型，将目标树木的全场景语义信息融入到多视影像的匹配过程中，确保所获取的多视角影像图之间能够实现细节化的高精度匹配，从而提取目标树木的全要素信息。在全要素信息的基础上，结合Unity3D建模软件和Mesh模型，实现全域实景三维建模和单体化建模。因此，本发明的实施例能够结合现代新型测绘技术和深度学习算法的优势，实现目标树木全要素信息的精细化提取，同时实现目标树木全域和单体双维度的精细可视化，对森林资源的精细化管理具有重要意义。
请参阅图2，图2是本发明实施例提供的一种树木影像图处理装置的结构示意图，该树木影像图处理装置，包括：
输入模块21，用于获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
获取模块22，用于基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
建模模块23，用于根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
管理模块24，用于基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
可选的，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
具体的，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure BDA0003864174230000111
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
本发明实施例所提供的一种树木影像图处理装置能够实现上述实施例的树木影像图处理方法的所有流程，装置中的各个模块的作用以及实现的技术效果分别与上述实施例的树木影像图处理方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例对应提供的一种终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述树木影像图处理方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述树木影像图处理装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例的树木影像图处理方法。
综上所述，本发明实施例公开了一种树木影像图处理装置、终端设备及存储介质，通过借助现代多元化的新型测绘技术，高效高质地获取目标树木正射、倾斜、地面、近地面等多视角影像图，通过预设的全场景语义信息启发式的影像细节匹配模型，将目标树木的全场景语义信息融入到多视影像的匹配过程中，确保所获取的多视角影像图之间能够实现细节化的高精度匹配，从而提取目标树木的全要素信息。在全要素信息的基础上，结合Unity3D建模软件和Mesh模型，实现全域实景三维建模和单体化建模。因此，本发明的实施例能够结合现代新型测绘技术和深度学习算法的优势，实现目标树木全要素信息的精细化提取，同时实现目标树木全域和单体双维度的精细可视化，对森林资源的精细化管理具有重要意义。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种树木影像图处理方法，其特征在于，包括：
获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
2.如权利要求1所述的树木影像图处理方法，其特征在于，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
3.如权利要求2所述的树木影像图处理方法，其特征在于，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure FDA0003864174220000021
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
4.如权利要求1所述的树木影像图处理方法，其特征在于，所述根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化，具体为：
根据所述目标树木的对应掩膜，采用Unity3D建模对所述目标树木进行定位和贴图，得到所述目标树木的全域实景三维模型；结合三维实景Mesh模型，通过白膜制作、纹理自动映射、纹理修饰等模型修饰，构建所述目标树木的单体化模型，以使所述目标树木在全域和单体双维度上可视化。
5.如权利要求1所述的树木影像图处理方法，其特征在于，所述正射影像图和侧面影像图是通过采用小型多旋翼高精度无人机型，在所述无人机平台上的垂直方向和倾斜方向搭载多镜头传感器，在所述目标树木的垂直方向和倾斜方向上进行测量获得；
所述地面影像图是通过采用机载式、手持式、背包移动式、车载式等多载体激光扫描仪，在地面对所述目标树木进行的全方位激光扫描，得到所述目标树木的激光点云数据集；对所述激光点云数据集进行降噪和配准预处理，获得有用的激光点云数据集；采用云际拼接和靶标拼接所述有用的激光点云数据集而获得；
所述近地面细节化影像图是通过使用影像测量仪，在所述目标树木所采集的正射影像图、侧面影像图和地面影像图的重叠范围内，结合所述影像测量仪自身设备条件以及补集影像的精度和分辨率要求，进行自动化近景拍摄而获得。
6.一种树木影像图处理装置，其特征在于，包括：
输入模块，用于获取目标树木的多视角影像图；其中，所述多视角影像图包括：正射影像图、侧面影像图、地面影像图和近地面细节化影像图；
获取模块，用于基于所述多视角影像图，采用预设的全场景语义信息启发式的影像细节匹配模型，获取所述目标树木的全要素信息以及提取所述目标树木的对应掩膜；其中，所述全要素信息包括：种类、数量、面积、胸径、树高、冠幅、位置、长势等；
建模模块，用于根据所述目标树木的对应掩膜，采用Unity3D建模和三维实景Mesh模型，构建所述目标树木的全域实景三维模型和单体化模型，以使所述目标树木在全域和单体双维度上可视化；
管理模块，用于基于所述全要素信息，建立全要素树木信息档案，从而更新维护所述全要素树木信息。
7.如权利要求6所述的树木影像图处理装置，其特征在于，所述预设的全场景语义信息启发式的影像细节匹配模型是利用Radon变换模型和PointNet网络模型获得，具体包括：
基于样本树木的多视角影像图，获取全场景样本数据集；
通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息；所述全场景语义信息包括：样本树木的种类、位置和影像图纹理等；
根据所述全场景语义信息，选取PointNet网络模型作为影像细节匹配模型的基础框架，获得预设的全场景语义信息启发式的影像细节匹配模型。
8.如权利要求7所述的树木影像图处理装置，其特征在于，所述通过所述全场景样本数据集，采用Radon变换模型确定所述样本树木语义方向，得到所述样本树木的全场景语义信息，具体包括：
通过所述全场景样本数据集设定阈值，利用Radon变换模型，获取所述Radon变换矩阵中最大线积分数值；
将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的点数据设置为0，保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场景样本数据集中的点数据；
对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值进行求和，得到的和的最大值所对应的角度即为所述样本树木的语义方向，从而得到所述样本树木的全场景语义信息；
其中，获取所述Radon变换矩阵中最大线积分数值的计算原理如下：
Figure FDA0003864174220000041
式中，R(ρ,θ)为所述Radon变换矩阵中最大线积分数值；F为所述全场景样本数据集中每一个影像图所在的平面，即x-y平面；f(x,y)为所述每一个影像图中点坐标(x,y)所对应的灰度值；L为所述每一个影像图的各个角度所对应的每一条直线；ρ为原点到L之间的距离；θ为L的法线与x轴的夹角；当(ρ-x cosθ-y sinθ)的值为0时，δ(ρ-x cosθ-y sinθ)取值为1；反之，取值为0。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的树木影像图处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-5中任意一项所述的树木影像图处理方法。
CN202211173252.5A 2022-09-26 2022-09-26 树木影像图处理方法、装置、终端设备及存储介质 Pending CN115457212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211173252.5A CN115457212A (zh) 2022-09-26 2022-09-26 树木影像图处理方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211173252.5A CN115457212A (zh) 2022-09-26 2022-09-26 树木影像图处理方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115457212A true CN115457212A (zh) 2022-12-09

Family

ID=84306101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211173252.5A Pending CN115457212A (zh) 2022-09-26 2022-09-26 树木影像图处理方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115457212A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861549A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种自动替换实景三维数据中树木模型的方法和装置
CN116433838A (zh) * 2023-03-31 2023-07-14 广州市城市规划勘测设计研究院 一种三维树木符号动态生成方法、装置、终端及介质
CN116597150A (zh) * 2023-07-14 2023-08-15 北京科技大学 基于深度学习的倾斜摄影模型全要素单体化方法及装置
CN117131061A (zh) * 2023-08-17 2023-11-28 广州市城市规划勘测设计研究院 一种树木入库信息处理方法、装置、终端及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861549A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种自动替换实景三维数据中树木模型的方法和装置
CN115861549B (zh) * 2023-02-27 2023-05-30 航天宏图信息技术股份有限公司 一种自动替换实景三维数据中树木模型的方法和装置
CN116433838A (zh) * 2023-03-31 2023-07-14 广州市城市规划勘测设计研究院 一种三维树木符号动态生成方法、装置、终端及介质
CN116597150A (zh) * 2023-07-14 2023-08-15 北京科技大学 基于深度学习的倾斜摄影模型全要素单体化方法及装置
CN116597150B (zh) * 2023-07-14 2023-09-22 北京科技大学 基于深度学习的倾斜摄影模型全要素单体化方法及装置
CN117131061A (zh) * 2023-08-17 2023-11-28 广州市城市规划勘测设计研究院 一种树木入库信息处理方法、装置、终端及介质
CN117131061B (zh) * 2023-08-17 2024-05-17 广州市城市规划勘测设计研究院有限公司 一种树木入库信息处理方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
US10592780B2 (en) Neural network training system
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
CN115457212A (zh) 树木影像图处理方法、装置、终端设备及存储介质
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
CN109186551B (zh) 倾斜摄影测量建筑物特征点提取方法、装置与存储介质
CN109269472B (zh) 倾斜摄影测量建筑物特征线提取方法、装置与存储介质
Agüera-Vega et al. Effects of point cloud density, interpolation method and grid size on derived Digital Terrain Model accuracy at micro topography level
CN114998536A (zh) 基于新型基础测绘的模型生成方法、装置及存储介质
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
WO2019138597A1 (en) System and method for assigning semantic label to three-dimensional point of point cloud
CN106611438B (zh) 三维仿真地图的局部区域更新切图方法及装置
CN106611056B (zh) 三维仿真地图的切图方法及装置
CN111222387A (zh) 对象检测的系统和方法
Yadav et al. Identification of trees and their trunks from mobile laser scanning data of roadway scenes
CN111143489B (zh) 基于图像的定位方法及装置、计算机设备和可读存储介质
CN112802126A (zh) 一种标定方法、装置、计算机设备和存储介质
CN109163708B (zh) 无人机大比例尺地形图房屋线的优化方法、装置与介质
CN115272147A (zh) 一种图像增强方法及装置
Adorjan Opensfm: A collaborative structure-from-motion system
CN114820965B (zh) 一种全息地图建设用实景三维建模方法
Atik et al. An automatic image matching algorithm based on thin plate splines
CN114913246A (zh) 相机标定方法、装置、电子设备及存储介质
CN113650783A (zh) 固定翼倾斜摄影地籍测图方法、系统及设备
CN112287755A (zh) 遥感影像中物体识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination