CN115861549B

CN115861549B - 一种自动替换实景三维数据中树木模型的方法和装置

Info

Publication number: CN115861549B
Application number: CN202310165954.7A
Authority: CN
Inventors: 王宇翔; 王涛; 赵文杰; 曹宁宁; 张森
Original assignee: Aerospace Hongtu Information Technology Co Ltd
Current assignee: Aerospace Hongtu Information Technology Co Ltd
Priority date: 2023-02-27
Filing date: 2023-02-27
Publication date: 2023-05-30
Anticipated expiration: 2043-02-27
Also published as: CN115861549A

Abstract

本申请提供一种自动替换实景三维数据中树木模型的方法和装置。该方法在获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据后，对第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据和非树木网格数据；在去除当前的树木模型后，基于非树木网格数据中地面部分的第一三维网格数据和地面部分的纹理数据，对去除树木模型后的孔洞网格数据进行填充；基于树木网格数据，计算各树木模型的平移向量和缩放尺寸；根据平移向量和缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。该方法节省了大量时间和人工成本。

Description

一种自动替换实景三维数据中树木模型的方法和装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种自动替换实景三维数据中树木模型的方法和装置。

背景技术

随着实景三维和数字孪生技术的发展，人们对自动重建的三维数据质量要求越来越高。现有的基于倾斜摄影技术重建的实景三维数据中，树木模型的树冠和树干存在大量几何畸变和纹理模糊的情况，整体质量较差。传统树木替换方法多是人工编辑问题树木的网格顶点，手动修补网格，然后摆上人工树木模型。整个流程离不开人工操作，且操作繁琐耗时。

发明内容

本申请实施例的目的在于提供一种自动替换实景三维数据中树木模型的方法和装置，用以解决了现有技术存在的上述问题，实现了自动分割实景三维数据中的树木模型，提升了实景三维中树木模型的质量，从而节省了大量时间和人工成本。

第一方面，提供了一种自动替换实景三维数据中树木模型的方法，该方法可以包括：

获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据，所述待处理遥感影像包含目标区域实景，所述第一三维网格数据为所述OSGB数据中最高精度的三维网格数据M；

采用预设的网格划分方式，对所述第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据M2和非树木网格数据M1；

在待处理遥感影像中去除当前的树木模型后，基于所述非树木网格数据M1中地面部分的第一三维网格数据和地面部分的纹理数据，对所述非树木网格数据M1中去除树木模型后的孔洞网格数据进行填充；所述孔洞网格数据为所述非树木网格数据M1中采不到高度数据区域内的三维网格数据；

基于所述树木网格数据M2，计算各树木模型的平移向量和缩放尺寸；

根据所述平移向量和所述缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。

第二方面，提供了一种自动替换实景三维数据中树木模型的装置，该装置可以包括：

获取单元，用于获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据，所述待处理遥感影像包含目标区域实景，所述第一三维网格数据为所述OSGB数据中最高精度的三维网格数据M；

划分单元，用于采用预设的网格划分方式，对所述第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据M2和非树木网格数据M1；

填充单元，用于在待处理遥感影像中去除当前的树木模型后，基于所述非树木网格数据M1中地面部分的第一三维网格数据和地面部分的纹理数据，对所述非树木网格数据M1中去除树木模型后的孔洞网格数据进行填充；所述孔洞网格数据为所述非树木网格数据M1中采不到高度数据区域内的三维网格数据；

计算单元，用于基于所述树木网格数据M2，计算各树木模型的平移向量和缩放尺寸；

坐标变换单元，用于根据所述平移向量和所述缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。

第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的自动替换实景三维数据中树木模型方法的步骤。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的自动替换实景三维数据中树木模型方法的步骤。

本申请实施例提供的自动替换实景三维数据中树木模型的方法需要获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据，待处理遥感影像包含目标区域实景，第一三维网格数据为OSGB数据中最高精度的三维网格数据；采用预设的网格划分方式，对第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据和非树木网格数据；在待处理遥感影像中去除当前的树木模型后，基于非树木网格数据中地面部分的第一三维网格数据和地面部分的纹理数据，对非树木网格数据中去除树木模型后的孔洞网格数据进行填充；孔洞网格数据为非树木网格数据中采不到高度数据区域内的三维网格数据；基于树木网格数据，计算各树木模型的平移向量和缩放尺寸；根据平移向量和缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。该方法实现了自动分割实景三维数据中的树木模型，提升了实景三维中树木模型的质量，从而节省了大量时间和人工成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种自动替换实景三维数据中树木模型的方法的流程示意图；

图2为本申请实施例提供的一种待处理遥感影像的示意图；

图3为本申请实施例提供的一种去除的树木模型后的待处理遥感影像的示意图；

图4为本申请实施例提供的一种填充孔洞后的待处理遥感影像的示意图；

图5为本申请实施例提供的一种替换树木模型后的待处理遥感影像的示意图；

图6为本申请实施例提供的一种自动替换实景三维数据中树木模型的装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的自动替换实景三维数据中树木模型的方法实现了自动分割实景三维数据中的树木模型，并自动修补去树后的网格数据和纹理数据，从而在实景三维数据上自动替换高质量的人工树木模型，提升了实景三维中树木模型的质量，并节省大量时间和人工成本。

进一步的，由于传统的基于神经网络的树木点云分割方法，多是基于激光点云数据，只有x、y、z三维坐标数据，丢失重要的r、g、b颜色信息，分割结果较差。但本申请的自动替换实景三维数据中树木模型的方法可以从实景的三维数据中提取出带有颜色信息的三维网格数据比传统的激光点云多了r、g、b三个维度的特征信息，可以实现更好的分割效果。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1为本申请实施例提供的一种自动替换实景三维数据中树木模型的方法的流程示意图。如图1所示，该方法可以包括：

步骤S110、获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据。

其中，待处理遥感影像包含目标区域实景，如图2所示。OSGB数据包含不同细节精度的网格数据和纹理数据，但对于后续的点云分割来说，此时需要选取OSGB数据中最高精度的网格数据和相应纹理数据。第一三维网格数据为OSGB数据中最高精度的三维网格数据M。

具体实施中，由于OSGB数据中是以每个Tile来存储实景中一个小区域的三维网格数据，故为了得到目标区域实景的第一三维网格数据需要对多个Tile进行合并，来获取目标区域实景的第一三维网格数据M。

步骤S120、采用预设的网格划分方式，对第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据和去除树木后的非树木网格数据。

具体实施中，基于第一三维网格数据和相应的纹理数据，获取第一三维网格数据中各三维顶点的点云数据P，该点云数据P可以包括各三维顶点的三维坐标，即x、y和z的值和相应色值，即r、g和b的值；也就是说，后面用到的三维网格数据都是具有色值的三维数据。具体的，根据UV映射关系，计算出第一三维网格数据M中各三维顶点在获取的纹理数据对应的纹理图上所对应的色值，从而获取含x、y、z、r、g、b值的点云数据P。

采用预设的点云分割神经网络模型，对第一三维网格数据中各三维顶点的点云数据P进行语义分割，得到目标区域实景中的树木网格顶点索引I（或称“高精度树木网格顶点索引I”），即点云分割结果。该树木网格顶点索引I表征第一三维网格数据中哪个三维顶点的三维网格数据是属于树木的。

其中，点云分割神经网络模型可以是RandLA-Net网络模型，该网络模型使用了更高效率的随机降采样的方法，适合处理大规模的点云分割，可以大大节省内存空间。此外，点云分割神经网络模型需要对点云的三维坐标做编码，并通过不断增加每个顶点的感受野来有效学习和保留点云数据中的三维结构。在数据集上，可标注不同季节、不同城市的树木的点云数据。基于该数据集训练神经网络后，测试MIoU可以达到95.9%，分割292万个三维顶点耗时123.61s。

可见，通过使用包含不同季节和不同城市树木样本的数据集，训练RandLA-Net网络模型，可快速分割冬季树木的点云数据。

之后，对第一三维网格数据M和树木网格顶点索引I进行分割处理，得到具有色值的树木网格数据M2和去除树木后的非树木网格数据M1。

在一些实施例中，由于树木网格顶点索引I中记载了树木的第一三维网格数据，故可以对步骤S110获取的第一三维网格数据M进行分割处理，得到具有色值的树木网格数据M2和去除树木后的非树木网格数据M1。

在另一些实施例中，由于上面实施例的分割效果在地面和树木的连接处分割的并不理想，故为了提高分割精度，可采用以下方式进行分割处理：

步骤1、根据树木网格顶点索引I，获取第一三维网格数据对应的二值图；该二值图是对第一三维网格数据的初始二值图进行2次膨胀操作后得到的；

步骤2、将第一三维网格数据中各三维顶点数据投影到二值图上，得到具有色值的候选树木网格数据M_b和非树木网格数据M_a；

根据网格连通性，对候选树木网格数据M_b进行划分，得到多个单体树木模型网格数据M_i；

步骤3、采用预设分割算法，对每个单体树木模型网格数据M_i进行地面网格数据和树木网格数据的分割，得到具有色值的树木网格数据M2和非树木网格数据M1；具体的：

获取每个单体树木模型网格数据M_i对应的三角面法向

和三角面高度/>

；

根据自适应高度参数h，对每个单体树木模型网格数据M_i进行地面网格数据和树木网格数据的分割，得到与相应单体树木模型接触的地面部分的第一三维网格数据M_{i_ground}及相应单体树木模型的树木部分的第一三维网格数据M_{i_tree}，公式如下：

；

其中，

表示三角面/>

的法向/>

的z值，/>

表示第i个单体树木模型网格数据M_i对应的三角面，h为自适应高度参数，其公式如下：

；

；

；/>

其中，h_a和h_b表示h的候选高度参数，h₁表示h_b的候选高度参数集合。

由以上内容可知，非树木网格数据M1即为M_{i_ground}的集合与M_a的并集，树木网格数据M2即为M_{i_tree}的集合，也就是说，非树木网格数据M1可以包括非树木部分的第一三维网格数据和与树木模型接触的地面部分的第一三维网格数据，即非树木网格数据M1，树木网格数据M2为树木模型的第一三维网格数据。

可见。上述公式通过使用三维网格数据的连通性和平面法向，可更完整的分割树木模型，弥补了RandLA-Net模型对树木点云数据分割的不足。

步骤S130、基于非树木网格数据中地面部分的第一三维网格数据和地面部分的纹理数据，对非树木网格数据中去除树木模型后的孔洞网格数据进行填充。

为了实现实景中树木模型的替换，首先需要将待处理遥感影像中当前的树木模型去除，去除待处理遥感影像中当前的树木模型后，去除的树木模型与地面的接触处会出现孔洞，如图3所示，如图中的孔洞1和孔洞2，每个孔洞处没有纹理也没有高度。也就是说，孔洞处的孔洞网格数据为非树木网格数据中采不到高度数据区域内的网格数据。

具体实施中，在目标区域实景中x轴和y轴的平面上进行z轴的高度数据采样，得到第一高度矩阵；该平面包括采不到高度数据的孔洞区域；孔洞区域的孔洞网格数据为非树木网格数据M1中采不到高度数据区域内的网格数据；

对该平面中采不到高度数据的孔洞区域的孔洞网格数据进行双线性插值，得到第一高度矩阵对应的第二高度矩阵，以及插值后的孔洞网格数据；插值后的孔洞网格数据可以包括插值部分的高度数据z和平面上相应的采样点坐标（x，y）构成的三维顶点数据；

基于图像修复方法、非树木网格数据M1和纹理数据，对插值后的孔洞网格数据进行填充。具体的：对非树木网格数据M1进行平行投影映射，获取俯视图T_remain，以及获取孔洞网格数据对应的孔洞二值图mask_hole。使用图像修复方法，对俯视图T_remain进行修复得到修复后的孔洞网格数据。

然后，通过地面部分的纹理数据，对修复后的孔洞网格数据进行纹理填充。最后，将非树木网格数据M1和每个孔洞区域对应的修复后的孔洞网格数据更新到OSGB文件中。

进一步的，由于孔洞区域包含不同精度的三维网格数据，上面是基于高精度三维网格数据M对孔洞网格数据进行的填充，因此还需要基于除最高精度之外其他精度的三维网格数据M对孔洞网格数据进行的填充，具体的：

获取待处理遥感影像对应的OSGB数据中的第二三维网格数据和相应的纹理数据，第二三维网格数据为OSGB数据中除最高精度之外的其他精度的三维网格数据M’；

根据树木网格顶点索引I中各树木的三维顶点数据和第二三维网格数据M’中各三维顶点数据的邻近程度，确定第二三维网格数据对应的树木网格顶点索引I’；其中，邻近程度可以通过两个三维顶点数据的欧拉距离确定，若得到的欧拉距离不大于一定距离阈值，则确定两个三维顶点数据邻近，即确定相应第二三维网格数据对应的网格顶点为树木网格顶点，从而得到I’。

对第二三维网格数据M’和相应的树木网格顶点索引I’进行分割处理，得到具有色值的树木网格数据M2’和非树木网格数据M1’；其中，具体分割处理过程可参考步骤S120。

为了避免在孔洞上留下树木的纹理，这里还使用图像修复的方法对纹理做填充，赋予填补模型真实的纹理，具体的，基于非树木网格数据M1’中地面部分的第二三维网格数据和地面部分的纹理数据，对非树木网格数据M1’中去除树木后的孔洞网格数据进行填充，如图4所示，如填充后的孔洞1和填充后的孔洞2。其中，具体填充过程可参考步骤S130。

可见，通过对非树木网格数据的高度图进行采样和插值，并使用纹理合成的方法，可快速实现网格孔洞的自动修复。

步骤S140、基于树木网格数据，计算各树木模型的平移向量和缩放尺寸。

在执行该步骤之前，由于得到的树木网格数据M2对应树木模型的多个树木区域，且每个树木区域包括树木网格数据M2中的部分第一三维网格数据，每个树木区域可能是单棵树木模型的区域，还可能是存在大量单棵树木模型的连片树木模型的区域。具体的：

获取树木网格数据M2中各单体树木模型网格数据M_i对应的树木网格二值图Mask’；该树木网格二值图Mask’可以是对树木网格数据M2的初始树木网格二值图进行2次膨胀操作后得到的；

针对任一单体树木模型网格数据M_i，若树木网格二值图上像素值为255的像素点个数n_pixel不大于预设个数阈值，则确定该单体树木模型网格数据M_i为单颗树木模型的第一三维网格数据；

若树木网格二值图上像素值为255的像素点个数n_pixel大于预设个数阈值，则确定单体树木模型网格数据M_i为连片树木模型的第一三维网格数据。

对于步骤S140可分为对单颗树木模型的第一三维网格数据计算树木模型的平移向量和缩放尺寸，以及对连片树木模型的第一三维网格数据计算树木模型的平移向量和缩放尺寸。

（1）针对单颗树木模型的第一三维网格数据，基于单颗树木模型的第一三维网格数据对应的区域中第一区域边界的中心点，确定单颗树木模型的平移向量；第一区域边界为该区域中与地面区域邻近的区域边界；

获取单颗树木模型对应的区域在x轴和y轴平面上的长度和宽度，以及z轴上的高度，分别与预设的人工树木模型的长度、宽度和高度的比值；

将获取的比值中的最大比值确定为单颗树木模型的缩放尺寸；

（2）针对连片树木模型的第一三维网格数据，基于预设的树木模型间距d、预设的树木模型在x轴和y轴平面上的长度，以及z轴上的高度，在连片树木模型的第一三维网格数据对应的区域内选取多个像素值为255的像素点作为连片树木模型中多个单颗树木模型的坐标位置；

基于各单颗树木模型的坐标位置，确定相应单颗树木模型的平移向量；

获取连片树木模型的网格数据对应的区域中z轴上的最低高度数据和连片树木模型的网格数据对应的区域中z轴上的最高高度数据的高度差；

获取预设的单颗树木模型对应的区域在x轴和y轴平面上的长度和宽度，以及z轴上的高度差，分别与预设的人工树木模型的长度、宽度和高度的比值；

将获取的比值中的最大比值确定为连片树木模型中单颗树木模型的缩放尺寸。

由此可得到各单颗树木模型和连片树木模型的平移向量集合和缩放尺寸集合。

通过上述实施例的点云聚类区分连片树木模型和单棵树木模型，并分别计算树木模型点位和尺寸，可更准确地摆放人工树木模型。

步骤S150、根据平移向量和缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。

根据得到的平移向量集合和缩放尺寸集合，对预设的人工树木模型进行平移和缩放变换，得到目标树木模型集合，并将目标树木模型在目标区域实景中进行摆放，如图5所示。

之后，可以对得到的目标树木模型建立LOD层级和去除树木模型后的OSGB数据进行合并。

在一个例子中，本申请提供的在大规模城市场景中自动摆放树木模型的方法的具体实现步骤可以包括：

步骤a、读取OSGB数据中目标区域实景的每个Tile最高精度的网格数据和纹理数据，然后将每个Tile进行合并后，得到目标区域实景的高精度三维网格数据M，即第一三维网格数据。

步骤b、根据UV映射关系，计算出高精度三维网格数据M的三维顶点，在纹理数据对应的纹理图上所对应的色值，从而获取含x、y、z、r、g、b值的点云数据P。

步骤c、对P做随机降采样，并构建Kd-Tree，然后，输入到点云分割神经网络模型做语义分割,得到树木网格顶点索引I。

步骤d、根据树木网格顶点索引I，将高精度三维网格数据M中的树木网格顶点正射投影到初始二值图Mask上，对初始二值图Mask进行2次膨胀的操作，以保证所有的树木网格顶点面被遮罩图像包含，得到第一三维网格数据对应的二值图Mask_d。然后将高精度三维网格数据M的所有三维顶点投影到Mask_d上，从而可以将M分为非树木部分M_a和候选树木部分M_b。

然后，将高精度三维网格数据M的所有是三维顶点投影到Mask_d上，从而可以将M分为非树木部分M_a和候选树木部分M_b。

之后，将候选树木部分M_b，根据连通性，再次划分n个单体树木模型数据，记为单体树木模型网格数据M_i。

然后，获取分割下来的各单体树木模型网格数据M_i对应的平面法向N_pi和平面高度H_pi，并基于平面法向N_pi、平面高度H_pi和自适应高度参数h，通过以下公式对单体树木模型网格数据M_i进行分割，得到地面部分M_{i_ground}及树木部分M_{i_tree}，由此得到非树木网格数据M1和树木网格数据M2，其中，非树木网格数据M1即为M_{i_ground}的集合与M_a的并集，树木网格数据M2即为M_{i_tree}的集合。

步骤e、在去除待处理遥感影像中当前的树木模型后，先在x轴和y轴所在平面上进行高度数据采样，得到高度矩阵Heightmap1，对采样不到的孔洞部分的孔洞网格数据直接进行双线性插值，得到最终的高度矩阵Heightmap2。

取出插值部分高度z和采样点坐标x、y组成三维顶点，即可得到插值后的孔洞网格数据Hole_i。

对非树木网格数据M1进行平行投影映射，获取俯视图T_remain，对插值后的孔洞网格数据Hole_i进行平行投影，获取补洞mask_hole。接着，可以使用图像修复方法，对俯视图T_remain进行孔洞修复，得到修复后的孔洞网格数据T_hole。然后，通过纹理映射，将修复的Thole 贴到Hole模型上。最后，将M1和Hole_i更新到OSGB文件中。

步骤f、获取待处理遥感影像对应的OSGB数据中每个Tile除最高精度之外的其他精度的三维网格数据和相应纹理数据，得到目标区域实景的低精度三维网格数据M’，即第二三维网格数据。

根据树木网格顶点索引I中各树木的三维顶点数据和第二三维网格数据M’中各三维顶点数据的邻近程度，确定第二三维网格数据对应的树木网格顶点索引I’；

对M’和相应的树木网格顶点索引I’进行分割处理，得到具有色值的树木网格数据M2’和非树木网格数据M1’；

基于非树木网格数据M1’中地面部分的第二三维网格数据和地面部分的纹理数据，对非树木网格数据M1’中去除树木后的孔洞网格数据进行填充。

步骤g、将单体树木模型的M_{i_tree}的三维顶点正射投影到初始树木网格二值图Mask’上，对Mask’进行2次膨胀的操作，以保证所有的树木模型的三维顶点被遮罩图像包含，得到树木网格二值图Mask_d’。

计算树木网格二值图Mask_d’上值为255的像素个数n_pixel，如果n_pixel≤预设个数阈值t，则判定M_{i_tree}为单颗树木模型的第一三维网格数据；如果n_pixel>t,则判定M_{i_tree}为连片树木模型的第一三维网格数据。

（1）当M_{i_tree}为单颗树木模型的第一三维网格数据时，将第一三维网格数据对应的区域的底部区域边缘的中心点P_center=（x,y,z），确定为单颗树木模型的平移向量T_i=（x,y,z）。底部区域边缘为与地面区域邻近的区域边界；

然后，计算M_{i_tree}的包围盒，即可得到对应的单颗树木模型的尺寸S_i’=(l,w,h），l为长，w为宽，h为高。同样，可计算出预设的人工树木模型的S_t。计算S_i与S_t中各元素的比值，取最大值作为实际人工模型的缩放比例S_i。

（2）当M_{i_tree}为连片树木模型的第一三维网格数据时，在Mask_d’上随机分布一定距离的若干像素点作为单棵树木模型的位置点。具体方法为：

首先假设单颗树木模型的l、w相等，树木模型间的重叠距离d’在Mask_d’上的随机范围为[-d_overlap,+d_overlap]。

根据预设的l可知树木模型在Mask_d’上排列紧密情况下的间距为d=2*l*k。然后，在Mask_d’上均匀排列距离为d的网格点，得到点坐标p=(col* d，row*d)，其中，0 ≤col<cols，0 ≤row<rows，rows、cols为Mask_d’的行列数。

在树木排列紧密情况下，可增加树木模型的随机性，使得点坐标为p_{col_row}=(col*d+重叠距离d’，row*d+d’)。取坐标p_{col_row}对应像素值为255的点，由此得到连片树木模型中单颗树木模型的平移向量集合{T_i}；

获取连片树木模型的网格数据对应的区域中z轴上的最低高度数据和连片树木模型的网格数据对应的区域中z轴上的最高高度数据的高度差，将其作为连片树木模型的高h；

最后，计算l、w和h分别与人工树木模型长、宽和高的比值，取最大值作为实际人工模型的缩放比例S_i。

步骤h、根据步骤g计算出的平移向量T_i和尺寸S_i的集合，对人工树木模型进行平移和缩放变换，得到目标树木模型的集合。最后对目标树木模型建立LOD层级和去树后的OSGB数据合并。

与上述方法对应的，本申请实施例还提供一种自动替换实景三维数据中树木模型的装置，如图6所示，该装置包括：

获取单元610，用于获取待处理遥感影像对应的OSGB数据中的第一三维网格数据和相应的纹理数据，所述待处理遥感影像包含目标区域实景，所述第一三维网格数据为所述OSGB数据中最高精度的三维网格数据M；

划分单元620，用于采用预设的网格划分方式，对所述第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据M2和非树木网格数据M1；

填充单元630，用于在待处理遥感影像中去除当前的树木模型后，基于所述非树木网格数据M1中地面部分的第一三维网格数据和地面部分的纹理数据，对所述非树木网格数据M1中去除树木模型后的孔洞网格数据进行填充；所述孔洞网格数据为所述非树木网格数据M1中采不到高度数据区域内的三维网格数据；

计算单元640，用于基于所述树木网格数据M2，计算各树木模型的平移向量和缩放尺寸；

坐标变换单元650，用于根据所述平移向量和所述缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换。

本申请上述实施例提供的自动替换实景三维数据中树木模型的装置的各功能单元的功能，可以通过上述各方法步骤来实现，因此，本申请实施例提供的自动替换实景三维数据中树木模型的装置中的各个单元的具体工作过程和有益效果，在此不复赘述。

本申请实施例还提供了一种电子设备，如图7所示，包括处理器710、通信接口720、存储器730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。

存储器730，用于存放计算机程序；

处理器710，用于执行存储器730上所存放的程序时，实现如下步骤：

上述提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图1所示的实施例中的各步骤来实现，因此，本申请实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的自动替换实景三维数据中树木模型的方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的自动替换实景三维数据中树木模型的方法。

本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请实施例中是参照根据本申请实施例中实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。

Claims

1.一种自动替换实景三维数据中树木模型的方法，其特征在于，所述方法包括：

获取待处理遥感影像对应的OSGB数据中的第一三维网格数据M和相应的纹理数据，所述待处理遥感影像包含目标区域实景，所述第一三维网格数据为所述OSGB数据中最高精度的三维网格数据；

根据所述平移向量和所述缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换；

其中，基于所述非树木网格数据M1中地面部分的第一三维网格数据和地面部分的纹理数据，对所述非树木网格数据M1中去除树木后的孔洞网格数据进行填充，包括：

在目标区域实景中x轴和y轴的平面上进行z轴的高度数据采样，得到第一高度矩阵；所述平面包括采不到高度数据的孔洞区域；

对采不到高度数据的孔洞区域的孔洞网格数据进行双线性插值，得到所述第一高度矩阵对应的第二高度矩阵，以及插值后的孔洞网格数据；所述插值后的孔洞网格数据包括插值部分的高度数据z和所述平面上相应的采样点坐标构成的三维顶点数据；

基于图像修复方法、所述非树木网格数据M1中地面部分的第一三维网格数据和地面部分的纹理数据，对插值后的孔洞网格数据进行填充，具体为：对所述非树木网格数据M1进行平行投影映射，获取俯视图Tremain，以及获取孔洞网格数据对应的孔洞二值图maskhole，使用图像修复方法，对所述俯视图Tremain进行修复得到修复后的孔洞网格数据；

通过地面部分的纹理数据，对修复后的孔洞网格数据进行纹理填充。

2.如权利要求1所述的方法，其特征在于，采用预设的网格划分方式，对所述第一三维网格数据和相应的纹理数据进行网格划分，得到具有色值的树木网格数据M2和非树木网格数据M1，包括：

基于所述第一三维网格数据和相应的纹理数据，获取所述第一三维网格数据中各三维顶点的点云数据，所述点云数据包括各三维顶点的三维坐标和相应色值；

采用预设的点云分割神经网络模型，对所述第一三维网格数据中各三维顶点的点云数据进行语义分割，得到所述目标区域实景中的树木网格顶点索引I；

对所述第一三维网格数据M和所述树木网格顶点索引I进行分割处理，得到具有色值的树木网格数据M2和非树木网格数据M1。

3.如权利要求2所述的方法，其特征在于，对所述第一三维网格数据M和所述树木网格顶点索引I进行分割处理，得到具有色值的树木网格数据M2和非树木网格数据M1，包括：

根据所述树木网格顶点索引I，获取所述第一三维网格数据对应的二值图Mask；所述Mask是对所述第一三维网格数据的初始二值图进行2次膨胀操作后得到的；

将所述第一三维网格数据中各三维顶点数据投影到所述二值图Mask上，得到具有色值的候选树木网格数据M_b和非树木网格数据M_a；

根据网格连通性，对所述候选树木网格数据M_b进行划分，得到多个单体树木模型网格数据M_i；

采用预设分割算法，对每个单体树木模型网格数据M_i进行地面部分网格数据和树木部分网格数据的分割，得到具有色值的树木网格数据M2和非树木网格数据M1；所述非树木网格数据M1包括非树木部分的第一三维网格数据和与树木模型接触的地面部分的第一三维网格数据；所述树木网格数据M2为树木模型的第一三维网格数据。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

获取待处理遥感影像对应的OSGB数据中的第二三维网格数据和相应的纹理数据，所述第二三维网格数据为所述OSGB数据中除最高精度之外其他精度的三维网格数据M’；

根据所述树木网格顶点索引I中各树木的三维顶点数据和所述第二三维网格数据M’中各三维顶点数据的邻近程度，确定所述第二三维网格数据对应的树木网格顶点索引I’；

对所述第二三维网格数据M’和相应的树木网格顶点索引I’进行分割处理，得到具有色值的树木网格数据M2’和非树木网格数据M1’；

基于所述非树木网格数据M1’中地面部分的第二三维网格数据和地面部分的纹理数据，对所述非树木网格数据M1’中去除树木后的孔洞网格数据进行填充。

5.如权利要求3所述的方法，其特征在于，基于所述树木网格数据M2，计算各树木模型的平移向量和缩放尺寸之前，所述方法还包括：

获取所述树木网格数据M2中各单体树木模型网格数据M_i对应的树木网格二值图Mask’；所述树木网格二值图Mask’ 是对所述树木网格数据M2的初始树木网格二值图进行2次膨胀操作后得到的；

针对任一单体树木模型网格数据M_i，若所述树木网格二值图上像素值为255的像素点个数n_pixel不大于预设个数阈值，则确定所述单体树木模型网格数据M_i为单颗树木模型的第一三维网格数据；

若所述树木网格二值图上像素值为255的像素点个数n_pixel大于预设个数阈值，则确定所述单体树木模型网格数据M_i为连片树木模型的第一三维网格数据。

6.如权利要求5所述的方法，其特征在于，基于所述树木网格数据M2，计算各树木模型的平移向量和缩放尺寸，包括：

针对单颗树木模型的第一三维网格数据，基于所述单颗树木模型的第一三维网格数据对应的区域中第一区域边界的中心点，确定所述单颗树木模型的平移向量；所述第一区域边界为所述区域中与地面区域邻近的区域边界；

获取所述单颗树木模型对应的区域在x轴和y轴平面上的长度和宽度，以及z轴上的高度，分别与预设的人工树木模型的长度、宽度和高度的比值；

将获取的比值中的最大比值确定为所述单颗树木模型的缩放尺寸；

针对连片树木模型的第一三维网格数据，基于预设的树木模型间距d、预设的树木模型在x轴和y轴平面上的长度，以及z轴上的高度，在所述连片树木模型的第一三维网格数据对应的区域内选取多个像素值为255的像素点作为所述连片树木模型中多个单颗树木模型的坐标位置；

获取所述连片树木模型的网格数据对应的区域中z轴上的最低高度数据和所述连片树木模型的网格数据对应的区域中z轴上的最高高度数据的高度差；

将获取的比值中的最大比值确定为所述连片树木模型中单颗树木模型的缩放尺寸。

7.一种自动替换实景三维数据中树木模型的装置，其特征在于，所述装置包括：

坐标变换单元，用于根据所述平移向量和所述缩放尺寸，对相应树木模型进行三维坐标变换，以将坐标变换后的树木模型在待处理遥感影像的目标区域实景中进行替换；

其中，所述填充单元，具体用于：

8.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存储的程序时，实现权利要求1-6任一所述的自动替换实景三维数据中树木模型方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的自动替换实景三维数据中树木模型方法的步骤。