CN115861532A - 基于深度学习的植被地物模型重建方法与系统 - Google Patents
基于深度学习的植被地物模型重建方法与系统 Download PDFInfo
- Publication number
- CN115861532A CN115861532A CN202211519312.4A CN202211519312A CN115861532A CN 115861532 A CN115861532 A CN 115861532A CN 202211519312 A CN202211519312 A CN 202211519312A CN 115861532 A CN115861532 A CN 115861532A
- Authority
- CN
- China
- Prior art keywords
- image
- vegetation
- dimensional
- images
- cube
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于测绘技术领域，本发明提供了一种基于深度学习的植被地物模型重建方法。所述方法采用深度学习的方法对倾斜影像以及目标场景中的植被区域进行识别，并将识别的结果应用于后续的多视影像三维重建的流程中，以达到提高重建植被地物模型效率的目的，并且提高了三维场景的可视化效率。
Description
技术领域
本发明属于测绘技术领域，主要是涉及一种基于深度学习的植被地物模型重建方法与系统。
背景技术
近年来，随着倾斜摄影测量技术和影像采集装备的快速发展，基于多视角影像的三维重建方法被广泛的应用于大规模场景的三维重建。尽管基于倾斜摄影的三维重建方法具有低成本、自动化程度高等优点，然而该方法在实际的三维建模应用中仍然存在一些问题需要解决。例如，对于场景中的草地、苗圃、树木等这类植被目标对象来说，在大多数三维场景应用中的重要性较低，但由于其形状结构特征丰富，导致所生成的三维模型中该区域的三角面个数较多，从而会严重影响三维场景模型的生产效率以及可视化效率。
发明内容
本发明提供了一种基于深度学习的植被地物模型重建方法，旨在提高三维场景中植被地物模型的重建效率以及可视化效率。
为实现上述目的，本发明提供了一种基于深度学习的植被地物模型重建方法，所述方法包括：
对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域的识别结果；
对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云；
对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型。
进一步地，所述对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域，包含：
利用深度学习中的UNet网络，对所述倾斜影像中的植被地物进行像素级别的语义分割，确定所述倾斜影像中的植被地物区域；
根据空间三角测量，将所述重建场景中的每个三维连接点分别投影到其所有的观测影像上，获得每个三维连接点所对应的观测影像信息；
根据所述每个三维连接点所对应的观测影像信息，确定所述三维连接点的地物类别，获得所述重建场景中的植被地物区域的识别结果。
进一步地，所述利用深度学习中的UNet网络，对所述倾斜影像中的植被地物进行像素级别的语义分割，确定所述倾斜影像中的植被地物区域，包含：
通过UNet网络主体中的编码器，对所述重建场景对应图像进行下采样，并通过所述UNet网络主体中的解码器，对所述重建场景对应图像进行上采样；
通过上采样结果、下采样结果以及所述UNet网络主体中的输出层，输出所述重建场景的图像中每个像素属于各个地物类别的概率，并根据所述每个像素属于各个地物类别的概率，确定所述重建场景的图像中的植被地物区域。
进一步地，根据所述每个三维连接点所对应的观测影像信息，确定所述三维连接点的地物类别，获得所述重建场景中的植被地物区域的识别结果，包含：
根据所述每个三维连接点所对应的观测影像信息，将场景中的每个三维连接点分别投影到其所有的观测影像上，统计所述三维连接点在其不同观测影像上的投影位置处像素所属的地物类别；
将数量占比最多的一类地物类别确定为所述三维连接点所属的地物类别，获得所述植被地物区域的识别结果。
进一步地，所述对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像，包含：
利用所述每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合；
采用贪婪法从候选可视观测影像集合中选取相同数量的影像，作为所述筛选后的影像。
进一步地，所述利用所述每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合，包含：
根据所述重建场景的三维空间外包盒范围，按照预设间距，将所述重建场景划分成预设个数的空间小立方体；
根据所述三维连接点的三维空间坐标，统计每个立方体中所落入的所述三维连接点的点集合；
根据所述点集合中每个三维连接点所对应的观测影像信息，统计出每个立方体的候选可视观测影像集合。
进一步地，所述采用贪婪法从候选可视观测影像集合中选取相同数量的影像，作为所述筛选后的影像，包含：
利用所述点集合中每个三维连接点所对应的观测影像信息，采用投票的方法，统计所述立方体的候选可视观测影像集合中每张可视影像的分数；
根据所述立方体的候选可视观测影像集合中影像的预设数量以及预设公式，设置所述立方体中可选取的影像数量上限，其中所述预设公式为：
根据所述立方体的候选可视观测影像集合中每张可视影像的分数，筛选出当前可选取的影像数量未超过各自所述影像数量上限的立方体；
统计出所述已筛选的影像数量未超过各自影像数量上限的立方体中每张可视影像的分数最大的影像，作为当前最佳的影像，并将所述最佳的影像设置为选中的影像；
将所有所述候选可视观测影像集合中包含所述最佳的影像的立方体所选中的影像数量加1，并将所述最佳的影像从所述立方体的候选可视观测影像集合中删除；
重复执行：将所有所述候选可视观测影像集合中包含所述最佳的影像的立方体所选中的影像数量加1，并将所述最佳的影像从所述立方体的候选可视观测影像集合中删除，直至每个立方体所选中的影像数量都达到其设定的最大所述影像数量上限，并输出所有选中的影像作为所述筛选后的影像。
进一步地，所述对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云，包含：
根据密集点云的三维空间外包盒范围并按照预设间距将所述重建场景划分成预设个数的空间小立方体，统计每个立方体中所落入的密集匹配点的点集合；
根据所述点集合中每个密集匹配点的地物类别，将数量占比最多的一类地物类别作为对应立方体的地物类别；
选取地物类别为植被的立方体，合并所述植被的立方体的点集合中所有的密集匹配点，获得重建场景中所有合并后的植被点，其中，合并后的植被点坐标分别为各立方体的点集合中所有点坐标的平均值；
将所有地物类别为非植被的立方体中的密集点和所有合并后的植被点，作为采样后的密集点云。
进一步地，所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，包含：
对非植被区域的三维表面网格，使用第一级别的简化力度；
对植被区域的三维表面网格，使用第二级别的简化力度，获得三角面数据量更少的简化模型，其中，所述第二级别大于所述第一级别。
为实现上述目的，本发明还提供了一种基于深度学习的植被地物模型重建系统，所述系统包含：
影像识别模块，用于对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域；
影像筛选模块，用于对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
影像匹配模块，用于对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云；
模型重建模块，用于对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型。
本发明提出了一种基于深度学习的植被地物模型重建方法，所述方法采用深度学习的方法对倾斜影像以及目标场景中的植被区域进行识别，对识别的结果进行筛选和重采样得到采样后的密集点云数据，对所述采样后的密集点云数据构建三维表面网格模型，对所述三维表面网格模型简化之后应用于后续的多视影像三维重建的流程中，以达到提高重建植被地物模型效率的目的。本发明所提出的方法根据重建场景中不同的植被区域占比，能够将三维场景的重建效率提升5％～49％。提高了三维场景重建效率及可视化效率并且自动化程度高，无需人工进行干预。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种基于深度学习的植被地物模型重建方法的流程示意图；
图2是本申请的实施例提供的利用深度学习的方法对倾斜影像中的植被地物目标进行识别的结果图；
图3是本申请的实施例提供的一种基于深度学习的植被地物模型重建方法的场景中不同植被占比下三维重建效率提升的统计图。
具体实施方式
为了使本发明的目的、技术方案及技术效果更加清楚明白，以下对本发明的具体实施例进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种基于深度学习的植被地物模型重建方法。该基于深度学习的植被地物模型重建方法可以应用于测绘技术领域，通过采用深度学习的方法对倾斜影像以及重建场景图像中的植被区域进行识别，并对识别的结果进行筛选和重采样得到采样后的密集点云数据，对所述采样后的密集点云数据构建三维表面网格模型，对所述三维表面网格模型简化之后应用于后续的多视影像三维重建的流程中，以达到提高重建植被地物模型的目的，并且提高了三维场景的可视化效率。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的一种基于深度学习的植被地物模型重建方法的流程示意图。
S10、对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域的识别结果；
传统的目标识别算法，大多数基于模板和特征匹配，但随着场景复杂程度的提升，这些基于人工的模板和特征，性能上会出现明显的退化和错匹配的情况。随着深度学习技术的发展，在内容识别、分类和特征提取方面表现出很强的鲁棒性和抗干扰能力。各种能够识别植被区域的方法都可以被使用。
本实施例中，采用了深度学习的UNet网络(Huang et al.,2020)作为卷积神经网络对重建场景图像中的植被区域进行快速而准确的提取，获得重建场景图像中的植被地物区域。
本实施例中，为了进一步确定三维场景中不同区域的地物类别(植被或非植被)，利用空中三角测量(AT)结果中连接点所对应的观测影像信息来进行判定。
进一步地，所述利用深度学习中的UNet网络，对所述倾斜影像中的植被地物进行像素级别的语义分割，确定所述倾斜影像中的植被地物区域，具体包含：
UNet网络主体分为编码器和解码器：编码器使用卷积核为3的卷积、批量归一化层BatchNormlize和激活函数ReLU作为基本单元，然后串联对图像进行逐级的下采样；
解码器使用卷积核为3的反卷积、批量归一化层BatchNormlize和激活函数ReLU作为基本单元，进行逐级的上采样；
输出层接一个Sigmoid激活函数，输出每个像素属于不同类别的概率，识别结果如图2所示。
进一步地，根据所述每个三维连接点所对应的观测影像信息，确定所述三维连接点的地物类别，获得所述重建场景中的植被地物区域的识别结果，具体包含：
我们将场景中的每个三维连接点pi分别投影到其所有的观测影像上；
统计连接点pi在其不同观测影像上投影位置处像素所属的地物类别；
根据“胜者为王”的原则将数量占比最多的一类指定为当前连接点pi所属的地物类别。
通过以上方法的处理，我们就可以得到场景中每个三维连接点所属的地物类别，也就是所述重建场景中的植被地物区域的识别结果。
S20、对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
在影像匹配中使用植被地物区域的影像识别结果进行影像密集匹配。影像密集匹配是基于多视角三维重建中获取密集点云的最重要手段，而对于倾斜摄影来说，由于倾斜摄影平台所采集的影像数据往往存在较多的冗余，本实施例中在进行影像密集匹配之前，对影像进行筛选以提高三维重建的效率。目前，有许多学者对此进行研究，其中以CMVS(Furukawa et al.,2010)方法最具代表性。但是，CMVS这类算法在影像筛选的过程中是无差别的，并未考虑重建场景内容的区分性。利用一种融合地物分类的影像筛选方法，根据不同的地物类型进行不同程度的影像筛选，获得筛选后的影像再进行影像密集匹配。
本实施案例中，利用重建场景中每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合，为了保证所选取的影像能够完全覆盖所要重建的三维场景，需要从每个小立方体ci中选取一定数量(nsel)的影像；而且为了使选取的影像数量尽可能的少，则需要尽量保证邻接的小立方体之间选取的影像相同。根据场景中不同地物类型的重要性(植被地物区域的重要性往往较低)，采用“贪婪法”进行影像的选取，作为筛选后的影像。
进一步地，所述利用所述每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合具体包含：
根据场景的三维空间外包盒范围并按照预设间距将重建场景划分成预设个数的空间小立方体C＝{c1,c2,…,cn}；
根据AT结果中连接点的三维空间坐标，统计每个立方体ci中所落入的AT连接点的点集合P(ci)＝{p1,p2,…,pm}；
根据点集合P(ci)中每个三维连接点所对应的观测影像信息，统计出每个立方体ci中候选的可视观测影像集合I(ci)＝{I1,I2,…,Ik}。
进一步地，所述采用贪婪法从候选可视观测影像集合中选取相同数量的影像，作为所述筛选后的影像具体包含：
根据立方体ci的点集合P(ci)中每个连接点的地物类别(植被或非植被)统计数量占比最多的那一类作为当前立方体ci的地物类别；
利用点集合P(ci)中每个连接点的可视影像信息统计立方体ci的候选影像集合I(ci)中每张可视影像的分数，这里采用投票的方法，即空三加密点对应的可视影像每出现一次其分数加1；
根据立方体ci的候选影像集合I(ci)中影像的数量n采用以下公式设置ci中可选取的影像数量上限：
根据ci中可视影像的分数，筛选出当前已选中的影像数量还未超过各自上限nsel的立方体ci，统计这些立方体中可视候选影像分数最大的影像作为当前最佳的影像Ibest，并设置Ibest为选中的影像；
将所有候选可视影像中包含Ibest的立方体ci所选中的影像数量加1，并把Ibest从这些立方体的候选可视影像中删除；
重复以上过程，直到每个立方体ci所选中的影像数量都达到其设定的最大上限nsel为止，那么输出所有选中的影像作为筛选后的影像。
S30、对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云具体包含；
利用上述筛选后的影像进行密集匹配之后，获得重建场景的密集点云数据。考虑到在大多数三维场景的应用中对植被地物的建模要求不高，为了提高密集点云的三角网格构建效率，对密集点云中的植被地物区域进行抽稀重采样处理获得采样后的密集点云再进行三角网格构建，以减少植被区密集点云的数量从而提高三维重建的效率。
本发明采用深度学习的方法对影像数据中的植被区域进行了识别标记，因此，通过影像密集匹配之后就能够获取每个密集匹配点所对应的地物类别(植被或非植被)，对密集点云中的植被地物区域进行重采样处理具体。
进一步地，所述对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云具体包含：
根据密集点云的三维空间外包盒范围并按照预设间距(例如可设置为地物分辨率的5倍)将重建场景划分成预设个数的空间小立方体C＝{c1,c2,…,cn}，统计每个立方体ci中所落入的密集匹配点的点集合P(ci)＝{p1,p2,…,pm}；
根据立方体ci的点集合P(ci)中每个密集匹配点的地物类别(植被或非植被)，统计数量占比最多的那一类作为当前立方体ci的地物类别；
选取地物类别为植被的立方体ci，合并其点集合P(ci)中所有的密集匹配点，合并后的点坐标为集合P(ci)中所有点坐标的平均值；
所有地物类别为非植被的立方体ci中的密集点以及所有合并后的植被点则组成为采样后的密集点云。
S40、对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型；将植被区域的识别结果，用于进行点云重采样和三角网简化的参数设定。
经过上述密集点云的重采样处理之后，就可以利用采样后的点云数据进行三角网格的构建(例如可以使用经典的泊松构网方法)，从而得到目标场景的三维表面网格。为了提高后续的纹理映射以及所生成的三维场景的可视化效率，通常的做法是将生成的三维表面网格进行简化，然后利用三角面数据量更少的简化模型进行后续的三维重建步骤。然而，对三维表面网格进行简化就不可避免地会造成三维模型几何精度的损失。本实施例中，为了使场景重建效率与几何精度达到平衡，在三角网格简化的过程中采取了不同的策略。
本实施例中，采用深度学习的方法对倾斜影像以及目标场景中的植被区域进行识别，并将识别的结果应用于多视影像三维重建的流程中，以达到快速重建植被地物的目的。如图3所示，根据目标场景中不同的植被区域占比，本发明所提出的方法能够将三维场景的重建效率提升5％～49％。
进一步地，所述将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型具体包含：
对于非植被区域的三角网格来说，可以使用较小的简化力度，而对于重要性相对较低的植被区域来说，我们可以使用更大的简化力度。举个例子，假如采用经典的QEM算法进行三维表面网格的简化，在计算边折叠代价时，如果折叠边所对应的顶点为植被点，那么我们可以通过降低所计算出的边折叠代价来达到尽可能的简化植被区域三角面的目的。
本申请的实施例还提供一种基于深度学习的植被地物模型重建系统，所述系统包含：
影像识别模块，用于对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域；
影像筛选模块，用于对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
影像匹配模块，用于对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云；
模型重建模块，用于对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的系统可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的植被地物模型重建方法，其特征在于，所述方法包含：
对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域的识别结果；
对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云；
对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型。
2.如权利要求1所述的方法，其特征在于，所述对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域的识别结果，包含：
利用深度学习中的UNet网络，对所述倾斜影像中的植被地物进行像素级别的语义分割，确定所述倾斜影像中的植被地物区域；
根据空间三角测量，将所述重建场景中的每个三维连接点分别投影到其所有的观测影像上，获得每个三维连接点所对应的观测影像信息；
根据所述每个三维连接点所对应的观测影像信息，确定所述三维连接点的地物类别，获得所述重建场景中的植被地物区域的识别结果。
3.如权利要求2所述的方法，其特征在于，所述利用深度学习中的UNet网络，对所述倾斜影像中的植被地物进行像素级别的语义分割，确定所述倾斜影像中的植被地物区域，包含：
通过UNet网络主体中的编码器，对所述倾斜影像对应图像进行下采样，并通过所述UNet网络主体中的解码器，对所述倾斜影像对应图像进行上采样；
通过上采样结果、下采样结果以及所述UNet网络主体中的输出层，输出所述倾斜影像的图像中每个像素属于各个地物类别的概率，并根据所述每个像素属于各个地物类别的概率，确定所述倾斜影像的图像中的植被地物区域。
4.如权利要求2所述的方法，其特征在于，所述根据所述每个三维连接点所对应的观测影像信息，确定所述三维连接点的地物类别，获得所述重建场景中的植被地物区域的识别结果，包含：
根据所述每个三维连接点所对应的观测影像信息，将场景中的每个三维连接点分别投影到其所有的观测影像上，统计所述三维连接点在其不同观测影像上的投影位置处像素所属的地物类别；
将数量占比最多的一类地物类别确定为所述三维连接点所属的地物类别，获得所述重建场景中的植被地物区域的识别结果。
5.如权利要求2所述的方法，其特征在于，所述对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像，包含：
利用所述每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合；
采用贪婪法从候选可视观测影像集合中选取相同数量的影像，作为所述筛选后的影像。
6.如权利要求5所述的方法，其特征在于，所述利用所述每个三维连接点所对应的观测影像信息，获得所述重建场景中候选可视观测影像集合，包含：
根据所述重建场景的三维空间外包盒范围，按照预设间距，将所述重建场景划分成预设个数的空间小立方体；
根据所述三维连接点的三维空间坐标，统计每个立方体中所落入的所述三维连接点的点集合；
根据所述点集合中每个三维连接点所对应的观测影像信息，统计出每个立方体的候选可视观测影像集合。
7.如权利要求5所述的方法，其特征在于，所述采用贪婪法从候选可视观测影像集合中选取相同数量的影像，作为所述筛选后的影像，包含：
利用所述点集合中每个三维连接点所对应的观测影像信息，采用投票的方法，统计所述立方体的候选可视观测影像集合中每张可视影像的分数；
根据所述立方体的候选可视观测影像集合中影像的预设数量以及预设公式，设置所述立方体中可选取的影像数量上限，其中所述预设公式为：
根据所述立方体的候选可视观测影像集合中每张可视影像的分数，筛选出当前可选取的影像数量未超过各自所述影像数量上限的立方体；
统计出所述已筛选的影像数量未超过各自影像数量上限的立方体中每张可视影像的分数最大的影像，作为当前最佳的影像，并将所述最佳的影像设置为选中的影像；
将所有所述候选可视观测影像集合中包含所述最佳的影像的立方体所选中的影像数量加1，并将所述最佳的影像从所述立方体的候选可视观测影像集合中删除；
重复执行：将所有所述候选可视观测影像集合中包含所述最佳的影像的立方体所选中的影像数量加1，并将所述最佳的影像从所述立方体的候选可视观测影像集合中删除，直至每个立方体所选中的影像数量都达到其设定的最大所述影像数量上限，并输出所有选中的影像作为所述筛选后的影像。
8.如权利要求1所述的方法，其特征在于，所述对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云，包含：
根据密集点云的三维空间外包盒范围并按照预设间距将所述重建场景划分成预设个数的空间小立方体，统计每个立方体中所落入的密集匹配点的点集合；
根据所述点集合中每个密集匹配点的地物类别，将数量占比最多的一类地物类别作为对应立方体的地物类别；
选取地物类别为植被的立方体，合并所述植被的立方体的点集合中所有的密集匹配点，获得重建场景中所有合并后的植被点，其中，合并后的植被点坐标分别为各立方体的点集合中所有点坐标的平均值；
将所有地物类别为非植被的立方体中的密集点和所有合并后的植被点，作为采样后的密集点云。
9.如权利要求1所述的方法，其特征在于，所述将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，包含：
对非植被区域的三维表面网格，使用第一级别的简化力度；
对植被区域的三维表面网格，使用第二级别的简化力度，获得三角面数据量更少的简化模型，其中，所述第二级别大于所述第一级别。
10.一种基于深度学习的植被地物模型重建系统，其特征在于，所述系统包含：
影像识别模块，用于对倾斜影像中的植被地物利用深度学习的方法进行识别，并根据影像识别结果获得重建场景中的植被地物区域的识别结果；
影像筛选模块，用于对所述植被地物区域的识别结果利用融合地物分类的影像筛选方法进行影像筛选，获得筛选后的影像；
影像匹配模块，用于对所述筛选后的影像进行密集匹配，获得重建场景的密集点云数据，并对所述密集点云数据利用抽稀重采样的方法进行处理，获得采样后的密集点云；
模型重建模块，用于对所述采样后的密集点云利用三角网格的方法进行构建，获得目标场景的三维表面网格，将所述三维表面网格进行不同策略的简化处理，获得简化后的三维表面网格模型，根据所述简化后的三维表面网格模型进行纹理映射以得到最终的目标场景的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519312.4A CN115861532A (zh) | 2022-11-30 | 2022-11-30 | 基于深度学习的植被地物模型重建方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519312.4A CN115861532A (zh) | 2022-11-30 | 2022-11-30 | 基于深度学习的植被地物模型重建方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861532A true CN115861532A (zh) | 2023-03-28 |
Family
ID=85668251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211519312.4A Pending CN115861532A (zh) | 2022-11-30 | 2022-11-30 | 基于深度学习的植被地物模型重建方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861532A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843533A (zh) * | 2023-07-13 | 2023-10-03 | 中国矿业大学 | 一种基于植被分类和立地类型划分的矿区植被重建方法 |
-
2022
- 2022-11-30 CN CN202211519312.4A patent/CN115861532A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843533A (zh) * | 2023-07-13 | 2023-10-03 | 中国矿业大学 | 一种基于植被分类和立地类型划分的矿区植被重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| Zheng et al. | Non-local scan consolidation for 3D urban scenes | |
| CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
| CN110428493B (zh) | 基于网格形变的单图像人体三维重建方法及系统 | |
| CN111754618B (zh) | 一种面向对象的实景三维模型多层次解译方法及系统 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN115471634B (zh) | 一种城市绿植孪生的建模方法及装置 | |
| Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
| CN114972646B (zh) | 一种实景三维模型独立地物的提取与修饰方法及系统 | |
| CN115861532A (zh) | 基于深度学习的植被地物模型重建方法与系统 | |
| CN116402973A (zh) | 一种基于lod重构的倾斜摄影模型优化方法、系统 | |
| CN112215861A (zh) | 一种足球检测方法、装置、计算机可读存储介质及机器人 | |
| CN109164444A (zh) | 一种基于遥感数据的自然景观重构方法 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| Frommholz et al. | Reconstructing buildings with discontinuities and roof overhangs from oblique aerial imagery | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| CN113838199B (zh) | 一种三维地形生成方法 | |
| CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| CN115240057A (zh) | 一种基于深度学习的架空输电线路监拍图像检测方法 | |
| KR102440916B1 (ko) | 데이터 결합을 통한 3차원 문화재의 데이터베이스 구축방법 및 시스템 | |
| CN108921908B (zh) | 表面光场的采集方法、装置及电子设备 | |
| CN110599587A (zh) | 一种基于单张图像的3d场景重构技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |