CN116758243B - 基于实时点云流的场景网格划分生成及渲染显示方法 - Google Patents

Abstract

本发明涉及实时点云处理技术领域，公开了一种基于实时点云流的场景网格生成、划分及渲染显示方法，用于高效处理实时点云流生成带LOD层级特征的网格及渲染显示。包括：对首帧点云数据进行空间划分，生成初始三维空间网格；将首帧点云数据分配至初始三维空间网格中，构建初始mesh数据；对后续帧进行空间划分，生成多个待分析三维空间网格；对多个待分析三维空间网格及初始三维空间网格进行位置关系分析，进行网格扩展，得到扩展三维空间网格；对扩展三维空间网格进行点云合并，得到目标三维空间网格，生成多个目标mesh数据；基于多个目标mesh数据生成多个场景瓦片结构，对多个LOD场景瓦片结构进行场景渲染，得到目标场景。

Description

基于实时点云流的场景网格划分生成及渲染显示方法

技术领域

本发明涉及点云渲染技术领域，尤其涉及一种基于实时点云流的场景网格划分、生成及渲染显示方法。

背景技术

通过雷达、ToF（Time of Flight，飞行时）、LiDAR（激光雷达）等手段可以直接采集环境场景的点云数据，这些点云数据自带结构信息，可以表达真实场景的表面结构特征；利用倾斜摄影技术也可以重建真实三维场景。

点云数据量庞大，频率高、数据量大的实时采集无序点云数据渲染显示和存储，无法利用其空间特性，不能进行LOD处理，也很难进行视锥体裁剪，特别是在移动端有限的硬件资源条件下，快速增长的点云数据会迅速耗尽设备资源，从而导致应用卡死、崩溃。而且，点云不能很好的表达物体表面视觉特征，也不能实现实时高保真的点云着色，相比网格和贴图纹理模型，点云数据在反映场景表面时存在较大的视觉效果问题。倾斜摄影重建场景需要预先采集场景RGB图像，然后进行离线后处理重建，这个过程耗时与所处理场景规模有关，场景越大，处理耗时越长。即倾斜摄影方案重建三维场景无法做到实时重建、渲染显示，这对时效敏感型应用，如应急、安防等应用非常不友好。

发明内容

本发明提供了一种基于实时点云流的场景网格划分、生成及渲染显示方法，用于高效处理实时点云流生成带LOD层级特征的网格及渲染显示。

本发明第一方面提供了一种基于实时点云流的场景网格划分、生成及渲染显示方法，所述基于实时点云流的场景网格划分、生成及渲染显示方法包括：

对首帧点云数据进行空间划分，生成初始三维空间网格；将所述首帧点云数据分配至所述初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格；构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据；基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景。

结合第一方面，在本发明第一方面的第一实现方式中，所述对首帧点云数据进行空间划分，生成初始三维空间网格，包括：对所述首帧点云数据进行包围盒尺寸计算，得到第一包围盒尺寸数据；对所述第一包围盒尺寸数据进行单位立方体边长分析，确定单位立方体边长；基于所述第一包围盒尺寸数据以及所述单位立方体边长，对所述首帧点云数据进行空间划分，生成所述初始三维空间网格。

结合第一方面的第一实现方式，在本发明第一方面的第二实现方式中，所述分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格，包括：分别对多个所述待分析三维空间网格进行包围盒尺寸提取，确定多个第二包围盒尺寸数据；对多个所述第二包围盒尺寸数据以及所述第一包围盒尺寸数据进行位置关系分析，得到位置关系分析结果；当所述位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格。

结合第一方面的第二实现方式，在本发明第一方面的第三实现方式中，所述当所述位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格，包括：当所述位置关系分析结果为存在差异位置时，提取多个差异位置信息；基于多个所述差异位置信息对多个所述待分析三维空间网格进行网格数据匹配，确定差异网格结构；基于所述差异网格结构对所述初始三维空间网格进行网格扩展，得到所述扩展三维空间网格。

结合第一方面，在本发明第一方面的第四实现方式中，所述构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据，包括：构建多个点云正整形数量阈值，并通过每个所述点云正整形数量阈值对所述扩展三维空间网格中每个节点的点云数量进行分析，确定对应的待调整节点；对多个所述待调整节点进行点云合并，得到目标三维空间网格；基于多个所述待调整节点，通过所述初始mesh数据对所述目标三维空间网格进行mesh数据构建，得到多个目标mesh数据。

结合第一方面，在本发明第一方面的第五实现方式中，所述基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景，包括：对多个所述目标mesh数据进行细节层级提取，得到每个所述目标mesh数据对应的细节层级；通过每个所述目标mesh数据对应的细节层级生成多个场景瓦片结构；对多个所述场景瓦片结构进行场景渲染，得到所述目标场景。

结合第一方面，在本发明第一方面的第六实现方式中，所述对多个所述场景瓦片结构进行场景渲染，得到所述目标场景，包括：分别对多个所述场景瓦片结构进行节点遍历，得到多个待渲染节点；基于预置的渲染相机位置，分别对每个所述待渲染节点的节点中心进行距离计算，得到距离数据集；基于所述距离数据集对多个所述待渲染节点进行显示优先级分析，确定每个所述待渲染节点对应的显示优先级；基于每个所述待渲染节点对应的显示优先级对多个所述待渲染节点进行场景渲染，得到所述目标场景。

本发明第二方面提供了一种基于实时点云流的场景网格划分、生成及渲染显示系统，所述基于实时点云流的场景网格划分、生成及渲染显示系统包括：

划分模块，用于对首帧点云数据进行空间划分，生成初始三维空间网格；

生成模块，用于将所述首帧点云数据分配至所述初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；

分析模块，用于分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格；

合并模块，用于构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据；

渲染模块，用于基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景。

本发明第三方面提供了一种基于实时点云流的场景网格划分、生成及渲染显示设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于实时点云流的场景网格划分、生成及渲染显示设备执行上述的基于实时点云流的场景网格划分、生成及渲染显示方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于实时点云流的场景网格划分、生成及渲染显示方法。

本发明提供的技术方案中，对首帧点云数据进行空间划分，生成初始三维空间网格；将首帧点云数据分配至初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；分别对多个待分析三维空间网格以及初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格；构建多个点云整形数量阈值，并基于多个点云整形数量阈值对扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过目标三维空间网格及初始mesh数据生成多个目标mesh数据；基于多个目标mesh数据生成多个场景瓦片结构，并对多个场景瓦片结构进行场景渲染，得到目标场景。在本申请中，通过对点云数据进行空间划分，可以将连续的三维空间划分为规则的体素网格结构。这样可以方便地对点云数据进行分析和处理，以及后续的网格操作。对首帧点云数据进行空间划分并生成初始三维空间网格，为后续的分析和处理提供了起点。初始网格可以作为参考，用于与后续的待分析网格进行位置关系分析，从而检测位置差异并进行相应的网格扩展。通过对多个非首帧点云数据进行空间划分，可以并行地生成多个待分析三维空间网格。这种并行处理方式可以提高点云流的网格划分效率，使得系统能够在实时场景中处理大规模的点云数据。当位置关系分析结果存在差异位置时，基于待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格。然后，通过多个点云整形数量阈值对扩展网格进行点云合并，得到目标三维空间网格。这样可以保持网格的完整性并减少冗余的点云数据。通过目标三维空间网格和初始mesh数据生成多个目标mesh数据，然后构建多个场景瓦片结构，并对这些结构进行场景渲染，最终得到目标场景。总之，通过对实时点云流进行网格划分、生成和分析，以及点云合并和场景生成，实现了对点云数据的高效处理和可视化呈现，提高了实时点云流的网格划分、生成效率，并为进一步的点云数据分析和应用提供了基础。

附图说明

图1为本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示方法的一个实施例示意图；

图2为本发明实施例中分别对多个待分析三维空间网格以及初始三维空间网格进行位置关系分析的流程图；

图3为本发明实施例中基于多个待分析三维空间网格对初始三维空间网格进行网格扩展的流程图；

图4为本发明实施例中基于多个点云整形数量阈值对扩展三维空间网格进行点云合并的流程图；

图5为本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示系统的一个实施例示意图；

图6为本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于实时点云流的场景网格划分、生成及渲染显示方法，用于高效处理实时点云流生成带LOD层级特征的网格及渲染显示。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示方法的一个实施例包括：

S101、对首帧点云数据进行空间划分，生成初始三维空间网格；

可以理解的是，本发明的执行主体可以为基于实时点云流的场景网格划分、生成及渲染显示系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，服务器对首帧点云数据进行包围盒尺寸计算，得到第一包围盒尺寸数据；对第一包围盒尺寸数据进行单位立方体边长分析，确定单位立方体边长；基于第一包围盒尺寸数据以及单位立方体边长，对首帧点云数据进行空间划分，生成初始三维空间网格。

S102、将首帧点云数据分配至初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；

具体的，服务器分别对多个待分析三维空间网格进行包围盒尺寸提取，确定多个第二包围盒尺寸数据；对多个第二包围盒尺寸数据以及第一包围盒尺寸数据进行位置关系分析，得到位置关系分析结果；当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格。

S103、分别对多个待分析三维空间网格以及初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格；

具体的，当位置关系分析结果为存在差异位置时，提取多个差异位置信息；基于多个差异位置信息对多个待分析三维空间网格进行网格数据匹配，确定差异网格结构；基于差异网格结构对初始三维空间网格进行网格扩展，得到扩展三维空间网格。

S104、构建多个点云整形数量阈值，并基于多个点云整形数量阈值对扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过目标三维空间网格及初始mesh数据生成多个目标mesh数据；

具体的，服务器构建多个点云正整形数量阈值，并通过每个点云正整形数量阈值对扩展三维空间网格中每个节点的点云数量进行分析，确定对应的待调整节点；对多个待调整节点进行点云合并，得到目标三维空间网格；基于多个待调整节点，通过初始mesh数据对目标三维空间网格进行mesh数据构建，得到多个目标mesh数据。

S105、基于多个目标mesh数据生成多个场景瓦片结构，并对多个场景瓦片结构进行场景渲染，得到目标场景。

具体的，服务器对多个目标mesh数据进行细节层级提取，得到每个目标mesh数据对应的细节层级；通过每个目标mesh数据对应的细节层级生成多个场景瓦片结构；对多个场景瓦片结构进行场景渲染，得到目标场景。服务器分别对多个场景瓦片结构进行节点遍历，得到多个待渲染节点；基于预置的渲染相机位置，分别对每个待渲染节点的节点中心进行距离计算，得到距离数据集；基于距离数据集对多个待渲染节点进行显示优先级分析，确定每个待渲染节点对应的显示优先级；基于每个待渲染节点对应的显示优先级对多个待渲染节点进行场景渲染，得到目标场景。

本发明实施例中，对首帧点云数据进行空间划分，生成初始三维空间网格；将首帧点云数据分配至初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；分别对多个待分析三维空间网格以及初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格；构建多个点云整形数量阈值，并基于多个点云整形数量阈值对扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过目标三维空间网格及初始mesh数据生成多个目标mesh数据；基于多个目标mesh数据生成多个场景瓦片结构，并对多个场景瓦片结构进行场景渲染，得到目标场景。在本申请中，通过对点云数据进行空间划分，可以将连续的三维空间划分为规则的体素网格结构。这样可以方便地对点云数据进行分析和处理，以及后续的网格操作。对首帧点云数据进行空间划分并生成初始三维空间网格，为后续的分析和处理提供了起点。初始网格可以作为参考，用于与后续的待分析网格进行位置关系分析，从而检测位置差异并进行相应的网格扩展。通过对多个非首帧点云数据进行空间划分，可以并行地生成多个待分析三维空间网格。这种并行处理方式可以提高点云流的网格划分效率，使得系统能够在实时场景中处理大规模的点云数据。当位置关系分析结果存在差异位置时，基于待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格。然后，通过多个点云整形数量阈值对扩展网格进行点云合并，得到目标三维空间网格。这样可以保持网格的完整性并减少冗余的点云数据。通过目标三维空间网格和初始mesh数据生成多个目标mesh数据，然后构建多个场景瓦片结构，并对这些结构进行场景渲染，最终得到目标场景。总之，通过对实时点云流进行网格划分、生成和分析，以及点云合并和场景生成，实现了对点云数据的高效处理和可视化呈现，提高了实时点云流的网格划分效率，并为进一步的点云数据分析和应用提供了基础。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）对首帧点云数据进行包围盒尺寸计算，得到第一包围盒尺寸数据；

（2）对第一包围盒尺寸数据进行单位立方体边长分析，确定单位立方体边长；

（3）基于第一包围盒尺寸数据以及单位立方体边长，对首帧点云数据进行空间划分，生成初始三维空间网格。

具体的，计算首帧点云数据的包围盒尺寸，得到第一包围盒尺寸数据；根据计算出的第一包围盒尺寸数据，预设一个正方体边长（最小立方体，后续称为节点），进行单位立方体边长分析，确定单位立方体边长，构建单层n个正方体（空间网格）的k层立体结构，将首帧点云数据的3D点按点云空间分布分配到3D空间网格中；将每一个空间网格内的点云构建独立构建Mesh（构建Mesh过程中可参考其周边方格内的点云结构），即每一个空间网格内的点云生成一个独立的瓦片Tiles，生成初始三维空间网格。进一步地，对首帧点云数据进行包围盒尺寸计算，得到第一个包围盒尺寸数据。在处理首帧点云数据之前，首先计算点云数据的包围盒，即确定点云数据在三维空间中的最小包围盒。包围盒的尺寸可以由包围盒的最小坐标和最大坐标计算得出。对第一个包围盒尺寸数据进行单位立方体边长分析，确定单位立方体边长。根据第一个包围盒的尺寸数据，可以进行单位立方体边长的分析。单位立方体边长是指在初始三维空间网格中，每个立方体的边长大小。通过对包围盒尺寸的分析，可以确定一个合适的单位立方体边长，以便能够将点云数据均匀地分配到网格中。基于第一个包围盒尺寸数据以及单位立方体边长，对首帧点云数据进行空间划分，生成初始三维空间网格。利用确定的单位立方体边长，可以将首帧点云数据分配到初始的三维空间网格中。首先，根据包围盒尺寸计算网格的大小，确定需要多少个单位立方体来完全覆盖包围盒。然后，将每个点云按照其在空间中的位置分配到对应的单位立方体中。这样就完成了首帧点云数据的空间网格划分，生成了初始的三维空间网格。

在一具体实施例中，如图2所示，执行步骤S103的过程可以具体包括如下步骤：

S201、分别对多个待分析三维空间网格进行包围盒尺寸提取，确定多个第二包围盒尺寸数据；

S202、对多个第二包围盒尺寸数据以及第一包围盒尺寸数据进行位置关系分析，得到位置关系分析结果；

S203、当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格。

需要说明的是，在首帧数据建立3D空间网格后，当后续点云帧到达后，分别对多个待分析三维空间网格进行包围盒尺寸提取，首先需要计算新到帧点云的包围盒，确定多个第二包围盒尺寸数据，并根据多个第二包围盒尺寸数据判定点云与第一包围盒尺寸数据的位置关系，如果可以将新到帧点完数据能完全划分到已有空间网格中，则不需要修改空间网格结构；如果新到帧点云无法完全划分到已有空间网格中，则对原有空间网格进行扩展。当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格，扩展过程即为在某个方向或者某几个方向上延伸原空间网格的过程，延伸过程中，保持节点的边长不变，扩展完成后得到扩展三维空间网格，得到扩展三维空间网格应能容纳下所有点云数据。进一步地，对多个待分析三维空间网格进行包围盒尺寸提取：针对每个待分析三维空间网格，计算其中所有点云数据的最小和最大坐标值，得到相应的包围盒尺寸。确定多个第二包围盒尺寸数据：将每个待分析三维空间网格的包围盒尺寸与初始三维空间网格的第一包围盒尺寸进行比较，提取出多个第二包围盒尺寸数据。进行位置关系分析：对每个待分析三维空间网格的第二包围盒尺寸数据与初始三维空间网格的第一包围盒尺寸数据进行位置关系分析。分析的方法可以是比较包围盒的位置关系，如判断是否相交、包含或完全分离。判断位置关系分析结果：根据位置关系分析的结果，确定待分析三维空间网格与初始三维空间网格之间的位置差异。若存在差异位置，即待分析三维空间网格与初始三维空间网格之间的位置关系不符合要求，则继续进行网格扩展。基于多个待分析三维空间网格对初始三维空间网格进行网格扩展：对需要进行网格扩展的初始三维空间网格，根据差异位置进行扩展操作。扩展的方法可以是在特定方向或多个方向上延伸初始空间网格的边界，保持单位立方体边长不变。扩展后的网格应能容纳待分析三维空间网格中的所有点云数据，确保完整性和数据的准确性。

在一具体实施例中，如图3所示，执行步骤S203的过程可以具体包括如下步骤：

S301、当位置关系分析结果为存在差异位置时，提取多个差异位置信息；

S302、基于多个差异位置信息对多个待分析三维空间网格进行网格数据匹配，确定差异网格结构；

S303、基于差异网格结构对初始三维空间网格进行网格扩展，得到扩展三维空间网格。

需要说明的是，提取多个差异位置信息：对于每个存在差异位置的待分析三维空间网格，需要提取出差异的位置信息。这可以通过比较待分析网格的边界与初始网格的边界，确定边界上的重叠或相邻区域。对多个差异位置信息进行网格数据匹配：基于差异位置信息，需要进行网格数据匹配，即将待分析网格中与初始网格存在差异的区域与初始网格进行匹配。这可以通过比较两个网格的顶点坐标来确定匹配的区域。确定差异网格结构：根据匹配的区域，可以确定差异网格的结构。差异网格是指在初始网格上进行扩展的区域，用于容纳待分析网格中的差异部分。根据差异网格的位置和形状，可以调整初始网格的结构，添加新的网格单元或调整现有网格单元的位置。对初始三维空间网格进行网格扩展：基于确定的差异网格结构，对初始三维空间网格进行网格扩展。扩展可以包括添加新的网格单元，调整网格单元的大小和位置等操作，以适应待分析网格中的差异部分。扩展后的网格应能容纳所有差异网格的数据，并保持网格单元的边长不变。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、构建多个点云正整形数量阈值，并通过每个点云正整形数量阈值对扩展三维空间网格中每个节点的点云数量进行分析，确定对应的待调整节点；

S402、对多个待调整节点进行点云合并，得到目标三维空间网格；

S403、基于多个待调整节点，通过初始mesh数据对目标三维空间网格进行mesh数据构建，得到多个目标mesh数据。

具体的，预设多个点云正整形数量阈值L1、L2、L3···，通过每个点云正整形数量阈值对扩展三维空间网格中每个节点的点云数量进行分析，确定对应的待调整节点，当合并新到帧点云后，如果节点中的点云数超过L1，但小于L2，对多个待调整节点进行点云合并，得到目标三维空间网格，则合并新到点云与立方体中的原有点云，并重新生成Mesh1；如果节点中的点云数据超过L2，但小于L3，则合并新到点云与立方体中的原有点云，并重新生成Mesh2；依次类推，则可生成节点分层的Mesh1、Mesh2、Mesh3...，且后续Mesh比前续Mesh细节更丰富，结构更细致，这个过程即是构建Mesh LOD过程，每一个Mesh称为一个瓦片（Tile）；基于多个待调整节点，通过初始mesh数据对目标三维空间网格进行mesh数据构建，得到多个目标mesh数据，经过上述步骤，可以生成节点的一系列瓦片，这些瓦片生成后可以存储到外部存储器中，作为LOD瓦片，提供对场景的不同层级抽象；重复这个过程，直到结束。瓦片模型实时生成和更新，后续应用可通过算法检索到某一层级的瓦片数据。并且由于采用空间网格的方式延伸场景结构，可以利用数据临近性，将本次新到帧点云数据的包围盒与已有空间网格结构数据进行空间对比，将离本帧数据较远的节点中的点云数据交换到外部存储器中，从而维持内存稳定。在需要的时候再将节点中的点云数据回读到内存中进行处理。由于瓦片模型实时生成和更新，新生成的瓦片数据可以马上交换到外部存储器中，从而简化后续的渲染过程。进一步地，构建多个点云整形数量阈值：根据应用需求和性能要求，可以设置多个点云正整形数量阈值。这些阈值用于确定点云数量在不同范围内进行合并的策略。分析扩展三维空间网格中每个节点的点云数量：针对扩展后的三维空间网格，对每个节点的点云数量进行分析，判断其是否符合预设的点云整形数量阈值。这可以通过统计每个节点中的点云数量来实现。确定待调整节点：基于点云整形数量阈值的分析结果，确定需要进行点云合并的待调整节点。待调整节点是指点云数量超过阈值的节点，对其进行合并操作。点云合并得到目标三维空间网格：对于待调整节点，将其所包含的点云数据进行合并，得到目标三维空间网格。合并可以采用一些点云处理算法，如点云融合、点云平滑等，将多个点云数据融合为一个点云。基于待调整节点，通过初始mesh数据构建目标mesh数据：利用待调整节点的位置和形状信息，结合初始mesh数据，可以对目标三维空间网格进行mesh数据的构建。这可以包括根据节点的位置和形状在初始mesh数据中进行相应的调整和变换，生成多个目标mesh数据。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对多个目标mesh数据进行细节层级提取，得到每个目标mesh数据对应的细节层级；

（2）通过每个目标mesh数据对应的细节层级生成多个场景瓦片结构；

（3）对多个场景瓦片结构进行场景渲染，得到目标场景。

具体的，细节层级提取：针对每个目标mesh数据，需要进行细节层级提取。细节层级是指将场景的几何细节按层级进行划分，以便在渲染过程中根据需要选择合适的细节层级进行显示。细节层级提取可以基于不同的算法，如LOD（层级细节）算法，根据目标mesh数据的几何复杂度和精度来确定每个层级的细节。场景瓦片结构生成：基于每个目标mesh数据的细节层级，可以生成对应的场景瓦片结构。场景瓦片是指将场景划分为多个独立的、可管理的区域，每个瓦片包含一个或多个细节层级的网格数据。场景瓦片的生成根据细节层级的要求，将目标mesh数据分割成适当的区域，并构建层级结构以便后续的渲染和管理。场景渲染：对于生成的多个场景瓦片结构，可以进行场景渲染以得到目标场景。场景渲染是指将场景中的网格数据转化为可视化图像的过程。在场景渲染过程中，根据渲染相机的位置和视锥体进行瓦片的选择和加载，根据需要选择合适的细节层级进行渲染。这可以通过现有的图形渲染技术和算法来实现，如光栅化渲染、阴影计算、纹理映射等。

在一具体实施例中，执行对多个场景瓦片结构进行场景渲染，得到目标场景步骤的过程可以具体包括如下步骤：

（1）分别对多个场景瓦片结构进行节点遍历，得到多个待渲染节点；

（2）基于预置的渲染相机位置，分别对每个待渲染节点的节点中心进行距离计算，得到距离数据集；

（3）基于距离数据集对多个待渲染节点进行显示优先级分析，确定每个待渲染节点对应的显示优先级；

（4）基于每个待渲染节点对应的显示优先级对多个待渲染节点进行场景渲染，得到目标场景。

具体的，每一渲染帧在渲染前对场景中的所有节点进行一次遍历，通过每个节点中心点与渲染相机距离、节点屏幕投影面积占比确定节点显示优先级，其计算公式如下：

；

；

；

；

其中，radius为节点BoundingBox半径，distance为相机到节点center的距离，计算出的priority值大小决定节点的显示优先级，值越大，显示优先级越高，同时LOD层级越细。通过设置场景渲染节点Mesh顶点最大数值maxRender，遍历结束，按显示优先级渲染显示节点，同时记录已显示的瓦片顶点数，当已显示瓦片顶点数量大于maxRender则停止后续节点的渲染，如果场景中还存在其他已显示的节点，则这些不在视锥体范围内、在视锥体范围内但显示优先级低的节点都将不被渲染，从而维持网格渲染最大顶点数可控。进一步地，节点遍历：对于每个场景瓦片结构，进行节点遍历，遍历得到需要进行渲染的节点。节点遍历根据瓦片的层级结构和空间分布方式进行，确保每个需要渲染的节点都被访问到。距离计算：基于预置的渲染相机位置，对每个待渲染节点的节点中心进行距离计算。距离计算可以通过计算节点中心点与渲染相机位置之间的距离来实现。距离数据集生成：将距离计算的结果整理为距离数据集。距离数据集记录了每个待渲染节点的距离信息，用于后续的显示优先级分析。显示优先级分析：基于距离数据集，对待渲染节点进行显示优先级分析。显示优先级分析根据节点与渲染相机的距离以及其他因素（如节点屏幕投影面积占比）来确定节点的显示优先级。较远的节点或面积较小的节点可能被赋予较低的显示优先级，而较近的节点或面积较大的节点可能被赋予较高的显示优先级。场景渲染：基于每个待渲染节点的显示优先级，对多个待渲染节点进行场景渲染。场景渲染根据节点的网格数据和材质等信息，使用图形渲染技术和算法将节点的内容转化为可视化图像。渲染可以按照显示优先级从高到低的顺序进行，以确保先渲染优先级较高的节点，再逐步渲染优先级较低的节点。

上面对本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示方法进行了描述，下面对本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示系统进行描述，请参阅图5，本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示系统一个实施例包括：

划分模块501，用于对首帧点云数据进行空间划分，生成初始三维空间网格；

生成模块502，用于将所述首帧点云数据分配至所述初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；

分析模块503，用于分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格；

合并模块504，用于构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据；

渲染模块505，用于基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景。

通过上述各个组成部分的协同合作，对首帧点云数据进行空间划分，生成初始三维空间网格；将首帧点云数据分配至初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；分别对多个待分析三维空间网格以及初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格；构建多个点云整形数量阈值，并基于多个点云整形数量阈值对扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过目标三维空间网格及初始mesh数据生成多个目标mesh数据；基于多个目标mesh数据生成多个场景瓦片结构，并对多个场景瓦片结构进行场景渲染，得到目标场景。在本申请中，通过对点云数据进行空间划分，可以将连续的三维空间划分为规则的体素网格结构。这样可以方便地对点云数据进行分析和处理，以及后续的网格操作。对首帧点云数据进行空间划分并生成初始三维空间网格，为后续的分析和处理提供了起点。初始网格可以作为参考，用于与后续的待分析网格进行位置关系分析，从而检测位置差异并进行相应的网格扩展。通过对多个非首帧点云数据进行空间划分，可以并行地生成多个待分析三维空间网格。这种并行处理方式可以提高点云流的网格划分效率，使得系统能够在实时场景中处理大规模的点云数据。当位置关系分析结果存在差异位置时，基于待分析三维空间网格对初始三维空间网格进行网格扩展，得到扩展三维空间网格。然后，通过多个点云整形数量阈值对扩展网格进行点云合并，得到目标三维空间网格。这样可以保持网格的完整性并减少冗余的点云数据。通过目标三维空间网格和初始mesh数据生成多个目标mesh数据，然后构建多个场景瓦片结构，并对这些结构进行场景渲染，最终得到目标场景。总之，通过对实时点云流进行网格划分、生成和分析，以及点云合并和场景生成，实现了对点云数据的高效处理和可视化呈现，提高了实时点云流的网格划分效率，并为进一步的点云数据分析和应用提供了基础。

上面图5从模块化功能实体的角度对本发明实施例中的基于实时点云流的场景网格划分、生成及渲染显示系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于实时点云流的场景网格划分、生成及渲染显示设备进行详细描述。

图6是本发明实施例提供的一种基于实时点云流的场景网格划分、生成及渲染显示设备的结构示意图，该基于实时点云流的场景网格划分、生成及渲染显示设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessingunits，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于实时点云流的场景网格划分、生成及渲染显示设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于实时点云流的场景网格划分、生成及渲染显示设备600上执行存储介质630中的一系列指令操作。

基于实时点云流的场景网格划分、生成及渲染显示设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如WindowsServe，MacOSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于实时点云流的场景网格划分、生成及渲染显示设备结构并不构成对基于实时点云流的场景网格划分、生成及渲染显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于实时点云流的场景网格划分、生成及渲染显示设备，所述基于实时点云流的场景网格划分、生成及渲染显示设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于实时点云流的场景网格划分、生成及渲染显示方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于实时点云流的场景网格划分、生成及渲染显示方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时，可以存储在一个计算机可读取存储介质中。基于的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-onlymemory，ROM）、随机存取存储器（randomacceSmemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述基于实时点云流的场景网格划分、生成及渲染显示方法包括：

对首帧点云数据进行空间划分，生成初始三维空间网格；

将所述首帧点云数据分配至所述初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；

分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格；

构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据；

基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景。

2.根据权利要求1所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述对首帧点云数据进行空间划分，生成初始三维空间网格，包括：

对所述首帧点云数据进行包围盒尺寸计算，得到第一包围盒尺寸数据；

对所述第一包围盒尺寸数据进行单位立方体边长分析，确定单位立方体边长；

基于所述第一包围盒尺寸数据以及所述单位立方体边长，对所述首帧点云数据进行空间划分，生成所述初始三维空间网格。

3.根据权利要求2所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格，包括：

分别对多个所述待分析三维空间网格进行包围盒尺寸提取，确定多个第二包围盒尺寸数据；

对多个所述第二包围盒尺寸数据以及所述第一包围盒尺寸数据进行位置关系分析，得到位置关系分析结果；

当所述位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格。

4.根据权利要求3所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述当所述位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格，包括：

当所述位置关系分析结果为存在差异位置时，提取多个差异位置信息；

基于多个所述差异位置信息对多个所述待分析三维空间网格进行网格数据匹配，确定差异网格结构；

基于所述差异网格结构对所述初始三维空间网格进行网格扩展，得到所述扩展三维空间网格。

5.根据权利要求1所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据，包括：

构建多个点云正整形数量阈值，并通过每个所述点云正整形数量阈值对所述扩展三维空间网格中每个节点的点云数量进行分析，确定对应的待调整节点；

对多个所述待调整节点进行点云合并，得到目标三维空间网格；

基于多个所述待调整节点，通过所述初始mesh数据对所述目标三维空间网格进行mesh数据构建，得到多个目标mesh数据。

6.根据权利要求1所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景，包括：

对多个所述目标mesh数据进行细节层级提取，得到每个所述目标mesh数据对应的细节层级；

通过每个所述目标mesh数据对应的细节层级生成多个场景瓦片结构；

对多个所述场景瓦片结构进行场景渲染，得到所述目标场景。

7.根据权利要求1所述的基于实时点云流的场景网格划分、生成及渲染显示方法，其特征在于，所述对多个所述场景瓦片结构进行场景渲染，得到所述目标场景，包括：

分别对多个所述场景瓦片结构进行节点遍历，得到多个待渲染节点；

基于预置的渲染相机位置，分别对每个所述待渲染节点的节点中心进行距离计算，得到距离数据集；

基于所述距离数据集对多个所述待渲染节点进行显示优先级分析，确定每个所述待渲染节点对应的显示优先级；

基于每个所述待渲染节点对应的显示优先级对多个所述待渲染节点进行场景渲染，得到所述目标场景。

8.一种基于实时点云流的场景网格划分、生成及渲染显示系统，其特征在于，所述基于实时点云流的场景网格划分、生成及渲染显示系统包括：

划分模块，用于对首帧点云数据进行空间划分，生成初始三维空间网格；

生成模块，用于将所述首帧点云数据分配至所述初始三维空间网格中，构建对应的初始mesh数据，并对多个非首帧点云数据进行空间划分，生成多个待分析三维空间网格；

分析模块，用于分别对多个所述待分析三维空间网格以及所述初始三维空间网格进行位置关系分析，当位置关系分析结果为存在差异位置时，基于多个所述待分析三维空间网格对所述初始三维空间网格进行网格扩展，得到扩展三维空间网格；

合并模块，用于构建多个点云整形数量阈值，并基于多个所述点云整形数量阈值对所述扩展三维空间网格进行点云合并，得到目标三维空间网格，并通过所述目标三维空间网格及所述初始mesh数据生成多个目标mesh数据；

渲染模块，用于基于多个所述目标mesh数据生成多个场景瓦片结构，并对多个所述场景瓦片结构进行场景渲染，得到目标场景。

9.一种基于实时点云流的场景网格划分、生成及渲染显示设备，其特征在于，所述基于实时点云流的场景网格划分、生成及渲染显示设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于实时点云流的场景网格划分、生成及渲染显示设备执行如权利要求1-7中任一项所述的基于实时点云流的场景网格划分、生成及渲染显示方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于实时点云流的场景网格划分、生成及渲染显示方法。