CN115564924A - 一种大城市场景下规则物体点云优化系统及方法 - Google Patents

Abstract

本发明提供一种大城市场景下规则物体点云优化系统及方法，涉及点云数据处理技术领域，包括：根据包含待优化规则物体的多张倾斜摄影图像处理得到相应的三维点云；筛选出表征待优化规则物体的各三维点得到第一优化点云，并重建得到三角网格模型；对三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到第二优化点云中的各三维点之间的拓扑关系；根据拓扑关系重建得到待优化规则物体的白膜网格，并根据各倾斜摄影图像获取待优化规则物体的烘焙贴图，并根据烘焙贴图对白膜网格进行烘焙得到待优化规则物体的三维网格模型。有益效果是实现减少点云数据容量、提高处理速度的同时去除点云中的噪声，有效提升三维网格模型的模型精度。

Description

一种大城市场景下规则物体点云优化系统及方法

技术领域

本发明涉及点云数据处理技术领域，尤其涉及一种大城市场景下规则物体点云优化系统及方法。

背景技术

建筑物的三维重构是近年来空间信息技术领域的一个研究热点，构建完整的建筑物三维模型是"数字城市","数字地球"等众多虚拟平台构建和发展的重要前提和基础。同时随着对地观测技术的创新发展，使得建筑物点云数据可以通过各种方式便捷地获取,为进行建筑物点云重构研究打下了基础。

但大城市场景结构复杂，包含建筑、车辆、树木、广告牌、路灯等各种组成要素，使得大城市场景下的建筑物点云数据含有大量杂点或噪声，进而使得现有的点云重构技术得到的重构模型精度不高，无法满足现有城市场景的应用需求。

发明内容

针对现有技术中存在的问题，本发明提供一种大城市场景下规则物体点云优化系统，包括：

图像处理模块，用于获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各所述倾斜摄影图像处理得到相应的三维点云；

第一优化模块，连接所述图像处理模块，用于由所述三维点云中筛选出表征所述待优化规则物体的各三维点得到第一优化点云，并根据所述第一优化点云重建得到所述待优化规则物体的三角网格模型；

第二优化模块，连接所述第一优化模块，用于对所述三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到所述第二优化点云中的各三维点之间的拓扑关系；

烘焙处理模块，分别连接所述图像处理模块和所述第二优化模块，用于根据所述拓扑关系重建得到所述待优化规则物体的白膜网格，并根据各所述倾斜摄影图像获取所述待优化规则物体的烘焙贴图，并根据所述烘焙贴图对所述白膜网格进行烘焙得到所述待优化规则物体的三维网格模型，作为所述待优化规则物体的点云优化结果。

优选的，所述第一优化模块包括：

剔除单元，用于对所述三维点云进行聚类得到多个聚类簇，并处理得到各聚类簇所属的特征类群，随后于所述三维点云中剔除不属于所述待优化规则物体的所述特征类群对应的各所述聚类簇包含的各三维点；

下采样单元，连接所述剔除单元，用于针对保留的每个所述聚类簇，分别构建所述聚类簇中的各三维点与预设的参考点之间的向量，并计算两两所述三维点关联的所述向量之间的距离，并提取所述距离小于预设值对应的各所述三维点作为冗余点，随后采用各所述冗余点的重心点代替各所述冗余点，以对所述聚类簇进行下采样；

滤波单元，连接所述下采样单元，用于针对下采样后的每个所述聚类簇，统计所述聚类簇包含的各所述三维点的总数量以及各所述三维点的外接球的半径，并在所述总数量小于预设数量且所述半径小于预设半径时，删除所述聚类簇，得到所述第一优化点云；

重建单元，连接所述滤波单元，用于根据所述第一优化点云重建得到所述待优化规则物体的所述三角网格模型。

优选的，所述剔除单元包括：

构建子单元，用于根据所述三维点云构建Kd树，并为所述Kd树中的各节点配置相应的点云索引；

聚类子单元，连接所述构建子单元，用于根据预设的聚类点数目范围并在预设的搜索半径范围内按照搜索半径从小到大的顺序依次对所述Kd树进行近邻搜索聚类得到各所述搜索半径关联的多个聚类簇；

识别子单元，连接所述聚类子单元，用于将各所述搜索半径及其关联的各所述聚类簇的数量按照所述搜索半径从小到大的顺序依次排列形成序列，并将所述序列输入预先训练得到的识别模型，以得到各所述聚类簇所属的特征类群；

剔除子单元，连接所述识别子单元，用于根据识别得到所述特征类群和各节点的所述点云索引于所述三维点云中剔除不属于所述待优化规则物体的所述特种类群对应的各所述聚类簇包含的各三维点。

优选的，所述预设聚类点数目范围为100至25000。

优选的，所述重建单元采用点云贪心三角化算法对所述第一优化点云进行重建得到所述待优化规则物体的所述三角网格模型。

优选的，所述第二优化模块包括：

共面点过滤单元，用于删除所述三角网格模型中的各共面点；

平滑单元，连接所述共面点过滤单元，用于对删除各所述共面点后的所述三角网格模型中保留的非棱边点进行双线性插值处理，以得到所述第二优化点云；

拓扑关系生成单元，连接所述平滑单元，用于处理得到所述第二优化点云中的各三维点之间的拓扑关系。

优选的，所述共面点过滤单元包括：

第一处理子单元，用于针对所述三角网格模型中的各三角网格的每个顶点，分别进行邻域搜索得到预设邻域范围内的其他顶点作为邻域点，随后分别计算所述顶点与各所述邻域点之间形成的各直线之间的线线角；

判断子单元，连接所述第一处理子单元，用于在所述顶点对应的任意一个所述线线角不在第一预设范围内时将所述顶点作为所述共面点并删除，以及在所述顶点对应的各所述线线角均在所述第一预设范围内时生成判断信号；

第二处理子单元，连接所述判断子单元，用于根据所述判断信号对所述顶点关联的各所述邻域点进行邻域搜索得到继邻域点，随后分别计算各所述邻域点与对应的所述继邻域点之间形成的各直线之间的线线角；

第三处理子单元，分别连接所述第一处理子单元和所述第二处理子单元，用于计算所述顶点关联的所有所述邻域点和所有所述继邻域点对应的各所述线线角的方差，并在所述方差在第二预设范围内时将所述顶点作为所述共面点并删除。

优选的，所述平滑单元包括：

第一标记子单元，用于将关联的所述线线角在第三预设范围内的各所述顶点标记为所述非棱边点；

插值处理子单元，连接所述第一标记子单元，用于对各所述非棱边点关联的各所述线线角进行栅格收敛得到多个收敛值，随后根据各所述收敛值对各所述非棱边点进行双线性插值处理，以得到所述第二优化点云。

优选的，所述拓扑关系生成单元包括：

第二标记子单元，用于将关联的所述线线角在第四预设范围内的各所述顶点标记为棱边点；

投影子单元，用于将所述第二优化点云中的各三维点通过法线投影到同一二维平面内形成投影点云；

回归处理子单元，分别连接所述第二标记子单元和所述投影子单元，用于将所述投影点云中对应于各所述棱边点且属于同一所述聚类簇的各投影点进行线性回归纠正，以将各所述棱边点形成的棱边拉直，得到纠正后点云；

拓扑连接子单元，连接所述回归处理子单元，用于将所述纠正后点云在所述二维平面内进行三角化，得到所述第二优化点云中各三维点的所述拓扑关系。

本发明还提供一种大城市场景下规则物体点云优化方法，应用于上述的大城市场景下规则物体点云优化系统，所述大城市场景下规则物体点云优化方法包括：

步骤S1，获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各所述倾斜摄影图像处理得到相应的三维点云；

步骤S2，由所述三维点云中筛选出表征所述待优化规则物体的各三维点得到第一优化点云，并根据所述第一优化点云重建得到所述待优化规则物体的三角网格模型；

步骤S3，对所述三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到所述第二优化点云中的各三维点之间的拓扑关系；

步骤S4，根据所述拓扑关系重建得到所述待优化规则物体的白膜网格，并根据各所述倾斜摄影图像获取所述待优化规则物体的烘焙贴图，并根据所述烘焙贴图对所述白膜网格进行烘焙得到所述待优化规则物体的三维网格模型，作为所述待优化规则物体的点云优化结果。

上述技术方案具有如下优点或有益效果：通过对基于倾斜摄影技术重建得到的三维点云进行聚类后识别出待优化规则物体之外的干扰离群点并剔除，随后对剔除干扰离群点的点云依次进行下采样和滤波，实现减少点云数据容量、提高处理速度的同时去除点云中的噪声以及剔除后残留离群点，进而通过两次点云贪心三角化，实现共面点过滤以及曲面平滑，进一步减少点云数据量，有效提升点云优化得到的三维网格模型的模型精度。

附图说明

图1为本发明的较佳的实施例中，一种大城市场景下规则物体点云优化系统的结构示意图；

图2为本发明的较佳的实施例中，一种大城市场景下规则物体点云优化方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种大城市场景下规则物体点云优化系统，如图1所示，包括：

图像处理模块1，用于获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各倾斜摄影图像处理得到相应的三维点云；

第一优化模块2，连接图像处理模块1，用于由三维点云中筛选出表征待优化规则物体的各三维点得到第一优化点云，并根据第一优化点云重建得到待优化规则物体的三角网格模型；

第二优化模块3，连接第一优化模块2，用于对三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到第二优化点云中的各三维点之间的拓扑关系；

烘焙处理模块4，分别连接图像处理模块1和第二优化模块3，用于根据拓扑关系重建得到待优化规则物体的白膜网格，并根据各倾斜摄影图像获取待优化规则物体的烘焙贴图，并根据烘焙贴图对白膜网格进行烘焙得到待优化规则物体的三维网格模型，作为待优化规则物体的点云优化结果。

具体地，本实施例中，上述大城市场景下的待优化规则物体优选为带有硬边的物体，即非曲面物体，包括但不限于建筑物。上述倾斜摄影图像优选采用安装有不同视角的高分辨率面阵数码相机的无人机拍摄得到，该高分辨率面阵数码相机优选包括下视相机、前视相机、后视相机、左视相机和右视相机，进而基于各视角相机分别拍摄得到的多张倾斜摄影图像进行三维点云重建得到相应的三维点云。以待优化规则物体为建筑物为例，可以理解的是，在大城市场景下，各倾斜摄影图像上除包含待优化规则物体外，会有极大可能同时包含其他城市组成要素，包括但不限于树木、广告牌、路灯等，因此，若基于重建得到的三维点云直接生成三维网络模型，会严重影响三维网格模型的精度。

为解决上述技术问题，首先通过第一优化模块2对三维点云进行一次优化，以剔除待优化规则物体之外的干扰离群点，即剔除包括但不限于表征树木、广告牌、路灯等三维点。基于此，第一优化模块2包括：

剔除单元21，用于对三维点云进行聚类得到多个聚类簇，并处理得到各聚类簇所属的特征类群，随后于三维点云中剔除不属于待优化规则物体的特征类群对应的各聚类簇包含的各三维点；

下采样单元22，连接剔除单元21，用于针对保留的每个聚类簇，分别构建聚类簇中的各三维点与预设的参考点之间的向量，并计算两两三维点关联的向量之间的距离，并提取距离小于预设值对应的各三维点作为冗余点，随后采用各冗余点的重心点代替各冗余点，以对聚类簇进行下采样；

滤波单元23，连接下采样单元22，用于针对下采样后的每个聚类簇，统计聚类簇包含的各三维点的总数量以及各三维点的外接球的半径，并在总数量小于预设数量且半径小于预设半径时，删除聚类簇，得到第一优化点云；

重建单元24，连接滤波单元23，用于根据第一优化点云重建得到待优化规则物体的三角网格模型。

具体地，若要剔除待优化规则物体之外的干扰离群点，首先需要识别出干扰离群点，本实施例中，通过剔除单元21进行点云聚类，并基于聚类得到的各聚类簇的特征类群识别出不属于待优化规则物体的各聚类簇，即是干扰离群点。进一步具体地，剔除单元21包括：

构建子单元211，用于根据三维点云构建Kd树，并为Kd树中的各节点配置相应的点云索引；

聚类子单元212，连接构建子单元211，用于根据预设的聚类点数目范围并在预设的搜索半径范围内按照搜索半径从小到大的顺序依次对Kd树进行近邻搜索聚类得到各搜索半径关联的多个聚类簇；

识别子单元213，连接聚类子单元212，用于将各搜索半径及其关联的各聚类簇的数量按照搜索半径从小到大的顺序依次排列形成序列，并将序列输入预先训练得到的识别模型，以得到各聚类簇所属的特征类群；

剔除子单元214，连接识别子单元213，用于根据识别得到特征类群和各节点的点云索引于三维点云中剔除不属于待优化规则物体的特种类群对应的各聚类簇包含的各三维点。

具体的，本实施例中，点云采样于物体表面,物体表面的法线即为点云法线，因此优选通过最小二乘法计算三维点云的法线方向，以初步确认三维点云中对象包含的物体表面，进而将三维点云中的各三维点保存成(X,Y,Z,R,G,B)的结构形式，从三维点云的最边缘处开始遍历，进而构建得到结构化的Kd树。其中，上述(X,Y,Z)用于表示三维点的空间坐标，上述(R,G,B)用于表示该三维点的图像颜色信息。

构建得到的Kd树的每个节点分别对应三维点云中的各个三维点，优选为Kd树中的各节点配置相应的点云索引以表征各节点的位置信息，举例来说，可以将总根节点的点云索引配置为(0)，该总根节点连接的两个子根节点的点云索引可以分别配置为(0,0)和(0,1)，子根节点(0,0)连接的两个节点的点云索引可以分别配置为(0,0,0)和(0,0,1)，子根节点(0,1)连接的两个节点的点云索引可以分别配置为(0,1,0)和(0,1,1)，依次类推，但并不以此对本技术方案进行限定。

进一步地，基于构建得到的Kd树，可以采用近邻搜索聚类的方式进行点云聚类。具体地，可以对应预设搜索半径范围和聚类点数目范围进行聚类，本实施例中，通过聚类点数目范围限制一个聚类最少需要的点数目和最多需要的点数目。上述预设聚类点数目范围优选为100至25000，换言之，一个聚类需要的最少点数目为100，需要的最大点数目为25000。

在近邻搜索聚类时，优选可以首先选择搜索半径范围中的下限值作为初始搜索半径开始进行一次近邻搜索聚类，得到相应的各初始聚类簇，各初始聚类簇包含的各三维点可以采用点云索引向量cil(0)表示，该点云索引向量cil(0)中包含每个初始聚类簇中各三维点的所有点云索引。随后扩大初始搜索半径得到第一搜索半径，进而根据第一搜索半径进行一次近邻搜索聚类，得到相应的各第一聚类簇，各第一聚类簇包含的各三维点可以采用点云索引向量cil(1)表示，该点云索引向量cil(1)中包含每个第一聚类簇中各三维点的所有点云索引。随后扩大第一搜索半径得到第二搜索半径，进而根据第二搜索半径进行一次近邻搜索聚类，得到相应的各第二聚类簇，各第二聚类簇包含的各三维点可以采用点云索引向量cil(2)表示，该点云索引向量cil(2)中包含每个第二聚类簇中各三维点的所有点云索引。以此类推，直至达到预设搜索半径范围的上限值。可以理解的是，上述搜索半径越小，则实际对象就会被分割为多个聚类簇，若搜索半径过大，则会出现多个对象被分割为一个聚类，优选的，针对Kd树的每个节点，优选选择与该节点对应的三维点所属同一物体表面的三维点的最远距离作为上述预设搜索半径范围的上限值。

在经过多次近邻搜索聚类后，可以先后得到初始搜索半径及其关联的各初始聚类簇、第一搜索半径及其关联的各第一聚类簇、第二搜索半径及其关联的各第二聚类簇，以此类推。考虑到作为干扰离群点的包括但不限于树、输电线、铁塔、广告牌、路灯等的形状和建筑物的形状可知，针对建筑物，随着搜索半径的逐渐扩大，对应的聚类簇的数量变化呈阶梯状变化，针对树，其包含树冠和树干，搜索半径较小时其圈定范围内的各三维点均表征树冠，由于树冠的面积相对较大，随着搜索半径的逐渐扩大，对应的聚类簇的数量初始阶段始终为一个，直至搜索半径覆盖树干，则此时聚类簇的数量突变为两个，随着搜索半径进一步扩大，在搜索半径覆盖树干的阶段，聚类簇的数量始终为两个，直至搜索半径的更进一步扩大，此时搜索半径会覆盖至地面。以树为例，为实现能够剔除树，则需要识别出哪些聚类簇表征树。由上述分析可知，可以根据聚类簇的数量随搜索半径的变化趋势识别出各聚类簇所属的特征类群，即各聚类簇形成的是建筑还是树、输电线、铁塔、广告牌、路灯等。具体可以基于预先训练得到的以搜索半径及其关联的聚类簇的数量形成的序列为输入，以聚类簇所属的特征类群为输出的识别模型识别出各聚类簇所属的特征类群。

在识别出各聚类簇所属的特征类群，即可于三维点云中剔除不属于待优化规则物体的特征类群对应的各聚类簇包含的各三维点，实现初步剔除干扰离群点。

考虑到上述干扰离群点剔除后，可能存在距离过近的点，为减少点云数据容量，提高处理速度，优选通过下采样将距离过近的点采用其重心点代替，以减去冗余点。另外，考虑到上述干扰离群点剔除后，可能仍存在杂点或噪声，以树为例，可能会存在部分树叶未剔除干净，优选通过滤波将包含的三维点的总数量较少且所在总体积较小的聚类簇作为离散点剔除，完成三维点云的一次优化。

进而可以基于优化后得到的第一优化点云重建待优化规则物体的三角网格模型，优选的，重建单元24采用点云贪心三角化算法对第一优化点云进行重建得到待优化规则物体的三角网格模型。

具体地，可以先将第一优化点云通过法线投影到某一二维坐标平面内，然后对投影得到的点云做平面内的三角化，从而得到各点的拓扑连接关系，其中，平面三角化的过程中用到了基于Delaunay三角剖分的空间区域增长算法，最后根据平面内投影点的拓扑连接关系确定各原始三维点间的拓扑连接，所得三角网格即为重建得到的三角网格模型。可以理解的是，由于上述为各三维点配置了点云索引，因此，这里的拓扑连接关系优选可以采用点云索引进行表示，同时由于投影点通过投影生成，与原始三维点存在一定的映射关系，因此，投影点之间的拓扑连接关系可以认为等同于各三维点的拓扑连接关系。

在重建得到三角网格模型后，可以通过第二优化模块对三角网格模型进行进一步数据量的优化，具体地，第二优化模块3包括：

共面点过滤单元31，用于删除三角网格模型中的各共面点；

平滑单元32，连接共面点过滤单元31，用于对删除各共面点后的三角网格模型中保留的非棱边点进行双线性插值处理，以得到第二优化点云；

拓扑关系生成单元33，连接平滑单元32，用于处理得到第二优化点云中的各三维点之间的拓扑关系。

具体地，本实施例中，构建得到的三角网格模型中，可能存在一个面上存在不明显的弯折，则可以认为该弯折不必要存在，即该区域各点可以认为共面。基于此，需要进行共面点过滤，具体地，共面点过滤单元31包括：

第一处理子单元311，用于针对三角网格模型中的各三角网格的每个顶点，分别进行邻域搜索得到预设邻域范围内的其他顶点作为邻域点，随后分别计算顶点与各邻域点之间形成的各直线之间的线线角；

判断子单元312，连接第一处理子单元311，用于在顶点对应的任意一个线线角不在第一预设范围内时将顶点作为共面点并删除，以及在顶点对应的各线线角均在第一预设范围内时生成判断信号；

第二处理子单元313，连接判断子单元312，用于根据判断信号对顶点关联的各邻域点进行邻域搜索得到继邻域点，随后分别计算各邻域点与对应的继邻域点之间形成的各直线之间的线线角；

第三处理子单元314，分别连接第一处理子单元311和第二处理子单元313，用于计算顶点关联的所有邻域点和所有继邻域点对应的各线线角的方差，并在方差在第二预设范围内时将顶点作为共面点并删除。

具体地，本实施例中，上述第一预设范围优选为[π-1/18,π+1/18]，即线线角趋近于180度，上述第二预设范围为[0，5]。首先基于顶点与各邻域点之间形成的直线之间的线线角判断其是否可能时共面点，在所有线线角均在上述第一预设范围时，可能会存在确实时连续多个面依次弯折的情况，此时仅通过线线角无法规避该种情况，本实施例中，进一步基于继邻域点以及邻域点对应的所有线线角的方差进行进一步判定，若方差下第二预设范围内，则认为其仍属于一个面上存在不明显的弯折的情况，而非连续多个面依次弯折的情况，可以将该点作为共面点删除。

在进行共面点删除后，过滤掉了低角度的点，则三角网格模型中仍保留有极值点和中间点，其中，极值点可以理解为棱边点，中间点可以理解为非棱边点，针对中间点，通过双线性插值方式进行平滑处理，本发明的较佳的实施例中，平滑单元32包括：

第一标记子单元321，用于将关联的线线角在第三预设范围内的各顶点标记为非棱边点；

插值处理子单元322，连接第一标记子单元321，用于对各非棱边点关联的各线线角进行栅格收敛得到多个收敛值，随后根据各收敛值对各非棱边点进行双线性插值处理，以得到第二优化点云。

具体地，本实施例中，上述第三预设范围优选为[10°，60°]。上述栅格收敛为将线线角划归为N度的倍数值，如各线线角分别为10、20、25，将其收敛为6度的倍数值为例，则针对10，其栅格收敛后得到的收敛值为12，针对20，其栅格收敛后得到的收敛值为18，针对25,其栅格收敛后得到得收敛值为24，随后将各收敛值采用双线性插值插入到原有的10、20和25中，上述各收敛值同样表示了对应的三维点，但其为新增的点，需要将新增的点加入到删除共面点后的三角网格模型中，进而需要通过拓扑关系生成单元33重建新增点与保留点之间的拓扑关系。本发明的较佳的实施例中，拓扑关系生成单元33包括：

第二标记子单元331，用于将关联的线线角在第四预设范围内的各顶点标记为棱边点；

投影子单元332，用于将第二优化点云中的各三维点通过法线投影到同一二维平面内形成投影点云；

回归处理子单元333，分别连接第二标记子单元331和投影子单元332，用于将投影点云中对应于各棱边点且属于同一聚类簇的各投影点进行线性回归纠正，以将各棱边点形成的棱边拉直，得到纠正后点云；

拓扑连接子单元334，连接回归处理子单元333，用于将纠正后点云在二维平面内进行三角化，得到第二优化点云中各三维点的拓扑关系。

具体地，本实施例中，上述第四预设范围为[60°，90°]，适用于待优化规则物体为建筑物的场景，同样采用点云贪心三角化算法进行拓扑关系生成。考虑到在三维空间点进行各棱边点的回归纠正处理方式较为复杂，在将各三维点投影到二维平面后，还需要对各棱边点进行回归纠正，以简化棱边拉直操作，进而将纠正后点云进行三角化，即可得到各三维点的拓扑关系。同样地，该拓扑关系可以采用点云索引表征。

在获取上述拓扑关系后，即可基于该拓扑关系采用烘焙纹理贴图方式进行三角网格模型的重建。具体地，首先可以基于上述拓扑关系重建白膜网格，随后可以使用三角形的barycentric coordinate system(重心坐标系统)求出白膜网格中三角形任意一点的位置信息。进一步具体地，一个三角形存在如下关系式：

r＝λ0*r0+λ1*r1+λ2*r2

r＝λ0*r0+λ1*r1+λ2*r2

其中：λ0+λ1+λ2＝1；λ0+λ1+λ2＝1；0≤λ0≤1；0≤λ0≤1；0≤λ1≤1；0≤λ1≤1；0≤λ2≤1；0≤λ2≤1。

上述r为三角形上一点的信息，r0,r1,r2分别为三角形三个顶点的信息。基于此，可以把r替换为position和uv，能够得到如下的对应关系：

p＝λ0*p0+λ1*p1+λ2*p2p＝λ0*p0+λ1*p1+λ2*p2uv＝λ0*uv0+λ1*uv1+λ2*uv2uv＝λ0*uv0+λ1*uv1+λ2*uv2

根据上面的两个公式，只要知道了三个定点的位置信息和uv信息，在根据三角形中任意一点的位置uv信息，就能够得到该uv所对应点的位置信息。能够根据光照贴图中像素的uv坐标，来得到对应的LightPatch所在的三角形，以及三角形中该点的位置。进而能够实现将烘焙贴图对应映射至白膜网格中得到待优化规则物体的三维网格模型，作为待优化规则物体的点云优化结果。

进一步地，由于贴图通常都十分巨大，而且每一个都是母材质，本实施例中，优选还包括对贴图进行2的幂次化，简而言之就是要把贴图的像素变成多个二的幂次方的叠加，该像素可以进行有效的LOD，从而减少显存和内存的荷载。

本发明还提供一种大城市场景下规则物体点云优化方法，应用于上述的大城市场景下规则物体点云优化系统，如图2所示，大城市场景下规则物体点云优化方法包括：

步骤S1，获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各倾斜摄影图像处理得到相应的三维点云；

步骤S2，由三维点云中筛选出表征待优化规则物体的各三维点得到第一优化点云，并根据第一优化点云重建得到待优化规则物体的三角网格模型；

步骤S3，对三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到第二优化点云中的各三维点之间的拓扑关系；

步骤S4，根据拓扑关系重建得到待优化规则物体的白膜网格，并根据各倾斜摄影图像获取待优化规则物体的烘焙贴图，并根据烘焙贴图对白膜网格进行烘焙得到待优化规则物体的三维网格模型，作为待优化规则物体的点云优化结果。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种大城市场景下规则物体点云优化系统，其特征在于，包括：

图像处理模块，用于获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各所述倾斜摄影图像处理得到相应的三维点云；

第一优化模块，连接所述图像处理模块，用于由所述三维点云中筛选出表征所述待优化规则物体的各三维点得到第一优化点云，并根据所述第一优化点云重建得到所述待优化规则物体的三角网格模型；

第二优化模块，连接所述第一优化模块，用于对所述三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到所述第二优化点云中的各三维点之间的拓扑关系；

烘焙处理模块，分别连接所述图像处理模块和所述第二优化模块，用于根据所述拓扑关系重建得到所述待优化规则物体的白膜网格，并根据各所述倾斜摄影图像获取所述待优化规则物体的烘焙贴图，并根据所述烘焙贴图对所述白膜网格进行烘焙得到所述待优化规则物体的三维网格模型，作为所述待优化规则物体的点云优化结果。

2.根据权利要求1所述的大城市场景下规则物体点云优化系统，其特征在于，所述第一优化模块包括：

剔除单元，用于对所述三维点云进行聚类得到多个聚类簇，并处理得到各聚类簇所属的特征类群，随后于所述三维点云中剔除不属于所述待优化规则物体的所述特征类群对应的各所述聚类簇包含的各三维点；

下采样单元，连接所述剔除单元，用于针对保留的每个所述聚类簇，分别构建所述聚类簇中的各三维点与预设的参考点之间的向量，并计算两两所述三维点关联的所述向量之间的距离，并提取所述距离小于预设值对应的各所述三维点作为冗余点，随后采用各所述冗余点的重心点代替各所述冗余点，以对所述聚类簇进行下采样；

滤波单元，连接所述下采样单元，用于针对下采样后的每个所述聚类簇，统计所述聚类簇包含的各所述三维点的总数量以及各所述三维点的外接球的半径，并在所述总数量小于预设数量且所述半径小于预设半径时，删除所述聚类簇，得到所述第一优化点云；

重建单元，连接所述滤波单元，用于根据所述第一优化点云重建得到所述待优化规则物体的所述三角网格模型。

3.根据权利要求2所述的大城市场景下规则物体点云优化系统，其特征在于，所述剔除单元包括：

构建子单元，用于根据所述三维点云构建Kd树，并为所述Kd树中的各节点配置相应的点云索引；

聚类子单元，连接所述构建子单元，用于根据预设的聚类点数目范围并在预设的搜索半径范围内按照搜索半径从小到大的顺序依次对所述Kd树进行近邻搜索聚类得到各所述搜索半径关联的多个聚类簇；

识别子单元，连接所述聚类子单元，用于将各所述搜索半径及其关联的各所述聚类簇的数量按照所述搜索半径从小到大的顺序依次排列形成序列，并将所述序列输入预先训练得到的识别模型，以得到各所述聚类簇所属的特征类群；

剔除子单元，连接所述识别子单元，用于根据识别得到所述特征类群和各节点的所述点云索引于所述三维点云中剔除不属于所述待优化规则物体的所述特征类群对应的各所述聚类簇包含的各三维点。

4.根据权利要求3所述的大城市场景下规则物体点云优化系统，其特征在于，所述预设聚类点数目范围为100至25000。

5.根据权利要求2所述的大城市场景下规则物体点云优化系统，其特征在于，所述重建单元采用点云贪心三角化算法对所述第一优化点云进行重建得到所述待优化规则物体的所述三角网格模型。

6.根据权利要求2所述的大城市场景下规则物体点云优化系统，其特征在于，所述第二优化模块包括：

共面点过滤单元，用于删除所述三角网格模型中的各共面点；

平滑单元，连接所述共面点过滤单元，用于对删除各所述共面点后的所述三角网格模型中保留的非棱边点进行双线性插值处理，以得到所述第二优化点云；

拓扑关系生成单元，连接所述平滑单元，用于处理得到所述第二优化点云中的各三维点之间的拓扑关系。

7.根据权利要求6所述的大城市场景下规则物体点云优化系统，其特征在于，所述共面点过滤单元包括：

第一处理子单元，用于针对所述三角网格模型中的各三角网格的每个顶点，分别进行邻域搜索得到预设邻域范围内的其他顶点作为邻域点，随后分别计算所述顶点与各所述邻域点之间形成的各直线之间的线线角；

判断子单元，连接所述第一处理子单元，用于在所述顶点对应的任意一个所述线线角不在第一预设范围内时将所述顶点作为所述共面点并删除，以及在所述顶点对应的各所述线线角均在所述第一预设范围内时生成判断信号；

第二处理子单元，连接所述判断子单元，用于根据所述判断信号对所述顶点关联的各所述邻域点进行邻域搜索得到继邻域点，随后分别计算各所述邻域点与对应的所述继邻域点之间形成的各直线之间的线线角；

第三处理子单元，分别连接所述第一处理子单元和所述第二处理子单元，用于计算所述顶点关联的所有所述邻域点和所有所述继邻域点对应的各所述线线角的方差，并在所述方差在第二预设范围内时将所述顶点作为所述共面点并删除。

8.根据权利要求7所述的大城市场景下规则物体点云优化系统，其特征在于，所述平滑单元包括：

第一标记子单元，用于将关联的所述线线角在第三预设范围内的各所述顶点标记为所述非棱边点；

插值处理子单元，连接所述第一标记子单元，用于对各所述非棱边点关联的各所述线线角进行栅格收敛得到多个收敛值，随后根据各所述收敛值对各所述非棱边点进行双线性插值处理，以得到所述第二优化点云。

9.根据权利要求7所述的大城市场景下规则物体点云优化系统，其特征在于，所述拓扑关系生成单元包括：

第二标记子单元，用于将关联的所述线线角在第四预设范围内的各所述顶点标记为棱边点；

投影子单元，用于将所述第二优化点云中的各三维点通过法线投影到同一二维平面内形成投影点云；

回归处理子单元，分别连接所述第二标记子单元和所述投影子单元，用于将所述投影点云中对应于各所述棱边点且属于同一所述聚类簇的各投影点进行线性回归纠正，以将各所述棱边点形成的棱边拉直，得到纠正后点云；

拓扑连接子单元，连接所述回归处理子单元，用于将所述纠正后点云在所述二维平面内进行三角化，得到所述第二优化点云中各三维点的所述拓扑关系。

10.一种大城市场景下规则物体点云优化方法，其特征在于，应用于如权利要求1-9中任意一项所述的大城市场景下规则物体点云优化系统，所述大城市场景下规则物体点云优化方法包括：

步骤S1，获取大城市场景下的包含待优化规则物体的多张倾斜摄影图像，并根据各所述倾斜摄影图像处理得到相应的三维点云；

步骤S2，由所述三维点云中筛选出表征所述待优化规则物体的各三维点得到第一优化点云，并根据所述第一优化点云重建得到所述待优化规则物体的三角网格模型；

步骤S3，对所述三角网格模型中的三维点进行平滑处理得到第二优化点云，并处理得到所述第二优化点云中的各三维点之间的拓扑关系；

步骤S4，根据所述拓扑关系重建得到所述待优化规则物体的白膜网格，并根据各所述倾斜摄影图像获取所述待优化规则物体的烘焙贴图，并根据所述烘焙贴图对所述白膜网格进行烘焙得到所述待优化规则物体的三维网格模型，作为所述待优化规则物体的点云优化结果。

Images