CN115731355A - 一种基于SuperPoint-NeRF的三维建筑物重建方法 - Google Patents
一种基于SuperPoint-NeRF的三维建筑物重建方法 Download PDFInfo
- Publication number
- CN115731355A CN115731355A CN202211513937.XA CN202211513937A CN115731355A CN 115731355 A CN115731355 A CN 115731355A CN 202211513937 A CN202211513937 A CN 202211513937A CN 115731355 A CN115731355 A CN 115731355A
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- hyper
- building
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001537 neural effect Effects 0.000 claims abstract description 25
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 239000000463 material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属于建筑物重构技术领域,具体涉及一种基于SuperPoint‑NeRF的三维建筑物重建方法,该方法包括以下步骤:步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;步骤3,利用离散点的局部特征对建筑物进行超体素分割;步骤4,基于多模态邻域特征构建超体素连通图;步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建。本发明结合三维超体素点云的局部特征与连通性关系,通过分层级的MLP回归神经渲染场来表示建筑物表面密度和射线,从而实现快速高精的三维建筑物重建,不仅能够极大的提高传统NeRF在三维重建领域的效率,同时由于局部邻域特征的加入也显著提升了其重建精度。
Description
技术领域
本发明属于建筑物重构技术领域,具体涉及一种基于SuperPoint-NeRF的三维建筑物重建方法。
背景技术
建筑物作为智慧城市、防灾救灾、人口管理、城区规划等多领域的一个重要研究对象,其高精度三维重建一直是工业界和学术界研究的重点。随着激光雷达和图像领域技术的蓬勃发展,越来越多的新兴技术被用于三维建筑物的重建工作上。然而,传统的基于激光点云和图像的三维建筑物重建不仅需要较大的人力物力,重建周期长,时效性较低,且其重建精度也往往难以满足当前应用。
神经渲染场(Neural Radiance Fields,NeRF)作为近两年来新兴的一种技术,它通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了综合复杂场景视图的最好结果,无空洞、细节还原,且由于研究人数较多,发展也尤为迅速,在三维重建领域迅速成为火热的话题。然而,传统的NeRF由于其训练和渲染都很慢,且对于硬件基础要求较高,往往难以进行城市级的三维重建工作。
发明内容
鉴于上述问题,本发明提供了一种克服上述问题或者至少部分地解决上述问题的一种基于SuperPoint-NeRF的三维建筑物重建方法,达到城市级高效率高精度的三维建筑物重建。
具体地,本发明提供了一种基于SuperPoint-NeRF的三维建筑物重建方法,包括如下步骤:
步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;
步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;
步骤3,利用离散点的局部特征对建筑物进行超体素分割;
步骤4,基于多模态邻域特征构建超体素连通图;
步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建。
可选地,所述步骤1包括:
步骤1.1,基于搭载INS惯导设备和摄像头的无人机,采集获取城区建筑物的图像数据;
步骤1.2,基于时间戳和INS数据,对图像数据进行连续帧的拼接;
步骤1.3,基于MVS技术将采集的图像数据进行三角化,生成带有RGB信息的三维点云数据。
可选地,所述步骤2包括:
步骤2.1,将步骤1获取到的城区建筑物三维点云数据,构建成kd-tree结构;
步骤2.2,基于kd-tree结构获取各查询点周围的多尺度点云数据;
步骤2.3,利用FPFH融合多尺度局部点云,计算各查询点的局部特征。
可选地,所述步骤3包括:
步骤3.1,将步骤2的局部特征作为基础,构建特征搜索树;
步骤3.2,随机在三维点云数据中选取聚类初始点p;
步骤3.3,在特征搜索树中寻找点p的邻域特征点集M;
步骤3.4,当点集M中的点q与p在空间上也存在邻域关系,则将q和p聚为一类;
步骤3.5,若q和p在空间上不存在邻域关系时,则将其作为下一个聚类点的初始点;
步骤3.6,当以p为聚类初始点的聚类点均聚类完成之后,融合该聚类体内的所有特征,重新更新p的特征空间信息,并将其作为超体素的表达;
步骤3.7,重复步骤3.2-步骤3.6的过程,直至三维点云中每个点均归属到某一类,获取超体素聚类集M={M0,M1,…,Mn}。
可选地,所述步骤4包括:
步骤4.1,基于步骤3中获取的超体素聚类集M,计算超体素之间的特征相似度、空间邻近性、局部凸性;
步骤4.2,计算超体素间的归一化距离D(a,b);
步骤4.3,当D(a,b)小于设定阈值thr时,则认为超体素之间是连通的;
步骤4.4,重复判断超体素之间是否连通,从而构建成超体素连通图G(V,L),其中V表示图节点,即超体素点,L表示连通边集合L={Lab,Lbc,…},且每个边Lab包含了是否连接及连接的归一化距离信息。
可选地,所述步骤4.1中,计算超体素之间的特征相似度、空间邻近性、局部凸性分别采用公式1、公式2、公式3实现:
DFPFn(a,b)=1/L(Ha,Hb) 公式1
其中,xa、ya、za、xb、yb、zb分别表示超体素a、b的空间位置坐标;L(Ha,Hb)称为交集函数,用于表示超体素a,b之间FPFH之间的重叠程度,当重叠程度越大时,表示超体素之间的像素度越高,用公式4来进行描述;
而分别为超体素a,b的法向量,vnsim,vnsimF,vconv,vconvF均为人工设置的常数,vnsim表示法线相似阈值,vnsimF表示vnsim处的切线斜率,vconv为设置的凸度阈值,vconvF则表示vconv处的切线斜率,且sigm函数用公式5表示:
其中,x分别对应公式3中函数对超体素a、b的法向量运算结果;θ为根据法线相似阈值vnsim、凸度阈值vconv采用余弦函数得到的阈值结果;m表示为法线相似阈值vnsim、凸度阈值vconv处的切线斜率。
可选地,所述步骤4.2中,归一化距离D(a,b)用公式6表示:
其中,we、wi和wp分别表示对应项在归一化距离计算中的影响因子。
可选地,所述步骤5包括:
步骤5.1,将步骤4构建的连通图中的节点V视为一个神经点云;
步骤5.2,对所有神经点利用多层级MLP构建神经渲染场,完成三维建筑物的重建。
可选地,所述步骤5.2包括:
步骤5.2.1,以每个神经点p作为相机射线入射方向,通过沿着该射线方向上采样5D坐标,获取该采样点序列P;
步骤5.2.2,同时基于步骤4获取的连通图的边集L={Lab,Lbc,…},获取步骤5.2.1中得到的采样点序列P的每个连通点序列Q;
步骤5.2.3,将采样点P及其连通点Q分别加入MLP进行训练,并将其训练的结果再通过一层MLP进行特征融合,从而产生颜色和体积密度;
步骤5.2.4,使用体积渲染技术将产生的颜色和体积密度合成图像,并通过最小化合成图像和真实观测图像之间的残差来优化该城区三维建筑物模型。
本发明的有益效果在于:
1、本发明利用神经渲染场(NeRF)来重建城区三维建筑物,相对于传统利用点云和图像进行人工手动建模的方式,极大地提升了三维建筑物重建效率,促进了三维建筑物模型在城市规划,智慧城市,人口迁移等领域的研究。
2、基于SuperPoint-NeRF的三维建筑物重建方法,相比较常规NeRF,结合了超体素局部邻域特征和NeRF高精重建特征,多层级MLP充分考虑了建筑物邻域的相互影响,提高了三维建筑物的重建精度。同时,稀疏的超体素点云相较原始的三维点云,数据量极大地减少。在保证点云特征不缺失的情况下,减少了数据的输入,提高了NeRF的训练和重建效率,实现了其在城市级建筑物重建中的应用。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是本发明基于SuperPoint-NeRF的三维建筑物重建方法的流程图;
图2是本发明多尺度FPFH结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面根据附图1-2描述本发明实施例的基于SuperPoint-NeRF的三维建筑物重建方法。
如图1所示,本发明的一个实施例提供一种基于SuperPoint-NeRF的三维建筑物重建方法,包括如下步骤:
步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;
步骤1.1,基于搭载INS惯导设备和摄像头的无人机,采集获取城区建筑物的图像数据;
步骤1.2,基于时间戳和INS数据,对图像数据进行连续帧的拼接;
步骤1.3,基于OpenMVS技术将采集的图像数据进行三角化,生成带有RGB信息的三维点云数据;
步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;
步骤2.1,将步骤1获取到的城区建筑物三维点云数据,构建成kd-tree结构;
步骤2.2,基于kd-tree结构获取各查询点周围的多尺度点云数据;
步骤2.3,利用快速点特征直方图(Fast Point Feature Histograms,FPFH)融合多尺度局部点云,计算各查询点的局部特征,其多尺度FPFH结构如图2所示;
步骤3,利用离散点的局部特征对建筑物进行超体素分割;
步骤3.1,将步骤2的局部特征作为基础,构建特征搜索树;
步骤3.2,随机在三维点云数据中选取聚类初始点p;
步骤3.3,在特征搜索树中寻找点p的邻域特征点集M;
步骤3.4,当点集M中的点q与p在空间上也存在邻域关系,则将q和p聚为一类;
步骤3.5,若q和p在空间上不存在邻域关系时,则将其作为下一个聚类点的初始点;
步骤3.6,当以p为聚类初始点的聚类点均聚类完成之后,融合该聚类体内的所有特征,重新更新p的特征空间信息,并将其作为超体素的表达;
步骤3.7,重复步骤3.2-步骤3.6的过程,直至三维点云中每个点均归属到某一类,获取超体素聚类集M={M0,M1,…,Mn};
步骤4,基于多模态邻域特征构建超体素连通图;
步骤4.1,基于步骤3中获取的超体素聚类集M,计算超体素之间的特征相似度、空间邻近性、局部凸性;
步骤4.2,计算超体素间的归一化距离D(a,b);
步骤4.3,当D(a,b)小于设定阈值thr时,则认为超体素之间是连通的;
步骤4.4,重复判断超体素之间是否连通,从而构建成超体素连通图G(V,L),其中V表示图节点,即超体素点,L表示连通边集合L={Lab,Lbc,…},且每个边Lab包含了是否连接及连接的归一化距离信息;
步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建;
步骤5.1,将步骤4构建的连通图中的节点V视为一个神经点云;
步骤5.2,对所有神经点利用多层级MLP(Multi-Layer Perception)构建神经渲染场,完成三维建筑物的重建。
本发明的另一个实施例提供一种基于SuperPoint-NeRF的三维建筑物重建方法,包括如下步骤:
步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;
步骤1.1,基于搭载INS惯导设备和摄像头的无人机,采集获取城区建筑物的图像数据;
步骤1.2,基于时间戳和INS数据,对图像数据进行连续帧的拼接;
步骤1.3,基于OpenMVS技术将采集的图像数据进行三角化,生成带有RGB信息的三维点云数据;
步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;
步骤2.1,将步骤1获取到的城区建筑物三维点云数据,构建成kd-tree结构;
步骤2.2,基于kd-tree结构获取各查询点周围的多尺度点云数据;
步骤2.3,利用快速点特征直方图(Fast Point Feature Histograms,FPFH)融合多尺度局部点云,计算各查询点的局部特征,其多尺度FPFH结构如图2所示;
步骤3,利用离散点的局部特征对建筑物进行超体素分割;
步骤3.1,将步骤2的局部特征作为基础,构建特征搜索树;
步骤3.2,随机在三维点云数据中选取聚类初始点p;
步骤3.3,在特征搜索树中寻找点p的邻域特征点集M;
步骤3.4,当点集M中的点q与p在空间上也存在邻域关系,则将q和p聚为一类;
步骤3.5,若q和p在空间上不存在邻域关系时,则将其作为下一个聚类点的初始点;
步骤3.6,当以p为聚类初始点的聚类点均聚类完成之后,融合该聚类体内的所有特征,重新更新p的特征空间信息,并将其作为超体素的表达;
步骤3.7,重复步骤3.2-步骤3.6的过程,直至三维点云中每个点均归属到某一类,获取超体素聚类集M={M0,M1,…,Mn};
步骤4,基于多模态邻域特征构建超体素连通图;
步骤4.1,基于步骤3中获取的超体素聚类集M,计算超体素之间的特征相似度、空间邻近性、局部凸性分别采用公式1、公式2、公式3实现:
DFPFH(a,b)=1/L(HaiHb) 公式1
其中,xa、ya、za、xb、yb、zb分别表示超体素a、b的空间位置坐标;L(Ha,Hb)称为交集函数,用于表示超体素a、b之间FPFH之间的重叠程度,当重叠程度越大时,表示超体素之间的像素度越高,用公式4来进行描述;
而分别为超体素a,b的法向量,vnsim,vnsimF,vconv,vconvF均为人工设置的常数,vnsim表示法线相似阈值,vnsimF表示vnsim处的切线斜率,vconv为设置的凸度阈值,vconvF则表示vconv处的切线斜率,且sigm函数用公式5表示:
其中,x分别对应公式3中函数对超体素a、b的法向量运算结果;θ为根据法线相似阈值vnsim、凸度阈值vconv采用余弦函数得到的阈值结果;m表示为法线相似阈值vnsim、凸度阈值vconv处的切线斜率。
步骤4.2,计算超体素间的归一化距离D(a,b);归一化距离D(a,b)用公式6表示:
其中,we、wi和wp分别表示对应项在归一化距离计算中的影响因子。
步骤4.3,当D(a,b)小于设定阈值thr时,则认为超体素之间是连通的;
步骤4.4,重复判断超体素之间是否连通,从而构建成超体素连通图G(V,L),其中V表示图节点,即超体素点,L表示连通边集合L={Lab,Lbc,…},且每个边Lab包含了是否连接及连接的归一化距离信息;
步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建;
步骤5.1,将步骤4构建的连通图中的节点V视为一个神经点云;
步骤5.2,对所有神经点利用多层级MLP构建神经渲染场,完成三维建筑物的重建。
本发明的另一个实施例提供一种基于SuperPoint-NeRF的三维建筑物重建方法,包括如下步骤:
步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;
步骤1.1,基于搭载INS惯导设备和摄像头的无人机,采集获取城区建筑物的图像数据;
步骤1.2,基于时间戳和INS数据,对图像数据进行连续帧的拼接;
步骤1.3,基于OpenMVS技术将采集的图像数据进行三角化,生成带有RGB信息的三维点云数据;
步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;
步骤2.1,将步骤1获取到的城区建筑物三维点云数据,构建成kd-tree结构;
步骤2.2,基于kd-tree结构获取各查询点周围的多尺度点云数据;
步骤2.3,利用快速点特征直方图(Fast Point Feature Histograms,FPFH)融合多尺度局部点云,计算各查询点的局部特征,其多尺度FPFH结构如图2所示;
步骤3,利用离散点的局部特征对建筑物进行超体素分割;
步骤3.1,将步骤2的局部特征作为基础,构建特征搜索树;
步骤3.2,随机在三维点云数据中选取聚类初始点p;
步骤3.3,在特征搜索树中寻找点p的邻域特征点集M;
步骤3.4,当点集M中的点q与p在空间上也存在邻域关系,则将q和p聚为一类;
步骤3.5,若q和p在空间上不存在邻域关系时,则将其作为下一个聚类点的初始点;
步骤3.6,当以p为聚类初始点的聚类点均聚类完成之后,融合该聚类体内的所有特征,重新更新p的特征空间信息,并将其作为超体素的表达;
步骤3.7,重复步骤3.2-步骤3.6的过程,直至三维点云中每个点均归属到某一类,获取超体素聚类集M={M0,M1,…,Mn};
步骤4,基于多模态邻域特征构建超体素连通图;
步骤4.1,基于步骤3中获取的超体素聚类集M,计算超体素之间的特征相似度、空间邻近性、局部凸性分别采用公式1、公式2、公式3实现:
DFPFn(a,b)=1/L(Ha,Hb) 公式1
其中,xa、ya、za、xb、yb、zb分别表示超体素a、b的空间位置坐标;L(Ha,Hb)称为交集函数,用于表示超体素a、b之间FPFH之间的重叠程度,当重叠程度越大时,表示超体素之间的像素度越高,用公式4来进行描述;
而分别为超体素a,b的法向量,vnsim,vnsimF,vconv,vconvF均为人工设置的常数,vnsim表示法线相似阈值,vnsimF表示vnsim处的切线斜率,vconv为设置的凸度阈值,vconvF则表示vconv处的切线斜率,且sigm函数用公式5表示:
其中,x分别对应公式3中函数对超体素a、b的法向量运算结果;θ为根据法线相似阈值vnsim、凸度阈值vconv采用余弦函数得到的阈值结果;m表示为法线相似阈值vnsim、凸度阈值vconv处的切线斜率。
步骤4.2,计算超体素间的归一化距离D(a,b);归一化距离D(a,b)用公式6表示:
其中,we、wi和wp分别表示对应项在归一化距离计算中的影响因子。
步骤4.3,当D(a,b)小于设定阈值thr时,则认为超体素之间是连通的;
步骤4.4,重复判断超体素之间是否连通,从而构建成超体素连通图G(V,L),其中V表示图节点,即超体素点,L表示连通边集合L={Lab,Lbc,…},且每个边Lab包含了是否连接及连接的归一化距离信息;
步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建;
步骤5.1,将步骤4构建的连通图中的节点V视为一个神经点云;
步骤5.2,对所有神经点利用多层级MLP构建神经渲染场,完成三维建筑物的重建;
步骤5.2.2,同时基于步骤4获取的连通图的边集L={Lab,Lbc,…},获取步骤5.2.1中得到的采样点序列P的每个连通点序列Q;
步骤5.2.3,将采样点P及其连通点Q分别加入MLP进行训练,并将其训练的结果再通过一层MLP进行特征融合,从而产生颜色和体积密度;
步骤5.2.4,使用体积渲染技术将产生的颜色和体积密度合成图像,并通过最小化合成图像和真实观测图像之间的残差来优化该城区三维建筑物模型。
本发明结合三维超体素点云的局部特征与连通性关系,通过分层级的MLP回归神经渲染场来表示建筑物表面密度和射线,从而实现快速高精的三维建筑物重建,不仅能够极大的提高传统NeRF在三维重建领域的效率,同时由于局部邻域特征的加入也显著提升了其重建精度,达到城市级高效率高精度的三维建筑物重建。
在本发明的描述中,此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接或彼此可通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种基于SuperPoint-NeRF的三维建筑物重建方法,其特征在于,包括如下步骤:
步骤1,利用多帧二维图像获取建筑物的初始三维点云数据;
步骤2,基于多尺度FPFH构建建筑物三维点云的局部特征;
步骤3,利用离散点的局部特征对建筑物进行超体素分割;
步骤4,基于多模态邻域特征构建超体素连通图;
步骤5,利用多层级MLP构建神经渲染场,完成三维建筑物的重建。
2.根据权利要求1所述的重建方法,其特征在于,所述步骤1包括:
步骤1.1,基于搭载INS惯导设备和摄像头的无人机,采集获取城区建筑物的图像数据;
步骤1.2,基于时间戳和INS数据,对图像数据进行连续帧的拼接;
步骤1.3,基于MVS技术将采集的图像数据进行三角化,生成带有RGB信息的三维点云数据。
3.根据权利要求1所述的重建方法,其特征在于,所述步骤2包括:
步骤2.1,将步骤1获取到的三维点云数据,构建成kd-tree结构;
步骤2.2,基于kd-tree结构获取各查询点周围的多尺度点云数据;
步骤2.3,利用FPFH融合多尺度局部点云,计算各查询点的局部特征。
4.根据权利要求1所述的重建方法,其特征在于,所述步骤3包括:
步骤3.1,将步骤2的局部特征作为基础,构建特征搜索树;
步骤3.2,随机在三维点云数据中选取聚类初始点p;
步骤3.3,在特征搜索树中寻找点p的邻域特征点集M;
步骤3.4,当点集M中的点q与p在空间上也存在邻域关系,则将q和p聚为一类;
步骤3.5,若q和p在空间上不存在邻域关系时,则将其作为下一个聚类点的初始点;
步骤3.6,当以p为聚类初始点的聚类点均聚类完成之后,融合该聚类体内的所有特征,重新更新p的特征空间信息,并将其作为超体素的表达;
步骤3.7,重复步骤3.2-步骤3.6的过程,直至三维点云中每个点均归属到某一类,获取超体素聚类集M={M0,M1,…,Mn}。
5.根据权利要求4所述的重建方法,其特征在于,所述步骤4包括:
步骤4.1,基于步骤3中获取的超体素聚类集M,计算超体素之间的特征相似度、空间邻近性、局部凸性;
步骤4.2,计算超体素间的归一化距离D(a,b);
步骤4.3,当D(a,b)小于设定阈值thr时,则认为超体素之间是连通的;
步骤4.4,重复判断超体素之间是否连通,从而构建成超体素连通图G(V,L),其中V表示图节点,即超体素点,L表示连通边集合L={Lab,Lbc,…},且每个边Lab包含了是否连接及连接的归一化距离信息。
6.根据权利要求5所述的重建方法,其特征在于,所述步骤4.1中,计算超体素之间的特征相似度、空间邻近性、局部凸性分别采用公式1、公式2、公式3实现:
DFPFH(a,b)=1/L(Ha,Hb) 公式1
其中,xa、ya、za、xb、yb、zb分别表示超体素a、b的空间位置坐标;L(Ha,Hb)称为交集函数,用于表示超体素a、b之间FPFH之间的重叠程度,当重叠程度越大时,表示超体素之间的像素度越高,用公式4来进行描述;
而分别为超体素a、b的法向量,vnsim,vnsimF,vconv,vconvF均为人工设置的常数,vnsim表示法线相似阈值,vnsimF表示vnsim处的切线斜率,vconv为设置的凸度阈值,vconvF则表示vconv处的切线斜率,且sigm函数用公式5表示:
8.根据权利要求5所述的重建方法,其特征在于,所述步骤5包括:
步骤5.1,将步骤4构建的连通图中的节点V视为一个神经点云;
步骤5.2,对所有神经点利用多层级MLP构建神经渲染场,完成三维建筑物的重建。
9.根据权利要求8所述的重建方法,其特征在于,所述步骤5.2包括:
步骤5.2.1,以每个神经点p作为相机射线入射方向,通过沿着该射线方向上采样5D坐标,获取该采样点序列P;
步骤5.2.2,同时基于步骤4获取的连通图的边集L={Lab,Lbc,…},获取步骤5.2.1中得到的采样点序列P的每个连通点序列Q;
步骤5.2.3,将采样点P及其连通点Q分别加入MLP进行训练,并将其训练的结果再通过一层MLP进行特征融合,从而产生颜色和体积密度;
步骤5.2.4,使用体积渲染技术将产生的颜色和体积密度合成图像,并通过最小化合成图像和真实观测图像之间的残差来优化该城区三维建筑物模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513937.XA CN115731355A (zh) | 2022-11-29 | 2022-11-29 | 一种基于SuperPoint-NeRF的三维建筑物重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513937.XA CN115731355A (zh) | 2022-11-29 | 2022-11-29 | 一种基于SuperPoint-NeRF的三维建筑物重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115731355A true CN115731355A (zh) | 2023-03-03 |
Family
ID=85299109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513937.XA Pending CN115731355A (zh) | 2022-11-29 | 2022-11-29 | 一种基于SuperPoint-NeRF的三维建筑物重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115731355A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116543117A (zh) * | 2023-03-16 | 2023-08-04 | 中国科学院地理科学与资源研究所 | 一种无人机影像的高精度大场景三维建模方法 |
CN116664782A (zh) * | 2023-07-31 | 2023-08-29 | 南京信息工程大学 | 一种基于融合体素的神经辐射场三维重建方法 |
CN117593436A (zh) * | 2024-01-18 | 2024-02-23 | 深圳市其域创新科技有限公司 | 辐射场模型重建方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
CN114898028A (zh) * | 2022-04-29 | 2022-08-12 | 厦门大学 | 基于点云的场景重建兼渲染的方法、存储介质和电子设备 |
CN115170559A (zh) * | 2022-08-12 | 2022-10-11 | 杭州像衍科技有限公司 | 基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法 |
-
2022
- 2022-11-29 CN CN202211513937.XA patent/CN115731355A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
CN114898028A (zh) * | 2022-04-29 | 2022-08-12 | 厦门大学 | 基于点云的场景重建兼渲染的方法、存储介质和电子设备 |
CN115170559A (zh) * | 2022-08-12 | 2022-10-11 | 杭州像衍科技有限公司 | 基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法 |
Non-Patent Citations (2)
Title |
---|
张文豪: "基于超体素的三维室内点云场景分割技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 July 2020 (2020-07-15), pages 1 - 70 * |
杨玉泽;林文树;: "基于激光点云数据的树木枝叶分割和三维重建", 西北林学院学报, no. 03, 31 December 2020 (2020-12-31) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116543117A (zh) * | 2023-03-16 | 2023-08-04 | 中国科学院地理科学与资源研究所 | 一种无人机影像的高精度大场景三维建模方法 |
CN116543117B (zh) * | 2023-03-16 | 2024-01-09 | 中国科学院地理科学与资源研究所 | 一种无人机影像的高精度大场景三维建模方法 |
CN116664782A (zh) * | 2023-07-31 | 2023-08-29 | 南京信息工程大学 | 一种基于融合体素的神经辐射场三维重建方法 |
CN116664782B (zh) * | 2023-07-31 | 2023-10-13 | 南京信息工程大学 | 一种基于融合体素的神经辐射场三维重建方法 |
CN117593436A (zh) * | 2024-01-18 | 2024-02-23 | 深圳市其域创新科技有限公司 | 辐射场模型重建方法、装置、计算机设备及存储介质 |
CN117593436B (zh) * | 2024-01-18 | 2024-05-03 | 深圳市其域创新科技有限公司 | 辐射场模型重建方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11244189B2 (en) | Systems and methods for extracting information about objects from scene information | |
US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
CN109410307B (zh) | 一种场景点云语义分割方法 | |
Wei et al. | Superpixel hierarchy | |
CN110458957B (zh) | 一种基于神经网络的图像三维模型构建方法及装置 | |
CN115731355A (zh) | 一种基于SuperPoint-NeRF的三维建筑物重建方法 | |
US20200027266A1 (en) | Building contour generation from point clouds | |
Franco et al. | Exact polyhedral visual hulls | |
US9348877B2 (en) | Methods, systems, and data structures for performing searches on three dimensional objects | |
Mémoli et al. | Distance Functions and Geodesics on Submanifolds of \R^d and Point Clouds | |
Wang et al. | Robust 3D reconstruction of building surfaces from point clouds based on structural and closed constraints | |
Zhang et al. | Automatic object removal with obstructed façades completion using semantic segmentation and generative adversarial inpainting | |
CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
Li et al. | Building footprint generation through convolutional neural networks with attraction field representation | |
CN111524168A (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
CN112767405A (zh) | 一种基于图注意力网络的三维网格模型分割方法及系统 | |
Hu et al. | Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization | |
Qian et al. | Spatial contextual noise removal for post classification smoothing of remotely sensed images | |
CN112002007B (zh) | 基于空地影像的模型获取方法及装置、设备、存储介质 | |
CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
CN114120095A (zh) | 一种基于空中三维模型的移动机器人自主定位系统及方法 | |
Hu et al. | Learning structural graph layouts and 3D shapes for long span bridges 3D reconstruction | |
Cupec et al. | Fast 2.5 D Mesh Segmentation to Approximately Convex Surfaces. | |
CN116385660A (zh) | 室内单视图场景语义重建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |