CN110533778B - 大规模图像点云并行分布式网格化重建方法、系统、装置 - Google Patents
大规模图像点云并行分布式网格化重建方法、系统、装置 Download PDFInfo
- Publication number
- CN110533778B CN110533778B CN201910732555.8A CN201910732555A CN110533778B CN 110533778 B CN110533778 B CN 110533778B CN 201910732555 A CN201910732555 A CN 201910732555A CN 110533778 B CN110533778 B CN 110533778B
- Authority
- CN
- China
- Prior art keywords
- scene
- grid
- grids
- boundary
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000009499 grossing Methods 0.000 claims abstract description 21
- 239000013589 supplement Substances 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 230000005484 gravity Effects 0.000 claims description 12
- 230000009469 supplementation Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000009191 jumping Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100165798 Arabidopsis thaliana CYP86A1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于三维网格化重建技术领域，具体涉及了一种大规模图像点云并行分布式网格化重建方法、系统、装置，旨在解决现有技术在处理大规模三维点云数据网格化时重建效果不好以及计算复杂度高、冗余数据多、处理效率低的问题。本发明方法包括：将三维点云数据划分为设定大小的网格，进行场景区域自适应划分并提取边界网格；分别获取各场景子区域的局部表面；提取一致性三角形合并后进行空洞补充；进行平滑操作并消除异常点，获得重建的三维网格模型。本发明自适应区域划分，避免将结构复杂或者点云非常稀疏的区域选为边界，有利于后续的网格合并工作，大大提高了网格化的效果，降低了计算复杂度以及产生的冗余数据，处理效率高。
Description
技术领域
本发明属于三维网格化重建技术领域，具体涉及了一种大规模图像点云并行分布式网格化重建方法、系统、装置。
背景技术
利用三维点云进行表面重建是计算机图形学中的一个经典问题，相关的研究人员在该领域也已经提出了许多算法。根据输入点云信息的不同，相应的重建方法也互有差异。一类传统方法将表面定义为隐函数并利用采样后点的位置等信息直接获取表面模型，另一类方法是以德洛内四面体为基础[1]，主要利用了通过多视图图像获取的点云，将点云中不可避免的噪声和异常值考虑在内，充分利用点和相机的可视性信息来获取表面模型。
通常原始点云数据不包含任何拓扑结构信息，因此大量的研究工作集中在如何从点云数据重建网格表面，即三维点云数据的网格化工作。Wiemann等人以移动立方体法为基础，利用基于八叉树的优化数据结构和基于MPI的分布式正态估计，实现了对大规模数据的有效处理[2]，该方法中增加了并行化并提出了一种网格融合方法，在一定的策略下通过动态添加新单元来填充缺失的三角形，但该方法的填充能力有限，难以将所有的空洞进行修补。之后，Wiemann等人改进了这种方法，摒弃了八叉树的数据结构，使用了一种无碰撞的哈希函数来管理哈希映射中的体素[3]。在一定的条件下，该方法能以o(1)的时间复杂度直接提取出邻近单元。进行数据处理时，将数据序列化为几何上相关的块，然后将分块发送到不同的节点中进行并行重建，有效提高了处理效率。不足之处是这种方法最终生成的网格中往往包含了许多冗余的三角形，需要进一步的压缩简化。还有的方法使用八叉树划分数据，局部运行网格生成算法，然后通过提取重复的三角形和利用聚类、图割算法等填充空洞来得到最终表面[4]。但八叉树的数据结构使其需要大量的重复计算来获得足够多的重复三角形，数据冗余度加大的同时也增加了不必要的时间和内存消耗。
总的来说，现有的三维点云进行表面重建中采用的三维点云数据网络化的方法在处理大规模点云数据时，计算复杂度较高、处理效率较低，并且最终生成的网格中往往包含许多冗余数据，增加了不必要的数据再处理时间和内存消耗。
以下文献是与本发明相关的技术背景资料：
[1]VU,H.,LABATUT,P.,PONS,J.,and KERIVEN,R.“High Accuracy andVisibility-Consistent Dense Multiview Stereo”.IEEE Transactions on PatternAnalysis and Machine Intelligence 34(May 2012),889–901.
[2]WIEMANN,THOMAS,ANNUTH,HENDRIK,INGEMANN,KAI,and HERTZBERG,JOACHIM.“An Evaluation of Open Source Surface Reconstruction Software for RoboticApplications”.(Nov.2013)
[3]WIEMANN,T.,MIT46KE,I.,MOCK,A.,and HERTZBERG,J.“SurfaceReconstruction from Arbitrarily Large Point Clouds”.IEEE InternationalConference on Robotic Computing.(Jan.2018),278–281
[4]MOSTEGEL,CHRISTIAN,PRETTENTHALER,UDOLF,FRAUNDORFER,FRIEDRICH,andBISCHOF,HORST.“Scalable Surface Reconstruction from Point Clouds with ExtremeScale and Density Diversity”.IEEE Conference on Computer Vision and PatternRecognition.(June 2017)
发明内容
为了解决现有技术中的上述问题，即现有技术在处理大规模三维点云数据网格化时重建效果不好以及计算复杂度高、冗余数据多、处理效率低的问题，本发明提供了一种大规模图像点云并行分布式网格化重建方法，该网格化重建方法包括：
步骤S10，将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
步骤S20，基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域，并分别统计所述两个场景子区域中各自包含的三维点数据量；
步骤S30，分别判断所述三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：
当所述三维点数据量大于设定上限阈值时，跳转步骤S20；
当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；
当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
步骤S40，在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
步骤S50，提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
步骤S60，采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型。
在一些优选的实施例中，步骤S20中“通过图割算法对所述场景区域进行自适应区域划分，获得边界网格重合的两个场景子区域”，其方法为：
步骤S21，定义能量分数，并通过所述能量分数分别计算所述场景网格被选为区域边界的能量分数值；
步骤S22，选取所述场景网格被选为区域边界的能量分数值最高的两个场景网格作为源端网格、汇端网格，并分别计算普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重；
步骤S23，基于所述普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重，获取源端标签网格集合、汇端标签网格集合；
步骤S24，基于所述源端标签网格集合、汇端标签网格集合，获取不同标签的相邻网格，并以所述相邻网格中能量分数较小的作为两个场景子区域的边界，获得边界网格重合的两个场景子区域。
在一些优选的实施例中，所述能量分数为：
S(gi)＝N{σ(gi)}+α·N{(β(gi)-βx)2}
其中，S(gi)代表场景网格gi被选为区域边界的能量分数值；σ(gi)代表场景网格gi内所有三维点在z轴方向上的方差，即场景网格gi的高度方差；β(gi)代表场景网格gi内所有三维点的数量；βx代表将β(gi)按照值的大小以递增顺序排序后的第x百分位数对应的值；α为平衡两个指标占比权重的平衡因子；N为归一化操作。
在一些优选的实施例中，所述普通网格之间的权重为：
Ψ(gi,gj)＝min(S(gi),S(gj))
其中，Ψ(gi,gj)代表场景网格gi、gj之间的权重，S(gi)代表场景网格gi被选为区域边界的能量分数值，S(gj)代表场景网格gj被选为区域边界的能量分数值，min()代表求最小值。
在一些优选的实施例中，所述普通网格与源端网格之间的权重为：
其中，Φ(gi,s)代表场景网格gi与源端网格s之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
在一些优选的实施例中，所述普通网格与汇端网格之间的权重为：
其中，Φ(gi,t)代表场景网格gi与汇端网格t之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
在一些优选的实施例中，所述源端标签网格集合、汇端标签网格集合通过图割算法求解能量最小化函数获取；
所述能量最小化函数为：
E({gi})＝∑Φ(gi)+∑Ψ(gi,gj)
其中，{gi}代表带有标签的场景网格集合，Φ(gi)代表场景网格gi与源端网格s或汇端网格t之间的权重，Ψ(gi,gj)代表场景网格gi、gj之间的权重。
在一些优选的实施例中，步骤S50中“提取所述各场景子区域的局部表面的一致性三角形并合并”，其方法为：
步骤S501，提取所述各场景子区域的局部表面内部网格的三角形、跨越内部和边界网格的三角形；提取所述各场景子区域的局部表面边界网格内部的三角形中三角形的计算次数和该三角形所在网格的重复计算次数相同的三角形；
步骤S502，将提取的三角形合并，获得合并后的表面。
在一些优选的实施例中，步骤S50中“对合并后的表面进行空洞补充”，其方法为：
步骤S511，剔除未被合并的三角形中会与当前获得的合并后的表面产生交叉或非流行边的三角形；
步骤S512，分别将所述各场景子区域中仅组成一个连通区域的剩余三角形聚类为集合作为空洞补充的补丁；
步骤S513，分别计算所述补丁的重心与对应的场景子区域边界的偏移量；
步骤S514，按照所述偏移量递减的顺序，从高到低选取没有与当前获得的合并后的表面交叉且没有产生非流行边的补丁进行相应的空洞补充。
在一些优选的实施例中，步骤S513中“计算所述补丁的重心与对应的场景子区域边界的偏移量”，其方法为：
其中，offset(P)代表补丁P的重心与相应的场景子区域边界的偏移量，cx、cy分别代表补丁P的重心的x坐标、y坐标，Bx、By分别代表补丁P所在场景子区域外边界的x、y坐标集合，min()代表求最小值。
本发明的另一方面，提出了一种大规模图像点云并行分布式网格化重建系统，该网格化重建系统包括网格划分模块、图割模块、图割迭代模块、局部表面计算模块、表面合并模块、平滑及异常消除模块、输出模块；
所述网格划分模块，配置为将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
所述图割模块，配置为基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域；
所述图割迭代模块，配置为分别统计及判断所述两个场景子区域中各自包含的三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：当所述三维点数据量大于设定上限阈值时，跳转图割模块；当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
所述局部表面计算模块，配置为在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
所述表面合并模块，配置为提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
所述平滑及异常消除模块，配置为采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型；
所述输出模块，配置为输出获取的大规模场景点云数据的三维网格模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的大规模图像点云并行分布式网格化重建方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的大规模图像点云并行分布式网格化重建方法。
本发明的有益效果：
(1)本发明大规模图像点云并行分布式网格化重建方法，采用迭代图割算法进行场景自适应区域划分以及边界网格提取，避免将结构复杂或者点云非常稀疏的区域选为边界，从而避免了因为结构复杂的区域被重复计算时产生的不一致的三角形以及避免了点云非常稀疏的区域产生的面积较大的三角形，有利于后续的网格合并工作，大大提高了网格化的效果，降低了计算复杂度以及产生的冗余数据，处理效率高。
(2)本发明大规模图像点云并行分布式网格化重建方法，通过计算补丁重心的偏移量选取优先级高的补丁进行空洞补充，最终获取的网格化表面较为完整且保留了细节信息。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明大规模图像点云并行分布式网格化重建方法的流程示意图；
图2是本发明大规模图像点云并行分布式网格化重建方法一种实施例的场景上运行一次图割算法的示例图；
图3是本发明大规模图像点云并行分布式网格化重建方法一种实施例的场景上进行迭代图割算法以及边界网格提取的示例图；
图4是本发明大规模图像点云并行分布式网格化重建方法一种实施例的德洛内四面体能量设置示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种大规模图像点云并行分布式网格化重建方法，该网格化重建方法包括：
步骤S10，将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
步骤S20，基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域，并分别统计所述两个场景子区域中各自包含的三维点数据量；
步骤S30，分别判断所述三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：
当所述三维点数据量大于设定上限阈值时，跳转步骤S30；
当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；
当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
步骤S40，在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
步骤S50，提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
步骤S60，采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型。
为了更清晰地对本发明大规模图像点云并行分布式网格化重建方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的大规模图像点云并行分布式网格化重建方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格。
本发明的多视图大规模场景三维点云数据，通过Structure-from-Motion(SfM)和Multiple View Stereo(MVS)算法生成。在没有任何辅助传感器信息的情况下，由SfM和MVS生成的点云可以位于任意位置的坐标系下。对于户外场景来说，通过粗略地使用相机内置的GPS信息或准确地使用地面控制点(GCPs)，点云可以很容易地转换到地理坐标系下。
本发明主要关注户外城市级别的大场景，所以假设多视图大规模场景三维点云数据已经转换到了地理坐标系下。因此，场景将沿着地平面(x-y平面)而不是垂直轴(z轴)划分。
步骤S20，基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域，并分别统计所述两个场景子区域中各自包含的三维点数据量。
“通过图割算法对所述场景区域进行自适应区域划分，获得边界网格重合的两个场景子区域”，其方法为：
步骤S21，定义能量分数，并通过所述能量分数分别计算所述场景网格被选为区域边界的能量分数值，如式(1)所示：
S(gi)＝N{σ(gi)}+α·N{(β(gi)-βx)2} 式(1)
其中，S(gi)代表场景网格gi被选为区域边界的能量分数值；σ(gi)代表场景网格gi内所有三维点在z轴方向上的方差，即场景网格gi的高度方差；β(gi)代表场景网格gi内所有三维点的数量；βx代表将β(gi)按照值的大小以递增顺序排序后的第x百分位数对应的值；α为平衡两个指标占比权重的平衡因子；N为归一化操作。
本发明一个实施例中，x选取为55。(β(gi)-βx)2表示不希望选择点太过稀疏(容易产生大的三角形)或太过密集(更有可能包含复杂结构)的网格作为边界。因为式(1)中两个指标的单位不同，所以用N{}将其归一化，本发明采用第二个指标轻微地控制和调整包含极端稀疏点的网格，所以选取α＝0.1。
步骤S22，选取所述场景网格被选为区域边界的能量分数值最高的两个场景网格作为源端网格、汇端网格，并分别计算普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重。
普通网格之间的权重如式(2)所示：
Ψ(gi,gj)＝min(S(gi),S(gj)) 式(2)
其中，Ψ(gi,gj)代表场景网格gi、gj之间的权重，S(gi)代表场景网格gi被选为区域边界的能量分数值，S(gj)代表场景网格gj被选为区域边界的能量分数值，min()代表求最小值。
普通网格与源端网格之间的权重如式(3)所示：
其中，Φ(gi,s)代表场景网格gi与源端网格s之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
普通网格与汇端网格之间的权重如式(4)所示：
其中，Φ(gi,t)代表场景网格gi与汇端网格t之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
步骤S23，基于所述普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重，获取源端标签网格集合、汇端标签网格集合。
源端标签网格集合、汇端标签网格集合通过图割算法求解能量最小化函数获取；
能量最小化函数如式(5)所示：
E({gi})＝∑Φ(gi)+∑Ψ(gi,gj) 式(5)
其中，{gi}代表带有标签的场景网格集合，Φ(gi)代表场景网格gi与源端网格s或汇端网格t之间的权重，Ψ(gi,gj)代表场景网格gi、gj之间的权重。
步骤S24，基于所述源端标签网格集合、汇端标签网格集合，获取不同标签的相邻网格，并以所述相邻网格中能量分数较小的作为两个场景子区域的边界，获得边界网格重合的两个场景子区域。
如图2所示，为本发明大规模图像点云并行分布式网格化重建方法一种实施例的场景上运行一次图割算法的示例图，左图是网格化后的场景，两个深色网格是依据本发明上述方法挑选得到的具有最高能量分数值的分别名为gs,gt的网格；右图结果中，深色顶点和浅色顶点被标记为不同类别，方框圈住的与S相连的顶点是gs，方框圈住的与T相连的顶点是gt。分割线上分数较小的顶点被选取为边界(边缘黑色加粗的顶点)。
步骤S30，分别判断所述三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：
当所述三维点数据量大于设定上限阈值时，跳转步骤S20；
当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；
当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域。
如图3所示，为本发明大规模图像点云并行分布式网格化重建方法一种实施例的场景上进行迭代图割算法以及边界网格提取的示例图，如图3左图，每次图割后提取的边界网格用不同灰度颜色标记；最后，整个场景可以被划分为多个边界相互重叠的子块，如图3右图所示，深色网格表示边界。
步骤S40，在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面。
本发明采用基于德洛内的局部表面计算方法，首先，利用点云构造德洛内四面体网络；然后，利用点的可视性和表面质量构建能量函数；最后，通过最小s-t切割算法获取函数的全局最优解从而得到最终局部表面。
如图4所示，为本发明大规模图像点云并行分布式网格化重建方法一种实施例的德洛内四面体能量设置示意图，P代表相机可见点，αqual、αvis分别代表表面质量和点的可视性，S代表源端网格，T代表汇端网格。
步骤S50，提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面。
“提取所述各场景子区域的局部表面的一致性三角形并合并”，其方法为：
步骤S501，提取所述各场景子区域的局部表面内部网格的三角形、跨越内部和边界网格的三角形；提取所述各场景子区域的局部表面边界网格内部的三角形中三角形的计算次数和该三角形所在网格的重复计算次数相同的三角形。
步骤S502，将提取的三角形合并，获得合并后的表面。
“对合并后的表面进行空洞补充”，其方法为：
步骤S511，剔除未被合并的三角形中会与当前获得的合并后的表面产生交叉或非流行边的三角形。
步骤S512，分别将所述各场景子区域中仅组成一个连通区域的剩余三角形聚类为集合作为空洞补充的补丁。
步骤S513，分别计算所述补丁的重心与对应的场景子区域边界的偏移量，如式(6)所示：
其中，offset(P)代表补丁P的重心与相应的场景子区域边界的偏移量，cx、cy分别代表补丁P的重心的x坐标、y坐标，Bx、By分别代表补丁P所在场景子区域外边界的x、y坐标集合，min()代表求最小值。
步骤S514，按照所述偏移量递减的顺序，从高到低选取没有与当前获得的合并后的表面交叉且没有产生非流行边的补丁进行相应的空洞补充。
步骤S60，采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型。
当待处理数据包含一些单独的异常值时(例如，在航空摄影下获得的城市场景中，一些异常值可能会出现在地平面以下，这种情况非常少见但是不能被完全排除)，可以通过寻找表面中点的可视相机来解决。如果最终表面中的点在其所有的可视相机中均不可见，那么就认为该点是异常值并将其剔除。
本发明第二实施例的大规模图像点云并行分布式网格化重建系统，该网格化重建系统包括网格划分模块、图割模块、图割迭代模块、局部表面计算模块、表面合并模块、平滑及异常消除模块、输出模块；
所述网格划分模块，配置为将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
所述图割模块，配置为基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域；
所述图割迭代模块，配置为分别统计及判断所述两个场景子区域中各自包含的三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：当所述三维点数据量大于设定上限阈值时，跳转图割模块；当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
所述局部表面计算模块，配置为在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
所述表面合并模块，配置为提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
所述平滑及异常消除模块，配置为采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型；
所述输出模块，配置为输出获取的大规模场景点云数据的三维网格模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的大规模图像点云并行分布式网格化重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的大规模图像点云并行分布式网格化重建方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的大规模图像点云并行分布式网格化重建方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种大规模图像点云并行分布式网格化重建方法，其特征在于，该网格化重建方法包括：
步骤S10，将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
步骤S20，基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域，并分别统计所述两个场景子区域中各自包含的三维点数据量；
步骤S30，分别判断所述三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：
当所述三维点数据量大于设定上限阈值时，跳转步骤S20；
当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；
当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
步骤S40，在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
步骤S50，提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
步骤S60，采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型；
其中，步骤S20中通过图割算法对所述场景区域进行自适应区域划分，获得边界网格重合的两个场景子区域，其方法为：
步骤S21，定义能量分数：
S(gi)＝N{σ(gi)}+α·N{(β(gi)-βx)2}
其中，S(gi)代表场景网格gi被选为区域边界的能量分数值；σ(gi)代表场景网格gi内所有三维点在z轴方向上的方差，即场景网格gi的高度方差；β(gi)代表场景网格gi内所有三维点的数量；βx代表将β(gi)按照值的大小以递增顺序排序后的第x百分位数对应的值；α为平衡两个指标占比权重的平衡因子；N为归一化操作；
通过所述能量分数分别计算所述场景网格被选为区域边界的能量分数值；
步骤S22，选取所述场景网格被选为区域边界的能量分数值最高的两个场景网格作为源端网格、汇端网格，并分别计算普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重；
步骤S23，基于所述普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重，通过图割算法求解能量最小化函数获取源端标签网格集合、汇端标签网格集合；
所述能量最小化函数为：
E({gi})＝∑Φ(gi)+∑Ψ(gi,gj)
其中，{gi}代表带有标签的场景网格集合，Φ(gi)代表场景网格gi与源端网格s或汇端网格t之间的权重，Ψ(gi,gj)代表场景网格gi、gj之间的权重；
步骤S24，基于所述源端标签网格集合、汇端标签网格集合，获取不同标签的相邻网格，并以所述相邻网格中能量分数较小的作为两个场景子区域的边界，获得边界网格重合的两个场景子区域。
2.根据权利要求1所述的大规模图像点云并行分布式网格化重建方法，其特征在于，所述普通网格之间的权重为：
Ψ(gi,gj)＝min(S(gi),S(gj))
其中，Ψ(gi,gj)代表场景网格gi、gj之间的权重，S(gi)代表场景网格gi被选为区域边界的能量分数值，S(gj)代表场景网格gj被选为区域边界的能量分数值，min()代表求最小值。
3.根据权利要求1所述的大规模图像点云并行分布式网格化重建方法，其特征在于，所述普通网格与源端网格之间的权重为：
其中，Φ(gi,s)代表场景网格gi与源端网格s之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
4.根据权利要求1所述的大规模图像点云并行分布式网格化重建方法，其特征在于，所述普通网格与汇端网格之间的权重为：
其中，Φ(gi,t)代表场景网格gi与汇端网格t之间的权重，d(gi,gt)代表场景网格与汇端网格t之间的欧几里得距离，d(gi,gs)代表场景网格gi与源端网格s之间的欧几里得距离，inf代表无穷大。
5.根据权利要求1所述的大规模图像点云并行分布式网格化重建方法，其特征在于，步骤S50中“提取所述各场景子区域的局部表面的一致性三角形并合并”，其方法为：
步骤S501，提取所述各场景子区域的局部表面内部网格的三角形、跨越内部和边界网格的三角形；提取所述各场景子区域的局部表面边界网格内部的三角形中三角形的计算次数和该三角形所在网格的重复计算次数相同的三角形；
步骤S502，将提取的三角形合并，获得合并后的表面。
6.根据权利要求1所述的大规模图像点云并行分布式网格化重建方法，其特征在于，步骤S50中“对合并后的表面进行空洞补充”，其方法为：
步骤S511，剔除未被合并的三角形中会与当前获得的合并后的表面产生交叉或非流行边的三角形；
步骤S512，分别将所述各场景子区域中仅组成一个连通区域的剩余三角形聚类为集合作为空洞补充的补丁；
步骤S513，分别计算所述补丁的重心与对应的场景子区域边界的偏移量；
步骤S514，按照所述偏移量递减的顺序，从高到低选取没有与当前获得的合并后的表面交叉且没有产生非流行边的补丁进行相应的空洞补充。
7.根据权利要求6所述的大规模图像点云并行分布式网格化重建方法，其特征在于，步骤S513中“计算所述补丁的重心与对应的场景子区域边界的偏移量”，其方法为：
其中，offset(P)代表补丁P的重心与相应的场景子区域边界的偏移量，cx、cy分别代表补丁P的重心的x坐标、y坐标，Bx、By分别代表补丁P所在场景子区域外边界的x、y坐标集合，min()代表求最小值。
8.一种大规模图像点云并行分布式网格化重建系统，其特征在于，该网格化重建系统包括网格划分模块、图割模块、图割迭代模块、局部表面计算模块、表面合并模块、平滑及异常消除模块、输出模块；
所述网格划分模块，配置为将获取的大规模场景点云数据在x-y平面上划分为设定长宽的相同大小场景网格；
所述图割模块，配置为基于所述场景网格，通过图割算法对场景进行自适应区域划分，获得边界网格重合的两个场景子区域；
所述图割迭代模块，配置为分别统计及判断所述两个场景子区域中各自包含的三维点数据量与设定下限阈值、设定上限阈值的关系，并执行：当所述三维点数据量大于设定上限阈值时，跳转图割模块；当所述三维点数据量小于设定下限阈值时，判断其对应的场景子区域与相邻的场景子区域中三维点数据量总和是否小于设定上限阈值，是则将所述场景子区域与相邻的场景子区域合并，并更新边界网格；当所述三维点数据量大于设定下限阈值且小于设定上限阈值时，获得多个边界网格互相重合的场景子区域；
所述局部表面计算模块，配置为在每一个场景子区域上运行基于德洛内的局部表面计算方法，分别获取各场景子区域的局部表面；
所述表面合并模块，配置为提取所述各场景子区域的局部表面的一致性三角形并合并，对合并后的表面进行空洞补充，获得大规模场景点云数据的初始表面；
所述平滑及异常消除模块，配置为采用拉普拉斯顺滑算法进行初始表面的平滑操作，并基于输入的相机可视性信息消除异常点，获得大规模场景点云数据的三维网格模型；
所述输出模块，配置为输出获取的大规模场景点云数据的三维网格模型；
其中，通过图割算法对所述场景区域进行自适应区域划分，获得边界网格重合的两个场景子区域，其方法为：
步骤S21，定义能量分数：
S(gi)＝N{σ(gi)}+α·N{(β(gi)-βx)2}
其中，S(gi)代表场景网格gi被选为区域边界的能量分数值；σ(gi)代表场景网格gi内所有三维点在z轴方向上的方差，即场景网格gi的高度方差；β(gi)代表场景网格gi内所有三维点的数量；βx代表将β(gi)按照值的大小以递增顺序排序后的第x百分位数对应的值；α为平衡两个指标占比权重的平衡因子；N为归一化操作；
通过所述能量分数分别计算所述场景网格被选为区域边界的能量分数值；
步骤S22，选取所述场景网格被选为区域边界的能量分数值最高的两个场景网格作为源端网格、汇端网格，并分别计算普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重；
步骤S23，基于所述普通网格之间的权重、普通网格与源端网格之间的权重、普通网格与汇端网格之间的权重，通过图割算法求解能量最小化函数获取源端标签网格集合、汇端标签网格集合；
所述能量最小化函数为：
E({gi})＝∑Φ(gi)+∑Ψ(gi,gj)
其中，{gi}代表带有标签的场景网格集合，Φ(gi)代表场景网格gi与源端网格s或汇端网格t之间的权重，Ψ(gi,gj)代表场景网格gi、gj之间的权重；
步骤S24，基于所述源端标签网格集合、汇端标签网格集合，获取不同标签的相邻网格，并以所述相邻网格中能量分数较小的作为两个场景子区域的边界，获得边界网格重合的两个场景子区域。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的大规模图像点云并行分布式网格化重建方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-7任一项所述的大规模图像点云并行分布式网格化重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910732555.8A CN110533778B (zh) | 2019-08-09 | 2019-08-09 | 大规模图像点云并行分布式网格化重建方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910732555.8A CN110533778B (zh) | 2019-08-09 | 2019-08-09 | 大规模图像点云并行分布式网格化重建方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533778A CN110533778A (zh) | 2019-12-03 |
| CN110533778B true CN110533778B (zh) | 2021-01-12 |
Family
ID=68661541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910732555.8A Active CN110533778B (zh) | 2019-08-09 | 2019-08-09 | 大规模图像点云并行分布式网格化重建方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533778B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739167B (zh) * | 2020-06-16 | 2023-10-03 | 北京百度网讯科技有限公司 | 3d人头重建方法、装置、设备和介质 |
| CN112381945B (zh) * | 2020-11-27 | 2021-05-25 | 中国科学院自动化研究所 | 三维模型过渡面的重建方法及系统 |
| CN113240720B (zh) * | 2021-05-25 | 2022-05-17 | 中德（珠海）人工智能研究院有限公司 | 一种三维表面重建方法、装置、服务器以及可读存储介质 |
| CN113744408B (zh) * | 2021-08-31 | 2023-10-27 | 北京航空航天大学 | 网格生成方法、装置及存储介质 |
| CN116543129B (zh) * | 2023-05-06 | 2024-04-16 | 中交第二公路勘察设计研究院有限公司 | 一种基于激光点云的公路横断面地面线并行生成算法 |
| CN116310227B (zh) * | 2023-05-18 | 2023-09-12 | 海纳云物联科技有限公司 | 三维稠密重建方法、装置、电子设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665548A (zh) * | 2017-04-01 | 2018-10-16 | 上海宏桐实业有限公司 | 一种基于星形假设的点云快速渐进式重建方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136155B (zh) * | 2010-01-27 | 2012-10-03 | 首都师范大学 | 基于三维激光扫描数据的物体立面矢量化方法和系统 |
| US9811714B2 (en) * | 2013-08-28 | 2017-11-07 | Autodesk, Inc. | Building datum extraction from laser scanning data |
| CN104240300B (zh) * | 2014-08-29 | 2017-07-14 | 电子科技大学 | 基于分布式并行的大规模点云复杂空间曲面重构方法 |
| CN105469447A (zh) * | 2014-09-11 | 2016-04-06 | 富泰华工业（深圳）有限公司 | 点云边界直角边修补系统及方法 |
| CN110009727B (zh) * | 2019-03-08 | 2023-04-18 | 深圳大学 | 一种具有结构语义的室内三维模型自动重构方法及系统 |
-
2019
- 2019-08-09 CN CN201910732555.8A patent/CN110533778B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665548A (zh) * | 2017-04-01 | 2018-10-16 | 上海宏桐实业有限公司 | 一种基于星形假设的点云快速渐进式重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533778A (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533778B (zh) | 大规模图像点云并行分布式网格化重建方法、系统、装置 | |
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| Kolluri et al. | Spectral surface reconstruction from noisy point clouds | |
| Ji et al. | A novel simplification method for 3D geometric point cloud based on the importance of point | |
| Hiep et al. | Towards high-resolution large-scale multi-view stereo | |
| EP1694821B1 (en) | Probable reconstruction of surfaces in occluded regions by computed symmetry | |
| CN113781667B (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| CN102804231A (zh) | 三维场景的分段平面重建 | |
| Lee et al. | Perceptual organization of 3D surface points | |
| CN112651944B (zh) | 基于cad模型的3c部件高精度六维位姿估计方法及系统 | |
| Mauro et al. | A unified framework for content-aware view selection and planning through view importance | |
| CN113673400A (zh) | 基于深度学习的实景三维语义重建方法、装置及存储介质 | |
| CN113689535A (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| CN111754618A (zh) | 一种面向对象的实景三维模型多层次解译方法及系统 | |
| CN113593033A (zh) | 一种基于网格细分结构的三维模型特征提取方法 | |
| CN114332134A (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN114648640A (zh) | 一种目标物单体化方法、装置、设备及存储介质 | |
| Ibrahim et al. | MVPCC-Net: multi-view based point cloud completion network for MLS data | |
| Kuhn et al. | Incremental division of very large point clouds for scalable 3d surface reconstruction | |
| Lei et al. | Automatic identification of street trees with improved RandLA-Net and accurate calculation of shading area with density-based iterative α-shape | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| Hyeon et al. | Automatic spatial template generation for realistic 3d modeling of large-scale indoor spaces | |
| Morreale et al. | Dense 3D visual mapping via semantic simplification | |
| Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |