CN109147032B - 一种基于分布式的优化大尺度网格方法 - Google Patents

一种基于分布式的优化大尺度网格方法 Download PDF

Info

Publication number
CN109147032B
CN109147032B CN201810780968.9A CN201810780968A CN109147032B CN 109147032 B CN109147032 B CN 109147032B CN 201810780968 A CN201810780968 A CN 201810780968A CN 109147032 B CN109147032 B CN 109147032B
Authority
CN
China
Prior art keywords
grid
image
sub
cluster
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810780968.9A
Other languages
English (en)
Other versions
CN109147032A (zh
Inventor
齐越
李耀
罗清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810780968.9A priority Critical patent/CN109147032B/zh
Publication of CN109147032A publication Critical patent/CN109147032A/zh
Application granted granted Critical
Publication of CN109147032B publication Critical patent/CN109147032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于分布式的优化大尺度网格方法，分布式地优化三维重建中网格重建后的初始网格。其步骤包括：(1)将输入的网格重建后的初始网格切分成多个网格块发给集群的每台机器上；(2)在集群每台机器上加入边界约束分布式地简化和细化步骤(1)得到的网格块；(3)将每台机器上经过步骤(2)处理的网格块发给集群的master上面，然后进行融合，再进行一次整体的简化和细化，得到一个均匀并且没有冗余顶点的网格；(4)利用多层K路分割算法，将无人机航拍图像集分割成K个子图像集。(5)利用步骤(4)得到的图像集，分布式地还原步骤(3)得到的网格的细节特征。本发明能够从输入的初始网格生成一个光滑且拥有丰富细节特征的网格。

Description

一种基于分布式的优化大尺度网格方法
技术领域
本发明属于计算机虚拟现实领域，具体地说，一种基于分布式的优化大尺度网格方法。主要用于影视动画、虚拟现实及测绘等领域。
背景技术
近年来，无人飞行器(无人机)逐渐受到人们的关注，无人机拍摄得到的航拍图像具有大尺度、广视角、高现势等优点，结合倾斜摄影技术，可以很容易的获得高质量、纹理丰富的室外静态大场景的图像。将无人机航拍图像与序列图像三维重建相结合，围绕室外场景三维重建问题开展相关研究具有重要的应用价值。该研究可以建立一个针对户外大型场景的高效、便捷，相对廉价的三维重建系统，将在地形测绘、城市数字化、建筑和军事等领域发挥重要的作用，并在未来有着非常广阔的应用前景。
目前已经有很多的科研人员对三维重建的各个步骤进行的大量的研究，最近Vu等人采用光流一致性优化网格，还原网格的细节特征，但此方法所耗的内存过大，并且运行时间过慢，无法应用于大尺度的网格。为了更好的还原细节特征，目前已有相关文章采用了深度学习的方法，将网格看作体素，来学习网格的语义信息，辅助细节特征的还原，可是此方法所耗的内存和运行时间更大。目前还没有大尺度网格优化的相关文献报导。
因此，本发明针对分布式大尺度网格的优化工作极具研究意义和应用前景。
发明内容
本发明的技术解决问题：克服现有技术的一些局限性，提供一种基于分布式的优化大尺度网格方法，能够优化10公里以上的场景网格，并且能够保证生成光滑并且拥有丰富细节的大尺度网格，能够应用于虚拟现实、测绘等领域。
本发明的技术解决方案：一种基于分布式的优化大尺度网格方法，以三维重建中网格重建后的初始网格和原始图像为输入，基于分布式的进行大尺度网格的优化，克服单个计算机内存和计算能力的限制。其特征在于如下步骤：
(1)输入三维重建中网格重建后的初始网格，根据所搭建集群的CPU核心数，将输入初始网格切分成多个网格块，然后分发给集群的每台机器上。
(2)在集群的每台机器上地简化和细化步骤(1)得到的网格块，但是不能移动网格边界的顶点。
(3)寻找步骤(2)得到的网格块之间的坐标相等的顶点，将坐标相等的顶点融合在一起，然后将融合后的网格进行整体的简化和细化，使步骤(2)固定的网格块边界处的边长度与融合后的网格的平均边长度相等。
(4)输入无人机航拍的图像集，利用多层K路分割算法，将无人机航拍的图像集均匀的分割成K个子图像集，其中子图像集的个数K等于集群的CPU核心数。
(5)利用图像颜色一致性和拉普拉斯光顺方法构造能量公式，根据步骤(4)得到的K个子图像集，在K个子图像集的每个子图像集中计算步骤(3)得到的网格顶点的梯度，分布式地最优化能量公式来得到光滑且拥有丰富细节特征的网格。
所述步骤(2)具体实现如下：
(1)计算步骤(1)输入的初始网格中每一个三角形投影到每张无人机航拍图像集上所覆盖的像素个数，选取步骤(1)输入的初始网格中每一个三角形覆盖无人机航拍图像集的最大像素个数作为此三角形的最大投影区域。
(2)将(1)所得的步骤(1)输入的初始网格的三角形的最大投影区域进行排序，选取排序后结果的中位数和最大值，将中位数除以最大值作为简化输入参数θ，即将拥有F个三角形的步骤(1)输入的初始网格简化成拥有θF个三角形的网格。简化方法采用的边折叠法，边折叠法需要计算网格的每一条边对应的权重，修改了传统方法的权重，在其中加入了一项形状因子T，使简化后的网格不出现狭长的三角形。
(3)将(2)得到的网格重新进行(1)的计算得到其每个三角形的最大投影区域，若三角形的最大投影区域大于64，将此三角形分割成多个三角形。
所述步骤(4)具体实现如下：首先，将无人机航拍图像集构建成一个graph，将无人机航拍图像集的每张图像作为graph的一个节点，无人机航拍图像集的匹配的图像对作为graph的一条边，以此构建一个graph，然后采用多层K路分割算法将graph切分成K个子图像集。
所述步骤(5)图像颜色一致性和拉普拉斯光顺方法构造能量公式具体如下：
Figure GDA0002528969100000021
其中
Figure GDA0002528969100000022
是第k个子图像集的数据项，λ≥0是数据项和光顺项的权重，Esmoothness是光顺项。所述λ取值为1。
相比现有技术，本发明的优势在于：
(1)输入三维重建中网格重建后的初始网格，根据所搭建集群的CPU核心数，将网格分成相等的网格块，然后分发给集群的每台机器上。
(2)为了使网格的每条边长度尽量相等，并且网格中三角形投影到图像上的最大区域不能太大，在集群每台机器上地在固定边界约束的基础上简化和细化步骤(1)得到的网格块。
(3)寻找网格块之间的重合顶点，将重合的顶点融合在一起，然后将融合后的网格进行整体的简化和细化，使步骤(2)固定的网格块边界处的边长度与融合后的网格的平均边长度相等。
(4)输入无人机航拍的图像集，利用多层K路分割算法，将无人机航拍的图像集均匀的分割成K个子图像集，其中子图像集的个数K等于集群的CPU核心数。
(5)为了去除初始网格的噪声和还原网格的细节特征，我们利用图像颜色一致性和拉普拉斯光顺方法构造能量公式，根据步骤(4)得到的K个子图像集，在K个子图像集的每个子图像集中计算步骤(3)得到的网格顶点的梯度，分布式地最优化能量公式来得到光滑且拥有丰富细节特征的网格。
相比现有技术，本发明的优点在于：
(1)本发明将输入的初始网格自动化的分成多个网格化，以充分的利用集群每台机器的运算能力，与传统的方法比，大大加快了网格简化和细化的运行速度。
(2)本发明采用多层K路分割算法将无人机航拍图像切分成K个子图像集并在集群的每台机器上输入不同的子图像集分布式的还原网格特征以此解决了单台机器内存无法加载所有无人机航拍图像集的限制，并且加快了网格特征还原的运行速度。
附图说明
图1为本发明方法的数据流程图；其中左图是输入的初始网格，中图是网格简化和细化后的网格，右图是优化后的网格；
图2为本发明方法的分割图像集方法的示意图；其中箭头左边是无人机航拍图像集的graph，箭头右边是切分后的子图像集；
图3为本发明方法的结果展示图，左上图和右上图是无人机航拍图像，左下图和右下图是与航拍图像对应的网格。中图是优化后的大尺度网格。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
本发明公开了一种基于分布式的优化大尺度网格方法，分布式地优化三维重建中网格重建后的初始网格。其步骤包括：(1)网格分块，根据所搭建集群的CPU核心数，将网格重建后的初始网格切分成多个网格块发给集群的每台机器上；(2)网格的分布式简化与细化，在集群每台机器上加入边界约束分布式地简化和细化步骤(1)得到的网格块，使网格的每条边尽量均匀；(3)网格块的合成。将每台机器上经过步骤(2)处理的网格块发给集群的master上面，然后进行融合，再进行一次整体的简化和细化，得到一个均匀并且没有冗余顶点的网格；(4)利用多层K路分割算法，将无人机航拍图像集分割成K个子图像集。(5)利用步骤(4)得到的图像集，基于图像颜色一致性和拉普拉斯光顺方法分布式地优化大尺度网格。本发明能够从输入的包含噪声的初始网格生成一个光滑且拥有丰富细节特征的网格。
本发明方法的主要流程图如图1所示，具体步骤如下：
(1)基于分布式的大尺度网格简化和细化
首先，计算输入的初始网格中每一个三角形投影到每张无人机航拍图像集上所覆盖的像素个数，选取步骤(1)输入的初始网格中每一个三角形覆盖无人机航拍图像集的最大像素个数作为此三角形的最大投影区域。将输入的初始网格的三角形的最大投影区域进行排序，选取排序后结果的中位数和最大值，将中位数除以最大值作为简化输入参数θ，即将拥有F个三角形的初始网格简化成拥有θ*F个三角形的网格。
然后，将输入的初始网格切分成多个网格块，然后在集群上对每一个网格块进行简化和细化，对于不同的集群，每个worker节点具有不同的机器配置。为了充分的利用集群资源，将根据集群每个节点的配置，来自定义每个网格块的大小。
假设spark集群拥有n个节点，且每个节点的cpu核数和内存分别为{(a1：b1)，(a2：b2)，...，(an：bn)},cpu总核数为a,总内存为b。
Figure GDA0002528969100000041
设网格数据大小为S，单位为KB，其中
Figure GDA0002528969100000042
若p≤β,则把网格切分成x＝a个网格块。(分配方法见下节)
若p＞β,
Figure GDA0002528969100000043
则把网格切分成x个网格块。
网格切分的方法：设
Figure GDA0002528969100000044
首先找出网格的体积最小的包围盒，沿包围盒底面最大平面横向纵向切成u2个网格块。
将切分后的多个网格块发送到集群的每台机器上，然后对每个网格块运用网格简化方法，目前使用最广泛的网格简化方法是边折叠法，它不仅可以延续原有的拓扑结构，而且几何误差较小，简化速度较快。但是其简化后的网格质量不好。所以在边折叠法中每条边的权重添加形状因子T,设三角形最长、最短、中间的三条边长分别为el,es,em同时为了使形状因子在0到1之间，形状因子定义为：
Figure GDA0002528969100000051
很明显当T＝1，的时候，对应的三角形为等边三角形；当T≈0的时候出现了狭长三角形，所以可以优先折叠狭长三角形的边，以此来保持简化后的网格质量
网格细化计算得到其每个三角形的最大投影区域，若三角形的最大投影区域大于64个像素，将此三角形分割成多个三角形。以此达到细化的目的，生成一个三角形边长相差不大的网格。接着将简化和细化后的网格块发送回集群的master节点上进行网格融合，寻找网格块之间的重合顶点，将重合的顶点融合在一起，然后将融合后的网格进行整体的简化和细化，使固定的网格块边界处的边长度与融合后的网格的平均边长度相等。
(2)基于多层K路分割算法的图像集分割
由于本发明针对是10公里以上的大场景重建的网格优化，所以所有的无人机航拍图像集不可能放在一台机器里面进行处理，这里将无人机航拍图像集进行切分。首先，假设每张图像作为graph的一个节点，匹配的图像对作为graph的一条边，以此构建了一个基于无人机航拍图像的graph。定义
Figure GDA0002528969100000052
是在第k块的第i张图像，ηk为第k块的子图像集：
Figure GDA0002528969100000053
很明显，要尽可能减少
Figure GDA0002528969100000054
与
Figure GDA0002528969100000055
的差距，但此问题是NP难的问题。不可能直接求解。所以采用近似方法，利用多层k路图割方法，将graph切分成K个子图像集，其中，子图像集的个数K等于集群的CPU核心数，并且重复包含的图像数据尽可能少。分割具体细节如图2。
(3)基于分布式的大尺度网格特征还原方法
为了生成具有丰富细节特征的网格。需要将网格进行进一步优化，还原出网格的细节特征。定义网格曲面为S，顶点集合为V，面片集合为F。在进行这一步操作前，首先假设在特征还原期间的网格拓扑结构并不会改变，并且每张图像的参数是独立的，以便于进行局部的网格特征还原。
为了去除初始网格的噪声和还原网格的细节特征，可以利用图像颜色一致性和拉普拉斯光顺方法构造一个能量公式，能量公式由数据项和光顺项组成：
Figure GDA0002528969100000061
其中
Figure GDA0002528969100000062
是第k个子图像集的数据项，λ≥0是数据项和光顺项的权重，λ通常取值为1，Esmoothness是光顺项。根据上面的方程会构造一个与网格顶点对应的梯度向量用来最小化这个能量方程，下面针对每一项进行介绍。
数据项是根据图像颜色一致性构造的，目的就是要使图像对之间的图像重投影误差尽可能小，所以这个数据项如下：
Figure GDA0002528969100000063
其中
Figure GDA0002528969100000064
是将图像Ij通过网格重投影到图像Ii上，Pi和Pi -1分别是将图像I投影和反投影到网格上的操作。
Figure GDA0002528969100000066
是一个图像Ii和图像
Figure GDA0002528969100000067
在像素xi上的关于颜色一致性的递减函数。
Figure GDA0002528969100000068
是将图像Ij重投影到Ii的区域。
光顺项主要是为了消除网格中的噪声，使网格的表面光滑。而光顺的方法很多，主要是为了最小化如下的能量函数：
Figure GDA0002528969100000069
其中k1和k2是网格曲面在同一个顶点的主曲率。光顺项衡量了整个网格的曲率使之光滑。这是个经典问题。将采用一阶和二阶的伞算子进行优化。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述仅为本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应该视为本发明的保护范围。

Claims (4)

1.一种基于分布式的优化大尺度网格方法，其特征在于：包括以下步骤：
(1)输入三维重建中网格重建后的初始网格，根据所搭建集群的CPU核心数，将输入初始网格切分成多个网格块，然后分发给集群的每台机器上；
(2)在集群的每台机器上地简化和细化步骤(1)得到的网格块，网格边界的顶点不移动；
(3)寻找步骤(2)得到的网格块之间的坐标相等的顶点，将坐标相等的顶点融合在一起，然后将融合后的网格进行整体的简化和细化，使步骤(2)固定的网格块边界处的边长度与融合后的网格的平均边长度相等；
(4)输入无人机航拍的图像集，利用多层K路分割算法，将无人机航拍的图像集均匀的分割成K个子图像集，其中子图像集的个数K等于集群的CPU核心数；
(5)利用图像颜色一致性和拉普拉斯光顺方法构造能量公式，根据步骤(4)得到的K个子图像集，在K个子图像集的每个子图像集中计算步骤(3)得到的网格顶点的梯度，分布式地最优化能量公式来得到光滑且拥有丰富细节特征的网格；
所述步骤(2)具体实现如下：
(21)计算步骤(1)输入的初始网格中每一个三角形投影到每张无人机航拍图像集上所覆盖的像素个数，选取步骤(1)输入的初始网格中每一个三角形覆盖无人机航拍图像集的最大像素个数作为此三角形的最大投影区域；
(22)将(21)所得的步骤(1)输入的初始网格的三角形的最大投影区域进行排序，选取排序后结果的中位数和最大值，将中位数除以最大值作为简化输入参数θ，即将拥有F个三角形的步骤(1)输入的初始网格简化成拥有θ*F个三角形的网格，简化方法采用的边折叠法，边折叠法需要计算网格的每一条边对应的权重，修改了传统方法的权重，在其中加入了一项形状因子T，使简化后的网格不出现狭长的三角形；
(23)将(22)得到的网格重新进行(21)的计算得到其每个三角形的最大投影区域，若三角形的最大投影区域大于64，将此三角形分割成多个三角形。
2.根据权利要求1所述的基于分布式的优化大尺度网格方法，其特征在于：所述步骤(4)具体实现如下：首先，将无人机航拍图像集构建成一个graph，将无人机航拍图像集的每张图像作为graph的一个节点，无人机航拍图像集的匹配的图像对作为graph的一条边，以此构建一个graph，然后采用多层K路分割算法将graph切分成K个子图像集。
3.根据权利要求1所述的基于分布式的优化大尺度网格方法，其特征在于：所述步骤(5)图像颜色一致性和拉普拉斯光顺方法构造能量公式具体如下：
Figure FDA0002415252770000021
其中
Figure FDA0002415252770000022
是第k个子图像集的数据项，λ≥0是数据项和光顺项的权重，Esmoothness是光顺项，S是网格曲面。
4.根据权利要求3所述的基于分布式的优化大尺度网格方法，其特征在于：所述λ取值为1。
CN201810780968.9A 2018-07-17 2018-07-17 一种基于分布式的优化大尺度网格方法 Active CN109147032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810780968.9A CN109147032B (zh) 2018-07-17 2018-07-17 一种基于分布式的优化大尺度网格方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810780968.9A CN109147032B (zh) 2018-07-17 2018-07-17 一种基于分布式的优化大尺度网格方法

Publications (2)

Publication Number Publication Date
CN109147032A CN109147032A (zh) 2019-01-04
CN109147032B true CN109147032B (zh) 2020-09-22

Family

ID=64800705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810780968.9A Active CN109147032B (zh) 2018-07-17 2018-07-17 一种基于分布式的优化大尺度网格方法

Country Status (1)

Country Link
CN (1) CN109147032B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802177A (zh) * 2020-12-31 2021-05-14 广州极飞科技股份有限公司 航测数据的处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655993B (zh) * 2008-08-20 2012-01-11 武汉大学 复杂建筑物三维模型多分辨率建模方法
CN103413307A (zh) * 2013-08-02 2013-11-27 北京理工大学 一种基于超图的图像共分割方法
US10586378B2 (en) * 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
CN104732482B (zh) * 2015-03-30 2018-06-12 中国人民解放军63655部队 一种基于控制点的多分辨率图像拼接方法
US10394971B2 (en) * 2015-06-04 2019-08-27 International Business Machines Corporation Hybrid simulation of a computing solution in a cloud computing environment with a simplified computing solution and a simulation model

Also Published As

Publication number Publication date
CN109147032A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109993783B (zh) 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
Digne et al. Feature-preserving surface reconstruction and simplification from defect-laden point sets
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
Li et al. Feature-preserving 3D mesh simplification for urban buildings
CN109658450A (zh) 一种基于无人机的快速正射影像生成方法
WO2022121525A1 (zh) 三维场景数据的渲染方法及装置、存储介质、电子装置
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
CN105354883A (zh) 基于点云的3ds Max快速精细三维建模方法及系统
CN111311662B (zh) 一种实时重建三维场景的方法及装置
CN109118588B (zh) 一种基于块分解的彩色lod模型自动生成方法
Xie et al. Automatic simplification and visualization of 3D urban building models
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
CN113421338B (zh) 一种将二维矢量进行三维渲染的方法
Zhou et al. Generation of a tree-like support structure for fused deposition modelling based on the L-system and an octree
CN115393548A (zh) 一种适用于三维重建的网格纹理化简算法
She et al. 3D building model simplification method considering both model mesh and building structure
CN109147032B (zh) 一种基于分布式的优化大尺度网格方法
CN108109205B (zh) 一种基于孔洞填充的残缺模型检索与重建方法
CN109102565B (zh) 一种自动生成虚拟地形的方法
Bhardwaj et al. SingleSketch2Mesh: generating 3D mesh model from sketch
CN112633293B (zh) 一种基于图分割的三维稀疏点云重建图像集分类方法
CN112561785B (zh) 基于风格迁移的丝绸文物图像数据扩充方法
Han et al. Distributed surface reconstruction from point cloud for city-scale scenes
CN103679806B (zh) 自适应可视外壳生成方法及装置
CN109410333B (zh) 一种高质量超面片聚类生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant