CN106447775A - 基于云计算的大规模曲面重建系统 - Google Patents

基于云计算的大规模曲面重建系统 Download PDF

Info

Publication number
CN106447775A
CN106447775A CN201610826801.2A CN201610826801A CN106447775A CN 106447775 A CN106447775 A CN 106447775A CN 201610826801 A CN201610826801 A CN 201610826801A CN 106447775 A CN106447775 A CN 106447775A
Authority
CN
China
Prior art keywords
task
grid
mapreduce
piecemeal
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610826801.2A
Other languages
English (en)
Inventor
姚兴苗
唐轩
胡光岷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610826801.2A priority Critical patent/CN106447775A/zh
Publication of CN106447775A publication Critical patent/CN106447775A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于云计算的大规模曲面重建系统。其包括部署有Hadoop框架的云计算平台,所述云计算平台包括主节点及从节点;主节点部署有Hadoop客户端、NameNode组件及JobTracker组件,从节点部署有DataNode组件和TaskTracker组件。本发明通过在曲面重建系统中引入云计算的方式,利用云计算运算能力强、系统并行程度高等特点,极大地提升了曲面重建系统的曲面重建能力,具有可扩展性强,资源利用合理,耦合度低等优点,解决了单机内存和计算能力不足及曲面拓扑合并等问题。

Description

基于云计算的大规模曲面重建系统
技术领域
本发明属于曲面重建技术领域,尤其涉及一种基于云计算的大规模曲面重建系统。
背景技术
随着互联网时代数据量的爆炸式增长,我们面临着如何存储、处理这些大数据,让大数据发挥其内在价值的问题。处理大规模运算问题并不等价于小规模运算的简单线性累加,而是运用新的思路、算法去高效率解决他们。云计算技术在众多解决方案中脱颖而出。云计算是效用计算、分布式计算、并行计算和网格计算的进一步升华发展。云计算是指一个独特的计算环境,它的目的是提供远程可扩展、可测量的IT资源——包括硬件服务、基础架构服务、平台服务、软件服务、存储系统服务等。使得用户可以方便地获取资源,进行高效计算。
2000年之前属于云计算的前期积累阶段,在这个阶段里,云计算的相关技术,例如虚拟化、分布式等技术逐渐成熟,云计算的概念也逐渐形成。2005年,美国Amazon公司推出AWS,以Web的形式向互联网用户提供基础设施云服务,是将云计算概念落地并商业化的先驱。美国Microsoft公司也推出了自己的云服务平台WindowsAzure,这一平台将转变传统的数据中心环境,帮助各个公司深入了解在任何地点存储的数据,支持它们开发广泛的现代商业应用程序。美国Google公司则发表专著说明了公司内部设计的The Google FileSystem(GFS)、Mapreduce编程模型以及Bigtable。后来这三项技术被称为Google的三驾马车,足以见得它们在当下云计算服务里面的重要地位。
目前,国内外的公司已经利用现有技术开发过不少能够进行曲面重建的商业软件。例如德国西门子(Siemens)公司开发的NX,是一款高端的计算机辅助设计软件,主要提供灵活的数值求解偏微分方程功能,进行无结构网格的自适应加密;由法国达索系统(Dassault Systemes S.A.)公司开发的CATIA,主要利用NURBS作为平面算法核心进行计算机辅助设计;由法国斯伦贝榭(Schlumberger)公司开发的Petrel软件是专门针是三维地质建模的地球物理专业软件,可以进行各种曲面模拟现实及虚拟现实;由美国EDS公司开发的Imageware,具有强大的点云处理能力、曲面编辑能力和A级曲面的构建能力。由中国金双狐油气技术有限公司开发的金双狐地质成图系统,可以完成基本的等值线绘制及图件处理功能。
云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)、热备份冗余(HighAvailable)等传统计算机和网络技术发展融合的产物。客户端定义运算任务,将繁杂的计算过程交给拥有强大计算能力的云端服务器,服务器运算完毕以后将简洁的结果交还给客户端,这便是云计算的整个过程。从用户的角度讲,通过云计算过程,能够1)节省费用。通常用户不需要单独购买硬件配置环境,购买的只是运算服务。这种服务可以按任务量大小定制化购买;2)节省资源。一个云计算中心可以为多个用户进行运算,利用时分复用机制,提高了效率的同时也节省了硬件及能源消耗;3)后台化。用户无需关心计算任务在后台的运行过程,只需要完成任务交付,接收输出结果即可。另外,从系统角度讲,云计算系统本身也具有很多单机系统没有的优势。例如1)虚拟化和自动化;2)服务器、存储介质等可以方便替换;3)所有资源都在云端进行管理;4)高度的计算弹性。这些特性使得云计算能够很好解决目前单机系统计算能力不足的问题,尤其在企业级的大型计算任务上得到了很好的应用,例如互联网内容服务、金融数据服务、通信服务以及气象服务等。
云计算按部署模型可以分为公有云、私有云和混合云三种类型。公有云主要是商业化公司进行开发和维护,公有的概念是指全世界任何地方的组织或个人,都可以通过购买授权的方式来获取公有云平台上的计算资源。利用规模效应,公有云使得用户极大程度地降低了IT成本。私有云是指只开放给某一特定范围使用的云计算服务,例如企业私有云,仅仅企业内部的部门可以使用私有云上面的资源和服务,与外部网络有防火墙隔离。私有云使得企业的控制权更高,获得更好的保密性。混合云,顾名思义,融合了私有云和公有云。用户对于不同的数据,可能会选择不同的部署模型。例如,将涉密内部数据的处理工作放到私有云平台上,而普通的计算则可以放到公有云平台上。企业将两套平台融合到一个架构上,形成混合云。石油勘探行业涉及的地质数据关系到企业盈利壁垒和国家资源安全,数据是涉密数据,如果直接购买公有云服务,将数据和计算都托付给第三方机构或企业,会产生数据泄露的危险。因此,要运用云计算技术解决大规模地质曲面重建问题,则需要搭建一个简单、易用的私有云计算环境。
地质曲面最重要的概念就是断层。在地壳运动中,板块与板块之间经常发生相互的挤压、碰撞。一旦运动中形成的张力超过了岩层的承受限度,岩层作为刚度较高的物体将产生断裂,断裂后如果板块运动还在继续,那么在断裂处会进一步发生位移,造成岩层错位的发生。地质学家把这种地质现象称为断层。断层包含了断层面、断层线和断层盘三个基本要素。断裂后,岩层的裸露面称为断层面,岩层发生断裂的边缘线称为断层线,断裂处一左一右、一上一下的两个同质岩层称为断层盘,根据空间位置关系,通常分为断层上盘和断层下盘。岩层因受力情况不同而发生的断裂形式不同,地质学家通常根据断层形态将断层分为三种类型:正断层,逆断层和走滑断层。
正断层(Normal Fault)是岩层受到板块张力形成的。由于岩层承受不了两侧的外拉力量,使得岩层从中间断开,断层上下盘朝相互背离的方向运动,通常还伴有一定程度的上下运动。正断层从俯视的角度看,岩层在断裂处形成了一道缝隙,断层上下盘分别位于缝隙的左右两侧,相当于在岩层上挖了一个空洞。
逆断层(Reverse Fault)是岩层受到板块压力形成的。由于岩层承受不了两侧的内推力量,使得岩层从中间断开,断层上下盘朝相互靠拢的方向运动,通常还伴有一定程度的上下运动。逆断层从俯视的角度看,岩层在断裂处发生了重叠,上盘岩层直接盖在了下盘岩层上方。
走滑断层(Strike-Slip Fault)是岩层受到板块剪切力形成的。剪切力是指一对距离很近、大小相近又指向相反的外力。由于岩层承受不了两侧的反扭力量,使得岩层在剪切力中点断开,发生平移错位。走滑断层从俯视角度看,断裂处是一条线。由于目前的地震勘探手段很难精准判定走滑断层。
随着计算机辅助设计与地质勘探技术的发展。在石油、天然气等矿物能源勘探中,大量运用了曲面重建。曲面重建技术是逆向工程的一个重要分支,通过有限的数据点,还原出最接近实际情况的曲面,是曲面重建的主要目的。现今,勘探技术的提升使得地质数据更加精细,地质勘探的广度也不断加大,鉴于约束曲面重建的复杂性,以及石油勘探企业对于曲面重建的效率和精度要求不断提高,现有的算法和计算资源已经没有能力处理如此复杂庞大的数据。
发明内容
本发明的发明目的是:为了解决现有技术存在的以上问题,本发明提出了一种通过分布式、并行化地处理数据,高精度,高效率完成大规模曲面重建任务的基于云计算的大规模曲面重建系统。
本发明的技术方案是:一种基于云计算的大规模曲面重建系统,包括部署有Hadoop框架的云计算平台,所述云计算平台包括主节点及从节点,所述从节点以心跳包的形式通过LAN与主节点通信连接;所述主节点用于对原始勘探数据进行切割、任务启动、跟踪和调度及曲面重建效果显示,其部署有Hadoop客户端、NameNode组件及JobTracker组件,所述Hadoop客户端用于根据用户指令与其它组件进行通信并完成曲面重建结果的处理,所述NameNode组件用于对HDFS文件系统中文件的元数据进行管理、维护HDFS文件系统的目录树并记录文件块被保存位置,所述JobTracker组件用于分发MapReduce任务至各个从节点;所述从节点用于进行数据存储和分块曲面重建,其部署有DataNode组件和TaskTracker组件,所述DataNode组件用于存储文件块的元数据并根据预设周期将存储的文件块的元数据发送至NameNode组件,所述TaskTracker组件用于接收JobTracker组件发送的MapReduce任务、读取DataNode组件存储的数据并进行处理、将处理结果返回至Hadoop客户端。
进一步地,所述从节点包括数据预处理模块、网格构建模块、断层投影模块、Delaunay拓扑连接模块、插值平滑模块及数据存储模块;所述数据预处理模块用于对层位点的冗余点进行删除并测线组段,所述网格构建模块用于网格点生成及属性赋初值,所述断层投影模块用于多边形分段及分段投影,所述Delaunay拓扑连接模块用于2D拓扑生成及2.5D拓扑恢复,所述插值平滑模块用于网格点插值、断层点插值及整体平滑,所述数据存储模块用于保存曲面数据。
进一步地,所述Hadoop框架的MapReduce任务包括分块MapReduce和网格MapReduce;所述分块MapReduce与网格MapReduce为嵌套式任务,分块MapReduce中包含网格MapReduce。
进一步地,所述分块MapReduce具体为基于Delaunay三角网进行大规模曲面拓扑重建,将地震数据划分为块,对单块进行小范围的曲面重建,在所有块的曲面恢复完成后再进行拼接处理,将单块进行组合形成整个大规模的空间三维曲面拓扑。
进一步地,所述分块MapReduce包括分块map任务和分块reduce任务;所述分块map任务具体为针对单块曲面进行重构,所述分块reduce任务具体为将重构好的单块曲面进行拼接。
进一步地,所述网格MapReduce具体为对单块小范围的曲面重建时,通过构建虚拟的网格点,将块内Delaunay划分为了按网格连接拓扑的任务。
进一步地,所述网格MapReduce包括网格map任务和网格reduce任务;所述网格map任务具体为网格内Delaunay三角拓扑连接任务,所述网格reduce任务具体为合并网格、形成块级别的Delaunay拓扑结构。
进一步地,所述分块MapReduce与网格MapReduce为嵌套式任务具体为将分块map任务和网格map任务重构为一个前序MapReduce任务,将分块reduce任务和网格reduce任务重构为一个后序MapReduce任务。
进一步地,所述分块MapReduce与网格MapReduce为嵌套式任务具体为将分块map任务和网格map任务集成为一个map任务,将分块reduce任务和网格reduce任务集成为一个reduce任务。
进一步地所述云计算平台还包括特殊从节点,所述特殊从节点部署有SecondaryNameNode组件、DataNode组件及TaskTracker组件,所述SecondaryNameNode组件用于对主节点进行备份。
本发明具有以下有益效果:
1、本发明通过在曲面重建系统中引入云计算的方式,利用云计算运算能力强、系统并行程度高等特点,极大地提升了曲面重建系统的曲面重建能力;
2、本发明提出的由主节点和从节点组成的计算功能体,具有可扩展性强,资源利用合理,耦合度低等优点;
3、本发明提出的分块Mapreduce及网格Mapreduce流程,通过将数据点切分成块或者以网格形式组织,计算任务拆分为小粒度并行,从而解决了单机内存和计算能力不足及曲面拓扑合并等问题。
附图说明
图1是本发明的基于云计算的大规模曲面重建系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明的基于云计算的大规模曲面重建系统结构示意图。本发明的基于云计算的大规模曲面重建系统将Hadoop分布式计算框架部署在服务器集群上,从而形成一个小型的私有云计算平台。本发明的云计算平台由主节点(Master)和从节点(Slave)组成,通过高速局域网络(Local Area Network,LAN)连接在一起进行相互通信。从节点以心跳包的形式与主节点进行通信,一方面用于确认JobTracker组件的有效性,另一方面用于通知主节点当前从节点可接受任务数。从而解决了目前基于地质数据更加精细,地质勘探的广度不断加大,单台计算机已经无法满足要求精度下的复杂计算密集型大规模曲面重建任务的问题。
本发明的主节点具体用于对原始勘探数据进行切割、任务启动、跟踪和调度及最终效果显示,是系统的核心控制部分;主节点部署有Hadoop框架中的Hadoop客户端、NameNode组件及JobTracker组件,在系统中负责用户交互、节点管理、数据调度以及三维成图。
本发明的主节点中Hadoop客户端作为用户交互部分向用户提供一个简单易用的界面,通过这个界面,用户可以选择原始构造数据路径,设置曲面重建参数。原始构造数据包括层位点数据、断层点数据和断层多边形数据,曲面重建参数包括分块量级、块内小网格分辨率、深度值插值的搜索范围和平滑控制点的搜索范围等。
本发明的主节点中NameNode组件负责整个HDFS文件系统中的文件的元数据的保管和管理。NameNode组件自己本身并不存储数据,而是维护HDFS文件系统的目录树,记录文件块被保存在哪台机器上。所有的DataNode组件均可以与NameNode组件通信,获取到所需处理数据的位置,然后对这些文件进行读取、拷贝、移动或者删除操作。
本发明的主节点中JobTracker组件负责分发MapReduce任务到各个从节点。在云计算领域,一条核心概念是移动计算比移动数据更划算,JobTracker组件会依照以下两个原则来分发任务:1)最理想的情况是接受任务的机器自身存储了所需的数据块;2)至少保证机器所需的数据块在当前机器所处的机架上。一个应用请求的计算,离它操作的数据越近就越高效,在数据达到海量级别的时候更是如此,这样的设计大大提升了系统效率。
在数据处理完成后,用户需要的最终效果是三维地质曲面图。因此本发明的主节点还集成了三维成图功能,通过加载OpenGL绘图模块,利用空间三角网拓扑数据进行三维点、边、面的绘制与填充,对大规模地质曲面进行可视化。
本发明的从节点具体用于进行分块的曲面重建以及分块曲面的拼接平滑,并最终形成大规模的曲面数据,是系统的核心计算部分。从节点部署有DataNode组件和TaskTracker组件,在系统中负责数据存储和分块曲面重建工作。
本发明的从节点中DataNode组件是文件存储的基本单元,它存储文件块在本地文件系统中,保存了文件块的元数据,同时周期性的将其所存储的文件块的信息发送给NameNode组件。各个DataNode组件在保存备份数据时相互之间也会进行通信。
本发明的从节点中TaskTracker组件用于接受主节点的JobTracker组件发送来的Map、Reduce以及Shuffle任务。每个TaskTracker组件都配置了一个Slot集合,这个集合表示了当前DataNode组件可以接受的任务数。TaskTracker组件运行独立的JVM进程来处理实际的计算任务,这样保证了任务失败不会导致从节点的整体失效。从节点自身监视这些进程的运行情况,捕获退出代码以及输出。
本发明的从节点包括数据预处理模块、网格构建模块、断层投影模块、Delaunay拓扑连接模块、插值平滑模块及数据存储模块,从而实现分块曲面重建功能;所述数据预处理模块用于对重建数据中的冗余点进行删除并测线组段,所述网格构建模块用于网格点生成及属性赋初值,所述断层投影模块用于多边形分段及分段投影,所述Delaunay拓扑连接模块用于2D拓扑生成及2.5D拓扑恢复,所述插值平滑模块用于网格点插值、断层点插值及整体平滑,所述数据存储模块用于保存曲面数据。数据预处理模块、网格构建模块、断层投影模块、Delaunay拓扑连接模块、插值平滑模块及数据存储模块均以多级嵌套Mapreduce的形式组织起来。
如表1所示,为本发明的系统架构设计表。本发明的主节点部署有Hadoop客户端、NameNode组件及JobTracker组件,当需要直接进行计算时,也可以同时部署TaskTracker组件和DataNode组件;从节点部署有DataNode组件和TaskTracker组件;本发明还包括特殊从节点,特殊从节点部署有SecondaryNameNode组件、DataNode组件及TaskTracker组件。
表1.本发明的系统架构设计表
本发明的系统整体从层次上分为用户层、管理层和任务层三个层次。只有发起云计算任务的节点包含用户层,其上面部署Hadoop客户端,自动成为云计算系统的主节点。Hadoop客户端主要提供用户交互功能,并根据用户的指令,与下层模块进行指令传达与其他通信,执行任务并完成回传结果的处理,如可视化等。管理层位于用户层的下方,NameNode组件接收用户层传来的任务信息,维护HDFS文件系统的目录树,JobTracker组件根据文件位置和任务基本信息,进行任务的划分与调度,将细分的任务指令进一步传给任务层。另外,系统设计中特殊从节点可以包含一个SecondaryNameNode以提升鲁棒性,为了节省资源,这个模块可以直接部署到一个从节点上面,即作为特殊从节点。本发明的任务执行部分都由处于最底层的任务层完成。在任务层上的每个节点都包含TaskTracker组件和DataNode组件。TaskTracker组件接收JobTracker组件传来的任务信息,读取DataNode组件里面的数据,完成对数据的处理工作,并将最后的结果又返回给Hadoop客户端,具体的形式可以是写在HDFS文件系统上面也可以是直接回写到主节点的硬盘上面。
为了解决单机内存和计算能力不足等问题,本发明的Hadoop框架的MapReduce任务包括分块MapReduce和网格MapReduce;所述分块MapReduce与网格MapReduce为嵌套式任务,分块MapReduce中包含网格MapReduce。它们的执行顺序是:分块Mapper、网格Mapper、网格Reducer、分块Reducer。当存在多个Mapreduce任务相互依赖,前一个任务的输出作为后一个任务的输入时,最常见的实现方式是链式执行。它们的任务执行流程通常是:Mapper1、Reducer1、Mapper2、Reducer2。本发明的嵌套式任务可以通过以下两种方式来具体实现:1)任务重构:将分块map任务和网格map任务重构为一个前序Mapreduce任务,将网格reduce任务和分块reduce任务重构为一个后序Mapreduce任务;2)任务集成:将分块map任务和网格map任务集成为一个map任务,将网格reduce任务和分块reduce任务集成为一个reduce任务,系统将它们视为一个Mapreduce任务运行。
在分块MapReduce中,本发明基于Delaunay三角网进行大规模曲面拓扑重建,将地震数据划分为块,对单块进行小范围的曲面重建,在所有块的曲面恢复完成后再进行拼接处理,将单块进行组合形成整个大规模的空间三维曲面拓扑。分块MapReduce包括分块map任务和分块reduce任务;所述分块map任务具体为针对单块曲面进行重构,所述分块reduce任务具体为将重构好的单块曲面进行拼接。分块MapReduce的处理流程具体为:输入层位点数据、断层点数据及多边形数据;切分ID为1的块数据至ID为n的块数据;执行分块map任务进行曲面重建,得到ID为i的曲面数据;执行分块reduce任务进行曲面拼接,得到大规模曲面数据;输出大规模曲面数据。本发明采用分片线性曲面重建方法进行大规模地质曲面重建,对曲面的分片剖分方式是Delaunay三角剖分,这里的Delaunay三角网为本领域公知常识,本发明不做赘述。
本发明中分块Mapreduce的数据基本单元是小的地形块;首先Hadoop客户端会根据用户指定路径读取层位点数据、断层点数据和断层多边形数据文件;对于原始层位数据,将它们解析为<测线ID,测线点>形式的键值对;下一步,主节点将对每条测线进行逐一处理:根据用户设置的分块量级,把每条测线上的点映射到不同的块中,每个块形成一个<块ID,原始点>形式的键值对,并且把这个信息存储到文件里;对于断层信息,为了保证其完整性,不能直接根据块边界切分断层多边形的边或断层点。本发明的处理方法是判定哪些断层点归属于当前块,只要有一个断层点处于当前块内,则把该断层的全部信息放入该块。最终每个块的数据都由一个文件存储,它们都是<块ID,原始点+断层信息>形式的键值对,这些文件将被推送到HDFS文件系统上。随后分块Mapper会根据分到的任务,从HDFS文件系统上读取指定块数据,进行层位点数据预处理、网格生成、断层投影、Delaunay空间拓扑连接与恢复、网格点插值与平滑等步骤,对每个块进行分块曲面重建。最终输出<块ID,重建点>形式的键值对,作为每个块的地形数学表示,这些数据也会被存储到HDFS文件系统中。
本发明中分块Reducer接受分块Mapper处理后的数据,它把所有分块Mapper输出的<块ID,重建点>键值对读入,按照分块的逻辑位置关系,根据一定的拼接规则拼接起来,还原大规模曲面地形数据。分块Reducer最重要的是拼接时保证相邻块的边界一致性,并且结合周围点进行平滑,不至于显得突兀,最终处理完成的数据以文件的形式写入到HDFS文件系统或者主节点的网络硬盘中,供用户进行后续流程的处理。
在网格MapReduce中,本发明对单块小范围的曲面重建时,通过构建虚拟的网格点,将块内Delaunay划分为了按网格连接拓扑的任务。网格MapReduce包括网格map任务和网格reduce任务;所述网格map任务具体为网格内Delaunay三角拓扑连接任务,所述网格reduce任务具体为合并网格、形成块级别的Delaunay拓扑结构。这里的拓扑是2.5D的,含有多重点、多重边信息。网格MapReduce的处理流程具体为:输入分块网格数据;切分ID为1的网格数据至ID为m*n的网格数据;执行网格map任务进行Delaunay三角拓扑连接,得到ID为i的网格拓扑;执行网格reduce任务进行2.5D恢复,得到分块拓扑;输入分块拓扑数据。
本发明中网格Mapreduce的数据基本单元是小网格,首先控制程序将针对当前处理的块生成网格,网格的范围由块内点数据的最大最小X,Y值确定,然后横纵均匀切分,因此每个网格都是一个规整的矩形单元。有了网格线后,将块内所有的断层投影到小网格的边上,相交的位置称为断层投影点,最后的数据单元内包含网格顶点数据和断层投影点数据。每个网格的数据都以<网格ID,点数据>形式的键值对存储在文件里面,这些文件将被推送到HDFS文件系统上。网格Mapper读取HDFS文件系统中的网格数据,对网格内所有点数据采用分治法进行Delaunay三角剖分,构建Delaunay三角网,然后以文件的形式存储三角网。网格Mapper输出<网格ID,拓扑结构>形式的键值对,作为每个网格的拓扑数学表示,这些数据也会被存储到HDFS文件系统中。
本发明中网格Reducer接受网格Mapper处理后的数据,它把所有网格Mapper输出的<网格ID,拓扑结构>键值对读入,按照网格与当前Delaunay凸包的逻辑位置关系进行Delaunay拓扑合并,合并的目的是生成2.5D的空间Delaunay三角网,处理算法主要涉及重合边的合并以及多重边的分离和多重三角形的构建;最后,网格Reducer输出<块ID,Delaunay拓扑>形式的键值对,写入到HDFS文件系统中,供后续的流程处理。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于云计算的大规模曲面重建系统,其特征在于,包括部署有Hadoop框架的云计算平台,所述云计算平台包括主节点及从节点,所述从节点以心跳包的形式通过LAN与主节点通信连接;所述主节点用于对原始勘探数据进行切割、任务启动、跟踪和调度及曲面重建效果显示,其部署有Hadoop客户端、NameNode组件及JobTracker组件,所述Hadoop客户端用于根据用户指令与其它组件进行通信并完成曲面重建结果的处理,所述NameNode组件用于对HDFS文件系统中文件的元数据进行管理、维护HDFS文件系统的目录树并记录文件块被保存位置,所述JobTracker组件用于分发MapReduce任务至各个从节点;所述从节点用于进行数据存储和分块曲面重建,其部署有DataNode组件和TaskTracker组件,所述DataNode组件用于存储文件块的元数据并根据预设周期将存储的文件块的元数据发送至NameNode组件,所述TaskTracker组件用于接收JobTracker组件发送的MapReduce任务、读取DataNode组件存储的数据并进行处理、将处理结果返回至Hadoop客户端。
2.如权利要求1所述的基于云计算的大规模曲面重建系统,其特征在于,所述从节点包括数据预处理模块、网格构建模块、断层投影模块、Delaunay拓扑连接模块、插值平滑模块及数据存储模块;所述数据预处理模块用于对层位点的冗余点进行删除并测线组段,所述网格构建模块用于网格点生成及属性赋初值,所述断层投影模块用于多边形分段及分段投影,所述Delaunay拓扑连接模块用于2D拓扑生成及2.5D拓扑恢复,所述插值平滑模块用于网格点插值、断层点插值及整体平滑,所述数据存储模块用于保存曲面数据。
3.如权利要求2所述的基于云计算的大规模曲面重建系统,其特征在于,所述Hadoop框架的MapReduce任务包括分块MapReduce和网格MapReduce;所述分块MapReduce与网格MapReduce为嵌套式任务,分块MapReduce中包含网格MapReduce。
4.如权利要求3所述的基于云计算的大规模曲面重建系统,其特征在于,所述分块MapReduce具体为基于Delaunay三角网进行大规模曲面拓扑重建,将地震数据划分为块,对单块进行小范围的曲面重建,在所有块的曲面恢复完成后再进行拼接处理,将单块进行组合形成整个大规模的空间三维曲面拓扑。
5.如权利要求4所述的基于云计算的大规模曲面重建系统,其特征在于,所述分块MapReduce包括分块map任务和分块reduce任务;所述分块map任务具体为针对单块曲面进行重构,所述分块reduce任务具体为将重构好的单块曲面进行拼接。
6.如权利要求5所述的基于云计算的大规模曲面重建系统,其特征在于,所述网格MapReduce具体为对单块小范围的曲面重建时,通过构建虚拟的网格点,将块内Delaunay划分为了按网格连接拓扑的任务。
7.如权利要求6所述的基于云计算的大规模曲面重建系统,其特征在于,所述网格MapReduce包括网格map任务和网格reduce任务;所述网格map任务具体为网格内Delaunay三角拓扑连接任务,所述网格reduce任务具体为合并网格、形成块级别的Delaunay拓扑结构。
8.如权利要求6所述的基于云计算的大规模曲面重建系统,其特征在于,所述分块MapReduce与网格MapReduce为嵌套式任务具体为将分块map任务和网格map任务重构为一个前序MapReduce任务,将分块reduce任务和网格reduce任务重构为一个后序MapReduce任务。
9.如权利要求6所述的基于云计算的大规模曲面重建系统,其特征在于,所述分块MapReduce与网格MapReduce为嵌套式任务具体为将分块map任务和网格map任务集成为一个map任务,将分块reduce任务和网格reduce任务集成为一个reduce任务。
10.如权利要求8或9所述的基于云计算的大规模曲面重建系统,其特征在于,所述云计算平台还包括特殊从节点,所述特殊从节点部署有SecondaryNameNode组件、DataNode组件及TaskTracker组件,所述SecondaryNameNode组件用于对主节点进行备份。
CN201610826801.2A 2016-09-18 2016-09-18 基于云计算的大规模曲面重建系统 Pending CN106447775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610826801.2A CN106447775A (zh) 2016-09-18 2016-09-18 基于云计算的大规模曲面重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610826801.2A CN106447775A (zh) 2016-09-18 2016-09-18 基于云计算的大规模曲面重建系统

Publications (1)

Publication Number Publication Date
CN106447775A true CN106447775A (zh) 2017-02-22

Family

ID=58168044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610826801.2A Pending CN106447775A (zh) 2016-09-18 2016-09-18 基于云计算的大规模曲面重建系统

Country Status (1)

Country Link
CN (1) CN106447775A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846411A (zh) * 2017-11-24 2018-03-27 郑州云海信息技术有限公司 一种dns集群部署系统及方法
CN109655911A (zh) * 2017-10-11 2019-04-19 中国石油化工股份有限公司 基于WebService的地震数据可视化系统及方法
CN109752759A (zh) * 2019-01-31 2019-05-14 深圳大学 一种余震断层结构可视化的实现方法及系统
CN111724451A (zh) * 2020-06-09 2020-09-29 中国科学院苏州生物医学工程技术研究所 基于云计算的断层图像重建加速方法、系统、终端以及存储介质
CN113190526A (zh) * 2021-05-17 2021-07-30 中国铁路设计集团有限公司 基于大数据进行地形切断面并行计算方法及系统
CN114443883A (zh) * 2022-02-10 2022-05-06 北京永利信达科技有限公司 一种基于大数据和云计算的数据处理方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881048A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于点云裁剪的空间曲面生成方法
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法
CN105373426A (zh) * 2015-07-28 2016-03-02 哈尔滨工程大学 一种基于Hadoop的车联网内存感知实时作业调度方法
US20160070778A1 (en) * 2014-09-09 2016-03-10 Sas Institute Inc. Techniques for dynamic partitioning in a distributed parallel computational environment
US9305010B1 (en) * 2013-12-30 2016-04-05 Emc Corporation Virtual file system providing interface between analytics platform and physical file system
CN105824810A (zh) * 2015-01-04 2016-08-03 中国移动通信集团河北有限公司 一种Hadoop集群系统及数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881048A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于点云裁剪的空间曲面生成方法
US9305010B1 (en) * 2013-12-30 2016-04-05 Emc Corporation Virtual file system providing interface between analytics platform and physical file system
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法
US20160070778A1 (en) * 2014-09-09 2016-03-10 Sas Institute Inc. Techniques for dynamic partitioning in a distributed parallel computational environment
CN105824810A (zh) * 2015-01-04 2016-08-03 中国移动通信集团河北有限公司 一种Hadoop集群系统及数据处理方法
CN105373426A (zh) * 2015-07-28 2016-03-02 哈尔滨工程大学 一种基于Hadoop的车联网内存感知实时作业调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭仁通: "hadoop的核心技术研究或概述", 《科技广场》 *
杨硕: "面向复杂约束的大规模点云曲面重建研究与实现", 《中国优秀硕士学位论文全文数据库基础科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109655911A (zh) * 2017-10-11 2019-04-19 中国石油化工股份有限公司 基于WebService的地震数据可视化系统及方法
CN107846411A (zh) * 2017-11-24 2018-03-27 郑州云海信息技术有限公司 一种dns集群部署系统及方法
CN109752759A (zh) * 2019-01-31 2019-05-14 深圳大学 一种余震断层结构可视化的实现方法及系统
CN111724451A (zh) * 2020-06-09 2020-09-29 中国科学院苏州生物医学工程技术研究所 基于云计算的断层图像重建加速方法、系统、终端以及存储介质
CN113190526A (zh) * 2021-05-17 2021-07-30 中国铁路设计集团有限公司 基于大数据进行地形切断面并行计算方法及系统
CN114443883A (zh) * 2022-02-10 2022-05-06 北京永利信达科技有限公司 一种基于大数据和云计算的数据处理方法、系统及介质
CN114443883B (zh) * 2022-02-10 2023-07-21 广州分布式软件有限责任公司 一种基于大数据和云计算的数据处理方法、系统及介质

Similar Documents

Publication Publication Date Title
CN106447775A (zh) 基于云计算的大规模曲面重建系统
Tu et al. Scalable parallel octree meshing for terascale applications
CN103500468B (zh) 基于边界约束的空间曲面重建方法
CN105184867B (zh) 基于规则格网和角点网格技术的三维地层建模方法
FR2987138A1 (fr) Titre non renseigne.
CN104240300B (zh) 基于分布式并行的大规模点云复杂空间曲面重构方法
CN103413297A (zh) 基于一体化三维gis模型的切割方法
WO2021139488A1 (zh) 空间分析任务的处理方法、装置、计算机设备和存储介质
Nguyen et al. B-EagleV: visualization of big point cloud datasets in civil engineering using a distributed computing solution
US20240185522A1 (en) Method for generating a hexahedral mesh
US5982707A (en) Method and apparatus for determining geologic relationships for intersecting faults
CN101609565A (zh) 基于L-Rep模型的三维实体布尔运算方法
Perticarini et al. Two methods of optimization for an ar project: Mesh retopology and use of PBR materials
Yaubatyrov et al. Grid cluster in the office: high-performance computing for reservoir management
Le Hoang Son et al. Developing JSG framework and applications in COMGIS project
Wu et al. An automatic three-dimensional geological engineering modeling method based on tri-prism
Martínez et al. Virtual representation of terrain through the web with VRML-Web3D and graphic libraries
CN100440258C (zh) 地层和断层数据网格自动生成的系统和方法
Zhang et al. A methodology for 3D modeling and visualization of geological objects
Kurzbach Flood modeling in spatial data and grid infrastructures
Liang et al. Design and Implementation of Online Exhibition Hall for Transportation Achievements Based on Web GL
Hazegh et al. A framework for automatic modeling of underground excavations and optimizing three‐dimensional boundary and finite element meshes derived from them—framework
Li et al. Study on a general cutting algorithm of complex blocks
Margetts et al. Parallel processing of excavation in soils with randomly generated material properties
Gong et al. Advancements in digital twin modeling for underground spaces and lightweight geometric modeling technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222