CN113609238A - 基于Hadoop平台的地理实体空间数据的处理方法及存储介质 - Google Patents
基于Hadoop平台的地理实体空间数据的处理方法及存储介质 Download PDFInfo
- Publication number
- CN113609238A CN113609238A CN202110840139.7A CN202110840139A CN113609238A CN 113609238 A CN113609238 A CN 113609238A CN 202110840139 A CN202110840139 A CN 202110840139A CN 113609238 A CN113609238 A CN 113609238A
- Authority
- CN
- China
- Prior art keywords
- data
- source data
- source
- layer
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004140 cleaning Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种基于Hadoop平台的地理实体空间数据的处理方法及存储介质,涉及数据处理技术领域,包括获取多个待处理的源数据,所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据;通过预先构建的数据仓库接收所述源数据并作存储与任务处理,得到目标源数据处理结果,所述数据仓库包括贴源层、原子层、汇总层以及数据集市层;当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过服务接口将所述目标源数据处理结果传输至用户终端。通过本申请解决了现有地理实体空间数据存取效率低与数据处理难度较大的问题,提升了地理实体空间数据存储读取的效率,实现了高并发用户对海量数据的高效访问。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种基于Hadoop平台的地理实体空间数据的处理方法及存储介质。
背景技术
随着信息技术的应用,全球数据量呈几何级数增长。过去几年间的数据总量超过了人类历史上的数据总和。芯片、摄像头、各自传感器遍布世界各个角落,各类数据监测应用(以北斗为例)正在向室内、水底和深空的PNT(定位、导航和授时)方向不断发展。其中,在商城、医院以及城市轨道交通等非暴露空间更是拥有极其广泛的用途。
当前,为满足智慧城市和智慧交通对于精确定位技术的迫切需求,以地铁为代表的非暴露空间为例,对数据的精准要求达到了精确到秒的程度。随着城市的地铁路线条数修筑越多,数据来源也变得更加广泛,大量数据正在飞速增长,并且硬件更新的速度远远跟不上目前数据采集和使用的速度,导致地理实体空间数字化数据存储和处理难度一再上升,导致高并发用户对于地理实体空间数字化数据的访问效率不高。
发明内容
为解决现有数据存取效率低与数据处理难度较大的问题,本申请提出一种基于Hadoop平台的地理实体空间数据的处理方法及存储介质。
第一方面,本申请提供一种基于Hadoop平台的地理实体空间数据的处理方法,包括:
获取多个待处理的源数据,所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据;
通过预先构建的数据仓库接收所述源数据并作存储与任务处理,得到目标源数据处理结果,所述数据仓库包括贴源层、原子层、汇总层以及数据集市层;
当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过服务接口将所述目标源数据处理结果传输至所述用户终端。
通过采用上述技术方案,接收获取到多个待处理的源数据;然后将源数据输入构建好的数据仓库中进行存储与任务处理,得到目标源数据处理结果;最后将目标源数据处理结果传输至用户终端,以供用户分析处理后的目标源数据处理结果。提高了数据的存储效率,针对较为复杂的数据也能快速处理,也提高了数据访问时的检索效率,并且处理后的数据质量也能得到保证。
优选的,所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤,包括:
通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据;
将所述第一源数据传输至所述原子层进行存储,得到第三源数据;
通过所述汇总层对存储在所述原子层的第三源数据进行汇总,得到第四源数据;
将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
通过采用上述技术方案,将源数据进入数据仓库中的贴源层作清洗与过滤处理后,还可直接将清洗后的第一源数据直接传输盒子汇总层作数据汇总处理,得到第四源数据,然后将第四源数据输入数据集市层作并行计算处理,得到目标源数据处理结果。使得目标源数据处理结果的计算过程更加简单,提高了数据处理的效率。
优选的,所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤,还包括:
通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据;
通过所述汇总层直接对所述第一源数据进行汇总,得到第四源数据;
将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
通过采用上述技术方案,首先将源数据输入数据仓库中的贴源层作清洗与过滤处理,并将清洗后的第一源数据输入原子层作存储处理,得到第三源数据,然后通过汇总层对存储在原子层的第三源数据进行汇总,得到第四源数据,最后将第四源数据输入数据集市层作并行计算处理,得到目标源数据处理结果,使得目标源数据处理结果的计算过程简单,且不易出现误差。
优选的,通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤,包括:
按照预设规则对源数据进行清洗与过滤;
将符合预设规则的源数据设为第一源数据,并将所述第一源数据存储在Hadoop平台;
将不符合预设规则的源数据设为第二源数据,并将所述第二源数据存储在HBsae平台。
通过采用上述技术方案,按照预设规则在贴源层对获取到的源数据作清洗与过滤处理,将符合预设规则的源数据设为第一源数据,并将其存储在Hadoop平台;将不符合预设规则的源数据设为第二源数据,并将其存储在HBsae平台,用于保持数据的原始性与完整性。
优选的,将所述第一源数据传输至所述原子层进行存储的具体步骤,包括:
将所述第一源数据中同一性质的物体分为一类;
根据每种源数据的数据属性获取其地理位置属性;
建立每种源数据之间的拓扑关系,所述拓扑关系包括相邻关系与相接关系;
将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。
通过采用上述技术方案,对存储存在原子层的第一源数据按同一性质的物体进行分类,根据每种源数据的数据属性获取其地理位置属性,并建立每种源数据之间的拓扑关系,最终以数据属性的形式存储为地理实体空间数字化数据,提高了数据存储读取的效率。
优选的,所述汇总层对源数据进行汇总的具体步骤,包括:
根据所述地理位置属性,对所述贴源层与所述原子层的源数据进行汇总并作反范处理;
将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。
通过采用上述技术上方案,能够通过地理位置属性,将所述地理实体空间数字化数据与贴源层与原子层的源数据进行汇总,保证了所有数据均能在汇总层得到汇总,不会造成其他数据的遗失,且数据更具有直观性,能够让业务用户通过数据直观了解到所需要的信息。
优选的,所述汇总层对源数据进行汇总的具体步骤,还包括:
根据所述数据集市层的查询需求,对所述贴源层与所述原子层的源数据进行汇总。
通过采用上述技术上方案,还可根据数据集市层的查询需求,对所述贴源层与所述原子层的源数据进行汇总,增加了数据汇总途径的多样性,还能能适应添加更多数据源、支持更多分析的需求,能支持进一步的更新和升级,具有足够的灵活性。
优选的,所述数据集市层根据不同的业务环境及用户需求,将所述汇总层汇总的数据作并行计算处理,得到所述目标源数据处理结果。
通过采用上述技术方案,实现了海量数据通过网络接口快速发送至用户终端。
优选的,将所述目标源数据处理结果作可视化处理,当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端,以供用户观察分析。
通过采用上述技术方案,将目标源数据处理结果作可视化处理,使得用户观察分析处理结果能够能更加清楚明晰。
第二方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于Hadoop平台的地理实体空间数据的处理方法的步骤。
通过采用上述技术方案,将上述数据处理方法以计算机可读代码的形式呈现并存储于存储器内,在处理器运行存储器内的计算机可读代码时,执行上述数据处理方法的步骤以获取高质量的地理实体空间数据的处理结果,同时提升了地理实体空间数据处理的效率。
本申请带来了以下有益效果:
本申请所述的一种基于Hadoop平台的地理实体空间数据的处理方法及存储介质,包括获取多个待处理的源数据,所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据;构建数据仓库,将所述源数据输入所述数据仓库进行存储与任务处理,得到目标源数据处理结果,所述数据仓库包括贴源层、原子层、汇总层以及数据集市层;将所述目标源数据处理结果传输至用户终端。通过本申请解决了现有数据存取效率低与数据处理难度较大的问题,提升了地理实体空间数据存储读取的效率,使得数据具有能够方便地存取信息、使用一致的形式展示信息以及能够适应变化和能够及时展示信息的特点,实现了高并发用户对海量数据的高效访问。
附图说明
图1为本申请提供的基于Hadoop平台的地理实体空间数据的处理方法的概括流程图;
图2为本申请提供的基于Hadoop平台的地理实体空间数据的处理方法的流程图之一;
图3为本申请提供的基于Hadoop平台的地理实体空间数据的处理方法的流程图之二;
图4为本申请提供的源数据进入贴源层进行数据清洗与过滤的流程图;
图5为本申请提供的源数据输入原子层进行存储的流程图;
图6为本申请提供的源数据在汇总层层进行汇总的流程图;
图7为本申请提供的基于Hadoop平台的地理实体空间数据的处理方法的具体流程图。
具体实施方式
以下结合附图对本申请的技术方案请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护,为使本申请实施例的目的、技术方案和有点更加清楚、下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完成地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请一实施例提供一种基于Hadoop平台的地理实体空间数据的处理方法,如图1所示,包括:
步骤S10,获取多个待处理的源数据,所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据。
这里的多个待处理源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据,其中,源数据的输入格式包括rvt文件、ifc文件、clm文件、las文件以及csv等文件。以rvt文件格式与ifc文件格式为例,作举例说明,已知上述两种文件格式均为BIM模型的数据格式,其中,rvt的英文全称为Revit,Revit项目文件的内容集成与数据编纂规范均用专有的Autodesk和Revit应用程序,而这些Revit项目文件也实施与编码标准agian专有Autodesk和用于RVT文件格式。ifc文件格式是用Industry Foundation Classes文件格式创建的模型文件,可以实用BIM成熟打开流程,IFC文件格式包括三维建筑物或设施,也包括空间的元素、材料和形状。主要是面向建筑工程领域,主要是在工业与民用建筑上,且ifc的标准是公开且开放的,还是数据交换的标准,能够用于异质系统交换和共享数据。
步骤S20,通过预先构建的数据仓库接收所述源数据并作存储与任务处理,得到目标源数据处理结果,所述数据仓库包括贴源层、原子层、汇总层以及数据集市层。
当多个待处理的源数据输入数据仓库后,首先在贴源层对源数据的数据进行清理,这里的贴源层相当于源数据进入数据仓库的数据缓冲区,但并不是说贴源层的数据就与原来的一模一样不变了,且数据清洗是贯穿整个数据仓库的全流程的,并不是仅仅停留在贴源层。然后将清洗后的源数据的数据输入原子层进行分类存储,并在汇总层进行数据汇总。或者不经过原子层,直接将贴源层清洗后数据直接传输至汇总层作汇总处理,最后通过数据集市层对汇总后的数据作并行计算处理,得到目标源数据处理结果。
步骤S30,当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过服务接口将所述目标源数据处理结果传输至所述用户终端。
当获取到的多个待处理的源数据输入数据仓库处理后,得到目标源数据处理结果,然后对将海量的目标源数据处理结果作可视化处理,得到可视化的处理结果,使得数据结果更加清楚明晰,数据仓库通过服务接口将目标源数据处理结果传输至用户终端,以供用户分析判断。
如图2所示,所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤,包括:
步骤S202,通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据。
步骤S204,将所述第一源数据传输至所述原子层进行存储,得到第三源数据。
步骤S206,通过所述汇总层对存储在所述原子层的第三源数据进行汇总,得到第四源数据。
步骤S208,将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
在本实施例中,当将获取到的待处理源数据输入至数据仓库时,首先需要进入数据参考的贴源层进行数据清洗与过滤,得到第一源数据;然后将第一源数据传输至原子层,以体为对象进行存储,得到第三源数据。当第三源数据完成在原子层的数据存储后,再通过汇总层对存储在原子层的第三源数据作汇总处理,得到第四源数据。最后再将第四源数据输入数据集市层作并行处理,得到目标源数据处理结果。
进一步地,将所述源数据输入所述数据仓库进行存储与任务处理的具体步骤,如图3所示,还包括:
步骤S202,通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据。
步骤S203,通过所述汇总层直接对所述第一源数据进行汇总,得到第四源数据。
步骤S208,将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
在本实施例中,还可将经贴源层清洗处理后的第一源数据直接传输至汇总层作汇总处理,得到第四源数据。最后再将第四源数据输入数据集市层作并行处理,得到目标源数据处理结果。在实际操作中,可以根据源数据复杂程度以及存储需求,决定源数据在数据仓库中的处理流程。
进一步地,通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤,如图4所示,步骤S202包括:
步骤S2021,按照预设规则对源数据进行清洗与过滤。
步骤S2022,将符合预设规则的源数据设为第一源数据,并将所述第一源数据存储在Hadoop平台。
步骤S2023,将不符合预设规则的源数据设为第二源数据,并将所述第二源数据存储在HBsae平台。
在本实施例中,首先对进入贴源层的源数据按照预设规则进行清洗与过滤,将清洗过后符合预设规则的源数据设为第一源数据,并将其存储在Hadoop平台。需要说明的是,此处的预设规则是将获取到的源数据中一些低级错误清除掉,但为了保持数据的原始性和完整性,仍需将清洗过滤后不符合预设规则的源数据设为第二源数据,并将其存储在HBsae平台。
进一步地,将所述第一源数据传输至所述原子层进行存储的具体步骤,如图5所示,步骤S204包括:
步骤S2041,将所述第一源数据中同一性质的物体分为一类;
步骤S2042,根据每种源数据的数据属性获取其地理位置属性;
步骤S2043,建立每种源数据之间的拓扑关系,所述拓扑关系包括相邻关系与相接关系;
步骤S2044,将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。
需要说明的是,地理实体是地理数据库中的实体,是指在现实世界中再也不能划分为同类现象的现象,是一种与现实的地理世界保持一定相似性的实体模型。当被清洗后的第一源数据传输至原子层后,首先将源数据中同一性质的物体分为一类,以非暴露空间的实体模型的中栏杆、门、天花板、墙、楼梯、支撑柱、座椅以及闸门等为例,将不同类别下的现实中的物体进行分类归纳,然后根据每种数据的数据属性获得其地理位置属性,如天花板的设置位置与其合理的离地高度,以及楼梯的台阶数与整体高度等相关数据属性。还可以将相关数据属性输入三维坐标系,即x、y、z坐标中,同时确立每个数据间的拓扑关系,例如相邻、相接等关系,最后按照属性表的形式储存为地理实体空间数字化数据,使得数据更加清晰,不再是抽象的实物数据。
进一步地,所述汇总层对源数据进行汇总的具体步骤,如图6所示,步骤S206包括:
步骤S2061,根据所述地理位置属性,对所述贴源层与所述原子层的源数据进行汇总并作反范处理;
步骤S2062,将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。
步骤S2063,根据所述数据集市层的查询需求,对所述贴源层与所述原子层的源数据进行汇总。
在本实施例中,可以根据数据集市层的数据需求,查询需要的相关数据,对贴源层与原子层的源数据进行汇总,或者根据地理位置属性,对贴源层与原子层的源数据进行汇总以及适当的反范,还可将地理实体空间数字化数据与贴源层与原子层的源数据进行汇总,用于保障原子层与贴源层的数据均得到汇总,最后将汇总后的数据传输至数据集市层作并行计算处理。
具体来说,数据集市层根据不同的业务环境及用户需求,将所述汇总层汇总的数据作并行计算处理,得到所述目标源数据处理结果。然后将所述目标源数据处理结果作可视化处理,当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端,以供用户分析处理后的数据结果。实现了海量数据通过各类服务接口快速发送至用户终端,使得分析数据更具有直观性。
综上所述,如图7所示,首先对非暴露空间的地理实体进行三维数字化处理,得到数量庞大的空间数据且庞大的空间数据以rvt、ifc、clm、las以及csv等文件格式存储在源数据,然后获取多个源数据并将其传输至数据仓库中,并首先进入贴源层进行数据清洗与过滤,同时将三维数字处理明显错误的数据清洗过滤,得到清洗后的BIM数据、点云数据以及CAD线图数据等。然后将清洗后的源数据传输至原子层,并以体为对象,按照物体的同一性质进行分类,以非暴露空间中的栏杆、门、天花板、墙、楼梯、支撑柱、座椅以及闸门等为例,将不同类别下的现实中的物体进行分类归纳,最后以属性表的形式储存为地理实体空间数字化数据。然后将原子层存储之后的数据传输至汇总层作汇总处理;或者直接将贴源层处理后的数据直接传输至汇总层作汇总处理,以空间数字化数据所对应的四惠站、复兴门、呼家楼、王府井以及宋家庄等为例,将不同空间下的数据作汇总收集,使得数据处理效率更高。最后将汇总后的数据传输至数据集市层作并行计算处理,得到目标源数据处理结果,同时对目标源数据处理结果作可视化处理,当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端,以供用户观察分析。通过本申请提高了数据访问时的检索效率,使得海量地理实体空间数字化数据高并发访问能够实现。
基于上述同一发明构思,本申请实施例提供一种计算机可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行基于Hadoop平台的地理实体空间数据的处理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本申请实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,包括:
获取多个待处理的源数据,所述源数据包括BIM数据、点云数据、CAD线划图数据以及全系影像数据;
通过预先构建的数据仓库接收所述源数据并作存储与任务处理,得到目标源数据处理结果,所述数据仓库包括贴源层、原子层、汇总层以及数据集市层;
当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过服务接口将所述目标源数据处理结果传输至用户终端。
2.根据权利要求1所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤,包括:
通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据;
将所述第一源数据传输至所述原子层进行存储,得到第三源数据;
通过所述汇总层对存储在所述原子层的第三源数据进行汇总,得到第四源数据;
将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
3.根据权利要求2所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,所述数据仓库在接收到所述源数据进行存储与任务处理的具体步骤,还包括:
通过所述贴源层对所述源数据作数据清洗与过滤后,得到第一源数据;
通过所述汇总层直接对所述第一源数据进行汇总,得到第四源数据;
将所述第四源数据输入所述数据集市层作并行计算处理,得到所述目标源数据处理结果。
4.根据权利要求3所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,通过所述贴源层对所述源数据作数据清洗与过滤的具体步骤,包括:
按照预设规则对源数据进行清洗与过滤;
将符合预设规则的源数据设为第一源数据,并将所述第一源数据存储在Hadoop平台;
将不符合预设规则的源数据设为第二源数据,并将所述第二源数据存储在HBsae平台。
5.根据权利要求2所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,将所述第一源数据传输至所述原子层进行存储的具体步骤,包括:
将所述第一源数据中同一性质的物体分为一类;
根据每种源数据的数据属性获取其地理位置属性;
建立每种源数据之间的拓扑关系,所述拓扑关系包 括相邻关系与相接关系;
将所述第一源数据以所述数据属性的形式存储为地理实体空间数字化数据。
6.根据权利要求5所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,所述汇总层对源数据进行汇总的具体步骤,包括:
根据所述地理位置属性,对所述贴源层与所述原子层的源数据进行汇总并作反范处理;
将所述地理实体空间数字化数据与所述贴源层与所述原子层的源数据进行汇总。
7.根据权利要求6所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,所述汇总层对源数据进行汇总的具体步骤,还包括:
根据所述数据集市层的查询需求,对所述贴源层与所述原子层的源数据进行汇总。
8.根据权利要求7所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,所述数据集市层根据不同的业务环境及用户需求,将所述汇总层汇总的数据作并行计算处理,得到所述目标源数据处理结果。
9.根据权利要求1或8所述的基于Hadoop平台的地理实体空间数据的处理方法,其特征在于,将所述目标源数据处理结果作可视化处理,当有多个用户终端需要读取所述目标源数据处理结果时,所述数据仓库通过所述服务接口将所述目标源数据处理结果传输至所述用户终端,以供用户观察分析。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述基于Hadoop平台的地理实体空间数据的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840139.7A CN113609238A (zh) | 2021-07-24 | 2021-07-24 | 基于Hadoop平台的地理实体空间数据的处理方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840139.7A CN113609238A (zh) | 2021-07-24 | 2021-07-24 | 基于Hadoop平台的地理实体空间数据的处理方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113609238A true CN113609238A (zh) | 2021-11-05 |
Family
ID=78338245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110840139.7A Pending CN113609238A (zh) | 2021-07-24 | 2021-07-24 | 基于Hadoop平台的地理实体空间数据的处理方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113609238A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101685465A (zh) * | 2009-08-21 | 2010-03-31 | 苏州市数字城市工程研究中心有限公司 | 用于综合管网地理信息系统的一体化三维数据建模方法 |
US20140195558A1 (en) * | 2013-01-07 | 2014-07-10 | Raghotham Murthy | System and method for distributed database query engines |
US20150081619A1 (en) * | 2013-09-19 | 2015-03-19 | Platfora, Inc. | Systems and Methods for Interest-Driven Business Intelligence Systems Including Geo-Spatial Data |
US20180336224A1 (en) * | 2017-05-19 | 2018-11-22 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hash-based synchronization of geospatial vector features |
CN110119391A (zh) * | 2019-05-14 | 2019-08-13 | 重庆八戒传媒有限公司 | 一种基于服务数据的数据仓库创建方法及数据仓库 |
CN110990390A (zh) * | 2019-12-02 | 2020-04-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 数据协同处理方法、装置、计算机设备和存储介质 |
US10733157B1 (en) * | 2015-06-26 | 2020-08-04 | Groupon, Inc. | Hybrid data integration platform |
CN112231301A (zh) * | 2020-10-21 | 2021-01-15 | 黄河水利委员会黄河水利科学研究院 | 黄河水沙变化数据仓库 |
CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
CN112527945A (zh) * | 2021-02-10 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种地理空间大数据处理方法及装置 |
-
2021
- 2021-07-24 CN CN202110840139.7A patent/CN113609238A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101685465A (zh) * | 2009-08-21 | 2010-03-31 | 苏州市数字城市工程研究中心有限公司 | 用于综合管网地理信息系统的一体化三维数据建模方法 |
US20140195558A1 (en) * | 2013-01-07 | 2014-07-10 | Raghotham Murthy | System and method for distributed database query engines |
US20150081619A1 (en) * | 2013-09-19 | 2015-03-19 | Platfora, Inc. | Systems and Methods for Interest-Driven Business Intelligence Systems Including Geo-Spatial Data |
US10733157B1 (en) * | 2015-06-26 | 2020-08-04 | Groupon, Inc. | Hybrid data integration platform |
US20180336224A1 (en) * | 2017-05-19 | 2018-11-22 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hash-based synchronization of geospatial vector features |
CN110119391A (zh) * | 2019-05-14 | 2019-08-13 | 重庆八戒传媒有限公司 | 一种基于服务数据的数据仓库创建方法及数据仓库 |
CN110990390A (zh) * | 2019-12-02 | 2020-04-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 数据协同处理方法、装置、计算机设备和存储介质 |
CN112231301A (zh) * | 2020-10-21 | 2021-01-15 | 黄河水利委员会黄河水利科学研究院 | 黄河水沙变化数据仓库 |
CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
CN112527945A (zh) * | 2021-02-10 | 2021-03-19 | 中关村科学城城市大脑股份有限公司 | 一种地理空间大数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102123450B1 (ko) | Bim 데이터를 이용한 건축 공사 시방서 생성 방법, 이를 수행하기 위한 기록매체 및 시스템 | |
KR102160990B1 (ko) | 객체 기반의 3d 도시 모델링 방법 및 이를 구현하는 서버, 그리고 이를 이용하는 시스템 | |
CN112465968B (zh) | 用于定位导航的建筑物地图混合数据模型的构建方法 | |
CN112861972A (zh) | 一种展业区域的选址方法、装置、计算机设备和介质 | |
CN107392252A (zh) | 计算机深度学习图像特征并量化感知度的方法 | |
Mika | Interoperability cadastral data in the system approach | |
CN106842193A (zh) | 道路检测信息的处理方法、装置和系统 | |
Tobiáš | An Investigation into the Possibilities of BIM and GIS Cooperation and Utilization of GIS in the BIM Process | |
D’Amico et al. | Built environment typologies prone to risk: a cluster analysis of open spaces in Italian cities | |
CN106022634A (zh) | 基于大数据分析的基坑风险管理方法与系统 | |
CN114048943A (zh) | 一种基于无人机bim和swmm的城市内涝分析方法、装置及介质 | |
CN111221867A (zh) | 一种保护性建筑信息管理系统 | |
Yu et al. | A dynamic evacuation simulation framework based on geometric algebra | |
No et al. | Balancing hazard exposure and walking distance in evacuation route planning during earthquake disasters | |
CN109523430A (zh) | 一种旅游虚拟现实系统 | |
CN113780475B (zh) | 一种基于gis环境下山岭隧道模型融合方法 | |
Slingsby et al. | Navigable space in 3D city models for pedestrians | |
Hidalgo-Sánchez et al. | 3D GIS semi-automatized modelling procedure for the conservation of the PHiM: Heritage municipal buildings of Seville (Spain). A new dimension for urban cultural data management | |
Mubea et al. | Spatial effects of varying model coefficients in urban growth modeling in Nairobi, Kenya | |
Thong et al. | Using GIS to design a traffic information database for urban transport planning | |
Ma et al. | OSMsc: a framework for semantic 3D city modeling using OpenStreetMap | |
CN113609238A (zh) | 基于Hadoop平台的地理实体空间数据的处理方法及存储介质 | |
CN114820960B (zh) | 构建图谱的方法、装置、设备和介质 | |
Musungu | Assessing spatial data quality of participatory GIS studies: A case study in Cape Town | |
Leplat et al. | GENOR: A Generic Platform For Indicator Assessment In City Planning. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |