CN112199429A - 一种基于分布式架构的空间数据转换方法 - Google Patents
一种基于分布式架构的空间数据转换方法 Download PDFInfo
- Publication number
- CN112199429A CN112199429A CN202011078340.8A CN202011078340A CN112199429A CN 112199429 A CN112199429 A CN 112199429A CN 202011078340 A CN202011078340 A CN 202011078340A CN 112199429 A CN112199429 A CN 112199429A
- Authority
- CN
- China
- Prior art keywords
- task
- spatial data
- data
- processor
- nifi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 238000013441 quality evaluation Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 3
- 238000011550 data transformation method Methods 0.000 claims 5
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于分布式架构的空间数据转换方法，涉及数据处理技术领域，其实现包括：首先，基于开源的nifi和kafka技术，采用B/S架构，将空间数据进行分布式集群部署；随后，通过浏览器访问部署有空间数据的服务器，并执行如下操作：在任务管理页面，基于空间数据创建任务，在任务列表，选取需要调度的任务，在任务调度页面，启动选取的任务，调用nifi数据流模板，创建nifi任务，并把空间数据传递给nifi处理器；最后，nifi处理器创建数据库连接、拆分数据处理任务、kafka处理器分发任务，nifi处理器还并发执行数据处理任务、质量评估，实现空间数据的快速转换。本发明可以把空间数据快速方便的从SDE数据库中导出并转换成shapefile文件，提高空间数据的处理效率。
Description
技术领域
本发明涉及空间数据技术领域，具体的说是一种基于分布式架构的空间数据转换方法。
背景技术
空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据，它可以用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性。
随着国家对信息化的重视和数据中国的发展，GIS(地理信息系统)作为数据分析，数据二三维直观展示，在国土、水利、交通、农业和智慧城市等领域等到了广泛应用，用于辅助支持决策规划。且各部门间存在空间数据交换共享的需求，空间数据主要以shapefile的形式，进行交换，但随着GIS数据量越来越大，传统的GIS工具在处理空间数据时就遇到了性能瓶颈。存储在SDE数据库中的大批量空间数据导成shapefile需要花费很长时间，效率比较低下。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于分布式架构的空间数据转换方法，把空间数据快速方便的从SDE数据库中导出并转换成shapefile文件，并在导出的过程中对数据进行过滤、转换和质量评估。
本发明的一种基于分布式架构的空间数据转换方法，解决上述技术问题采用的技术方案如下：
一种基于分布式架构的空间数据转换方法，首先，基于开源的nifi和kafka技术，采用B/S架构，将空间数据进行分布式集群部署；
随后，通过浏览器访问部署有空间数据的服务器，并执行如下操作：
在任务管理页面，基于空间数据创建任务，
在任务列表，选取需要调度的任务，
在任务调度页面，启动选取的任务，调用nifi数据流模板，创建nifi任务，并把空间数据传递给nifi处理器；
最后，nifi处理器创建数据库连接、拆分数据处理任务、kafka处理器分发任务，nifi处理器还并发执行数据处理任务、质量评估，实现空间数据的快速转换。
进一步的，在创建任务之前，需要定义评估规则，通过评估规则对空间数据的质量进行检查，随后基于通过检查的空间数据来创建任务。
更进一步的，所涉及评估规则包括拓扑规则、编码规则和元数据三方面，其中：
拓扑规则压要求不能有悬挂点、不能重叠、不能相交，依据拓扑规则对空间数据进行评估时，需要进行相应的拓扑检查，并在页面展示拓扑检查结果，
依据编码规则对空间数据进行评估时，需要检查字段的字段值和值域是否符合标准，检查结果在页面进行展示，
依据元数据对空间数据进行评估时，会根据数据标准来图层的字段是否缺失、字段的类型是否符合标准，最终的检查结果会在页面展示。
进一步的，在任务管理页面，基于空间数据，通过填写任务信息、选择数据源信息和处理内容，来创建任务；
创建任务这一过程中，处理内容包括字段过滤、投影变换、面积计算、图形匹配。
更进一步的，所涉及nifi处理器包括TaskConfigProcessor处理器、GetFeatureProcessor处理器、LayerBlockProcessor处理器、kafkaPublish处理器；
把空间数据传递给nifi处理器后，TaskConfigProcessor处理器接收任务参数转为数据流传递给GetFeatureProcessor处理器，GetFeatureProcessor处理器创建SDE连接并计算出图层要素数和最大ObjectID，并写入数据流中传给LayerBlockProcessor处理器，LayerBlockProcessor处理器根据配置拆分成多个任务，形成多个数据流写入kafkaPublish处理器中。
更进一步的，所涉及TaskConfigProcessor处理器、GetFeatureProcessor处理器、LayerBlockProcessor处理器、kafkaPublish处理器运行在集群的主节点。
更进一步的，所涉及nifi处理器还包括kafkaConsumer处理器、SdeToShpProcessor处理器；
集群中的所有节点单线程运行kafkaConsumer处理器，并发运行SdeToShpProcessor处理器读取数据流，进行数据处理，根据数据流中的内容来判断是否进行投影变换、面积计算和字段过滤。
更进一步的，设置任务监控模块，一方面对访问部署有空间数据的服务器和nifi处理器的过程进行实时监控和报错，另一方面获取SDE数据库中空间数据导成shapefile文件的执行时长、执行结果和shapefile文件的存放目录。
优选的，所涉及空间数据来自arcgis、supermap和mapgis任一GIS平台。
本发明的一种基于分布式架构的空间数据转换方法，与现有技术相比具有的有益效果是：
1)本发明基于开源的nifi和kafka技术，采用B/S架构，分布式并发转换空间数据，可以把空间数据快速方便的从SDE数据库中导出并转换成shapefile文件，并在导出的过程中对数据进行过滤、转换和质量评估；
2)本发明应用简单，只需要简单的填写任务信息、选择数据源信息和处理内容就可以创建任务，在任务列表调度任务就可以了，相较于arcgis desktop等GIS相关产品操作简单很多；
3)本发明设置有务监控模块，一方面对访问部署有空间数据的服务器和nifi处理器的过程进行实时监控和报错，另一方面获取SDE数据库中空间数据导成shapefile文件的执行时长、执行结果和shapefile文件的存放目录。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
本实施例提出一种基于分布式架构的空间数据转换方法，其实现过程如下：
(一)首先，基于开源的nifi和kafka技术，采用B/S架构，将空间数据进行分布式集群部署。
本实施例所述空间数据来自arcgis、supermap和mapgis任一GIS平台。
(二)随后，通过浏览器访问部署有空间数据的服务器，并执行如下操作：
(1)定义评估规则，通过评估规则对空间数据的质量进行检查。
本实施例定义的评估规则包括拓扑规则、编码规则和元数据三方面，其中：
拓扑规则压要求不能有悬挂点、不能重叠、不能相交，依据拓扑规则对空间数据进行评估时，需要进行相应的拓扑检查，并在页面展示拓扑检查结果，
依据编码规则对空间数据进行评估时，需要检查字段的字段值和值域是否符合标准，检查结果在页面进行展示，
依据元数据对空间数据进行评估时，会根据数据标准来图层的字段是否缺失、字段的类型是否符合标准，最终的检查结果会在页面展示。
(2)在任务管理页面，基于通过检查的空间数据，通过填写任务信息、选择数据源信息和处理内容，来创建任务。
创建任务这一过程中，处理内容包括字段过滤、投影变换、面积计算、图形匹配。
(3)在任务列表，选取需要调度的任务。
(4)在任务调度页面，启动选取的任务，调用nifi数据流模板，创建nifi任务，并把空间数据传递给nifi处理器。
(三)最后，nifi处理器创建数据库连接、拆分数据处理任务、kafka处理器分发任务，nifi处理器还并发执行数据处理任务、质量评估，实现空间数据的快速转换。
本实施例中，nifi处理器包括TaskConfigProcessor处理器、GetFeatureProcessor处理器、LayerBlockProcessor处理器、kafkaPublish处理器，kafkaConsumer处理器、SdeToShpProcessor处理器。
把空间数据传递给nifi处理器后，TaskConfigProcessor处理器接收任务参数转为数据流传递给GetFeatureProcessor处理器，GetFeatureProcessor处理器创建SDE连接并计算出图层要素数和最大ObjectID，并写入数据流中传给LayerBlockProcessor处理器，LayerBlockProcessor处理器根据配置拆分成多个任务，形成多个数据流写入kafkaPublish处理器中。TaskConfigProcessor处理器、GetFeatureProcessor处理器、LayerBlockProcessor处理器、kafkaPublish处理器运行在集群的主节点。
集群中的所有节点单线程运行kafkaConsumer处理器，并发运行SdeToShpProcessor处理器读取数据流，进行数据处理，根据数据流中的内容来判断是否进行投影变换、面积计算和字段过滤。
实施例二：
在实施例一的结构基础上，本实施例提出一种基于分布式架构的空间数据转换方法，其包括监控步骤(二)、(三)进程的任务监控模块。
任务监控模块一方面对访问部署有空间数据的服务器和nifi处理器的过程进行实时监控和报错，另一方面获取SDE数据库中空间数据导成shapefile文件的执行时长、执行结果和shapefile文件的存放目录。
综上可知，采用本发明的一种基于分布式架构的空间数据转换方法，可以把空间数据快速方便的从SDE数据库中导出并转换成shapefile文件，并在导出的过程中对数据进行过滤、转换和质量评估，解决现有GIS工具将空间数据导成shapefile需要花费时间长的问题。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (9)
1.一种基于分布式架构的空间数据转换方法，其特征在于,首先，基于开源的nifi和kafka技术，采用B/S架构，将空间数据进行分布式集群部署；
随后，通过浏览器访问部署有空间数据的服务器，并执行如下操作：
在任务管理页面，基于空间数据创建任务，
在任务列表，选取需要调度的任务，
在任务调度页面，启动选取的任务，调用nifi数据流模板，创建nifi任务，并把空间数据传递给nifi处理器；
最后，nifi处理器创建数据库连接、拆分数据处理任务、kafka处理器分发任务，nifi处理器还并发执行数据处理任务、质量评估，实现空间数据的快速转换。
2.根据权利要求1所述的一种基于分布式架构的空间数据转换方法，其特征在于，在创建任务之前，需要定义评估规则，通过评估规则对空间数据的质量进行检查，随后基于通过检查的空间数据来创建任务。
3.根据权利要求2所述的一种基于分布式架构的空间数据转换方法，其特征在于，所述评估规则包括拓扑规则、编码规则和元数据三方面，其中：
拓扑规则压要求不能有悬挂点、不能重叠、不能相交，依据拓扑规则对空间数据进行评估时，需要进行相应的拓扑检查，并在页面展示拓扑检查结果，
依据编码规则对空间数据进行评估时，需要检查字段的字段值和值域是否符合标准，检查结果在页面进行展示，
依据元数据对空间数据进行评估时，会根据数据标准来图层的字段是否缺失、字段的类型是否符合标准，最终的检查结果会在页面展示。
4.根据权利要求1所述的一种基于分布式架构的空间数据转换方法，其特征在于，在任务管理页面，基于空间数据，通过填写任务信息、选择数据源信息和处理内容，来创建任务；
创建任务这一过程中，处理内容包括字段过滤、投影变换、面积计算、图形匹配。
5.根据权利要求4所述的一种基于分布式架构的空间数据转换方法，其特征在于，所述nifi处理器包括TaskConfigProcessor处理器、GetFeatureProcessor处理器、LayerBlockProcessor处理器、kafkaPublish处理器；
把空间数据传递给nifi处理器后，TaskConfigProcessor处理器接收任务参数转为数据流传递给GetFeatureProcessor处理器，GetFeatureProcessor处理器创建SDE连接并计算出图层要素数和最大ObjectID，并写入数据流中传给LayerBlockProcessor处理器，LayerBlockProcessor处理器根据配置拆分成多个任务，形成多个数据流写入kafkaPublish处理器中。
6.根据权利要求5所述的一种基于分布式架构的空间数据转换方法，其特征在于，TaskConfigProcessor处理器、GetFeatureProcessor处理器、
LayerBlockProcessor处理器、kafkaPublish处理器运行在集群的主节点。
7.根据权利要求5所述的一种基于分布式架构的空间数据转换方法，其特征在于，所述nifi处理器还包括kafkaConsumer处理器、SdeToShpProcessor处理器；
集群中的所有节点单线程运行kafkaConsumer处理器，并发运行SdeToShpProcessor处理器读取数据流，进行数据处理，根据数据流中的内容来判断是否进行投影变换、面积计算和字段过滤。
8.根据权利要求1所述的一种基于分布式架构的空间数据转换方法，其特征在于，设置任务监控模块，一方面对访问部署有空间数据的服务器和nifi处理器的过程进行实时监控和报错，另一方面获取SDE数据库中空间数据导成shapefile文件的执行时长、执行结果和shapefile文件的存放目录。
9.根据权利要求1所述的一种基于分布式架构的空间数据转换方法，其特征在于，所述空间数据来自arcgis、supermap和mapgis任一GIS平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011078340.8A CN112199429A (zh) | 2020-10-10 | 2020-10-10 | 一种基于分布式架构的空间数据转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011078340.8A CN112199429A (zh) | 2020-10-10 | 2020-10-10 | 一种基于分布式架构的空间数据转换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112199429A true CN112199429A (zh) | 2021-01-08 |
Family
ID=74013913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011078340.8A Pending CN112199429A (zh) | 2020-10-10 | 2020-10-10 | 一种基于分布式架构的空间数据转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112199429A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756258A (zh) * | 2023-06-06 | 2023-09-15 | 北京捷泰云际信息技术有限公司 | 一种面向数据湖中空间矢量数据的质量检查方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039263A1 (en) * | 2016-08-02 | 2018-02-08 | Penguin Automated Systems Inc. | Subsurface robotic mapping system and method |
| CN110032570A (zh) * | 2019-04-01 | 2019-07-19 | 江西世恒信息产业有限公司 | 一种基于b/s架构的空间数据动态更新系统 |
| CN110321359A (zh) * | 2019-07-05 | 2019-10-11 | 浪潮软件集团有限公司 | 一种基于cmsp的空间数据增量更新方法 |
-
2020
- 2020-10-10 CN CN202011078340.8A patent/CN112199429A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039263A1 (en) * | 2016-08-02 | 2018-02-08 | Penguin Automated Systems Inc. | Subsurface robotic mapping system and method |
| CN110032570A (zh) * | 2019-04-01 | 2019-07-19 | 江西世恒信息产业有限公司 | 一种基于b/s架构的空间数据动态更新系统 |
| CN110321359A (zh) * | 2019-07-05 | 2019-10-11 | 浪潮软件集团有限公司 | 一种基于cmsp的空间数据增量更新方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756258A (zh) * | 2023-06-06 | 2023-09-15 | 北京捷泰云际信息技术有限公司 | 一种面向数据湖中空间矢量数据的质量检查方法 |
| CN116756258B (zh) * | 2023-06-06 | 2024-03-15 | 易智瑞信息技术有限公司 | 一种面向数据湖中空间矢量数据的质量检查方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107045526B (zh) | 一种电子建筑施工图的图形识别方法 | |
| Zheng et al. | Real-time big data processing framework: challenges and solutions | |
| US20180012145A1 (en) | Machine learning based analytics platform | |
| Cemernek et al. | Big data as a promoter of industry 4.0: Lessons of the semiconductor industry | |
| CN111241349A (zh) | 一种基于图形转换的接线图数据展示方法及系统 | |
| CN115858651A (zh) | 一种智慧城市一体化应用支撑平台 | |
| Han et al. | Rt-dap: A real-time data analytics platform for large-scale industrial process monitoring and control | |
| CN113674135A (zh) | 基于工作流实现calpuff高性能的计算方法 | |
| Legatiuk et al. | A categorical approach towards metamodeling cyber-physical systems | |
| CN115136150A (zh) | 信息处理装置和机器学习方法 | |
| CN107391230B (zh) | 一种确定虚拟机负载的实现方法和装置 | |
| CN112199429A (zh) | 一种基于分布式架构的空间数据转换方法 | |
| Guo et al. | Art product design and vr user experience based on iot technology and visualization system | |
| CN110322153A (zh) | 监控事件处理方法及系统 | |
| CN113962597A (zh) | 一种数据分析方法、装置、电子设备及存储介质 | |
| Sai et al. | Analysis of digital twins and application value of power engineering based on BIM | |
| Klar et al. | Assessing the maturity of digital twinning solutions for ports | |
| Marosi et al. | Toward reference architectures: A cloud-agnostic data analytics platform empowering autonomous systems | |
| Attaran et al. | Digital Twins and Industrial Internet of Things: Uncovering operational intelligence in industry 4.0 | |
| CN110032570A (zh) | 一种基于b/s架构的空间数据动态更新系统 | |
| CN111401789A (zh) | 一种基于bim的建筑施工智能监管系统 | |
| TW201824166A (zh) | 軟體定義驅動雲運算網路元件服務組裝系統 | |
| CN115439015A (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
| CN103679367B (zh) | 一种电网状态估计评估方法及系统 | |
| Li et al. | Architecture of integration of industrialization and informatization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |