CN115563120A - 一种电网多源遥感空间数据统一组织方法、系统及设备 - Google Patents
一种电网多源遥感空间数据统一组织方法、系统及设备 Download PDFInfo
- Publication number
- CN115563120A CN115563120A CN202211292331.8A CN202211292331A CN115563120A CN 115563120 A CN115563120 A CN 115563120A CN 202211292331 A CN202211292331 A CN 202211292331A CN 115563120 A CN115563120 A CN 115563120A
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- power grid
- center
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000008520 organization Effects 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000003860 storage Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及遥感数据处理应用领域，具体涉及一种电网多源遥感空间数据统一组织方法、系统及设备，该方法包括：构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。可以理解的是，本发明能够将分散的、不同类别的元数据进行标准化并逐级汇总，最终汇总于主数据中心，形成一种有效的时空数据组织和集成方式。
Description
技术领域
本发明涉及遥感数据处理应用领域，具体涉及一种电网多源遥感空间数据统一组织方法、系统及设备。
背景技术
随着地理空间遥感技术的不断发展，不同数据传感器源源不断的提供着不同时间、空间、光谱分辨率的海量空间数据，不同数据平台依各自职责，其数据采集方式和数据存储方式不尽相同。
对于海量数据组织，不同数据平台数据组织方式不同，主要分两种类型：基于时空记录体系的卫星轨道条带或景组织和基于全球剖分网格的多分辨率金字塔瓦片组织。基于时空记录体系的卫星轨道条带或景组织方式，是将原始轨道数据按照接收时间顺序采用轨道条带组织，将遥感影像产品采用景单元组织，具有代表性的是中国资源卫星应用中心、中国国家卫星气象中心，这种方式操作简单，对于遥感卫星数量较少、数据体量较小的数据组织与管理，可以满足存档数据的管理及应用需求。然后，由于各数据生产单位之间的卫星轨道条带与景缺少统一的标准，同一区域不同数据产品关联性差，随着数据源种类的增多，这种问题日益突出，对于同一区域的多源遥感数据又因记录在不同轨道条带中，使得跨部门数据整合耗时耗力；基于全球剖分网格的多分辨率金字塔瓦片组织方式，将遥感数据按球面剖分单元进行组织与管理，增强了多源遥感数据之间的空间关联性与检索效率，具有代表性的是Google Earth、天地图，但是，这种方式由于影像剖分与金字塔构建，会产生大量的瓦片小文件，不断增加的数据量导致数据存储空间变大。此外，不同行业部门按照自身行业特点，有不同的数据组织系统，不同型号传感器，卫星、无人机、物联网等，也有各自的数据组织方式与记录方式，使得数据信息孤岛现象严重，导致同一区域遥感数据检索、整合与共享困难。对于行业应用，其实际应用需求往往需要统一整合各类平台数据，这种跨平台、跨部门的时空数据集合也成为当前遥感应用领域关注的重点。
在电力行业中，多源时空数据组织技术的研究较为缺乏，虽然电网巡检、电网安全监测等数据平台众多，但仍存在数据分布分散、数据整合繁琐、数据彼此之间兼容度低等问题，尚未形成一种有效的时空数据组织和集成方式。
发明内容
有鉴于此，本发明的目的在于提供一种电网多源遥感空间数据统一组织方法、系统及设备，以解决现有技术中数据分布分散、数据整合繁琐、数据彼此之间兼容度低的问题。
根据本发明实施例的第一方面，提供一种电网多源遥感空间数据统一组织方法，包括：
构建主数据中心和预设数量的多数据中心；
定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
优选的，所述定期拉取元数据分发中心的元数据至所述多数据中心，包括：
根据预设的定时器规则，定期启动推拉组件和爬虫算法，拉取元数据分发中心的元数据至所述多数据中心；
所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。
优选的，所述对所述元数据进行处理，生成统一元数据存储至本底元数据库，包括：
在各个多数据中心构建元数据结构模型、统一元数据结构模型及其映射规则；
根据所述元数据结构模型、所述统一元数据结构模型及其映射规则，对所述元数据进行提取，生成统一元数据，存储至本底元数据库。
优选的，所述从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库，包括：
在各个多数据中心构建电网元数据结构模型；
通过数据摄取算法和搜索算法，结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，摄取至电网数据库暂存区；
采用数据模型算法和元数据转换规则，根据所述电网元数据结构模型对电网数据库暂存区的数据进行归一化处理，获得电网标准元数据，存储至电网元数据库。
优选的，所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心，包括：
采用爬虫算法，拉取所述多数据中心的电网标准元数据，存储至所述主数据中心；
所述主数据中心设有Solr Cloud分布式索引，以提供电网遥感元数据索引服务。
优选的，在所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心之后，还包括：
获取用户提交的数据订阅下载订单；
根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；
控制所述主数据中心生成所述最终查询数据的下载链接。
优选的，所述构建主数据中心和预设数量的多数据中心，包括：
构建支持FTP/HTTP数据传输协议的主数据中心和预设数量的多数据中心。
根据本发明实施例的第二方面，提供一种电网多源遥感空间数据统一组织系统，包括：
数据中心构建模块，用于构建主数据中心和预设数量的多数据中心；
第一处理模块，用于定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
第二处理模块，用于根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
数据汇总模块，用于拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
优选的，所述的系统，还包括：
数据查询模块，用于获取用户提交的数据订阅下载订单；根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；控制所述主数据中心生成所述最终查询数据的下载链接。
根据本发明实施例的第三方面，提供一种电网多源遥感空间数据统一组织设备，包括：
主控器，及与所述主控器相连的存储器；
所述存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
可以理解的是，本发明提供的技术方案，通过构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。可以理解的是，本发明能够将分散的、不同类别的元数据进行标准化并逐级汇总，最终汇总于主数据中心，形成一种有效的时空数据组织和集成方式。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织方法步骤示意图；
图2是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织方法的管理架构图；
图3是根据一示例性实施例示出的电网多源遥感空间数据提取转换过程图；
图4是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织系统示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
图1是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织方法步骤示意图，参见图1，提供一种电网多源遥感空间数据统一组织方法，包括：
步骤S11、构建主数据中心和预设数量的多数据中心；
步骤S12、定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
步骤S13、根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
步骤S14、拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
可以理解的是，本实施例提供的技术方案，通过构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。可以理解的是，本实施例能够将分散的、不同类别的元数据进行标准化并逐级汇总，最终汇总于主数据中心，形成一种有效的时空数据组织和集成方式。
需要说明的是，所述构建主数据中心和预设数量的多数据中心，包括：
构建支持FTP/HTTP数据传输协议的主数据中心和预设数量的多数据中心。
在具体实践中，首先构建用于存储多源遥感空间数据元数据的多数据中心和主数据中心，多数据中心和主数据中心均支持FTP/HTTP数据传输协议，多数据中心一一对应各类的元数据分发中心，所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。
可以理解的是，通过构建支持FTP/HTTP数据传输协议的主数据中心和预设数量的多数据中心，能够使得各个主数据中心和预设数量的多数据中心快速传递元数据，也可以使得多数据中心从与其对应的元数据分发中心处快速提取初始元数据。
需要说明的是，所述定期拉取元数据分发中心的元数据至所述多数据中心，包括：
根据预设的定时器规则，定期启动推拉组件和爬虫算法，拉取元数据分发中心的元数据至所述多数据中心；
所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。
需要说明的是，所述对所述元数据进行处理，生成统一元数据存储至本底元数据库，包括：
在各个多数据中心构建元数据结构模型、统一元数据结构模型及其映射规则；
根据所述元数据结构模型、所述统一元数据结构模型及其映射规则，对所述元数据进行提取，生成统一元数据，存储至本底元数据库。
在具体实践中，根据各类卫星数据和物联网终端数据原始元数据的类型数据结构，分别建立每种数据的元数据结构模型；为方便海量数据的统一管理和查询，建立统一元数据结构模型，基于ISO-19115-2:2009地理元数据参考，构建的统一元数据结构模型中各类项包括：数据DI、卫星平台、传感器、数据开始时间、数据结束时间、坐标信息(左上角经度坐标、左上角纬度坐标、右下角经度坐标、右下角纬度坐标、中心点经度坐标、中心点纬度坐标)、参考坐标系、数据产品级别、波段信息、数据格式、数据存储路径、快视图；判定原始元数据结构模型与统一元数据结构模型中各类项的对应关系，建立映射规则，映射规则需根据不同数据平台与统一元数据结构模型之间的差异建立不同的映射方案。
通过爬虫算法中设置的定时器规则，定期启动推拉组件和爬虫算法，从各类遥感卫星数据分发中心和物联网终端管控中心进行原始元数据拉取下载至数据暂存区，首先对暂存区的原始元数据进行检查，根据建立的各类元数据结构模型对暂存区数据进行过滤筛查，符合模型的元数据经过映射规则和统一元数据结构模型的计算解析，生成统一的元数据，存储至本底元数据库；优选的，还能够在生成统一的元数据的同时，生成相应的快视图，存储至本底元数据库。
需要说明的是，所述从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库，包括：
在各个多数据中心构建电网元数据结构模型；
通过数据摄取算法和搜索算法，结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，摄取至电网数据库暂存区；
采用数据模型算法和元数据转换规则，根据所述电网元数据结构模型对电网数据库暂存区的数据进行归一化处理，获得电网标准元数据，存储至电网元数据库。
在具体实践中，电网元数据结构模型在统一元数据结构模型的基础上，增加电网线路名称、杆塔序列号要素项。电网台账数据包括电网线路台账数据和电网杆塔台账数据，以杆塔为例，电网杆塔台账数据包含了杆塔坐标信息、线路名称、地理位置名称等信息，采用搜索算法，将本底元数据库中的元数据与杆塔坐标数据进行循环交叉求取交集，提取出覆盖电网杆塔线路的遥感空间数据，通过数据摄取算法，将提取的数据与杆塔台账数据进行提取和整合，最后根据电网元数据结构模型，生成电网标准元数据，存储至电网元数据库。
需要说明的是，所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心，包括：
采用爬虫算法，拉取所述多数据中心的电网标准元数据，存储至所述主数据中心；
所述主数据中心设有Solr Cloud分布式索引，以提供电网遥感元数据索引服务。
在具体实践中，各个多数据中心在主数据中心进行注册，注册信息包括多数据中心文件共享服务的权限信息、数据产品的正则约定。主数据中心周期性地启动数据推拉功能，使用不同的数据传输协议向各个多数据中心发起远程爬虫请求，对在册的多数据中心启动独立的远程爬虫功能，爬虫会访问远程文件共享服务并扫描文件目录，根据数据产品的正则约定过滤出需要拉取的元数据，将元数据拉取至主数据中心数据暂存区；通过预设的电网标准元数据模板对暂存区数据进行类型检查和完整性检查，通过检查的数据存储至主数据中心元数据库，未通过检查的数据文件重新进入分数据中心，等待重新数据拉取与转换。
需要说明的是，在所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心之后，还包括：
获取用户提交的数据订阅下载订单；
根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；
控制所述主数据中心生成所述最终查询数据的下载链接。
在具体实践中，用户根据不同任务需求，提交数据下载订单，经过服务器的语法分解、检索重构、查询执行和结果集汇总，将对应的数据汇总存储至文件管理器，由主数据中心提供的数据传输服务，提供给用户数据下载链接，所述的数据下载链接可以包含多个链接，每条链接一一对应不同类型传感器数据。
参见图2，图2是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织方法的管理架构图，主要为多数据中心和主数据中心之间数据组织管理构成。多数据中心直接对接各类遥感空间数据分发中心，通过远程推拉组件、爬虫管理器、元数据处理器，从所述数据分发中心进行元数据提取，并进行数据格式转换、标准化元数据生产，通过通信传输服务，将处理后的遥感元数据存放到数据库中；主数据中心通过爬虫管理器和通信传输服务，实现元数据文件在多数据中心和主数据中心之间的传输，由主数据中心文件管理器对各个多数据中心传输的电网元数据文件存储归档，Solr Cloud检索服务实现遥感空间元数据的索引与查询。
参见图3，图3是根据一示例性实施例示出的电网多源遥感空间数据提取转换过程图，通过爬虫管理器内置的定时器，定时提出数据拉取请求，启动推拉组件，推拉组件根据各个数据分发中心支持的网络协议类型，使用不同的数据传输协议发起远程爬虫请求，爬虫程序启动后进行元数据抓取，存储至暂存区，数据处理器对暂存区的原始元数据进行检查和过滤筛查，符合规则的元数据经过映射规则和统一元数据结构模型计算生产出统一标准化元数据；通过数据处理器进一步对所述统一标准化元数据与电网台账数据进行计算，生产出电网标准化元数据，存储至元数据库；主数据中心周期性地对多数据中心数据进行摄取，将电网标准化元数据爬取至数据摄取暂存区，通过对元数据文件的类型和完整性进行检查，通过检查的元数据统一存储至主数据中心的元数据库，进行归档，并由Solr Cloud分布式索引服务对海量的遥感元数据进行索引。
实施例二
图4是根据一示例性实施例示出的一种电网多源遥感空间数据统一组织系统示意框图，参见图4，提供一种电网多源遥感空间数据统一组织系统，包括：
数据中心构建模块101，用于构建主数据中心和预设数量的多数据中心；
第一处理模块102，用于定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
第二处理模块103，用于根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
数据汇总模块104，用于拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
可以理解的是，本实施例提供的技术方案，通过数据中心构建模块101构建主数据中心和预设数量的多数据中心；通过第一处理模块102定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；通过第二处理模块103根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；通过数据汇总模块104拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。可以理解的是，本实施例能够将分散的、不同类别的元数据进行标准化并逐级汇总，最终汇总于主数据中心，形成一种有效的时空数据组织和集成方式。
需要说明的是，所述的系统，还包括：
数据查询模块，用于获取用户提交的数据订阅下载订单；根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；控制所述主数据中心生成所述最终查询数据的下载链接。
可以理解的是，通过数据查询模块能够为用户提供数据查询接口，便于用户从主数据中心中查询想要的数据，并下载相应的数据，为用户提供查询及下载便利。
实施例三
提供一种电网多源遥感空间数据统一组织设备，包括：
主控器，及与所述主控器相连的存储器；
所述存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种电网多源遥感空间数据统一组织方法，其特征在于，包括：
构建主数据中心和预设数量的多数据中心；
定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
2.根据权利要求1所述的方法，其特征在于，所述定期拉取元数据分发中心的元数据至所述多数据中心，包括：
根据预设的定时器规则，定期启动推拉组件和爬虫算法，拉取元数据分发中心的元数据至所述多数据中心；
所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。
3.根据权利要求2所述的方法，其特征在于，所述对所述元数据进行处理，生成统一元数据存储至本底元数据库，包括：
在各个多数据中心构建元数据结构模型、统一元数据结构模型及其映射规则；
根据所述元数据结构模型、所述统一元数据结构模型及其映射规则，对所述元数据进行提取，生成统一元数据，存储至本底元数据库。
4.根据权利要求3所述的方法，其特征在于，所述从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库，包括：
在各个多数据中心构建电网元数据结构模型；
通过数据摄取算法和搜索算法，结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，摄取至电网数据库暂存区；
采用数据模型算法和元数据转换规则，根据所述电网元数据结构模型对电网数据库暂存区的数据进行归一化处理，获得电网标准元数据，存储至电网元数据库。
5.根据权利要求4所述的方法，其特征在于，所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心，包括：
采用爬虫算法，拉取所述多数据中心的电网标准元数据，存储至所述主数据中心；
所述主数据中心设有Solr Cloud分布式索引，以提供电网遥感元数据索引服务。
6.根据权利要求5所述的方法，其特征在于，在所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心之后，还包括：
获取用户提交的数据订阅下载订单；
根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；
控制所述主数据中心生成所述最终查询数据的下载链接。
7.根据权利要求1所述的方法，其特征在于，所述构建主数据中心和预设数量的多数据中心，包括：
构建支持FTP/HTTP数据传输协议的主数据中心和预设数量的多数据中心。
8.一种电网多源遥感空间数据统一组织系统，其特征在于，包括：
数据中心构建模块，用于构建主数据中心和预设数量的多数据中心；
第一处理模块，用于定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
第二处理模块，用于根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
数据汇总模块，用于拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
9.根据权利要求8所述的系统，其特征在于，还包括：
数据查询模块，用于获取用户提交的数据订阅下载订单；根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；控制所述主数据中心生成所述最终查询数据的下载链接。
10.一种电网多源遥感空间数据统一组织设备，其特征在于，包括：
主控器，及与所述主控器相连的存储器；
所述存储器，其中存储有程序指令；
所述主控器用于执行存储器中存储的程序指令，执行如权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211292331.8A CN115563120A (zh) | 2022-10-21 | 2022-10-21 | 一种电网多源遥感空间数据统一组织方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211292331.8A CN115563120A (zh) | 2022-10-21 | 2022-10-21 | 一种电网多源遥感空间数据统一组织方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115563120A true CN115563120A (zh) | 2023-01-03 |
Family
ID=84747111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211292331.8A Pending CN115563120A (zh) | 2022-10-21 | 2022-10-21 | 一种电网多源遥感空间数据统一组织方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115563120A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116860760A (zh) * | 2023-08-31 | 2023-10-10 | 中国标准化研究院 | 一种基于元数据的空间地理数据存储方法及装置 |
| CN117216341A (zh) * | 2023-09-22 | 2023-12-12 | 云南电网有限责任公司电力科学研究院 | 一种电网分布式时空数据的可视化方法及系统 |
-
2022
- 2022-10-21 CN CN202211292331.8A patent/CN115563120A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116860760A (zh) * | 2023-08-31 | 2023-10-10 | 中国标准化研究院 | 一种基于元数据的空间地理数据存储方法及装置 |
| CN116860760B (zh) * | 2023-08-31 | 2023-11-17 | 中国标准化研究院 | 一种基于元数据的空间地理数据存储方法及装置 |
| CN117216341A (zh) * | 2023-09-22 | 2023-12-12 | 云南电网有限责任公司电力科学研究院 | 一种电网分布式时空数据的可视化方法及系统 |
| CN117216341B (zh) * | 2023-09-22 | 2024-03-29 | 云南电网有限责任公司电力科学研究院 | 一种电网分布式时空数据的可视化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776699B (zh) | 一种气象数据和卫星遥感数据处理方法及装置 | |
| CN115563120A (zh) | 一种电网多源遥感空间数据统一组织方法、系统及设备 | |
| US6772142B1 (en) | Method and apparatus for collecting and expressing geographically-referenced data | |
| WO2009137967A1 (en) | Provisioning a geographical image for retrieval | |
| Alarabi et al. | TAREEG: a MapReduce-based web service for extracting spatial data from OpenStreetMap | |
| US9672658B2 (en) | Portable globe creation for a geographical information system | |
| CN102184311A (zh) | 移动pda现场应急指挥系统 | |
| CN112559534A (zh) | 一种遥感影像数据归档管理系统及方法 | |
| CN104392037A (zh) | 一种城市场景参数化建模系统 | |
| CN113282692A (zh) | 一种智慧城市的大数据共享方法及装置 | |
| JP5175295B2 (ja) | 一次サーバーアーキテクチャネットワーク構成およびその方法 | |
| Koubarakis et al. | Real-time wildfire monitoring using scientific database and linked data technologies | |
| CN111460043A (zh) | 三维空间图像区块链存储方法及页面显示方法 | |
| CN109688223B (zh) | 生态环境数据资源共享方法及装置 | |
| CN110659369B (zh) | 在轨高精度轻量化全球影像控制点数据库构建方法及系统 | |
| CN113608955B (zh) | 一种日志记录方法、装置、设备及存储介质 | |
| CN111949619B (zh) | 动态目录生成方法、系统、电子设备及存储介质 | |
| CN104392035A (zh) | 一种基于Web的城市三维建模方法 | |
| CN111914041A (zh) | 一种电网地图矢量数据提供方法 | |
| KR102097592B1 (ko) | 센티넬 위성을 이용한 대용량 위성영상의 자동 다운로드 서비스 제공 방법 | |
| CN110765073B (zh) | 分布式存储系统的文件管理方法、介质、设备及装置 | |
| US20090240661A1 (en) | Integration for intelligence data systems | |
| CN112199528A (zh) | 一种大规模遥感数据在线获取方法 | |
| CN111966725A (zh) | 一种应用于内外网间的数据获取方法、装置及电子设备 | |
| CN115439015B (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |