CN116450620A - 面向多源多域时空基准数据的数据库设计方法及系统 - Google Patents
面向多源多域时空基准数据的数据库设计方法及系统 Download PDFInfo
- Publication number
- CN116450620A CN116450620A CN202310688570.3A CN202310688570A CN116450620A CN 116450620 A CN116450620 A CN 116450620A CN 202310688570 A CN202310688570 A CN 202310688570A CN 116450620 A CN116450620 A CN 116450620A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- domain
- management
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013461 design Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000004140 cleaning Methods 0.000 claims abstract description 23
- 238000011282 treatment Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000013441 quality evaluation Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 36
- 238000012423 maintenance Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 101100226364 Arabidopsis thaliana EXT1 gene Proteins 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000000586 desensitisation Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- BEEDODBODQVSIM-UHFFFAOYSA-N oxymetazoline hydrochloride Chemical compound Cl.CC1=CC(C(C)(C)C)=C(O)C(C)=C1CC1=NCCN1 BEEDODBODQVSIM-UHFFFAOYSA-N 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 229940119096 sinex Drugs 0.000 claims description 3
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向多源多域时空基准数据的数据库设计方法及系统。该方法具体包括如下步骤：引接多源数据资源，将引接的数据资源先进行格式解析与合理性检查，并将引接的数据资源储存至引接数据库；进行数据标准化与清洗工作；清洗、治理加工后形成的数据资产进行有序分类存储至平台数据库；数据质量分析与评估工作，对平台数据库内数据资源，根据数据质量进行综合评估，对CORS站网数据进行站网优选与质量评定，进一步优化数据资产的分级分类管理服务，专题数据及数据集聚合发布服务，根据专题业务类型，从平台数据库关联抽取所需专题数据或者数据集，以定向推送方式进行专题数据/数据集发布服务，实现数据贡献与交互。
Description
技术领域
本发明涉及数据库设计领域，尤其是一种面向多源多域时空基准数据的数据库设计方法及系统。
背景技术
大数据有5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），且在今后的研究中，多以交叉学科为主。在导航、气象、地理信息等学科领域经过多年的研究积累，已经产生了大量的数据，面对这些大量的多源异构数据，其在精度、真实性、统一标准等方面存在大量的问题，如何加工、处理、储存并利用这些多源数据成为当前一个主要问题。
为解决上述几类来源不同，格式不一数据的引接、清洗治理、存储和推送问题，需要设计一款数据库以实现分布的、多源异构的、跨网络的各类信息资源的交换汇聚，实现统一平台与各部门数据资源的共享。按照相关标准处理后的多方数据集中至中心平台，再以统一标准对外提供数据服务，使数据按一定业务规则成为可复用的信息资源服务。使各类消息可以实现跨部门、跨机构的信息共享，帮助进行综合、全面的分析与监管，及时感知运行状态并做出智能化响应。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或至少部分地解决上述问题的一种面向多源多域时空基准数据的数据库设计方法和系统。
根据本发明的一个方面，提供一种面向多源多域时空基准数据的数据库设计方法，具体包括：
S1，多源多域时空基准数据资源落地存储，将引接的数据资源先进行格式解析与合理性检查，并将引接的数据资源储存至引接数据库；
S2，多源多域数据标准化与清洗管理存储，对引接数据库的数据进行标准化与清洗操作，主要包括：格式检查与修复、不必要数据去除、归一化格式转换；将清洗、治理加工后所形成得有效数据资产，流转至平台数据库进行有序分类存储，同时，平台数据库支持进一步的数据分级分类治理与管理服务；
S3，多源多域数据质量分析评估管理存储，对平台数据库内的数据资产，根据数据质量进行综合评估，针对连续运行参考站系统CORS（Continuous Operational ReferenceSystem）站网数据进行站网优选与质量评定，进一步优化数据资产的分级分类管理服务，支撑后续专业业务运行；
S4，专题数据/数据集聚合发布服务，根据专题业务类型，从平台数据库关联抽取所需专题数据或者数据集，以定向推送方式进行专题数据/数据集发布服务，实现数据贡献与交互。
其中，引接存储的多源多域时空基准数据类型包含以下五类：基础空间地理信息数据，行业空间地理信息数据，CORS站网数据包括原始观测数据、导航电文，交通运输实时数据，气象实时数据资源；数据格式包括9种：SHP、TIF、IMG、IFC、RVT、DGN、OSGB、RENIX、SINEX。
其中，多源多域时空基准数据标准化与清洗，数据格式层面主要包括格式检查与修复、不必要数据去除、归一化格式转换；数据内容层面主要包括：文件内重复数据删除、逻辑缺失数据填充、错误数据识别纠正、无效数据剔除，保证文件内数据的可读性和可用性。
进一步地，多源多域时空基准数据质量分析与评估工作，主要包括观测数据完整率分析、可用性分析、伪距观测噪声分析、载波相位观测噪声分析、信噪比分析、周跳比分析、多路径影响分析。
其中，专题数据/数据集聚合发布服务，对外服务接口包括：JSON/XML数据访问接口、Kafka流式数据等数据访问接口；接口管控包括：API操作权限管理、API流量管控、API认证管理等手段。
其中，存储方式包括：关系型数据库、时空数据库、分布式文件系统，以及支持海量存储的文件系统、分布式数据仓库、内存数据库和分布式存储搜索引擎。
其中，PostgreSQL支持存储各类感知数据、专题数据和系统管理类数据关系型数据，PostGIS支持时空数据存储，EXT4文件系统支持大文件存储，HDFS支持海量数据文件存储，Elasticsearch支持日志数据存储。
进一步地，数据层执行数据资源全生命周期的数据管理功能，根据功能定位划分为：引接数据库、平台数据库、发布数据库、系统数据库。
其中，平台数据库对清洗、治理加工后形成的数据资产进行有序分类存储，具体包括，矢量数据、栅格数据、档案数据存至PostgreSQL库，二维数据存至HDFS库，需要直接读取的影像文件存储在EXT4文件系统。
本发明的另一方面，一种面向多源多域时空基准数据的数据库设计系统，该系统包括：
基础设施层，用于通过虚拟化资源池能够实现高层的资源管理逻辑，对资源进行抽象，对硬件资源进行虚拟化；
数据平台层，对数据库软件、开源大数据组件进行集成和封装，对数据层提供多源异构数据的存储支撑和数据服务；对多源多域数据标准化与清洗管理，将清洗、治理加工后所形成得有效数据资产，流转至平台数据库进行有序分类存储；
数据层，用于执行数据资源全生命周期的数据管理功能，根据功能定位划分为：引接数据库、平台数据库、发布数据库、系统数据库；其中，平台数据库对清洗、治理加工后形成的数据资产进行有序分类存储；发布数据库根据专题业务类型，从平台数据库关联抽取所需专题数据或者数据集，以定向推送方式进行专题数据/数据集发布服务，实现数据贡献与交互；
数据服务层，面向典型应用，对多源多域数据质量分析评估管理存储，对平台数据库内的数据资产，根据数据质量进行综合评估，针对连续运行参考站系统CORS站网数据进行站网优选与质量评定，进一步优化数据资产的分级分类管理服务，支撑后续专业业务运行。
该系统进一步还包括：
数据安全管理，负责数据交互共享时的全流程审批监控管理、数据脱敏脱密、水印标注，支持多类用户角色的权限监管，保障平台数据流转安全与可追溯性；
数据运维体系，对系统的后台运行、数据安全、软硬件资源情况、运维监控进行统一管理，提供统一的集成约束与支持，支持数据资源库的自动管理和维护。
本发明相对于现有多源多域时空基准数据库存储具有如下优势：
A、构建一套体系化数据层次架构，贴近数据服务场景
贴合多源多域时空基准数据特征与格式，在全域原始数据基础上，进行标准定义及分层建模，使得数据体系建设具备覆盖全域数据、结构层次清晰（横向数据主题连贯、纵向数据服务分层）等优势，克服传统多源多域数据存放管理简单堆砌、口径不一、脱离应用等局限。
B、形成以业务赋能为导向的数据管理体系
依托大数据平台实现数据全生命周期的管理，对多源多域数据资产的价值、质量进行综合评估，促进专业领域时空基准数据资产的不断根据业务类型进行细分管理，持续向业务输出动力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅用于示出优先实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1 为数据库架构设计系统示意图；
图2 为数据库设计流程图。
具体实施方式
本发明为弥补多源数据来源分散、格式不一、数据资源清单难以共享等缺陷，解决对多源数据资源进行统一管理，建立统一的资源需求，提出了一种面向多源多域时空基准数据的数据库设计方法。
面向多源多域时空基准数据交互共享平台数据库以基础空间数据为基础，统一整合引接行业专题数据、业务数据等多源异构数据，根据依据数据来源、数据业务属性、数据特点、数据更新频率，采用不同存储策略存储在数据仓库中，提供数据资源可视化、服务化接口。结合用户权限管理，建立权属清晰、关系准确的数据共享与交换关系。按照顶层设计思路，采用物理分散、逻辑集中的设计原则，设计基础设施层、数据平台层、数据层、数据服务层四层逻辑架构，形成动态更新、协调、共享的数据服务机制，保障数据资产的高效输出与循环落地。
本发明数据库架构设计示意图如图1所示，其技术方案如下所述：
1多源数据资源目录
引接多源数据包含以下五类：
（1）基础空间地理信息数据，主要包括矢量电子地图、区域电子地图、区划等信息的矢量数据、栅格数据、三维模型等数据。
（2）行业空间地理信息数据，主要包括高精度路网、电站定位、输电线路、电厂、土质、医院及医用资源、应急物资储备单位分布、粮食储备等信息，具有非实时性、更新频率低、数据存储规范等特点。
（3）CORS站网数据包括原始观测数据、导航电文等，具有数据更新频率高、实时性强、数据量大等特点，数据接引后需进一步治理后才能入库，满足后续数据处理和应用的需求。
（4）交通运输实时数据，主要包括运力大数据调度平台车辆信息数据、车辆轨迹数据、车辆属性数据、车辆静态定位数据、道路车辆信息、道路车辆静态定位数据等，具有数据更新频率高、实时性强、数据量大，格式不统一等特点。
（5）气象实时数据资源，主要包括：降水量数据、温度数据、湿度数据、风力数、压强数据、云层实况类产品等。该数据具有数据更新频率高、实时性强特点。
2数据格式
引接的多源多域时空基准数据格式如下：
表 1 各类数据通用格式
3数据库工作流程
贡献交互平台数据库工作流转流程，如图2所示：
（1）引接数据库引接存储3.1中的五类数据资源，采用贴原数据存储方式，沿用源数据存储方式；
（2）对引接库内的数据资源进行格式解析与合理性检查并存，然后完成数据标准化与清洗工作，主要包括格式检查与修复、不必要数据去除、归一化格式转换等；对观测数据文件中的内容进行清洗，主要包括对文件中的重复数据删除、逻辑缺失数据填充、错误数据识别纠正、无效数据剔除等，保证文件内数据的可读性和可用性，清洗/治理加工后形成的有效数据资产有序分类存储至平台数据库；
（3）平台数据库通过数据质量分析评估，主要包括：观测数据完整率分析、可用性分析、伪距观测噪声分析、载波相位观测噪声分析、信噪比分析、周跳比分析、多路径影响分析等，进行数据质量的细分管理存储；
（4）发布数据库从平台数据库抽取专题集，诸如：数据专题、数据集专题、评估预警专题、态势支援专题、高精度专题等，对外提供分享发布服务；
（5）系统数据库用于分类存储数据共享交互平台的后台运行参数数据，支撑平台的运维管理功能。
4基础设施层
数据交互共享平台数据库，依托云平台、大数据平台等，利用已有的虚拟机来提供硬件资源支撑，包括计算资源、网络资源和存储资源等。通过虚拟化资源池能够实现高层的资源管理逻辑，对资源进行抽象，对硬件资源进行虚拟化。
5数据平台层
数据平台层，对数据库软件、开源大数据组件进行集成和封装，对外（数据层）提供多源异构数据的存储支撑和数据服务，存储方式包括：关系型数据库、时空数据库、分布式文件系统，以及支持海量存储的文件系统、分布式数据仓库、内存数据库和分布式存储搜索引擎等，覆盖海量影像数据、地理数据、时空数据的存储和使用需求，同时保障数据平台具备高可靠性、定时备份和容灾恢复的可靠性机制。其中，PostgreSQL支持存储各类感知数据、专题数据和系统管理类数据等关系型数据，PostGIS支持时空数据存储，EXT4文件系统支持大文件存储，HDFS支持海量数据文件存储，Elasticsearch支持日志等数据存储，本平台通过应用数据服务对外提供数据存取，通过GeoServer提供瓦片数据等地图服务。
6数据层
数据层执行数据资源全生命周期的数据管理功能，根据功能定位划分为：引接数据库、平台数据库、发布数据库、系统数据库。其中，引接数据库引接存储基础/行业空间地理信息数据（含二维数据、三维数据等）、CORS站网观测数据、交通/气象实时数据等，采用贴原数据存储方式，基本沿用源数据存储方式，分别存储至PostgreSQL、HDFS和MongoDB库；平台数据库对清洗、治理加工后形成的数据资产进行有序分类存储，其中，矢量数据、栅格数据、档案数据等存至PostgreSQL库，二维数据存至HDFS库，需要直接读取的影像文件存储在EXT4文件系统；发布数据库从平台数据库抽取专题集，诸如：数据专题、数据集专题、评估预警专题、态势支援专题、高精度专题等，对外提供分享发布服务，二维数据和影像数据存储方式与平台数据库一致。
7数据服务层
数据服务层，面向典型应用，基于数据资源管理展现的数据资产，向上提供快速的服务生成能力以及服务管控、鉴权、计量等功能。
8数据安全管理
数据安全管理，主要负责数据交互共享时的全流程审批监控管理、数据脱敏脱密、水印标注等，支持多类用户角色的权限监管，保障平台数据流转安全与可追溯性。
9数据运维体系
数据运维体系，对系统的后台运行、数据安全、软硬件资源情况、运维监控进行统一管理，为各类内、外部服务组件提供统一的集成约束与支持，支持数据资源库的自动管理和维护。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种面向多源多域时空基准数据的数据库设计方法，其特征在于，包括如下步骤：
S1，进行多源多域时空基准数据资源落地存储，将引接的数据资源先进行格式解析与合理性检查，并将引接的数据资源储存至引接数据库；
S2，进行多源多域数据标准化与清洗管理存储，对引接数据库的数据进行标准化与清洗操作；将清洗、治理加工后所形成的有效数据资产，流转至平台数据库进行有序分类存储，同时，平台数据库支持进一步的数据分级分类治理与管理服务；
S3，进行多源多域数据质量分析评估管理存储，对平台数据库内的数据资产，根据数据质量进行综合评估，针对连续运行参考站系统CORS站网数据进行站网优选与质量评定，进一步优化数据资产的分级分类管理服务，支撑后续专业业务运行；
S4，进行专题数据/数据集聚合发布服务，根据专题业务类型，从平台数据库关联抽取所需专题数据或者数据集，以定向推送方式进行专题数据/数据集发布服务，实现数据贡献与交互。
2.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：引接存储的多源多域时空基准数据的类型包含以下5类：基础空间地理信息数据，行业空间地理信息数据，CORS站网数据、交通运输实时数据，气象实时数据资源；所述CORS站网数据包括原始观测数据、导航电文；数据格式包括9种：SHP、TIF、IMG、IFC、RVT、DGN、OSGB、RENIX、SINEX。
3.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：多源多域时空基准数据标准化与清洗中，数据格式层面包括：数据格式检查与修复、不必要数据去除、归一化格式转换；数据内容层面包括：文件内重复数据删除、逻辑缺失数据填充、错误数据识别纠正、无效数据剔除，保证文件内数据的可读性和可用性。
4.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：多源多域数据质量分析评估包括针对CORS站网观测数据的完整率分析、可用性分析、伪距观测噪声分析、载波相位观测噪声分析、信噪比分析、周跳比分析、多路径影响分析。
5.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：专题数据/数据集聚合发布服务中，对外服务接口包括：JSON/XML数据访问接口、Kafka流式数据的数据访问接口；接口管控包括：API操作权限管理、API流量管控、API认证管理手段。
6.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：存储方式包括：关系型数据库、时空数据库、分布式文件系统，以及支持海量存储的文件系统、分布式数据仓库、内存数据库和分布式存储搜索引擎。
7.如权利要求6所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于：PostgreSQL支持存储各类感知数据、专题数据和系统管理类数据关系型数据，PostGIS支持时空数据存储，EXT4文件系统支持大文件存储，HDFS支持海量数据文件存储，Elasticsearch支持日志数据存储。
8.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于，数据层执行数据资源全生命周期的数据管理功能，根据功能定位划分为：引接数据库、平台数据库、发布数据库、系统数据库。
9.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于，平台数据库对清洗、治理加工后形成的数据资产进行有序分类存储，具体包括，矢量数据、栅格数据、档案数据存至PostgreSQL库，二维数据存至HDFS库，直接读取的影像文件存储在EXT4文件系统。
10.如权利要求1所述的一种面向多源多域时空基准数据的数据库设计方法，其特征在于，所述引接的数据资源的数据格式具体为：根据数据类型对应相应的数据格式，其中，矢量数据的数据格式为SHP，栅格数据的数据格式为TIF/IMG，BIM模型数据格式为IFC/RVT/DGN，倾斜摄影数据和模型数据的数据格式均为OSGB，监测感知数据及产品的数据格式为RENIX/SINEX。
11.一种面向多源多域时空基准数据的数据库设计系统，其特征在于，包括：
基础设施层，用于通过虚拟化资源池实现高层的资源管理逻辑，对资源进行抽象，对硬件资源进行虚拟化；
数据平台层，对数据库软件、开源大数据组件进行集成和封装，对数据层提供多源异构数据的存储支撑和数据服务；对多源多域数据标准化与清洗管理，将清洗、治理加工后所形成得有效数据资产，流转至平台数据库进行有序分类存储；
数据层，用于执行数据资源全生命周期的数据管理功能，根据功能定位划分为：引接数据库、平台数据库、发布数据库、系统数据库；其中，平台数据库对清洗、治理加工后形成的数据资产进行有序分类存储；发布数据库根据专题业务类型，从平台数据库关联抽取所需专题数据或者数据集，以定向推送方式进行专题数据/数据集发布服务，实现数据贡献与交互；
数据服务层，面向典型应用，对多源多域数据质量分析评估管理存储，对平台数据库内的数据资产，根据数据质量进行综合评估，针对连续运行参考站系统CORS站网数据进行站网优选与质量评定，进一步优化数据资产的分级分类管理服务，支撑后续专业业务运行。
12.如权利要求11所述的一种面向多源多域时空基准数据的数据库设计系统，其特征在于，该系统还包括：
数据安全管理，负责数据交互共享时的全流程审批监控管理、数据脱敏脱密、水印标注，支持多类用户角色的权限监管，保障平台数据流转安全与可追溯性；
数据运维体系，对系统的后台运行、数据安全、软硬件资源情况、运维监控进行统一管理，提供统一的集成约束与支持，支持数据资源库的自动管理和维护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310688570.3A CN116450620B (zh) | 2023-06-12 | 2023-06-12 | 面向多源多域时空基准数据的数据库设计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310688570.3A CN116450620B (zh) | 2023-06-12 | 2023-06-12 | 面向多源多域时空基准数据的数据库设计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116450620A true CN116450620A (zh) | 2023-07-18 |
| CN116450620B CN116450620B (zh) | 2023-09-12 |
Family
ID=87124023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310688570.3A Active CN116450620B (zh) | 2023-06-12 | 2023-06-12 | 面向多源多域时空基准数据的数据库设计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116450620B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785983A (zh) * | 2024-02-20 | 2024-03-29 | 四川大学华西医院 | 目标对象评估方法、系统、电子设备及存储介质 |
| CN118394750A (zh) * | 2024-06-28 | 2024-07-26 | 中国人民解放军63921部队 | 一种面向对地观测数据的数据中台 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651188A (zh) * | 2016-12-27 | 2017-05-10 | 贵州电网有限责任公司贵阳供电局 | 一种输变电设备多源状态评估数据处理方法及其应用 |
| CN112650745A (zh) * | 2020-12-30 | 2021-04-13 | 中科环森智慧科技(苏州)有限公司 | 一种基于统一数据资源池的数据治理系统 |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113656647A (zh) * | 2021-06-02 | 2021-11-16 | 韦东庆 | 一种面向智能运维的工程档案数据管理平台、方法及系统 |
| WO2022012285A1 (zh) * | 2020-07-16 | 2022-01-20 | 中国能源建设集团湖南省电力设计院有限公司 | 一种多源融合的多平台能源信息管理系统 |
| CN114398442A (zh) * | 2022-01-25 | 2022-04-26 | 中国电子科技集团公司第十研究所 | 一种基于数据驱动的情报处理系统 |
-
2023
- 2023-06-12 CN CN202310688570.3A patent/CN116450620B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651188A (zh) * | 2016-12-27 | 2017-05-10 | 贵州电网有限责任公司贵阳供电局 | 一种输变电设备多源状态评估数据处理方法及其应用 |
| WO2022012285A1 (zh) * | 2020-07-16 | 2022-01-20 | 中国能源建设集团湖南省电力设计院有限公司 | 一种多源融合的多平台能源信息管理系统 |
| CN112650745A (zh) * | 2020-12-30 | 2021-04-13 | 中科环森智慧科技(苏州)有限公司 | 一种基于统一数据资源池的数据治理系统 |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113656647A (zh) * | 2021-06-02 | 2021-11-16 | 韦东庆 | 一种面向智能运维的工程档案数据管理平台、方法及系统 |
| CN114398442A (zh) * | 2022-01-25 | 2022-04-26 | 中国电子科技集团公司第十研究所 | 一种基于数据驱动的情报处理系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785983A (zh) * | 2024-02-20 | 2024-03-29 | 四川大学华西医院 | 目标对象评估方法、系统、电子设备及存储介质 |
| CN118394750A (zh) * | 2024-06-28 | 2024-07-26 | 中国人民解放军63921部队 | 一种面向对地观测数据的数据中台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116450620B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116450620B (zh) | 面向多源多域时空基准数据的数据库设计方法及系统 | |
| AU2019295818B2 (en) | Block chain-based data processing method and device | |
| CN108964996B (zh) | 城乡一体化信息栅格系统及基于其的信息共享方法 | |
| CN106548288B (zh) | 电力多场景多态实例管理系统及方法 | |
| CN104462244A (zh) | 一种基于元模型的智慧城市异构数据共享方法 | |
| CN112148718A (zh) | 一种用于城市级数据中台的大数据支撑管理系统 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN108563787A (zh) | 一种数据中心综合管理系统的数据交互管理系统及方法 | |
| US20140143248A1 (en) | Integration to central analytics systems | |
| CN117371945A (zh) | 一种环境产业的一站式大数据管理服务平台 | |
| CN113342874A (zh) | 一种基于云计算的风电大数据分析系统和流程 | |
| CN112784001A (zh) | 基于全流程管控的不动产信息监视方法及系统 | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| CN109522349B (zh) | 跨类型数据计算及共享方法、系统、设备 | |
| CN116680090A (zh) | 一种基于大数据的边缘计算网络管理方法及平台 | |
| CN116523328A (zh) | 一种航空装备协同制造产业链协作智能决策方法 | |
| CN106202585B (zh) | 电力多场景多态数据系统及管理方法 | |
| CN113849503A (zh) | 一种开放式大数据处理系统、方法及介质 | |
| Negru et al. | A unified approach to data modeling and management in big data era | |
| Sun et al. | Design of a Media Resource Management System for Colleges Based on Cloud Service | |
| CN111090676A (zh) | 面向流式数据的分布式自动处理方法及系统 | |
| CN111552683A (zh) | 一种基于大数据的水务数据信息管理方法及装置 | |
| Ma et al. | Bank big data architecture based on massive parallel processing database | |
| Johannessen et al. | A survey on smart cities, big data, analytics, and smart decision-making–Towards an analytical framework for decision-making in smart cities | |
| Weijie et al. | Research on the big data construction of equipment support |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |