CN115858498A - 五维时空分布式数据库构建方法及装置 - Google Patents

Abstract

本申请公开了一种五维时空分布式数据库构建方法及装置，方法包括：建立模型知识库，对接入的能碳场景进行匹配，若匹配不上，则进行市场调研和特征分析，构建基于e‑CIM模型的元数据模型定义，注册到模型知识库中对能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；将原始数据集进行复合数据处理，形成专题数据集。本申请提供的五维时空分布式数据库构建方法，能全面直观的反映物体的真实特性，有利于基于CPS及元宇宙技术的系统全景模型构建，适合互联网时代的海量数据接入的分散式管理模式。

Description

五维时空分布式数据库构建方法及装置

技术领域

本申请涉及数据库技术领域，具体涉及一种五维时空分布式数据库构建方法及装置。

背景技术

数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库分为关系型数据库、非关系型数据库和实时数据库。关系型数据库有ORACLE、SQLSERVER等；非关系型数据库有NOSQL数据库；实时数据库有PI数据库等。它们都适合与特定的场合，侧重描述物体的某些特性，不能全面直观反映物体的真实特性，不利于基于CPS及元宇宙技术的系统全景模型构建，也不适合互联网时代的海量数据接入的分散式管理模式。

发明内容

为此，本申请提供一种五维时空分布式数据库构建方法及装置，以解决现有技术存在的数据库不能全面直观反映物体的真实特性、不利于系统全景模型构建，也不适合互联网时代的海量数据接入的分散式管理模式的问题。

为了实现上述目的，本申请提供如下技术方案：

第一方面，一种五维时空分布式数据库构建方法，包括：

接入能碳场景；

判断所述能碳场景是否在模型知识库的元数据集中；

若不在，则对所述能碳场景进行市场调研和特征分析，根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

若在，则直接对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

将所述原始数据集进行复合数据处理，形成专题数据集。

作为优选，所述将所述原始数据集进行复合数据处理时，具体是：利用AI分析、大数据存取、快速检索算法，进行专家算法、数据分析、经济寻优、最优测控和虚拟仿真的复合数据处理。

作为优选，所述五维数据包括历史态数据、实时态数据、关系态数据、图形态数据和拓扑态数据。

作为优选，所述历史态数据采用长事务处理方法周期性的批量存取数据；所述实时态数据采用内存消息同步加持久化、序列化处理存取；所述关系态数据直接关系型数据库处理；所述图形态数据进行基于GIS技术的点、线、面、体分类分层空间管理；所述拓扑态数据采用基于设备树、全链表方式进行键-值存取。

作为优选，还包括：封装各个专题数据集的服务接口，对外提供标准化的统一应用接口。

作为优选，所述封装各个专题数据集的服务接口，对外提供标准化的统一应用接口采用的是Redis、Reful或Kafka技术。

作为优选，还包括：不断迭代形成微服务组件。

第二方面，一种五维时空分布式数据库构建装置，包括：

接入模块，用于接入能碳场景；

判断模块，用于判断所述能碳场景是否在模型知识库的元数据集中；

元数据模型构建模块，用于根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中；

配置管理模块，用于对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

数据处理模块，用于将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

复合数据处理模块，用于将所述原始数据集进行复合数据处理，形成专题数据集。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现五维时空分布式数据库构建方法的步骤。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现五维时空分布式数据库构建方法的步骤。

相比现有技术，本申请至少具有以下有益效果：

本申请提供了一种五维时空分布式数据库构建方法及装置，方法包括：接入能碳场景；判断能碳场景是否在模型知识库的元数据集中；若不在，则对能碳场景进行市场调研和特征分析，根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；若在，则直接对能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；将原始数据集进行复合数据处理，形成专题数据集。本申请提供的五维时空分布式数据库构建方法，能全面直观的反映物体的真实特性，有利于基于CPS及元宇宙技术的系统全景模型构建，适合互联网时代的海量数据接入的分散式管理模式。

附图说明

为了更直观地说明现有技术以及本申请，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本申请时的限定条件；例如，本领域技术人员基于本申请揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。

图1为本申请实施例一提供的一种五维时空分布式数据库构建方法顺序流程图；

图2为本申请实施例一提供的一种五维时空分布式数据库构建方法判断流程图；

图3为本申请实施例五提供的一种五维时空分布式数据库的总体架构示意图；

图4为本申请实施例五提供的分布式海量弹性支撑体系结构示意图；

图5为本申请实施例五提供的多维度分析算法的结构示意图；

图6为本申请实施例五提供的多版本管理技术示意图；

图7为本申请实施例五提供的高纬度时态管理示意图。

具体实施方式

以下结合附图，通过具体实施例对本申请作进一步详述。

在本申请的描述中：除非另有说明，“多个”的含义是两个或两个以上。本申请中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。

本申请中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本申请揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本申请表述的范畴。

本申请提供了一种五维时空分布式数据库构建方法及装置，利用专利名称为“一种基于分布式架构的综合能源服务平台系统”(专利申请号为：201811179574.4)作为数据库的分布式架构底层支撑、“一种基于元数据的综合能源一体化e-CIM模型设计方法”(专利申请号为：2018111795848)作为元数据模型的构造，描述和管理物体基于时空两域五维的全景对象。

时空两域五维是指基于时间域的历史态、实时态、关系态，以及基于空间域的图形态、拓扑态。

物体的历史态融合了海量数据存取技术，将物体发展至今的过程数字化描述，以分析物体的发展演变过程，可做物体演化溯源；

物体的实时态融合了数据的快速获取和并发传送机制，实现数据全网同步，实时展示、在线监测、快速分析、超前预警预判，有利于数据安全和实时性要求；

物体的关系态描述了物体本身的属性，如大小、颜色、形状等，以及物体本身的行为动作，这是元数据的对象化、实例化展示；

物体的图形态利用GIS相关技术，通过物体的点、线、面描述，展示物体在宇宙空间中的图形特征，包括静态特征和动态特征，物体形状的变化、位置的演变等；

物体的拓扑态利用GIS拓扑技术和物联网技术，描述物体的万物互联特性，相交性、排斥性、包含性、矢量性等

实施例一

请参阅图1和图2，本实施例提供了一种五维时空分布式数据库构建方法，包括：

S1：接入能碳场景；

S2：判断能碳场景是否在模型知识库的元数据集中；

S3：若不在，则对能碳场景进行市场调研和特征分析，根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

S4：若在，则直接对能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

S5：将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

具体的，五维数据包括历史态数据、实时态数据、关系态数据、图形态数据和拓扑态数据，五维数据解决了数据片断问题，全景全要素描述，有利于物体完整性分析。

对于历史态数据，采用长事务处理方法，周期性批量存取数据；对于实时态数据，采用内存消息同步加持久化、序列化处理存取；对于关系态数据，直接关系型数据库处理；对图形态数据进行基于GIS技术的点、线、面、体分类分层空间管理；对于拓扑态数据采用基于设备树、全链表方式进行键-值存取；通过将物体切分成这五维数据进行分类管理，实现海量数据的无限接入和开发式应用支撑。

S6：将原始数据集进行复合数据处理，形成专题数据集。

具体的，利用AI分析、大数据存取、快速检索算法，进行专家算法、数据分析、经济寻优、最优测控、虚拟仿真等复合数据处理，形成专题数据。

本实施例提供的五维时空分布式数据库构建方法还包括：利用Redis、Reful、Kafka等技术，封装各种数据服务接口，对外提供标准化统一应用接口。

本实施例提供的五维时空分布式数据库构建方法还包括：通过不断迭代，形成采集、分析、应用、报表等各种场景的微服务组件，为开发者、应用者、管理者提供场景组件的低代码编程调用和自由搭建。

实施例二

本实施例提供了一种五维时空分布式数据库构建装置，包括：

接入模块，用于接入能碳场景；

判断模块，用于判断能碳场景是否在模型知识库的元数据集中；

元数据模型构建模块，用于根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中；

配置管理模块，用于对能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

数据处理模块，用于将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

复合数据处理模块，用于将原始数据集进行复合数据处理，形成专题数据集。

关于五维时空分布式数据库构建装置的具体限定可以参见上述对于五维时空分布式数据库构建方法的限定，在此不再赘述。

实施例三

本实施例提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现五维时空分布式数据库构建方法的步骤。

实施例四

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现五维时空分布式数据库构建方法的步骤。

实施例五

请参阅图3，本实施例提供一种五维时空分布式数据库，数据库的架构为去中心化的分布式网络构架，包括：

e-CIM模块，用于构建全景能源网e-CIM数据模型；

具体的，将物体抽象化，按基于时间域的历史态、实时态、关系态，以及基于空间域的图形态、拓扑态，利用e-CIM模型设计方法，进行物体时空五维元数据模型设计，内核模型构建在统一的元数据支撑之上，支持自定义扩展资源和对象模型。

数据库基于e-CIM构建的全景能源网信息模型，已内建了电、天然气、蒸汽、原煤、水、风、光、储、核等能源领域模型，例如，全景能源网数据模型包括电力模型、新能源模型、工业模型和双碳模型等，可广泛应用于智慧城市、电力、电信、石油、自来水、煤气等领域，支撑其设备管理、网络管理、图形管理和业务管理等应用。

去中心化分布式架构底座模块，用于使用统一接入标准，对接入的数据进行数据转换，数据整合和数据校验。

具体的，利用分布式架构技术，搭建多中心分布式海量弹性支撑体系，参见图4，实现物体元数据模型下沉到分布式支撑体系各节点，实现数据采集。

数据库底座的数据类型分为定义和配置的元数据集、采集归集的原始数据集、利用AI分析形成的专题数据集等多阶段数据，利用大数据、区块链技术，各阶段按时空两域五维数据进行云边端分层、分库处理和存储，满足海量数据无限接入和高效存取要求。

五维时空分布式数据模块，用于处理后的数据分为空间数据、业务数据、运行数据、拓扑数据和设备数据。

AI算法引擎模块，用于根据基于人工智能、机器学习、寻优仿真、图形分析等多种AI分析算法和分析策略将分类处理后的数据进行复合数据处理形成专题数据集；

请参阅图5，具体的，五维时空分布式数据库对海量大数据进行数据价值再造，注入平时积累的一系列AI算法技术引擎，实现基于主题的多维加工大数据，形成复合数据。

更具体的，AI算法引擎模块实现的功能包括：

A、空间分析功能，包括：缓冲区分析、路径分析和能源资源统计等；

B、拓扑分析功能，包括：连通性分析、供能半径分析、电源点追溯、供电范围分析、停电模拟分析等；

C、电力高级分析：状态估计、潮流计算、短路计算、负荷预测、发电预测等；

D、内嵌数据挖掘规则库，支撑全维度数据抽取转换装载，可以根据应用需求扩展规则库。

分布式存储模块，用于将复合数据分别存入到各分布式子数据库。

具体的，分布式存储模块用于将复合数据分别存入到分布式关系库、分布式图形库、分布式实时库和分布式历史库中。利用分布式架构体系，可以实现一体化对象模型管理，一条命令毫秒级完成设备属性、空间信息、网络拓扑、实时数据、历史数据等多个维度信息查询和搜索，综合效率远优于其它数据库，实现了设备属性、空间信息、网络拓扑、运行数据(实时、历史)、业务数据的一体集成，为各领域的业务应用提供一体化分析平台。

请参阅图6，五维时空分布式数据库中的e-CIM模块还用于提供基于时间域的物体多维态势仿真模拟，实现物体多版本管理；物体的参数、图形、拓扑在维护、编辑时，使用一种长事务处理技术，提供版本编辑、版本提交、版本回滚等事务处理功能。可实现能源设备的属性、图形、拓扑信息在运行版、编辑版、规划版之间的数据隔离，满足物体历史溯源和未来规划设计分析。

请参阅图7，五维时空分布式数据库在运行过程中，e-CIM模块也提供模型库的高纬度时态管理技术，采用基态修正模型，对各类型数据的历史信息进行时域追踪。可时域追踪的内容包括：元数据配置、空间数据、拓扑数据、运行数据、设备属性和业务数据等，以满足物体的不断逼近全角度描述，有利于CPS构建和元宇宙沉浸式互动的场景应用。

本实施例提供的五维时空分布式数据库还包括基础应用服务模块，基础应用服务模块用于实现控制策略、数据处理和空间拓扑分析。

本实施例提供的五维时空分布式数据库还包括微服务应用组件，五维时空分布式数据库通过对外接口标与微服务应用组件连接，对外提供低代码编程和快速迭代集成开发，满足互联网时代各种应用端快速需求变更。

本实施例提供的五维时空分布式数据库以去中心化的分布式网络构架为基础，提供能源网数据模型的分布式存储和访问，为数据库平台弹性海量数据高效存储和检索提供支撑。通过数据库的N-1冗余存储方式，增强了数据的安全性。

本实施例提供的五维时空分布式数据库属于行业性信息化基础系统，提供基于区块链去中心化架构下的分布式体系，通过时间域的关系、实时、历史3个维度，以及空间域的空间和拓扑2个维度的模型和算法，对物体进行基于时空5维元数据的对象建模和对象实例化，形成基于数字孪生及拓扑关联关系的CPS实物对象映射和现实与虚拟未来结合的元宇宙展示。

终端用户利用本实施例提供的五维时空分布式数据库底座作为基础技术，能够实现低代码编程，快速利用组件搭建各种应用系统，满足终端基本需求；软件集成开发商利用本实施例提供的五维时空分布式数据库底座作为基础技术，实现低代码编程，通过微服务接口，快速实现各种应用集成迭代开发；大数据服务商利用本实施例请提供的五维时空分布式数据库底座作为基础技术，搭建分布式架构体系，实现海量数据接入、分布式运维服务和快速分析增值服务。

本申请提供的五维时空分布式数据库构建方法和装置，能全面直观的反映物体的真实特性，有利于基于CPS及元宇宙技术的系统全景模型构建，适合互联网时代的海量数据接入的分散式管理模式。

以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。

上文中通过一般性说明及具体实施例对本申请作了较为具体和详细的描述。应当理解，基于本申请的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本申请的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本申请的权利要求保护范围。

Claims (10)

1.一种五维时空分布式数据库构建方法，其特征在于，包括：

接入能碳场景；

判断所述能碳场景是否在模型知识库的元数据集中；

若不在，则对所述能碳场景进行市场调研和特征分析，根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

若在，则直接对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

将所述原始数据集进行复合数据处理，形成专题数据集。

2.根据权利要求1所述的五维时空分布式数据库构建方法，其特征在于，所述将所述原始数据集进行复合数据处理时，具体是：利用AI分析、大数据存取、快速检索算法，进行专家算法、数据分析、经济寻优、最优测控和虚拟仿真的复合数据处理。

3.根据权利要求1所述的五维时空分布式数据库构建方法，其特征在于，所述五维数据包括历史态数据、实时态数据、关系态数据、图形态数据和拓扑态数据。

4.根据权利要求3所述的五维时空分布式数据库构建方法，其特征在于，所述历史态数据采用长事务处理方法周期性的批量存取数据；所述实时态数据采用内存消息同步加持久化、序列化处理存取；所述关系态数据直接关系型数据库处理；所述图形态数据进行基于GIS技术的点、线、面、体分类分层空间管理；所述拓扑态数据采用基于设备树、全链表方式进行键-值存取。

5.根据权利要求1所述的五维时空分布式数据库构建方法，其特征在于，还包括：封装各个专题数据集的服务接口，对外提供标准化的统一应用接口。

6.根据权利要求5所述的五维时空分布式数据库构建方法，其特征在于，所述封装各个专题数据集的服务接口，对外提供标准化的统一应用接口采用的是Redis、Reful或Kafka技术。

7.根据权利要求1所述的五维时空分布式数据库构建方法，其特征在于，还包括：不断迭代形成微服务组件。

8.一种五维时空分布式数据库构建装置，其特征在于，包括：

接入模块，用于接入能碳场景；

判断模块，用于判断所述能碳场景是否在模型知识库的元数据集中；

元数据模型构建模块，用于根据市场调研和特征分析情况构建基于e-CIM模型的元数据模型定义，并注册到模型知识库中；

配置管理模块，用于对所述能碳场景进行基于元数据模型的对象化模型配置和云边端分布式体系全网模型同步；

数据处理模块，用于将采集的数据按元数据模型进行五维数据的归集、处理、存储和同步，形成原始数据集；

复合数据处理模块，用于将所述原始数据集进行复合数据处理，形成专题数据集。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images