CN115934856A - 一种构造综合能源数据资产的方法和系统 - Google Patents

Abstract

一种构造综合能源数据资产的方法和系统，属于能源信息电数字数据处理领域，所述方法基于分布式架构搭建数据中台实现，包括数据统一采集、数据统一存储、元数据管理、数据服务管理；所述系统包括数据采集模块、数据仓库模块、数据处理模块和数据服务模块。本发明综合考虑了多层级架构、多类型能源、多接入规约，提供统一的数据采集框架和安全体系，即可实现标准化接入，又充分保障能源设施及能源信息的完整性、可靠性、可用性、可控性和保密性。构建数字能源网络，统一模型，打通信息流、能量流、价值流，达到数据融合的目的，形成数据资产，提供高层服务。

Description

一种构造综合能源数据资产的方法和系统

技术领域

本发明属于能源信息电数字数据处理领域，涉及数据统一的采集、存储、处理和应用，具体涉及一种构造综合能源数字资产的方法。

背景技术

随着技术的进步和全球对环境的要求，风电、光伏、储能等清洁能源迎来了快速发展，用能用户对电力服务和能效优化的需求日益增加，电力现货、碳交易、绿电交易将全面推广。在此背景下，数据将成为关键的生产要素，数字化转型将成为必然趋势。

建设数字电网，以“电力+算力”支撑绿色能源供给体系，以数字技术助推能源消费革命，以数字电网提升能源配置效率是发展趋势。

传统电力系统采取的生产组织模式是“源随荷动”，但是随着新能源大规模接入，从根本上改变了这种模式。在新能源高占比的电力系统中，发电侧随机性，波动性影响巨大，“无热无风”、“云来无光”，发电出力无法按需控制，同时在用电侧，用电负荷预测的准确性也大幅下降。这意味着无论是发电侧还是用电侧不可控因素大大增加，传统的技术手段和生产模式，已经无法适应高占比新能源电网的运行需求。

综合能源系统以电为中心，实现电、气、冷、热等各类能源灵活转换，主要作用在于大力推动负荷侧的调控能力提升，推动各种能源互联互通，互济互动，促进能源基础设施协同优化运行和多能融合发展。数字化的内涵是，是以数字科技变革生产工具，以数据资源为关键生产要素，以数字内容重构产品结构，以信息网络为市场配置纽带，以服务平台为产业生态载体，以数字善治为发展机制条件。数字化的价值和意义是，提质增效，降本降耗；商业模式重构，以客户为中心，以价值为导向；新技术，新生态，提高精准决策的能力，创造价值，解决问题。

综合能源业务多元化高速发展，面向各类工业用户、电动汽车、新能源、储能等“源网荷储”各环节的多种资源。大量系统、功能和应用重复建设存在巨大资源浪费，同时组织壁垒也导致数据孤岛出现，使内外部数据难以全局规划。数字平台化将是未来趋势，企业数字化也将成为核心竞争力。

针对上述需求，已经相关机构进行了研究。中国专利申请CN113407681A提出了一种能源行业公共数据模型构建方法，解决了能源大数据中心业务实体定义无法清晰划分、共享层模型共享性能差、多源数据无法统一接入的问题，但没有对数据进行进一步加工，不能将综合能源数据作为资产，提供进一步服务。

发明内容

本发明的目的是将“数据资产”作为一个基础要素独立出来，形成一套高效可靠的数据资产体系和数据服务能力，为综合能源业务应用提供数据支撑。

为实现发明目的，本发明提出了一种构造综合能源数据资产的方法，基于分布式架构搭建数据中台实现，所述方法包括数据统一采集、数据统一存储、元数据管理、数据服务管理；

所述数据统一采集包括按业务领域划分主题域，每种业务具有唯一的主题域编码；通信连接业务主体，获取数据，通信连接方包括TCP/IP、有线RS485、无线Lora、宽带载波、NB-IoT、M-BUS、无线公网；

所述数据统一存储包括构建数据仓库，所述数据仓库分为四层，分别为贴源层、明细数据层、汇总数据层、应用数据层，对采集到的各类业务数据统一存储；

所述元数据管理包括血统分析、血缘分析、数据质量分析；

所述数据服务管理包括对外提供数据访问接口，上层业务应用通过数据访问接口访问数据仓库中的数据。

进一步地，所述主题域包括配电主题域，计量仪表主题域，能效主题域，营销主题域，光伏主题域，风电主题域，储能主题域，充电桩主题域，冷热泵空调主题域，电力交易主题域，公共主题域；新增业务种类时，增加相应的主题域。

所述数据统一采集还包括：使用kafka消息总线，现场采集终端配置主站地址和端口，数据消息上送到kafka总线中：使用nginx，将消息分发给采集服务节点，每一个采集服务节点加载全部的终端通信参数并且消费本节点的消息。

进一步地，所述数据统一存储具体包括：搭建MySQL+MongoDB数据库集群；

根据主题域定义对应的数据库和表结构，数据库结构分为贴源层、明细数据层、汇总数据层、应用数据层，数据表分为档案参数类和数据类；

贴源层对各类业务数据进行采集、汇聚；

通过工具kettle，按照数据映射关系，编写数据抽取脚本，定期或周期对贴源层的数据进行抽取、清洗、转换，并保存到明细数据层；

通过Map-Reduce对明细数据层的数据进行统计分析，实现数据轻量汇总，保存到汇总数据层；

应用数据层面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系；根据业务需求加工业务特定数据，向特定应用组装应用数据。

进一步地：所述元数据管理包括具体：

通过元数据适配器实现用户数据层元数据自动采集；

对数据表的血统和血缘进行分析：通过查找当前表的上游表，关注分析对象的生成过程，以目标表的第一代祖先为起点，以目标分析对象为终点，按照转化关系逐层扩展，生成血缘关系图，通过血缘关系图直观展示目标表的产生过程，以及会受到的潜在影响；

数据质量分析：根据仪表、传感器采集的数据及元数据定义，通过统计业务属性填充率，评估元数据的完整度；

为数据资产分析应用提供应用支撑。

进一步地，所述血缘分析包括影响分析、冷热度分析、关联度分析、生成数据资产地图；所述影响分析包括标注数据去向、数据经过的加工；所述冷热度分析包括分析数据的活跃度，经常被访问的数据标注为活跃数据，没有访问的数据标注为僵死数据；所述生成数据资产地图包括提供数据分类、数据检索、数据简要说明、提供获取数据的链接。

进一步地：所述数据服务管理包括：

提供血缘关系提取服务接口：将影响血缘关系的SQL操作进行上报，所述SQL操作包括CREATE TABLE、INSERT、UPDATE、CREATE VIEW、存储过程；

提供数据质量采集接口：采集各类质量统计指标；

提供应用服务接口：按照主题域管理API接口，定义接口名称、接口地址、访问参数定义、返回值定义、接口说明、接口实例、版本号，统计接口最后调用时间、接口访问次数、每分钟访问频次，平均响应时长，具有安全认证、熔断限流机制。

本发明还提出了一种构造综合能源数据资产的系统，包括数据采集模块、数据仓库模块、数据处理模块和数据服务模块；所述数据采集模块完成数据的统一采集，所述数据仓库模块完成数据的统一存储、所述数据处理模块完成元数据管理，所述数据服务模块对外提供数据访问接口。

本发明的有益效果是：综合考虑了多层级架构、多类型能源、多接入规约，提供统一的数据采集框架和安全体系，即可实现标准化接入，又充分保障能源设施及能源信息的完整性、可靠性、可用性、可控性和保密性。构建数字能源网络，统一模型，打通信息流、能量流、价值流，达到数据融合的目的，形成数据资产，提供高层服务。

附图说明

图1是系统构架图，

图2是一种数据采集流程图，

图3是kafka消息流转图，

图4是仪表采集流程图，

图5是采集存储架构图，

图6是MongoDB集群架构图，

图7是数据仓库结构图，

图8是元数据管理架构图，

图9是血缘分析应用示意图。

具体实施方式

参看图1，图1是系统构架图，其中包括数据中台。数据中台是基于大数据和人工智能技术数据整合和智能应用平台，集数据采集、融通、聚合、算法学习、管理、服务等功能于一体。它是一套企业数据应用机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织机构，通过成熟的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。其底层逻辑是以数字化的手段，将数据抽像成服务，响应前端业务的快速变化。

数据中台的本质是“数据仓库+数据服务中间件”，对接的是底层数据和上层的不同应用。

数据中台一般会具备4个能力：数据采集整合、数据提纯加工、数据服务可视化、数据价值变现。

本发明，一种构造综合能源数据资产的方法，在分布式搭建的数据中台上实现，构造综合能源数据资产的方法包括数据统一采集、数据统一存储、元数据管理、数据服务管理。

系统构架包括云底座、数据中台和应用层三层。

云底座包括各类数据源，通过物联互通层、基础工具层实现通信连接，数据源按类型分为内部数据和外部数据，各类数据源通过kafka、Hive、Spark、Handoo、MySQL等工具进行处理，实现统一采集。

数据中台实现元数据管理，通过数据汇聚、数据开发实现数据采集整合，通过数据资产体系、数据资产管理实现数据提纯加工、统一存储，通过数据服务体系实现数据服务可视化及数据价值变现。

在应用层，通过身份认证保证系统安全，通过决策支持和创新应用提供数据资产的多种应用，实现数据服务管理。

在数据中台层，将业务主体的异构网络数据、异构数据源、离线同步数据、实时接入数据、可视化配置数据等进行数据汇聚，对汇集的数据进行离线开发、实时开发、算法开发、环境隔离、智能调度、智能运维等开发处理，然后进入数据资产体系。

数据资产体系中，贴源数据为经数据开发的数据，统一数仓中包含数据库，实现数据统一存储，标签数据用来描述业务主体特征，具有准确度、覆盖度、稳定性，通过标签数据，扩充业务主体相关数据的分析角度和数据的筛选、分析，应用数据是经数据资产管理、根据统一数仓和标签数据处理后的数据。

数据资产管理中，元数据、数据标准、数据质量、数据血缘、数据生命周期、数据安全等实现元数据管理的功能，元数据实现元数据的采集，数据标准定义元数据，数据质量实现数据质量分析，数据血缘、数据生命周期完成血统分析、血缘分析，数据安全保证数据资产的不被外界侵犯、恶意修改，并实现数据资产的发布，所述发布为在区块链上进行发布。

数据服务体系对外提供数据访问接口，包括服务创建、API网关、服务授权和调用管理等功能，实现数据资产的统一调度应用。

数据统一采集：

按业务领域划分主题域，每种业务具有唯一的主题域编码；通信连接业务主体，获取数据，通信连接方包括TCP/IP、有线RS485、无线Lora、宽带载波、NB-IoT、M-BUS、无线公网。

所述主题域涉及现有的业务，包括配电主题域，计量仪表主题域，能效主题域，营销主题域，光伏主题域，风电主题域，储能主题域，充电桩主题域，冷热泵空调主题域，电力交易主题域，公共主题域等；新增业务种类时，增加相应的主题域。

图2为通过TCP/IP连接业务主体进行数据采集的示意图：数据报文认证和经全采集器参数内存中的内容验证后，进入采集器队列，然后分发至采集器处理线程，到达更新周期时，将数据报文存入采集器实时库。

场站参数变化时，通过数据库进程将更新内容写入全采集器参数内存。

参看图3、图5，使用kafka消息总线，现场采集终端配置主站地址和端口，数据消息上送到kafka总线中：使用nginx，将消息分发给数采服务节点，每一个数采服务节点加载全部的终端通信参数并且消费本节点的消息。

图3中，meter代表计量仪表主题域，其相关进程在各采集服务器中分布式配置，每个采集服务器中都配置该主题域的采集进程和任务进程，即meter采集进程和meter任务进程；其他主题域也有相对应的进程，配置在不同的服务器中。

图4是更具体的仪表采集流程图。

数据统一存储：

所述数据统一存储包括构建数据仓库，所述数据仓库分为四层，分别为贴源层、明细数据层、汇总数据层、应用数据层，对采集到的各类业务数据统一存储。

采集程序根据主题域和通信规约正确解析消息后，将解析后的数据，按照预定义的数据结构分别存入数据仓库贴源层的实时库、MySQL服务器中的历史库和Redis，如图5所示的采集存储架构。

使用nginx，将消息分发给数采服务器，每一个数采服务器运行相同的后台程序，加载OSD贴源层参数库，加载全部的终端通信参数并且消费Kafka消息，处理本节点相关的消息，实现数采管理

实时库服务器：加载上层应用的数据库参数，完成定期存储；

Redis服务器：提供应用服务、保持数据与参数库一致、定期更新断面数据到数据路；

MySQL服务器：设置参数库，保存数采层终端表、相关表计表、自动任务表等；设置历史库，保存原始数据。

数据存储步骤和方法如下：

步骤1.1：搭建MySQL+MongoDB数据库集群，如图6所示，每个节点包括Primary和作为备份的Secondary，各节点实现负载均衡。

步骤1.2：根据各类业务域即主题域定义对应的数据库和表结构，数据库结构分为贴源层、明细数据层、汇总数据层、应用数据层，数据表主要分为档案参数类和数据类。附图7数据仓库结构图。

步骤1.3：贴源层对各类业务数据进行采集、汇聚。

贴源层尽可能保留原始业务流程数据，与业务系统基本保持一致，仅作简单整合，不做深度清洁加工。

步骤1.4：明细数据层中的数据主要来源于贴源层。通过工具kettle，按照数据映射关系，编写数据抽取脚本，定期或周期对贴源层的数据进行抽取、清洗、转换，保存到明细层数据表。

步骤1.5：汇总数据层数据主要来源于明细数据层，通过Map-Reduce、调度任务等方式进行统计分析，实现数据轻量汇总，保存到汇总数据层。

步骤1.6：应用数据层面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方便深入分析、挖掘、应用。并面向业务的特殊需要加工业务特定数据，以满足业务及性能需求，向特定应用组装应用数据。

元数据管理：

所述元数据管理包括血统分析、数据质量分析、血缘分析。

血统分析是确定数据的来源，血缘分析是确定数据表之间、数据之间的关联性。

元数据管理是数据治理的基础。以元数据为抓手进行数据治理，更好地对数据资产进行管理，理清数据之间的关系，实现精准高效的分析和决策。附图8元数据管理架构图。

步骤1.1：为了适应异构环境，需要支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处理系统到数据应用报表系统的全量元数据。

本发明通过元数据适配器实现用户数据层（MySQL）元数据自动采集。为方便用户开展元数据采集，需要提供数据源的设置、元数据适配同步和元数据维护能力。

步骤1.2：对数据表的血统和血缘进行分析。可通过查找当前表的上游表，关注分析对象的生成过程：以目标表的第一代祖先为起点，以目标分析对象为终点，按照转化关系逐层扩展，生成血缘关系图，通过血缘关系图直观的展示目标表的产生过程，以及会受到的潜在影响。

步骤1.3：数据质量分析：根据仪表、传感器采集数据及元数据定义通过统计业务属性填充率，评估元数据的完整度。用户可自助选择多种维度，分析元数据的完整度情况，包括按数据源、按数据库、按业务属性项进行多维度的质量分析。为便于数据质量的检测，系统支持以质量任务的方式开展数据质量检测，包括支持质量检测规则设置、任务管理和质量分析等功能。

如果数据质量评估不过关，则根据不同的业务场景，按相应的规范进行数据填充、删除等。评价数据质量业务场景不同，规则也不同，本发明按相近一段时间的历史数据提取数据基线范围，超出范围一定比例（如5%）视为异常数据，常见的是丢失某一时刻数据、数据过大或过小。

步骤1.4：为数据资产分析应用提供元数据管理、血缘及影响分析、数据质量分析等应用支撑。

相关应用功能支持集成到上层应用。

本发明中，血缘分析包括影响分析、冷热度分析、关联度分析、生成数据资产地图；影响分析包括标注数据去向、数据经过的加工；冷热度分析包括分析数据的活跃度，经常被访问的数据标注为活跃数据，没有访问的数据标注为僵死数据；生成数据资产地图包括提供数据分类、数据检索、数据简要说明、提供获取数据的链接。

数据服务管理：

对外提供数据RESTful API接口，上层业务应用不直接访问数据仓库，而是通过数据服务层访问数据，设置权限加密、熔断、限流等机制，保障数据安全，满足大流量、高并发场景。

为了保证数据的互联、互通，必须具备良好的外部接口，该服务层起到承上启下的作用，该层对API接口服务进行管理，注册、访问，该层设计访问安全机制，保障数据安全。

血缘分析应用如图9所示：

血缘提取服务接口：该接口为元数据管理平台提供的接口，为单向接口，由数据平台将影响血缘关系的各类操作SQL进行上报，包括CREATE TABLE、INSERT、UPDATE、CREATEVIEW、存储过程等操作SQL的上报。

血缘解析引擎接口：解析各类SQL操作对数据的影响，生产彼此之间的血缘关系。

血缘关系存储接口：包括原始SQL表、表之间的血缘关系、字段之间的血缘关系等。

血缘服务接口：根据血缘关系存储的表，提供血缘关系分析服务、血缘关系修正服务、血缘关系统计服务等。该接口为双向接口，主要用于数据质量任务采集各类质量统计指标。也可由数据平台方进行统计值的上报，如数据库存储量、记录数、最新记录时间等。

血缘分析应用服务接口：该接口为上层应用平台提供的接口，按照业务域管理API接口，定义接口名称、接口地址、访问参数定义、返回值定义、接口说明、接口实例、版本号等内容，统计接口最后调用时间、接口访问次数、每分钟访问频次，平均响应时长等，具有安全认证、熔断限流等机制，提供血缘图谱分析、血缘影响分析、血缘关系修正、血缘影响统计。

在血缘关系分析中，主要根据是SQL脚本语句。

获取SQL脚本语句，定位每一DML语句的输入表和输出表，通过查询获取表的字段信息，得到字段表及字段关系，依据所述SQL脚本语句中的DML语句遍历匹配输出表和字段表获取输出表字段表，将字段表内对应所述输出表的字段存入字段清单，并依据输出表的DML语句筛选字段清单内的字段得到输出表字段表，依据字段关系将输出表字段表和包含字段信息的所述输入表进行合并得到字段链路表；

对字段链路表进行拆解后得到血缘链路表，进而生成血缘关系图。

本发明还提出了一种构造综合能源数据资产的系统的实施例，系统配置在分布式数据中台，包括数据采集模块、数据仓库模块、数据处理模块和数据服务模块；所述数据采集模块完成数据的统一采集，所述数据仓库模块完成数据的统一存储、所述数据处理模块完成元数据管理，所述数据服务模块对外提供数据访问接口。

Claims (9)

1.一种构造综合能源数据资产的方法，基于分布式架构搭建数据中台实现，其特征在于，所述方法包括数据统一采集、数据统一存储、元数据管理、数据服务管理；

所述数据统一采集包括按业务领域划分主题域，每种业务具有唯一的主题域编码；通信连接业务主体，获取数据，通信连接方包括TCP/IP、有线RS485、无线Lora、宽带载波、NB-IoT、M-BUS、无线公网；

所述数据统一存储包括构建数据仓库，所述数据仓库分为四层，分别为贴源层、明细数据层、汇总数据层、应用数据层，对采集到的各类业务数据统一存储；

所述元数据管理包括血统分析、血缘分析、数据质量分析；

所述数据服务管理包括对外提供数据访问接口，上层业务应用通过数据访问接口访问数据仓库中的数据。

2.根据权利要求1所述的方法，其特征在于，所述主题域包括配电主题域，计量仪表主题域，能效主题域，营销主题域，光伏主题域，风电主题域，储能主题域，充电桩主题域，冷热泵空调主题域，电力交易主题域，公共主题域；新增业务种类时，增加相应的主题域。

3.根据权利要求1或2所述的方法，其特征在于，所述数据统一采集还包括：

使用kafka消息总线，现场采集终端配置主站地址和端口，数据消息上送到kafka总线中：

使用nginx，将消息分发给采集服务节点，每一个采集服务节点加载全部的终端通信参数并且消费本节点的消息。

4.根据权利要求1所述的方法，其特征在于，所述数据统一存储具体包括：

搭建MySQL+MongoDB数据库集群；

根据主题域定义对应的数据库和表结构，数据库结构分为贴源层、明细数据层、汇总数据层、应用数据层，数据表分为档案参数类和数据类；

贴源层对各类业务数据进行采集、汇聚；

通过工具kettle，按照数据映射关系，编写数据抽取脚本，定期或周期对贴源层的数据进行抽取、清洗、转换，并保存到明细数据层；

通过Map-Reduce对明细数据层的数据进行统计分析，实现数据轻量汇总，保存到汇总数据层；

应用数据层面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系；根据业务需求加工业务特定数据，向特定应用组装应用数据。

5.根据权利要求1所述的方法，其特征在于，所述元数据管理包括具体：

通过元数据适配器实现用户数据层元数据自动采集；

对数据表的血统和血缘进行分析：通过查找当前表的上游表，关注分析对象的生成过程，以目标表的第一代祖先为起点，以目标分析对象为终点，按照转化关系逐层扩展，生成血缘关系图，通过血缘关系图直观展示目标表的产生过程，以及会受到的潜在影响；

数据质量分析：根据仪表、传感器采集的数据及元数据定义，通过统计业务属性填充率，评估元数据的完整度；

为数据资产分析应用提供应用支撑。

6.根据权利要求1或5所述的方法，其特征在于，所述血缘分析包括影响分析、冷热度分析、关联度分析、生成数据资产地图；所述影响分析包括标注数据去向、数据经过的加工；所述冷热度分析包括分析数据的活跃度，经常被访问的数据标注为活跃数据，没有访问的数据标注为僵死数据；所述生成数据资产地图包括提供数据分类、数据检索、数据简要说明、提供获取数据的链接。

7.根据权利要求1所述的方法，其特征在于，所述数据服务管理包括：

提供血缘关系提取服务接口：将影响血缘关系的SQL操作进行上报，所述SQL操作包括CREATE TABLE、INSERT、UPDATE、CREATE VIEW、存储过程；

提供数据质量采集接口：采集各类质量统计指标；

提供应用服务接口：按照主题域管理API接口，定义接口名称、接口地址、访问参数定义、返回值定义、接口说明、接口实例、版本号，统计接口最后调用时间、接口访问次数、每分钟访问频次，平均响应时长，具有安全认证、熔断限流机制。

8.一种构造综合能源数据资产的系统，其特征在于，所述系统包括数据采集模块、数据仓库模块、数据处理模块和数据服务模块；

所述数据采集模块完成数据的统一采集，所述数据仓库模块完成数据的统一存储、所述数据处理模块完成元数据管理，所述数据服务模块对外提供数据访问接口。

9.根据权利要求8所述的系统，其特征在于，所述系统配置在分布式数据中台。

Images