CN114490847A - 一种智慧能源云平台数据处理方法 - Google Patents

一种智慧能源云平台数据处理方法 Download PDF

Info

Publication number
CN114490847A
CN114490847A CN202210050597.5A CN202210050597A CN114490847A CN 114490847 A CN114490847 A CN 114490847A CN 202210050597 A CN202210050597 A CN 202210050597A CN 114490847 A CN114490847 A CN 114490847A
Authority
CN
China
Prior art keywords
service
data
data processing
processing method
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210050597.5A
Other languages
English (en)
Inventor
陈高伟
李兵松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Meike Technology Co ltd
Original Assignee
Wuhan Meike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Meike Technology Co ltd filed Critical Wuhan Meike Technology Co ltd
Priority to CN202210050597.5A priority Critical patent/CN114490847A/zh
Publication of CN114490847A publication Critical patent/CN114490847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，本发明涉及数据处理技术领域。该智慧能源云平台数据处理方法，通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性，采用开源分布式消息流平台，具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性，是云原生时代解决实时消息流数据传输、存储和计算的最佳解决方案。

Description

一种智慧能源云平台数据处理方法
技术领域
本发明涉及数据处理技术领域，具体为一种智慧能源云平台数据处理方法。
背景技术
数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程，用计算机收集、记录数据，经加工产生新的信息形式的技术。数据指数字、符号、字母和各种文字的集合。数据处理涉及的加工处理比一般的算术运算要广泛得多，数据处理系统已广泛地用于各种企业和事业，内容涉及薪金支付，票据收发、信贷和库存管理、生产调度、计划管理、销售分析等。它能产生操作报告、金融分析报告和统计报告等。数据处理技术涉及到文卷系统、数据库管理系统、分布式数据处理系统等方面的技术。
海量不同种类的电力设备，实时产生海量传感器数据，每个不同种类设备传感器数据类型不一样，为了满足业务需求的数据类型，对传感器数据进行整形，仅适用单一应用场景，随着业务场景越来越复杂数据展示的多样性，原元数据与业务强关联关系适应不了新的需求。
目前存在元数据与业务强关联关系，本发明通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种智慧能源云平台数据处理方法，解决了现有元数据与业务强关联关系，仅采用单一应用场景，无法适用现有越来越复杂业务场景数据展示的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：
S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；
S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，构建t(n)＝p(m)+c(m)数据流通管道；
S3、服务注册机制收到服务自动发现信息，将数据集群副本信息及主题信息，转交负载均衡管理服务；
S4、负载均衡服务依据副本信息及主题信息分配硬件资源，并将硬件资源与数据对应关系同步到服务自动发现模块；
S5、服务自动发现模块实时监控提取模块和解析模块的状态，动态调度集群管理模块资源；
S6、解析模块通过业务数据主题(topic)，将业务场景所需的数据稳定、高效的输送。
优选的，所述解耦装置的最小物理集群为三台物理主机，物理主机包括linux7.0以上操作系统、JDK8以及三外开源组件ZooKeeper、Bookkeeper和Broker。
优选的，所述解耦装置系统是基于publish-subscrib(pub-sub)生产订阅模式，配置分区topic订阅列表，分区topic是由多个broker处理。
优选的，所述解耦装置的topic路由模式类型为自定义消息路由实现特定消息的分区，用户在java client端实现MessageRouter接口来实现自定义路由模式。
优选的，配置部署Zookeeper集群具体包括以下步骤：
T1、新建文件myid,分别指定的broker上写入配置文件指定的编号broker.1服务器上；
T2、配置服务器端，用客户端连接工具执行zookeeper连接命令，在任意ZooKeeper节点，初始化集群元数据。
优选的，创建bookie所需目录，编辑bookkeeper.conf文件，配置zkserver、journalDirectory或ledgerDirectories执行初始化元数据命令，其它物理主机重复此类操作。
优选的，部署配置Brook集群，在每台物理主机broker.conf,配置zookeeperservers、configurationStoreServer或cluterName信息，启动broker服务。
(三)有益效果
本发明提供了一种智慧能源云平台数据处理方法。与现有技术相比具备以下有益效果：该智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，构建t(n)＝p(m)+c(m)数据流通管道；S3、服务注册机制收到服务自动发现信息，将数据集群副本信息及主题信息，转交负载均衡管理服务；S4、负载均衡服务依据副本信息及主题信息分配硬件资源，并将硬件资源与数据对应关系同步到服务自动发现模块；S5、服务自动发现模块实时监控提取模块和解析模块的状态，动态调度集群管理模块资源；S6、解析模块通过业务数据主题(topic)，将业务场景所需的数据稳定、高效的输送，通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性，采用开源分布式消息流平台，具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性，是云原生时代解决实时消息流数据传输、存储和计算的最佳解决方案。
附图说明
图1为本发明的流程图；
图2为本发明解耦装置的结构原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明实施例提供一种技术方案：一种智慧能源云平台数据处理方法，该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：
S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集，示例：设备全态信息感知场景所需数据；
S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系⑤，构建t(n)＝p(m)+c(m)数据流通管道⑥；
S3、服务注册机制收到服务自动发现信息，将数据集群副本信息及主题信息，转交负载均衡管理服务；
S4、负载均衡服务依据副本信息及主题信息分配硬件资源，并将硬件资源与数据对应关系同步到服务自动发现模块；
S5、服务自动发现模块实时监控提取模块和解析模块的状态，动态调度集群管理模块资源，保障整体解耦装置和性能扩展；
S6、解析模块通过业务数据主题(topic)，将业务场景所需的数据稳定、高效的输送。
本发明实施例中，解耦装置的最小物理集群为三台物理主机，物理主机包括linux7.0以上操作系统、JDK8以及三外开源组件ZooKeeper、Bookkeeper和Broker。
本发明实施例中，解耦装置系统是基于publish-subscrib(pub-sub)生产订阅模式，配置分区topic订阅列表，分区topic是由多个broker处理，它吞吐量随物理主机台数(集群)线增。
本发明实施例中，解耦装置的topic路由模式类型为自定义消息路由实现特定消息的分区，用户在java client端实现MessageRouter接口来实现自定义路由模式。
本发明实施例中，配置部署Zookeeper集群具体包括以下步骤：
T1、新建文件myid,分别指定的broker上写入配置文件指定的编号broker.1服务器上；
T2、配置服务器端，用客户端连接工具执行zookeeper连接命令，在任意ZooKeeper节点，初始化集群元数据。
本发明实施例中，创建bookie所需目录，编辑bookkeeper.conf文件，配置zkserver、journalDirectory或ledgerDirectories执行初始化元数据命令，其它物理主机重复此类操作。
本发明实施例中，部署配置Brook集群，在每台物理主机broker.conf,配置zookeeperservers、configurationStoreServer或cluterName信息，启动broker服务。
综上，本发明通过采用新的解耦装置弱化元数据与业务之间的关联性，减少开发成本，提升处理速度，增加业务灵活性，采用开源分布式消息流平台，具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性，是云原生时代解决实时消息流数据传输、存储和计算的最佳解决方案。
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种智慧能源云平台数据处理方法，其特征在于：该方法采用解耦装置进行数据处理，该方法具体包括以下步骤：
S1、创建业务数据主题(topic),t(n)为数组t(n)＝{}，t(n)面向不同业务场景的所需要数据合集，通过提取模块p(m)提取相对应业务场景所需的数据集；
S2、服务自动发现模块收集提取模块p(m)和解析模块c(m)全链路相关的关系，构建t(n)＝p(m)+c(m)数据流通管道；
S3、服务注册机制收到服务自动发现信息，将数据集群副本信息及主题信息，转交负载均衡管理服务；
S4、负载均衡服务依据副本信息及主题信息分配硬件资源，并将硬件资源与数据对应关系同步到服务自动发现模块；
S5、服务自动发现模块实时监控提取模块和解析模块的状态，动态调度集群管理模块资源；
S6、解析模块通过业务数据主题(topic)，将业务场景所需的数据稳定、高效的输送。
2.根据权利要求1所述的一种智慧能源云平台数据处理方法，其特征在于：所述解耦装置的最小物理集群为三台物理主机，物理主机包括linux7.0以上操作系统、JDK8以及三外开源组件ZooKeeper、Bookkeeper和Broker。
3.根据权利要求1所述的一种智慧能源云平台数据处理方法，其特征在于：所述解耦装置系统是基于publish-subscrib(pub-sub)生产订阅模式，配置分区topic订阅列表，分区topic是由多个broker处理。
4.根据权利要求3所述的一种智慧能源云平台数据处理方法，其特征在于：所述解耦装置的topic路由模式类型为自定义消息路由实现特定消息的分区，用户在java client端实现MessageRouter接口来实现自定义路由模式。
5.根据权利要求2所述的一种智慧能源云平台数据处理方法，其特征在于：配置部署Zookeeper集群具体包括以下步骤：
T1、新建文件myid,分别指定的broker上写入配置文件指定的编号broker.1服务器上；
T2、配置服务器端，用客户端连接工具执行zookeeper连接命令，在任意ZooKeeper节点，初始化集群元数据。
6.根据权利要求2所述的一种智慧能源云平台数据处理方法，其特征在于：创建bookie所需目录，编辑bookkeeper.conf文件，配置zkserver、journalDirectory或ledgerDirectories执行初始化元数据命令，其它物理主机重复此类操作。
7.根据权利要求2所述的一种智慧能源云平台数据处理方法，其特征在于：部署配置Brook集群，在每台物理主机broker.conf,配置zookeeperservers、configurationStoreServer或cluterName信息，启动broker服务。
CN202210050597.5A 2022-01-17 2022-01-17 一种智慧能源云平台数据处理方法 Pending CN114490847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210050597.5A CN114490847A (zh) 2022-01-17 2022-01-17 一种智慧能源云平台数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210050597.5A CN114490847A (zh) 2022-01-17 2022-01-17 一种智慧能源云平台数据处理方法

Publications (1)

Publication Number Publication Date
CN114490847A true CN114490847A (zh) 2022-05-13

Family

ID=81510983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210050597.5A Pending CN114490847A (zh) 2022-01-17 2022-01-17 一种智慧能源云平台数据处理方法

Country Status (1)

Country Link
CN (1) CN114490847A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN110502559A (zh) * 2019-07-25 2019-11-26 浙江公共安全技术研究院有限公司 一种可信安全跨域数据交换的数据总线及传输方法
CN111177276A (zh) * 2020-01-06 2020-05-19 浙江中烟工业有限责任公司 一种基于Spark计算框架的动能数据处理系统及方法
CN111327681A (zh) * 2020-01-21 2020-06-23 北京工业大学 一种基于Kubernetes的云计算数据平台构建方法
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN110502559A (zh) * 2019-07-25 2019-11-26 浙江公共安全技术研究院有限公司 一种可信安全跨域数据交换的数据总线及传输方法
CN111177276A (zh) * 2020-01-06 2020-05-19 浙江中烟工业有限责任公司 一种基于Spark计算框架的动能数据处理系统及方法
CN111327681A (zh) * 2020-01-21 2020-06-23 北京工业大学 一种基于Kubernetes的云计算数据平台构建方法
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台

Similar Documents

Publication Publication Date Title
US9336288B2 (en) Workflow controller compatibility
US20180165142A1 (en) Methods and systems to identify anomalous behaving components of a distributed computing system
CN111400326A (zh) 一种智慧城市数据管理系统及其方法
US20220179991A1 (en) Automated log/event-message masking in a distributed log-analytics system
US10567557B2 (en) Automatically adjusting timestamps from remote systems based on time zone differences
KR20210036226A (ko) 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법
CN111429241A (zh) 一种账务处理方法和装置
US20220158889A1 (en) Efficient event-type-based log/event-message processing in a distributed log-analytics system
CN113282611B (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
CN109144785A (zh) 用于备份数据的方法和装置
CN106815254A (zh) 一种数据处理方法和装置
CN105144155A (zh) 可视地表示多源数据的查询
CN107894945A (zh) 埋点添加方法、移动终端及计算机可读存储介质
Sharma et al. Recent trends in big data ingestion tools: A study
CN113177088B (zh) 一种材料辐照损伤多尺度模拟大数据管理系统
Ting et al. Constructing a cloud computing based social networks data warehousing and analyzing system
US20180095731A1 (en) Methods and systems to identify log write instructions of a source code as sources of event messages
Marzuni et al. Cross-MapReduce: Data transfer reduction in geo-distributed MapReduce
CN114490847A (zh) 一种智慧能源云平台数据处理方法
CN112579406A (zh) 一种日志调用链生成方法和装置
CN109934468A (zh) 一种兼职工作匹配方法及系统、存储介质
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
CN114756301A (zh) 日志处理方法、装置和系统
Li et al. A fast big data collection system using MapReduce framework
CN114116908A (zh) 一种数据管理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination