CN110535909A - 面向能源互联网应用的大数据与云计算一体化平台系统 - Google Patents

面向能源互联网应用的大数据与云计算一体化平台系统 Download PDF

Info

Publication number
CN110535909A
CN110535909A CN201910689754.5A CN201910689754A CN110535909A CN 110535909 A CN110535909 A CN 110535909A CN 201910689754 A CN201910689754 A CN 201910689754A CN 110535909 A CN110535909 A CN 110535909A
Authority
CN
China
Prior art keywords
big data
data
message queue
cloud computing
energy internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910689754.5A
Other languages
English (en)
Inventor
温柏坚
彭泽武
黄剑文
谢瀚阳
魏理豪
江疆
冯歆尧
杨朝谊
付睿
赵根
胡军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Information Center of Guangdong Power Grid Co Ltd
Original Assignee
Tsinghua University
Information Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Information Center of Guangdong Power Grid Co Ltd filed Critical Tsinghua University
Priority to CN201910689754.5A priority Critical patent/CN110535909A/zh
Publication of CN110535909A publication Critical patent/CN110535909A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Abstract

本公开实施例中提供了一种面向能源互联网应用的大数据与云计算一体化平台系统，所述一体化平台系统包括：接入层，所述接入层被配置为接收来自所述能源网数据的数据，所述能源互联网至少包括终端设备和接口API；业务逻辑层，用于根据请求匹配目标终端设备，对所述来自终端设备的数据进行中转分发以完成数据订阅和分发，以实现对所述目标终端设备的控制和监控；以及核心服务层，用于提供基础服务，并且与所述大数据平台对接以对所接收的数据进行数据分析。通过本公开的处理方案，不仅具有建设、运维成本上的优势，而且在实际应用场景中能够充分体现便利性和数据集成优势，拥有广阔应用前景和巨大应用价值。

Description

面向能源互联网应用的大数据与云计算一体化平台系统
技术领域
本公开涉及能源互联网技术领域，尤其涉及一种面向能源互联网应用的大数据与云计算一体化平台系统。
背景技术
能源互联网是电力与能源工业发展的方向和趋势。能源互联网将先进的通信信息技术与物理能源系统的运行技术相融合而形成新一代物理信息系统。其实质是在多能互补基础上提供综合能源服务，核心是分布式、可再生能源以及围绕它们进行的能源生产、运输、配送、与消费，同时可将热力、电力、燃气、甚至水务等整合在一起。
能源互联网服务模式包含两个方面：综合能源，即电力、燃气和冷热等多能互补互通；综合服务，即用能安全监测、能效管理、运维服务、和新能源运营服务等。能源互联网以集成、高速双向通信网络为基础，充分利用先进传感、测量技术，优化控制技术、和决策支持技术，实现能源系统的可靠、安全、经济、高效、环境友好的目标。
能源互联网的智能运行是以高度的“可观测”和“可控制”为基础的，观测和控制的基础是必须要获得能够真实反映系统运行状态的、全景实时数据，并对数据进行快速的处理与分析，将数据尽快转化为信息，基于这些信息，进行判断和预测，进而将这些信息转化为可以指导运行控制的决策。因此海量数据的高效分析技术将成为能源互联网发展的重要支撑。
大数据平台和云计算服务平台在底层支撑软件层面具有很强的通用性，并且云服务平台能够为大数据平台提供高效的数据采集融合服务。因此，构建大数据与云计算的一体化平台，不仅具有建设、运维成本上的优势，而且在实际应用场景中能够充分体现便利性和数据集成优势，拥有广阔应用前景和巨大应用价值。
发明内容
有鉴于此，本公开实施例提供一种面向能源互联网应用的大数据与云计算一体化平台系统，以至少部分解决现有技术中存在的问题。
根据本公开实施例的第一方面，提供一种面向能源互联网应用的大数据与云计算一体化平台系统，所述一体化平台系统包括：
接入层，所述接入层被配置为接收来自所述能源网数据的数据，所述能源互联网至少包括终端设备和接口API；
业务逻辑层，用于根据请求匹配目标终端设备，对所述来自终端设备的数据进行中转分发以完成数据订阅和分发，以实现对所述目标终端设备的控制和监控；以及
核心服务层，用于提供基础服务，并且与所述大数据平台对接以对所接收的数据进行数据分析。
根据本公开实施例的一种具体实现方式，所述接入层被配置为接收来自所述能源网数据的数据，包括：
通过以下方式中的一种或者多种方式从所述终端设备接收数据：MQTT协议、XMPP协议、其他私有协议、API、SDK、联网通信模块以及物联网传感器。
根据本公开实施例的一种具体实现方式，所述接入层提供有负载均衡机制。
根据本公开实施例的一种具体实现方式，所述业务逻辑层包括：
路由分发模块，所述路由分发模块根据接入的终端设备类型和数据类型建立相应的消息队列主题和消息队列消费者；以及
规则处理模块，所述规则处理模块提供根据所述消息队列主题的数据处理规则，由所述消息队列消费者来依照所述数据处理规则来处理数据。
根据本公开实施例的一种具体实现方式，所述核心服务层包括：
消息队列模块，所述路由分发模块根据接入的终端设备类型和数据类型在所述消息队列模块建立相应的消息队列主题和消息队列消费者，其中所述消息队列主题的处理规则能够被指定。
根据本公开实施例的一种具体实现方式，所述核心服务层包括：
大数据分析模块，所述大数据分析模块通过Apache Kafka实现的消息分发系统作为任务队列，并使用服务API申请大数据处理任务，任务队列根据集群资源状态进行任务分发并异步等待结果返回。
根据本公开实施例的一种具体实现方式，所述大数据分析模块的分析任务包括并行计算模式的大数据分析任务和容器计算模式的大数据分析任务，其中所述并行计算模式的大数据分析任务通过Hadoop YARN组件对Apache Spark、 Apache Hive或ApacheMapReduce引擎进行调度，所述容器计算模式的大数据分析任务通过Docker容器组件执行对应的分析语言容器来执行分析任务。
根据本公开实施例的一种具体实现方式，所述大数据分析模块为大数据分析任务建立相应的事件、消息队列主题和消息队列消费者，其中所述事件通过云平台接入层的API进行创建，继而推送至对应的消息队列主题中，相应的消息队列消费者通过订阅指定消息队列主题的消息，来对大数据计算引擎或容器引擎进行调度，创建相应的大数据分析任务。
根据本公开实施例的一种具体实现方式，所述大数据任务首先通过服务API 存储至存储系统中，然后再通过存储系统与Apache Kafka进行同步并且分发至消息队列中，并且其中，所述消息队列中被定期分发固定格式的数据。
根据本公开实施例的一种具体实现方式，对于接入层录入的消息，设置唯一标示。
根据本公开实施例提供的面向能源互联网应用的大数据与云计算一体化平台系统包括：接入层，所述接入层被配置为接收来自所述能源网数据的数据，所述能源互联网至少包括终端设备和接口API；业务逻辑层，用于根据请求匹配目标终端设备，对所述来自终端设备的数据进行中转分发以完成数据订阅和分发，以实现对所述目标终端设备的控制和监控；以及核心服务层，用于提供基础服务，并且与所述大数据平台对接以对所接收的数据进行数据分析。通过本公开的处理方案，不仅具有建设、运维成本上的优势，而且在实际应用场景中能够充分体现便利性和数据集成优势，拥有广阔应用前景和巨大应用价值。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的面向能源互联网应用的大数据与云计算一体化平台系统框图；
图2为本公开实施例提供的大数据平台结构示意图；并且
图3为本公开实施例提供的面向能源互联网应用的大数据与云计算一体化平台系统的框图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种面向能源互联网应用的大数据与云计算一体化平台系统。本实施例提供的面向能源互联网应用的大数据与云计算一体化平台系统可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。
首先，参考图1，描述根据本公开实施例的面向能源互联网应用的大数据与云计算一体化平台系统100的架构。如图1所示，根据本公开实施例的面向能源互联网应用的大数据与云计算一体化平台系统100包括云服务平台200和大数据平台300。
在本公开实施例中，能源互联网所采集的数据被输入到云服务平台200，以通过云服务平台200提供计算资源和计算服务。
此外，在本示例性实施例中，该一体化平台系统100中的大数据平台300 通过对能源互联网所采集的数据进行收集准备、存储管理、计算处理、数据分析和知识展现，来实现对数据的解析处理并产生新的知识用以支撑决策或业务的自动智能化运转。
接下来，具体描述根据本公开实施例的云服务平台200和大数据平台300。
云服务平台200
在云服务平台200中，用户通过网络连接到计算机上，获取计算资源和计算服务。而远程计算机，因为规模效应，可以提供比个人计算机强大若干个数量级的计算能力，可以根据用户需求提供弹性伸缩的计算资源，可以大大降低用户获取相同计算结果花费的成本。
根据本公开实施例的云服务平台200能够以多种形式提供云计算服务，包括但不限于IaaS、PaaS、SaaS、BaaS等方式。
·IaaS
IasS是Infrastructure-as-a-Service的简称，既基础设施即服务，常见形式是硬件服务器租用。提供IaaS的服务商会提供场外服务器、虚拟化、存储和网络硬件供用户租用，为用户节省维护成本和办公场地，用户可以在任何时候利用这些硬件来运行其应用。IaaS产品包括亚马逊的AWS云服务、微软的Microsoft Azure、阿里巴巴的阿里云、腾讯的腾讯云等。
·PaaS
PaaS是Platform-as-a-Service的简称，既平台即服务，常见的表现形式是提供托管的应用引擎(App Engine)。PaaS层可以被理解为在IaaS层提供的硬件服务之上，还额外搭建好了服务器环境、中间件、数据库等。开发者用户只需要将代码上传部署，网站就可以运行起来了，既降低了IT运维成本，还省去了大量的开发与运维工作量。PaaS平台目标的产品包括谷歌的App Engine、百度的Baidu App Engine(BAE)、新浪的Sina App Engine(SAE)等。
·SaaS
SaaS是Software-as-a-Service的简称，既软件即服务，常见的形式是提供 Web端应用，也就是开发好的应用软件。用户不需要考虑任何软件开发、部署，也不用担心服务器硬件、带宽，直接购买即可使用。
·BaaS
BaaS是Backend-as-a-Service的简称，既后端即服务，是一种新型的基于 PaaS的云服务，旨在为移动、Web等应用等提供后端云服务，包括提供云端数据、文件存储、账户管理、消息推送、社交媒体整合、大数据分析等接口和服务。用户可以通过BaaS平台提供的各种基础组件和微服务(中间件)来实现具体功能，可以在保证平台提供的服务更细分和更专业的基础上，满足个性化需求。当前比较成熟的BaaS平台有国内的LeanCloud、Facebook的Parse等平台。
此外，云服务平台200可以采用单体架构或者微服务架构。
单体架构是计算机软件架构中非常常见的形式，此类架构通常以技术分层。常见的分层为表现层、业务逻辑层、和数据层。而业务逻辑则可根据更具体的业务职责、功能进行模块化，形成逻辑组件。“单体架构”虽然有逻辑上的模块和组件，但在物理部署架构层面仍是一个“单块”，通常作为一个整体编译、打包、部署、运维。
微服务架构是一种新的架构概念，提倡将应用分割成一系列细小的服务，每个服务专注于单一业务功能，运行于独立的进程中，服务之间边界清晰，从而达到各服务间的解耦，服务之间采用轻量级通信机制(如HTTP/REST)相互沟通、配合来实现完整的应用，满足业务和用户的需求。微服务是一种简单的应用，每个服务基本上只完成自己角色的任务，没有额外的业务代码，甚至一个算法实现都可能当做一个服务来发布，这些服务基本简单到只能完成一个功能，非常的轻量级和容易理解，只是须要将一些业务代码简单的包装，通过通信层来完成服务调用。
大数据平台300
根据本公开实施例的大数据平台300的平台方案基于Apache Hadoop生态系统，使用Hadoop Distributed File System(HDFS)作为底层文件系统，YARN 作为资源管理和任务调度工具，统一调度Hadoop MapReduce和Spark两套计算引擎，来支撑多种业务场景和业务需求。图2示出了根据本公开实施例的大数据平台300的基础架构。
总体架构
根据本公开实施例的大数据平台300采用Lambda Ar-chitecture作为其参考模型，其包含批处理层、速度层和服务层。
批处理层生成批处理视图，利用批处理层进行预运算的作用实际上就是将大数据变小，从而有效地利用资源，改善实时查询性能。但是有一个前提，即需要预先知道查询的数据，才能在批处理层中安排执行计划，定期对数据进行批量处理。
速度层对数据处理的逻辑与批处理层一致，主要区别在于速度层处理实时流数据而批处理层处理批量离线数据。另一个区别是为了满足最小的延迟，速度层并不会在同一时间读取所有的新数据，相反，它会在接收到新数据时，更新实时视图，而不会像批处理层那样重新运算整个视图。速度层是一种增量的计算，而非重新运算。
存储工具
在本公开实施例中，采用文件系统与数据库技术相结合的存储方案。由于 Hadoop对于文件系统的依赖，使用HDFS是最佳方案。能源数据具有多源异构特性，对于结构化数据的存储方式，开源的MySQL和PostgreSQL效果较好；对于非结构化数据的存储方式，NoSQL数据库则最为合适。当前稳定高效的 NoSQL数据库包括HBase、MongoDB、和Cassandra。
数据导入工具
·Sqoop：将其他数据源以及其他数据库中的数据导入、导出到HDFS上，方便MapReduce和Spark进行计算使用。
·Flume：集群日志收集工具，具有分布式，可靠，可容错，与可定制的特性。
计算工具
·基于MapReduce工具
Pig：提供Pig Latin编写MapReduce应用。
Mahout：基于MapReduce的数据挖掘算法库。
·基于Spark工具
Spark MLLib：Spark的机器学习和数据挖掘算法库。
Spark SQL：基于Spark的SQL查询工具。
Spark Streaming：流处理工具。
Spark GraphX：图计算工具。
安全校验工具
Hadoop的安全认证是基于Kerberos实现的。Kerberos是一个网络身份验证协议，用户只需输入身份验证信息，验证通过获取票据即可访问多个接入 Kerberos的服务，机器的单点登录也可以基于此协议完成的。Hadoop本身并不创建用户账号，而是使用Kerberos协议来进行用户身份验证。
管理工具
Ambari是目前开源的Hadoop管理工具，支持对集群进行统一的部署。而如果采用发行版Hadoop，则通过发行版集成的管理工具即可(如Cloudera公司的ClouderaManager)。
应用工具
根据本公开实施例的大数据平台的应用工具包括优化决策分析工具CPLEX、Tableau商业智能软件、MATLAB科学计算软件和R高级分析软件包。
WebSphere ILOG CPLEX优化程序提供了解决实际大型优化问题所需的能力，同时具有交互应用程序所需的速度。CPLEX性能不仅仅是优秀的数学优化能力,而且能够将工作在各个CPU中进行分工，这就是所谓的Parallel CPLEX。在应用开发和部署过程中，可以通过大多数编程环境来访问CPLEX，并在多个平台上对其进行迁移，因而真正实现了可移植性。
Tableau是一套综合的商业智能(BI)产品，可提供全面的BI功能，包括交互式信息板、完全即席的主动式智能和警报、企业和财务报表、实时预测智能以及离线分析等。除了提供全面的BI功能外，Tableau企业增强版平台还基于成熟、新式的面向Web服务的架构提供真正意义上的下一代BI功能。
MATLAB软件包是世界著名的，独一无二的科学与工程计算仿真工具。MATLAB软件可以与数据库和界面接口，适合于核心技术的原型开发。具有开发周期短，功能齐全的优势。加拿大滑铁卢大学电力与能源系统研究小组基于 MATLAB软件包，开发了一套家庭智能设备用电行为仿真软件，可以作为模拟分析的数据源。
R是一套完整的数据处理、计算、和制图软件包。其功能包括：数据存储和处理系统；数组运算工具(其向量、矩阵运算方面功能强大)；完整连贯的统计分析工具；优秀的统计制图功能；简便而强大的编程语言。[10]R提供大量开源的数学计算、统计计算的函数。R语言强项在于既包含丰富的统计分析库，又可以将结果转化为高品质图像，还具备基于CRAN的包扩展机制。
接下来，参考图3，具体描述根据本公开实施例的一体化平台系统100。在能源互联网应用场景中，最底层设备通常采用物联网的方式进行设备组织管理和数据信息采集。物联网的定义是让设备具备感应、沟通、交互和协作的能力，从而构建一个由“物”组成的网络。
如图3所示，根据本公开实施例的一体化平台系统100由三层结构组成，即接入层、业务逻辑层和核心服务层。
接入层充当网关，通过MQTT、XMPP或其他私有协议接入物联网设备，同时提供API和相对应的SDK供其他互联网设备接入。物联网设备也可以直接通过WIFI、3G、4G以及其他联网通信模块接入网关完成数据的传递。为了确保接入层的数据接收与推送服务在高并发环境的稳定性，通常会根据并发量扩展网关数量并提供负载均衡机制。
业务逻辑层包括在线管理模块、设备管理模块、路由分发模块和规则处理模块，并且用于根据用户的请求参数，匹配目标硬件(设备)，对业务数据进行中转分发，完成业务系统的数据订阅和分发，实现对智能硬件的控制和监控。
核心服务层则提供所有的基础服务，包括数据存储的数据库、消息队列、日志管理、大数据平台对接和监控警告服务等。
具体地，在本公开实施例中，通过接入层设备和接口(API)接入的数据流将通过业务逻辑层提供的规则处理和路由分发模块对数据进行具体操作。
路由分发模块利用Apache Kafka实现的消息分发系统作为消息队列，根据接入的硬件设备类型和数据类型建立相应的消息队列主题(Topic)和消息队列消费者(Consumer)。
规则处理模块提供基于消息队列主题(Topic)的数据处理规则，由消息队列消费者(Consumer)来依照规则处理数据。
比如在接入电表类型A的设备时，平台系统100会在消息队列中创建对应的电表类型A的消息队列主题(如meter_a_reading)，同时允许用户创建指定主题的处理规则，如建立将主题meter_a_reading中的消息解析后存入面向对象的海量数据库的MeterReading对象表中的处理规则。借由消息路由分发和规则处理模块，允许用户灵活的建立符合业务需求的数据处理模式。
此外，根据本公开实施例的一体化平台100还具有数据交互功能，该数据交互功能主要实现通过云计算平台200进行大规模数据的离线分析功能，即云平台200与大数据平台300连通的主要实现，由于针对大规模数据的分析任务一般都比较耗时，所以采用“离线分析”的模式。“离线分析”是指运行分析程序的机器和服务API请求的机器是分开的，这样可以尽量减少线上集群的压力，也就是说，使用离线分析并不会影响或牺牲线上正式数据的访问性能。
计算集群和云计算集群之间通过Apache Kafka实现的消息分发系统作为任务队列，用户使用云引擎开放的服务API申请大数据处理任务，任务队列根据集群资源状态进行任务分发并异步等待结果返回。
在本公开实施例中，预定义了2类5种大数据分析任务，分别为并行计算模式的大数据分析任务和容器计算模式的大数据分析任务。并行计算模式的大数据分析任务通过Hadoop YARN组件对Apache Spark、Apache Hive或Apache MapReduce引擎进行调度，容器计算模式的大数据分析任务则通过Docker容器组件执行对应的分析语言容器来执行分析任务。
基于Apache Kafka，本公开实施例分别对5种大数据分析任务建立相应的事件(Event)、消息队列主题(Topic)和消息队列消费者(Consumer)。消息队列事件(Event)通过云平台接入层的API进行创建，继而推送至对应的消息队列主题(Topic)中，相应的消息队列消费者(Consumer)通过订阅指定主题的消息，来对大数据计算引擎或容器引擎进行调度，创建相应的大数据分析任务。
消息分发系统的设计与实现充分考虑了系统的可用性、准确性和实时性。为了确保可用性，任务请求都先通过服务API存储至一个可靠的存储系统中 (MongoDB)，然后再通过存储系统与Apache Kafka进行同步并且分发至消息队列中，这样为了保证即使系统宕机也不会影响消息队列的任务数据。
在准确性方面，主要是保证“不重不漏”，在系统录入消息的时候，系统对每条数据做一个唯一的标示，即GUID。更进一步，希望GUID能够可读，并且能表示数据的先后顺序。为了满足这个需求，在本公开实施例中同时实现了一个高可用的能够产生严格递增的ID的服务。通过对GUID进行检查，能很好的确保消息系统中信息的排重与排漏。
实时性方面主要降低系统对网络通信的依赖，尽可能通过物理层面解决实时性的问题，并且通过系统性能监视来监控数据的延迟。本公开实施例使用的方案是“哨兵数据”，即定期向消息队列中分发一条固定类型固定格式的数据，其中包含数据产生时的明确时间戳，而消息的处理方会对“哨兵数据”进行监控，如果接收不到，说明云引擎或者消息队列出现了问题。如果接收到了，将数据的生成时间和接收时间做对比，如果时间间隔超出阈值，说明延迟过大。无论哪种情况，都会触发报警，报告消息系统异常。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述一体化平台系统包括：
接入层，所述接入层被配置为接收来自所述能源网数据的数据，所述能源互联网至少包括终端设备和接口API；
业务逻辑层，用于根据请求匹配目标终端设备，对所述来自终端设备的数据进行中转分发以完成数据订阅和分发，以实现对所述目标终端设备的控制和监控；以及
核心服务层，用于提供基础服务，并且与所述大数据平台对接以对所接收的数据进行数据分析。
2.根据权利要求1所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述接入层被配置为接收来自所述能源网数据的数据，包括：
通过以下方式中的一种或者多种方式从所述终端设备接收数据：MQTT协议、XMPP协议、其他私有协议、API、SDK、联网通信模块以及物联网传感器。
3.根据权利要求2所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述接入层提供有负载均衡机制。
4.根据权利要求1所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述业务逻辑层包括：
路由分发模块，所述路由分发模块根据接入的终端设备类型和数据类型建立相应的消息队列主题和消息队列消费者；以及
规则处理模块，所述规则处理模块提供根据所述消息队列主题的数据处理规则，由所述消息队列消费者来依照所述数据处理规则来处理数据。
5.根据权利要求4所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述核心服务层包括：
消息队列模块，所述路由分发模块根据接入的终端设备类型和数据类型在所述消息队列模块建立相应的消息队列主题和消息队列消费者，其中所述消息队列主题的处理规则能够被指定。
6.根据权利要求1所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述核心服务层包括：
大数据分析模块，所述大数据分析模块通过Apache Kafka实现的消息分发系统作为任务队列，并使用服务API申请大数据处理任务，任务队列根据集群资源状态进行任务分发并异步等待结果返回。
7.根据权利要求6所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述大数据分析模块的分析任务包括并行计算模式的大数据分析任务和容器计算模式的大数据分析任务，其中所述并行计算模式的大数据分析任务通过Hadoop YARN组件对Apache Spark、Apache Hive或Apache MapReduce引擎进行调度，所述容器计算模式的大数据分析任务通过Docker容器组件执行对应的分析语言容器来执行分析任务。
8.根据权利要求7所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述大数据分析模块为大数据分析任务建立相应的事件、消息队列主题和消息队列消费者，其中所述事件通过云平台接入层的API进行创建，继而推送至对应的消息队列主题中，相应的消息队列消费者通过订阅指定消息队列主题的消息，来对大数据计算引擎或容器引擎进行调度，创建相应的大数据分析任务。
9.根据权利要求8所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，所述大数据任务首先通过服务API存储至存储系统中，然后再通过存储系统与Apache Kafka进行同步并且分发至消息队列中，并且其中，所述消息队列中被定期分发固定格式的数据。
10.根据权利要求8所述的面向能源互联网应用的大数据与云计算一体化平台系统，其特征在于，对于接入层录入的消息，设置唯一标示。
CN201910689754.5A 2019-07-29 2019-07-29 面向能源互联网应用的大数据与云计算一体化平台系统 Pending CN110535909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910689754.5A CN110535909A (zh) 2019-07-29 2019-07-29 面向能源互联网应用的大数据与云计算一体化平台系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910689754.5A CN110535909A (zh) 2019-07-29 2019-07-29 面向能源互联网应用的大数据与云计算一体化平台系统

Publications (1)

Publication Number Publication Date
CN110535909A true CN110535909A (zh) 2019-12-03

Family

ID=68660971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910689754.5A Pending CN110535909A (zh) 2019-07-29 2019-07-29 面向能源互联网应用的大数据与云计算一体化平台系统

Country Status (1)

Country Link
CN (1) CN110535909A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143673A (zh) * 2019-12-19 2020-05-12 上海云角信息技术有限公司 一种多渠道客户信息处理及自动化营销的方法及系统
CN111190398A (zh) * 2019-12-24 2020-05-22 无锡美林数联科技有限公司 一种基于大数据的工业设备系统
CN111428062A (zh) * 2020-03-25 2020-07-17 北京以萨技术股份有限公司 一种视图库系统的数据处理系统、方法、终端及介质
CN111578369A (zh) * 2020-04-28 2020-08-25 同方泰德国际科技(北京)有限公司 一种远程管理系统、方法及设备
CN111798655A (zh) * 2020-05-29 2020-10-20 国网江苏省电力有限公司信息通信分公司 一种适用于电力物联网台区的运行数据分钟级采集方法
CN112035333A (zh) * 2020-08-21 2020-12-04 广东电网有限责任公司 能源互联网服务系统、能源互联网应用系统、及电子设备
CN113141384A (zh) * 2020-01-18 2021-07-20 佛山市云米电器科技有限公司 Iot云服务器及iot通信系统
CN113382057A (zh) * 2021-06-07 2021-09-10 海尔数字科技(青岛)有限公司 一种平台架构及实现、应用方法
CN113573325A (zh) * 2020-04-29 2021-10-29 中移物联网有限公司 一种无线网络分析方法、系统及计算机可读存储介质
CN114885204A (zh) * 2021-02-05 2022-08-09 山西云芯新一代信息技术研究院有限公司 一种基于web的AR场景互动sdk
CN116303498A (zh) * 2023-02-28 2023-06-23 上海数禾信息科技有限公司 流批一体方法、装置、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502180A (zh) * 2016-12-05 2017-03-15 广州银变电力设备有限公司 一种变压器远程智能监控系统及方法
CN106657394A (zh) * 2017-02-10 2017-05-10 山东浪潮商用系统有限公司 一种基于物联网大数据的设备信息采集系统及方法
CN206209375U (zh) * 2016-12-05 2017-05-31 广州银变电力设备有限公司 一种变压器远程智能监控系统
CN106780248A (zh) * 2016-11-29 2017-05-31 特斯联（北京）科技有限公司 基于大数据技术的城市物联网设备运营控制系统及方法
CN107666480A (zh) * 2017-09-01 2018-02-06 国网四川省电力公司绵阳供电公司 智慧小区能源管理系统、硬件架构和信息交互方法
CN109245295A (zh) * 2018-08-31 2019-01-18 中国科学院广州能源研究所 基于mqtt协议的光伏电站监控系统
US20190026716A1 (en) * 2017-07-18 2019-01-24 Tata Consultancy Services Limited SYSTEMS AND METHODS FOR PROVIDING SERVICES TO SMART DEVICES CONNECTED IN AN IoT PLATFORM
CN109889585A (zh) * 2019-02-01 2019-06-14 中电科仪器仪表有限公司 一种电子测试仪器的运行状态远程监测系统及方法
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN110047014A (zh) * 2019-01-04 2019-07-23 国网浙江省电力有限公司电力科学研究院 一种基于负荷曲线和历史电量的用户电量数据修复方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780248A (zh) * 2016-11-29 2017-05-31 特斯联（北京）科技有限公司 基于大数据技术的城市物联网设备运营控制系统及方法
CN106502180A (zh) * 2016-12-05 2017-03-15 广州银变电力设备有限公司 一种变压器远程智能监控系统及方法
CN206209375U (zh) * 2016-12-05 2017-05-31 广州银变电力设备有限公司 一种变压器远程智能监控系统
CN106657394A (zh) * 2017-02-10 2017-05-10 山东浪潮商用系统有限公司 一种基于物联网大数据的设备信息采集系统及方法
US20190026716A1 (en) * 2017-07-18 2019-01-24 Tata Consultancy Services Limited SYSTEMS AND METHODS FOR PROVIDING SERVICES TO SMART DEVICES CONNECTED IN AN IoT PLATFORM
CN107666480A (zh) * 2017-09-01 2018-02-06 国网四川省电力公司绵阳供电公司 智慧小区能源管理系统、硬件架构和信息交互方法
CN109245295A (zh) * 2018-08-31 2019-01-18 中国科学院广州能源研究所 基于mqtt协议的光伏电站监控系统
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN110047014A (zh) * 2019-01-04 2019-07-23 国网浙江省电力有限公司电力科学研究院 一种基于负荷曲线和历史电量的用户电量数据修复方法
CN109889585A (zh) * 2019-02-01 2019-06-14 中电科仪器仪表有限公司 一种电子测试仪器的运行状态远程监测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金和平，郭创新，许奕斌，廖伟涵: "能源大数据的系统构想", 《水电与抽水蓄能》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143673A (zh) * 2019-12-19 2020-05-12 上海云角信息技术有限公司 一种多渠道客户信息处理及自动化营销的方法及系统
CN111143673B (zh) * 2019-12-19 2024-03-22 上海云角信息技术有限公司 一种多渠道客户信息处理及自动化营销的方法及系统
CN111190398A (zh) * 2019-12-24 2020-05-22 无锡美林数联科技有限公司 一种基于大数据的工业设备系统
CN113141384A (zh) * 2020-01-18 2021-07-20 佛山市云米电器科技有限公司 Iot云服务器及iot通信系统
CN111428062A (zh) * 2020-03-25 2020-07-17 北京以萨技术股份有限公司 一种视图库系统的数据处理系统、方法、终端及介质
CN111578369A (zh) * 2020-04-28 2020-08-25 同方泰德国际科技(北京)有限公司 一种远程管理系统、方法及设备
CN113573325A (zh) * 2020-04-29 2021-10-29 中移物联网有限公司 一种无线网络分析方法、系统及计算机可读存储介质
CN113573325B (zh) * 2020-04-29 2023-09-08 中移物联网有限公司 一种无线网络分析方法、系统及计算机可读存储介质
CN111798655A (zh) * 2020-05-29 2020-10-20 国网江苏省电力有限公司信息通信分公司 一种适用于电力物联网台区的运行数据分钟级采集方法
CN111798655B (zh) * 2020-05-29 2021-12-10 国网江苏省电力有限公司信息通信分公司 一种适用于电力物联网台区的运行数据分钟级采集方法
CN112035333A (zh) * 2020-08-21 2020-12-04 广东电网有限责任公司 能源互联网服务系统、能源互联网应用系统、及电子设备
CN114885204A (zh) * 2021-02-05 2022-08-09 山西云芯新一代信息技术研究院有限公司 一种基于web的AR场景互动sdk
CN114885204B (zh) * 2021-02-05 2023-10-20 山西云芯新一代信息技术研究院有限公司 一种基于web的AR场景互动sdk
CN113382057B (zh) * 2021-06-07 2023-04-07 海尔数字科技(青岛)有限公司 一种平台架构及实现、应用方法
CN113382057A (zh) * 2021-06-07 2021-09-10 海尔数字科技(青岛)有限公司 一种平台架构及实现、应用方法
CN116303498A (zh) * 2023-02-28 2023-06-23 上海数禾信息科技有限公司 流批一体方法、装置、设备和介质
CN116303498B (zh) * 2023-02-28 2023-11-03 上海数禾信息科技有限公司 流批一体方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN110535909A (zh) 面向能源互联网应用的大数据与云计算一体化平台系统
Laili et al. A study of optimal allocation of computing resources in cloud manufacturing systems
Wang et al. Optimizing load balancing and data-locality with data-aware scheduling
Barika et al. Orchestrating big data analysis workflows in the cloud: research challenges, survey, and future directions
CN102567080B (zh) 一种云计算环境中的面向负载均衡的虚拟机择位系统
CN103870314A (zh) 一种单节点同时运行不同类型虚拟机的方法及系统
Lv et al. PaaS: A revolution for information technology platforms
Wang et al. Multidisciplinary approaches to artificial swarm intelligence for heterogeneous computing and cloud scheduling
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
Nguyen et al. A low-cost two-tier fog computing testbed for streaming IoT-based applications
US20170371713A1 (en) Intelligent resource management system
Liang et al. Resource virtualization model using hybrid-graph representation and converging algorithm for cloud computing
Mukherjee et al. Utilising condor for data parallel analytics in an IoT context—An experience report
Won et al. Astra-sim2. 0: Modeling hierarchical networks and disaggregated systems for large-model training at scale
Khaitan et al. Proactive task scheduling and stealing in master-slave based load balancing for parallel contingency analysis
CN103299277A (zh) Gpu系统及其处理方法
Yang et al. High-performance docker integration scheme based on OpenStack
CN110647399A (zh) 一种基于人工智能网络的高性能计算系统及方法
Zhang et al. An on-the-fly scheduling strategy for distributed stream processing platform
Zhang et al. A scalable lnternet-of-Vehicles service over joint clouds
Liu et al. BSPCloud: A hybrid distributed-memory and shared-memory programming model
Gao Frameworks for big data integration, warehousing, and analytics
Guo et al. Hybrid computing hierarchy based on-line analysis service for power dispatching and control system
Liu et al. Bspcloud: A programming model for cloud computing
Xu et al. Boosting mapreduce with network-aware task assignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203