CN104156810A - 一种基于云计算的电力调度生产管理系统及其实现方法 - Google Patents
一种基于云计算的电力调度生产管理系统及其实现方法 Download PDFInfo
- Publication number
- CN104156810A CN104156810A CN201410375012.2A CN201410375012A CN104156810A CN 104156810 A CN104156810 A CN 104156810A CN 201410375012 A CN201410375012 A CN 201410375012A CN 104156810 A CN104156810 A CN 104156810A
- Authority
- CN
- China
- Prior art keywords
- data
- electric power
- power
- electric
- dispatching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于云计算的电力调度生产管理系统及其实现方法,系统支持多样化、异构化的海量数据的全景实时展现;全景数据实时展现即对运行数据分析得出的各类结果指标的实时可视化,展现设计应提供用户体验友好的可视化方式,适应当前终端多样化、异构化的特点,以便基于可视化技术开发全方位的监控和分析系统,从而提高调度人员对电网势态的感知能力,能快速地、有效地对紧急情况做出反应;本发明能够对检修计划滚动排期,具备月度计划高级统计分析展示功能、停电信息自动生成功能。
Description
技术领域
本发明涉及一种基于云计算的电力调度生产管理系统及其实现方法。
背景技术
调度生产管理系统(OMS系统)与云计算结合的应用场景是“基于虚拟化的私有云技术+大数据技术”,即OpenStack应与VMware、Hadoop融合以提供虚拟化的私有云存储及计算环境。
实践中可基于OpenStack Nova模块与VMware集成,实现虚拟机的管理;基于OpenStack Dashboard模块实现资源池管理功能和虚拟机生命周期管理功能;基于OpenStack Swift模块与Hadoop Map/Reduce集群集成,实现IAAS与数据处理的集成。使用这种架构的优势是,OMS系统将获得一个可扩展的存储集群,以处理不断累积的数据,并为云计算的技术实现打下技术基础。
基于云计算的OMS系统常用数据库包括关系数据库和分布式数据库。
关系数据库虽然很强大,但是它并不能很好的应付所有的应用场景,其主要缺点如下:
(1)对大数据或非结构化数据支持较弱。关系模型只能处理整数、实数、字符串等这样简单的结构化数据类型,难以支持文档、网页等非结构化或半结构化数据。
(2)关系模型不支持复杂的数据嵌套。为了模拟复杂对象,常常需要把信息分开成几个不同的表,表之间的连接常隐藏在应用程序里,而不是在更易于管理的数据库中,每次必须连接一批表才能得到对象的信息,存取速度变慢,且这种方式也很难模仿出数据的现实关系。
(3)关系型数据库在其性能、扩展性及伸缩性方面不足。关系型数据库扩展性较差,大数据下IO压力大,表结构更改困难。此外,关系型数据库只能进行短小的处理,不能进行要求操作临时变量、历史记录和数据版本的长处理,只适合于保存记录的应用和报表输出的设计。
分布式数据库的新一代理论基础是BASE模型,它存在以下缺点:
(1)难以实现数据的实时完整性,也就是事务的一致性。
(2)缺乏供应商提供的强有力的技术支持,对开发和运维人员自身技术水平要求较高。由于关系型数据库本身天然的多样性,以及出现的时间较短,因此不像关系型数据库,有几 种数据库能够一统江山。分布式型数据库的种类非常多,并且大部分都是开源的,对用户技术水平要求较高。
(3)数据库设计难度较高。关系型数据库最大的价值就在于其数据结构设计方便。因为在其数据库的对象之间的关系模型(如三范式等)对于数据库结构设计是很有帮助的,这很大程度上体现了业务的实际情况。但是分布式型数据库系统由于缺乏这种关系,因此基于分布式型数据库技木的不同产品之间,可能会存在很大的差异。这增加了数据库结构设计的难度。
发明内容
本发明为了解决上述问题,提出一种基于云计算的电力调度生产管理系统及其实现方法,该系统能够对检修计划滚动排期,具备月度计划高级统计分析展示功能、停电信息自动生成功能。
为了实现上述目的,本发明采用如下技术方案:
一种基于云计算的电力调度生产管理系统,包括信息网络模块、资源管理模块、支撑模块、平台服务模块和应用服务模块,其中:
所述信息网络模块,存储电网信息,用于为调度提供信息数据;
所述平台服务模块,面向云计算环境,用于为电网管理数据、电网计划数据、电网运行数据和电网模型数据构建分布式文件系统、Map/Reduce框架及分析计算引擎,以提供平台级计算服务;
所述支撑模块,用于提供应用接口和服务平台;
所述资源管理模块,用于管控、分析虚拟化资源、存储资源数据;
所述应用服务模块,用于为电网调度提供电网管理指标、电网计划指标、电网运行指标和电网模型指标分析应用服务。
一种基于上述调度生产管理系统的实现方法,包括以下步骤:
(1)根据信息网络模块中存储的电网运行数据、电网计划数据和电网数据模型进行数据模型转换;
(2)平台服务模块分布存储数据模型,进行分布计算;
(3)应用服务模块结合资源管理模块进行电网运行计划、关联分析和预测;
(4)应用服务模块将分析结果传输给支撑模块,根据数据处理结果进行调度。
所述步骤(1)中,电网运行数据包括:调度机端电量、调度上网电量、全口径机端电量、 受电量、调度最高上网电力、调度最低上网电力、调度最高上网电力发生时刻、调度最低上网电力发生时刻、调度最高机端电力、调度最低机端电力、调度最高机端电力发生时刻、调度最低机端电力发生时刻、最大受电电力、最小受电电力、最大受电电力发生时刻、最小受电电力发生时刻、调度最高发受电电力、调度最低发受电电力、调度最高发受电电力发生时刻、调度最低发受电电力发生时刻、全口径最高机端电力、全口径最低机端电力、全口径最高发受电电力和全口径最低发受电电力。
所述步骤(1)中,电网计划数据包括:电力电量平衡预测情况,直代管电厂发电、抽水月度计划电量、日计划电量、调度计划电量,省市联络线关口、跨省联络线关口的月度计划电量、日计划电量和调度计划电量,负荷预测值及合格率,日拉限电电力、电量、条次和错避峰电力、电量。
所述步骤(1)中,电网模型数据包括:调度员潮流数据、短路电流、网损数据、最优潮流、外部网络等值、状态估计、静态安全分析数据等、计划值与实际测量值进行比较、实际值的趋势分析、各个时段的最大最小值。
所述步骤(2)的具体方法,包括以下步骤:
(a)Map/Reduce库将输入数据分割成M个片,每个片的大小在16MB~64MB之间,然后在集群中随机大量拷贝;
(b)拷贝程序中的主节点分配Map任务和Reduce任务,被分配Map任务的工作节点读取输入片,从中解析出键值对,由用户自定义的Map函数处理该键值对,产生中间键值对;
(c)应用服务模块进行中间键值对列表进行清理和排序;
(d)Reduce函数将传来的中间键值对列表,按相同的Key值进行适当合并,并输出R个文件,最终汇总形成所需结果。
所述步骤(3)中,应用服务模块进行计算时,用户只需输入统一的统一资源定位器访问整个系统,而无需关注后台执行,系统后台会根据终端与服务器间的网速和距离自动选择访问速度最快的可用计算资源,当计算量在设定阈值之内时时,应用服务模块调用本地资源为用户返回结果;当计算量超过阈值时,应用服务模块调用临近地市服务器辅助完成计算。
本发明的有益效果为:系统支持多样化、异构化的海量数据的全景实时展现;全景数据实时展现即对运行数据分析得出的各类结果指标的实时可视化,展现设计应提供用户体验友 好的可视化方式,适应当前终端多样化、异构化的特点,以便基于可视化技术开发全方位的监控和分析系统,从而提高调度人员对电网势态的感知能力,能快速地、有效地对紧急情况做出反应。
附图说明
图1为本发明的云计算系统框架图;
图2为本发明的基于云计算的OMS应用分层架构图;
图3为本发明的流程图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
如图1所示,一种基于云计算调度生产管理(OMS)系统,包括信息网络模块、资源管理模块、支撑模块、平台服务模块和应用服务模块,其中:
所述信息网络模块,存储电网信息,用于为调度提供信息数据;
所述平台服务模块,面向云计算环境,用于为电网管理数据、电网计划数据、电网运行数据和电网模型数据构建分布式文件系统、Map/Reduce框架及分析计算引擎,以提供平台级计算服务;
所述支撑模块,用于提供应用接口和服务平台;
所述资源管理模块,用于管控、分析虚拟化资源、存储资源数据;
所述应用服务模块,用于为电网调度提供电网管理指标、电网计划指标、电网运行指标和电网模型指标分析应用服务。
一种基于上述调度生产管理系统的实现方法,包括以下步骤:
(1)根据信息网络模块中存储的电网运行数据、电网计划数据和电网数据模型进行数据模型转换;
(2)平台服务模块分布存储数据模型,进行分布计算;
(3)应用服务模块结合资源管理模块进行电网运行计划、关联分析和预测;
(4)应用服务模块将分析结果传输给支撑模块,根据数据处理结果进行调度。
所述步骤(1)中,电网运行数据包括:调度机端电量、调度上网电量、全口径机端电量、受电量、调度最高上网电力、调度最低上网电力、调度最高上网电力发生时刻、调度最低上网电力发生时刻、调度最高机端电力、调度最低机端电力、调度最高机端电力发生时刻、调 度最低机端电力发生时刻、最大受电电力、最小受电电力、最大受电电力发生时刻、最小受电电力发生时刻、调度最高发受电电力、调度最低发受电电力、调度最高发受电电力发生时刻、调度最低发受电电力发生时刻、全口径最高机端电力、全口径最低机端电力、全口径最高发受电电力和全口径最低发受电电力。
所述步骤(1)中,电网计划数据包括:电力电量平衡预测情况,直代管电厂发电、抽水月度计划电量、日计划电量、调度计划电量,省市联络线关口、跨省联络线关口的月度计划电量、日计划电量和调度计划电量,负荷预测值及合格率,日拉限电电力、电量、条次和错避峰电力、电量。
所述步骤(1)中,电网模型数据包括:调度员潮流数据、短路电流、网损数据、最优潮流、外部网络等值、状态估计、静态安全分析数据等、计划值与实际测量(遥测)值进行比较、实际值的趋势分析、各个时段的最大最小值。
所述步骤(2)的具体方法,包括以下步骤:
(a)Map/Reduce库将输入数据分割成M个片,每个片的大小在16MB~64MB之间,然后在集群中随机大量拷贝;
(b)拷贝程序中的主节点分配Map任务和Reduce任务,被分配Map任务的工作节点读取输入片,从中解析出键值对,由用户自定义的Map函数处理该键值对,产生中间键值对;
(c)应用服务模块进行中间键值对列表进行清理和排序;
(d)Reduce函数将传来的中间键值对列表,按相同的Key值进行适当合并,并输出R个文件,最终汇总形成所需结果。
所述步骤(3)中,应用服务模块进行计算时,用户只需输入统一的统一资源定位器访问整个系统,而无需关注后台执行,系统后台会根据终端与服务器间的网速和距离自动选择访问速度最快的可用计算资源,当计算量在设定阈值之内时时,应用服务模块调用本地资源为用户返回结果;当计算量超过阈值时,应用服务模块调用临近地市服务器辅助完成计算。
系统建设选用Java J2EE、OpenStack虚拟平台与Hadoop云平台相结合的技术路线及分层结构体系,可最大程度保证系统的兼容性、开放性和安全性,能很好的与智能电网调度技术支持系统基础平台、SG186平台集成。除了少数交互性能要求较高的应用采用C/S应用模式外,绝大多数调度管理类应用都采用B/S应用模式,采用以J2EE应用服务器为中心的B/S 多层分布式系统构架,提供安全、稳定、可靠、高效、可扩展的应用运行环境,以便于用户使用、部署和运维。
本系统所涉及的主要关键技术有资源虚拟化技术、分布式电网数据管理技术、分布式电网数据计算技术等。尽管云计算技术诞生及发展比较晚,但其主要核心技术如虚拟化、分布式存储、分布式计算等已经发展多年,而且在多个行业得到广泛应用。至今,已有众多基于云计算构架系统,如Google GAE、Amazon EC2、百度云等,开发基于云计算应用系统的平台及工具也如雨后春笋般地得到发展。如实现资源池化及虚拟化可以用开源的OpenStack及VMware联合构建;实现分布式数据存储与管理、分布式计算可以采用成熟开源Hadoop平台,用其HDFS实现数据分布式存储与管理;用其HBase实现数据模型融合;用Hive实现数据挖掘与分析;用Map/Reduce实现分布式计算等。
虚拟化技术的内涵非常广泛和复杂,从实现层次上,虚拟化技术可分为:硬件虚拟化、操作系统虚拟化、应用程序虚拟化等。从应用领域上,虚拟化技术可分为:服务器虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化、CPU虚拟化、文件虚拟化。可以说,虚拟化一方面对企业的IT系统变革中起到重要作用,但同时又引入了复杂度。另一方面,服务器虚拟化技术是虚拟化的核心和关键,直接决定着其他资源的虚拟化路径,并影响着虚拟化的可靠性、稳定性和效益。因此服务器虚拟化平台的技术选型至关重要。
常用的虚拟化工具有VMware ESX Server和Microsoft Hyper-V。相对而言,VMware的产品具备应用广泛、成熟、跨平台性强的特点,Microsoft Hyper-V更适合Windows Server操作系统环境的虚拟化。从安全性、兼容性、跨平台性和山东电力已有服务器平台考虑,本系统选用VMware ESX Server作为虚拟化工具。
此外,为使得虚拟化资源可被应用程序调用,还需构建云基础环境将其纳入管理。从安全角度出发,山东电力OMS系统的云计算应用模式应为私有云。这方面的主流产品有Microsoft System Center和OpenStack。前者为Windows平台的闭源商业软件,尽管功能强大,但不符合国调关于操作系统安全性、开放性的要求,而OpenStack已成为一种广泛流行的、面向私有云的建设与管理的开源软件,可提供一个大规模的可扩展的云操作系统。基于OpenStack可廉价便捷地实现资源的虚拟化及虚拟化资源管理,并可简化云基础架构服务(IAAS)的部署过程,为其带来良好的可伸缩性和可扩展性。因此,私有云构建方面,本系统选用OpenStack作为IAAS工具。
OMS系统与云计算结合的应用场景是“基于虚拟化的私有云技术+大数据技术”,即 OpenStack应与VMware、Hadoop融合以提供虚拟化的私有云存储及计算环境。
实践中可基于OpenStack Nova模块与VMware集成,实现虚拟机的管理;基于OpenStack Dashboard模块实现资源池管理功能和虚拟机生命周期管理功能;基于OpenStack Swift模块与Hadoop Map/Reduce集群集成,实现IAAS与数据处理的集成。使用这种架构的优势是,OMS系统将获得一个可扩展的存储集群,以处理不断累积的数据,并为云计算的技术实现打下技术基础。
本系统选用Hadoop作为分布式数据管理技术平台,主要原因是Hadoop分布式数据管理技术具备如下优点:
(1)具备处理超大文件或数据集的能力。超大文件通常是指数百GB、甚至数百TB大小级别的文件。HDFS可支持大文件存储,能从整体上提供高数据传输带宽,能在一个集群里扩展到数百个节点。目前在实际应用中,一个单一的HDFS实例已能用来存储管理PB级的数据、数以千万计的文件。
(2)支持高效的流式数据访问。运行在HDFS上的应用和普通的应用不同,需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理,即建立在更多地响应“一次写入、多次读写”任务的基础上,而不是用户交互处理。这意味着一个数据集一旦由数据源生成,就会被复制分发到不同的存储节点中,然后响应各种各样的数据分析任务请求。在多数情况下,分析任务都会涉及数据集中的大部分数据,也就是说,对HDFS来说,请求读取整个数据集要比读取一条记录更加高效。
(3)硬件成本低,容错性强。Hadoop设计对硬件需求比较低,可运行在廉价的商用硬件集群上,而无需昂贵的高可用性机器。Hadoop考虑了错误检测和快速、自动的恢复机制,并通过冗余设计来保证数据的可靠性、安全性和高可用性。
(4)Hadoop设计时就考虑到平台的高扩展性、可移植性,能与国网现有Linux服务器平台无缝集成。
Hadoop的底层文件系统为HDFS分布式文件系统,HDFS是一种安全稳定的数据容器,也是分布式计算的存储基石,非常适用于海量电网运行数据的分布式管理。HDFS分布式文件系统的技术特色如下:
(1)整个集群具备单一的命名空间。
(2)具备数据一致性。适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的。
(3)文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全性。
HDFS主要由NameNode、DataNode和Client三大部分组成,(1)NameNode可以看做是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的元数据(Metadata)存储在内存中,这些信息主要包括文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode中的信息等。
(2)DataNode是文件存储的基本单元,它将文件块(Block)存储在本地文件系统中,保存了所有Block的Metadata,同时周期性地将所有存在的Block信息发送给NameNode。
(3)Client就是需要获取分布式文件系统文件的应用程序。
HDFS数据管理的原理:
文件写入流程:
(1)Client向NameNode发起文件写入的请求。
(2)NameNode根据文件大小和文件块的配置情况,返回给Client它所管理的DataNode的信息。
(3)Client将文件划分为多个Block,根据DataNode的地址信息,按顺序将其写入每一个DataNode块中。
文件读取流程:
(1)Client向NameNode发起读取文件的请求。
(2)NameNode返回文件存储的DataNode信息。
(3)Client读取文件信息。
文件块(Block)复制流程:
(1)NameNode发现部分文件的Block不符合最小复制数这一要求或部分DataNode失效。
(2)通知DataNode相互复制Block。
(3)DataNode开始直接相互复制。
此外,HDFS作为分布式文件系统在数据管理方面还有以下周全的特色功能:
(1)文件块(Block)的放置:一个Block会有三份备份,一份放在NameNode指定的DataNode上,另一份放在与指定的DataNode不在同一台机器上的DataNode上,最后一份放在与指定的DataNode在同一Rack上的DataNode上。备份的目的是为了数据安全,采用这种配置方式主要是考虑同一Rack失败的情况,以及不同Rack之间的数据拷贝会带来的性 能问题。
(2)心跳检测:用心跳检测DataNode的健康状况,如果发现问题就采取数据备份的方式来保证数据的安全性。
(3)数据复制(场景为DataNode失败、需要平衡DataNode的存储利用率和平衡DataNode数据交互压力等情况):使用Hadoop时可以用HDFS的balancer命令配置Threshold来平衡每一个DataNode的磁盘利用率。假设设置了Threshold为10%,那么执行balancer命令的时候,首先会统计所有DataNode的磁盘利用率的平均值,然后判断如果某一个DataNode的磁盘利用率超过这个均值,那么将会把这个DataNode的block转移到磁盘利用率低的DataNode上,这对于新节点的加入来说十分有用。
(4)数据校验:采用CRC32做数据校验。在写入文件Block的时候,除了写入数据外还会写入校验信息,在读取的时候则需要校验后再读入。
(5)单个NameNode:如果失败,任务处理信息将会记录在本地文件系统和远端的文件系统中。
(6)数据管道性的写入:当客户端要写入文件到DataNode上时,客户端首先会读取一个Block,然后写到第一个DataNode上,接着由第一个DataNode将其传递到备份的DataNode上,直到所有需要写入这个Block的DataNode都成功写入后,客户端才会开始写下一个Block。
(7)安全模式:分布式文件系统启动的时候会有安全模式(系统运行期间也可以通过命令进入安全模式),当分布式文件系统处于安全模式时,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了在系统启动的时候检查各个DataNode上的数据块的有效性,同时根据策略进行必要的复制或删除部分数据块。在实际操作过程中,若在系统启动时修改和删除文件会出现安全模式不允许修改的错误提示,只需要等待一会儿即可。
考虑到云平台使能技术具备自下而上的层叠特点,本系统提出了基于层次模型实现系统总体框架设计,包括:
(1)信息网络:为电网现有已建成的三级信息网。
(2)资源管理:为实现物理资源虚拟化在信息网络之上追加的虚拟化及虚拟资源管理层。
(3)平台服务:面向云计算环境,为电网管理数据、电网计划数据、电网运行数据和电网模型数据构建分布式文件系统、Map/Reduce框架及分析计算引擎,以提供平台级计算服务。
(4)应用服务:为电网调度提供电网管理指标、电网计划指标、电网运行指标和电网模型指标分析应用服务。
(5)云安全:为整套云平台运行提供多层次、多维度的安全保障。
新一代OMS系统还应支持多样化、异构化的海量数据的全景实时展现。全景数据实时展现即对运行数据分析得出的各类结果指标的实时可视化。展现设计应提供用户体验友好的可视化方式,适应当前终端多样化、异构化的特点,以便基于可视化技术开发全方位的监控和分析系统,从而提高调度人员对电网势态的感知能力,能快速地、有效地对紧急情况做出反应。
基于云计算的一体化OMS调度管理类应用运行在二次安全防护系统安全III区,即管理信息大区,主要实现调度生产业务的流程管理;规范专业管理及调度中心内部综合管理;采用时间、空间等多维度分析方法,对电网运行信息、二次设备运行信息、分析评价结果等数据进行综合挖掘分析,形成分析和评估结果并展示与发布,实现工作一体化、规范化和流程化的调度管理。
依据调度管理类应用功能管理层次要求,应用架构分为数据层、平台层、支撑层、业务层、管控层、决策层六层,体现“基础平台+应用开发支撑软件+四个中心”思路,调度管理类应用是在整合了电网模型数据、电网运行数据、电网计划数据、电网分析统计数据、电网调度管理数据,在关系数据库和分布式数据库的支撑下,基于SG-OSS基础平台及OpenStack虚拟化基础平台,通过应用开发支撑软件的快速软件集成开发支撑,构建业务处理层、应用管控层、决策分析层应用,从而为构筑坚强智能电网奠定基础。
系统主要功能
资源虚拟化及虚拟化资源管理
虚拟化资源管理技术是实现虚拟化资源实用化的关键使能技术。资源虚拟化是指计算或存储物理资源抽象为逻辑资源,使得管理系统可在虚拟环境下而不是真实的基础上运行,从而打破物理上的界限,以达到扩大硬件的容量、简化管理和配置、优化资源的目的。资源虚拟化优势在于:减少服务器的数量;提高服务器资源的利用率和计算能力,简化部署、管理和维护工作,降低管理费用;负载均衡、动态迁移、快速转移和复制,提高可靠性。
海量数据管理
当前电力信息系统面临的一个重大挑战是数据存储和管理能力相对不足。现有的数据采集与监控(SCADA)系统在采集数据时一般止于变电站级别,且数据采样频率较低。随着智 能电网及相关信息系统的推广,不仅SCADA系统的采样频率将会明显提高,电力系统数据采集的范围也将大大扩展。相量测量单元(PMU)、智能电表,甚至各种智能家电的嵌入式系统都可能向调度中心提供大量异构实时信息,如稳态运行参数(SCADA值)、动态PMU值、设备状态信息、电能量及电价信息等,且数据的采样和更新速率差别较大,从每秒钟几千次到每秒上万次甚至快。由上述各种传感器所组成的数据采集网络所产生的海量状态监测数据可为运行分析系统利用,也对数据建模及管理提出了更高的要求。
数据建模技术是数据管理和计算应用的前提和基础。面对即将到来的电力大数据,在数据建模方面,SCADA、OMS、PMS、ERP等支持电网日常运营的管理信息系统传统上往往采用关系型数据模型,底层具体数据支撑环境为关系型数据库,而与云计算环境所采用的分布式数据模型及分布式数据管理平台并非完全匹配。为使得云计算平台可有效利用关系型数据库中的数据源,应研究关系型数据模型与分布式数据模型的关联应用,应给出关系型数据模型与分布式数据模型之间的数据映射技术,发挥出不同模型的各自优势,令OMS的数据抽取及运行指标分析成为可能。
在数据管理方面,传统的集中式存储管理(SAN或NAS)在容量和性能的扩展、伸缩性方面难以为继,日益成为海量数据管控的性能瓶颈,以电力系统现有的信息处理能力将不足以完成对海量数据流的存储和分析功能,也无法支持未来的电力调度对数据管理的需求。因此,研究利用先进的分布式数据管理技术以解决多时间尺度数据信息整合与处理、海量数据压缩与查询等问题,构建新的电力系统数据管理平台应尽早提上议事日程。
分布式数据计算
随着电力系统互联程度的加强和远距离输电系统的不断发展,能覆盖一个甚至多个国家的超大规模电力系统正在不断出现。电力系统规模的不断扩大和结构的日趋复杂使得安全评估、安全与经济运行、系统控制变得越发困难。
分布式计算的原理是将一个需要非常庞大计算能力才能快速解决的问题分成许多小的部分,然后把这些部分分配给许多计算机或计算资源池进行处理,最后把这些计算结果综合起来得到最终的结果,其非常适用于海量电网运行数据的分析和处理。面向云环境分布式架构下构建并行计算体系,在大量服务器之间实现并行处理,可有效提高面向海量数据处理的计算效率,加快任务完成速度,以满足智能电网应用中计算模式发展的需求。
云技术在OMS系统中的应用设计与实现
新一代OMS系统应预先“固本培元”,考虑应对即将到来的海量电网数据,这就要求系统 从设计阶段就要考虑如何提供能力支撑。此外,云平台具备强大的信息处理、存储、传输、集成和展现能力,其应用开发的实现涉及多层次技术的聚合,其中完善的系统设计是系统实现的前提和基础。
云技术在OMS系统中的应用设计包括总体框架设计、功能模块划分和数据流设计。系统实现应考虑先进性、实用性和经济性的基础上,选用合适的技术平台和开发技术,实现云技术在OMS系统中的应用。当前,云技术在OMS系统中的应用尚无统一的标准,通过本系统研究和实践将得出一套行之有效的设计、配置、开发和实施标准。
电网运行指标体系及其建模
电网运行指标体系的研究与建模是进行数据分析、预测或评价研究的前提和基础,其将抽象的研究对象按照电网本质属性和特征标识分解成为具有量化、行为化、可操作化的指标,并给出各指标算法,从而为电网数据分析提供了明确的应用目标和落脚点。
本次系统所涉及的电网运行分析主要指标有电网运行、电网计划和电网模型等。
(1)电网运行数据:调度机端电量、调度上网电量、全口径机端电量、受电量、调度最高上网电力、调度最低上网电力、调度最高上网电力发生时刻、调度最低上网电力发生时刻、调度最高机端电力、调度最低机端电力、调度最高机端电力发生时刻、调度最低机端电力发生时刻、最大受电电力、最小受电电力、最大受电电力发生时刻、最小受电电力发生时刻、调度最高发受电电力、调度最低发受电电力、调度最高发受电电力发生时刻、调度最低发受电电力发生时刻、全口径最高机端电力、全口径最低机端电力、全口径最高发受电电力、全口径最低发受电电力;
(2)电网计划数据:电力电量平衡预测情况,直代管电厂发电、抽水月度计划电量、日计划电量、调度计划电量,省市联络线关口、跨省联络线关口的月度计划电量、日计划电量和调度计划电量,负荷预测值及合格率,日拉限电电力、电量、条次,错避峰电力、电量等;
(3)电网模型数据:调度员潮流数据、短路电流、网损数据、最优潮流、外部网络等值、状态估计、静态安全分析数据等、计划值与实际测量(遥测)值进行比较、实际值的趋势分析、某时段的最大最小值等。
基于开源的OpenStack及VMware实现了资源池化及虚拟化,其中OpenStack还承担了IaaS的任务及虚拟机群的管理,VMware提供对单虚拟机的管理。基于Hadoop平台实现分布式数据存储与管理,其中Hadoop HDFS实现数据分布式存储与管理,Hadoop HBase实现 数据模型融合,基于Hadoop Hive实现数据挖掘与分析。最后基于Hadoop Map/Reduce实现分布式计算。
在系统部署方面,OMS原部署方式分省、地部署,未实现虚拟化,维护工作较为复杂,且需配备较多的服务器和维护人员,不利于计算资源的优化应用,且各地市服务器资源无法共享,无形中造成了计算能力的浪费。
基于云计算的OMS系统基本保持现有模式不变,服务器仍置于现有物理位置,主要变化在于引入虚拟化平台将各地市的服务器整合为2套热备冗余的虚拟机群以提供主调应用支持,并实现计算资源的跨地共享。对用户而言,只需输入统一的URL访问OMS系统,而无需关注后台执行。系统后台会根据终端与服务器间的网速和距离自动选择访问速度最快的可用计算资源。当计算量较小时,OMS系统仍调用本地资源为用户返回结果;当计算量较大时,OMS系统可调用临近地市服务器辅助完成计算,以节省时延。由此保证了系统的高可靠性和可用性。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于云计算的电力调度生产管理系统,其特征是:包括信息网络模块、资源管理模块、支撑模块、平台服务模块和应用服务模块,其中:
所述信息网络模块,存储电网信息,用于为调度提供信息数据;
所述平台服务模块,面向云计算环境,用于为电网管理数据、电网计划数据、电网运行数据和电网模型数据构建分布式文件系统、Map/Reduce框架及分析计算引擎,以提供平台级计算服务;
所述支撑模块,用于提供应用接口和服务平台;
所述资源管理模块,用于管控、分析虚拟化资源、存储资源数据;
所述应用服务模块,用于为电网调度提供电网管理指标、电网计划指标、电网运行指标和电网模型指标分析应用服务。
2.如权利要求1所述的调度生产管理系统的实现方法,其特征是:包括以下步骤:
(1)根据信息网络模块中存储的电网运行数据、电网计划数据和电网数据模型进行数据模型转换;
(2)平台服务模块分布存储数据模型,进行分布计算;
(3)应用服务模块结合资源管理模块进行电网运行计划、关联分析和预测;
(4)应用服务模块将分析结果传输给支撑模块,根据数据处理结果进行调度。
3.如权利要求2所述的实现方法,其特征是:所述步骤(1)中,电网运行数据包括:调度机端电量、调度上网电量、全口径机端电量、受电量、调度最高上网电力、调度最低上网电力、调度最高上网电力发生时刻、调度最低上网电力发生时刻、调度最高机端电力、调度最低机端电力、调度最高机端电力发生时刻、调度最低机端电力发生时刻、最大受电电力、最小受电电力、最大受电电力发生时刻、最小受电电力发生时刻、调度最高发受电电力、调度最低发受电电力、调度最高发受电电力发生时刻、调度最低发受电电力发生时刻、全口径最高机端电力、全口径最低机端电力、全口径最高发受电电力和全口径最低发受电电力。
4.如权利要求2所述的实现方法,其特征是:所述步骤(1)中,电网计划数据包括:电力电量平衡预测情况,直代管电厂发电、抽水月度计划电量、日计划电量、调度计划电量,省市联络线关口、跨省联络线关口的月度计划电量、日计划电量和调度计划电量,负荷预测值及合格率,日拉限电电力、电量、条次和错避峰电力、电量。
5.如权利要求2所述的实现方法,其特征是:所述步骤(1)中,电网模型数据包括:调度员潮流数据、短路电流、网损数据、最优潮流、外部网络等值、状态估计、静态安全分析数据等、计划值与实际测量(遥测)值进行比较、实际值的趋势分析、各个时段的最大最小值。
6.如权利要求2所述的实现方法,其特征是:所述步骤(2)的具体方法,包括以下步骤:
(a)Map/Reduce库将输入数据分割成M个片,每个片的大小在16MB~64MB之间,然后在集群中随机大量拷贝;
(b)拷贝程序中的主节点分配Map任务和Reduce任务,被分配Map任务的工作节点读取输入片,从中解析出键值对,由用户自定义的Map函数处理该键值对,产生中间键值对;
(c)应用服务模块进行中间键值对列表进行清理和排序;
(d)Reduce函数将传来的中间键值对列表,按相同的Key值进行适当合并,并输出R个文件,最终汇总形成所需结果。
7.如权利要求2所述的实现方法,其特征是:所述步骤(3)中,应用服务模块进行计算时,用户只需输入统一的统一资源定位器访问整个系统,而无需关注后台执行,系统后台会根据终端与服务器间的网速和距离自动选择访问速度最快的可用计算资源,当计算量在设定阈值之内时时,应用服务模块调用本地资源为用户返回结果;当计算量超过阈值时,应用服务模块调用临近地市服务器辅助完成计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410375012.2A CN104156810A (zh) | 2014-07-31 | 2014-07-31 | 一种基于云计算的电力调度生产管理系统及其实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410375012.2A CN104156810A (zh) | 2014-07-31 | 2014-07-31 | 一种基于云计算的电力调度生产管理系统及其实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104156810A true CN104156810A (zh) | 2014-11-19 |
Family
ID=51882305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410375012.2A Pending CN104156810A (zh) | 2014-07-31 | 2014-07-31 | 一种基于云计算的电力调度生产管理系统及其实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156810A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN104881748A (zh) * | 2015-06-02 | 2015-09-02 | 广西大学 | 基于“云计算”调度应用的电力调度自动化方法和系统 |
CN105488235A (zh) * | 2016-02-03 | 2016-04-13 | 苏州见微物联网科技有限公司 | 一种基于工业大数据的云平台数据管理系统及其构建方法 |
CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
CN105843182A (zh) * | 2015-09-11 | 2016-08-10 | 国家电网公司西北分部 | 一种基于oms的电力调度事故预案系统及方法 |
CN107341241A (zh) * | 2017-07-05 | 2017-11-10 | 深圳市樊溪电子有限公司 | 一种基于云计算的风电大数据分析系统 |
CN107968482A (zh) * | 2017-11-29 | 2018-04-27 | 山东中车风电有限公司 | 一种新能源发电场站管理平台 |
CN108563756A (zh) * | 2018-04-16 | 2018-09-21 | 广东电网有限责任公司 | 一种基于hdfs的电力设备监测大数据存储方法 |
CN108848132A (zh) * | 2018-05-28 | 2018-11-20 | 南京国电南自电网自动化有限公司 | 一种基于云的配电调度主站系统 |
CN109634621A (zh) * | 2018-11-30 | 2019-04-16 | 武汉烽火信息集成技术有限公司 | Openstack平台部署方法、存储介质、电子设备及系统 |
CN110533320A (zh) * | 2019-08-28 | 2019-12-03 | 广东电网有限责任公司 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
CN110796567A (zh) * | 2019-11-08 | 2020-02-14 | 上海电力大学 | 一种基于调控云的生产早报应用框架 |
CN111326247A (zh) * | 2019-11-07 | 2020-06-23 | 唐山启奥科技股份有限公司 | 血站管理信息系统 |
CN112199421A (zh) * | 2020-12-04 | 2021-01-08 | 中国电力科学研究院有限公司 | 一种多源异构数据融合和量测数据多源互校验方法及系统 |
CN112434080A (zh) * | 2020-11-25 | 2021-03-02 | 国网湖北省电力有限公司咸宁供电公司 | 一种配电网分析平台的数据获取方法、设备及存储介质 |
CN113342874A (zh) * | 2021-06-02 | 2021-09-03 | 河北建投新能源有限公司 | 一种基于云计算的风电大数据分析系统和流程 |
CN113884796A (zh) * | 2021-09-29 | 2022-01-04 | 国网辽宁省电力有限公司沈阳供电公司 | 一种线损自动研判系统 |
CN114069852A (zh) * | 2021-11-09 | 2022-02-18 | 国网山东省电力公司烟台市牟平区供电公司 | 一种电力调度操作全景可视化装置和方法 |
CN114520763A (zh) * | 2021-12-31 | 2022-05-20 | 国网青海省电力公司 | 一种智慧综合运维系统整体架构设计方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学(保定) | 一种状态监测数据的分布式存储与并行挖掘方法 |
CN103455591A (zh) * | 2013-08-30 | 2013-12-18 | 国家电网公司 | 一种并行协同系统的标准数据交换接口方法 |
-
2014
- 2014-07-31 CN CN201410375012.2A patent/CN104156810A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学(保定) | 一种状态监测数据的分布式存储与并行挖掘方法 |
CN103455591A (zh) * | 2013-08-30 | 2013-12-18 | 国家电网公司 | 一种并行协同系统的标准数据交换接口方法 |
Non-Patent Citations (4)
Title |
---|
李成华 等: "MapReduce:新型的分布式并行计算编程模型", 《计算机工程与科学》 * |
王德文 等: "基于云计算的智能电网信息平台", 《电力系统自动化》 * |
王红珍 等: "供电局调度生产管理系统的设计与实现", 《计算机与数字工程》 * |
苏扬 等: "电力调度生产管理系统的技术管理体系设计", 《现代计算机》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016101638A1 (zh) * | 2014-12-23 | 2016-06-30 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN104463492B (zh) * | 2014-12-23 | 2017-12-26 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
CN104881748A (zh) * | 2015-06-02 | 2015-09-02 | 广西大学 | 基于“云计算”调度应用的电力调度自动化方法和系统 |
CN105843182B (zh) * | 2015-09-11 | 2018-08-24 | 国家电网公司西北分部 | 一种基于oms的电力调度事故预案系统及方法 |
CN105843182A (zh) * | 2015-09-11 | 2016-08-10 | 国家电网公司西北分部 | 一种基于oms的电力调度事故预案系统及方法 |
CN105488235A (zh) * | 2016-02-03 | 2016-04-13 | 苏州见微物联网科技有限公司 | 一种基于工业大数据的云平台数据管理系统及其构建方法 |
CN107341241A (zh) * | 2017-07-05 | 2017-11-10 | 深圳市樊溪电子有限公司 | 一种基于云计算的风电大数据分析系统 |
CN107968482B (zh) * | 2017-11-29 | 2021-03-09 | 山东中车风电有限公司 | 一种新能源发电场站管理平台 |
CN107968482A (zh) * | 2017-11-29 | 2018-04-27 | 山东中车风电有限公司 | 一种新能源发电场站管理平台 |
CN108563756A (zh) * | 2018-04-16 | 2018-09-21 | 广东电网有限责任公司 | 一种基于hdfs的电力设备监测大数据存储方法 |
CN108848132A (zh) * | 2018-05-28 | 2018-11-20 | 南京国电南自电网自动化有限公司 | 一种基于云的配电调度主站系统 |
CN109634621A (zh) * | 2018-11-30 | 2019-04-16 | 武汉烽火信息集成技术有限公司 | Openstack平台部署方法、存储介质、电子设备及系统 |
CN110533320A (zh) * | 2019-08-28 | 2019-12-03 | 广东电网有限责任公司 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
CN110533320B (zh) * | 2019-08-28 | 2023-05-02 | 广东电网有限责任公司 | 一种基于Hadoop平台的电力设备停电计划编制方法 |
CN111326247A (zh) * | 2019-11-07 | 2020-06-23 | 唐山启奥科技股份有限公司 | 血站管理信息系统 |
CN111326247B (zh) * | 2019-11-07 | 2023-10-20 | 唐山启奥科技股份有限公司 | 血站管理信息系统 |
CN110796567A (zh) * | 2019-11-08 | 2020-02-14 | 上海电力大学 | 一种基于调控云的生产早报应用框架 |
CN110796567B (zh) * | 2019-11-08 | 2023-12-05 | 上海电力大学 | 一种基于调控云的生产早报应用框架 |
CN112434080A (zh) * | 2020-11-25 | 2021-03-02 | 国网湖北省电力有限公司咸宁供电公司 | 一种配电网分析平台的数据获取方法、设备及存储介质 |
CN112199421A (zh) * | 2020-12-04 | 2021-01-08 | 中国电力科学研究院有限公司 | 一种多源异构数据融合和量测数据多源互校验方法及系统 |
CN113342874A (zh) * | 2021-06-02 | 2021-09-03 | 河北建投新能源有限公司 | 一种基于云计算的风电大数据分析系统和流程 |
CN113884796A (zh) * | 2021-09-29 | 2022-01-04 | 国网辽宁省电力有限公司沈阳供电公司 | 一种线损自动研判系统 |
CN114069852A (zh) * | 2021-11-09 | 2022-02-18 | 国网山东省电力公司烟台市牟平区供电公司 | 一种电力调度操作全景可视化装置和方法 |
CN114520763A (zh) * | 2021-12-31 | 2022-05-20 | 国网青海省电力公司 | 一种智慧综合运维系统整体架构设计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104156810A (zh) | 一种基于云计算的电力调度生产管理系统及其实现方法 | |
CN110809017B (zh) | 一种基于云平台和微服务构架的数据分析应用平台系统 | |
CN105843182B (zh) | 一种基于oms的电力调度事故预案系统及方法 | |
Tian et al. | Optimized cloud resource management and scheduling: theories and practices | |
Cano et al. | Curator:{Self-Managing} Storage for Enterprise Clusters | |
US10564870B1 (en) | Placing data storage volumes | |
CN102681899B (zh) | 云计算服务平台的虚拟计算资源动态管理方法 | |
CN103561061B (zh) | 一种弹性的云数据挖掘平台部署方法 | |
CN102638566B (zh) | 一种基于云存储的blog系统运行方法 | |
CN107077301A (zh) | 用于存储客户端文件系统的存储卷的动态缩放 | |
Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
CN104615526A (zh) | 一种大数据平台的监控系统 | |
CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
CN104283960A (zh) | 实现异构网络存储的虚拟化整合及分级管理的系统 | |
US20160380862A1 (en) | Methods and systems to evaluate data center resource allocation costs | |
CN104156296A (zh) | 智能监控大规模数据中心集群计算节点的系统和方法 | |
CN104102702A (zh) | 一种实现软硬件结合的面向应用的大数据系统及方法 | |
CN107343021A (zh) | 国网云中应用的一种基于大数据的日志管理系统 | |
CN104794150A (zh) | 一种基于空间知识云环境的云存储模型与管理方法 | |
US10409814B2 (en) | Network common data form data management | |
CN109344207A (zh) | 基于北斗扫描的天地一体频谱大数据平台 | |
US11113174B1 (en) | Methods and systems that identify dimensions related to anomalies in system components of distributed computer systems using traces, metrics, and component-associated attribute values | |
CN113674135A (zh) | 基于工作流实现calpuff高性能的计算方法 | |
CN115640300A (zh) | 一种大数据管理方法、系统、电子设备和存储介质 | |
WO2023070025A1 (en) | Declarative provisioning of storage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141119 |