CN105354757A - 电力数据集成处理系统 - Google Patents

Abstract

本发明提供了一种电力数据集成处理系统，包括：建模单元，用于将多个电力应用系统中的应用服务整合形成的多个业务流模型进行部署；多个电力应用系统，在模型整合的基础上，将各自的资源进行整合，实现电力应用系统间的互操作，集成为统一的应用服务系统。本发明提出了一种电力数据集成处理系统，为电力系统规划、运维监控等专业提供高效、灵活、高质量的统一信息模型和应用服务平台。

Description

电力数据集成处理系统

技术领域

本发明涉及电网数据处理，特别涉及一种电力数据集成处理系统。

背景技术

当前，电力系统正朝包含大量数据和信息计算的系统发展。随着数据量的不断提高，对信息系统的数据处理性能要求就更高；电力系统高级应用间缺乏有效的信息交互，使得信息重叠浪费、重复开发以及信息兼容性差等问题进一步突出。现有电力管理系统虽然能够在一定程度上实现不同标准下的业务流模型整合，但是分布式能源和需求响应等的参与，对于电力控制中心的快速响应能力的要求越来越高，传统业务流模型的整合技术不能满足电力系统下的需求。信息重叠和数据孤岛等问题使得难以实现大范围的数据共享和信息交互。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种电力数据集成处理系统，包括：

建模单元，用于将多个电力应用系统中的应用服务整合形成的多个业务流模型进行部署；

多个电力应用系统，在模型整合的基础上，将各自的资源进行整合，实现电力应用系统间的互操作，集成为统一的应用服务系统。

优选地，所述电力系统按照通用信息模型为标准进行业务流模型整合，形成部署在集成处理系统平台上的统一多个模型；所述业务流模型包括组件级、功能级和平台级3级模型；其中组件级建模包括电力系统相关设备电气特性的模型；功能级模型包括电力系统调度自动化、电力自动化、电网GIS、电力PMS和营销系统功能的建模；平台级模型整合不同功能模型的差异；在构建过程中，采用虚拟化技术，将电力系统底层的计算设备资源进行逻辑化，建立一个共享的运行环境，形成可动态伸缩的、具有存储和计算能力的资源库，实现各软硬件系统信息模型的整合和数据共享；

所述建模单元包括通用信息模型子单元、传输映射子单元以及应用程序访问子单元：通用信息模型子单元，用于按照通用信息模型为标准将电力和配电业务流模型、电力市场业务流模型以及控制中心业务流模型进行整合，并通过虚拟化技术，建立统一的、部署在平台上的多个模型；其次是传输映射子单元，将多个模型之间的各个数据进行映射，实现不同层次、不同业务流模型间的通信；再次是应用程序访问子单元，用于提供标准的应用程序接口，对于用户各自不同的访问请求分别做出对应的响应，并依据各响应向用户提供不同的基本函数，包括请求、响应基本函数，开/关、读/写基本函数以及发送/接收基本函数，所有外界用户及设备只能通过应用程序访问子单元与建模单元进行交互。

优选地，所述电力数据集成处理系统的架构分为调度层、逻辑层、计算设备层、存储层和网络层；调度层负责划分用户的计算任务和存储任务，并决定实现该计算任务和存储任务所需要的相应设备；还负责整合计算结果，读取数据，并将数据进行输出以及将计算结果向用户进行反馈；逻辑层负责控制计算进程，并返回计算结果；网络层负责部署电力数据集成处理系统平台的网络站点，实现用户与集成处理系统平台的交互；所述电力数据集成处理系统使用存储虚拟化以及专用服务器虚拟化技术，利用网络将各种广域计算资源整合；所述调度层采用动态任务分配方式，按计算处理指令，将待处理任务分配到资源库里的多个计算节点进行同时计算；同时，采用容错机制和任务二次分配机制，当计算节点不能完成计算任务时将此计算节点的任务转移到其他节点继续进行以完成计算；任务完成后，整理结果并通过网络层向用户进行反馈；在所述存储层包括元数据存储区，管理电力数据集成处理系统的元数据，所述元数据包括文件目录树组织、维护的属性、文件操作日志记录、授权访问、检索映射，并管理整个管理电力数据集成处理系统的命名空间，对客户端提供单一的系统映像；所有元数据存储区同时在线提供服务，并且每两个元数据存储区为一组，每组元数据存储区内部相互之间进行交叉备份，在一组内任何一个元数据出现异常，另一台元数据也拥有这组元数据存储区的完整数据，并且接管服务；文件采用以下三部分格式组织：第一部分描述格式化完成后索引区的目录索引个数以及数据区分片个数信息；第二部分描述数据区空间的使用情况以及记录用户目录和文件信息；最后一部分是数据区，数据区分成了若干个分片；索引区和数据区完全分离，索引区的大小根据实际的存储空间的大小来确定，把索引和数据存储到不同的资源上，且对索引数据使用冗余阵列；存储层同时对索引区进行优化，使用多个卷索引，且每一个卷索引都是另一个卷索引的备份，将目录索引和文件索引分成多个文件，将数据区分成以分片为单位的数据单元，在存储用户文件时按分片为单位进行分配；当不足一个分片时，先存储在缓存中，使用索引区的信息进行区分，对多个小文件进行合并，合并后再更新索引区信息；

所述电力数据集成处理系统将网调、地调、县调进行资源整合；将电力系统的高级应用服务系统及软件进行整合；在实现省级部署功能时，在任务处理的过程中采用就近访问计算原则。

本发明相比现有技术，具有以下优点：

本发明提出了一种电力数据集成处理系统，为电力系统规划、运维监控等专业提供高效、灵活、高质量的统一信息模型和应用服务平台。

具体实施方式

下文提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明将电力系统常用应用服务以及各分析软件进行业务流模型整合，搭建建模单元，并将其部署到集成处理系统平台上，实现业务流模型的统一整合。

在集成处理系统平台中，建模单元按照功能上的特点和电力系统的需求特点部署在集成处理系统平台上，且建模单元部署的策略要考虑到集成处理系统平台可能提供的服务的不同，以划分基础设施即服务(IaaS)、平台即服务以及软件即服务(SaaS)在建模单元上的应用特点，除此之外，建模单元的部署还应考虑所属操作系统以及服务器的相关要求。本发明搭建的建模单元是在集成处理系统平台的基础上，将经过电力系统业务流模型整合之后形成的多个模型进行部署。集成处理系统平台用以提供基础设施即服务的资源库环境。

在此基础之上，利用电力系统各专业信息模型的差异分析与比对技术，将电力系统业务流模型按照通用信息模型为标准进行业务流模型整合，形成部署在集成处理系统平台上的统一多个模型。本发明搭建的建模单元包括组件级、功能级和平台级3级业务流模型。组件级建模包括电力系统相关设备电气特性的模型；功能级模型包括电力系统调度自动化、电力自动化、电网GIS、电力PMS和营销系统功能的建模，功能级模型不是独立的，而是考虑到不同功能的差异与联系；平台级模型则整合了不同功能模型的特点和差异。组件级、功能级和平台级3级业务流模型在构建过程中，采用虚拟化技术，将电力系统底层的服务器、存储与网络设备等硬件资源进行逻辑化，建立一个共享的运行环境，形成可动态伸缩的、具有强大的存储和计算能力的资源库，并在此基础上将电力系统业务流模型按照通用信息模型为标准进行业务流模型整合，在不改变原有系统的情况下，实现各软硬件系统信息模型的整合和数据共享。

本发明所构建的建模单元的逻辑结构共有3层：核心层是通用信息模型子单元，按照通用信息模型为标准将电力和配电业务流模型、电力市场业务流模型以及控制中心业务流模型等进行整合，并通过虚拟化技术，建立统一的、部署在平台上的多个模型；其次是传输映射子单元，将多个模型之间的各个数据进行映射，实现不同层次、不同业务流模型间的通信；再次是应用程序访问子单元，提供标准的应用程序接口，对于用户各自不同的访问请求分别做出对应的响应，并依据各响应向用户提供不同的基本函数，的基本函数包括请求、响应基本函数，开/关、读/写基本函数以及发送/接收基本函数等，所有外界用户及设备只能通过应用程序访问子单元与建模单元进行交互。

建模单元基于电力系统各专业信息模型的差异分析与比对技术，对电力系统中常用的调度自动化、电力自动化、电网GIS、电力PMS和营销系统等应用系统以及其他各类应用软件等业务流模型进行整合整合，并构建部署在集成处理系统平台上的共享多个模型，形成具有统一标准、较大规模、高通用性以及易于拓展的建模单元，实现各个接入系统与电力系统信息的数据语义统一。所构建的建模单元能够满足电力系统不同功能的需要，且建模单元便于控制访问需求和数据的安全性；管理对于数据的访问权限和访问层级。该建模单元具有建模效率高、易于拓展和部署的特点并且能够兼容已有系统，可将电力系统各应用系统数据转换为全局可用数据，解决电力系统仍然存在的数据分散、语义不一致及标识不统一等问题。

在建模单元的基础上，将各系统资源进行整合，构建系统共享资源库，实现电力系统高级应用系统间的互操作，共同整合为一个适应电力系统管理要求的统一应用服务系统，即本发明搭建的电力数据集成处理系统。

电力数据集成处理系统平台的系统架构分为6层，分别是调度层、数据管理层、逻辑层、计算设备层、存储层和网络层。电力数据集成处理系统平台的核心是调度层，该层负责划分用户的计算任务和存储任务，并决定实现该计算任务和存储任务所需要的相应设备；除此之外，该层还负责整合计算结果，读取数据，并将数据进行输出以及将计算结果向用户进行反馈。逻辑层负责控制计算进程，并返回计算结果。数据管理层负责控制数据的处理进程。网络层负责部署电力数据集成处理系统平台的网络站点，实现用户与集成处理系统平台的交互。

电力数据集成处理系统平台使用存储虚拟化以及专用服务器虚拟化技术，利用网络将各种广域计算资源整合，从而构筑共享资源库；调度层采用动态任务分配方式，按计算处理指令，将待处理任务分配到共享资源库里的多个计算节点进行同时计算，并通过合理的通信和文件管理方式，充分提高计算资源的利用率，提高运行效率以及任务处理性能；同时，采用容错机制和任务二次分配机制，使得当计算节点不能完成计算任务时将此计算节点的任务转移到其他节点继续进行以完成计算。任务完成后，整理结果并通过网络层向用户进行反馈。

电力数据集成处理系统还包括基础支持服务器、业务流模型整合服务器、电力业务服务器和电力管理服务器。基础支持服务器利用虚拟化技术将系统软硬件资源以及相关管理功能进行整合，实现资源部署、数据处理、负载处理以及安全管理等功能，并向外层提供动态可伸缩的基础设施服务。业务流模型整合服务器对电力系统的信息模型进行比对分析和差异化分析，将电力系统常用应用服务系统及软件等业务流模型进行整合，实现电力系统统一业务流模型整合。

电力业务服务器是建模单元的部署集合，利用建模单元包含的电力系统常用应用系统以及各分析软件对电力系统的不同业务进行分析处理，借此实现电力系统的业务处理功能。电力管理服务器实现电力数据集成处理系统的部署及管理，处理用户需求与系统响应间的关系，并以服务形式满足不同级别的电力企业用户需求。

电力数据集成处理系统具有省级部署功能，将网调、地调、县调的资源整合。在虚拟化以及业务流模型整合技术的辅助下，将电力系统各高级应用服务系统及软件进行整合，并将分散的、闲置的计算资源充分利用，同时根据负荷分配算法，使得资源能够被合理利用。

在实现省级部署功能时，由于要跨越广域网运行，且各级之间需要实时通信，所以在任务处理的过程中由于网络延迟等的影响，会产生相应的通信损耗，影响任务的处理性能。因此，需要满足各级之间的网络接入限制，确保响应速度；合理调度任务以及通信方式，按就近访问计算原则，降低通信延迟，减少调度管理和数据传输造成的时间损耗，提高系统总体的计算和任务处理性能。

在电力数据集成处理系统的存储层中，数据是以多媒体数据和传感器感知、系统设备、运行状态等数据组成。由于文件系统考虑的是满足通用的存储需求，针对电力应用系统的实际需求利用一种适合电力数据的文件系统。

存储层中的元数据存储区由两台以上专用服务器组成，管理电力数据集成处理系统的元数据(包括文件目录树组织、维护的属性、文件操作日志记录、授权访问、检索映射等)，管理整个管理电力数据集成处理系统的命名空间，对客户端提供单一的系统映像。客户端安装于用户需要使用存储资源的应用服务器，对文件系统的存储资源进行读写访问。

文件系统的所有元数据存储区同时在线提供服务，并且每两个元数据存储区为一组，每组元数据存储区内部相互之间会进行交叉备份，保证一组内任何一个元数据出现异常，另一台元数据也拥有这组元数据存储区的完整数据，并且接管服务，不中断业务。

文件系统采用分布式架构，采用管理服务器和存储服务器分离的架构，将元数据(目录等)和存储数据分离；在专用存储服务器上采用高效的块存储方案，将元数据(数据块位图)与存储原始文件分离并分散在整个磁盘阵列上。与现有分布式文件系统相比，避免了本地文件系统的访问热区，系统锁死或出现一些坏块，增强数据可靠性。

文件格式包括三大部分，第一部分是格式化信息，描述格式化完成后索引区的目录索引个数以及数据区分片个数等信息。第二部分是索引信息区域，描述数据区空间的使用情况以及记录用户目录和文件信息等。最后一部分是数据区，数据区分成了若干个分片。

索引区和数据区完全分离，索引区的大小根据实际的存储空间的大小来确定，由于索引和数据分离，可以把索引和数据存储到不同的资源上，且对索引数据使用冗余阵列。由于索引更新有更小输入输出和更随机的写入方式，减少了缓存使用和使用存储性能更好的本地磁盘。而数据区可以通过保证顺序读写来提高输入输出的吞吐量。把大量随机写转为一个存储空间上实现顺序写，这样空闲的存储空间实现了休眠，实现了节能。

存储层同时对索引区进行了优化，使用多个卷索引，且每一个卷索引都是另一个卷索引的备份，进一步提高了索引的可靠性。目录索引和文件索引被分成多个文件。数据区被分成了以分片为单位的数据单元，在存储用户文件时按分片为单位进行分配，减少了文件碎片，提高了文件顺序写入长度。当不足一个分片时，先存储在缓存中，可以使用索引区的信息进行区分，从而可以对多个小文件进行合并，合并后再更新索引区信息，充分利用了磁盘空间。

对于结构/半结构化的数据，实际分布式数据库本身就存在安全机制，同时对于各级平台的中心数据库，本发明采用了数据库定期备份、双机等保证本发明的数据保存与运行安全。

对于视频数据，本发明的文件系统采用磁盘阵列技术保证数据的冗余安全，同时对于特别的数据，提供计划和手动的N+M备份方案；比如SAS，本级平台存储一份高清的主码流，上级平台存储一份标清的辅码流；对于不支持SAS的设备，采用备份服务器对已有的视频进行同步备份。

本发明提出了一种电力数据集成处理系统，为电力系统规划、运维监控等专业提供高效、灵活、高质量的统一信息模型和应用服务平台。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种电力数据集成处理系统，其特征在于，包括：

建模单元，用于将多个电力应用系统中的应用服务整合形成的多个业务流模型进行部署；

多个电力应用系统，在模型整合的基础上，将各自的资源进行整合，实现电力应用系统间的互操作，集成为统一的应用服务系统。

2.根据权利要求1所述的系统，其特征在于，所述电力系统按照通用信息模型为标准进行业务流模型整合，形成部署在集成处理系统平台上的统一多个模型；所述业务流模型包括组件级、功能级和平台级3级模型；其中组件级建模包括电力系统相关设备电气特性的模型；功能级模型包括电力系统调度自动化、电力自动化、电网GIS、电力PMS和营销系统功能的建模；平台级模型整合不同功能模型的差异；在构建过程中，采用虚拟化技术，将电力系统底层的计算设备资源进行逻辑化，建立一个共享的运行环境，形成可动态伸缩的、具有存储和计算能力的资源库，实现各软硬件系统信息模型的整合和数据共享；

所述建模单元包括通用信息模型子单元、传输映射子单元以及应用程序访问子单元：通用信息模型子单元，用于按照通用信息模型为标准将电力和配电业务流模型、电力市场业务流模型以及控制中心业务流模型进行整合，并通过虚拟化技术，建立统一的、部署在平台上的多个模型；其次是传输映射子单元，将多个模型之间的各个数据进行映射，实现不同层次、不同业务流模型间的通信；再次是应用程序访问子单元，用于提供标准的应用程序接口，对于用户各自不同的访问请求分别做出对应的响应，并依据各响应向用户提供不同的基本函数，包括请求、响应基本函数，开/关、读/写基本函数以及发送/接收基本函数，所有外界用户及设备只能通过应用程序访问子单元与建模单元进行交互。

3.根据权利要求2所述的系统，其特征在于，所述电力数据集成处理系统的架构分为调度层、逻辑层、计算设备层、存储层和网络层；调度层负责划分用户的计算任务和存储任务，并决定实现该计算任务和存储任务所需要的相应设备；还负责整合计算结果，读取数据，并将数据进行输出以及将计算结果向用户进行反馈；逻辑层负责控制计算进程，并返回计算结果；网络层负责部署电力数据集成处理系统平台的网络站点，实现用户与集成处理系统平台的交互；所述电力数据集成处理系统使用存储虚拟化以及专用服务器虚拟化技术，利用网络将各种广域计算资源整合；所述调度层采用动态任务分配方式，按计算处理指令，将待处理任务分配到资源库里的多个计算节点进行同时计算；同时，采用容错机制和任务二次分配机制，当计算节点不能完成计算任务时将此计算节点的任务转移到其他节点继续进行以完成计算；任务完成后，整理结果并通过网络层向用户进行反馈；在所述存储层包括元数据存储区，管理电力数据集成处理系统的元数据，所述元数据包括文件目录树组织、维护的属性、文件操作日志记录、授权访问、检索映射，并管理整个管理电力数据集成处理系统的命名空间，对客户端提供单一的系统映像；所有元数据存储区同时在线提供服务，并且每两个元数据存储区为一组，每组元数据存储区内部相互之间进行交叉备份，在一组内任何一个元数据出现异常，另一台元数据也拥有这组元数据存储区的完整数据，并且接管服务；文件采用以下三部分格式组织：第一部分描述格式化完成后索引区的目录索引个数以及数据区分片个数信息；第二部分描述数据区空间的使用情况以及记录用户目录和文件信息；最后一部分是数据区，数据区分成了若干个分片；索引区和数据区完全分离，索引区的大小根据实际的存储空间的大小来确定，把索引和数据存储到不同的资源上，且对索引数据使用冗余阵列；存储层同时对索引区进行优化，使用多个卷索引，且每一个卷索引都是另一个卷索引的备份，将目录索引和文件索引分成多个文件，将数据区分成以分片为单位的数据单元，在存储用户文件时按分片为单位进行分配；当不足一个分片时，先存储在缓存中，使用索引区的信息进行区分，对多个小文件进行合并，合并后再更新索引区信息；

所述电力数据集成处理系统将网调、地调、县调进行资源整合；将电力系统的高级应用服务系统及软件进行整合；在实现省级部署功能时，在任务处理的过程中采用就近访问计算原则。