CN104769582B - 针对电网的实时数据管理 - Google Patents

针对电网的实时数据管理 Download PDF

Info

Publication number
CN104769582B
CN104769582B CN201280076747.4A CN201280076747A CN104769582B CN 104769582 B CN104769582 B CN 104769582B CN 201280076747 A CN201280076747 A CN 201280076747A CN 104769582 B CN104769582 B CN 104769582B
Authority
CN
China
Prior art keywords
data
real time
request
database
bus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280076747.4A
Other languages
English (en)
Other versions
CN104769582A (zh
Inventor
周勤
杨致慧
程晓培
高岩
马国�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services GmbH
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN104769582A publication Critical patent/CN104769582A/zh
Application granted granted Critical
Publication of CN104769582B publication Critical patent/CN104769582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/266—Arrangements to supply power to external peripherals either directly from the computer or under computer control, e.g. supply of power through the communication port, computer controlled power-strips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3027—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/10—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor having a sequence of storage locations each being individually accessible for both enqueue and dequeue operations, e.g. using random access memory
    • G06F5/12—Means for monitoring the fill level; Means for resolving contention, i.e. conflicts between simultaneous enqueue and dequeue operations
    • G06F5/14—Means for monitoring the fill level; Means for resolving contention, i.e. conflicts between simultaneous enqueue and dequeue operations for overflow or underflow handling, e.g. full or empty flags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/901—Buffering arrangements using storage descriptor, e.g. read or write pointers

Abstract

本公开涉及针对电网的实时数据管理，并提出了一种实时数据管理系统，用于访问电网中的数据的系统、方法、设备和有形计算机可读介质，用于控制经由实时总线传送的实时数据的传输延迟的系统、方法、设备和有形计算机可读介质，以及用于在电网中传送实时数据的系统、方法、设备和有形计算机可读介质。在本公开的实时数据管理系统中，设计了涵盖各种组织和各种数据源的统一数据模型，并使用用于聚类数据的管理方案来提供透明和高速的数据访问。此外，多总线协作和总线性能优化方法被用于提高总线的效率和性能。实时数据管理系统还可以包括事件综合和复杂事件处理组件，以提供对电网状态的可信预测。利用公开的实施方案，可以有效地管理高容量的实时数据和事件，提供低延时的数据传输，提供数据群集数目和数据库数目的灵活扩展以确保高容量数据存储，实现高速和透明的数据访问。此外，也能够快速设计和开发分析应用，并支持近乎实时的企业决策业务。

Description

针对电网的实时数据管理
技术领域
本公开的实施例一般性地涉及电网管理技术领域，更具体地涉及实时数据管理系统，一种用于访问电网中的数据系统、方法、设备和有形计算机可读介质，一种用于控制经由实时总线传送的实时数据的传输延迟的系统、方法、设备和有形计算机可读介质，以及一种用于传送电网中的实时数据的系统、方法、设备和有形计算机可读介质。
背景技术
各种产业均具有与之相关的网络。这些产业可以包括公共事业、电信、交通运输(诸如空中运输、轨道运输、汽车运输、公共汽车运输等)以及能源开采(诸如油井、天然气井等)。一种这样的产业是管理电网的公共事业产业。电网可包括以下其中之一或全部：发电、输电以及配电。电力可以利用诸如煤炭火电厂、核电厂等的发电站生成。出于效率目的，生成的电力被升压到非常高电压(诸如345K伏特)，并且在输电线路上输送。输电线路可以长距离输送电力，诸如跨过州界线或者跨过国界，直至它到达其批发用户，该批发用户可以是拥有本地配电网络的公司。输电线路可以终止于输电变电站，该输电变电站可以将前述非常高电压降压到中间电压(诸如138K伏特)。更小的输电线路(诸如二次输电线路)将该中间电压从输电变电站输送到配电变电站。在配电变电站，中间电压可能再次降压到“中等电压”(诸如从4K伏特到23K伏特)。一条或多条馈线电路可以从配电变电站引出。例如，可以从配电变电站引出四条到几十条馈线电路。馈线电路为3相电路，其包括4条引线(用于所述三个相的每一个的三条引线以及用于中性点的一条引线)。馈线电路可以在地上(在电线杆上)或者在地下来选择路线。可以使用配电变压器对馈线电路上的电压周期性地进行分接，该配电变压器将电压从“中等电压”降压到用户电压(诸如120V)。用户电压随后可以由用户使用。
一个或更多电力公司可以管理电网，其包括管理与电网有关的故障、维护以及升级。然而，电网的管理经常是低效率且高成本的。例如，管理本地配电网络的电力公司可以管理可能出现在馈线电路中或者称为支线电路的电路(其从馈线电路作为分支形成)上的故障。本地配电网络的管理经常依赖于在出现停电时来自用户的电话呼叫，或者依赖于分析本地配电网络的现场工作人员。
电力公司已经试图使用当前的IT和电力工程技术来将电网更新为“智能电网”。随着智能电网的发展，大量的电力公共事业公司正在部署高级计量架构(AMI)，相量测量单元(PMU)以及其他在线监测设备。这些设备向应用提供了不同的数据，并且可能遵守不同延时要求。例如，PMU具有20至50毫秒的数据频率；监控与数据采集/能量管理系统(SCADA/EMS)具有1至5秒的数据频率；AMI具有5至15分钟的数据频率；设备监视系统具有1至5分钟的数据频率；而事件应在其发生立即被通知。此外，每个设备会产生大量的数据。这意味着从不同的源、业务单元和系统产生大量数据。
图1示意性地示出了在一个示例的现有电力系统中的数据的各种延迟水平。如图1所示，从传感器设备获取的数据将被直接提供给高速/实时分析应用，延时范围从毫秒到秒；所获取的数据将被存储在实时或亚实时数据库，以用于中速/实时分析的目的，具有的延迟从几秒到几分钟；所获得的数据也将被存储在用于历史数据的数据库中以便供事务分析应用使用，具有的延时从几分钟到几天；所获取的数据被进一步存储在业务数据储存库，以便供商业智能应用使用，具有的延迟范围从几天到几个月。可以看出，这些数据是时间序列的连续数据且具有从毫秒到月变化的不同延时，而且他们在不断增加。此外，测量对象也在持续增加，且大型事件也可能在意外事故发生时在一段很短的时间内突然产生，所有这些都将会迅速增加数据量。这个不断增加的数据已成为电力系统管理是一项挑战，并且因此在本领域中存在对于有效地管理大量数据的紧急要求。
发明内容
鉴于上述情况，本公开提出了一种实时数据管理方案以至少减轻或缓解现有技术中的上述问题的至少一部分。
根据本公开的第一方面，提供了一种用于访问电网中的数据的系统。该系统可以包括至少一个处理器和至少一个存储器，所述至少一个存储器存储计算机可执行指令，其中，所述至少一个存储器和所述计算机可执行指令被配置为利用所述至少一个处理器致使所述系统：基于用于访问数据的请求，创建用于该请求的执行单元，其中所述数据基于他们的特性而被划分多个数据群集，并存储在不同类型的数据库中；使用用于与所述数据相关联的测量点的全局标识符，定位所述数据的位置；以及基于所述请求通过所述执行单元来访问所述数据。
根据本公开的第二方面，提供了一种用于控制经由实时总线传送的实时数据的传输延迟的系统。该系统可以包括至少一个处理器和至少一个存储器，所述至少一个存储器存储计算机可执行指令，其中所述至少一个存储器和所述计算机可执行指令被配置为利用所述至少一个处理器致使该系统：监视用于实时总线的数据缓冲器的的状态，其中所述实时数据被缓存在所述数据缓冲器中以便进行传送；以及基于该数据缓冲器的状态调整数据消耗速度，以控制所述实时数据的延时。
根据本公开的第三方面，提供了一种用于在电网中传送实时数据的系统。该系统可以包括至少一个处理器和至少一个存储器，至少一个存储器存储计算机可执行指令，其中所述至少一个存储器和所述计算机可执行指令被配置为利用所述至少一个处理器致使该系统：监测多条时总线的业务状态，所述多条实时总线包括用于传送实时数据的实时数据总线和另一实时总线；和基于实时总线的业务状态，在所述另一实时总线上传送所述实时数据的一部分。
根据本公开的第四方面，提供了一种用于在一个电网中访问数据的方法。该方法可以包括：基于用于访问数据的请求创建用于该请求的执行单元，其中所述数据基于他们的特性而被划分为多个数据群集，并存储在不同类型的数据库中；使用用于与该数据相关联的测量点的全局标识符，定位所述数据的位置；以及基于所述请求通过所述执行单元来访问所述数据。
根据本公开的第五个方面，提供了一种用于控制经由实时总线传送的实时数据的传输延迟的方法。该方法可以包括：监视用于实时总线数的据缓冲器的状态，其中所述实时数据被缓存在所述数据缓冲器中以便进行传送；以及基于该数据缓冲器的状态调整数据消耗速度，以控制所述实时数据的延迟。
根据本公开的第六个方面，提供了一种用于在电网中传送实时数据的方法。该方法可以包括：监视多条实时总线的业务状态，所述多条实时总线包括用于传送实时数据的实时数据总线和至少一个另一实时总线；以及基于所述实时总线的业务状态，在所述另一实时总线上传送所述实时数据的一部分。
根据本公开的第七方面，提供一种用于访问电网中的数据的设备，其中所述数据基于他们的特性而被划分为多个数据群集并存储在不同类型的数据库中。该设备可以包括数据聚类管理服务器模块，用于基于用于访问数据的请求，创建用于该请求的执行单元，以及基于该请求的关闭，销毁所述执行单元；数据聚类管理配置模块，被配置为使用用于与所述数据相关联的测量点的全局标识符来定位数据的位置；以及执行单元，所述执行单元针对所述请求动态地创建，并配置为基于所述请求来访问所述数据的位置处的数据，并提供针对该请求的结果。
根据本公开的第八个方面，提供了一种用于控制经由实时总线传送的实时数据的传输延迟的设备。所述设备可以包括状态监视器模块，被配置为监视用于实时总线的数据缓冲器的状态，其中所述实时数据被缓存在所述数据缓存器中以便进行传送；以及速度调整模块，被配置为基于所述数据缓冲器的状态调整数据消耗速度，以控制所述实时数据的延时。
根据本公开的第九方面，提供了一种用于在电网中传送实时数据的设备。该设备可以包括总线监视器模块，被配置为监视的实时总线的业务状态，所述实时总线包括用于传送实时数据的实时数据总线和另一实时总线；以及平衡引擎模块，被配置为基于实时总线的业务状态，在所述另一实时总线上传送所述实时数据的一部分，以平衡所述实时总线之间的载荷。
根据本公开的第十个方面，提供了一种用于电网的实时数据管理系统。该系统可以包括数据收集模块，被配置为收集来自各种数据源的实时数据；数据模型模块，被配置成提供覆盖系统的各个源和各种数据源的统一数据模型；数据处理模块，被配置为处理所收集的数据；数据聚类管理模块，被配备为基于数据的特性而将他们划分成多个数据集群，并根据数据聚类配置规则将它们存储在不同类型的数据库中，并提供对不同的数据群集中的数据的访问；数据访问服务模块被配置为向客户端提供数据访问服务管理；事件综合和处理模块，被配置为综合和处理电网的相关联事件并基于所述相关联时间分析和预测电网的健康状况；以及系统管理模块，被配置为系统中的模块提供总体管理。
根据本公开的第十一个方面，提供了一种有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行以访问电网中的数据的多个指令。所述有形计算机可读介质可以包括被配置为执行根据本公开的第四方面的方法的步骤的指令。
根据本公开的第十二方面，提供了一种有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行以控制经由实时总线传送的实时数据的传输延迟的多个指令。所述有形计算机可读介质包括被配置执行根据本公开第五方面的方法的步骤的指令。
根据本公开的第十三方面，提供了一种有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行以在电网中传送实时数据的多个指令。所述有形计算机可读介质包括被配置为执行根据本公开第六方面的方法的步骤的指令。
利用本公开的实施方案，可以有效地管理大量的实时数据和事件，实现了高速和透明的数据访问，支持数据群集的数目和数据库数的灵活扩展，并确保低延时的数据传输。此外，还支持分析应用的快速设计和开发，并支持近乎实时的企业决策经营。
附图说明
通过参考附图对实施例中示出的实施例的详细解释，本公开的上述和其他特征将更加明显，其中贯穿本公开的附图，相同的附图标记代表相同或相似的组件，附图中：
图1示意性示出了在示例的现有电力系统的数据的各种延迟水平；
图2示意性示出了根据本公开的示例实施例的实时数据管理系统的架构的示图；
图3A示意性地示出了根据本公开的示例实施例的数据模型的示图；
图3B示意性地示出了根据本公开的示例实施例的数据模型的一部分的另一示图；
图3C示意性地示出了根据本公开的示例实施例的全局测量点管理；
图3D示意性地示出了根据本公开的示例实施例的数据模型应用的例子；
图4A示意性地示出了根据本公开的示例实施例的数据聚类原理的示图。
图4B示意性地示出了根据本公开的示例实施例的用于访问电网中的数据的设备的示图；
图4C示意性地示出了根据本公开的示例实施例的用于访问电网中的数据的方法的流程图；
图4D示意性地示出了根据本公开的示例实施例的用于访问电网中的数据的示例性的操作步骤；
图4E示意性示出了根据本公开的示例实施例的连接池管理的示图。
图4F示意性地示出了根据本公开的示例实施例的执行单元创建的示图；
图5A示意性地示出了根据本公开的示例实施例的用于在电网中传送实时数据的设备的方框图；
图5B示意性地示出了根据本公开的示例实施例的用于在电网中传送实时数据的方法的流程图；
图6A示意性地示出了数据产生和数据消耗之间的不匹配；
图6B示意性地示出了根据本公开的示例实施例用于控制经由实时总线传送的实时数据的传输延迟的方法的流程图；
图6C示意性地示出了可并行和不可并行子过程的示例消耗过程包括；
图6D示意性地示出了根据本公开的示例实施例用于控制经由实时总线传递的实时数据的传输延迟的设备的方框图；
图7A示意性地示出了根据本公开的示例实施例的用于事件综合和复杂事件处理的设备的示图。
图7B示意性地示出了根据本公开的示例实施例的域模型的例子的示图。
图8示意性地示出了一种可被编程为专用计算机系统的通用计算机系统，该计算机系统可以代表此处提及的任何计算设备。
具体实施方式
下面，对本公开的实施例将参照附图进行说明。在以下的描述中，许多具体细节被阐述以便提供对实施例的彻底理解。然而，对于本领域技术人员显而易见的是，可以在不具有这些细节的情况下实施本公开，并且本公开并不局限于此处所介绍的特定实施例。与此相反，以下特征和元素的任意组合可以被认为是实现和实践本公开，而与它们是否涉及不同的实施方式无关。因此，以下方面、特征和实施例仅用于说明的目的，而不应被理解为所附权利要求书中的元素或限制，除非在权利要求书中明确指定。另外，在一些情况下，广为人知的方法和结构并未予以详细描述，以免不必要地混淆本公开的实施例。
本公开的实施例意在有效地管理在电力系统中不断增加的数据。鉴于这一点，发明人提出了一种用于实时数据管理系统的新架构，其目的是有效地管理电网中的高容量数据，包括例如数据采集、数据处理、数据存储、数据访问、复杂事件处理、全局测量点管理等等。
在本公开的实时数据管理系统中，设计了覆盖各种组织和各种数据资源的统一数据模型和针对集群数据的管理方案，以提供透明和高速的数据访问。此外，多总线协作和总线性能优化方法被用于提高总线的效率和性能。实时数据管理系统还可以包括事件集成和复杂事件处理组件，用以提供对电网的状态的可信预测。在下文中，将对实时数据管理系统的架构和主要部件进行详细说明。
总体架构
首先，参考图2来描述根据本公开的示例实施例的实时数据管理系统的总体架构。
如示于图2，该总体结构可以包括系统100、数据源200和企业范围分析应用300。系统100可以通过实时事件总线184和实时数据总线186收集来自数据源200的数据，以及通过数据服务总线(其可也称为操作服务总线)182为例如企业范围分析应用300提供数据服务，以用于进一步分析的目的，例如设备加载分析，设备状态维护，系统稳定性分析等。数据源200可以包括能够从其获取或收集数据的任何来源。数据源200的实例可以包括各种传感器，监视设备，管理单元，管理系统，或任何其它设备或系统。作为一个例子，数据源200可以包括SCADA/EMS 210，AMI 220，设备监视设备230，PMU，电力质量监测设备等等。企业范围分析应用300可以是主要根据系统100提供的数据进行操作的任何商业或常规分析应用。
在图2所示的架构中，可能存在例如三种总线：数据服务总线182；实时事件总线184；以及实时数据总线186。数据服务总线182主要用于与系统100的外部的应用进行通信，而实时事件总线184和实时数据总线186则用于系统100中的内部通信。特别地，数据服务总线182也可被称为操作服务总线，其可给公用事业后台应用，诸如企业范围分析应用300，提供数据服务。实时事件总线184是专用于事件处理的总线，在其上可以发送在行业系统中发生的各种事件。事件可以指在行业系统中任何所关心事情的发生。因此，事件可以包括在行业系统中发生的不希望的或不正常状况。另一方面，事件也可以包括正常状态信息。实时数据总线186是一种高速总线，从数据源收集的数据可以通过该总线而被发送到系统100中的各种模块。
返回参考图2。如图2所示，系统100还可以包括数据模型模块110，数据聚类管理模块120，总线协作和优化模块130和事件综合和处理模块140，数据访问服务模块150，数据处理模块160，数据收集模块170，和平台管理模块190。
数据模型模块110可以存储本公开中所设计的数据模型，以提供涵盖各种来源(例如，电力传输，电力分配，客户等)和各种数据源(例如，SCADA/EMS 210，AMI 220，设备监视设备230等)的统一数据模型。利用该数据模型，来自不同数据源的各种数据可以被管理，所有数据对象的属性定义可以被统一，且面向对象的数据管理可以被实现。因此均匀和集中化的数据管理可以得以实现。此外，唯一的全局测量点管理可以在整个企业范围的基础上实施。
数据聚类管理模块120是一个主要用于管理实时系统中的高容量数据的模块。该数据聚类管理模块120可以基于数据的特性将数据划分成多个数据集群。这些数据群集可以包括，例如，实时数据群集，亚实时数据群集，事件和其它数据群集等。然后，数据可以根据数据聚类配置规则而被存储不同类型的数据库(如实时数据库，关系数据库)。此外，数据聚类管理模块120可以负责提供对不同数据集群中的数据的存取。
总线协作和优化模块130可以执行多总线协作和总线性能优化。在本公开中，数据写入流、数据访问流和事件数据流都是独立的，并且总线协作和优化模块可以执行优化程序和规则，以实现数据传送的低延时，并通过使用灵活的基于需求的多总线配置，来提供总线负载动平衡。
该事件综合和处理模块140可以提供事件相关服务，其将根据各种不同的事件来综合和处理电网的相关联事件，并提供基于所述相关联事件对电网进行分析和预测(如健康预测)。
数据访问服务模块150将向客户端提供数据访问服务管理。如图所示，它可包括以下模块：WEB服务152，SQL(结构化查询语言)154，CIS(组件集成服务)156，和UAPI(通用应用程序编程接口)158。其它的这种部件也可以被包括以作为数据访问服务模块150的一部分。这些组件可以基于不同的数据服务技术针对各种应用提供高速和透明的数据访问服务。一方面，数据访问服务模块150可以将来自各种应用的各种格式的数据访问请求转换为统一的内部格式以供数据聚类管理模块120进行处理。另一方面，数据访问服务模块150可以将数据访问请求的结果转换为可由相应应用解译的格式。此外，数据访问服务模块150还可以对数据访问执行访问管理，以确保客户根据他们的不同权限来访问数据库。
数据处理模块160可以负责处理数据，如进行数据转换，数据质量检查和任何其它适当的数据处理。
数据收集模块170可以被配置为从数据源200收集数据，其可以包括多个适配器172、174、176以分别用于各种数据源。适配器可以收集来自相应数据源的数据，并将不同格式的数据转换成统一格式，以用于促进随后的处理和管理。所收集的数据可以根据所述数据的特征而在实时数据总线或实时事件总线被发送给相应模块，以便进行后续处理，如分析，存储等。
平台管理模块190可以提供对该系统中的模块的总体管理。在该系统中，可能存在多个模块，平台管理模块将监视这些模块以确保其正常操作。
该架构的IT环境是SOA兼容的。SOA(面向服务架构)是一种用于创建和使用业务过程的计算机系统架构风格，其在其整个生命周期中被打包成服务。SOA还定义和规定了IT基础设施，以允许不同的应用来交换数据和参与业务过程。然而，在本公开中使用的SOA是可选的。
应当理解的是，虽然图2已经描述的上述模块，更多模块可被添加以实现更多的功能；一些模块可以被除去并省略相应的功能；或者一些模块可以由其他模块代替以提供替代功能。此外，应当注意的是，尽管示出三条总线，但是也可以使用更少或更多数目的总线，以在电网运载各种数据。
接着，将对系统架构的若干组件进行详细说明。
数据模型
在本公开中设计了统一的数据模型，该模型将参考图3A到3D详细描述，其中图3A到图3D示意性地示出了本公开的示例实施例的数据模型。
如图3A所示，该图3A其示意性地示出了根据本公开的示例实施例的数据模型的示图，该数据模型包括各种来源，例如在输电网络中，配电网络和客户域的各种元素和对象，以使得它可以提供针对电网的各种数据的统一和集中式数据视图。此外，来自不同数据源的数据被管理且所有数据对象的属性定义是统一的。如图3B所示，在数据模型中，覆盖了来自例如是SCADA/EMS的各种数据源的数据以及设备监视和静态参数数据，但是在传统的方案中，这些数据被分布在不同的部门。此外，在这样的数据模型中，可以使用面向对象的方法来管理的对象的所有属性，这提供了一种简单和方便的数据管理。此外，在数据模型中，可以定义更多的新的属性，如将变压器的“底部油温”定义为测量类型。这些属性定义可以在各个业务单元中使用，这将提供针对所有应用的统一数据视图。利用这样的数据模型，它可以实现良好的可扩展性且应用可以有效地获得他们所需要的信息。
此外，在本公开中的数据模型中，可以采用全局测量管理方案。对于所有的应用，全局测量管理将为每个测量点提供唯一的全局ID(识别符)。全局ID是用于识别测量点的标识符，这贯穿整个系统是唯一的，而使用这种唯一全局ID，可以为应用提供对测量点的快速和容易的访问，而无需得知特定数据库和特定的数据存储位置。
出于说明的目的，图3C示出了全局测量点管理配置的示例设计，它包括基于全局管理的测量点的配置信息。如图所示，该表可以包括：唯一全局测量点标识符(ID)，即测量点的“ID”；“PSRID”，即与该测量点相关联的电力设备的ID，可以是从CIM(公共信息模型)继承；以及测量类型“MEASTYPE”，这表示测量的类型。例如，“MEASTYPE”可以具有如下值：代表有功功率的“P”，表示无功功率的“Q”，代表温度的“T”，表示的电流“I”等等。另外，该数据表还可以包括“DATASOURCE”，数据从该源进行收集；“值类型”，即，测量值的类型；“UNIT”；即，测量值的单位；和“AOR”，这是指群组的集合，其中用户被允许访问与该测量点有关的信息。
特别地，如图所示，该数据表可以进一步包括测量点的集群ID(“DCMID”)和DCM中的集群内ID的(“INDCMID”)。集群ID也可以称为数据聚类管理ID，它是用于标识到该测量点所属的数据群集的标示符。群集内ID是用于识别该测量点该数据集群中的位置的标示符。
从图3C所示的表可以看出，在全局数据管理不仅可以提供基于全局测量点的ID的数据查询，而且也可以提供通过PSRID和/或测量类型的数据查询。实际上，PSRID可以是在电力公用事业公司中的电力资源的统一编号，通过该统一编号，企业范围应用可以获取与该电力资源有关的所有测量值。通过进一步指定特定的测量类型，企业范围应用程序可以得到属于测量类型的与电力资源相关的特定测量值。
出于说明的目的，图3D示意性地示出了数据模型应用的例子。如图所示，右上方表中的行1至4中分别示出关于有功功率、无功功率、电流和底部油温的测量点的记录。以有功功率的数据为例，该记录可以包括测量点全局ID“10001”，PSRID fd_a.z0l.sst0l.fd00l，测量类型“P”，DCMID“1”，INDCMID“1”，数据源“SCADA”。每个应用程序可以使用该全局ID快速定位数据的位置来快速找到想要的数据。例如，借助于全局ID“100001”和“100002”，可以很容易地获得测量点1和2的值(在右下图所示)。因此，这将有利于对这些数据的快速存取以使用这样的表，这将在下面详细地描述。
利用这样覆盖输电网络、配电网络和客户域的统一数据模型，可以大大提高构建跨部门企业级应用的效率，而且使用全局ID也可以提供对高容量数据的快速和容易访问。
数据聚类管理
在当前的智能网络中，存在非常大量的数据，并且通常使用两种数据库技术，即，实时DB&关系DB中，来处理所述实时数据。然而，他们两者在处理快速增长的电网运行数据时均有很大的性能问题。实时数据库的容量是有限的，但电网实时数据通常是快速增长。与此相反，关系数据库具有处理第二级别的实时数据的读写的性能瓶颈，特别是在访问历史数据时。此外，在实时系统中的流传输数据将迅速将数据库填充至其最大容量。此外，如上述的背景下，不同类型的数据将向不同应用提供不同数据，并应满足不同的延时要求。因此，公用事业公司正面临着存储和访问高数据量的新的挑战。
为此，在本公开的管理系统中，提供了一种数据群集管理解决方案，以有效地管理大量的数据。
在本公开中，采用了一种数据聚类方法，基于该方法将数据根据它们的特性进行聚类。图4A示意性地示出根据本公开的示例实施例的数据聚类原理的示图。如图所示，所收集的数据被输入到数据聚类管理器1200。该数据聚类管理器1200将基于存储在数据划分规则模块1250中的划分规则或数据聚类规则对数据进行聚类。数据将基于其特性被分成不同的数据群集，以便被存储在不同类型的数据库自己拼命干。也就是说，不同类型的数据是使用不同类型的数据库进行管理的。如图所示，数据可以被分为三个数据群集，即，实时数据群集1260，亚实时数据集群1262，以及事件和其他数据群集1264。实时数据群集1260中的数据可以被存储在专用于实时数据群集的实时数据库(RTDB)；亚实时数据群集1262中的数据可以被存储在专用于亚实时数据群集的实时数据库(RTDB)中；以及在该事件和其他数据群集1264中的数据可以被存储专用于该数据群集的关系数据库(RDB)中。出于说明的目的，数据聚类规则配置的一个例子示出下表1中。
表1数据聚类规则配置的一个实例
从表1中可以看出的是，从PMU、SCADA/EMS和设备监控收集的、具有的延迟范围从毫秒到秒的数据可以被划分成实时数据群集，并依赖于它们的数据源而存储在专用于该数据群集的不同实时间数据库中；从AMI收集的、延迟范围从数分钟到数小时的数据可以被划分成亚实时数据群集以根据它们的数据源而存储在专用于该数据群集的在不同实时数据库中；同样地，AMI事件和顾客事件(如断电事件，故障事件，报警等)或其它类型的数据可以被划分成事件和其他数据群集，以根据它们的数据源而被存储在用于该数据集群的关系数据库中。
不同数据可能具有不同特性和不同的应用目的，并因此如果数据根据数据划分规则或数据聚类规则而进行聚类以便基于它们的特性使用不同技术来管理这些数据，则这是有益的。此外，该数据聚类规则可以是可扩展的，也就是说，它可以根据需要被重新配置。例如，随着数据的增加，它可以会增加用于数据群集的更多数据库，并且也可以添加新的数据群集类型甚至新类型的数据库，以提供更详细的数据管理。因此，这样的数据聚类方案非常灵活，具有良好的可扩展性并且可以很好地适应数据在电力系统中的快速增长。
对于本公开中的群集数据，还提出了一种高速和透明数据访问方式，这将参照图4B至图4F进行详细说明。
图4B示意性地示出了根据本公开的示例实施例的用于访问电网中的数据的设备的示图。如图4B所示，设备1200可以包括DCM服务器管理器1202，DCM执行单元。将DCM服务器管理器1202可以负责动态地管理用于来自所述客户端的请求的执行单元。根据访问数据的请求，它可以创建用于该请求的执行单元，以及基于所述请求的关闭，销毁该执行单元。针对该请求动态创建的执行单元可以被配置为基于该请求访问数据位置处的数据，并提供该请求的结果。一旦请求被关闭或结束时，相应执行单元将被销毁。
该设备还可以包括数据聚类配置模块1203。该数据聚类配置模块1203可以负责，例如使用与该数据相关联的测量点的全局标识符，来定位由客户端请求的数据的位置，以便提供对高容量数据的高速访问。可以使用测量点的全局标识符和内存中测量点映射索引获得针对该请求的数据访问参数，这些数据访问参数可以由执行单元使用以直接访问该数据。特别地，测量点的数据群集标识符和集群内标识符的可以使用用于该测量点的全局标识符从全局测量点管理配置中首先获得。然后，集群标识符和群集内标识符可以被用来在内存中数据聚类管理点配置中查找存储关于测量点的信息的数据库的数据库标识符以及该测量点的数据库内标识符。数据库标识符用于标识在其中存储测量点的信息的数据库，以及数据库标识符是用于识别在数据库中的测量点的位置的标识符。为了连接到数据库，可以使用数据库标识符来查找在一个数据库连接池中的数据库链接的信息，如链接处理程序。以这样的方式，针对实时数据库或关系数据库中的任何一个，执行单元可以快速方便地通过输入数据库的链接信息以及数据库内ID来获取数据。
可替换地，所述设备可以进一步包括DCM客户端代理模块1201，其将统一处理来自客户端的请求，从而为来自客户端的所有请求提供统一和透明数据服务。代理模块1201可以被配置为接收用于访问数据的请求，将请求注册到数据聚类管理服务器模块并将由执行单元提供的请求的结果返回给客户端。此外，可选的数据库连接池管理模块可被提供，其可以管理连接池中的用于不同类型数据库的数据库连接，并基于来自客户端的访问需求动态调整数据库连接的数目，以便提供对高容量数据的高速访问。
在下文中，将参考图4C和4F描述用于访问电网中的数据的方法。
首先，如图4C所示，在步骤S41中，响应于来自客户端的访问数据的请求，针对该请求创建执行单元。
如果客户端需要访问数据，例如读和/或写数据，则它将发送用于访问数据的请求给DCM(图4D的S401)。DCM代理模块1201接收该请求，并将该请求转换成统一的内部格式，然后将该请求登记到DCM服务器管理器1202(图4D的S402)。一旦该请求被登记到DCM服务器管理1202，在DCM服务器管理1202可以响应于该请求针对该请求创建新的执行单元(用于执行单元的新的实例，也称为服务器实例)(图4D中所示的S403)。
然后，在如图4C的步骤S42所示，所创建的执行单元基于该请求访问数据。
所生成的执行单元将提供响应给DCM客户端代理1201，以通知该DCM客户端代理该DCM客户端代理可以与针对请求而创建的执行单元进行通信(图4D中所示S404)。DCM客户端代理1201发送请求给创建的执行单元(图4D中的S405)。执行单元将基于该请求执行数据访问。
在本公开中，在数据模型中使用全局测量点管理方案，并且因此当客户端请求测量点的数据，将指定该测量点相关联的电力资源的PSRD和测量类型，利用这些信息，有可能直接从数据模型获得全局测量点ID(参照图3C和3D)，由此可以快速定位数据的位置。因此，在本公开的实施方案中，在步骤S43中，可以直接使用与该数据相关联的测量点的全局标识符的定位数据的位置，以便由执行单元使用来访问数据。具体地讲，在从DCM客户端代理1201接收到请求后，DCM服务器管理器1202要求该数据聚类配置模块1203提供用于该请求的数据访问参数；并且同时，关于用于测量点的全局标识符的信息也可以被提供给数据聚类配置模块1203(图4D中的S406)，该信息可以被包含在来自客户端的请求中。为了实现更好的数据访问性能，在内存中建立测量点映射索引。也就是说，构建例如测量点配置表形式的内存中测量点映射索引，在建造时，以便在内存中保持与测量点关联的数据库ID和数据库内ID以及测量点群集ID和群集内ID相关的信息之间的关系，所述测量点映射索引还可进一步包括关于测量点的信息，如与测量点相关的值类型。以这种方式，通过使用在内存中测量点映射索引和全局标识符并基于优化搜索方法，数据聚类配置模块1203将可以容易且快速地查找到数据访问参数。
具体地，数据聚类配置模块1203首先获得测量点所属的数据群集的集群ID“DCMID”以及该测量点的群集内ID“INDCMID”，通过使用测量点的全局标识符来查找全局测量点管理配置(例如如图3C或3D所示的数据表)。然后，可以借助于该群集ID“DCMID”和群集内ID“INDCMID”，通过使用该群集标识符和群集内标识符从内存中数据群集管理点配置获得存储关于测量点的信息的数据库的数据库ID和该测量点的数据库内ID。在内存中测量点映射索引可以是内存中构建的DCM测量点配置表，表2示出DCM测量点的配置表的一个示例设计。
表2示例的DCM测量点配置
DCMID INDCMID 名称 DBID INDBID 值类型 ...
1 1002 Trans1_P 1 22 1
1 10005 Trans2_I 2 120 1
从表2中很清楚，很容易通过使用群集ID“DCMID”和群集内ID“INDCMID”，来获取数据库ID“DBID”和数据库内ID“INDBID”。在此之后，将使用数据库标识符来获得数据库连接池中的数据库链接信息，诸如数据库链接处理程序(handler)。表3示出了其中存储数据库链接信息的示例DCM DB连接管理器。
表3示例DCM DB连接管理器
DCMID DBID 链接1 状态 链接1 状态 ...
1 1 Db1_link1 Idle Db1_link2 idle
包括数据库链接信息和数据库内ID的数据访问参数从数据聚类配置模块1203返回给针对该请求所创建的执行单元(图4D中的S407中)。为了实现高速数据访问，设计动态阵列以用于管理测量点位置，诸如DBID和INDBID。关于这些经常使用的DBID和INDBID的信息将投入动态阵列以加快数据访问。
使用数据库链接信息和数据库内ID，执行单元将经由数据库连接池1205(在图4D中的S408和S409)所维持的连接来快速、方便地访问实时数据库或关系数据库中的数据。
在本公开中，还采用一种连接池管理方案。如示于图4E，连接池管理器1206将保持到每个数据库的动态连接并管理数据库驱动器1207，如JDBC，ODBC或API等。特别是，连接池管理器1206将基于客户的访问请求，动态地建立与每个数据库的连接、增加/减少连接。此外，连接池管理器1206可以管理和维护连接池中的对象状态以及连接、断开连接并在必要时重新连接到数据库。为了说明的目的，DCM DB配置参数示于表4。
表4示例的DCM数据库配置参数
DCMI DDBII 名称 驱动器 参数 用户 当前点 最大点 类型
1 1 P1Serv1 SDK/API 10.202.92.93:545 0piadm 100,000 200,000 1
使用该信息，该执行单元可以很容易地连接到数据库，并实现由客户所要求的访问。数据访问的结果将被提供到对应于该请求(图4D中的S410和S411)的执行单元。组合之后，将结果提供给DCM客户端代理1201(图4D中的S412)。该结果可被转换成合适的格式，以作为应答发送给客户端(图4D中的S413)。
在操作中，DCM服务器管理器1202将监测和检测客户端的状态，只要客户端关闭请求则销毁执行单元实例(图4C中的步骤S44)。
因此，在本公开中，将针对来自客户端的每个请求动态地创建用于访问数据库的执行单元，并且一旦完成请求则关闭该执行单元。也就是说，在存在大量请求的情况下，将会存在于各个请求相对应的执行单元，如图4F所示，并且因此可以向客户端提供高速数据接入服务。
然而，在本公开的另一个实施例中，可以针对单个请求而创建两个或多个执行单元，而且在这样的方式中，数据的存取速度可以得以进一步提高，这可能带来更多的性能提升。
另外，应注意的是，本文中所使用的术语“访问”及其名词形式可能不仅意味着对来自客户端的数据的写入和读出的“访问”，而且也可能意味着在数据采集、数据处理中与数据库相关的任何操作。
多总线协作和性能优化
在本公开中，为了处理大量数据，提出了优化方案以实现数据传输的低延时。特别地，可以使用单独的数据写入流、数据访问流、和事件数据流，并在同时提供灵活的基于需求的总线配置，以便动态地均衡总线负载。
消息大小优化
一种优化方案的是优化消息大小以平衡吞吐量和延时。结果发现更大的消息大小将实现更高的吞吐量，这意味着缓冲的实时数据进行批量传输可能实现较高的吞吐量。然而，另一方面实时数据必须在其截止期限之前(在可容忍延时内)被传送，并且不应被缓冲时间太长。通过大量的试验，得到了关于总线性能的以下结果，其在表5列出。
表5消息大小和吞吐量之间的映射
消息大小 200 1k 1.5k 10k 100k 500k 1M
吞吐量 1.8M 7.5M 9M 30M 58M 54.5M 34M
从表5中可以看出的是，随着消息的大小的增加吞吐量变高；然而，吞吐量将在消息的大小达到一定值(100K如图所示)时下降。
因此，设计了最佳配置方案，其规定应根据消息大小和吞吐量之间的映射选择用于数据的消息大小，以使得数据的总延迟满足延迟要求。换句话说，它应满足下面的两个条件：(1)所选择的消息大小应当达到的吞吐量比吞吐量要求更大；以及(2)总延迟应小于要发送的实时数据的最后期限。这两个条件可以由下式表示：
-M(T*r)>S，以及
-T+e<d
其中
M()表示消息的大小和吞吐量之间的映射，例如如表4所示；r表示实时数据生成速度(字节/秒)；d表示要发送的实时数据的最后期限；T表示缓冲延迟；e表示网络延迟；和S表示吞吐量要求。
利用这样的优化配置，该消息大小被优化且延时和吞吐量可以得到良好的平衡。
总线负载平衡
在本公开中，使用了一个分开的专用事件总线来处理可能会急剧增加的大量事件，以在意味着电网处于偶然事故状态的事件突发的情况下保证性能和可用性两者。然而，当电网在正常状态下工作时，并没有事件要传送。因此，该事件总线有可能被用来平衡实时数据总线的负载。此外，服务数据总线或操作总线也可以用于类似的目的。
在本公开中，提出了一种用于传送实时数据的设备，以在实时事件总线和/或操作总线并不繁忙时，动态分配的实时数据流一小部分给实时事件总线和/或操作总线，并因此降低实时数据总线上的负担。用于传送实时数据的设备1310可以是如图2所示的总线协作和优化模块130的一部分。
该设备1310可以包括状态监视器1311，平衡引擎1312和代理1313。状态监视器1311可被配置为监测实时总线的业务状态，如比特率，未处理消息等。待监视的实时总线是可以至少包括用于传送实时数据的实时数据总线和另一实时总线，该另一实时总线可以是实时事件总线和/或操作总线。
平衡引擎1312被配置为基于实时总线的业务状态分配另一实时总线用来传送实时数据的一部分，以平衡实时总线之间的载荷。也就是说，如果实时事件总线或操作总线是空闲，则将会指定该总线承载实时数据服务的一部分。
代理1313被配置成提供对DCM的透明操作，并因此可以是可选的。代理1313可以处理来自DCM的总线分配请求，和回发送响应。
在传送实时数据时，用于数据的消息大小可以被进一步优化，因此在本公开中，用于传送实时数据的设备还可以包括消息大小优化模块1314，被配置为基于消息大小和吞吐量之间的映射，确定实时数据的消息大小，以使得所述实时数据的总延迟满足延迟要求。
此外，图5B还示意性地示出了根据本公开的示例实施例中的用于传送电网中的实时数据的方法的流程图。如图所示，首先在步骤S51中，监控实时总线的业务状态。如上所述，所监视的实时总线可以包括用于传送实时数据的实时数据总线和至少一个另一实时总线，而该另一实时总线可以包括实时事件总线和/或操作总线。
基于这些实时总线的业务状态，则另一实时总线可以被用于传送实时数据的一个部分，以平衡实时总线(步骤S52)之间的载荷。
在传送实时数据时，可以基于消息大小和吞吐量之间的映射来确定用于实时数据的消息大小，以使得实时数据的总延迟可能满足延迟要求。也就是说，数据可以缓冲一会儿以达到更好的吞吐量性能。
通过这种方式，可以优选地基于实时总线的各自业务状态而动态地确定实时总线的负载，以使得载荷可以在这些总线之间得到良好的平衡。
数据延迟控制
如上所述，本公开的整个系统可以是SOA兼容的。在这样的情况下，可以支持并添加大量使用各种系统之间的互连基础设施的架构的服务交互，也可以创建许多点对点集成。然而，这些点对点的集成难以维护。目前，各种源正向SOA架构改变，该SOA价格将承载各种部署的服务，因而需要采用提供可靠通信、智能路由、复杂翻译和服务转换的基础设施服务。因此，诸如企业信息服务(EMS)的总线的实时数据服务总线可以用于提供公共通信和集成服务。在下文中，为了说明的目的，将参考EMS总线来描述本公开的实施方案。
在常规的实时数据传送过程中，通常在消耗者上部署一个线程，并在一个数据产生者上部署一个线程。然而，在高容量实时数据传递中，这很可能导致EMS总线上消耗者的数据消耗速度和数据产生者的产生速度之间的不匹配。
如图6A所示，数据产生者610实时产生数据。所述数据产生者610是一个能够产生实时数据的过程，并且它可以是任何数据的产生过程，可以包括例如，数据收集，原始数据预处理，数据编码，消息封装，数据上传等。生成的数据将被上传到EMS总线服务器620，其可以提供可靠的通信和集成服务。所述EMS总线服务器620将维持缓冲器640以存储由数据产生者上载的数据，从而缓冲所生成的实时数据。数据消耗者630连接到EMS总线服务器620并从其下载数据以进行消耗。数据消耗者630可以是一个消耗数据的过程并且它可以是任何数据消耗过程，包括例如数据下载、数据解码、数据处理等。在实时数据系统中，数据产生和消耗过程必须以实时方式执行。换言之，从数据产生到数据消耗的延时必须足够小，以满足QoS要求。然而，数据产生者产生数据的速度通常比数据消耗者消耗数据的速度要快得多，因此越来越多的数据将会累积在缓冲器640。这会带来一些不利的影响。例如，缓冲延迟很可能增加，这将导致实时数据超出其最后期限传送。此外，在这种情况下，缓冲在总线服务器的实时数据将很快被填充到其最大容量，这可能由于数据溢出而导致EMS总线服务器崩溃。
因此，缓解上述问题是重要的。鉴于此情况，有在本公开中，提出了一种解决方案以控制经由实时服务总线传送的事实数据的延迟，以便保持数据的产生速度和数据消耗速度之间的平衡。
在下文中，将对用于控制实时数据的延迟的方法进行详细说明。该方法的主要想法是根据总线服务器的数据缓冲器的容量来控制消耗速度。参考了图6B，该图示意性地示出了用于根据本公开的实施例用于控制经由实时服务总线传送的实时数据的延迟的方法。
首先，在步骤S61，对实时服务总线服务器上的缓冲器的状态进行监视，以观察用于缓存由数据产生者产生的实时数据的缓冲器的当前状态。缓冲器的当前状态可以例如是数据缓冲器的队列大小。队列大小可以通过使用用于该总线的API来获得。例如，对于TIBCOEMS总线，它可以使用被称为getPendingMessageSize()的方法来实时获得队列信息。
然后，在步骤S62中，根据数据缓冲器的状态对数据的消耗速度进行调整，以控制实时数据的延迟。数据消耗速度调整可以通过基于数据缓冲器的队列大小来例如控制数据消耗实例的数目来实现。例如，它可以响应于队列大小增加而增加数据消耗实例的数目，以使得更多的数据消耗实例可以同时消耗实时数据，以提高数据的消耗速度，降低数据的延迟。另一方面，如上所述，缓冲数据进行批量传输可以获得较高吞吐量。因此，当队列大小减小时，它可以相应地减小数据消耗实例的数目。以这样的方式，可以将数据缓冲器的队列大小保持在适当的范围内，也就是说，数据延迟可被保证同时能实现更好的吞吐量性能。
虽然增加数据消耗实例可以促进数据消耗，但是它已经发现存在能够改善数据的消耗速度的极限值。换句话说，如果数据消耗实例的数量已经达到了极限值，数据的消耗速度将不会随着数据消耗实例数量的增加而有任何增加。这是因为，数据消耗过程通常可以分为到两种，即可并行子过程和不可并行子过程。可并行子过程意味着可以并发地执行该过程，其可以包括例如数据下载、数据读出、消息解码、根据预定义的数据模型的数据映射。不可并行处理是只能串行执行且禁止由多个消耗实例同时执行的过程。用于不可并行处理的一个例子是对数据库中的数据的写入操作(因为在一个时间只允许在数据库上执行一个写入操作)。对于为可并行过程，增加数据消耗者的数量可以增加数据消耗速度。然而，增加数据消耗者的数目并不能增加不可并行过程的数据消耗速度。在这样的情况下，如果数据消耗实例的数量已达到极限值，则有利的是保持该数量，其中超过所述极限值数据消耗速度将不会得到改善。
因此，在步骤S63识别出所述非并行子过程和并行子过程可能是有益的。在本公开中，可以对消耗者程序进行分析，以便从不可并行子过程中区分出可并行子过程。
在本公开的实施例，如果数据产生速度是比消耗者中的非并行处理速度更快，它将控制数据产生速度，因为否则该系统将会不稳定的，即队列大小将会达到其容量极限而EMS服务器可能会由于数据溢出而崩溃。当数据产生速度比数据消耗速度更快而比非并行处理速度更慢时，则需要调整数据消耗速度。在该数据产生速度比数据消耗速度更慢的情况下，这意味着消耗者线程足以消耗实时产生的所有数据。
处理速度可以通过分别估计可并行子过程和不可并行子过程中的处理时间来获得。在本公开的实施例中，可并行子过程的处理时间和不可并行子过程的处理时间可以被分别估计并行子过程和不可并行子过程的平均处理时间。在下文将提供平均处理时间记录的一个例子以用于说明的目的。
在过程运行期间，时刻t1(i)，t2(i)和t3(i)可被记录，其中i表示为时间间隔编号；t1(i)表示在第i个时间间隔当消耗者线程开始从EMS总线服务器下载消息时的时间；t2(i)表示当不可并行过程在第i个时间间隔开始的时间；以及t3(i)表示当不可并行过程在第i个时间间隔返回的时间。
因此，在第i个时间间隔的整个过程处理时间可以被表示为
T(i)＝t1(i+1)-t1(i)
不可并行子过程在第i个时间间隔的处理时间可以被表示为
Tnp(i)＝t3(i)-t2(i)
因此，并行子过程在第i个时间间隔的处理时间可以表示为：
Tp(i)＝T(i)-Tnp(i)
通过获得多个时间间隔期间的时刻，可以得到并行子过程和不可并行子过程两者的处理时间的平均值。因此，平均处理时间，Tp_avg和Tnp_avg被表示为：
Tp_avg＝(Tp(1)+Tp(2)+...+Tp(i)...+Tp(N))/N
Tnp_avg＝(Tnp(1)+Tnp(2)+...+Tnp(i)...+Tnp(N))/N
此外，有利的是，可以以估计随时间被更新的运行时处理时间，即持续更新运行时处理的平均值。在这种情况下，可并行子过程的处理时间和不可并行子过程的处理时间Tp_avg(i)和Tnp_avg(i)可以被表示为：
Tp_avg(i)＝(1-α)Tp_avg(i-1)+αTp(i)
Tnp_avg(i)＝(1-β)Tnp_avg(i-1)+βTnp(i)
其中，参数a和β中的每个均是很小的常数，它确定当前时间间隔中的处理时间将影响整体平均时间的程度。参数a和β可具有类似值，例如0.02。然而，另外的值也是可能的，而且参数a和β采用不同的值也是可行的。
通过这种方式，它可以得知消耗过程的可并行和不可并行的部分的平均处理时间，其可以用来计算需要多少消耗者线程来达到最佳的消息消耗速度。
特别地，如果可并行处理速度比不可并行处理速度更高，也就是说，1/Tp_avg>1/Tnp_avg,，有以考虑创建两个消耗线程。在这种情况下，更多的消耗线程可能不会有助于提高整体数据消耗速度。如果可并行处理速度比不可并行处理速度降低，即，1/Tp_avg<1/Tnp_avg，则数据消耗实例的数量可以是至多M(限制值)，其中 是指大于的最小整数。举例而言，如果则限制值M可以被确定为5。
通常，可能有划分该消耗过程的若干不可并行子过程。在这种情况下，可以只考虑最长不可并行子过程，而其他不可并行子过程可以被认为是“可并行”的。如图6C所示，消耗者线程包括两个不同的不可并行子过程，其中之一是由斜线填充的方框表示，而另一个是由点填充的方框表示。在该图中，示出了可能最佳的方式是利用并行的机会。黑色方框表明当时在数据消耗实例中没有过程被执行，因为由斜线填充的方框所表示的不可并行子过程必须被串行执行。因此，很显然消耗者线程可以提高消耗速度的程度由最长的不可并行子过程确定(即，由斜线填充的方框所表示的子过程)，而较短子过程不可并行子过程(即由点填充的方框所示)对整个消耗速度没有任何影响。此外，也可以被看到五个线程已经达到最大速度，且更多线程不会有助于提高性能。
图6D示意性地示出了根据本公开的示例实施例的用于控制经由实时总线传递的实时数据的传输延迟的设备的框图。该设备1320可以是如图2所以的总线协作和优化模块130的一部分。
所述设备1320可以包括总线监视模块1321和速度调整模块1322。总线监视模块1321可被配置为监视实时总线的数据缓冲器的状态，实时数据在所述数据缓冲器中被缓冲以便进行传送。速度调节模块1322可以被配置成基于所述数据缓冲器的状态来调节数据消耗速度，以控制所述实时数据的延迟。
此外，该设备1320还可以包括子过程识别模块1324和处理时间记录模块1323。子过程标识模块1324可被配置为识别数据消耗者的可并行子过程和非并行子过程。处理时间记录模块1323可已被配置以获得并行子过程的运行时平均处理时间和不可并行子过程的运行时平均处理时间。速度调节模块被配置为基于所述并行子过程的运行时平均处理时间和非并行子过程的运行时平均处理时间控制多个数据消耗的实例。
在本公开的一个示例具体实现中，速度调整模块1322可以最初首先生成N个消耗线程(即，数据的消耗实例)，其中n可以是一个预定数目且小于M。这n个消耗线程将独立地下载和处理数据。非并行子过程必须串联执行，这可以通过同步机制来实现。总线监视器1321探测EMS总线的每一秒的队列大小，并保持随着时间跟踪队列大小。关于队列大小的记录可能会被记录为{q1,q2,...,qt,qt+1,...}。连续增加的队列大小的数目可以计数为c。当计数器超过阈值(用H表示)，速度调整模块1322可确定创建一个新的消耗线程。
该计数器C，可以通过以下的算法更新：
c＝c+1；if qt>q(t-1)
c＝0；if qt<q(t-1)；or c＝H
此外，如果q>65％的存储容量，速度调整模块1322可以创建新线程而不管计数器的值。如果消耗线程数大于M时，则不创建消耗者线程。
此外，如果消耗线程保持空闲很长时间且总线程数大于M，管理器会销毁该线程。此操作将继续进行直至总消耗线程的数量等于M。
事件集成和复杂事件处理
在本公开中，还提供了事件综合和复杂事件处理设备。在本公开中，实时事件综合和管理组件被设计，并且基于CEP技术设计新的域模型，以挖掘来自不同数据源的相关事件。因此，可能存在的风险可以被迅速地识别，并且继而电力公用事业企业业务操作可以得到改进。
如图7A所示，事件综合和复杂事件处理设备140可以包括事件管理器1410，事件处理器1420，以及电网模型1430。
事件管理器1410被配置为综合所有事件并向应用提供发布/订阅事件服务。例如操作的应用程序310、维护应用320、客户服务应用330等的各种应用可以在事件管理订阅他们所关心的事件。当事件管理器1410接收通过实时事件总线发送的、来自各种数据源的事件时，它将综合有关各对象(例如仪表，变压器等)的事件，并基于应用各自的订阅将相应的事件发布给以这些应用。
事件处理器1420被配置成限定、捕获各种事件并使用预先设计的分析模型、实时网络拓扑和实时服务数据将所述事件相关联。该事件处理器1420可以包括CEP(复杂事件处理)引擎1422，网络拓扑模块1424，分析模型模块1426和校验数据获取模块1428。当CEP引擎1422接收通过在实时事件总线发送的、经由适配器172、174、176、178从各种数据源收集的事件时，它将根据存储在分析模型模块1426的域模型，存储在网络拓扑模块1424中的网络拓扑结构来分析事件，并根据由校验数据获取模块1428获得的数据进行确认。网络拓扑模块1424存储电网中的对象之间的动态连接关系，这是根据电网的实时数据和电网模型模块1430中存储的电网模型(表示电网中的对象之间的静态连接关系)而实时获取的。事件的处理结果可以是例如报告故障馈线段的预测事件。该处理结果可以由CEP引擎1422向事件管理器1410提供，进而将事件发布给相应的应用程序。
将在下文参照图7B描述根据本公开的复杂事件处理的例子，其中图7B示意性地示出根据本公开的示例实施例的包括馈线段S1、S2、S3和S4的域模型的例子的示图。
首先，如果CEP引擎1422接收关于来自仪表1的仪表故障事件报告，它可确定计仪表1故障。然后将得到与该故障事件相关联的事件，例如那些来自与仪表1属于同一配电变压器(即与仪表1有相同配电变压器供电)的其它仪表(仪表2和3)的事件。如果CEP引擎1422从这些相关联的事件发现有50％以上的仪表故障，则可以推断该变压器1中断。然后CEP引擎1422可以执行检查，它将使用的变压器1的实时数据(例如有功功率，电压等)以进行确认，所述实时数据是由校验数据获取模块1428通过数据服务总线而获得的。如果CEP引擎1422确定变压器1中断，则它会进一步搜索相关联的事件。在它认定的配电变压器1和馈线段(即，S4)也故障的情况下，它可以基于网络拓扑推断出上游馈线段(S2)可能发生故障，并通过检查他们的实时数据，例如有源功率，电压，等等，而进行进一步检查。以这样的方式，最后可以迅速识别停电的根源及停电范围。
利用本公开的架构，能够管理具有不同延时要求且来自不同数据源中的数据，并可以高效率管理大量的时间序列的实时数据；有效地管理大量事件突发。它还可以基于统一数据模型管理数据，并针对所有应用程序提供数据集的单个版本。此外，可以提供复杂事件处理能力，以捕获由所述设备、网络和电力用户生成的事件之间的复杂关系，以使得在电力企业业务操作的潜在危险可以得到识别。
此外，提供了一种有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行的多个指令以访问电网中的数据，所述有形计算机可读介质包括：被配置成执行根据本公开中提出的用于访问在电网中的数据的方法的任意实施方案的方法步骤的指令。
此外，提供了另一有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行的多个指令以控制经由实时总线传送的实时数据的传输延迟，所述有形计算机可读介质包括被配置为执行根据本公开中提出的用于控制经由实时总线传送的实时数据的传输延迟的方法的任意实施例的方法步骤的指令。
此外，提供了又一有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行的多个指令传送电网中的实时数据，所述有形计算机可读介质包括：被配置成执行根据公开中提出的用于传送电网中的实时数据的方法的任何实施例的方法步骤的指令。
此外，应当注意的是，包含在系统和设备中的各模块的操作基本上对应于详细地描述的相应方法步骤。因此，关于各模块的详细操作可参考在本公开中给出的方法的相关描述。
图8是一个通用计算机系统800，其可以代表此处提及的计算设备其中任意一个。例如，通用计算机系统800可以-至少部分地或完全地-代表控制中心、首端、集成网络操作和管理系统(NOMS)、故障、性能以及配置管理(FPCM)模块，或诸如终端设备、仪表、遥测接口单元(TIU)、连接器之类此处提及的任意其他计算设备和/或如上面所讨论诸如路由器、交换机或服务器之类的联网组件。计算机系统800可以包括指令集802的有序排列，该指令集可以被执行为促使计算机系统800执行此处公开的方法或基于计算机的功能其中一个或多个。计算机系统800可以作为独立设备操作或可以使用网络810连接到其他计算机系统或外围设备。
在联网部署中，计算机系统800可以在服务器-客户端网络环境中以服务器或客户端用户计算机的能力操作，或作为对等(或分布式)网络环境中的对等计算机系统操作。计算机系统800还可以实施为或合并到诸如个人计算机或移动计算设备之类能够执行指令集802的各种设备中，该指令集802指定该机器将采用的动作，包括但不限于通过任意形式的浏览器访问网络810。而且，所描述的系统中的每一个可以包括独立或联合地执行一个或多个指令集以执行一个或多个计算机功能的子系统的任意集合。
计算机系统800可以包括诸如中央处理单元(CPU)和/或图形处理单元(GPU)之类的处理器807。处理器807可以包括一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、数字电路、光学电路、模拟电路、其组合或用于分析和处理数据的其他现在已知或随后开发的设备。处理器807可以实施指令集802或其他软件程序，诸如手动编程或计算机产生的代码以用于实施逻辑功能。特别地，所描述的逻辑功能或任何系统元件可以处理和/或将模拟数据源(诸如模拟的电、音频或视频信号或其组合)转换为用于音频-视频目的或其他数字处理目的(诸如为了与计算机处理或联网通信可兼容)的数字信号源。
计算机系统800可以包括用于通信信息的总线820上的存储器805。可操作为促使计算机系统执行此处描述的动作或操作其中任意一个的代码可以存储在存储器805中。存储器805可以是随机存取存储器、只读存储器、可编程存储器、硬盘驱动或任意其他类型的易失性或非易失性存储器或存储设备。
计算机系统800还可以包括驱动单元815，诸如固态驱动、光学驱动的磁盘驱动单元。驱动单元815可以包括非瞬时或有形计算机可读介质840，其中可以嵌入一个或更多指令集802，例如软件。而且，指令802可以执行此处描述的操作其中一个或多个。指令802可以完全或至少部分地驻留在存储器805中和/或在通过计算机系统800执行期间驻留在处理器807中。上述数据库或任意其他数据库可以存储在存储器805和/或驱动单元815中。
存储器805和处理器807还可以包括如上所述的计算机可读介质。“计算机可读介质”、“计算机可读存储介质”、“机器可读介质”、“传播信号介质”和/或“信号承载介质”可以包括任意设备，所述任意设备可以包括：存储、通信、传播或传输供指令可执行系统、装置或设备使用或与之结合使用的软件。计算机可读介质可以选择性地是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。
另外，计算机系统800可以包括输入设备825，诸如键盘或鼠标，所述输入设备被配置成使得用户与系统800的组件中的任意一个交互，包括显示菜单的用户选择或菜单键入。其还可以包括显示器830，诸如是液晶显示器(LCD)、阴极射线管(CRT)或适于传达信息的任意其他显示器。显示器830可以作为用户查看处理器807的功能的接口，或尤其作为与存储在存储器中805或驱动单元815中的软件的接口。
计算机系统800可以包括经由通信网络810支持通信的通信设备836，例如通信接口。网络810可以包括有线网络、无线网络或其组合。通信接口网络可以经由任意数目的通信标准实现通信，所述通信标准诸如是以太网AVB、802.11、802.17、802.20、WiMax或其他通信标准。
因此，所述系统可以以硬件、软件或硬件和软件的组合方式实现。系统可以以集中式方式在至少一个计算机系统中实现，或以其中不同元件散布于若干互连计算机系统的分布式方式实现。适于实施此处描述的方法的任意类型的计算机系统或其他设备是均合适的。硬件和软件的典型组合可以是具有计算机程序的通用目的计算机系统，当被装载或执行时，所述计算机程序控制计算机系统以使得它实施此处描述的方法。这种编程计算机可以被认为是专用目的计算机。
如此处所描述，将任何模块或处理方框定义为包括软件、硬件或可由处理器807执行的某种组合。软件模块可以包括存储在存储器805或其他存储器设备中可以被处理器807或其他处理器执行的指令。硬件模块可以包括可执行、引导和/或控制以用于由处理器807执行的各种设备、组件、电路、门、电路板等。
系统还可以嵌入在计算机程序产品中，该计算机程序产品包括实现此处描述的操作的实施方式的所有特征，且在装载到计算机系统中时能够实施这些操作。本上下文中的计算机程序指示任意语言、代码或记号、指令集形式的任意表达，旨在促使具有信息处理能量的系统直接地或在以下操作其中一个或二者之后执行指定功能：a)转换成另一语言、代码或标记法；b)以不同材料形式的再现。
至此，已经通过优选实施例参考附图描述了本公开。然而，应当注意，本公开不限于所述和提供的指定实施例，而是可以在本公开的范围内做出各种修改。
而且，本公开的实施例可以以软件、硬件或其组合实施。硬件部件可以通过指定逻辑实现；软件部分可以存储在存储器中且可以通过诸如微处理器或专门设计的硬件之类的适当指令执行系统执行。本领域技术人员可以意识到，上述方法和系统可以使用包括在处理器中的计算机可执行指令和/或控制代码实施，这种代码例如在诸如磁盘、CD或DVD-ROM的承载介质上或诸如只读存储器(固件)的可编程存储器或诸如光学或电学信号承载的数据承载上提供。本实施例中的装置和其组件可以通过例如大规模集成电路或门阵列、诸如逻辑芯片或晶体管的半导体或诸如现场可编程门阵列的可编程硬件设备或可编程逻辑设备的硬件电路实施，或通过各种处理器执行的软件实施，或通过上述硬件电路和软件的组合例如通过固件实施。
尽管描述了本公开的各个实施例，对本领域技术人员显而见的是，更多的实施例和实现方式可以落在本发明的范围内。因此，除了依据附属权利要求及其等价之外，本发明并不受任何限制。

Claims (22)

1.一种用于访问电网中的数据的系统，所述系统包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器存储计算机可执行指令；
其中所述至少一个存储器和所述计算机可执行指令被配置为利用所述至少一个处理器，致使所述系统：
基于用于访问数据的请求，创建用于所述请求的执行单元，其中所述数据基于他们的特征而被划分成多个数据群集并存储在不同类型的数据库中，
使用用于与所述数据相关联的测量点的全局标识符，来定位所述数据的位置，以及
基于所述请求通过所述执行单元来访问所述数据。
2.根据权利要求1所述的系统，其中所述定位所述数据的位置包括：
使用用于所述测量点的所述全局标识符和内存中测量点映射索引，获取用于所述请求的多个数据访问参数；以及
其中，所述访问基于所述数据访问参数来执行。
3.根据权利要求2所述的系统，其中所述获取用于所述请求的多个数据访问参数包括：
使用用于所述测量点的所述全局标识符，从全局测量点管理配置中获取所述测量点所属的数据群集的群集标识符和所述测量点的群集内标识符；
使用所述群集标识符和所述群集内标识符，从内存中数据聚类管理点配置中，获取存储关于所述测量点的信息的数据库的数据库标识符和所述测量点的数据库内标识符，
使用所述数据库标识符，获取数据库连接池中的数据库链接信息；以及
其中，所述数据访问参数包括所述数据库链接信息和所述数据库内标识符。
4.根据权利要求1所述的系统，其中所述系统被进一步配置为：
基于所述请求的关闭，销毁所述执行单元。
5.根据权利要求1所述的系统，其中用于不同类型数据库的数据库连接在连接池中被管理，以及所述数据库连接的数目基于来自客户端的访问需求而进行调整。
6.根据权利要求1所述的系统，其中由客户端代理接收所述请求，以针对来自客户端的所有请求提供统一的服务。
7.根据权利要求1所述的系统，其中基于数据的增加，而创建新的数据群集和/或新的数据库。
8.一种用于访问电网中的数据的方法，包括：
基于用于访问数据的请求，创建用于所述请求的执行单元，其中所述数据基于他们的特征而被划分成多个数据群集并存储在不同类型的数据库中，
使用用于与所述数据相关联的测量点的全局标识符，来定位所述数据的位置，以及
基于所述请求通过所述执行单元来访问所述数据。
9.根据权利要求8所述的方法，其中所述定位所述数据的位置包括：
使用用于所述测量点的所述全局标识符和内存中测量点映射索引，获取用于所述请求的多个数据访问参数；以及
其中，所述访问基于所述数据访问参数来执行。
10.根据权利要求9所述的方法，其中所述获取用于所述请求的多个数据访问参数包括：
使用用于所述测量点的所述全局标识符，从全局测量点管理配置中获取所述测量点所属的数据群集的群集标识符和所述测量点的群集内标识符；
使用所述群集标识符和所述群集内标识符，从内存中数据聚类管理点配置中，获取存储关于所述测量点的信息的数据库的数据库标识符和所述测量点的数据库内标识符，
使用所述数据库标识符，获取数据库连接池中的数据库链接信息；以及
其中，所述数据访问参数包括所述数据库链接信息和所述数据库内标识符。
11.根据权利要求8所述的方法，还包括：
基于所述请求的关闭，销毁所述执行单元。
12.根据权利要求8所述的方法，其中用于不同类型数据库的数据库连接在连接池中被管理，以及所述数据库连接的数目基于来自客户端的访问需求而进行调整。
13.根据权利要求8所述的方法，其中由客户端代理接收所述请求，以针对来自客户端的所有请求提供统一的服务。
14.根据权利要求8所述的方法，其中基于数据的增加，而创建新的数据群集和/或新的数据库。
15.一种用于访问电网中的数据的设备，所述设备包括：
数据聚类管理服务器模块，被配置为基于用于访问数据的请求，创建用于所述请求的执行单元，以及基于所述请求的关闭，销毁所述执行单元，其中所述数据基于他们的特征而被划分成多个数据群集并存储在不同类型的数据库中；
数据聚类管理配置模块，被配置为使用针对与所述数据相关联的测量点的全局标识符，来定位所述数据的位置；以及
执行单元，所述执行单元是针对所述请求而动态地创建的，并被配置为基于所述请求来访问所述数据的位置中的所述数据，并针对所述请求提供结果。
16.根据权利要求15所述的设备，进一步包括：
数据聚类管理代理模块，被配置为接收用于访问所述数据的请求，将所述请求注册到所述数据聚类管理服务器模块，并将由所述执行单元提供的针对所述请求的结果返回给客户端，以针对来自客户端的所有请求提供统一的数据服务。
17.根据权利要求15所述的设备，进一步包括：
连接池管理模块，被配置为维持用于不同类型数据库的数据库连接以及基于来自客户端的访问需求来调整所述数据库连接的数目。
18.一种用于电网的实时数据管理系统，包括：
数据采集模块，被配置为收集来自各种数据源的实时数据；
数据模型模块，被配置为向所述系统提供涵盖各种源和各种数据源的统一数据模型；
数据处理模块，被配置为处理所收集的数据；
数据聚类管理模块，被配置为基于数据的特性而将数据划分成多个数据群集，根据数据聚类配置规则将数据存储在不同类型数据库中，并提供对不同数据群集中的数据的访问；
数据访问服务模块，被配置为向客户端提供数据访问服务管理；
事件综合和处理模块，被配置为综合和处理所述电网的相关事件，并基于所述相关事件分析和预测电网的健康状况；以及
系统管理模块，被配置为提供对所述系统中的模块的总体管理。
19.根据权利要求18所述的实时数据管理系统，其中所述数据聚类管理模块包括根据权利要求15所述的设备。
20.根据权利要求18所述的实时数据管理系统，还包括：
总线协作和优化模块，被配置为执行多总线协作和总线性能优化。
21.根据权利要求20所述的实时数据管理系统，其中所述总线协作和优化模块包括：
用于控制经由实时总线传送的实时数据的传输延迟的设备，该设备包括：状态监视模块，被配置为监视用于所述实时总线的数据缓冲器的状态，其中在所述数据缓冲器中缓存有所述实时数据以便进行传送；以及速度调整模块，被配置为基于所述数据缓冲器的状态调整数据消耗速度，以控制所述实时数据的延迟；以及
用于传送电网中的实时数据的设备，该设备包括：总线监视器模块，被配置为监视多条实时总线的业务状态，所述多条实时总线包括用于传送所述实时数据的实时数据总线和另一实时总线；以及平衡引擎模块，被配置为基于所述实时总线的所述业务状态，指派所述另一实时总线来传送所述实时数据的一部分以平衡所述实时总线之间的负载。
22.一种有形计算机可读介质，所述有形计算机可读介质具有可由处理器执行以访问电网中的数据的多个指令，所述有形计算机可读介质包括被配置为执行根据权利要求8至14中任一项所述的方法的步骤的指令。
CN201280076747.4A 2012-11-02 2012-11-02 针对电网的实时数据管理 Active CN104769582B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/084026 WO2014067142A1 (en) 2012-11-02 2012-11-02 Real-time data management for a power grid

Publications (2)

Publication Number Publication Date
CN104769582A CN104769582A (zh) 2015-07-08
CN104769582B true CN104769582B (zh) 2018-11-02

Family

ID=50623466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280076747.4A Active CN104769582B (zh) 2012-11-02 2012-11-02 针对电网的实时数据管理

Country Status (3)

Country Link
US (3) US9141653B2 (zh)
CN (1) CN104769582B (zh)
WO (1) WO2014067142A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419589B (zh) * 2011-12-31 2014-05-07 国家电网公司 一种园区的智能用电系统及方法
CN104769582B (zh) 2012-11-02 2018-11-02 埃森哲环球服务有限公司 针对电网的实时数据管理
EP2973071B1 (en) * 2013-03-15 2020-05-06 Fluke Corporation Automatic recording and graphing of measurement data
US9922101B1 (en) * 2013-06-28 2018-03-20 Emc Corporation Coordinated configuration, management, and access across multiple data stores
CN103970903B (zh) * 2014-05-27 2017-05-24 重庆大学 基于Web的大型工业系统反馈数据实时处理方法及系统
CN105704060B (zh) * 2014-11-26 2018-11-02 网宿科技股份有限公司 一种基于单连接多请求的流量控制方法
CN104468399B (zh) * 2014-12-08 2020-01-17 北京奇虎科技有限公司 数据传输方法、装置和服务器
KR20160094626A (ko) * 2015-02-02 2016-08-10 삼성전자주식회사 전자 장치의 이미지 처리 방법 및 이미지 처리 장치
CN104598623A (zh) * 2015-02-03 2015-05-06 东南大学 综合传感网分层数据管理系统
US9923778B2 (en) 2015-03-23 2018-03-20 Utopus Insights, Inc. Network management based on assessment of topological robustness and criticality of assets
CN104808163A (zh) * 2015-04-08 2015-07-29 国家电网公司 一种电能质量监测系统性能检测的方法
KR20160122016A (ko) * 2015-04-13 2016-10-21 엘에스산전 주식회사 동적 안정도 평가 장치 및 방법
CN105141030B (zh) * 2015-07-24 2017-09-01 国家电网公司 一种用于svc的通信管理系统
KR101717356B1 (ko) * 2015-07-29 2017-03-27 엘에스산전 주식회사 에너지 관리 시스템의 데이터 베이스 관리 장치 및 방법
US11172273B2 (en) 2015-08-10 2021-11-09 Delta Energy & Communications, Inc. Transformer monitor, communications and data collection device
US10055869B2 (en) 2015-08-11 2018-08-21 Delta Energy & Communications, Inc. Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components
CN105303452A (zh) * 2015-08-21 2016-02-03 国电南瑞科技股份有限公司 一种电网调控实时数据分布式处理方法及其系统
WO2017041093A1 (en) 2015-09-03 2017-03-09 Delta Energy & Communications, Inc. System and method for determination and remediation of energy diversion in a smart grid network
NL2015490B1 (en) * 2015-09-22 2017-04-20 Peeeks B V System for balancing an electricity network with a grid.
CN105335475B (zh) * 2015-09-30 2018-07-10 中国科学院计算技术研究所 一种基于流式数据的局部性非聚簇索引方法及系统
CN105183299B (zh) * 2015-09-30 2018-07-10 珠海许继芝电网自动化有限公司 一种人机界面服务处理系统和方法
CA3000206C (en) 2015-10-02 2023-10-17 Delta Energy & Communications, Inc. Supplemental and alternative digital data delivery and receipt mesh network realized through the placement of enhanced transformer mounted monitoring devices
WO2017070648A1 (en) 2015-10-22 2017-04-27 Delta Energy & Communications, Inc. Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology
US10476597B2 (en) 2015-10-22 2019-11-12 Delta Energy & Communications, Inc. Data transfer facilitation across a distributed mesh network using light and optical based technology
CN105574072A (zh) * 2015-11-11 2016-05-11 国网冀北电力有限公司信息通信分公司 一种基于iec61970标准的实时数据库群集实现方法
WO2017097346A1 (en) * 2015-12-08 2017-06-15 Siemens Aktiengesellschaft Determining a network topology of a hierarchical power supply network
WO2017097347A1 (en) * 2015-12-08 2017-06-15 Siemens Aktiengesellschaft Automatic identification of a network node causing a network outage
WO2017147476A1 (en) 2016-02-24 2017-08-31 Delta Energy & Communications, Inc. Distributed 802.11s mesh network using transformer module hardware for the capture and transmission of data
CN105720584B (zh) * 2016-04-13 2018-06-29 国电南瑞科技股份有限公司 一种avc省地协调控制过程中基于整数规划的省调无功指令的最优分配方法
CN107528816B (zh) * 2016-06-22 2021-05-18 中兴通讯股份有限公司 分布式数据库中id的处理方法、管理系统及服务器
US10652633B2 (en) 2016-08-15 2020-05-12 Delta Energy & Communications, Inc. Integrated solutions of Internet of Things and smart grid network pertaining to communication, data and asset serialization, and data modeling algorithms
CN106156373A (zh) * 2016-09-09 2016-11-23 黑龙江省电力科学研究院 一种智能变电站scd文件统一管理方法及系统
US10739396B2 (en) * 2016-10-03 2020-08-11 General Electric Technology Gmbh Enhanced disturbance management of a power grid system
KR20180074197A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 버스 트래픽 컨트롤 장치 및 이를 갖는 버스 시스템
US10678216B2 (en) 2017-02-28 2020-06-09 Sap Se Manufacturing process data collection and analytics
CN108736465B (zh) * 2017-04-24 2021-09-03 中国电力科学研究院 一种未来态电网模型构建方法和装置
CN107580025A (zh) * 2017-08-07 2018-01-12 国电南瑞科技股份有限公司 一种电网多调度中心日内发电计划安全校核数据共享方法
CN107948294B (zh) * 2017-11-29 2020-09-01 广东电网有限责任公司电力科学研究院 一种基于iec61970标准的cis服务保持方法及cis服务器
CN112005220A (zh) * 2018-04-27 2020-11-27 三菱电机株式会社 数据处理装置、监视方法及程序
CN109257804A (zh) * 2018-07-31 2019-01-22 四川景云祥通信股份公司 用于5g通信的集中化中心机房节能控制方法
CN109165228A (zh) * 2018-08-06 2019-01-08 国家电网公司华中分部 智能电网调度控制系统实时数据库监视系统和方法
US11354168B2 (en) 2019-01-18 2022-06-07 Salesforce.Com, Inc. Elastic data partitioning of a database
CN110134690B (zh) * 2019-05-16 2020-06-23 鸿鹏新能源科技有限公司 Oracle数据库超大数据快速存储方法及系统
US11176155B2 (en) * 2019-12-13 2021-11-16 Paypal, Inc Self-adjusting connection pool in a distributed system
CN113810456A (zh) * 2021-02-09 2021-12-17 京东科技信息技术有限公司 数据获取方法、装置、系统、计算机设备及存储介质
CN113114732B (zh) * 2021-03-23 2022-03-15 国网江苏省电力有限公司连云港供电分公司 一种适用于变电站多链路的数据自动对点系统及方法
CN114595845A (zh) * 2022-03-10 2022-06-07 北京百度网讯科技有限公司 设备信息管理方法、装置、电子设备及存储介质
CN117171548B (zh) * 2023-11-03 2024-02-02 北京格蒂智能科技有限公司 一种基于电网大数据的网络安全态势智能预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756217A (zh) * 2004-03-23 2006-04-05 三星电子株式会社 用于在无线通信系统中负载平衡的方法和系统
EP2081123A1 (en) * 2008-01-20 2009-07-22 Current Communications Services, LLC System, method and product for processing utility data
CN102043795A (zh) * 2009-10-13 2011-05-04 上海新华控制技术(集团)有限公司 过程控制历史数据文件结构的建立方法和数据读写方法
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102609463A (zh) * 2012-01-13 2012-07-25 广东电网公司电力科学研究院 一种基于准实时平台的数据集群管理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127921A (ko) * 2004-01-27 2006-12-13 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 전력 분석 공격에 대한 방어 방법
DE602004023010D1 (de) * 2004-12-22 2009-10-15 Ericsson Telefon Ab L M Leistungsregelung und kanalauswahl in einem mehrkanaligen kommunikationssystem
CN100351857C (zh) * 2005-01-07 2007-11-28 北京北大方正电子有限公司 一种能够减少打印内存需求的打印控制方法
US20120010831A1 (en) * 2005-10-28 2012-01-12 Electro Industries/Gauge Tech Intelligent electronic device having a programmable display
US9885739B2 (en) * 2006-12-29 2018-02-06 Electro Industries/Gauge Tech Intelligent electronic device capable of operating as a USB master device and a USB slave device
US8508772B2 (en) * 2009-09-08 2013-08-13 International Business Machines Corporation Print job management based on energy pricing and load
US9388753B2 (en) * 2009-09-17 2016-07-12 General Electric Company Generator control having power grid communications
CN102101393A (zh) * 2009-12-16 2011-06-22 北大方正集团有限公司 一种控制印刷速度的方法和装置
CN102463747A (zh) * 2010-10-29 2012-05-23 北大方正集团有限公司 可变数据条码的打印方法和装置
US8694172B2 (en) * 2011-07-12 2014-04-08 General Electric Company Systems and devices for controlling power generation
US9112381B2 (en) * 2012-01-31 2015-08-18 The Boeing Company Method and apparatus for managing the distribution of electrical energy in a power distribution grid
US9520717B2 (en) * 2012-04-18 2016-12-13 Abb Research Ltd. Distributed electrical power network model maintenance
CN104769582B (zh) 2012-11-02 2018-11-02 埃森哲环球服务有限公司 针对电网的实时数据管理

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756217A (zh) * 2004-03-23 2006-04-05 三星电子株式会社 用于在无线通信系统中负载平衡的方法和系统
EP2081123A1 (en) * 2008-01-20 2009-07-22 Current Communications Services, LLC System, method and product for processing utility data
CN102043795A (zh) * 2009-10-13 2011-05-04 上海新华控制技术(集团)有限公司 过程控制历史数据文件结构的建立方法和数据读写方法
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102609463A (zh) * 2012-01-13 2012-07-25 广东电网公司电力科学研究院 一种基于准实时平台的数据集群管理系统

Also Published As

Publication number Publication date
US9141653B2 (en) 2015-09-22
CN104769582A (zh) 2015-07-08
US20160012120A1 (en) 2016-01-14
US20170131757A1 (en) 2017-05-11
US20140129746A1 (en) 2014-05-08
US10191529B2 (en) 2019-01-29
US9501555B2 (en) 2016-11-22
WO2014067142A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
CN104769582B (zh) 针对电网的实时数据管理
JP6904638B2 (ja) プロセス制御システムにおけるビッグデータの管理
US10652633B2 (en) Integrated solutions of Internet of Things and smart grid network pertaining to communication, data and asset serialization, and data modeling algorithms
CN105069690B (zh) 一种电网运行数据处理方法
CN109951463A (zh) 一种基于流计算和新型列式存储的物联网大数据分析方法
CN106980669B (zh) 一种数据的存储、获取方法及装置
CN109831478A (zh) 基于规则及模型的分布式实时处理智能决策系统及方法
Kim et al. Smart home web of objects-based IoT management model and methods for home data mining
CN108776699A (zh) 一种气象数据和卫星遥感数据处理方法及装置
CN103532739B (zh) 一种基于网络服务与应用的监控分析系统
CN111506660A (zh) 一种热网实时数据仓系统
CN104486116A (zh) 多维度查询流量数据的方法及系统
CN112434924B (zh) 全电网多源数据下基于云平台的风险稽查监控平台
US20210182307A1 (en) System and methods for autonomous monitoring and recovery in hybrid energy management
Han et al. Rt-dap: A real-time data analytics platform for large-scale industrial process monitoring and control
Oprea et al. Internet of things, challenges for demand side management
Kamaev et al. Knowledge discovery in the SCADA databases used for the municipal power supply system
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN110349051A (zh) 一种电网设备nqi大数据系统
Tianshu et al. Intelligent prognostic and health management based on IOT cloud platform
Kang et al. Monitoring framework for utility tunnels based on BIM and IoT technology
Huang et al. Research on WebGIS application based on edge computing
AU2014405046B2 (en) System, method and apparatuses for data processing in power system
Simonov et al. Big Data application: analyzing real-time electric meter data
Yang et al. The design and implementation of smart grid high volume data management platform architecture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant