CN109040293A - 针对主配一体化系统的海量实时数据分布式处理方法及系统 - Google Patents

针对主配一体化系统的海量实时数据分布式处理方法及系统 Download PDF

Info

Publication number
CN109040293A
CN109040293A CN201810994884.5A CN201810994884A CN109040293A CN 109040293 A CN109040293 A CN 109040293A CN 201810994884 A CN201810994884 A CN 201810994884A CN 109040293 A CN109040293 A CN 109040293A
Authority
CN
China
Prior art keywords
subregion
real time
time data
main
integral system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810994884.5A
Other languages
English (en)
Inventor
吴奕
葛文林
孙世明
苏标龙
唐元合
周济
李晨
余璟
吴海伟
陈兵
张明
苏光
张怡然
周福
陈国亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, NARI Group Corp, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201810994884.5A priority Critical patent/CN109040293A/zh
Publication of CN109040293A publication Critical patent/CN109040293A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。此外，本发明还公开了一种基于主配一体化系统的海量实时数据分布式处理系统。本发明极大地提高了主配一体化系统的实时数据处理效率。

Description

针对主配一体化系统的海量实时数据分布式处理方法及系统
技术领域
本发明涉及电力系统领域，特别是涉及针对主配一体化系统的海量实时数据分布式处理方法及系统。
背景技术
目前国内电网调度自动化系统实时数据处理方法均采用单机集中式的处理方法，但随着电网规模不断扩大，特别是配电自动化的快速发展，配网实时数据吞吐量不断增长，集中式处理方法已经无法满足实时数据处理的性能要求，系统实时性无法得到保证。
发明内容
发明目的：本发明的目的是提供一种针对主配一体化系统的海量实时数据分布式处理方法及系统，能够满足实时数据处理的性能要求。
技术方案：本发明所述的针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。
进一步，监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。
进一步，分区内部，根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。这样能够实现变频处理，能够充分利用系统资源。
进一步，对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。
进一步，对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。这样保证了分区数据安全可靠。
进一步，所述主网模型以厂站为最小单位进行分区，配网模型以馈线为最小单位进行分区。这样方便维护主网和配网模型信息。
进一步，各个分区将处理完的遥信数据写入本地实时库。这样可提高遥信数据的处理效率。
进一步，对于线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。这样可提高线端量测的处理效率。
本发明所述的针对主配一体化系统的海量实时数据分布式处理系统，包括：
模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；
数据采集模块：对各个消息通道发送遥测和遥信数据；
服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。
进一步，还包括：
分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。
有益效果：本发明公开了针对主配一体化系统的海量实时数据分布式处理方法及系统，将数据分布到各个分区进行处理，每个分区对应一个进程，进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理，极大地提高了电力调度自动化系统的实时数据处理效率。
附图说明
图1为本发明具体实施方式中方法的原理框图；
图2为本发明具体实施方式中遥测遥信变频处理的示意图。
具体实施方式
下面结合具体实施方式和附图，对本发明的技术方案进行进一步的介绍。
本具体实施方式公开了针对主配一体化系统的海量实时数据分布式处理方法，如图1所示，将所有服务器上的主网模型都以厂站为最小单位划分成多个分区，所有服务器上的配网模型都以馈线为最小单位划分成多个分区。每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据。服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。
此外，还监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。如图2所示，分区内部，根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。这样能够实现变频处理，能够充分利用系统资源。
由于以厂站或馈线为粒度进行分区，分区之间的遥信数据相互独立，各分区的遥信处理进程之间不需要进行交互就可以完成全部处理流程，因此，各个分区将处理完的遥信数据写入本地实时库即可。
对于不涉及到跨分区处理的数据，例如线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。
对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。
对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。
本具体实施方式还公开了针对主配一体化系统的海量实时数据分布式处理系统，包括：
模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；
数据采集模块：对各个消息通道发送遥测和遥信数据；
服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理；
分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。

Claims (10)

1.针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程；采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。
2.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。
3.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：所述主网模型划分成的分区内部和配网模型划分成的分区内部，均根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。
4.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。
5.根据权利要求4所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区，以使位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。
6.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：所述主网模型以厂站为最小单位进行分区，配网模型以馈线为最小单位进行分区。
7.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：各个分区将处理完的遥信数据写入本地实时库。
8.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：对于线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。
9.针对主配一体化系统的海量实时数据分布式处理系统，其特征在于：包括：
模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；
数据采集模块：对各个消息通道发送遥测和遥信数据；
服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。
10.根据权利要求9所述的针对主配一体化系统的海量实时数据分布式处理系统，其特征在于：还包括：
分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。
CN201810994884.5A 2018-08-29 2018-08-29 针对主配一体化系统的海量实时数据分布式处理方法及系统 Pending CN109040293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810994884.5A CN109040293A (zh) 2018-08-29 2018-08-29 针对主配一体化系统的海量实时数据分布式处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810994884.5A CN109040293A (zh) 2018-08-29 2018-08-29 针对主配一体化系统的海量实时数据分布式处理方法及系统

Publications (1)

Publication Number Publication Date
CN109040293A true CN109040293A (zh) 2018-12-18

Family

ID=64626191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810994884.5A Pending CN109040293A (zh) 2018-08-29 2018-08-29 针对主配一体化系统的海量实时数据分布式处理方法及系统

Country Status (1)

Country Link
CN (1) CN109040293A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783575A (zh) * 2018-12-30 2019-05-21 国网北京市电力公司 数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103048587A (zh) * 2012-12-12 2013-04-17 深圳供电局有限公司 具有分布式电源的配电网的故障定位方法、装置及系统
CN104167736A (zh) * 2014-09-04 2014-11-26 国家电网公司 一种大电网并行网络拓扑分析方法
CN105046583A (zh) * 2015-08-06 2015-11-11 国电南瑞科技股份有限公司 一种适用于分布式实时数据处理的电网模型分区方法
CN105303452A (zh) * 2015-08-21 2016-02-03 国电南瑞科技股份有限公司 一种电网调控实时数据分布式处理方法及其系统
CN107947180A (zh) * 2017-12-12 2018-04-20 北京四方继保自动化股份有限公司 一种适用于发输配一体化潮流计算的拓扑分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103048587A (zh) * 2012-12-12 2013-04-17 深圳供电局有限公司 具有分布式电源的配电网的故障定位方法、装置及系统
CN104167736A (zh) * 2014-09-04 2014-11-26 国家电网公司 一种大电网并行网络拓扑分析方法
CN105046583A (zh) * 2015-08-06 2015-11-11 国电南瑞科技股份有限公司 一种适用于分布式实时数据处理的电网模型分区方法
CN105303452A (zh) * 2015-08-21 2016-02-03 国电南瑞科技股份有限公司 一种电网调控实时数据分布式处理方法及其系统
CN107947180A (zh) * 2017-12-12 2018-04-20 北京四方继保自动化股份有限公司 一种适用于发输配一体化潮流计算的拓扑分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783575A (zh) * 2018-12-30 2019-05-21 国网北京市电力公司 数据处理方法及装置

Similar Documents

Publication Publication Date Title
CN107832354B (zh) 一种分布式缓存的配电网智能运维管控系统
CN106597901B (zh) 基于云服务的分布式综合能耗管理与分析方法及系统
CN107067201A (zh) 智能物流调度系统
CN102724103A (zh) 代理服务器、分层次网络系统及分布式工作负载管理方法
CN109615086B (zh) 一种运维辅助标签的生成方法及系统
CN105303452A (zh) 一种电网调控实时数据分布式处理方法及其系统
CN108171362A (zh) 供电设施故障抢修方法、系统及终端设备
CN106786539A (zh) 负荷数据采集装置、预测控制装置及负荷监控系统
CN109522117A (zh) 一种面向异构环境下的链上数据调度系统
CN107679719A (zh) 一种复杂电网电能质量知识云监测与评价系统和方法
CN110223411A (zh) 一种公共饮水机巡检系统及方法
CN103297520A (zh) 电网运行服务系统和实现方法
CN109040293A (zh) 针对主配一体化系统的海量实时数据分布式处理方法及系统
CN110322232A (zh) 一种配网调度任务票自动生成方法、装置及系统
CN105336143A (zh) 基于云计算的供电质量检测系统
CN109494871A (zh) 一种智能配电终端分布式计算方法及其系统
CN110378503A (zh) 预测多层穿梭货架生产能力的方法和装置
Zheng et al. A Cloud-Edge Collaboration Framework for Power Internet of Things Based on 5G networks
CN208257863U (zh) 纬编针织机实时监控系统
CN101231523B (zh) 一种灵敏负荷的控制系统及方法
CN103532233A (zh) 基于gprs技术的用电信息采集异常精确定位系统
CN103337003A (zh) 一种基于分布式终端的集中调度方法
CN108345618A (zh) 一种调度主站服务化数据访问与处理方法和装置
CN110275812A (zh) 故障信息处理的方法及终端设备
CN206515867U (zh) 一种电子标签及包含电子标签的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218