CN114579287A - 一种电网数据处理方法和系统 - Google Patents
一种电网数据处理方法和系统 Download PDFInfo
- Publication number
- CN114579287A CN114579287A CN202210483265.6A CN202210483265A CN114579287A CN 114579287 A CN114579287 A CN 114579287A CN 202210483265 A CN202210483265 A CN 202210483265A CN 114579287 A CN114579287 A CN 114579287A
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- power grid
- node
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000007726 management method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000005059 dormancy Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 6
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 230000006378 damage Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000013480 data collection Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
Abstract
本发明提供了一种电网数据处理方法和系统，包括：创建多个数据采集子任务并发运行，每个子任务负责一个采集节点的数据采集工作，保证每个采集节点的电力运行实时数据被及时读取，同时多任务并发运行能充分利用CPU资源；利用监测任务时刻监测来自采集节点的请求；对电网数据进行质量统计分析；根据当前网络状况和电网数据质量采用相应的调度策略进行数据优化传输。利用本发明的方法和系统，整合了数据采集发布、网络侦测、数据传输功能，在处理大量客户访问时减少网络拥塞，提高了服务的稳定性。电网数据质量分析评估层次更为清晰，有效减少了电网数据质量分析评价中数据收集、统计、分析和评价的人工工作量，提高电网数据质量管理效率。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种电网数据处理方法和系统。
背景技术
随着电网技术的高速发展，大型管理信息系统数目不断增加，覆盖范围广，客户数量庞大，对电网设备运行数据网提出了新的挑战。电网数据质量是电网调度决策准确可靠的先决条件，近年来，我国电网调度主要借助于状态估计和参数辨识来提升电网数据质量，取得了不少成果，但在实际运行中还存在以下几个方面的主要问题：电网调度部门中继电保护、运行方式和自动化等多个专业都有各自获取实测参数的渠道，但这些参数之间存在误差，尚缺乏统一有效的参数管理平台。因网络地域跨度大而导致的网络时延差距巨大，造成位于不同的网络地域的客户在面对集中式部署业务访问时，服务质量降低。数据质量标准的制定与形式的发展还存在一定的差距，目前尚无有效的电网数据质量评测标准，各电网企业对基础数据质量的考评方法不同，甚至有些电网企业缺乏有效的考评手段。另一方面由网络带宽资源紧张，因而客户访问突发性强、热点内容重复访问明显造成了网络拥塞、响应慢等问题，使得网络的稳定性随之下降。
目前国内还没有对电网数据质量分析与评价的方法和装置。已有的电网运行基础数据质量的管理方法仅仅是以某一个或者某几个量测量为对象进行数据质量管理，缺乏对电网数据整体的把握与评价，导致当前电网运行参数与实测数据管理工作难以满足实际需求。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的技术方案。因此，本发明的一个方面，提供了一种电网数据处理方法，该方法具体包括步骤：
步骤1、创建多个数据采集子任务并发运行，每个子任务负责一个采集节点的数据采集工作，保证每个采集节点的电力运行实时数据被及时读取，同时多任务并发运行能充分利用CPU资源；
步骤2、利用监测任务时刻监测来自采集节点的请求；
步骤3、对电网数据进行质量统计分析；
步骤4、根据当前网络状况和电网数据质量采用相应的调度策略进行数据优化传输。
进一步，其中，所述步骤1中每个数据采集子任务包括如下步骤：
步骤1.1、调用连接模块与采集节点建立连接，连接成功则进入步骤1.2；连接失败则重新读取采集节点的IP地址和端口，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.2、调用收发模块的消息发送函数向采集节点发送数据采集命令；
步骤1.3、调用收发模块的消息接收函数接收来自采集节点返回的数据，若收到响应消息则进入步骤1.4；若没有收到相应消息，则再次向采集节点请求实时数据，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.4、从采集节点反馈的响应消息中提取电力运行实时数据，将数据首先存入缓冲队列中供客户浏览器端直接调用，其次存储于数据库中作为备份；
步骤1.5、数据采集子任务进入休眠，休眠结束后进行下一轮数据采集。
进一步，其中，所述步骤2在监测任务的实现过程中采用任务队列，通过重复利用在任务队列中创建的工作任务，避免新任务创建和销毁造成不必要的CPU消耗，并且能够提高系统响应速度。
进一步，其中，所述监测任务实现过程包括：
步骤2.1、初始化任务队列，首先在监测任务内定义任务队列，任务队列可以容纳固定数量的工作任务；
步骤2.2、当采集节点的IP地址和端口发生变化，或者有新的采集节点加入，采集节点主动向监测端口发送请求，监测任务收到请求后调用任务队列管理器创建工作任务处理请求；当工作任务个数达到任务队列的基本容量时，停止创建，当有新的请求到达时，加入等待队列；
步骤2.3、工作任务实现从采集节点发送的消息中提取IP地址和端口，并将这些信息更新至配置文件列表中；
步骤2.4、出现终止事件时关闭任务队列，并停止监测任务。
进一步，其中，所述步骤3具体为：调度控制单元的电网数据质量分析评价模块，用于对比分析配置文件发送的完整的电网基础运行数据，得出基础数据质量评价结果，生成电网数据质量统计分析报告。
进一步，其中，所述步骤4具体为：调度控制单元的网络侦测模块对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测。
进一步，其中，所述步骤4中的所述数据优化传输包括网络动态和/或静态数据优化、视频点播和/或直播数据优化、文件下载优化；
进一步，其中，所述步骤4中的所述数据优化传输进一步包括对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点；
进一步，其中，所述步骤4中的所述数据优化传输进一步包括对于网站的动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容；
进一步，其中，所述步骤4中的所述数据优化传输进一步包括通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布；
进一步，其中，所述步骤4中的所述数据优化传输进一步包括客户在下载资源时，可从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载。
本发明的一个方面，提供了一种实施所述电网数据处理方法的电网数据处理系统，所述电网数据处理系统包括：
运行数据采集单元、数据发布单元、平台管理单元、网络安全模块、通信单元和调度控制单元；
运行数据采集单元连接于多个采集节点，实时并发地采集电网设备运行数据；
数据发布单元负责数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成；
平台管理单元负责平台管理，平台管理单元中的统计分析模块负责采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；
网络安全模块负责客户身份认证、内容安全；
通信单元负责处理终端客户的各种业务请求，实现广域网传输优化；
调度控制单元基于内容频度、客户位置、客户行为、电网数据质量、网络测量的上报数据来决定以何种策略调度内容、调度哪些内容、节点如何选取。
进一步，所述调度控制单元由电网数据质量分析评价模块以及网络侦测和调度执行模块组成。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
整合了数据采集发布、网络侦测、数据传输功能，在处理大量客户访问时减少网络拥塞，提高了服务的稳定性。从电网运行角度提岀电网数据质量分析评价方法，使得数据质量分析评估层次更为清晰，有效减少了电网数据质量分析评价中数据收集、统计、分析和评价的人工工作量，提高电网数据质量管理效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述技术方案和其目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了电网数据处理流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明将数据采集发布、网络侦测、数据传输等技术融入电网数据处理系统，形成灵活可扩展、可管理、高性能的电网数据处理架构。电网数据处理系统包括运行数据采集单元、数据发布单元、平台管理单元、网络安全模块、通信单元和调度控制单元。
运行数据采集单元连接于多个采集节点，实时并发地采集电网设备运行数据。
数据发布单元负责数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成。
平台管理单元负责平台管理，平台管理单元中的统计分析模块负责采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统。
网络安全模块负责客户身份认证、内容安全等。
通信单元负责处理终端客户的各种业务请求，实现广域网传输优化。
调度控制单元是基于内容频度、客户位置、客户行为、电网数据质量、网络测量的上报数据决定以何种策略调度内容、调度哪些内容、节点如何选取。调度控制单元由电网数据质量分析评价模块以及网络侦测和调度执行模块组成。
本发明的目的是针对电网运行基础数据质量的管理中存在的问题，提出一种用于电网数据处理系统的电网数据处理方法，该方法如图1所示，该方法具体包括步骤：
步骤1、创建多个数据采集子任务并发运行，每个子任务负责一个采集节点的数据采集工作，保证每个采集节点RAM的电力运行实时数据被及时读取，同时多任务并发运行能充分利用CPU资源。为合理地配置以及调度数据采集子任务，以达到在服务器能够承受的负荷范围内取得高效的数据采集效果，采用以下过程：
首先，定义数据采集子任务数目N。采集子任务数量的大小与服务器性能以及网络带宽有关，具体设定方法如下：将系统部署于特定服务器上，分别测试当系统内开启不同数量的数据采集子任务时，机器资源的使用情况，包括RAM、CPU使用率等；以及系统在进行采集数据的同时对其他操作的响应速度。经过不断调整数据采集子任务的数量，最终应满足在保证系统稳定运行的前提下实现高效的、实时的数据采集工作。
其次，由多任务管理器将配置文件列表划分为多个子列表，每个子列表长度为采集子任务数量大小。系统为第一个子列表创建N个子任务进行数据采集，采集结束后不销毁任务，而是让这些任务进入休眠状态，待休眠结束后用这N个子任务对第二个子列表中的采集节点进行数据采集。依此类推，当配置文件列表的每个子列表遍历结束时即完成对所有采集节点的一次完整的数据采集，接下来继续遍历配置文件列表进行第二轮采集。
每个数据采集子任务又包括如下步骤：
步骤1.1、调用连接模块与采集节点建立连接，连接成功则进入步骤1.2；连接失败则重新读取采集节点的IP地址和端口，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.2、调用收发模块的消息发送函数向采集节点发送数据采集命令；
步骤1.3、调用收发模块的消息接收函数接收来自采集节点返回的数据，若收到响应消息则进入步骤1.4；若没有收到相应消息，则再次向采集节点请求实时数据，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.4、从采集节点反馈的响应消息中提取电力运行实时数据，将数据首先存入缓冲队列中供客户浏览器端直接调用，其次存储于数据库中作为备份；
步骤1.5、数据采集子任务进入休眠，休眠结束后进行下一轮数据采集。
步骤2、利用监测任务时刻监测来自采集节点的请求。在监测任务的实现过程中采用任务队列，通过重复利用在任务队列中创建的工作任务，避免新任务创建和销毁造成不必要的CPU消耗，并且能够提高系统响应速度。监测任务实现过程：
步骤2.1、初始化任务队列。首先在监测任务内定义任务队列，任务队列可以容纳固定数量的工作任务。工作任务个数可调动，但不宜过多，避免系统资源过度消耗；
步骤2.2、当采集节点的IP地址和端口发生变化，或者有新的采集节点加入，采集节点主动向监测端口发送请求，监测任务收到请求后调用任务队列管理器创建工作任务处理请求。当工作任务个数达到任务队列的基本容量时，停止创建，当有新的请求到达时，加入等待队列；
步骤2.3、工作任务实现从采集节点发送的消息中提取IP地址和端口，并将这些信息更新至配置文件列表中；
步骤2.4、出现终止事件时关闭任务队列，并停止监测任务。
在多任务运行环境中，监测任务需要将最新的采集节点配置文件写至配置文件列表中，数据读取任务需要从配置文件列表中读取采集节点的IP地址和端口。当读写操作同时进行时会发生任务同步问题，因此访问采集节点配置文件列表必须进行同步互斥以保证各任务安全运行。将对采集节点配置文件列表的互斥操作封装在任务安全的类中，该类向各任务提供两个接口：读取配置文件和修改配置文件的接口。读写操作针对每一条配置文件，所以要对每一条配置文件进行互斥操作，实现过程中进行局部封锁，这样就可以避免读配置文件时发生冲突。
步骤3、对电网数据进行质量统计分析。
在电网数据处理系统中，调度控制单元的电网数据质量分析评价模块，用于对比分析配置文件发送的完整的电网基础运行数据，得出基础数据质量评价结果，生成电网数据质量统计分析报告。
步骤4、根据当前网络状况和电网数据质量采用相应的调度策略进行数据优化传输。
在电网数据处理系统中，调度控制单元的网络侦测模块对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测。域名解析服务器发现缓存节点负载和链路状态最佳的缓存节点，并将客户请求重定向至该缓存节点。
所述数据优化传输包括网络动态/静态数据优化、视频点播/直播数据优化、文件下载优化；对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点；对于动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容；通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布；客户在下载资源时，可就近从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
Claims (13)
1.一种电网数据处理方法，其特征在于，该方法具体包括步骤：
步骤1、创建多个数据采集子任务并发运行，每个子任务负责一个采集节点的数据采集工作，保证每个采集节点的电力运行实时数据被及时读取，同时多任务并发运行能充分利用CPU资源；
步骤2、利用监测任务时刻监测来自采集节点的请求；
步骤3、对电网数据进行质量统计分析；
步骤4、根据当前网络状况和电网数据质量采用相应的调度策略进行数据优化传输。
2.根据权利要求1所述的电网数据处理方法，其特征在于，其中，所述步骤1中每个数据采集子任务包括如下步骤：
步骤1.1、调用连接模块与采集节点建立连接，连接成功则进入步骤1.2；连接失败则重新读取采集节点的IP地址和端口，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.2、调用收发模块的消息发送函数向采集节点发送数据采集命令；
步骤1.3、调用收发模块的消息接收函数接收来自采集节点返回的数据，若收到响应消息则进入步骤1.4；若没有收到相应消息，则再次向采集节点请求实时数据，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；
步骤1.4、从采集节点反馈的响应消息中提取电力运行实时数据，将数据首先存入缓冲队列中供客户浏览器端直接调用，其次存储于数据库中作为备份；
步骤1.5、数据采集子任务进入休眠，休眠结束后进行下一轮数据采集。
3.根据权利要求1所述的电网数据处理方法，其特征在于，其中，所述步骤2在监测任务的实现过程中采用任务队列，通过重复利用在任务队列中创建的工作任务，避免新任务创建和销毁造成不必要的CPU消耗，并且能够提高系统响应速度。
4.根据权利要求3所述的电网数据处理方法，其特征在于，其中，所述监测任务实现过程包括：
步骤2.1、初始化任务队列，首先在监测任务内定义任务队列，任务队列可以容纳固定数量的工作任务；
步骤2.2、当采集节点的IP地址和端口发生变化，或者有新的采集节点加入，采集节点主动向监测端口发送请求，监测任务收到请求后调用任务队列管理器创建工作任务处理请求；当工作任务个数达到任务队列的基本容量时，停止创建，当有新的请求到达时，加入等待队列；
步骤2.3、工作任务实现从采集节点发送的消息中提取IP地址和端口，并将这些信息更新至配置文件列表中；
步骤2.4、出现终止事件时关闭任务队列，并停止监测任务。
5.根据权利要求1所述的电网数据处理方法，其特征在于，其中，所述步骤3具体为：调度控制单元的电网数据质量分析评价模块，用于对比分析配置文件发送的完整的电网基础运行数据，得出基础数据质量评价结果，生成电网数据质量统计分析报告。
6.根据权利要求1所述的电网数据处理方法，其特征在于，其中，所述步骤4具体为：调度控制单元的网络侦测模块对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测。
7.根据权利要求6所述的电网数据处理方法，其特征在于，其中，所述步骤4中的所述数据优化传输包括网络动态和/或静态数据优化、视频点播和/或直播数据优化、文件下载优化。
8.根据权利要求7所述的电网数据处理方法，其特征在于，其中，所述步骤4中的所述数据优化传输进一步包括对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点。
9.根据权利要求8所述的电网数据处理方法，其特征在于，其中，所述步骤4中的所述数据优化传输进一步包括对于网站的动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容。
10.根据权利要求9所述的电网数据处理方法，其特征在于，其中，所述步骤4中的所述数据优化传输进一步包括通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布。
11.根据权利要求10所述的电网数据处理方法，其特征在于，其中，所述步骤4中的所述数据优化传输进一步包括客户在下载资源时，可从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载。
12.一种实施权利要求1至11中任一项所述电网数据处理方法的电网数据处理系统，其特征在于，所述电网数据处理系统包括：
运行数据采集单元、数据发布单元、平台管理单元、网络安全模块、通信单元和调度控制单元；
运行数据采集单元连接于多个采集节点，实时地并发采集电网设备运行数据；
数据发布单元负责数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成；
平台管理单元负责平台管理，平台管理单元中的统计分析模块负责采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；
网络安全模块负责客户身份认证、内容安全；
通信单元负责处理终端客户的各种业务请求，实现广域网传输优化；
调度控制单元基于内容频度、客户位置、客户行为、电网数据质量、网络测量的上报数据来决定以何种策略调度内容、调度哪些内容、节点如何选取。
13.根据权利要求12所述的电网数据处理系统，其特征在于，所述调度控制单元由电网数据质量分析评价模块以及网络侦测和调度执行模块组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210483265.6A CN114579287A (zh) | 2022-05-06 | 2022-05-06 | 一种电网数据处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210483265.6A CN114579287A (zh) | 2022-05-06 | 2022-05-06 | 一种电网数据处理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114579287A true CN114579287A (zh) | 2022-06-03 |
Family
ID=81777789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210483265.6A Pending CN114579287A (zh) | 2022-05-06 | 2022-05-06 | 一种电网数据处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114579287A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578043A (zh) * | 2013-10-30 | 2014-02-12 | 广东电网公司电力科学研究院 | 一种电网数据处理的装置、方法及系统 |
| CN105471969A (zh) * | 2015-11-17 | 2016-04-06 | 国家电网公司 | 电网数据处理云平台系统 |
| CN107871004A (zh) * | 2017-11-14 | 2018-04-03 | 国家电网公司 | 一种配电网造价分析管理系统 |
| US20220131385A1 (en) * | 2019-10-12 | 2022-04-28 | Optim (Shanghai) New Energy Co., Ltd. | Signal measurement method for energy storage and frequency modulation system |
-
2022
- 2022-05-06 CN CN202210483265.6A patent/CN114579287A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578043A (zh) * | 2013-10-30 | 2014-02-12 | 广东电网公司电力科学研究院 | 一种电网数据处理的装置、方法及系统 |
| CN105471969A (zh) * | 2015-11-17 | 2016-04-06 | 国家电网公司 | 电网数据处理云平台系统 |
| CN107871004A (zh) * | 2017-11-14 | 2018-04-03 | 国家电网公司 | 一种配电网造价分析管理系统 |
| US20220131385A1 (en) * | 2019-10-12 | 2022-04-28 | Optim (Shanghai) New Energy Co., Ltd. | Signal measurement method for energy storage and frequency modulation system |
Non-Patent Citations (1)
| Title |
|---|
| 朱力鹏等: "面向电力大数据的广域计算任务流规划调度技术研究", 《电力信息与通信技术》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9112894B2 (en) | Real time distributed network monitoring and security monitoring platform (RTD-NMS) | |
| CN111580995A (zh) | 基于mqtt异步通信场景下的分布式云平台与物联网智能终端的同步通信方法与系统 | |
| CN111542064A (zh) | 一种用于无线接入网的容器编排管理系统及编排方法 | |
| CN109960634B (zh) | 一种应用程序监控方法、装置及系统 | |
| CN113676400B (zh) | 用于环保数据采集设备物联接入的云网关系统 | |
| CN111338893A (zh) | 进程日志处理方法、装置、计算机设备以及存储介质 | |
| CN108268305A (zh) | 用于虚拟机自动扩缩容的系统和方法 | |
| CN112134754A (zh) | 压力测试方法、装置、网络设备及存储介质 | |
| CN114579287A (zh) | 一种电网数据处理方法和系统 | |
| CN114979286B (zh) | 容器服务的访问控制方法、装置、设备及计算机存储介质 | |
| CN115499432A (zh) | 家庭终端算力资源管理系统及算力资源调度方法 | |
| CN110674172A (zh) | 数据查询方法及装置 | |
| CN114896025A (zh) | 服务网格的架构优化方法、装置、计算机设备和存储介质 | |
| CN114338461A (zh) | 一种网络连接监控方法及相关设备 | |
| CN112532450B (zh) | 一种数据流分发进程配置的动态更新方法及系统 | |
| CN113067818B (zh) | 基于网络资产盘查的探针分配方法及装置 | |
| CN115412500B (zh) | 支持负载均衡策略的异步通信方法、系统、介质及设备 | |
| CN114826939B (zh) | 一种k8s集群的网络流量分析方法 | |
| CN116074388B (zh) | 一种基于日志队列的流量转发方法及系统 | |
| CN111614649B (zh) | 关闭tcp短连接的方法及装置 | |
| CN113411382B (zh) | 一种基于网络设备f5的实时数据采集系统及方法 | |
| CN117076057B (zh) | 一种ai服务请求调度的方法、装置、设备及介质 | |
| CN116566865A (zh) | 抓包系统和方法 | |
| CN108449343B (zh) | Ssh协议文本数据采集方法、采集器及计算机设备 | |
| CN116340111A (zh) | 一种Linux套接字监听事件监控方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220603 |
|
| RJ01 | Rejection of invention patent application after publication |