CN112104751A - 调控云数据处理方法、装置及系统 - Google Patents
调控云数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN112104751A CN112104751A CN202011243477.4A CN202011243477A CN112104751A CN 112104751 A CN112104751 A CN 112104751A CN 202011243477 A CN202011243477 A CN 202011243477A CN 112104751 A CN112104751 A CN 112104751A
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- node device
- cooperative node
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 326
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000012544 monitoring process Methods 0.000 claims description 31
- 230000001105 regulatory effect Effects 0.000 claims description 31
- 238000004140 cleaning Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 17
- 238000007726 management method Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000013523 data management Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000003672 processing method Methods 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000009133 cooperative interaction Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011157 data evaluation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Abstract
本发明属于数据处理领域，公开了一种调控云数据处理方法、装置及系统，包括：主导节点设备获取全局调度任务，并将全局调度任务分解得到调度任务，并下发至各协同节点设备；获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；各协同节点设备接收并执行主导节点设备下发的调度任务；接收主导节点设备下发的数据采集范围及数据处理规则；基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备；主导节点设备接收各协同节点设备上送的处理数据。解决了云中心计算、存储压力大及数据反复上送导致的广域数据网带宽压力大的问题，提升调控云数据质量。
Description
技术领域
本发明属于数据处理领域，涉及一种调控云数据处理方法、装置及系统。
背景技术
调控云基于虚拟化、分布式及服务化等云计算技术理念，是面向电网调度业务的云服务平台，按主导节点、协同节点、源数据端三层架构设计，其架构设计体现了硬件资源虚拟化、数据标准化和应用服务化的特点，是国网公司建设的“三朵云”中的重要组成部分，是“云大物移智链”等信息通信技术在调控领域的创新应用，是支撑电网运行和调控管理的重要技术手段，贯彻的是横向打通各专业、纵向打通多级业务的思想，实现模型、数据的统一汇集和管理。随着国网调控云建设的深入推进，调控云汇集的数据呈爆发式增长，数据类型多样化加剧，数据处理时效性要求增强。
现有关于数据处理和数据质量优化的技术方案，比如CN110555583A一种智能电网调度控制系统广域运行数据统一处理方法，一般都是将数据集中汇集到调控主站或者云中心，在云中心进行统一的处理和数据校验评估，当数据校验发现问题后，再由源系统对数据进行处理后重新上送。
但是，由于集中处理对云中心的计算、存储压力较大；数据出问题后由源系统重新进行数据上送，可能存在数据反复上送的问题，增加了广域数据网的带宽压力，导致基于云中心的集中式计算模式难以满足未来调控云的发展需求。
发明内容
本发明的目的在于克服上述现有技术中云中心计算、存储压力大，及广域数据网的带宽压力大的缺点，提供一种调控云数据处理方法、装置及系统。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明第一方面，一种调控云数据处理方法，应用于主导节点设备，所述数据处理方法包括：
获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备；
获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；
接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据。
优选的，还包括：
对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据。
优选的，还包括：
根据调控云数据处理需求，预设各协同节点设备的初始采集范围及初始数据处理规则，并下送至各协同节点设备；
根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则，将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
优选的，还包括：
接收各协同节点设备上送的调度任务执行情况；
获取各协同节点设备的资源使用情况；
根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。
优选的，还包括：
接收各协同节点设备上送的规则执行情况，其中，规则执行情况包括正常执行和非正常执行，当协同节点设备上送的规则执行情况为非正常执行时，生成规则非正常执行提示信息，并将该协同节点设备上送的数据标记为异常数据。
优选的，所述全局调度任务为电力数据处理任务，所述电力数据处理任务能够分解为采集任务、清洗任务、转换任务以及存储任务，所述调度任务包括采集任务、清洗任务、转换任务以及存储任务中的至少一个；
所述数据采集范围包括设备范围和电力数据类别范围，设备范围为协同节点设备管辖内的所有电力设备或协同节点设备管辖内的预设电压等级的电力设备，电力数据类别范围为所有类别的电力数据或若干预设类别的电力数据，电力数据类别包括电网模型数据、电网运行数据、电网管理数据以及电网接收的外部数据；
所述数据处理规则包括补全缺失点、平滑突变点和处理非法值中的至少一个。
本发明第二方面，一种调控云数据处理方法，应用于协同节点设备，所述数据处理方法包括：
接收并执行主导节点设备下发的调度任务；
接收主导节点设备下发的数据采集范围及数据处理规则；
基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
优选的，还包括：
监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；
监控资源使用情况，并将资源使用情况上送至主导节点设备；
监控规则执行情况，并将规则执行情况上送至主导节点设备。
优选的，所述根据数据处理规则处理获取的采集数据得到处理数据时，对实时数据采用流式处理方式，对历史数据采用批量处理方式。
优选的，所述将处理数据上送至主导节点设备包括：
将处理数据转换为预设的数据格式；
将预设的数据格式的处理数据上送至主导节点设备。
本发明第三方面，一种调控云数据处理方法，包括：
主导节点设备获取全局调度任务，并将全局调度任务分解得到调度任务，并下发至各协同节点设备；
主导节点设备获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；
各协同节点设备接收并执行主导节点设备下发的调度任务；
各协同节点设备接收主导节点设备下发的数据采集范围及数据处理规则；
各协同节点设备基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备；
主导节点设备接收各协同节点设备上送的处理数据。
优选的，还包括：
主导节点设备根据调控云数据采集需求，预设各协同节点设备的初始采集范围及初始数据处理规则，并下送至各协同节点设备；
主导节点设备对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据；
主导节点设备根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则，将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
优选的，还包括：
各协同节点设备监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；监控资源使用情况，并将资源使用情况上送至主导节点设备；监控规则执行情况，并将规则执行情况上送至主导节点设备；
主导节点设备接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；并根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务；接收各协同节点设备上送的规则执行情况。
本发明第四方面，一种调控云数据处理装置，应用于主导节点设备，所述数据处理装置包括：
任务分解及下发模块，用于获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备；
数据接收模块，用于接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据；以及
规则下发模块，用于获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备。
优选的，还包括数据分析单元；
数据分析单元用于对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据。
优选的，还包括：
规则预设模块，用于根据调控云数据处理需求，预设各协同节点设备的初始采集范围及初始数据处理规则；以及
规则优化模块，用于根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则；
所述规则下发模块，还用于将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
优选的，还包括：
规则监控模块，用于接收各协同节点设备上送的规则执行情况。
优选的，还包括：
任务监控模块，用于接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。
本发明第五方面，一种调控云数据处理装置，应用于协同节点设备，所述数据处理装置包括：
任务接收及执行模块，用于接收并执行主导节点设备下发的调度任务；
规则接收模块，用于接收主导节点设备下发的数据采集范围及数据处理规则；以及
数据管理模块，用于基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
优选的，还包括：
任务反馈模块，用于监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；
资源反馈模块，用于监控资源使用情况，并将资源使用情况上送至主导节点设备；以及
规则反馈模块，用于监控规则执行情况，并将规则执行情况上送至主导节点设备。
优选的，还包括：
数据格式转换模块，用于将处理数据转换为预设的数据格式；
所述数据管理模块还用于将预设的数据格式的处理数据上送至主导节点设备。
本发明第六方面，一种调控云数据处理系统，包括：主导节点设备以及与主导节点设备连接的若干协同节点设备；
所述主导节点设备包括上述的应用于主导节点设备的调控云数据处理装置；
所述协同节点设备包括上述的应用于协同节点设备的调控云数据处理装置。
与现有技术相比，本发明具有以下有益效果：
本发明调控云数据处理方法，通过将全局调度任务分解得到调度任务，并下发至各协同节点设备，实现将部分数据处理的工作分配至协同节点设备，通过协同节点设备进行数据的部分处理，上送至主导节点设备的数据已经是经过处理的数据，极大的减小垃圾数据传输，并且有效的利用了处于边缘侧的协同节点设备的计算和存储资源，解决了调控云主导节点设备的计算压力、存储压力和广域数据网的带宽压力大的问题，实现了广域云边协同计算，提升了数据处理的质量。由于传统情况下，调控领域的数据是分级分布式存储，从数据和业务层面，各级之间很少进行实时交互和协同互动，尤其在调控领域引入云计算技术后，贯彻的是横向打通各专业、纵向打通多级业务的思想，因此调控云的建设实际上是考虑将模型、数据进行统一汇集和管理，进而导致云端的计算、存储及网络等存在很大的压力，而且云和边之间的任务、规则和数据管理方面相互独立，缺少协同互动，并且基于调控领域对数据的动态需求，单一的边缘计算能力已不能满足调控系统对调控数据的动态处理需求。而本发明不仅通过利用各协同节点设备的处理能力对数据进行初步处理，同时，结合调控领域的实际需求，加强主导节点设备和各协同节点设备之间的协同互动，通过动态调整各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备，实现边缘数据处理功能的动态化，充分满足调控系统对数据的需求，充分实现云和边的协同互动。
附图说明
图1为本发明的面向调控云架构的广域云边数据协同整体架构示意图；
图2为本发明的一个实施例中调控云数据处理方法流程框图；
图3为本发明的再一个实施例中调控云数据处理方法流程框图；
图4为本发明的又一个实施例中调控云数据处理方法流程框图；
图5为本发明的一个实施例中数据处理方法的数据流示意图；
图6为本发明的一个实施例中调控云数据处理装置结构框图；
图7为本发明的再一个实施例中调控云数据处理装置结构框图；
图8为本发明的又一个实施例中调控云数据处理装置结构框图；
图9为本发明的以电网为例构建的调控云架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
参见图1，示出了本发明各个实施例涉及的一种实施环境的调控云平台架构，其包括主导节点设备、协同节点设备以及源数据端设备。
调控云平台基于虚拟化、分布式及服务化等云技术理念，按主导节点、协同节点、源数据端三层架构设计。基于调控云的总体架构和边缘计算的理念，基于调控云的广域云边数据协同整体架构包含调控云主导节点（云）、协同节点（边）和源数据端（端）三层，其中，调控云主导节点（云）和协同节点（边）通过广域数据网相连，源数据端（端）和电网采集设备通过本地局域网相连。
主导节点负责广域云边协同数据管理，其底层基于调控云基础平台提供的硬件、存储、网络等资源和总线、权限等公共组件支撑，通过广域数据网与协同节点进行任务、规则、数据的广域交互，进一步支撑调控云上层的业务应用。调控云协同节点负责边缘协同计算管理，其底层基于边缘基础设施提供的硬件环境，通过局域网汇集其管辖范围内的所有采集设备采集的数据，通过广域数据网与主导节点进行任务、规则、数据的广域交互。
主导节点设备及协同节点设备可以是一台服务器，也可以是若干台服务器组成的服务器集群，或者是一个云计算服务中心。
基于该架构，通过本发明实施例提供的调控云数据处理方法，应用到广域数据质量迭代优化问题中，通过协同节点的计算资源进行采集数据的清洗、筛选和上送，调控云中心协调所有协同节点的计算任务和数据处理规则，实现任务、规则向协同节点的下发和反馈，能够充分利用调控云协同节点（边）的计算资源和存储资源，缓解了调控云中心的计算压力、存储压力和广域数据网的带宽压力，实现了广域云边协同计算。
参见图2，示出了本发明一个实施例中提供的调控云数据处理方法，该方法应用于主导节点设备，本实施例以该调控云数据处理方法应用于图1所示的实施环境中来举例说明，该调控云数据处理方法包括以下步骤：
步骤11：获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备。
全局调度任务是主导节点设备基于数据处理最终需求生成的调控云平台的电力数据处理任务，面向具体的数据采集、清洗、校验、评估等需求，主导节点设备通过将全局调度任务进行分解，电力数据处理任务能够分解为采集任务、清洗任务、转换任务以及存储任务，将其中需要各协同节点具体执行的任务作为调度任务，下发给对应的协同节点设备。
优选的，主节点设备还接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。主导节点设备作为调控云任务的全局协调中心，根据各协同节点设备的数据采集范围、资源使用情况及任务执行情况等，进行全局统一协调，充分发挥各协同节点设备计算能力的同时，保证数据采集质量和效率。
例如，需要进行存量历史数据批量处理或重传工作时，一旦出现某个协同节点设备计算资源不足、数据处理时间过长、数据上送效率较低等情况，主导节点设备会减小该协同节点的数据处理任务，对应的，该协同节点设备将部分数据不经过处理直接上送到主导节点设备，由主导节点设备分配相应的资源进行处理工作，该工作结束后，主导节点设备重新进行全局调度任务分解的调整。
步骤12：获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备。
该步骤是各协同节点设备上送数据的质量保证，指定各协同节点设备按照数据采集范围进行数据采集，并按照数据处理规则进行数据处理，体现主导节点设备的管理功能。初始状态时，根据调控云数据处理需求，由系统管理员通过手工配置各协同节点设备的数据采集范围，比如按管辖范围、电压等级、数据类别等限制要求，将数据采集范围分为设备范围和电力数据类别范围，其中，设备范围可以为协同节点设备管辖内的所有电力设备或协同节点设备管辖内的预设电压等级的电力设备，电力数据类别范围可以为所有类别的电力数据或若干预设类别的电力数据，其中，电力数据类别包括电网模型数据、电网运行数据、电网管理数据以及电网接收的外部数据。以及配置各协同节点设备的初始的数据处理规则，比如补全缺失点、平滑突变点、处理非法值等中的一个或几个，并将该各协同节点设备的数据采集范围和数据处理规则下发到各协同节点设备。
优选的，主节点设备还接收各协同节点设备上送的规则执行情况，其中，规则执行情况包括正常执行和非正常执行，当协同节点设备上送的规则执行情况为非正常执行时，生成规则非正常执行提示信息，并将该协同节点设备上送的数据标记为异常数据，以便后续通过主导节点设备对未进行规则处理的数据，即异常数据再次处理，实现对各协同节点设备是否正常进行数据处理的监控，以及确保接收的各协同节点设备上送的数据是经过数据处理规则处理的，保证数据质量。
优选的，在系统正常运行后，根据主导节点设备内各协同节点设备的各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则，比如，针对数据处理速度慢的问题，适当减小该协同节点设备的数据采集范围或者降低数据处理规则的复杂性；针对处理数据的质量差、错误或无效数据较多的问题，适当完善该协同节点设备的数据处理规则。同时，主导节点设备通过大数据分析挖掘技术进行数据处理规则的训练和升级，并将升级后的数据处理规则推送到协同节点设备，实现主导节点设备和各协同节点设备的数据处理规则的自适应迭代更新，通过主导节点设备和协同节点设备之间的数据清洗协同交互技术，基于主导节点设备强大的计算能力，有效提升数据质量及清洗效率。然后将优化后的各协同节点设备的数据采集范围及数据处理规则实时下发到各协同节点设备，如此反复进行优化迭代，提升协同节点设备上送的处理数据的数据质量。
步骤13：接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据。
各协同节点设备通过广域数据网，将根据数据处理规则处理后的采集数据得到的处理数据上送至主导节点设备，主导节点设备实现处理数据的接收工作，接收到各协同节点设备发送的处理数据后，通过报文转换和数据整合功能，进行数据缓存。这里，由于处理数据是协同节点设备根据数据处理规则处理后的采集数据，就不需要主导节点设备再进行处理，极大的减轻了主导节点设备的计算压力。同时，各协同节点设备在处理过程中，有问题的数据将会直接被发现，避免将错误数据上送，导致的数据反复上送问题，进而减轻广域数据网的带宽压力。
优选的，主导节点设备对各处理数据的数据质量进行评估，得到各处理数据评估结果，并存储评估结果为预设结果的处理数据。具体的，一般通过多源异构数据融合技术对各处理数据进行汇总整合，多源异构数据融合指利用相关手段将采集、分析获取到的所有信息全部综合到一起，并对信息进行统一的评价，最后得到统一的信息的技术，用于将各种不同来源、不同结构的数据信息进行综合，吸取不同数据源的特点，然后从中提取出统一的、比单一数据更好、更丰富的信息，然后通过多源数据质量智能综合评估对汇总整合的各处理数据进行质量评估，多源数据质量智能综合评估通过结合具体的评估需求，从在线数据参数、模型匹配及数据内在特征，进行多源数据质量评估。
确定每个协同节点设备上送的数据质量，进而也可依据此进行各协同节点设备的管理，同时，对于优质的数据即评估结果为优质的处理数据，存储到调控云主导节点设备的数据库中，进而为调控云业务应用提供数据服务。
综上所述，通过将全局调度任务分解得到调度任务，并下发至各协同节点设备，实现将部分数据处理的工作分配至协同节点设备，通过协同节点设备进行数据的部分处理，上送至主导节点设备的数据已经是经过处理的数据，极大的减小垃圾数据传输，并且有效的利用了处于边缘侧的协同节点设备的计算和存储资源，解决了调控云主导节点设备的计算压力、存储压力和广域数据网的带宽压力大的问题，实现了广域云边协同计算，提升了数据处理的质量。
由于传统情况下，调控领域的数据是分级分布式存储，从数据和业务层面，各级之间很少进行实时交互和协同互动，尤其在调控领域引入云计算技术后，贯彻的是横向打通各专业、纵向打通多级业务的思想，因此调控云的建设实际上是考虑将模型、数据进行统一汇集和管理，进而导致云端的计算、存储及网络等存在很大的压力，而且云和边之间的任务、规则和数据管理方面相互独立，缺少协同互动，并且基于调控领域对数据的动态需求，单一的边缘计算能力已不能满足调控系统对调控数据的动态处理需求。而本发明不仅通过利用各协同节点设备的处理能力对数据进行初步处理，同时，结合调控领域的实际需求，加强主导节点设备和各协同节点设备之间的协同互动，通过动态调整各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备，改变各协同节点设备对数据处理的过程或结果，使处理的数据满足主导节点设备不断变化的调控需求，实现边缘数据处理功能的动态化，充分满足调控系统对数据的需求，充分实现云和边的协同互动。
参见图3，示出了本发明再一个实施例中提供的调控云数据处理方法，该方法应用于协同节点设备，本实施例以该调控云数据处理方法应用于图1所示的实施环境中来举例说明，该调控云数据处理方法包括以下步骤：
步骤21：接收并执行主导节点设备下发的调度任务。
各协同节点设备通过广域数据网接收导节点设备下发的调度任务，并进行任务解析，组织协同节点设备内各部件协同工作，开始执行主导节点设备下发的调度任务。
优选的，协同节点设备还会监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；这样在主导节点设备端就能实时监控各协同设备的工作情况，以便进行各协同设备的管理。
优选的，协同节点设备还会监控资源使用情况，并将资源使用情况上送至主导节点设备，以便告知主导节点设备自身的计算能力剩余情况，也是为了给主导节点设备提供任务管理的基础信息。
步骤22：接收主导节点设备下发的数据采集范围及数据处理规则。
各协同节点设备通过广域数据网接收主导节点设备下发的数据采集范围及数据处理规则，并将数据采集范围及数据处理规则加载在本地内存，以便于后续通过数据采集范围进行数据采集，根据数据处理规则对采集数据进行处理。
当本地已经加载数据采集范围及数据处理规则后，再次接收到了主导节点设备下发的数据采集范围及数据处理规则，那么一般的选择是将之前的数据采集范围及数据处理规则删除，或者直接通过新的数据采集范围及数据处理规则覆盖，以实现数据采集范围及数据处理规则的迭代更新。
步骤23：基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
基于调度任务，也就是响应于调度任务，协同节点设备调用数据采集范围信息，并在数据采集范围内进行数据采集，这里所说的数据采集，可以是从采集终端获取数据，也可以是直接采集的数据，即该协同节点设备可以具有数据采集的能力。同时，调用数据处理规则对采集的数据进行处理，比如，将采集数据中的突变点数据进行平滑处理，将采集数据中出现的非法值删除，将采集数据中出现的缺失点进行补充，可以通过邻域值补充，也可以是其他的补充规则，此处仅为举例说明，不做限制。处理完成后，将处理数据上送至主导节点设备，至此，协同节点设备完成自身的工作，充分利用了其计算能力。
综上所述，通过接收并执行主导节点设备下发的调度任务，接收主导节点设备下发的数据采集范围及数据处理规则，并且，基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，实现通过协同节点设备进行数据的部分处理，使得上送至主导节点设备的数据已经是经过处理的数据，极大的减小垃圾数据传输，并且有效的利用了处于边缘侧的协同节点设备的计算和存储资源，解决了调控云主导节点设备的计算压力、存储压力和广域数据网的带宽压力大的问题，实现了广域云边协同计算，提升了数据处理的质量。同时，基于接收主导节点设备下发的数据采集范围及数据处理规则，改变对数据处理的过程或结果来满足调控系统对调控数据的动态需求，实现主和导节点设备充分互动。
参见图4，示出了本发明再一个实施例中提供的调控云数据处理方法，包括主导节点设备及各协同节点设备的操作步骤，本实施例以该调控云数据处理方法应用于图1所示的实施环境中，以应用于电网调控系统来举例说明，该调控云数据处理方法包括以下步骤：
步骤31：主导节点设备获取全局调度任务，并将全局调度任务分解得到调度任务，并下发至各协同节点设备。
对应的，步骤32：各协同节点设备接收并执行主导节点设备下发的调度任务。
具体的，基于电网调控系统对模型数据、运行数据、管理数据及外部数据的采集、清洗、转换及存储的需求，主导节点设备将全局调度任务分解为采集、清洗、校验以及评估，并将采集及清洗任务下发至协同节点设备，由协同节点设备来完成。其中，数据清洗(Datacleaning)是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。
对应的，各协同节点设备接收主导节点设备下发的采集及清洗任务，并进行任务解析，以根据解析内容管理协同节点设备执行采集及清洗。
步骤33：主导节点设备获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备。
对应的，步骤34：各协同节点设备接收主导节点设备下发的数据采集范围及数据处理规则。
具体的，初始状态下，主导节点设备根据采集及清洗需求，预设各协同节点设备的初始采集范围及清洗规则，并下发至各协同节点设备，各协同节点设备将接收的初始采集范围及清洗规则加载在本地。
步骤35：各协同节点设备基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备；
对应的，步骤36：主导节点设备接收各协同节点设备上送的处理数据。
具体的，各协同节点设备基于采集任务，开始获取数据采集范围内各电网终端采集设备采集的电网数据，这里协同节点设备通过局域网汇集其管辖范围内的所有电网采集设备采集的数据，其管辖范围是动态变化的，即对应数据采集范围，并将采集到的电网数据进行清洗，将获取的电网数据内的重复信息删除，并补充缺失值，得到处理数据并转换为数据报文，通过总线或者协议（根据调控云主导节点设备的要求）的方式，通过广域数据网上送至主导节点设备，主导节点设备通过广域数据网接收各协同节点设备上送的处理数据，进行后续处理。
优选的，主导节点设备接收处理数据后，还会对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据；然后主导节点设备根据各处理数据评估结果，优化各协同节点设备的数据采集范围及清洗规则，将优化后的各协同节点设备的数据采集范围及清洗规则下送至各协同节点设备，各协同节点设备按照新的数据采集范围及清洗规则进行采集和清洗。这个过程是数据质量迭代优化的核心，通过不断的迭代过程，保证各协同节点设备上送的处理数据满足质量需求。
优选的，为了有效管理各协同节点设备，需要获取各协同节点设备的反馈信息，以此为基础进行反馈调节。具体的，各协同节点设备监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；监控资源使用情况，并将资源使用情况上送至主导节点设备；监控规则执行情况，并将规则执行情况上送至主导节点设备；主导节点设备接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；并根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务，比如有的协同节点设备无法完成清洗规则处理，那么就不再需要该协同节点设备进行清洗任务，直接将采集的电网数据上送。
综上所述，主节点设备通过获取全局调度任务，并将全局调度任务分解得到调度任务，并下发至各协同节点设备，获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；实现将数据的部分处理工作分配至各协同节点设备。各协同节点设备接收并执行主导节点设备下发的调度任务，接收主导节点设备下发的数据采集范围及数据处理规则，并基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备；实现在各协同节点设备完成数据的部分处理工作，使得上送至主导节点设备的数据已经是经过处理的数据，极大的减小垃圾数据传输，并且有效的利用了处于边缘侧的协同节点设备的计算和存储资源，解决了调控云主导节点设备的计算压力、存储压力和广域数据网的带宽压力大的问题，实现了广域云边协同计算，提升了数据处理的质量。
参见图5，示出了本发明图4所示的数据处理方法的数据流示意图，数据流包含两部分：从协同节点设备到主导节点设备的数据，即业务数据流；主导节点设备和协同节点设备交互的任务、规则等数据，即管理数据流。
以电网数据为例，（1）业务数据流。业务数据流涉及的电网数据来源于电网采集设备，通过本地局域网将原始数据上送到协同节点设备。协同节点设备部署流式处理和批量处理功能，根据主导节点设备下发的数据采集范围和数据处理规则，分别针对实时数据（流式处理）和历史数据（批量处理）进行清洗、校验等处理。协同节点设备处理后的优质数据，转换为数据报文，通过总线或者协议（根据调控云主导节点的要求）的方式发送到主导节点设备。
主导节点设备接收到各协同节点设备发送的电网数据后，通过报文转换和数据整合功能，进行数据缓存。对整合后的数据，通过多源数据质量智能综合评估功能，进行数据质量分析评估，确定每个协同节点设备上送的数据质量。对于优质的数据，存储到主导节点设备的数据库中，为调控云业务应用提供数据服务。
（2）管理数据流。管理数据流涉及主导节点设备和协同节点设备之间的任务和规则交互。在上述业务数据流中，主导节点设备获取数据质量校验、评估结果，确定数据处理规则和调度任务是否需要调整。如果需要调整的话，将调整后的数据处理规则和调度任务通过总线反馈给相应的协同节点设备，协同节点设备进行数据处理规则和调度任务接收，并在协同节点设备进行数据处理规则应用和调度任务执行。该数据流同时涉及协同节点设备的规则反馈、任务反馈和调控云中心的规则监控、任务监控，该过程是不断优化迭代的过程，缓解了调控云主导节点设备的计算压力和广域数据网的带宽压力，提升了电网数据的质量。
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
参见图6，示出了本发明再一个实施例提供的调控云数据处理装置的结构方框图，该调控云数据处理装置可以通过软件、硬件或者两者结合实现为主导节点设备的一部分或全部。该调控云数据处理装置包括：任务分解及下发模块、数据接收模块以及规则下发模块。
其中，任务分解及下发模块用于获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备；数据接收模块用于接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据；规则下发模块用于获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备。
优选的，该调控云数据处理装置还包括：数据分析单元，数据分析单元用于对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据。具体的，数据分析单元包括数据整合模块和数据评估模块；数据整合模块用于通过多源异构数据融合技术对各处理数据进行汇总整合；数据评估模块用于通过多源数据质量智能综合评估对汇总整合的各处理数据进行质量评估，得到各处理数据评估结果；并存储评估结果为预设结果的数据。
优选的，该调控云数据处理装置还包括：规则预设模块、规则优化模块、规则监控模块以及任务监控模块。
其中，规则预设模块用于根据调控云数据处理需求，预设各协同节点设备的初始采集范围及初始数据处理规则；规则优化模块用于根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则；所述规则下发模块还用于将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备；规则监控模块用于接收各协同节点设备上送的规则执行情况；任务监控模块用于接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。
参见图7，示出了本发明再一个实施例提供的调控云数据处理装置的结构方框图，该调控云数据处理装置可以通过软件、硬件或者两者结合实现为协同节点设备的一部分或全部。该调控云数据处理装置包括：任务接收及执行模块、规则接收模块以及数据管理模块。
其中，任务接收及执行模块用于接收并执行主导节点设备下发的调度任务；规则接收模块用于接收主导节点设备下发的数据采集范围及数据处理规则；数据管理模块，用于基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
优选的，该调控云数据处理装置还包括：任务反馈模块、资源反馈模块、规则反馈模块以及数据格式转换模块。
其中，任务反馈模块用于监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；资源反馈模块用于监控资源使用情况，并将资源使用情况上送至主导节点设备；规则反馈模块用于监控规则执行情况，并将规则执行情况上送至主导节点设备；数据格式转换模块用于将处理数据转换为预设的数据格式；所述数据管理模块还用于将预设的数据格式的处理数据上送至主导节点设备。
参见图8，示出了本发明再一个实施例提供的调控云数据处理系统的结构方框图，该调控云数据处理系统包括：主导节点设备以及与主导节点设备连接的若干协同节点设备，若干协同节点设备与主导节点设备之间通过广域数据网连接。
其中，主导节点设备包括图6所示实施例中提供的调控云数据处理装置；协同节点设备包括图7所示实施例中提供的调控云数据处理装置。
本发明调控云数据处理方法，能够较好的应用于电力自动化技术领域，实现计算机算法在电气自动化领域应用，具体的，参见图9，以电网为例构建的调控云，基于虚拟化、分布式及服务化等云计算技术理念，是面向电网调度业务的云服务平台，其架构设计体现了硬件资源虚拟化、数据标准化和应用服务化的特点，是国网公司建设的“三朵云”中的重要组成部分，是“云大物移智链”等信息通信技术在调控领域的创新应用，是支撑电网运行和调控管理的重要技术手段。结合调控业务生产组织模式，调控云遵循与“统一调度、分级管理”原则相适应的分级部署模式，构建跨调度机构的“1个国（分）主导节点+N个省（地）协同节点”的两级部署调控云体系。
其中，国分云作为主导节点设备，由图6所示的调控云数据处理装置组成部分或全部，负责管理、控制各协同节点的运行，并实现与各协同节点的互联和信息交换，集成了全网35千伏以上的全模型，汇集了220千伏以上运行数据和实时数据，面向国分省调主网业务，部署了相关应用功能；省地云作为协同节点设备，包括图7所示的调控云数据处理装置，配合主导节点进行数据归集和汇聚，集成了10千伏及以上省网模型，汇集了10千伏以上运行数据和实时数据，面向省地县调区域电网业务，部署了相关应用功能。国分云和省地云在统一架构的基础上，可各自独立运行，构成有机协同的整体，实现各类信息资源的源端维护、自动集成、统一服务、全局共享。
再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质（Memory），所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序（包括程序代码）。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关调控云数据处理方法的相应步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (22)
1.一种调控云数据处理方法，其特征在于，包括：
获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备；
获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；
接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据。
2.根据权利要求1所述的调控云数据处理方法，其特征在于，还包括：
对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据。
3.根据权利要求2所述的调控云数据处理方法，其特征在于，还包括：
根据调控云数据处理需求，预设各协同节点设备的初始采集范围及初始数据处理规则，并下送至各协同节点设备；
根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则，将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
4.根据权利要求2所述的调控云数据处理方法，其特征在于，还包括：
接收各协同节点设备上送的调度任务执行情况；
获取各协同节点设备的资源使用情况；
根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。
5.根据权利要求1所述的调控云数据处理方法，其特征在于，还包括：
接收各协同节点设备上送的规则执行情况，其中，规则执行情况包括正常执行和非正常执行，当协同节点设备上送的规则执行情况为非正常执行时，生成规则非正常执行提示信息，并将该协同节点设备上送的数据标记为异常数据。
6.根据权利要求1所述的调控云数据处理方法，其特征在于，所述全局调度任务为电力数据处理任务，所述电力数据处理任务能够分解为采集任务、清洗任务、转换任务以及存储任务，所述调度任务包括采集任务、清洗任务、转换任务以及存储任务中的至少一个；
所述数据采集范围包括设备范围和电力数据类别范围，设备范围为协同节点设备管辖内的所有电力设备或协同节点设备管辖内的预设电压等级的电力设备，电力数据类别范围为所有类别的电力数据或若干预设类别的电力数据，电力数据类别包括电网模型数据、电网运行数据、电网管理数据以及电网接收的外部数据；
所述数据处理规则包括补全缺失点、平滑突变点和处理非法值中的至少一个。
7.一种调控云数据处理方法，其特征在于，包括：
接收并执行主导节点设备下发的调度任务；
接收主导节点设备下发的数据采集范围及数据处理规则；
基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
8.根据权利要求7所述的调控云数据处理方法，其特征在于，还包括：
监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；
监控资源使用情况，并将资源使用情况上送至主导节点设备；
监控规则执行情况，并将规则执行情况上送至主导节点设备。
9.根据权利要求7所述的调控云数据处理方法，其特征在于，所述根据数据处理规则处理获取的采集数据得到处理数据时，对实时数据采用流式处理方式，对历史数据采用批量处理方式。
10.根据权利要求7所述的调控云数据处理方法，其特征在于，所述将处理数据上送至主导节点设备包括：
将处理数据转换为预设的数据格式；
将预设的数据格式的处理数据上送至主导节点设备。
11.一种调控云数据处理方法，其特征在于，包括：
主导节点设备获取全局调度任务，并将全局调度任务分解得到调度任务，并下发至各协同节点设备；
主导节点设备获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备；
各协同节点设备接收并执行主导节点设备下发的调度任务；
各协同节点设备接收主导节点设备下发的数据采集范围及数据处理规则；
各协同节点设备基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备；
主导节点设备接收各协同节点设备上送的处理数据。
12.根据权利要求11所述的调控云数据处理方法，其特征在于，还包括：
主导节点设备根据调控云数据采集需求，预设各协同节点设备的初始采集范围及初始数据处理规则，并下送至各协同节点设备；
主导节点设备对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据；
主导节点设备根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则，将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
13.根据权利要求11所述的调控云数据处理方法，其特征在于，还包括：
各协同节点设备监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；监控资源使用情况，并将资源使用情况上送至主导节点设备；监控规则执行情况，并将规则执行情况上送至主导节点设备；
主导节点设备接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；并根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务；接收各协同节点设备上送的规则执行情况。
14.一种调控云数据处理装置，其特征在于，包括：
任务分解及下发模块，用于获取全局调度任务，将全局调度任务分解得到调度任务，并下发至各协同节点设备；
数据接收模块，用于接收各协同节点设备上送的处理数据，所述处理数据为协同节点设备根据数据处理规则处理后的采集数据；以及
规则下发模块，用于获取各协同节点设备的数据采集范围及数据处理规则，并下送至各协同节点设备。
15.根据权利要求14所述的调控云数据处理装置，其特征在于，还包括数据分析单元；
数据分析单元用于对各处理数据的数据质量进行评估，得到各处理数据评估结果；并存储评估结果为预设结果的处理数据。
16.根据权利要求14所述的调控云数据处理装置，其特征在于，还包括：
规则预设模块，用于根据调控云数据处理需求，预设各协同节点设备的初始采集范围及初始数据处理规则；以及
规则优化模块，用于根据各处理数据评估结果，优化各协同节点设备的数据采集范围及数据处理规则；
所述规则下发模块，还用于将优化后的各协同节点设备的数据采集范围及数据处理规则下送至各协同节点设备。
17.根据权利要求14所述的调控云数据处理装置，其特征在于，还包括：
规则监控模块，用于接收各协同节点设备上送的规则执行情况。
18.根据权利要求14所述的调控云数据处理装置，其特征在于，还包括：
任务监控模块，用于接收各协同节点设备上送的调度任务执行情况；获取各协同节点设备的资源使用情况；根据各调度任务执行情况、各资源使用情况及各处理数据评估结果，调整下发至各协同节点设备的调度任务。
19.一种调控云数据处理装置，其特征在于，包括：
任务接收及执行模块，用于接收并执行主导节点设备下发的调度任务；
规则接收模块，用于接收主导节点设备下发的数据采集范围及数据处理规则；以及
数据管理模块，用于基于调度任务，获取数据采集范围内的采集数据，根据数据处理规则处理获取的采集数据得到处理数据，将处理数据上送至主导节点设备。
20.根据权利要求19所述的调控云数据处理装置，其特征在于，还包括：
任务反馈模块，用于监控调度任务执行情况，并将调度任务执行情况上送至主导节点设备；
资源反馈模块，用于监控资源使用情况，并将资源使用情况上送至主导节点设备；以及
规则反馈模块，用于监控规则执行情况，并将规则执行情况上送至主导节点设备。
21.根据权利要求19所述的调控云数据处理装置，其特征在于，还包括：
数据格式转换模块，用于将处理数据转换为预设的数据格式；
所述数据管理模块还用于将预设的数据格式的处理数据上送至主导节点设备。
22.一种调控云数据处理系统，其特征在于，包括：主导节点设备以及与主导节点设备连接的若干协同节点设备；
所述主导节点设备包括权利要求14至18任一项所述的调控云数据处理装置；
所述协同节点设备包括权利要求19至21任一项所述的调控云数据处理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011243477.4A CN112104751B (zh) | 2020-11-10 | 2020-11-10 | 调控云数据处理方法、装置及系统 |
| PCT/CN2021/112325 WO2022100176A1 (zh) | 2020-11-10 | 2021-08-12 | 调控云数据处理方法、装置及系统 |
| US17/770,332 US20240143391A1 (en) | 2020-11-10 | 2021-08-12 | Dispatching and control cloud data processing method, apparatus and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011243477.4A CN112104751B (zh) | 2020-11-10 | 2020-11-10 | 调控云数据处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112104751A true CN112104751A (zh) | 2020-12-18 |
| CN112104751B CN112104751B (zh) | 2021-02-12 |
Family
ID=73785848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011243477.4A Active CN112104751B (zh) | 2020-11-10 | 2020-11-10 | 调控云数据处理方法、装置及系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240143391A1 (zh) |
| CN (1) | CN112104751B (zh) |
| WO (1) | WO2022100176A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650585A (zh) * | 2020-12-24 | 2021-04-13 | 山东大学 | 一种新型边缘-云协同边缘计算平台、方法及存储介质 |
| CN113157795A (zh) * | 2021-05-18 | 2021-07-23 | 国网宁夏电力有限公司 | 适用于移动应用的电网调控运行多源数据建模与管理系统 |
| CN113155197A (zh) * | 2021-05-07 | 2021-07-23 | 南京邮电大学 | 一种智能水物联网系统 |
| CN113899948A (zh) * | 2021-12-08 | 2022-01-07 | 成都中星世通电子科技有限公司 | 一种电磁频谱目标特征数据快速提取系统及方法 |
| WO2022100176A1 (zh) * | 2020-11-10 | 2022-05-19 | 中国电力科学研究院有限公司 | 调控云数据处理方法、装置及系统 |
| CN115185663A (zh) * | 2022-07-26 | 2022-10-14 | 贵州开放大学(贵州职业技术学院) | 一种基于大数据的智慧化数据处理系统 |
| WO2023134643A1 (zh) * | 2022-01-11 | 2023-07-20 | 中兴通讯股份有限公司 | 流数据的处理方法、系统、节点、电子设备及存储介质 |
| CN116629351A (zh) * | 2023-07-19 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 数据处理方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114978216B (zh) * | 2022-05-19 | 2023-11-10 | 泉州市拓科信息技术有限公司 | 一种基于物联网的多源数据处理系统 |
| CN115002217B (zh) * | 2022-05-23 | 2024-02-06 | 中国电信股份有限公司 | 调度方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894174A (zh) * | 2016-01-29 | 2016-08-24 | 国家电网公司 | 电力系统移动互联网云计算平台及调度、数据分析方法 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| CN109379420A (zh) * | 2018-10-10 | 2019-02-22 | 上海方融科技有限责任公司 | 一种基于分布式架构的综合能源服务平台系统 |
| CN110609512A (zh) * | 2019-09-25 | 2019-12-24 | 新奥（中国）燃气投资有限公司 | 一种物联网平台和物联网设备监控方法 |
| US20200314204A1 (en) * | 2019-03-27 | 2020-10-01 | Siemens Aktiengesellschaft | Method for operating a network-aware container orchestration system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112104751B (zh) * | 2020-11-10 | 2021-02-12 | 中国电力科学研究院有限公司 | 调控云数据处理方法、装置及系统 |
-
2020
- 2020-11-10 CN CN202011243477.4A patent/CN112104751B/zh active Active
-
2021
- 2021-08-12 US US17/770,332 patent/US20240143391A1/en active Pending
- 2021-08-12 WO PCT/CN2021/112325 patent/WO2022100176A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894174A (zh) * | 2016-01-29 | 2016-08-24 | 国家电网公司 | 电力系统移动互联网云计算平台及调度、数据分析方法 |
| CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
| CN109379420A (zh) * | 2018-10-10 | 2019-02-22 | 上海方融科技有限责任公司 | 一种基于分布式架构的综合能源服务平台系统 |
| US20200314204A1 (en) * | 2019-03-27 | 2020-10-01 | Siemens Aktiengesellschaft | Method for operating a network-aware container orchestration system |
| CN110609512A (zh) * | 2019-09-25 | 2019-12-24 | 新奥（中国）燃气投资有限公司 | 一种物联网平台和物联网设备监控方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022100176A1 (zh) * | 2020-11-10 | 2022-05-19 | 中国电力科学研究院有限公司 | 调控云数据处理方法、装置及系统 |
| CN112650585A (zh) * | 2020-12-24 | 2021-04-13 | 山东大学 | 一种新型边缘-云协同边缘计算平台、方法及存储介质 |
| CN113155197A (zh) * | 2021-05-07 | 2021-07-23 | 南京邮电大学 | 一种智能水物联网系统 |
| CN113157795A (zh) * | 2021-05-18 | 2021-07-23 | 国网宁夏电力有限公司 | 适用于移动应用的电网调控运行多源数据建模与管理系统 |
| CN113899948A (zh) * | 2021-12-08 | 2022-01-07 | 成都中星世通电子科技有限公司 | 一种电磁频谱目标特征数据快速提取系统及方法 |
| WO2023134643A1 (zh) * | 2022-01-11 | 2023-07-20 | 中兴通讯股份有限公司 | 流数据的处理方法、系统、节点、电子设备及存储介质 |
| CN115185663A (zh) * | 2022-07-26 | 2022-10-14 | 贵州开放大学(贵州职业技术学院) | 一种基于大数据的智慧化数据处理系统 |
| CN116629351A (zh) * | 2023-07-19 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022100176A1 (zh) | 2022-05-19 |
| CN112104751B (zh) | 2021-02-12 |
| US20240143391A1 (en) | 2024-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112104751B (zh) | 调控云数据处理方法、装置及系统 | |
| US9917442B2 (en) | Distributed micro-grid controller | |
| US20180247001A1 (en) | Digital simulation system of power distribution network | |
| CN106934497B (zh) | 基于深度学习的智慧小区用电量实时预测方法及装置 | |
| WO2023082596A1 (zh) | 一种基于边缘计算网关的模型分发应用设计方法及系统 | |
| CN104360844A (zh) | 基于opc ua标准的协议转换服务器和ats系统 | |
| CN102622303A (zh) | 一种内存过载控制的方法及装置 | |
| CN112600891A (zh) | 一种基于信息物理融合的边云协同系统及工作方法 | |
| CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
| CN104508625A (zh) | 用于监视云资源的抽象模型 | |
| CN108228683A (zh) | 一种基于云计算的分布式智能电网数据分析平台 | |
| CN112637306A (zh) | 基于工业园区的智慧环保管理系统及方法 | |
| CN102026228B (zh) | 通信网络性能数据的统计方法和设备 | |
| CN115037590B (zh) | 一种网络虚拟化体系结构以及虚拟化方法 | |
| Jiang et al. | Research and design of infrastructure monitoring platform of intelligent high speed railway | |
| Xiao et al. | A hybrid task crash recovery solution for edge computing in IoT-based manufacturing | |
| CN112486666A (zh) | 一种模型驱动的参考架构方法及平台 | |
| CN105956077A (zh) | 基于语义需求匹配的流程挖掘系统 | |
| CN110533320B (zh) | 一种基于Hadoop平台的电力设备停电计划编制方法 | |
| CN114500530B (zh) | 一种民用边缘信息系统自动调整方法 | |
| CN103246497B (zh) | 一种基于数据划分的实时数据并行处理方法 | |
| CN116050754A (zh) | 一种基于数字孪生的虚拟电厂协同管控方法及系统 | |
| CN113703971B (zh) | 多边缘协同计算平台中基于微服务的网络功能编排方法 | |
| CN107330008A (zh) | 一种基于Hadoop平台的电力系统谐波监测方法 | |
| CN115374101A (zh) | 轨道交通站段级数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |