CN111275397A - 一种仿真培训业务数据的处理方法及系统 - Google Patents

Abstract

本发明提供了一种仿真培训业务数据的处理方法，包括：通过并行异步技术采集电网信息资源的增量数据；为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；将处理后的任务数据进行数据清洗；其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据；采用改进的并行任务调度的数据清洗技术，实现了仿真培训场景数据的按需快速准备；通过并行异步技术，实现了大规模数据接入的服务与数据的运行高可靠性。

Description

一种仿真培训业务数据的处理方法及系统

技术领域

本发明属于电力系统仿真领域，本发明涉及一种仿真培训业务数据的处理方法及系统。

背景技术

目前调控一体化自动化系统得到普遍应用，各级电网公司也越来越重视生产管理人员的仿真培训，传统的调度员培训仿真系统虽然在内部的培训演习、联合反事故演习中发挥了重要作用，但在完整性、真实性、实时场景性、交互性、可扩展性、智能化等方面仍难以满足调控一体新模式下调度员、监控员及运维站操作人员等相关生产运行人员的培训业务需求。

大数据技术实现了海量数据的采集、存储与分析，有助提升价值挖掘的能力；分布式架构和负载均衡能力，实现了资源按业务需求灵活扩展伸缩；但泛在电力物联网建设为电网调度运行管理提供了更多数据支撑，需要综合利用发电、输电、变电、负荷、故障、操作、外部环境等各类信息资源和多种分析方式，随着电网态势感知能力不断增强，仿真培训的场景越来越丰富，仿真数据的广度、密度和精度不断提升与扩展，现有多级调控仿真系统中的信息整合度不足，各单位协同处理事故的能力不够，电力系统仿真场景创建费力费时且海量数据处理效率不高，需要有针对性地搭建与电网保持高度一致的全范围、全过程、全场景的多级调控联合培训仿真系统，进行大电网的运行分析评估，提升培训调控人员驾驭大电网进行辅助决策及事故处理的能力。如何基于大数据的数据清洗技术，提升仿真数据质量，基于并行任务调度方法实现对仿真业务场景的快速创建，实现符合泛在电力物联网建设背景下的业务流程培训是研究难点。

发明内容

针对电力系统仿真场景创建费力费时且海量数据处理效率不高，现有多级调控仿真系统中的信息整合度不足，各单位协同处理事故的能力不够的不足，本发明提供了一种仿真培训业务数据的处理方法，具体方案如下：

通过并行异步技术采集电网信息资源的增量数据；

为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

将处理后的任务数据进行数据清洗；

其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；

所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据。

优选的，所述通过并行异步技术采集电网信息资源的增量数据，包括：

将所述增量数据进行质量码标记；

根据所述质量码进行排序和并行处理。

其中，所述质量码包括：未处理、未更新、部分更新、全部更新和无效。

优选的，所述根据所述质量码进行排序和并行处理，包括：

根据所述质量码按照全部更新、部分更新、未更新、未处理、无效的顺序依次排列；

当所述质量码为部分更新或全部更新时，直接将所述部分更新的增量数据或全部更新的增量数据以并行方式放到云端的数据变更缓冲队列中；

当所述质量码为未处理或未更新时，需要进行二次判断，若所述未处理的增量数据或未更新的增量数据变动，则将所述未处理的增量数据或未更新的增量数据以并行方式放到所述云端的次级数据变更缓冲队列中。

优选的，所述数据变更缓冲队列和所述次级数据变更缓冲队列中的增量数据，均基于数据类型、数据的数据来源、电力信息子类型存储；

其中，所述电力信息子类型，包括：电网、变电站、发电厂、直流系统、直流线路、交流线路、变压器、母线、发电机、负荷、电容器、电抗器和无功补偿装置。

优选的，所述为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务，之前包括：

对所述增量数据进行批处理。

优选的，所述对所述增量数据进行批处理，包括：

基于所述电力信息类型优先读取所述数据变更缓冲队列中的增量数据；

有空闲任务时，再读取所述次级数据变更缓冲队列的增量数据。

优选的，所述按照仿真业务需要将所述处理任务分解为多个子任务，包括：

按照仿真业务需要，并基于数据来源、电力信息类型和电力信息子类型将所述任务数据分解成多个子任务。

优选的，所述基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理，包括：

对所述任务数据进行数据存储，并对存储的数据进行分配；

基于分配的所述任务数据，对多个所述子任务通过历史执行时间、历史执行进行最优任务编排，并对任务的执行路径进行优化，之后进行任务执行，执行后反馈执行结果；

基于执行失败的结果对执行失败的任务进行查看；

其中，所述任务结果，包括：未执行、执行中、执行成功、执行失败。

优选的，所述对存储的数据进行分配，包括：

分析当前仿真资源池的集群资源，根据最优调度规则，得到合理的计算、存储及网络资源分配；

若资源无法满足要求，运维人员以报警提示。

优选的，所述执行后反馈执行结果，包括：

若执行成功，则删除队列数据；

若未执行或执行中，则不作任何操作；

若执行失败，返回执行失败码，并将失败数据队列的数据存储到内存数据库中。

优选的，所述基于执行失败的结果对执行失败的任务进行查看，协助用户进行错误分析实现日志的记录及告警分析，包括：

遇到资源、任务执行超时的异常情况进行日志的记录，同时给用户告警提示；

若资源不足，则执行失败码，任务中止；

资源约束的条件满足后，由用户决定是否重新执行未完成的任务。

优选的，所述将处理后的任务数据进行数据清洗，之前包括：

对任务数据进行不一致数据转换：将不同业务系统的相同类型的数据统一；

对任务数据进行数据粒度的转换：将业务系统数据按照数据仓库粒度进行聚合；

对任务数据基于企业各业务规则、各数据指标进行计算，计算好后存储至所述数据仓库中。

优选的，所述将处理后的任务数据进行数据清洗，包括：

对任务数据进行合规性判定、多源数据判定、单源数据校验、多源数据校验、断点数据清洗处理、断点数据增补、噪声跳变数据清洗处理、异常数据进行数据转换及是否还有剩余记录的判定。

优选的，所述对任务数据进行合规性判定，包括：

若任务数据不符合规范，则不进行数据清洗和存库，进行所述剩余记录的判定；

若任务数据符合规范的，则进行所述多源数据判定。

优选的，所述对任务数据进行多源数据判定，包括：

若为单源数据，则进行所述单源数据校验；

若为多源数据，则进行所述多源数据校验。

优选的，所述对任务数据进行单源数据校验，包括：

若任务数据不存在遗漏缺失、噪声跳变及异常问题，进行所述剩余记录的判定；

若任务数据存在遗漏缺失、噪声跳变及异常问题，根据数据的时空关联规则库进行校验，并将任务数据标记上清洗过的数据标签，进行所述剩余记录的判定。

优选的，所述对任务数据进行多源数据校验，包括：

若数据不存在遗漏缺失、噪声跳变及异常问题，则进行所述剩余记录的判定；

若有遗漏缺失，则进行所述断点数据清洗处理；

若不存在遗漏缺失，存在数据噪声跳变，则进行所述噪声跳变数据清洗处理。

优选的，所述对任务数据进行断点数据清洗处理，包括：

若存在连续三分之一以上缺点情况，记录无法清洗入库的数据，标记不合规的数据标签，并进行所述异常数据进行数据转换。

优选的，所述对任务数据进行断点数据增补，包括：

任务数据少于三分之一，对缺点数据进行填补。

优选的，所述对任务数据进行噪声跳变数据清洗处理，包括：

对噪声跳变的任务数据进行线性修正，标记清洗过的数据标签，并进行所述剩余记录的判定。

优选的，所述对任务数据进行异常数据进行数据转换，包括：

基于数据泛化、规格化、人工校正的辅助数据转换规则修正其他异常类数据，标记清洗过的数据标签，并进行所述剩余记录的判定。

优选的，所述剩余记录的判定，包括：

若还有剩余的任务数据，则进行所述合规性判定；

若没有剩余的任务数据，则完成清洗。

优选的，所述的方法，还包括：将数据清洗后的任务数据进行任务流程展示及结果统计。

优选的，所述将数据清洗后的任务数据进行任务流程展示及结果统计，包括：

对任务流程节点、连接线等图形化组件进行展示及对多种配置信息展示；

对数据清洗的数量、时间段、清洗结果前后对比进行展示，最终生成校验报告分析，辅助值班人员及时发现数据问题并准确定位问题原因；

其中，所述多种配置信息包括：流程节点参与者配置、任务流程变量和任务流程条件配置。

基于同一构思，本发明提供了一种仿真培训业务数据的处理系统，包括：采集模块、分解模块、任务调度模块和清洗模块；

所述采集模块，用于通过并行异步技术采集电网信息资源的增量数据；

所述分解模块，用于所述任务调度模块为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

所述任务调度模块，用于基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

所述清洗模块，用于将处理后的任务数据进行数据清洗；

其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；

所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据。

优选的，所述采集模块，包括：标记子模块和排序处理子模块；

所述标记子模块，用于将所述增量数据进行质量码标记；

所述排序处理子模块，用于根据所述质量码进行排序和并行处理；

其中，所述质量码包括：未处理、未更新、部分更新、全部更新和无效。

与现有技术相比，本发明的有益效果为：

1、本方明提供了一种仿真培训业务数据的处理方法包括：通过并行异步技术采集电网信息资源的增量数据；为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；将处理后的任务数据进行数据清洗；其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据；采用改进的并行任务调度的数据清洗技术，实现了仿真培训场景数据的按需快速准备；

2、本发明提供的一种仿真培训业务数据的处理方法及系统，通过并行异步技术，实现了大规模数据接入的服务与数据的运行高可靠性；

3、本发明提供的一种仿真培训业务数据的处理方法及系统，实现数据的及时清洗和按需处理；

4、本发明提供的一种仿真培训业务数据的处理方法及系统，通过云端统一的仿真任务调度工作流，为演习单位大大降低维护成本和人工维护工作量，实现资源利用率和能效比的提升。

附图说明

图1为本发明提供的方法流程图；

图2为本发明实施例提供的仿真数据清洗数据流图；

图3为本发明提供的系统结构图。

具体实施方式

针对电力系统仿真场景创建费力费时且海量数据处理效率不高的问题，本发明提供了一种仿真培训业务数据的处理方法及系统，结合图1的方法流程图进行介绍，本发明提供的处理方法基于云端来完成，采用改进的并行任务调度的数据清洗技术，实现仿真培训场景数据的按需快速准备，通过并行异步技术实现大规模数据接入的服务与数据的运行高可靠性，通过“事件驱动，按需消费”的方法，实现数据的及时清洗和按需处理。通过云端统一的仿真任务调度工作流，能为演习单位大大降低维护成本和人工维护工作量，实现资源利用率和能效比的提升，结合图2的仿真数据清洗数据流图详细介绍：基于虚拟化技术的仿真场景创建方法具体包括以下步骤：

步骤1：通过并行异步技术采集电网信息资源的增量数据；

步骤2：为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

步骤3：基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

步骤4：将处理后的任务数据进行数据清洗；

其中，步骤1：通过并行异步技术采集电网信息资源的增量数据，具体包括：

1.数据采集及数据分析。分析数据处理。

1-1：获取补召的增量数据。增量数据包括量测、电量、计划、预测、告警、事件、外部环境及气象七类电力信息类型。

1-2：增量数据标记质量码。源端的增量数据经过边缘计算策略，根据数据变化情况，标记相应的数据质量码，质量码包括是未处理、未更新、部分更新、全部更新、无效等。

1-3：云端进行增量数据分析。云端根据质量码情况进行优先级排序，质量码是部分更新和全部更新的数据，直接放到数据变更缓冲队列中。质量码是未处理的数据需要由数据变动分析服务进行二次判断，如果数据变动，放到次级数据变更缓冲队列中。

1-4：数据变更缓冲队列是并行方式，按照数据类型分类存储，同时每一类数据按照数据来源、电力信息子类型存储。

1-5：数据来源是指数据上送的所属地区，由6位邮政编码组成。

电力信息子类型包括：电网、变电站、发电厂、直流系统、直流线路、交流线路、变压器、母线、发电机、负荷、电容器、电抗器、无功补偿装置进行分类。

2.数据任务建模及数据存储。数据任务建模模块优先对数据变更缓冲队列的数据进行批处理，待有空闲任务，再对次级数据变更缓冲队列的数据进行批处理。

2-1：数据任务建模模块优先对数据变更缓冲队列的数据进行批处理，将任务推送给任务调度模块。

2-2：数据变更缓冲队列数据按照预先定制的七类电力信息类型分级并行调度处理。

2-3：数据任务建模模块对次级数据变更缓冲队列的数据进行批处理，将任务推送给任务调度模块。

2-4：次级数据变更缓冲队列处理完毕。

2-5：任务调度模块会反馈任务结果，包括未执行、执行中、执行成功、执行失败。若数据任务建模模块接收到任务调度模块的反馈结果，若反馈结果是执行成功，表示数据更新缓冲队列执行完毕，数据任务建模模块删除该队列的数据。

2-6：数据存储。将队列数据存储到redis内存数据库中。

3.任务调度模块分配及资源预处理。收到推送任务后，进行数据存储。

步骤2：为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务，具体包括：

3-1：任务调度器进行任务分解。任务调度器按照仿真业务需要，按照数据来源、电力信息类型、电力信息子类型把总任务分解成多个子任务，对任务进行并行化处理，交由并行任务执行器进行任务处理。

步骤3：基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理，具体包括：

3-2：资源分配器。接收到数据任务建模模块发送的任务后，分析当前仿真资源池的集群资源，根据最优调度规则，得到合理的计算、存储及网络资源分配。若系统资源无法满足要求，给运维人员以报警提示。

3-3：任务执行器进行任务编排，对任务的执行路径进行优化。经多个并行的任务通过历史执行时间、执行进行最优任务编排。

3-4：任务执行器进行任务执行。任务执行器管理还具备增加、删除、修改等功能。将执行结果反馈数据任务建模模块，若执行成功，通知数据任务建模模块删除队列数据；若未执行或执行中，则数据任务建模模块不作任何操作；若执行失败，返回执行失败码，并将失败数据队列的数据存储到redis内存数据库中。

3-5：日志分析器。基于执行失败的结果对执行失败的任务进行查看，协助用户进行错误分析。日志分析器实现日志的记录及告警分析。遇到资源、任务执行超时等异常情况进行日志的记录，同时给用户给出告警提示。若资源不足，则对任务执行器发出执行失败码，任务中止；待资源约束的条件满足后，由用户决定是否由任务执行器重新执行未完成的任务。

4.数据规范及数据转换。数据规范及转换模块的任务主要进行不一致的数据转换、数据粒度的转换，以及一些商务规则的计算。

4-1：不一致数据转换。该过程是一个整合的过程，将不同业务系统的相同类型的数据统一。

4-2：数据粒度的转换：业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，不需要非常明细的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合。

4-3：商务规则的计算：不同的企业有不同的业务规则、不同的数据指标，这些指标有的时候不是简单的加加减减就能完成，这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中，以供分析使用。

4-4：完成数据规范及数据转换。

步骤4：将处理后的任务数据进行数据清洗，具体包括：

5：数据清洗。由于现实世界的数据常常是有噪声、不完全的和不一致的，需要通过数据清洗模块填补遗漏数据、平滑噪声数据、消除异常数据。

5-1：合规性判定。如果Rowkey不符合Hbase数据表结构设计的Rowkey规范，记录无法清洗入库的数据，标记“该条记录不合规”的数据标签，执行步骤5-9。如果符合规范，进行下一步骤5-2。

5-2：：多源数据判定。如果为单源数据，进行单源数据校验步骤5-3。如果为多源数据，进行多源数据校验步骤5-4。

5-3：单源数据校验。若数据不存在遗漏缺失、噪声跳变及异常问题，执行步骤5-9。若存在遗漏缺失、噪声跳变及异常问题，根据数据的时空关联规则库进行校验，标记“该条记录已清洗过”的数据标签，执行步骤5-9；

5-4：多源数据校验。若数据不存在遗漏缺失、噪声跳变及异常问题，执行步骤5-9。根据数据遗漏缺失判断规则，判定是否存在数据遗漏缺失。若有遗漏缺失，执行步骤5-5；若不存在遗漏缺失，根据数据噪声跳变判断规则，判定是否存在数据噪声跳变，执行步骤5-7；

5-5：断点数据清洗处理。如果存在连续三分之一以上缺点情况，记录无法清洗入库的数据，标记“该条记录不合规”的数据标签，执行步骤5-8；

5-6：断点数据增补。如果少于三分之一的数据，则对缺点数据进行填补。

5-7：噪声跳变数据清洗处理。对噪声跳变数据进行线性修正，标记“该条记录已清洗过”的数据标签，执行步骤5-9；

5-8：异常数据进行数据转换。采用数据泛化、规格化、人工校正三类辅助数据转换规则，修正其他异常类数据。标记“该条记录已清洗过”的数据标签，执行步骤5-9；

5-9：是否还有剩余记录，若是，则返回步骤5-1继续下一条记录的清洗。若没有剩余记录，则完成清洗。

6.任务流程展示及结果统计。

任务流程展示包括任务流程节点、连接线等图形化组件展示，还包括各种配置信息展示，包括流程节点参与者配置、任务流程变量和任务流程条件配置。

结果统计是对数据清洗的数量、时间段、清洗结果前后对比进行展示，最终生成校验报告分析，辅助值班人员及时发现数据问题并准确定位问题原因。

本发明的有益效果在于：所设计的基于大数据清洗技术的仿真数据质量提升方法，数据清洗过程中采用了并行任务调度技术，能够解决传统的如何基于大数据的数据清洗技术，提升了仿真数据质量，基于并行任务调度方法实现对仿真业务场景的快速创建，实现了业务流程的弹性控制。

实施例2：

基于同一构思，本发明提供了一种仿真培训业务数据的处理优化系统，包括：采集模块、分解模块、任务调度模块和清洗模块，结合图3的系统结构图进行介绍；

所述采集模块，用于通过并行异步技术采集电网信息资源的增量数据；

所述分解模块，用于所述任务调度模块为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

所述任务调度模块，用于基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

所述清洗模块，用于将处理后的任务数据进行数据清洗；

其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；

所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据。

优选的，所述采集模块，包括：标记子模块和排序处理子模块；

所述标记子模块，用于将所述增量数据进行质量码标记；

所述排序处理子模块，用于根据所述质量码进行排序和并行处理；

其中，所述质量码包括：未处理、未更新、部分更新、全部更新和无效。

优选的，所述排序处理子模块，包括：排序单元、数据队列单元和次级数据队列单元；

所述排序单元，用于根据所述质量码按照全部更新、部分更新、未更新、未处理、无效的顺序依次排列；

所述数据队列单元，用于当所述质量码为部分更新或全部更新时，直接将所述部分更新的增量数据或全部更新的增量数据以并行方式放到云端的数据变更缓冲队列中；

所述次级数据队列单元，用于当所述质量码为未处理或未更新时，需要由所述云端的数据变动分析服务进行二次判断，若所述未处理的增量数据或未更新的增量数据变动，则将所述未处理的增量数据或未更新的增量数据以并行方式放到所述云端的次级数据变更缓冲队列中。

优选的，所述的系统，还包括：数据任务建模模块；

所述数据任务建模模块，用于对所述增量数据进行批处理；

优选的，所述数据任务建模模块模块，包括：优先处理子模块和次级处理子模块；

所述优先处理子模块，用于基于所述电力信息类型优先读取所述数据变更缓冲队列中的增量数据，推送至所述任务调度模块；

所述次级处理子模块，用于有空闲任务时，再读取所述次级数据变更缓冲队列的增量数据推送至所述任务调度模块。

优选的，所述任务调度模块，包括：资源分配器、任务执行器和日志分析器；

所述资源分配器，用于对所述任务数据进行数据存储，并对存储的数据进行分配；

所述任务执行器，用于基于分配的所述任务数据，对多个所述子任务通过历史执行时间、历史执行进行最优任务编排，并对任务的执行路径进行优化，之后进行任务执行，执行后反馈执行结果所述数据任务建模模块；

所述日志分析器，用于基于执行失败的结果对执行失败的任务进行查看；

其中，所述任务结果，包括：未执行、执行中、执行成功、执行失败。

优选的，所述资源分配器，包括：最优分配单元和报警单元；

所述最优分配单元，用于分析当前仿真资源池的集群资源，根据最优调度规则，得到合理的计算、存储及网络资源分配；

所述报警单元，用于若资源无法满足要求，给运维人员以报警提示。

优选的，所述任务执行器，包括：成功单元、不操作单元和失败单元；

所述成功单元，用于若执行成功，则通知所述数据任务建模模块删除队列数据；

所述不操作单元，用于若未执行或执行中，则所述数据任务建模模块不作任何操作；

所述失败单元，用于若执行失败，返回执行失败码，并将失败数据队列的数据存储到内存数据库中。

优选的，所述日志分析器，包括：异常单元、资源不足单元和资源满足单元；

所述异常单元，用于遇到资源、任务执行超时的异常情况，进行日志的记录，同时给用户告警提示；

所述资源不足单元，用于若资源不足，则对所述任务执行器发出执行失败码，任务中止；

所述资源满足单元，用于所述资源约束的条件满足后，由用户决定是否重新执行未完成的任务。

优选的，所述清洗模块，包括：判定校验单元；

所述判定校验单元，用于对任务数据进行合规性判定、多源数据判定、单源数据校验、多源数据校验、断点数据清洗处理、断点数据增补、噪声跳变数据清洗处理、异常数据进行数据转换及是否还有剩余记录的判定。

优选的，所述的系统，还包括：数据规范及转换模块和展示统计模块；

所述数据规范及转换模块，用于对任务数据进行数据转换和数据规范；

所述展示统计模块，用于将数据清洗后的任务数据进行任务流程展示及结果统计。

优选的，所述数据规范及转换模块，包括：不一致转换子模块、粒度转换子模块和计算子模块；

所述不一致转换子模块，用于对任务数据进行不一致数据转换：将不同业务系统的相同类型的数据统一；

所述粒度转换子模块，用于对任务数据进行数据粒度的转换：将业务系统数据按照数据仓库粒度进行聚合；

所述计算子模块，用于对任务数据基于企业各业务规则、各数据指标进行计算，计算好后存储至所述数据仓库中。

优选的，所述展示统计模块，包括：展示子模块和统计分析子模块；

所述展示子模块，用于对任务流程节点、连接线等图形化组件进行展示及对多种配置信息展示；

所述统计分析子模块，用于对数据清洗的数量、时间段、清洗结果前后对比进行展示，最终生成校验报告分析，辅助值班人员及时发现数据问题并准确定位问题原因；

其中，所述多种配置信息包括：流程节点参与者配置、任务流程变量和任务流程条件配置。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (26)

1.一种仿真培训业务数据的处理方法，其特征在于，包括：

通过并行异步技术采集电网信息资源的增量数据；

为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

将处理后的任务数据进行数据清洗；

其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；

所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据。

2.如权利要求1所述的方法，其特征在于，所述通过并行异步技术采集电网信息资源的增量数据，包括：

将所述增量数据进行质量码标记；

根据所述质量码进行排序和并行处理。

其中，所述质量码包括：未处理、未更新、部分更新、全部更新和无效。

3.如权利要求2所述的方法，其特征在于，所述根据所述质量码进行排序和并行处理，包括：

根据所述质量码按照全部更新、部分更新、未更新、未处理、无效的顺序依次排列；

当所述质量码为部分更新或全部更新时，直接将所述部分更新的增量数据或全部更新的增量数据以并行方式放到云端的数据变更缓冲队列中；

当所述质量码为未处理或未更新时，需要进行二次判断，若所述未处理的增量数据或未更新的增量数据变动，则将所述未处理的增量数据或未更新的增量数据以并行方式放到所述云端的次级数据变更缓冲队列中。

4.如权利要求3所述的方法，其特征在于，所述数据变更缓冲队列和所述次级数据变更缓冲队列中的增量数据，均基于数据类型、数据的数据来源、电力信息子类型存储；

其中，所述电力信息子类型，包括：电网、变电站、发电厂、直流系统、直流线路、交流线路、变压器、母线、发电机、负荷、电容器、电抗器和无功补偿装置。

5.如权利要求3所述的方法，其特征在于，所述为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务，之前包括：

对所述增量数据进行批处理。

6.如权利要求3所述的方法，其特征在于，所述对所述增量数据进行批处理，包括：

基于所述电力信息类型优先读取所述数据变更缓冲队列中的增量数据；

有空闲任务时，再读取所述次级数据变更缓冲队列的增量数据。

7.如权利要求6所述的方法，其特征在于，所述按照仿真业务需要将所述处理任务分解为多个子任务，包括：

按照仿真业务需要，并基于数据来源、电力信息类型和电力信息子类型将所述任务数据分解成多个子任务。

8.如权利要求6所述的方法，其特征在于，所述基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理，包括：

对所述任务数据进行数据存储，并对存储的数据进行分配；

基于分配的所述任务数据，对多个所述子任务通过历史执行时间、历史执行进行最优任务编排，并对任务的执行路径进行优化，之后进行任务执行，执行后反馈执行结果；

基于执行失败的结果对执行失败的任务进行查看；

其中，所述任务结果，包括：未执行、执行中、执行成功、执行失败。

9.如权利要求8所述的方法，其特征在于，所述对存储的数据进行分配，包括：

分析当前仿真资源池的集群资源，根据最优调度规则，得到合理的计算、存储及网络资源分配；

若资源无法满足要求，运维人员以报警提示。

10.如权利要求8所述的方法，其特征在于，所述执行后反馈执行结果，包括：

若执行成功，则删除队列数据；

若未执行或执行中，则不作任何操作；

若执行失败，返回执行失败码，并将失败数据队列的数据存储到内存数据库中。

11.如权利要求10所述的方法，其特征在于，所述基于执行失败的结果对执行失败的任务进行查看，协助用户进行错误分析实现日志的记录及告警分析，包括：

遇到资源、任务执行超时的异常情况进行日志的记录，同时给用户告警提示；

若资源不足，则执行失败码，任务中止；

资源约束的条件满足后，由用户决定是否重新执行未完成的任务。

12.如权利要求8所述的方法，其特征在于，所述将处理后的任务数据进行数据清洗，之前包括：

对任务数据进行不一致数据转换：将不同业务系统的相同类型的数据统一；

对任务数据进行数据粒度的转换：将业务系统数据按照数据仓库粒度进行聚合；

对任务数据基于企业各业务规则、各数据指标进行计算，计算好后存储至所述数据仓库中。

13.如权利要求12所述的方法，其特征在于，所述将处理后的任务数据进行数据清洗，包括：

对任务数据进行合规性判定、多源数据判定、单源数据校验、多源数据校验、断点数据清洗处理、断点数据增补、噪声跳变数据清洗处理、异常数据进行数据转换及是否还有剩余记录的判定。

14.如权利要求13所述的方法，其特征在于，所述对任务数据进行合规性判定，包括：

若任务数据不符合规范，则不进行数据清洗和存库，进行所述剩余记录的判定；

若任务数据符合规范的，则进行所述多源数据判定。

15.如权利要求14所述的方法，其特征在于，所述对任务数据进行多源数据判定，包括：

若为单源数据，则进行所述单源数据校验；

若为多源数据，则进行所述多源数据校验。

16.如权利要求15所述的方法，其特征在于，所述对任务数据进行单源数据校验，包括：

若任务数据不存在遗漏缺失、噪声跳变及异常问题，进行所述剩余记录的判定；

若任务数据存在遗漏缺失、噪声跳变及异常问题，根据数据的时空关联规则库进行校验，并将任务数据标记上清洗过的数据标签，进行所述剩余记录的判定。

17.如权利要求15所述的方法，其特征在于，所述对任务数据进行多源数据校验，包括：

若数据不存在遗漏缺失、噪声跳变及异常问题，则进行所述剩余记录的判定；

若有遗漏缺失，则进行所述断点数据清洗处理；

若不存在遗漏缺失，存在数据噪声跳变，则进行所述噪声跳变数据清洗处理。

18.如权利要求17所述的方法，其特征在于，所述对任务数据进行断点数据清洗处理，包括：

若存在连续三分之一以上缺点情况，记录无法清洗入库的数据，标记不合规的数据标签，并进行所述异常数据进行数据转换。

19.如权利要求13所述的方法，其特征在于，所述对任务数据进行断点数据增补，包括：

任务数据少于三分之一，对缺点数据进行填补。

20.如权利要求17所述的方法，其特征在于，所述对任务数据进行噪声跳变数据清洗处理，包括：

对噪声跳变的任务数据进行线性修正，标记清洗过的数据标签，并进行所述剩余记录的判定。

21.如权利要求18所述的方法，其特征在于，所述对任务数据进行异常数据进行数据转换，包括：

基于数据泛化、规格化、人工校正的辅助数据转换规则修正其他异常类数据，标记清洗过的数据标签，并进行所述剩余记录的判定。

22.如权利要求21所述的方法，其特征在于，所述剩余记录的判定，包括：

若还有剩余的任务数据，则进行所述合规性判定；

若没有剩余的任务数据，则完成清洗。

23.如权利要求1所述的方法，其特征在于，还包括：将数据清洗后的任务数据进行任务流程展示及结果统计。

24.如权利要求13所述的方法，其特征在于，所述将数据清洗后的任务数据进行任务流程展示及结果统计，包括：

对任务流程节点、连接线等图形化组件进行展示及对多种配置信息展示；

对数据清洗的数量、时间段、清洗结果前后对比进行展示，最终生成校验报告分析，辅助值班人员及时发现数据问题并准确定位问题原因；

其中，所述多种配置信息包括：流程节点参与者配置、任务流程变量和任务流程条件配置。

25.一种仿真培训业务数据的处理系统，其特征在于，包括：采集模块、分解模块、任务调度模块和清洗模块；

所述采集模块，用于通过并行异步技术采集电网信息资源的增量数据；

所述分解模块，用于所述任务调度模块为所述增量数据构建处理任务，并按照仿真业务需要将所述处理任务分解为多个子任务；

所述任务调度模块，用于基于当前仿真资源池的集群资源，对所述多个子任务进行并行调度处理；

所述清洗模块，用于将处理后的任务数据进行数据清洗；

其中，所述电网信息资源，包括：发电、输电、变电、负荷、故障、操作、外部环境；

所述增量数据，包括：量测数据、电量数据、计划数据、预测数据、告警数据、事件数据、外部环境及气象数据。

26.如权利要求25所述的系统，其特征在于，所述采集模块，包括：标记子模块和排序处理子模块；

所述标记子模块，用于将所述增量数据进行质量码标记；

所述排序处理子模块，用于根据所述质量码进行排序和并行处理；

其中，所述质量码包括：未处理、未更新、部分更新、全部更新和无效。

Images