CN114491168B - 调控云样本数据共享方法、系统、计算机设备及存储介质 - Google Patents

Abstract

本发明属于电力自动化领域，公开了一种调控云样本数据共享方法、系统、计算机设备及存储介质，包括：获取各调控业务的调控数据；依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据，并根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据；基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享。实现基于调控业务的样本数据共享，保证新建调控业务的样本数据获取需求。

Description

调控云样本数据共享方法、系统、计算机设备及存储介质

技术领域

本发明属于电力自动化领域，涉及一种调控云样本数据共享方法、系统、计算机设备及存储介质。

背景技术

调控云基于虚拟化、分布式及服务化等云计算技术理念，是面向电网调度业务的云服务平台，按主导节点、协同节点及源数据端三层架构设计，其架构设计体现了硬件资源虚拟化、数据标准化和应用服务化的特点，是国网公司建设的“三朵云”中的重要组成部分，是“云大物移智链”等信息通信技术在调控领域的创新应用，是支撑电网运行和调控管理的重要技术手段，贯彻的是横向打通各专业、纵向打通多级业务的思想，实现模型、数据的统一汇集和管理。

人工智能从发展之初就受到调控领域工程界和学术界的广泛关注。20世纪80年代至21世纪初，神经网络、专家系统等算法已开始在故障诊断、事故处理及在线监测等领域得到应用，受限于当时计算力和数据量制约，研发和应用效果不显著。随着物联网、云计算、大数据技术的发展，近些年，调控领域人工智能应用再次成为热点。现阶段人工智能应用的主要方向为降低安全隐患、降低劳动成本、实现生产效率提升，并逐步向实现专业领域复杂问题的智能化分析、智能决策方向发展。总体来说，人工智能技术在电网调控领域应用已有初步成果，但应用成果深度和广度都不足，对调控业务支撑的范围、程度还不够，亟需结合业务需求、技术成熟度，开展系统性研究和应用。

目前，人工智能技术在调控领域应用的主要问题是资源共享性较差，新项目开展时，难以充分整合利用领域内已有的实践经验，存在从零开始进行数据搜集、模型训练等问题，部分调度机构在该过程中还面临着数据搜集困难、样本不均衡、不全面、或者历史数据较少等造成模型训练效果差的实际困难，同时，各调度机构基于自己的数据集和应用场景进行技术验证，缺少横向对比。这些问题，与目前调控云统一建设、分级自治、全局共享的架构存在矛盾，也没有充分利用调控云提供的海量数据和全网共享服务资源，实现数据、模型资源全局统筹复用，促进整个行业的快速发展。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种调控云样本数据共享方法、系统、计算机设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种调控云样本数据共享方法，包括：

获取各调控业务的调控数据；

依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据；

依次将各调控业务的处理数据，根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据；

基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；

根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享。

可选的，所述依次将各调控业务的调控数据进行关联分析和特征提取包括：

通过主成分分析法、关联规则分析法、属性简约法或互信息法，依次将各调控业务的调控数据进行关联分析和特征提取。

可选的，所述根据各调控业务的样本数据集，生成样本数据资源目录前，还包括：

获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；

获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

可选的，所述根据各调控业务的样本数据集，生成样本数据资源目录前，还包括：

通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；

当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，并修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。

可选的，所述预设的样本数据集评估方法为k折交叉验证法、留出法或自助法。

可选的，所述根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享包括：

根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；

以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；

将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

可选的，还包括：

预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；

在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

本发明第二方面，一种调控云样本数据共享系统，包括：

数据获取模块，用于获取各调控业务的调控数据；

特征提取模块，用于依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据；

数据标注模块，用于依次将各调控业务的处理数据，根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据；

数据集生成模块，用于基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；

共享模块，用于根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享。

可选的，还包括数据集集成模块，用于获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

可选的，还包括数据集评估模块，用于通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，并修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。

可选的，所述共享模块根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享包括：根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

可选的，还包括统一权限管理模块，用于预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；并在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

本发明第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述调控云样本数据共享方法的步骤。

本发明第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述调控云样本数据共享方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明调控云样本数据共享方法，基于调控业务进行调控数据的分类获取，然后通过特征提取得到各调控业务的处理数据，基于各调控业务预设的标签及标签判断规则进行标签标注生成样本数据，并获取了样本数据的分布特征，进而根据样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的样本数据，生成各调控业务的样本数据集，最终基于各调控业务的样本数据集，生成样本数据资源目录，实现调控云样本数据共享，面对某一地区开展一项新的调控业务时由于存在数据搜集困难、样本不均衡、不全面或者历史数据较少等现象，进而严重影响调控业务的人工智能模型的训练效果及模型可用性差的问题，基于调控业务的分类获取、特征提取、样本数据生成和共享，可以获取同样的调控业务在其他地区的大量的、样本分布均衡、样本覆盖的特征量较多的样本数据，保证新建调控业务的样本数据获取需求，进而有效提升调控业务的人工智能模型的训练和应用效果，并且，基于不同地区的样本数据分布特性和特征量具有的互补关系，也可以提升调控业务的人工智能模型应对突发问题的效果，训练后的调控业务的人工智能模型泛化能力较高，能够更好的完成调控业务。

附图说明

图1为本发明实施例的调控云样本数据共享方法流程图；

图2为本发明实施例的样本数据集的存储管理界面示意图；

图3为本发明实施例的k折交叉验证的子集划分方法示意图；

图4为本发明实施例的样本数据集测试评估流程图；

图5为本发明实施例的样本数据资源目录树状结构示意图；

图6为本发明实施例的调控云样本数据共享系统结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，介绍本发明实施例中涉及的相关术语：

调控云：电力调度控制云简称调控云，是面向电网调度业务的云服务平台，基于虚拟化、分布式及服务化等云技术理念，形成资源虚拟化、数据标准化、应用服务化的调控技术支撑体系。

模型：指人工智能领域的机器学习模型或者深度学习模型。模型通常和具体业务相关，根据调控业务需要，选择合适的算法构建调控人工智能业务模型，通过样本数据集对模型进行训练、测试及验证等，形成满足业务需求的算法模型。

样本数据：支撑机器学习或者深度学习模型训练的经过标注等加工处理过的数据。原始数据经过特征提取、数据融合及数据标注等，形成样本数据，样本数据通常以样本数据集合(样本数据集)的方式进行存储和管理，为提升模型训练效果，通常要具备充足的样本数据，同时要考虑样本数据的均衡性和特征量等分别特征。

资源目录：数据资源目录是通过对信息资源依据规范的元数据描述，按照一定的分类方法进行排序和编码的一组信息，用以描述各个信息资源的特征，以便于对信息资源的检索、定位与获取。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一实施例中，提供一种调控云样本数据共享方法，其基于调控云平台提供的基础算力及海量电网调控数据资源，面向电网调控人工智能业务应用需求，实现调控云样本数据资源的分类管理和全网共享。具体的，该调控云样本数据共享方法包括以下步骤。

S1：获取各调控业务的调控数据。

具体的，电力调度控制云中汇集了海量的电网调控数据，包括电网调控运行数据、文本、图像、音频及视频等，在进行调控云样本数据共享时，直接从电力调度控制云中提取这些调控数据。然后，针对不同的调控业务，将这些调控数据进行分类，进而得到各调控业务的调控数据。其中，调控业务的数量根据实际需要进行设定，可以是一个调控业务，也可以是多个调控业务。其中，调控业务一般指电网调控人工智能业务。

目前，调控云的新项目开展时，往往需要从零开始进行数据搜集及模型训练等工作，尤其是某一地区开展一项新的调控人工智能业务时存在数据搜集困难、样本不均衡、不全面或者历史数据较少，但同样的调控业务可能在其他地区有大量的样本数据，亦或者不同地区的样本数据分布特性和特征量具有互补关系时，通过将调控云的数据按照调控业务进行分类，可以较好的根据调控业务定位相应的调控数据，以实现同样的调控业务的调控数据的快速共享。

S2：依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据。

具体的，各调控业务的调控数据是直接从调控云中获取的，而调控云运行积累了海量的调控数据，调控数据中存在大量的多源及冗余信息，为减少电网调控人工智能模型训练时间，提升模型训练效果，降低模型过拟合风险，需要针对调控业务，在保证数据原有价值属性的前提下，通过关联分析和特征提取，选择最小的数据属性子集，去除不相关的冗余数据或者变量，最终保留下有用的关键特征信息，即对各调控业务的调控数据进行特征提取，得到各调控业务的处理数据。

其中，所述依次将各调控业务的调控数据进行关联分析和特征提取的具体方法为：通过主成分分析法、关联规则分析法、属性简约法或互信息法，依次将各调控业务的调控数据进行关联分析和特征提取，关联分析和特征提取的根本目的都是从高维信息中找出与调控业务关联最紧密的那些调控数据。

本实施例中，为分析调控数据相关性，采用互信息法衡量两个变量的相关性。具体的，设存在2个特征X与Y，p(x)和p(y)分别为特征X和特征Y的概率密度函数，p(x,y)为这2个特征的联合概率，则两者之间的互信息的定义为：

在保证待选特征变量与主导特征变量之间互信息最大的前提下，同时期望待选特征变量与已选特征变量之间的互信息之和最小。引入评价函数：

其中，f_i为待选特征变量；c为主导特征变量；S_j为已选特征变量，β为惩罚因子。继而通过评价函数值表征两个变量的相关性程度。

根据调控业务需求，首先选择该调控业务涉及的调控数据，然后通过互信息法进行关联分析和关键特征提取。以电网设备故障分析为例，以设备本体为对象，选择一次设备对象台账、设备拓扑连接关系、设备运行量测数据、设备故障数据、设备检修数据、设备所处位置的地理、气象信息以及节假日信息等，进行数据整合和特征信息降维，从而获得与电网设备故障分析强相关的特征数据，作为电网设备故障分析的处理数据。

S3：依次将各调控业务的处理数据，根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据。

具体的，根据调控业务特点，在预设的标签库中预置该调控业务的标签及判断规则，根据提取的关键数据信息，即该调控业务的处理数据，依据判断规则进行处理数据的标签的自动标注，将标注标签后的处理数据作为调控业务的样本数据。若出现判断规则无法判断的处理数据，则需要人工处理，如果是新的处理数据，则处理方式是完善标签库中的标签和判断规则，如果是异常或者错误的处理数据(偶发性)，则处理方式是人工判断后丢弃该处理数据。

S4：基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集。

具体的，数据分布特征包含两层内容：一是数据的数学分布特征，二是数据的业务特征，是根据具体的调控业务确定的特征。其中，数据的数学分布特征具体包括集中趋势、离散程度及分布形状等，如常用的方差、标准差等，包含的分析方法很多，实际应用中通常是选择其中几个方法进行数据分布的分析。对应数据的业务特征，以语音识别模型为例，通用的或者第三方提供的模型通常是基于普通话或者日常交流用语，即通用样本数据进行模型训练，而针对调控业务，需要在通用的样本数据基础上补充“调度专业词汇”、“调度特殊表达方式”、“具有地域特征的表达方式或者方言词汇”及“结合调度语境的同音异字”等样本数据，因此就需要根据调控语音识别业务，分析样本数据中是否包含这些业务样本数据，进一步再分析业务样本数据是否全面，数据量是否足够用于模型训练等；再举一个电网负荷预测的例子，为提升预测精度，在初始的样本集中扩充节假日信息，尽量让样本数据能够覆盖工作日、周末及节假日等各类时间，进一步，可以再扩充气象信息，尽量覆盖四季、晴天、雨天及雪天等，甚至像台风和寒潮等极端天气，保证样本数据尽量覆盖各种可能的情况。数据分布特征是为了掌握用于人工智能模型训练的样本是否全面、均衡，是否能够包含调控业务特征，是否能够覆盖各种特殊情况，以便于提升模型的训练效果。

具体的，基于调控业务的样本数据的标签，综合考虑调控业务需求和数据分布特征需求，根据对应的样本数据标签，选择需要的样本数据，进行样本数据抽取，生成面向调控业务的样本数据集。参见图2，示出了在一种具体的实施方式中样本数据集的存储管理界面，其中，样本数据集可以采用结构化方式进行描述，具体描述信息包括：样本数据集ID、样本数据集名称、所属样本资源目录、版本号、创建日期、样本数据集摘要、存储方式、更新方式、数据表名/文件名以及数据库连接串/文件访问路径等。

在一种可能的实施方式中，调控业务的样本数据集中还可以集成第三方样本数据集或者调控业务的历史样本数据集。具体的，获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

其中，第三方样本数据集主要是针对图像及语音处理等第三方样本数据集，可直接集成到当前调控业务的样本数据集中。历史样本数据集主要是指已经在共享的，且已实际应用并有较好应用效果的样本数据集。

在一种可能的实施方式中，该调控云样本数据共享方法还包括样本数据集的评估步骤。具体的，通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，并修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。其中，所述预设的样本数据集评估方法为k折交叉验证法、留出法或自助法。

本实施例中，采用k折交叉验证的方法进行样本数据集的评估。具体的，参见图3，首先将样本数据集随机分成k份数目相等的子集，再随机选择1份子集作为测试集，其他子集作为训练集，组成N组模型训练样本。参见图4，然后选择通过不同算法构建的调控业务的人工智能模型，每种算法模型通过N组样本分别进行人工智能模型的训练和测试验证，获取N组样本下人工智能模型的平均预测准确率，作为训练效果综合评分，即样本数据集的评分。最后结合具体的调控业务应用场景，如果样本数据集的评分较低，即样本数据集的评分低于预设阈值时，需人工调整样本数据集的数据分布特征需求，重新进行样本数据集的生成。

S5：根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享。

具体的，所述根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享的具体方法为：根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

其中，预设的分类方法为依据调度业务类别、调度管辖范围及样本数据集特征进行分类，生成树状结构的样本数据资源目录，并建立资源目标标签。样本数据资源目录的树状层级关系可以采用结构化方式进行描述，具体描述信息包括目录ID、目录名称、父目录ID、目录摘要描述及权限等。

参见图5，以系统负荷预测为例，首先按该调度业务建立系统负荷预测目录，然后按调度管辖范围划分为国调、分中心及省级调控中心，再依据样本数据集的数据分布特征进行归类，最后按版本进行样本数据的存储。

具体的，以web页面的方式，提供样本数据资源目录、样本数据集和样本数据的浏览、检索、上传及下载等功能，并将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线，以服务接口的方式，提供广域用户的样本数据资源共享功能。

具体的，可通过调控云广域服务总线在调控云主导节点及协同节点之间进行广域服务共享，一般开放的服务接口包括：样本数据资源目录构建服务、样本数据资源目录查询服务、样本数据资源目录同步服务、样本数据集新增服务、样本数据集修改服务、样本数据集查询服务、样本数据集获取服务、样本数据集上传服务、样本数据新增服务、样本数据修改服务、样本数据查询服务、样本数据获取服务以及样本数据上传服务等。

一般共享的流程是：协同节点业务应用首先查询主导节点维护的样本数据资源目录，即借助样本数据资源目录查询和样本数据资源目录同步服务接口，再根据业务需求进一步查询样本数据集，即借助样本数据集查询和样本数据集获取服务接口，最后再查询和获取对应的样本数据，即借助样本数据查询和样本数据获取服务接口；如果协同节点需要新增或者修改样本数据集或者样本数据，则通过对应的新增、修改和上传服务接口。上述所有共享和维护服务接口的调用都需要具备相应的操作权限，满足预设的权限管理要求。

在一种可能的实施方式中，该调控云样本数据共享方法还包括：预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

具体的，对样本数据资源目录、样本数据集、样本数据按用户和用户组进行操作权限配置。其中，样本数据资源目录的操作权限包括：查询目录、新增子目录、编辑目录以及删除目录等，样本数据资源目录一般由系统管理员进行维护，同时设置样本数据资源目录的公开范围，具体包括完全公开、用户组内公开、特定用户公开以及不公开等。样本数据集的操作权限包括查询样本数据集、新增样本数据集、编辑样本数据集、删除样本数据集以及获取样本数据集等。样本数据的操作权限包括查询样本数据、新增样本数据、更新样本数据、删除样本数据以及获取样本数据等。本实施例中，基于权限管理，样本数据集的上传需要管理员审批，部分样本数据集的下载也需要管理员审批。

综上所述，本发明调控云样本数据共享方法，基于调控业务进行调控数据的分类获取，然后通过特征提取得到各调控业务的样本数据，基于各调控业务预设的标签及标签判断规则进行标签标注，获取了样本数据的分布特征，进而根据样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的样本数据，生成各调控业务的样本数据集，最终基于各调控业务的样本数据集，生成样本数据资源目录，实现调控云样本数据共享，面对某一地区开展一项新的调控业务时由于存在数据搜集困难、样本不均衡、不全面或者历史数据较少等现象，进而严重影响调控业务的人工智能模型的训练效果及模型可用性差的问题，基于调控业务的分类获取、特征提取、样本数据生成和共享，可以获取同样的调控业务在其他地区的大量的、样本分布均衡、样本覆盖的特征量较多的样本数据，保证新建调控业务的样本数据获取需求，进而有效提升调控业务的人工智能模型的训练和应用效果，并且，基于不同地区的样本数据分布特性和特征量具有的互补关系，也可以提升调控业务的人工智能模型应对突发问题的效果，训练后的调控业务的人工智能模型泛化能力较高，能够更好的完成调控业务。

同时，通过预设的样本数据集评估方法，结合调控业务的人工智能模型，评估各调控业务的样本数据集，保证了样本数据的均衡性，避免训练时的欠拟合和过拟合，并且，实现了调控业务的横向对比，提升了人工智能模型的泛化能力，实现数据、模型资源全局统筹复用，促进整个行业的快速发展，且本发明依托的调控云是两级系统，通过数据服务的方式实现了广域范围的样本数据交互及共享。

相较于目前的数据共享方式，如中国专利申请CN112579609A，提供一种基于数据资产目录实现数据标准化管理与共享方法及系统，其基于数据标准管理、元数据管理、数据质量管理、数据安全管理及任务管理多组件支撑，并以数据资产目录为核心进行数据的统筹管理，为使用者提供快速、标准化、安全的数据服务。具体流程包括目录标准维护、资产元数据维护、元数据质量稽核、数据资产目录信息拼接、目录条目公开设置、数据资产目录使用、数据安全策略维护以及数据共享服务。该方法的重点是采用数据资产目录的方式实现数据标准化与共享，属于普适性的数据管理技术，但其未解决针对人工智能业务，如何从海量电网调控数据中进行样本数据集的生成、统一管理和共享。

再如中国专利申请CN112800100A，提供了一种数据资产标签管理系统及方法，其对数据资源进行标签管理，具体内容包括数据资源通用协议适配器、数据资源管理模块、数据资产标签管理模块、数据资产标记模块以及数据资产维护模块。重点是通过数据资产标签的方式实现数据的分类管理，本发明中虽然也进行了标签标注，但本发明中标签标注的目的不是为了进行数据分类，而是基于调控业务的标签确定样本数据的分布特征，进而为后续样本数据集的生成奠定基础。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。

参见图6，本发明再一实施例中，提供一种调控云样本数据共享系统，能够用于实现上述的调控云样本数据共享方法，具体的，该调控云样本数据共享系统包括数据获取模块、特征提取模块、数据标注模块、数据集生成模块及共享模块。

其中，数据获取模块用于获取各调控业务的调控数据；特征提取模块用于依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的样本数据；数据标注模块用于根据各调控业务预设的标签及标签判断规则，依次标注各调控业务的样本数据，得到各调控业务的样本数据的标签；数据集生成模块用于基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；共享模块用于根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享。

在一种可能的实施方式中，所述特征提取模块依次将各调控业务的调控数据进行关联分析和特征提取的具体方法为：通过主成分分析法、关联规则分析法、属性简约法或互信息法，依次将各调控业务的调控数据进行特征提取。

在一种可能的实施方式中，该调控云样本数据共享系统还包括数据集集成模块，用于获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

在一种可能的实施方式中，该调控云样本数据共享系统还包括数据集评估模块，用于通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，并修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。

在一种可能的实施方式中，所述预设的样本数据集评估方法为k折交叉验证法、留出法或自助法。

在一种可能的实施方式中，所述共享模块根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享的具体方法为：根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

在一种可能的实施方式中，该调控云样本数据共享系统还包括统一权限管理模块，用于预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

前述的调控云样本数据共享方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明施例中的调控云样本数据共享系统所对应的功能模块的功能描述，在此不再赘述。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于调控云样本数据共享方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关调控云样本数据共享方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (12)

1.一种调控云样本数据共享方法，其特征在于，包括：

获取各调控业务的调控数据；

依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据；

依次将各调控业务的处理数据，根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据；

基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；

根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享；

所述根据各调控业务的样本数据集，生成样本数据资源目录前，还包括：

通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；

当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。

2.根据权利要求1所述的调控云样本数据共享方法，其特征在于，所述依次将各调控业务的调控数据进行关联分析和特征提取包括：

通过主成分分析法、关联规则分析法、属性简约法或互信息法，依次将各调控业务的调控数据进行关联分析和特征提取。

3.根据权利要求1所述的调控云样本数据共享方法，其特征在于，所述根据各调控业务的样本数据集，生成样本数据资源目录前，还包括：

获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；

获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

4.根据权利要求1所述的调控云样本数据共享方法，其特征在于，所述预设的样本数据集评估方法为k折交叉验证法、留出法或自助法。

5.根据权利要求1所述的调控云样本数据共享方法，其特征在于，所述根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享包括：

根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；

以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；

将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

6.根据权利要求1所述的调控云样本数据共享方法，其特征在于，还包括：

预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；

在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

7.一种调控云样本数据共享系统，其特征在于，包括：

数据获取模块，用于获取各调控业务的调控数据；

特征提取模块，用于依次将各调控业务的调控数据进行关联分析和特征提取，得到各调控业务的处理数据；

数据标注模块，用于依次将各调控业务的处理数据，根据各调控业务预设的标签及标签判断规则进行标签标注，得到各调控业务的样本数据；

数据集生成模块，用于基于各调控业务的样本数据的标签，结合预设的各调控业务需求和数据分布特征需求，依次抽取各调控业务的人工智能模型训练所需样本数据，得到各调控业务的样本数据集；

共享模块，用于根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享；

还包括数据集评估模块，用于通过预设的样本数据集评估方法，评估各调控业务的样本数据集，得到各调控业务的样本数据集的评估结果；当当前调控业务的当前样本数据集的评估结果不符合预设的评估要求时，修改当前调控业务的当前样本数据集的数据分布特征需求，并根据当前调控业务的当前样本数据集修改后的数据分布特征需求，结合预设的当前调控业务需求，抽取当前调控业务的样本数据，更新当前调控业务的当前样本数据集。

8.根据权利要求7所述的调控云样本数据共享系统，其特征在于，还包括数据集集成模块，用于获取当前调控业务的需求，并根据当前调控业务的需求获取第三方样本数据集，将第三方样本数据集集成在当前调控业务的样本数据集中；获取当前调控业务的历史样本数据集，将当前调控业务的历史样本数据集集成在当前调控业务的样本数据集中。

9.根据权利要求7所述的调控云样本数据共享系统，其特征在于，所述共享模块根据各调控业务的样本数据集，生成样本数据资源目录，并通过样本数据资源目录，进行调控云样本数据共享包括：根据各调控业务的样本数据集，通过预设的分类方法生成树状结构的样本数据资源目录；以web页面的方式，提供样本数据资源目录、样本数据集和样本数据集内样本数据的浏览、检索、上传以及下载；将样本数据资源目录、样本数据集以及样本数据集内样本数据的后端查询和获取服务，以服务接口的方式注册到调控云服务总线。

10.根据权利要求7所述的调控云样本数据共享系统，其特征在于，还包括统一权限管理模块，用于预设样本数据资源目录、样本数据集以及样本数据集内样本数据的操作权限；并在通过样本数据资源目录，进行调控云样本数据共享时，获取当前用户的操作权限，根据当前用户的操作权限，进行样本数据资源目录、样本数据集以及样本数据集内样本数据的共享权限管理。

11.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述调控云样本数据共享方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述调控云样本数据共享方法的步骤。

Images