CN114139601A

CN114139601A - 一种对电力巡检场景人工智能算法模型的评估方法及系统

Info

Publication number: CN114139601A
Application number: CN202111281411.9A
Authority: CN
Inventors: 周春雷; 陈相舟; 刘文立; 刘文思; 史昕; 李洋; 宋金伟; 李晓燕
Original assignee: Big Data Center Of State Grid Corp Of China
Current assignee: Big Data Center Of State Grid Corp Of China
Priority date: 2021-11-01
Filing date: 2021-11-01
Publication date: 2022-03-04

Abstract

本发明提供了一种对电力巡检场景人工智能算法模型的评估方法及系统，包含以下步骤：对获取的原始电力数据进行处理，得到原始样本和噪声样本；采用集成学习算法对所述原始样本进行处理得到非对抗样本，并采用生成式对抗网络对所述噪声样本进行处理得到对抗样本；基于所述非对抗样本和对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景和对抗场景下的度量指标；基于所述非对抗场景和对抗场景下的度量指标对电力巡检场景下的人工智能算法模型鲁棒性进行评估。利用电力巡检场景的原始电力数据建定制化评测指标，在非对抗与对抗场景中对电力算法模型鲁棒性进行评测，使评测标准更精确、更贴近电力巡检需要。

Description

一种对电力巡检场景人工智能算法模型的评估方法及系统

技术领域

本发明涉及电力人工智能领域，具体一种对电力巡检场景人工智能算法模型的评估方法及系统。

背景技术

现代电力系统呈现出复杂非线性、不确定性、时空差异性等特点，以高级机器学习、大数据、云计算为主要代表的新一代电力人工智能技术，具有应对高维、时变、非线性问题的强优化处理能力和强大学习能力，将会为突破以上技术瓶颈提供有效地解决途径。

传统的模式识别技术，已经无法满足新形势下的输电立体化巡检发展需求。因此，结合人工智能的输电线路巡检逐渐走入人们的视野。

目前，在模型的性能、稳定性、鲁棒性、使用价值方面都有一定的探索，然而目前相关文献对模型安全性方面的研究，多集中在对抗样本构造和防御方法上，对模型鲁棒性的测评上不够准确。

发明内容

为解决现有技术中对模型鲁棒性的测评不够准确的问题，本发明提供了一种对电力巡检场景人工智能算法模型的评估方法，包括：

对获取的原始电力数据进行处理，得到原始样本和噪声样本；

采用集成学习算法对所述原始样本进行处理得到非对抗样本，并采用生成式对抗网络对所述噪声样本进行处理得到对抗样本；

基于所述非对抗样本和对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景和对抗场景下的度量指标；

基于所述非对抗场景和对抗场景下的度量指标对电力巡检场景下的人工智能算法模型鲁棒性进行评估。

优选的，所述将原始电力数据作为原始数据样本利用集成学习算法生成非对抗样本，包括：

对所述原始样本采用一种策略生成异常样本；

将所述原始样本和上一种策略生成的异常样本带入下一种策略生成新的异常样本；

将所有策略生成的异常样本通过加权组合得到非对抗样本；

其中，所述策略包括：在全样本中加入噪声、在全样本中加入扰动、在部分样本中加入噪声和在部分样本中扰动。

优选的，所述基于所述非对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景下的度量指标，包括：

将非对抗样本中正常数据样本与异常数据样本分别输入到分类模型中得到所述模型中得到模型识别正确率；

基于所述模型识别正确率结合分类模型的鲁棒性度量指标计算式计算分类模型鲁棒性度量指标对分类模型的鲁棒性进行评估；

将非对抗样本中正常数据样本与异常数据样本分别输入到聚类模型中得到模型调整兰德系数；

基于所述模型调整兰德系数结合聚类模型的鲁棒性度量指标计算式计算聚类鲁棒性度量指标对聚类模型的鲁棒性进行评估；

将非对抗样本中正常数据样本与异常数据样本分别输入到回归模型中得到模型平均绝对误差；

基于所述模型平均绝对误差结合回归模型的鲁棒性度量指标计算式计算回归模型鲁棒性度量指标回归模型的鲁棒性进行评估；

其中，所述非对抗样本中包括：正常数据样本与异常数据样本。

优选的，所述分类模型的鲁棒性度量指标计算式，如下式所示：

式中，robustness₁表示非对抗场景下的鲁棒性，test_acc表示模型在正常数据样本下的识别正确率，abnormal_acc表示模型在异常数据样本下的识别正确率。

优选的，所述聚类模型的鲁棒性度量指标计算式，如下式所示：

式中，test_ARI表示模型在正常数据样本下的调整兰德系数，abnormal_ARI表示模型在异常数据样本下的调整兰德系数。

优选的，所述回归模型的鲁棒性度量指标计算式，如下式所示：

式中，test_MAE表示模型在正常数据下的平均绝对误差，abnormal_MAE表示模型在异常数据下的平均绝对误差。

优选的，所述基于噪声样本利用生成式对抗网络生成对抗数据样本，包括：

以所述噪声样本为所述对抗网络生成模型生成器的输入，生成样本为所述对抗网络生成模型生成器的输出；

以所述生成样本和原始样本为所述对抗网络生成模型判别器的输入，以真伪标签为所述对抗网络生成模型判别器的输出；

由所述真伪标签为和所述生成样本为训练集，训练得到对抗样本。

优选的，所述基于所述对抗样本采用对应的鲁棒性度量指标计算式如下式所示：

式中，Noise≠0，Noise表示对抗样本噪声，error_attack表示模型对对抗样本预测错误率，error_ini表示攻击成功率与原始预测错误率，Defense表示扰动和攻击成功率，α表示调节系数。

基于同一发明构思本发明还提供了一种对电力巡检场景人工智能算法模型的评估系统，其特征在于，包括：

样本获取模块，用于对获取的原始电力数据进行处理，得到原始样本和噪声样本；

样本处理模块，用于采用集成学习算法对所述原始样本进行处理得到非对抗样本，并采用生成式对抗网络对所述噪声样本进行处理得到对抗样本；

度量指标计算模块，用于基于所述非对抗样本和对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景和对抗场景下的度量指标；

评估模块，用于基于所述非对抗场景和对抗场景下的度量指标分别对非对抗场景和对抗场景下的模型鲁棒性进行评估。

优选的，所述度量指标计算模块，包括：

非对抗场景度量指标计算子模块，用于基于所述非对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景下的度量指标；

对抗场景度量指标计算子模块，用于基于所述对抗样本采用对应的鲁棒性度量指标计算式计算得到对抗场景下的度量指标。

与现有技术相比，本发明的有益效果为：

附图说明

图1为本发明中一种对电力巡检场景人工智能算法模型的评估方法流程图；

图2为本发明实施例中基于Boosting集成策略生成非对抗异常样本流程图；

图3为发明实施例中利用生成式对抗网络生成对抗样本流程图。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

实施例1

本发明提出了一种对电力巡检场景人工智能算法模型的评估方法，如图1所示，所述方法包括以下步骤：

步骤1：对获取的原始电力数据进行处理，得到原始样本和噪声样本；

步骤2：采用集成学习算法对所述原始样本进行处理得到非对抗样本，并采用生成式对抗网络对所述噪声样本进行处理得到对抗样本；

步骤3：基于所述非对抗样本和对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景和对抗场景下的度量指标；

步骤4：基于所述非对抗场景和对抗场景下的度量指标分别对非对抗场景和对抗场景下的模型鲁棒性进行评估。

对以上步骤进行具体解释：

步骤1：对获取的原始电力数据进行处理，得到原始样本和噪声样本，包括：

获取电力巡检场景下各种电力数据进行处理得到原始样本和噪声样本。

在步骤2之前还包括，建立人工智能算法模型评估的基础指标，包括：

正确性指标，包括：采用测试集对机器学习模型功能进行测试，测量机器学习模型的数据精度的满足性、模型设计的正确性、代码实现的正确性、计算结果的正确性等测量元。针对不同任务，主要依据数据集基准，采用不同测量方式进行测量。

效率指标，包括：时间效率，指机器学习模型训练的计算量或计算复杂度等。在指定实验条件下，对机器学习模型及系统，采用不同规模的训练集进行多次训练，统计不同数据量下训练收敛时间、训练单轮的平均耗时以及模型的预测响应时间。

时间效率也指机器学习模型测试的计算量或计算复杂度等。在指定实验条件下，对机器学习模型及系统进行多次测试，统计单个数据处理的平均耗时。

空间效率，指机器学习模型训练的存储量或空间算复杂度(以字节为单位)等。在指定实验条件下，对机器学习模型及系统，采用不同规模的训练集，进行多次系统训练，统计不同数据量下训练过程的最大存储(内存/显存/硬盘等)占用、平均存储占用、最大带宽(硬盘吞吐、网络流量等)占用、平均带宽占用、最大计算资源(CPU(中央处理器)、GPU(图形处理器)等)占用、平均计算资源占用等以及上述指标随数据规模变化的曲线。

空间效率也指机器学习模型测试的存储量或空间算复杂度(以Byte(字节)为单位)等。在指定实验条件下，对机器学习模型及系统，进行多次系统测试，统计单个数据处理的平均最大存储占用、平均存储占用、最大带宽占用、平均带宽占用、最大计算资源占用、平均计算资源占用等。资源消耗也采用模型测试的存储量或空间复杂度等方式评价。

鲁棒性，在下文中具体说明。

稳定性，指模型在不同数据集上的预测能力是否稳定，这里我们采用群体稳定性PSI，测量方法与指标计算如下表所示：

复杂性，机器学习模型的复杂性越低越好，但是如果模型的复杂性太低，模型结构太过简单，那么模型就很难处理较为复杂的问题；若是模型复杂度太高，模型就容易过度拟合训练集数据，出现过拟和现象。所以在模型的训练过程中，对于模型的复杂度应该有一个良好的把控。

模型的复杂度通常会由模型的参数个数，模型深度会决定模型的复杂度大小，并且取决于模型运行所用的硬件资源。模型的参数个数、模型深度越小，代表模型的复杂度越小。本项目中复杂性只针对神经网络模型。

安全性测试主要包括数据安全性和模型安全性。如果预测数据和训练数据不属于相同分布，模型就不能正常的发挥作用。如何使模型正确应对非正常的测试数据就是数据安全性。模型安全性则是指保护经过训练的模型的结构和参数不泄露。

数据安全性，指在机器学习系统中，预测数据需要与用户交互。因此，预测数据也容易受到未知恶意样本的攻击。测试机器学习系统对这些攻击的抵抗能力就是数据安全性测试。而测试的方法就是攻击机器学习系统的预测数据，然后查看机器学习系统的性能受影响程度。数据安全性常用指标为Poisoning攻击正确率。

模型安全性经过训练的模型是机器学习系统对核心竞争力，它的安全性十分重要。通常，训练模型包括三种类型的数据资产：1、模型，如传统的机器学习和神经神经网络；2、超参数，设计了训练算法的结构如网络层数和神经元个数；3、参数，为多层神经网络中一层到另一层的计算系数。模型安全性测试就是在攻击机器学习系统的同时查看机器学习系统的性能受影响程度。模型安全性常用指标为FGSM(快速梯度下降法)攻击正确率和PGD(胚胎植入前遗传学诊断/筛查)攻击正确率。

步骤2：采用集成学习算法对所述原始样本进行处理得到非对抗样本，并采用生成式对抗网络对所述噪声样本进行处理得到对抗样本，包括：

采用基于Boosting集成策略的非对抗异常样本生成技术，并对策略的组成进行优化，不局限于几种方法统一简单的组合，通过计算权重增大交叉混合策略的可用性与时间效率，再通过研究电力系统场景下的策略共同点，缩小优秀策略的范围，最后形成新的策略如图2所示，得到非对抗样本。

对抗样本生成，包括：由于，大多模型结构是未知的。在这种情况下，模型通常扮演纯黑盒的角色，亟需研究针对黑盒攻击的对抗样本生成算法。目前黑盒攻击常用的算法是Single Pixel(单象元)算法。但是Single Pixel(单象元)实现攻击是通过不限制修改强度实现的，而且当图像尺寸越大时，效果越差，若想找到较好的解，则需要足够的迭代次数。因此我们提出电力巡检场景下的GAN(生成式对抗网络)网络对抗样本生成算法，GAN(生成式对抗网络)是一种通过对抗过程估计生成模型的框架。框架中同时训练两个模型：捕获数据分布的生成模型G，和估计样本来自训练数据的概率的判别模型D，G的训练程序是将D错误的概率最大化。可以证明在任意函数G和D的空间中，存在唯一的解决方案，使得G重现训练数据分布，而D＝0.5。在G和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。生成式对抗网络在训练或生成样本期间，不需要任何马尔科夫链或展开的近似推理网络，回避了棘手的近似计算，如图3所示，图3中Generator表示生成器，Noise 2D Gaussian表示噪音(2D高斯函数)，Discriminator表示鉴别器，Real表示真，Fake表示假，Samples表示样本，Prediction of samples表示预测样本，Gradients表示梯度。

具体步骤包括：

1.for训练迭代次数：

2.for每次迭代步数：

3.从噪音分布中取出m个噪音样本{z⁽¹⁾,z⁽²⁾,…,z^(m)}；

4.从数据分布中取出m个数据样本{x⁽¹⁾,x⁽²⁾,…,x^(m)}；

5.利用随机梯度上升法更新判别器：

式中，D表示判别函数，G表示生成函数，θd表示判别网络参数，D(x)表示真实样本，D(G(z))表示伪造样本。

6.从噪音分布中取出m个噪音样本{z⁽¹⁾,z⁽²⁾,…,z^(m)}；

7.利用随机梯度下降法更新生成器G：

式中：θg表示生成网络参数，D(G(z))表示伪造样本。

步骤3：基于所述非对抗样本和对抗样本采用对应的鲁棒性度量指标计算式计算得到非对抗场景和对抗场景下的度量指标，包括：

在非对抗场景下，对于分类模型，使用基于第一类鲁棒性(即非对抗场景下的鲁棒性)的度量指标

其中test_acc表示模型在正常数据下的识别正确率，abnormal_acc表示模型在异常数据下的识别正确率。

对于聚类模型，可以用调整兰德系数进行评估，例如指标可设计为

其中test_ARI表示模型在正常数据下的调整兰德系数，abnormal_ARI表示模型在异常数据下的调整兰德系数。

对于回归模型，可以用平均绝对误差来评估，例如指标可设计为

其中test_MAE表示模型在正常数据下的平均绝对误差，test_MAE表示模型在异常数据下的平均绝对误差。

测评时根据各场景不同异常样本的出现频率和重要程度，为测评结果附加权值，得到最终的鲁棒性评测结果。

在对抗场景下，在“对抗样本生成”步骤，通过样本生成算法生成了大量合理的对抗样本，这些对抗样本和原始数据集可以作为算法模型的测试数据集，并且可以覆盖常见的电力系统场景。使用不同的场景的数据集对算法模型进行多场景测试，并且基于对抗场景下模型鲁棒性评测指标(如：平均结构相似度ASS、wasserstein距离(推土机距离))来评估对抗环境下算法的鲁棒性。

Wasserstein距离的公式为：

式中，p_r表示实际样本的数据分布，p_g表示生成器在数据上的分布，∏(p_r,p_g)是p_r和p_g之间所有可能的联合概率分布的集合。inf(infimum，也被称为下确界)表明我们只关心最短距离。通过对以上评测参数的确定，可将对抗条件下鲁棒性计算公式定义如下：

其中Noise≠0

公式中Defense表示扰动和攻击成功率，Noise表示对抗样本噪声，α为调节系数，error_ini表示攻击成功率与原始预测错误率，error_attack表示模型对对抗样本预测错误率。

步骤4：基于所述非对抗场景和对抗场景下的度量指标分别对非对抗场景和对抗场景下的模型鲁棒性进行评估，包括：

在非对抗场景中，对于分类模型，robustness₁越小，代表鲁棒性越好，将其转化为极大型指标，然后用功效系数法转换为[0,10]之间：D_ij′＝1-D_ij，

其中D_ij代表robustness₁，M_j′代表标取值的极大值，m_j′代表标取值的极小值，c、d均为已知正常数。得到最终的鲁棒性指标D_ij ^*，这个值越高代表模型的鲁棒性越高。

在对抗场景下，扰动越小且攻击成功率越高的对抗样本攻击是攻击者所追求的。在相同扰动情况下，攻击成功率越高，模型对攻击的防御能力越弱；在相同攻击成功率情况下，扰动越小的攻击，攻击强度越大，模型对该攻击的防御能力越强。

实施例2

基于同一发明构思，本发明还提供了一种对电力巡检场景人工智能算法模型的评估系统，包括：

度量指标计算模块，包括：

对抗场景度量指标计算子模块，用于基于基于所述对抗样本采用对应的鲁棒性度量指标计算式计算得到对抗场景下的度量指标。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。