CN115564709A - 一种对抗场景下电力算法模型鲁棒性的评估方法和系统 - Google Patents

Abstract

本发明提供了一种对抗场景下电力算法模型鲁棒性的评估方法和系统，包括：获取电力算法模型生成的电力巡检场景中的对抗场景图像；基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；本发明根据要进行评估的对抗场景图像，选择对应场景的对抗鲁棒性计算公式进行模型鲁棒性评估，提高了模型鲁棒性评估的准确性；本发明通过几何变换和像素变换对异常样本进行扩充，扩大了测试集范围，使测试集能覆盖典型的电力巡检场景。

Description

一种对抗场景下电力算法模型鲁棒性的评估方法和系统

技术领域

本发明属于电力算法模型研究技术领域，具体为一种对抗场景下电力算法模型鲁棒性的评估方法和系统。

背景技术

目前，在机器学习模型的性能、稳定性、使用价值方面都有一定的探索，然而尚没有相关文献对机器学习模型质量的概念进行定义和详细的描述分析；另外，安全性方面的研究，多集中在对抗样本构造和防御方法上，对鲁棒性的测评上存在一定空白。

在国网电力巡检场景的人工智能模型评测研究方面，多关注于模型的性能指标。而鲁棒性作为模型评测的重点指标之一，鲁棒性能够表征模型在异常、攻击数据下仍能保持正确输出的能力，事关数据的安全与稳定，是模型能否落地及落地后能否稳定运行的重要指标。而现在对电力巡检场景模型鲁棒性的深入研究较少。申请号为202111281411.9的发明提出了一种对电力巡检场景人工智能算法模型的评估方法，该发明利用电力巡检场景的原始电力数据建立定制化评测指标，在对抗与对抗场景中对电力算法模型鲁棒性进行评测。该发明虽然能够对电力巡检场景人工智能算法模型的鲁棒性进行评测，但存在场景囊括范围不全面、鲁棒性评估准确率不高等问题。

发明内容

为克服上述电力巡检场景人工智能算法模型中场景囊括范围不全面、鲁棒性评估准确率不高等不足，本发明提出一种对抗场景下电力算法模型鲁棒性的评估方法，包括：

获取电力算法模型生成的电力巡检场景中的对抗场景图像；

基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

优选的，所述基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值，包括：

对所述对抗场景图像进行异常情形归纳分类；

将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

通过对各测评指标进行二次筛选，得到各测评指标值；

其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。

优选的，所述对所述对抗场景图像进行异常情形归纳分类，包括：

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。

优选的，所述电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式。

优选的，所述基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标，包括：

基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；

将所述模型的性能评估指标作为各测评指标；

其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差、平均绝对误差、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种。

优选的，所述对各测评指标进行二次筛选，得到各测评指标值，包括：

依据电力巡检对抗场景，对各测评指标进行定性筛选；

基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；

其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。

优选的，所述电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；

基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

优选的，对所述异常样本进行扩充的方式，包括：基础数据增强和自动数据增强；

所述基础数据增强，包括几何变换和像素变换；

所述自动数据增强，包括基于提升方法集成学习的优化交叉混合自动化数据增强技术。

优选的，所述几何变换，包括翻转、平移、剪切、旋转和缩放中的一种或多种；

所述像素变换，包括增加高斯模糊、增加高斯噪声、滤波、变换通道、调节图像的亮度、图像锐化、调节图像对比度中的一种或多种。

优选的，所述通过对所述各测评指标值进行功效系数转换，确定各测评指标权重，包括：

将各测评指标与电力巡检对抗场景进行对应，并采用功效系数转换法对所述各测评指标值进行转换，得到各测评指标权重。

优选的，所述电力巡检场景，包括电力小部件识别、输电电路巡检、绝缘子缺陷和导线缺陷中的一种或多种。

基于同一发明构思，本发明还提供了一种对抗场景下电力算法模型鲁棒性的评估系统，包括：获取模块、计算模块、权重模块和评估模块；

所述获取模块，用于获取电力算法模型生成的电力巡检场景中的对抗场景图像；

所述计算模块，用于基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

所述权重模块，用于通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

所述评估模块，用于基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

优选的，所述计算模块，包括：分类子模块、输入子模块、计算子模块和筛选子模块；

所述分类子模块，用于对所述对抗场景图像进行异常情形归纳分类；

所述输入子模块，用于将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

所述计算子模块，用于基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

所述筛选子模块，用于通过对各测评指标进行二次筛选，得到各测评指标值；

其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。

优选的，所述分类子模块，具体用于：

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。

优选的，所述计算模块中电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式。

优选的，所述计算子模块，具体用于：

基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；

将所述模型的性能评估指标作为各测评指标；

其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差、平均绝对误差、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种。

优选的，所述筛选子模块，具体用于：

依据电力巡检对抗场景，对各测评指标进行定性筛选；

基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；

其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。

优选的，所述评估模块中电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；

基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

优选的，电力巡检场景下算法模型鲁棒性评价指标体系的构建过程中，对所述异常样本进行扩充的方式，包括：基础数据增强和自动数据增强；

所述基础数据增强，包括几何变换和像素变换；

所述自动数据增强，包括基于提升方法集成学习的优化交叉混合自动化数据增强技术。

优选的，所述几何变换，包括翻转、平移、剪切、旋转和缩放中的一种或多种；

所述像素变换，包括增加高斯模糊、增加高斯噪声、滤波、变换通道、调节图像的亮度、图像锐化、调节图像对比度中的一种或多种。

优选的，所述权重模块，具体用于：

将各测评指标与电力巡检对抗场景进行对应，并采用功效系数转换法对所述各测评指标值进行转换，得到各测评指标权重。

优选的，所述电力巡检场景，包括电力小部件识别、输电电路巡检、绝缘子缺陷和导线缺陷中的一种或多种。

与最接近的现有技术相比，本发明具有的有益效果如下：

1、本发明提供了一种对抗场景下电力算法模型鲁棒性的评估方法和系统，包括：获取电力算法模型生成的电力巡检场景中的对抗场景图像；基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种；本发明根据要进行评估的对抗场景图像，选择对应的电力巡检场景对抗鲁棒性计算公式进行电力算法模型鲁棒性评估，提高了电力算法模型鲁棒性评估的准确性；

2、本发明通过几何变换和像素变换对异常样本进行扩充，扩大了测试集的范围，使测试集能够覆盖典型的电力巡检场景。

附图说明

图1为本发明提供的一种对抗场景下电力算法模型鲁棒性的评估方法流程示意图；

图2为本发明提供的一种对抗场景下电力算法模型鲁棒性的评估方法的设计流程图；

图3为本发明提供的一种对抗场景下电力算法模型鲁棒性的评估系统基本结构示意图。

具体实施方式

本发明为实现一种对抗场景下电力算法模型鲁棒性的评估的方法，进行了如下的技术研究：

一：针对对抗异常样本生成技术的评测：

(1)针对现有电力巡检图像识别典型场景模型鲁棒性评测缺失，难以鉴别模型落地可用性的现状，研究对抗场景下的“合理性”异常评测技术；

(2)引入面向电力巡检图像识别场景的基于旋转、裁切、增加高斯噪声等基础数据增强技术；

(3)研究基于提升方法(Boosting)集成学习的优化自动数据增强(AutoAugment)交叉混合方法；

(4)分析电力巡检特定场景的应用，实现在定义搜索空间的数据集自动扩充。

二：针对抗鲁棒性技术研究的评测：

(1)针对“合理性”异常下的对抗鲁棒性评测：基于各交叉混合增强型异常样本生成技术构建的异常数据集，通过计算模型对正常图像输入和包含异常图像输入时的准确率；

(2)依据对抗鲁棒性计算公式，评估电力巡检各子场景模型的鲁棒性指标；

(3)结合功效系数法等处理指标，依据电力场景特性研究确定不同数据集的评测指标权重；

(4)综合形成对抗鲁棒性度量指标并对电力巡检场景算法模型进行评测。

在上述的两项研究的基础上，需要对关键技术进行脚本开发，建设鲁棒性检测能力；主要包括模型数据管理、模型调用测试和模型评估分析三个主要功能；且能够针对的电力巡检场景，包括电力小部件识别、输电电路巡检、绝缘子缺陷和导线缺陷中的一种或多种。

基于对上述研究和要求，提出了一种对抗场景下电力算法模型鲁棒性的评估的方法。

下面结合附图对本发明的具体实施方式做进一步的详细说明。

实施例1：

本发明提供的一种对抗场景下电力算法模型鲁棒性的评估方法，其流程示意图如图1所示，包括：

步骤1：获取电力算法模型生成的电力巡检场景中的对抗场景图像；

步骤2：基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

步骤3：通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

步骤4：基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

需要说明的是：在评估生成式对抗网络方面，通常需借助人工来检验生成图像的保真度，是定性指标，主观性较强。

基于前述研究，要实现电力巡检场景下算法模型鲁棒性评价，首先需要建立一套算法模型鲁棒性评价指标体系。

所述电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

其中，对所述异常样本进行扩充的方式，包括：基础数据增强和自动数据增强；

所述基础数据增强，包括几何变换和像素变换；

所述几何变换，包括翻转、平移、剪切、旋转和缩放中的一种或多种；

所述像素变换，包括增加高斯模糊、增加高斯噪声、滤波、变换通道、调节图像的亮度、图像锐化、调节图像对比度中的一种或多种。

所述自动数据增强，包括基于提升方法集成学习的优化交叉混合自动化数据增强技术。

基于扩充后的异常样本，通过异常样本数据生成算法自动选择策略，生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集，使测试集能覆盖典型的电力系统场景；

基于所述测试集，针对电力系统的不同场景，使用相应场景的测试集对电力系统算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

步骤2具体包括：

2.1对所述对抗场景图像进行异常情形归纳分类；

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值(即正常样本应在对应空间成集群分布，远离群体的孤立点对应于异常样本)，和对抗场景图像属性间匹配关系的异常数值(即样本某些属性间的关系，应满足某种规律，相应关系明显背离这种规律的样本即为异常样本)中的一种或多种。

2.2将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

对抗场景下的“合理性”异常需要结合具体模型应用场景分析异常情形，将异常情形进行归纳分类，分为图片分类场景和数值分类场景，且总结合理异常数据通常会利用数据集构建一个生成器，然后在生成器所学习到的概率分布上进行随机取样，得到虚拟的异常数据；

所述生成器，基于公开数据集和国网数据集中的对抗场景图像异常样本进行构建、训练和测试。

2.3基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

所述电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式；

基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；

将所述模型的性能评估指标作为各测评指标；

其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差(MSE)、平均绝对误差(MAE)、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种；

所述异常数据的准确率、精确率和召回率，为通过分类模型的对抗鲁棒性计算公式计算得到的模型的性能评估指标；

所述异常数据的MSE和MAE，为通过聚类模型的对抗鲁棒性计算公式计算得到的模型的性能评估指标；

所述异常数据的调整兰德系数、调整互信息、轮廓系数和杰卡德系数，为通过回归模型的对抗鲁棒性计算公式计算得到的模型的性能评估指标；

对于分类模型，所述分类模型的对抗鲁棒性计算公式，按下式表示：

式中，robustness_1为分类模型的第一类鲁棒性(即对抗场景下的鲁棒性)的度量指标，test_acc为模型在正常数据样本下的识别正确率，abnormal_acc为模型在异常数据样本下的识别正确率；

由上式获得模型对正常输入和包含异常输入时的准确率，然后评估电力算法模型的鲁棒性。robustness_1越小，代表鲁棒性越好，将其转化为极大型指标，然后用功效系数法转换为[0,10]之间：

式中，D’_ij为robustness_1，M’_j为标取值的极大值，m’_j为标取值的极小值，c、d均为已知正常数，D^* _ij为最终的鲁棒性指标，且此值越高代表模型的鲁棒性越高。

对于聚类模型，可以用调整兰德系数进行评估，例如指标可设计为：

式中，robustness₁为聚类模型的第一类鲁棒性(即对抗场景下的鲁棒性)的度量指标，其中test_ARI为模型在正常数据下的调整兰德系数，abnormal_ARI为模型在异常数据下的调整兰德系数。

对于回归模型，可以用平均绝对误差来评估，例如指标可设计为：

式中，test_MAE为模型在正常数据下的平均绝对误差，test_MAE为模型在异常数据下的平均绝对误差。

测评时根据各场景不同异常样本的出现频率和重要程度，为测评结果附加权值，得到最终的鲁棒性评测结果。

2.4通过对各测评指标进行二次筛选，得到各测评指标值；

依据电力巡检对抗场景，对各测评指标进行定性筛选；

基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；

其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。

步骤3具体包括：

将各测评指标与电力巡检对抗场景进行对应，并采用功效系数转换法对所述各测评指标值进行转换，得到各测评指标权重。

如图2为在本实施例的设计流程图，包括理论研究、初始构建、定性筛选、再次筛选、效果检测和结果分析；

其中，理论研究通过研究文献和与专家咨询实现；

评价指标体系的初始构建，通过层次分析法构建；

之后对具体场景，进行观察并筛选实现定性筛选；

通过去除冗余、矛盾、低显著性水平的指标完成再次筛选；

随后利用因子分解法(本发明使用的是因子分解法中的二次筛选)进行效果检测，并进行结果分析。

与现有技术相比，本发明的有益效果是：

1.首先从公开数据集和国网数据集中分割出异常样本，然后使用异常样本扩充技术，包括旋转、剪切、增加高斯噪声、色彩变换等数据增强方法；并通过基本的对抗异常样本生成技术，包括几何变换和像素变换，即翻转、平移、剪切、旋转和缩放，增加高斯模糊等图像增强方法，通过变换原有的图像数据生成新的数据来扩大测试集，使测试集能够覆盖典型的电力巡检场景。

2.通过异常样本数据生成算法自动选择策略，生成不同场景下的合理异常数据；并针对电力系统的不同场景，使用相应场景的数据集对电力系统算法模型进行目标测试；测试时根据各场景不同异常样本的出现频率和重要程度，为测试结果附加权值，得到最终的鲁棒性测试结果，提高了电力算法模型鲁棒性评估的准确性。

实施例2：

基于同一发明构思，本发明还提供了一种对抗场景下电力算法模型鲁棒性的评估系统，其基本结构示意图如图3所示，包括：获取模块、计算模块、权重模块和评估模块；

所述获取模块，用于获取电力算法模型生成的电力巡检场景中的对抗场景图像；

所述计算模块，用于基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

所述权重模块，用于通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

所述评估模块，用于基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

优选的，所述计算模块，包括：分类子模块、输入子模块、计算子模块和筛选子模块；

所述分类子模块，用于对所述对抗场景图像进行异常情形归纳分类；

所述输入子模块，用于将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

所述计算子模块，用于基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

所述筛选子模块，用于通过对各测评指标进行二次筛选，得到各测评指标值；

其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。

优选的，所述分类子模块，具体用于：

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。

优选的，所述计算模块中电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式。

优选的，所述计算子模块，具体用于：

基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；

将所述模型的性能评估指标作为各测评指标；

其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差、平均绝对误差、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种。

优选的，所述筛选子模块，具体用于：

依据电力巡检对抗场景，对各测评指标进行定性筛选；

基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；

其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。

优选的，所述评估模块中电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；

基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

优选的，电力巡检场景下算法模型鲁棒性评价指标体系的构建过程中，对所述异常样本进行扩充的方式，包括：基础数据增强和自动数据增强；

所述基础数据增强，包括几何变换和像素变换；

所述自动数据增强，包括基于提升方法集成学习的优化交叉混合自动化数据增强技术。

优选的，所述几何变换，包括翻转、平移、剪切、旋转和缩放中的一种或多种；

所述像素变换，包括增加高斯模糊、增加高斯噪声、滤波、变换通道、调节图像的亮度、图像锐化、调节图像对比度中的一种或多种。

优选的，所述权重模块，具体用于：

将各测评指标与电力巡检对抗场景进行对应，并采用功效系数转换法对所述各测评指标值进行转换，得到各测评指标权重。

优选的，所述电力巡检场景，包括电力小部件识别、输电电路巡检、绝缘子缺陷和导线缺陷中的一种或多种。

本发明根据要进行评估的对抗场景图像，选择对应的电力巡检场景对抗鲁棒性计算公式进行电力算法模型鲁棒性评估，提高了电力算法模型鲁棒性评估的准确性；本发明通过几何变换和像素变换对异常样本进行扩充，扩大了测试集的范围，使测试集能够覆盖典型的电力巡检场景。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。

Claims (15)

1.一种对抗场景下电力算法模型鲁棒性的评估方法，其特征在于，包括：

获取电力算法模型生成的电力巡检场景中的对抗场景图像；

基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

2.如权利要求1所述的方法，其特征在于，所述基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值，包括：

对所述对抗场景图像进行异常情形归纳分类；

将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

通过对各测评指标进行二次筛选，得到各测评指标值；

其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。

3.如权利要求2所述的方法，其特征在于，所述对所述对抗场景图像进行异常情形归纳分类，包括：

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。

4.如权利要求2所述的方法，其特征在于，所述电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式。

5.如权利要求4所述的方法，其特征在于，所述基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标，包括：

基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；

将所述模型的性能评估指标作为各测评指标；

其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差、平均绝对误差、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种。

6.如权利要求2所述的方法，其特征在于，所述对各测评指标进行二次筛选，得到各测评指标值，包括：

依据电力巡检对抗场景，对各测评指标进行定性筛选；

基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；

其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。

7.如权利要求1所述的方法，其特征在于，所述电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；

基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

8.如权利要求7所述的方法，其特征在于，对所述异常样本进行扩充的方式，包括：基础数据增强和自动数据增强；

所述基础数据增强，包括几何变换和像素变换；

所述自动数据增强，包括基于提升方法集成学习的优化交叉混合自动化数据增强技术。

9.如权利要求8所述的方法，其特征在于，所述几何变换，包括翻转、平移、剪切、旋转和缩放中的一种或多种；

所述像素变换，包括增加高斯模糊、增加高斯噪声、滤波、变换通道、调节图像的亮度、图像锐化、调节图像对比度中的一种或多种。

10.如权利要求1所述的方法，其特征在于，所述通过对所述各测评指标值进行功效系数转换，确定各测评指标权重，包括：

将各测评指标与电力巡检对抗场景进行对应，并采用功效系数转换法对所述各测评指标值进行转换，得到各测评指标权重。

11.如权利要求1所述的方法，其特征在于，所述电力巡检场景，包括电力小部件识别、输电电路巡检、绝缘子缺陷和导线缺陷中的一种或多种。

12.一种对抗场景下电力算法模型鲁棒性的评估系统，其特征在于，包括：获取模块、计算模块、权重模块和评估模块；

所述获取模块，用于获取电力算法模型生成的电力巡检场景中的对抗场景图像；

所述计算模块，用于基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；

所述权重模块，用于通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；

所述评估模块，用于基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；

所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。

13.如权利要求12所述的系统，其特征在于，所述计算模块，包括：分类子模块、输入子模块、计算子模块和筛选子模块；

所述分类子模块，用于对所述对抗场景图像进行异常情形归纳分类；

所述输入子模块，用于将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；

所述计算子模块，用于基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；

所述筛选子模块，用于通过对各测评指标进行二次筛选，得到各测评指标值；

其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。

14.如权利要求13所述的系统，其特征在于，所述分类子模块，具体用于：

对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；

其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；

所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。

15.如权利要求12所述的系统，其特征在于，所述评估模块中电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：

基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；

基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；

基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；

基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评价指标体系。

Images