CN109919921A - 基于生成对抗网络的环境影响程度建模方法 - Google Patents

Abstract

本发明属于图像质量评价领域，为提出一种应用生成对抗网络技术结合层次结构模型进而构建出一种不同环境不同程度的图像质量评价模型，提高电力图片识别的准确性，本发明，基于生成对抗网络的环境影响程度建模方法，步骤如下：第一步，进行电力图像样本的收集；第二步，训练生成对抗网络，对抗网络为卷积神经网络；第三步，根据得到的生成对抗网络生成的数据集构建层次结构模型；第四步，对实验数据进行分析，提升评价体系的准确度以及高效性。本发明主要应用于图像质量评价场合。

Description

基于生成对抗网络的环境影响程度建模方法

技术领域

本发明属于图像质量评价领域，涉及一种利用生成对抗网络的环境程度影响模型建立的方法。

背景技术

随着我国经济技术的飞速发展以及人民大众生活水平的日益提高，电力用户对电力能源的需求日益旺盛，对于供电的质量也越来越高。输电站作为电力系统的根源，起着至关重要的作用，直接关系到国民的用电问题乃至企业的发展。大规模的电力设备若出现误差将给国民经济带来无法估计的损失。因此，输电站的安全问题是关键问题之一。

近年来，输电站的安全检测的需要导致对于环境的条件越来越严格，恶劣的环境将直接影响输电站的各项设备的安全运行。环境的复杂多样使得每年的电力事故都有发生，严重威胁着电网的安全运行。自然天气影响是危及输电网络安全的主要问题之一。如何高效且有效的防范自然天气对图像检测困难所带来的危害是目前亟待解决的问题之一，对于整个电网正常运行起着至关重要的作用。

目前，对于电力图像样本的处理，主要有两种情况。一是基于无环境影响的数据样本少，二是基于带有环境影响的多负样本进行处理。前后两者均受制于外拍的天气环境影响，大概率情况下无法取得大量的无环境影响因素的电力图片样本。这样使得样本的采集既费时又费力，与此同时检测的结果难以保证准确性。随着神经网络、图像识别技术的飞速发展，利用特定技术生成所需要的样本数据已在很多领域得以应用，考虑到现阶段图像有很多质量评价体系，考虑到不同环境不同程度的影响，输电站建于山原丘陵地带处，天气环境多变，采用生成对抗网络技术，考察不同环境不同程度影响对图像质量评价的机制。

生成对抗网络技术是目前生成所需数据样本的新兴技术，采用生成网络生成所需数据样本，而判别器则对生成数据进行甄别，从而使得得到的样本集更加接近真实值^[1]。

基于图像质量评价体系依赖于生成对抗网络样本数据及的构建以及层次结构模型的建立。生成对抗网络提供了端到端的学习模型，训练后的生成对抗网络学习到图像的特征，能够较完善且完备的完成样本数据集的构建。相比于传统的图像生成法，生成对抗网络有着非常出色的特征提取以及特征学习能力，基于生成对抗网络所构建的数据集效果有显著效果提升^[2]。

因此，本文基于生成对抗网络不同环境不同影响程度建模的问题展开研究，利用基于生成对抗网络的图像生成技术对所需要的多种天气环境多种程度的负样本进行生成，进而在通过层次结构模型进行质量评价体系的构建，从而能够从侧面反映图像的质量。这样可以智能高效的进行模型的构建，为确保电力网络的正常运行提供了可靠保障，这种直观的评价体系有着非常重要的现实意义。

[1]Pan J,Ferrer C C,Mcguinness K,et al.SalGAN:Visual SaliencyPrediction with Generative Adversarial Networks[J].2017.

[2]Radford A,Metz L,Chintala S.Unsupervised Representation Learningwith Deep Convolutional Generative Adversarial Networks[J].Computer Science,2015。

发明内容

为克服现有技术的不足，本发明旨在提出一种应用生成对抗网络技术结合层次结构模型进而构建出一种不同环境不同程度的图像质量评价模型，以大大提高电力图片识别的准确性。为此，本发明采取的技术方案是，基于生成对抗网络的环境影响程度建模方法，步骤如下：

第一步，进行电力图像样本的收集，收集各种环境下的输电站的图片，并使用图像增强技术，得到能够进行训练，能够符合要求的数据集；

第二步，训练生成对抗网络，生成对抗网络本质都是卷积神经网络，采用步骤一得到的数据集训练生成网络，再将通过生成网络生成的数据集与原数据集训练对抗网络，最后达到纳什均衡，即对抗网络无法辨认生成网络的图像；

第三步，根据得到的生成对抗网络生成的数据集构建层次结构模型，根据步骤二所得到的最后的整体数据集不同环境不同程度构建层次结构模型，不同环境分为不同等级，对输入到此模型的负样本图像进行评价，从而建立一个评价体系；

第四步，对实验数据进行分析，提升评价体系的准确度以及高效性。

第二步中更进一步地，从不同环境的数据集中随机选择一张图片，将图片转化成向量，作为真实图像,记作x，将x作为判别网络的输入，经过判别网络后输入值为一个0到1之间的数，y用于表示输入图片为真实图像的概率，真实为1，生成为0；

使用得到的概率值计算损失函数，根据输入的图片类型是生成图像或真实图像将判别模型的输入数据的标签标记为0或者1；

判别模型的损失函数：

-((1-y)log(1-D(G(z)))+ylogD(x)

其中G(z)是生成模型输出，D(x)是判别模型输出；损失函数作为交叉熵损失函数，计算loss，进行梯度反传；

生成模型的损失函数:

(1-y)log(1-D(G(z)))

G(z)要取得同原数据集的数据分布，因此要最小化生成模型误差，这里将G(z)产生的误差传给生成模型，针对判别模型的预测结果，对梯度变化的方向进行改变，若是判别模型认为G(z)输出为真实数据集的时候和认为输出为噪声数据的时候，梯度更新方向要进行改变；

最终损失函数为:

其中即判别模型的预测类别，对预测概率调整，这里取0用于更改梯度方向，阈值设定为0.5。

第三步中更进一步具体地，构建层次结构模型；构建成对比较矩阵；层次单排序及一致性检验，即判断主观构建的成对比较矩阵在整体上是否有较好的一致性；层次总排序及一致性检验；

构建基于电力实测样本通过生成对抗网络生成的负样本评价数据库，考虑到本负样本数据集权重单一，判断的一致性直观，所以只需考虑以下的条件进行建立即可满足：

1.在层次模型中通过抽象高层要素，降阶判断矩阵；

2.使用层次分析法与聚类分析法相结合的方法来处理。

使用层次分析法与聚类分析法相结合的方法来处理具体是，先使用聚类分析法再使用层次分析法，能得到较好的评价结果，其中将每个天气类型中的每种程度的图像看作一个点，使用欧式距离表示同种天气类型中两张不同程度图像的联系，距离越小表明两张图像的程度越接近；之后通过所得到的聚类结果，结合层次分析法，设置每层不同天气不同程度的评价权重，最终确定整体模型。

本发明的特点及有益效果是：

本发明利用生成对抗网络的算法，设计了一种基于层次结构模型的电力图像质量评价体系。该评价体系以外拍的带有自然天气环境影响的图像为研究对象，对所得到的图像再度通过生成对抗网络得到一个包含不同环境不同程度的最终数据集，以此建立一个完善且高效的评价体系。

附图说明：

图1生成模型网络结构图。

图2电力图像不同天气不同程度评价模型。

图3无环境影响的原始图像。

图4五种不同程度的带有天气影响的环境图像。

a受小雨影响图像 b受中雨影响图像 c受大雨影响图像

d受暴雨影响图像 e受特大暴雨影响图像。

具体实施方式

本发明构建了一种新型的电力图像评价模型，通过以下几个步骤对其进行搭建和测试。

第一步，进行电力图像样本的收集。收集各种环境下的输电站的图片，并使用图像增强技术，得到能够进行训练，能够符合要求的数据集。

第二步，训练生成对抗网络。生成对抗网络本质都是卷积神经网络，采用步骤一得到的数据集训练生成网络，再将通过生成网络生成的数据集与原数据集训练对抗网络，最后达到纳什均衡，即对抗网络无法辨认生成网络的图像。

从不同环境的数据集中随机选择一张图片，将图片转化成向量，作为真实图像,记作x。

将x作为判别网络的输入，y作为经过判别网络后输入值为一个0到1之间的数，用于表示输入图片为真实图像的概率，真实为1，生成为0。

使用得到的概率值计算损失函数。根据输入的图片类型是生成图像或真实图像将判别模型的输入数据的标签标记为0或者1。

判别模型的损失函数：

-((1-y)log(1-D(G(z)))+ylogD(x)

损失函数作为交叉熵损失函数，计算loss，进行梯度反传。

生成模型的损失函数：

(1-y)log(1-D(G(z)))

G(z)要取得同原数据集的数据分布，因此要最小化生成模型误差，这里将G(z)产生的误差传给生成模型。针对判别模型的预测结果，对梯度变化的方向进行改变。若是判别模型认为G(z)输出为真实数据集的时候和认为输出为噪声数据的时候，梯度更新方向要进行改变。

最终损失函数为

其中即判别模型的预测类别，对预测概率调整，这里取0用于更改梯度方向，阈值设定为0.5。

第三步，根据得到的生成对抗网络生成的数据集构建层次结构模型。根据步骤二所得到的最后的整体数据集不同环境不同程度构建层次结构模型。不同环境分为不同等级，对输入到此模型的负样本图像进行评价，从而建立一个评价体系。

构建层次结构模型；构建成对比较矩阵；层次单排序及一致性检验(即判断主观构建的成对比较矩阵在整体上是否有较好的一致性)；层次总排序及一致性检验(检验层次之间的一致性)。

构建基于电力实测样本通过生成对抗网络生成的负样本评价数据库，考虑到本负样本数据集权重单一，判断的一致性直观，所以只需考虑以下的条件进行建立即可满足。

模型的建立基于以下两个条件：

1.在层次模型中通过抽象高层要素，降阶判断矩阵

2.使用层次分析法与聚类分析法相结合的方法来处理

若先使用聚类分析法再使用层次分析法，能得到较好的评价结果。其中将每个天气类型中的每种程度的图像看作一个点，使用欧式距离表示同种天气类型中两张不同程度图像的联系。距离越小表明两张图像的程度越接近，之后通过所得到的聚类结果，结合层次分析法，设置每层不同天气不同程度的评价权重，最终确定整体模型。

第四步，对实验数据进行分析，提升评价体系的准确度以及高效性。

为了更加清晰的阐述技术方案，步骤将结合具体的结构进行阐述。具体的方式由以下的步骤组成：

第一步，准备数据集。

(1)准备图片数据

将在输电站处使用机器采集的输电站带有天气影响的图片收集起来，根据图片中的不同的天气情况先进行划分，由于前期得到带有天气影响的图像数量少，且影响程度无法进行区分，先通过图像的几何变换增加图片数据的量，基于本发明的环境因素的影响所采用的是进行对比度变换以及噪声扰动。通过数据增强的方法扩张了数据集的范围。

(2)图像增强

考虑过在输电站所拍摄的数据量小的特点，为了提高生成对抗网络的准确性以及鲁棒性，现在对数据集进行数据增强。本文从五种自然图像的增强方法对采集到的数据集进行增强，其中S(i)作为输入端的图像，S(o)作为增强后的输出图像。

1)首先考虑图像噪声。选取高斯椒盐噪声以及高斯噪声这两种常见的图像噪声，加之采取不同的信噪比生成所需要的最初的数据集。其中N(θ)为噪声，θ为噪声参数。

S(o)＝S(i)+N(θ)

2)图像模糊化。选取均值滤波、高斯滤波以及运动模糊等常见滤波器，设定不同的参数得到经滤波器后的图像式中F(g)为滤波器，作为滤波器参数。

3)直方图均衡化。将原始图像的直方图通过积分概率密度函数转化为概率密度为1(理想情况)的图像，从而达到提高对比度的作用。直方图均衡化的实质也是一种特定区域的展宽，但是会导致整个图像向亮的区域变换。

根据以上几种常见的方案策略，先通过利用以上方案进行变换，实现最初部分数据集的数据增强，初步数据量为拍摄数据量的5倍。

第二步，训练生成对抗网络。

(1)前向传播阶段

本发明采用常用的反向回传作为误差修正算法，用于更新模型参数。其生成模型采用全卷积结构，图2为网络架构，图中括号内的数字中表示该卷积层卷积核的个数。网络中所有的卷积核大小均为4×4，步长设置为2。上采样和降采样的比例因数均为2，即卷积层对特征图像边长缩小一半，反卷积层对特征图像边长放大为一倍。解码器最后一层的卷积层使用Tanh函数，其特征图被映射为三通道的输出图像。

本发明中生成模型和判别模型使用的卷积层大多为卷积层后接批量归一化层(BatchNorm)与非线性运算激活单元(Rectified Linear Units，ReLu)形式的结构。将Dropout层Dropout率设置为50％。采用的ReLU为LeakyReLu激活函数，其系数设置为0.2。

其最后一层的卷积层使用S型生长曲线(Sigmoid)函数，其特征图被映射到一个一维的输出。

将上述得到的数据集，每次次随机选择一幅图像对，送入网络进行训练。训练过程中将batchsize设置为1。

首先，生成模型在训练中逐渐固定，对判别网络的权重加以更新以提升其鉴别、分类能力。生成器所生成的数据集放入到判别器中进行分类，就是判别器的作用，判别器要尽可能的辨别出生成网络的图片，即辨别真假(合成图片)。

然后，固定判别网络，生成模型中每生成一张天气环境影响因素图，就将该合成图与带有标签的真实的天气环境图在辨别器中进行区分，将判别模型的判别结果即生成图的误差回传至生成模型，更新生成模型权重，从而使得生成模型生成的数据能够更加接近于真实数据。

接下来，再固定生成模型，进行判别器训练。将合成图与基于标签的原始图像比较进行训练，分别判别生成图像各块的图像是否为真实图像，再取各块响应的平均值作为判别模型的最终输出。再固定判别模型，更新生成模型的权重。

如此反复，固定一方更行另一方的权重交替迭代，直到双方达到一个动态平衡。此时判别模型无法区分出哪一张是生成模型产生的合成图，可以认为生成模型产生了足够近似标签的环境影响图像。

生成模型经过与判别模型的反复对抗训练，努力生成与基于标签的不同环境不同程度的天气图像。将不同每种的天气分为五个等级，生成足够多的样本数据，可以将天气环境的特点更加显著的凸显出来，同时也足以满足各种情况下的质量评价。

第三步，构建层次机构模型。

图2所示为电力图像不同天气不同程度评价模型。这里第一层次就是数据集本身。这里指的是从生成对抗网络中生成的最终的带有标签的不同环境、不同程度的负样本图片。此时会混杂在一起。第二层次为不同天气情况的分类，这里列举最常见雨、雪、雾三种天气情况，实际情况还会包含沙尘、霜、冰雹等，具体的样本数据评价体系根据不同的天气具体调整。第三层为不同天气情况下的不同程度等级的情况，这里只是进行了五个等级的划分，若有必要的话，可进行更多等级的划分，基于实际情况，五个等级已经能够满足绝大部分情况下的等级分类。层次结构模型需要考虑权重的问题，因此这里将每一层的设置为相同的权重，从而可以不用考虑权重因素在这里的影响。

第四步，模型测试与效果评估。

训练完成后，将测试集的图像输入进训练好的生成模型中，得到网络预测出的不同环境不同程度的图像。

通过生成数据集的观察可以发现生成的数据集已经在每种天气情况下具备五种不同程度的天气情况。

Claims (4)

1.一种基于生成对抗网络的环境影响程度建模方法，其特征是，步骤如下：

第一步，进行电力图像样本的收集，收集各种环境下的输电站的图片，并使用图像增强技术，得到能够进行训练，能够符合要求的数据集；

第二步，训练生成对抗网络，生成对抗网络是卷积神经网络，采用步骤一得到的数据集训练生成网络，再将通过生成网络生成的数据集与原数据集训练对抗网络，最后达到纳什均衡，即对抗网络无法辨认生成网络的图像；

第三步，根据得到的生成对抗网络生成的数据集构建层次结构模型，根据步骤二所得到的最后的整体数据集不同环境不同程度构建层次结构模型，不同环境分为不同等级，对输入到此模型的负样本图像进行评价，从而建立一个评价体系；

第四步，对实验数据进行分析，提升评价体系的准确度以及高效性。

2.如权利要求1所述的基于生成对抗网络的环境影响程度建模方法，其特征是，第二步中更进一步地，从不同环境的数据集中随机选择一张图片，将图片转化成向量，作为真实图像,记作x，将x作为判别网络的输入，经过判别网络后输入值为一个0到1之间的数，y用于表示输入图片为真实图像的概率，真实为1，生成为0；

使用得到的概率值计算损失函数，根据输入的图片类型是生成图像或真实图像将判别模型的输入数据的标签标记为0或者1；

判别模型的损失函数：

-((1-y)log(1-D(G(z)))+ylogD(x)

其中G(z)是生成模型输出，D(x)是判别模型输出；损失函数作为交叉熵损失函数，计算loss，进行梯度反传；

生成模型的损失函数：

(1-y)log(1-D(G(z)))

G(z)要取得同原数据集的数据分布，因此要最小化生成模型误差，这里将G(z)产生的误差传给生成模型，针对判别模型的预测结果，对梯度变化的方向进行改变，若是判别模型认为G(z)输出为真实数据集的时候和认为输出为噪声数据的时候，梯度更新方向要进行改变；

最终损失函数为：

其中即判别模型的预测类别，对预测概率调整，这里取0用于更改梯度方向，阈值设定为0.5。

3.如权利要求1所述的基于生成对抗网络的环境影响程度建模方法，其特征是，第三步中更进一步具体地，构建层次结构模型；构建成对比较矩阵；层次单排序及一致性检验，即判断主观构建的成对比较矩阵在整体上是否有较好的一致性；层次总排序及一致性检验；

构建基于电力实测样本通过生成对抗网络生成的负样本评价数据库，考虑到本负样本数据集权重单一，判断的一致性直观，所以只需考虑以下的条件进行建立即可满足：

1)在层次模型中通过抽象高层要素，降阶判断矩阵；

2)使用层次分析法与聚类分析法相结合的方法来处理。

4.如权利要求1所述的基于生成对抗网络的环境影响程度建模方法，其特征是，使用层次分析法与聚类分析法相结合的方法来处理具体是，先使用聚类分析法再使用层次分析法，能得到较好的评价结果，其中将每个天气类型中的每种程度的图像看作一个点，使用欧式距离表示同种天气类型中两张不同程度图像的联系，距离越小表明两张图像的程度越接近；之后通过所得到的聚类结果，结合层次分析法，设置每层不同天气不同程度的评价权重，最终确定整体模型。