CN114821174A - 一种基于内容感知的输电线路航拍图像数据清洗方法 - Google Patents

Abstract

本发明公开了一种基于内容感知的输电线路航拍图像数据清洗方法，首先构建自分类模型，清洗掉航拍图像中不包含绝缘子部件的图像；再利用剩余数据集训练一个提取图像内容的模型；获取图像局部和全局特征，依据局部和全局内容对图像质量的影响程度不同建立质量感知规则，映射出图像质量得分函数，最后依据图像质量分数高低筛选图像。本发明可以对航拍的海量图像数据进行有效清洗，从而获得更清晰、质量更高的图像。

Description

一种基于内容感知的输电线路航拍图像数据清洗方法

技术领域

本发明属于图像处理技术领域，具体涉及一种输电线路航拍图像数据清洗方法。

背景技术

电力部门需要定期进行电力巡检，无人机代替人工巡检已成为一种趋势，利用航拍图像提取到的信息对输电线路部件绝缘子故障进行定位。但是，无人机会采集大量的无效图像，由于硬件设备的原因一部分图像在传输过程种发生失真等情况；无效数据太多，一方面会导致人工检测工具量激增、准确率下降、时效性降低；另一方面不利于构建更好更实用的绝缘子缺陷检测模型。因此，对海量的输电线路航拍图像进行清洗，筛选出质量高的图像，能够为后续的故障检测提供有效的数据源。

图像数据清洗是利用专有方法将海量图像数据筛选出满足要求的数据。近些年，海量的图像数据为深度学习，尤其卷积神经网络的模型训练提供了数据支撑。同时，好模型的训练和测试离不开高质量的数据集。常用的数据集都是经过大量的贡献者筛选标记而来，较为权威，经常是指定的数据集。在解决输电线路电力故障检测这一特定场景应用的时候，一般不会使用这些专业的数据集，而是无人机拍的大量的野外真实图像数据。但是这些野外图像种类繁多、数据量庞大，不利于深度学习的应用。

对于图像内容方面，大多数模型是基于CNN的，虽然在图像质量预测方面取得了很好的成果，但关注真实图像的失真的方法相对较少。Kim、Vlad Hosu等人证实了语义特征在解决野外图像质量预测中的力量；Weixia Zhang等人提出了一种深度双线性盲图像质量评估模型，用的VGG-16进行特征的提取；张等人提出在真实的图像和合成数据库中训练模型，特征提取的网络是ResNet-34；Shaolin Su等提出利用聚集局部特征和全局语义特征的方式收集图像的细粒度信息和整体信息，最后基于多尺度表示来预测图像质量，提取语义特征用到的主干网络是ResNet-50；以上这些方法都是基于卷积网络进行特征的提取，而卷积网络对输入图像有固定要求，需要裁剪、缩放图像，裁剪会改变图像内容，对于局部失真不能很好的捕捉；缩放改变图像的质量，影响清洗的效果。

在图像尺寸方面，丁琴等发明了一种针对相同及相似图片去重的图像数据清洗方法：利用传统算法对图像特征值进行还海明距离的计算，若阈值大于海明距离，则认为相似，对其进行处理。存在的问题是传统算法需要将图像转为固定长度的特征向量，这个过程会影响图像的质量；此外，扩展性不是很好，不同的应用场景需要不同的算法。2018年提出的CG-DIQA方法：把输入的图像转换为灰度图像，缩放到一个固定尺寸，计算标准差后估计文档图像的质量分数，此方法对于有遮挡图像的质量无法预测。余华擎提出基于深度学习的图像数据清洗方法：利用CNN对互联网上的图像进行低识别率的清洗，清洗后的图像用于图像识别模型，以图像识别率的的准确性的衡量清洗效果。存在的问题是CNN要求输入的图像尺寸是固定的，一些需要裁剪为固定形状，一些需要调整图像大小，不能很好的自适应于各种真实的图像，因为真实航拍的图像有不同的长宽比例。介于此，MANCNN处理全尺寸输入，通过自适应池特征地图到固定的形状，但是，该模型对于大规模的训练表现不是很好。Chen等人提出的自适应分数阶扩张卷子，该方法能够保持长宽比，但在处理全尺寸输入的时候需要调整图像大小。

图像失真类型方面，现有的模型都是停留在在公开的数据集上面，TID2008、CSIQ、LIVE、TID2013等，这些数据集最统一的特点是数据量小、失真类型局限，即都是经过人工处理之后的数据；大多数模型也都是建立在在这些数据集上，对已有的数据进行图像质量的预测，面对大量真实的航拍图像质量预测迁移效果较差。Hanhe Lin等在2018年建立了一个大规模质量评价的数据库KonIQ-10K，该数据库相对真实点，包含10073幅图像，图像内容也不同，但是巨大的内容变化对于模型的泛化能力要较高要求。后续很多模型在该数据集进行模型的改进，一种基于深度学习和无参考质量评价的图像方法就是基于该数据库发明的，利用GAN网络对输入图像进行生成一张图像，通过随机向量生成一张图像，最后对比生成增强和生成抑制的方式进行图像质量打分。在vision transfomer提出之后，挪威研究中心首次将transfomer应用于图像质量评价方面，克服了CNN模型对图像resize操作，而且能够自适应图像分辨率；然而也是基于KonIQ-10K进行实验的，虽然提升了质量预测效果，但是对于图像的局部失真没有考虑太多，数据库的失真类型也并不复杂，相对于真实环境下的失真存在欠缺。

综上，目前依旧没有一个模型能够用于特定场景下的图像数据清洗，面临着图像内容、失真类型及分辨率大小三个方面的挑战，本发明重在不改变图像内容和不调整图像大小的同时，巧妙的捕捉局部图像内容，一方面考虑了图像整体内容对图像质量的影响，另一方面兼顾了特定应用下图像局部内容的重要程度，对无人机航拍的大量真实图像数据进行清洗，质量较高的用于深度模型学习使用，进一步可以训练出准确率更高的电力故障检测模型。

发明内容

为了克服现有技术的不足，本发明提供了一种基于内容感知的输电线路航拍图像数据清洗方法，首先构建自分类模型，清洗掉航拍图像中不包含绝缘子部件的图像；再利用剩余数据集训练一个提取图像内容的模型；获取图像局部和全局特征，依据局部和全局内容对图像质量的影响程度不同建立质量感知规则，映射出图像质量得分函数，最后依据图像质量分数高低筛选图像。本发明可以对航拍的海量图像数据进行有效清洗，从而获得更清晰、质量更高的图像。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：对获取到的输电线路航拍图像进行预处理；将预处理后的输电线路航拍图像作为集合DataSet₁；

采用自识别分类器将将集合DataSet₁中的图像分为两类，包含绝缘子部件的记为A类，否则归为B类图像；

将识别为B类且概率大于90％以上的图像从集合DataSet₁取出放入集合DataSet₂，将集合DataSet₁剩余的图像作为样本数据集DataSet₃；

步骤2：将数据集DataSet₃中的图像分割成多个patch块，再采用3*3卷积核和patch块卷积生成softmap，分别输入局部特征提取网络和全部特征提取网络提取图像的局部特征和全局特征；

步骤3：定义质量感知规则函数fx＝G(S(x)，p))，其中G(.)表示超网络映射函数，p表示超网络参数；超网络函数S(x)的输入，即从输入图像x中提取的语义特征；超网络的功能就是学习从图像内容到判断图像质量规则的映射；

步骤4：将步骤2提取的局部特征记为v_x，引入局部特征评分函数：S_local＝s(v_x，fx，w)，其中s(.)表示网络模型，w表示局部特征评分函数参数；

步骤5：将步骤2提取的全局特征记为m_x，引入全局特征得分函数S_global＝s(m_x，fx，k)，其中k表示全局特征评分函数参数；

步骤6：通过加权表示图像的最终质量预测评分：S＝W₁S_local+W₂S_global，其中W₁和W₂分别为局部特征评分函数和全局特征评分函数的加权系数；计算样本数据集DataSet₃每一幅图像的质量预测评分；

步骤7：设置质量预测阈值，保留样本数据集DataSet₃中质量预测评分大于质量预测阈值的图像作为最终的清洗结果。

进一步的，所述自识别分类器采用Vision Transfomer。

进一步地，所述局部特征提取网络为通用语义特征提取网络Resnet50的前三层，并在前三层每层各自加入局部内容感知模块后输出即为局部特征；所述全局特征提取网络为Resnet50网络，Resnet50网络的输出即为全局特征。

进一步的，所述局部特征提取网络使用DataSet₃数据集、标准交叉损失和softplus激活函数进行训练。

本发明的有益效果如下：

1、本发明针对特定应用挖掘出决定图像质量的局部关键点，对图像质量评分时遵循人类视觉特性，符合自上而下的感知模式，自适应能力较强，泛化能力强。

2、本发明从电力部分获得的图像是真实的，更加符合应用场景，数据来源具有权威性。

3、本发明方法汇总Vision Transfomer将图像可以转换为序列数据，把整幅分割成patch块，再嵌入位置编码，可以有效利用全部图像内容，训练出的模型可以更加准确构建自分类器，从而更精准的对图像进行第一轮的筛选。

4、本发明方法将识别结果以概率形式表示，可以较为准确的量化识别精度。

5、本发明方法通过不断的调参将不包含绝缘子部件的图像尽可能的清洗干净。

6、本发明方法图像中有大量的无用背景，以图像patch块的形式输入可以减少计算量，对于无绝缘子部件的特征可以很快的过滤掉。

附图说明

图1为本发明方法的整体结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明针对智能电力巡检故障判断这一特定场景下航拍图像的数据清洗，同时弥补上述模型种对图像内容不能很好的自适应问题，提出了一种基于内容感知的输电线路的航拍图像数据清洗方法。

如图1所示，一种基于内容感知的输电线路航拍图像数据清洗方法，包括如下步骤：

步骤1：通过和电力部门合作，对获取到的输电线路航拍图像进行预处理；将预处理后的输电线路航拍图像作为集合DataSet₁；

采用自识别分类器Vision Transfomer将将集合DataSet₁中的图像分为两类，包含绝缘子部件的记为A类，否则归为B类图像；

将识别为B类且概率大于90％以上的图像从集合DataSet₁取出放入集合DataSet₂，将集合DataSet₁剩余的图像作为样本数据集DataSet₃；

步骤2：将数据集DataSet₃中的图像分割成多个patch块，再采用3*3卷积核和patch块卷积生成softmap，分别输入局部特征提取网络和全部特征提取网络提取图像的局部特征和全局特征；局部特征提取网络使用DataSet₃数据集、标准交叉损失和softplus激活函数进行训练；

其中局部特征提取网络指的是在通用语义特征提取网络Resnet50的前三层上各自加上了局部内容感知模块，局部内容感知模块的输入则是Resnet50前三层提取的特征向量；而全局特征提取网络指的是整个Resnet50网络提取的语义特征，表示的图像的整体内容特征；一副图像的质量由局部绝缘子的质量和图像整体的质量共同决定，其中局部内容会给出一个质量评分，整体给出一个评分，两个加权就是最终图像的质量得分；局部和全局体制提取网络相当于一个网络两个部分；

步骤3：定义一个质量感知规则函数fx＝G(S(x)，p))，其中G(.)表示超网络映射函数，p表示超网络参数。定义了超网络S(x)的输入，即从输入图像x中提取的语义特征。因此，超网络的功能就是学习从图像内容到判断图像质量规则的映射。学习到的感知规则将进一步指导目标网络提取自适应质量特征进行预测。

步骤4：将步骤2提取的局部特征记为v_x，引入局部特征评分函数：S_local＝s(v_x，fx，w)，其中s(.)表示网络模型，w表示局部特征评分函数参数；

步骤5：将步骤2提取的全局特征记为m_x，引入全局特征得分函数S_global＝s(m_x，fx，k)，其中k表示全局特征评分函数参数；

步骤6：通过加权表示图像的最终质量预测评分：S＝W₁S_local+W₂S_global，其中W₁和W₂分别为局部特征评分函数和全局特征评分函数的加权系数；计算样本数据集DataSet₃每一幅图像的质量预测评分；

步骤7：设置质量预测阈值，保留样本数据集DataSet₃中质量预测评分大于质量预测阈值的图像作为最终的清洗结果。

步骤8：将最终清洗结果图像进行实验效果的比对和测试，若针对绝缘子缺陷检测准确率越高，说明清洗效果越好。

具体实施例：

(1)通过和电力部门合作，获取航拍的输电线路图像作为原始数据集DataSet₁，对获取到的航拍图像进行预处理；采用Vision Transfomer算法分别构建针对单张图像的自识别分类器，对数据集中的每张图进行识别，使用分类器对识别的图像进行分类；将图像分成包含绝缘子部件和不包含绝缘子部件的两类，包含绝缘子部件的记为A类，否则，归为B类图像。

(i)输入一张图像i，记识别为A类的概率是P_iA，识别为B类的概率是P_iB，将P_iB结果在90％以上的图像放入集合DataSet₂，此时样本数据集变为DataSet₁-DataSet₂，记为DataSet₃。

(ii)P_iB结果虽然在90％以上，但其中还有可能包含绝缘子部件的图像，继续进行调参直至达到最优识别结果。

(2)使用DataSet₃数据集、标准交叉损失和softplus激活函数训练一个局部特征提取网络。

(i)为了更加准确的捕获到局部特征，将图像分割成patch块作为模型的输入；

(ii)以3*3卷积核为过滤器，依次和patch块卷积得到softmap，为了量化局部特征，引入局部特征得分函数S_local＝s(v_x，fx，w)，其中w表示特征函数的参数；

(iii)同时引入全局特征得分函数:S_global＝s(m_x，fx，k)，其中k表示全局特征函数的参数；

(iv)根据局部和全局对于图像质量的影响程度，通过加权表示得图像的最终图像质量预测评分：S＝W₁S_local+W₂S_global；

(3)计算样本数据集DataSet₃每一幅图像的质量预测评分；

(4)经步骤(3)后，可以得到图像的质量评分，通过实验设置阀值确定清洗的标准

(5)依据上述标准进行第二轮的图像清洗，得到最终清洗后的图像数据集；

(6)将步骤(5)之后的数据集作为样本数据集，在现有的绝缘子缺陷检测模型上实验，准确率越高，则清洗效果越好。

Claims (4)

1.一种基于内容感知的输电线路航拍图像数据清洗方法，其特征在于，包括如下步骤：

步骤1：对获取到的输电线路航拍图像进行预处理；将预处理后的输电线路航拍图像作为集合DataSet₁；

采用自识别分类器将将集合DataSet₁中的图像分为两类，包含绝缘子部件的记为A类，否则归为B类图像；

将识别为B类且概率大于90％以上的图像从集合DataSet₁取出放入集合DataSet₂，将集合DataSet₁剩余的图像作为样本数据集DataSet₃；

步骤2：将数据集DataSet₃中的图像分割成多个patch块，再采用3*3卷积核和patch块卷积生成softmap，分别输入局部特征提取网络和全部特征提取网络提取图像的局部特征和全局特征；

步骤3：定义质量感知规则函数fx＝G(S(x)，p))，其中G(.)表示超网络映射函数，p表示超网络参数；超网络函数S(x)的输入，即从输入图像x中提取的语义特征；超网络的功能就是学习从图像内容到判断图像质量规则的映射；

步骤4：将步骤2提取的局部特征记为v_x，引入局部特征评分函数：S_local＝s(v_x，fx，w)，其中s(.)表示网络模型，w表示局部特征评分函数参数；

步骤5：将步骤2提取的全局特征记为m_x，引入全局特征得分函数S_global＝s(m_x，fx，k)，其中k表示全局特征评分函数参数；

步骤6：通过加权表示图像的最终质量预测评分：S＝W₁S_local+W₂S_global，其中W₁和W₂分别为局部特征评分函数和全局特征评分函数的加权系数；计算样本数据集DataSet₃每一幅图像的质量预测评分；

步骤7：设置质量预测阈值，保留样本数据集DataSet₃中质量预测评分大于质量预测阈值的图像作为最终的清洗结果。

2.根据权利要求1所述的一种基于内容感知的输电线路航拍图像数据清洗方法，其特征在于，所述自识别分类器采用Vision Transfomer。

3.根据权利要求1所述的一种基于内容感知的输电线路航拍图像数据清洗方法，其特征在于，所述局部特征提取网络为通用语义特征提取网络Resnet50的前三层，并在前三层每层各自加入局部内容感知模块后输出即为局部特征；所述全局特征提取网络为Resnet50网络，Resnet50网络的输出即为全局特征。

4.根据权利要求1所述的一种基于内容感知的输电线路航拍图像数据清洗方法，其特征在于，所述局部特征提取网络使用DataSet₃数据集、标准交叉损失和softplus激活函数进行训练。

Images