CN112926556B - 一种基于语义分割的航拍输电线路散断股识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于语义分割的航拍输电线路散断股识别方法及装置，包括：获取航拍输电线路样本图像组成样本库；构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；根据分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确。通过本发明，提高了准确率和检测效率，同时避免了人工手动检测，节省了人力物力。

Description

一种基于语义分割的航拍输电线路散断股识别方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于语义分割的航拍输电线路散断股识别方法及系统。

背景技术

在实际日常工作之中，为了掌握线路运行状况和及时排除线路的潜在隐患，我国电力系统每年都要花费巨大的人力、物力和财力资源进行巡检工作。传统的巡检管理方式已无法满足线路管理的要求，人工定期巡线，这种方法不仅劳动强度大，而且耗时长，效率低下，有些线路段受制于地形因素甚至无法开展巡检，当前输电专业巡检模式已难以满足可靠、高效的精益化管理要求。因此，研究如何利用一种新型、智能化、高效化的巡检系统来改善输电线路的运维管理工作，对保障电力系统的安全稳定运行有着十分重要的意义。

在有关于输电线路缺陷识别的研究中，“高晓东,郑连勇,王蔚等.基于图像识别的无人机输电线路断股检测系统设计[J].现代电子技术,2017,40(20):162-164,168.”利用Sobel算子得到边缘信息，再利用区域生长大致确定线路区域，最后根据线路宽度的变化来确定断股的位置；“李安.输电线路导线断股的图像检测方法[D].华北电力大学,2013”首先对图像进行预处理操作，增强了图像的对比度，消除了随机噪声，然后利用随机Hough变换和区域增长相结合的算法提取导线，最后设计基于目标模式匹配的输电线断股缺陷的检测和识别方法；“齐国顺,尚方,韩冰等.基于图像处理技术的飞机巡线导线断股缺陷检测方法[J].黑龙江电力,2017,39(06):522-526.”提出利用交叉熵的方法对图像中的导线断股进行检测；“杨炼.架空输电线图像的断股诊断方法研究[D].武汉科技大学,2013.”提出一种改进的Canny算法提取输电线路边缘，其次利用Freeman链码的方法来检测断股；“蒋兴良,夏云峰,张志劲,胡建林,胡琴.基于优化Gabor滤波器的输电导线断股图像检测[J].电力系统自动化,2011,35(15):78-83.”通过计算导线与滤波器卷积能量的输出响应、应用小生境遗传算法寻找最优的Gabor滤波器参数和分割阈值,最后检测图像的滤波和能量的二值化处理得到检测结果。

传统的图像处理算法，在目标图像处理中比较容易受到大小、形态、背景、目标材质等因素的影响，且计算过程也较为耗时，因此在实际工程中也难以应用。因此有学者引入了深度学习技术来解决这些问题，深度学习类技术通过对大量巡查图像数据的卷积神经网络的训练，最终生成一个支持多目标的识别分类模型，相比于传统的图像处理方法，深度学习技术具有特征提取能力强、抗干扰能力强和表达能力强等优点。“郭明现.基于四通道Faster R-CNN的散断股检测算法[D].安徽大学,2020.”基于四通道和滑动裁剪的FasterR-CNN的散断股检测算法融合了注意力信息，将高分辨率相机拍摄的图片裁剪成小块图片再送入网络，避免了图片缩放导致的信息损失，大大提升了网络对散断股目标的识别能力；“金昊,康宇哲,齐希阳,洪榛.基于Faster R-CNN的高压电线缺陷检测方法[J].计算机应用,2019,39(S2):97-102.”研究了不同的网络模型对导线缺陷检测的正确率和识别帧率,并在实验中对数据集进行变换,通过旋转图像和加入正态分布的高斯雪花进一步提升检测效果。

根据上述的文献可知，现有的对输电线路缺陷的识别和检测主要是先处理采集到的图片数据，然后通过传统图像处理或深度学习方法直接得到各个部件的缺陷。该操作每次检测均需要调取数据库中的材料，不仅操作重复，而且检测的结果存在大量的误差，后期大多需要结合人力来识别和检测，耗费资源且降低了效率。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于语义分割的航拍输电线路散断股识别方法及系统，通过将语义分割以及目标空间上下文关系引用于航拍输电线路散断股识别中，大大提高了准确率和检测效率；同时避免了人工手动检测，节省了人力物力。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于语义分割的航拍输电线路散断股识别方法，其包括：

S11：获取航拍输电线路样本图像组成样本库；

S12：构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

S13：利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

S14：根据所述分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确。

较佳地，所述S11与S12之间还包括：

S21：对所述样本库中的航拍输电线路样本图像进行预处理。

较佳地，所述S21进一步包括：对样本库中的航拍输电线路图像进行剪裁、图像增强、反转变换、镜像变换后扩大为原数据集的4倍，其中：剪裁用于将图像按照行列比为2：3的比例切分成6份，图像增强用于通过二阶微分操作，提升细节纹理信息，反转变换用于将图像按照90°和180°进行旋转，镜像变换用于对图像进行水平和垂直镜像。

较佳地，所述S12中的构建语义分割卷积神经网络模型中的语义分割卷积神经网络包括：特征提取网络、级联空洞空间金字塔池化网络以及特征融合网络。

较佳地，所述特征提取网络包括：第一广义卷积层、第二广义卷积层以及第三广义卷积层；

所述第一广义卷积层包括：8个3×3的卷积层、7个激活层、3个最大池化层，以及3个1×1的卷积层；

所述第二广义卷积层包括：7个并联的重复结构，每个重复结构包括：3个3×3的卷积层以及3个激活层；

所述第三广义卷积层包括：4个3×3的卷积层、4个激活层、1个1×1的卷积层、1个最大池化层、1个全局平均池化层以及1个全连接层；

所述级联空洞空间金字塔池化网络包括：第一部分、第二部分、第三部分以及第四部分；所述第一部分的卷积层以及池化层为并联结构，所述第二部分、第三部分、第四部分之间为级联结构；

所述第一部分包括：1个1×1的卷积层和1个全局平均池化层；

第二部分包括：1个扩张率为6的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

第三部分包括：1个扩张率为12的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

第四部分包括：1个扩张率为18的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

所述特征融合网络包括：2个二倍长采样层、1个四倍上采样层、2个1×1的卷积层，以及一个3×3的卷积层。

较佳地，所述S12中的利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型进一步包括：

S61、对样本库中的样本图像进行标注，获取带有标记的航拍输电线路样本图像，并获取带有标记的航拍输电线路样本图像的标记结果；

S62、利用预设初始参数的语义分割神经网络模型对带有标记的航拍输电线路样本图像进行分类、分割，获取带有标记的航拍输电线路样本图像的输出结果；

S63、根据所述语义分割神经网络模型的输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个所述语义分割神经网络模型，更新语义分割神经网络模型的所有参数；

S64、读取新的带有标记的航拍语义分割样本图像，利用更新参数的深度神经网络模型对新的带有标记的航拍语义分割样本图像进行分类、分割；

S65、判断是否满足收敛条件或停止条件，若满足，则停止训练；若不满足，回到步骤S62，利用更新后的训练参数继续训练。

较佳地，所述S13进一步包括：

S71、将待检测的航拍输电线周边环境图像输入到语义分割子网络；

S72、将大分辨率图像切分成适合语义分割网络输入的小分辨率图像；

S73、在语义分割神经网络网络中，图像依次经过特征提取、分类器预测以及空间规整全部自动化处理，得到图像中正常导线以及疑似散断股的分割图；

S74、重新将结果图按顺序组合成与原图像大小相同的分割掩膜图。

较佳地，所述S14进一步包括：

S81、根据所述分割掩膜图得到正常导线以及散断股的最小外接矩形；

S82、构建正常导线两端附近的连接区域；

S83、计算散断股缺陷目标中边界上的像素坐标是否满足在正常导线两端的连接区域内，若满足，则保留此缺陷目标，若不满足，则将此目标从输出结果图中删去。

本发明还提供一种基于语义分割的航拍输电线路散断股识别系统，其用于实现上述的基于语义分割的航拍输电线路散断股识别方法，其包括：样本库获取单元、语义分割卷积神经网络模型训练单元、分割掩膜图获得单元以及检测结果判断单元；其中，

所述样本库获取单元用于获取航拍输电线路样本图像组成样本库；

所述语义分割卷积神经网络模型训练单元用于构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

所述分割掩膜图获得单元用于利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

所述检测结构判断单元用于根据所述分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确。

较佳地，还包括：预处理单元，其用于对所述样本库中的航拍输电线路样本图像进行预处理。

相较于现有技术，本发明实施例具有以下至少一种优点：

(1)本发明提供的基于语义分割的航拍输电线路散断股识别方法及系统，通过将语义分割以及目标空间上下文关系引用于航拍输电线路散断股识别中，大大提高了准确率和检测效率；同时避免了人工手动检测，节省了人力物力。

(2)本发明提供的基于语义分割的航拍输电线路散断股识别方法及系统，通过使用由特征提取网络、空洞空间金字塔池化网络以及特征融合网络三种子网络构成的语义分割网络，通过使用已有的大量标记好的原始图片来训练得到参数权重都相对合理的网络模型，进一步提高了准确率和检测效率；

(3)本发明提供的基于语义分割的航拍输电线路散断股识别方法及系统，通过语义分割卷积神经网络的级联的网络结构和多尺度特征融合，实现了对外界环境变化的适应能力，适应性较强，能很好地适应天气等外界环境的变化，稳定性好；其中级联的网络结构增大了网络的感受野，感受野增大有助于网络学习到全局的语义特征，从而对复杂的背景有更好的检测性能；其次多尺度特征融合能够将网络下采样过程中丢失的图像细节信息重新学习到，以保证对图像中的散断股的纹理等特征有更强的感知能力。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明一实施例的基于语义分割的航拍输电线路散断股识别方法的流程图；

图2为本发明一较佳实施例的特征提取网络的结构示意图；

图3为本发明一较佳实施例的级联空洞空间金字塔池化网络的结构示意图；

图4为本发明一较佳实施例的语义分割网络的示意图；

图5为本发明一较佳实施例的输电线目标连接区域计算示意图；

图6a为本发明一实施例的正常导线与散股缺陷空间上下文关系示意图；

图6b为本发明另一实施例的正常导线与断股缺陷空间上下文关系示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示为本发明一实施例的基于语义分割的航拍输电线路散断股识别方法的流程图。

请参考图1，本实施例的基于语义分割的航拍输电线路散断股识别方法包括：

S11：获取航拍输电线路样本图像组成样本库；

S12：构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

S13：利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

S14：根据分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确。

一实施例中，S11具体包括：针对输电线杆塔，无人机采集了各种场景和各种时段的拍摄图片，拍摄天气以晴朗和多云为主，避免阴雨天气。无人机拍摄角度基本固定。对得到的图片进行挑选和筛检，删除多余的重复图片。得到每张图像分辨率为1920×1080。

较佳实施例中，S11与S12之间还包括：

S21：对样本库中的航拍输电线路样本图像进行预处理。

一实施例中，S21进一步包括：对样本库中的航拍输电线路图像进行剪裁、图像增强、反转变换、镜像变换后扩大为原数据集的4倍。

其中：剪裁包括：将图像按照行列比为2：3的比例切分成6份，选择带有正常导线、散股以及断股的图像。正常导线是连接两个输电线杆塔之间的导线，其外形结构完整平滑，无毛刺，缠绕紧密，无断裂和任何形变的输电线。

图像增强包括：用二阶微分算子设计各向同性的滤波器，即图像旋转后响应不变，对于二维图像，此滤波器采用拉普拉斯算子可以定义为：

在二维图像中，上述二阶微分可以直接由像素之间的关系表示，关系如下：

将其与拉普拉斯算子结合得到：

则最终图像增强可选择拉普拉斯算子对原图像进行处理，产生描述灰度突变的图像，再将拉普拉斯图像与原始图像叠加而产生增强后图像，公式如下：

反转变换包括：

将图像按照90°和180°进行旋转；

镜像变换包括：

对图像进行水平和垂直镜像。

较佳实施例中，S12中的构建语义分割卷积神经网络模型中的语义分割卷积神经网络采用编解码结构，其网络结构示意图如图4所示，包括：特征提取网络、级联空洞空间金字塔池化网络以及特征融合网络。

特征提取网络包括：第一广义卷积层、第二广义卷积层以及第三广义卷积层，如图2所示；

第一广义卷积层包括4个部分，具体结构如下：

第一部分包括：3×3卷积层、滑动步长为2、卷积核个数为32+激活层+3×3卷积层、卷积核个数为64；

第二部分包括：3×3卷积层、卷积核个数为128+激活层+3×3卷积层、卷积核个数为128+3×3最大池化层、滑动步长为2+1×1卷积层、滑动步长为2；

第三部分包括：激活层+3×3卷积层、卷积核个数为256+激活层+3×3卷积层、卷积核个数为256+3×3最大池化层、滑动步长为2+1×1卷积层、滑动步长为2；

第四部分包括：激活层+3×3卷积层、卷积核个数为728+激活层+3×3卷积层、卷积核个数为728+3×3最大池化层、滑动步长为2+1×1卷积层、滑动步长为2；

第二层广义卷积层包括7个部分，这7个部分都是重复且并联结构，具体结构如下：

激活层+3×3卷积层、卷积核个数为728+激活层+3×3卷积层、卷积核个数为728+激活层+3×3卷积层、卷积核个数为728+跳层连接+1×1卷积层；

第三层广义卷积层包括3个部分，具体结构如下：

第一部分包括：激活层+3×3卷积层、卷积核个数为728+激活层+3×3卷积层、卷积核个数为1024+3×3最大池化层、滑动步长为2+1×1卷积层、滑动步长为2；

第二部分包括：3×3卷积层、卷积核个数为1536+激活层+3×3卷积层、卷积核个数为2048+激活层+全局平均池化；

第三部分包括：全连接层。

级联空洞空间金字塔池化网络包括4个部分，如图3所示。其中，第一部分卷积层和全局平均池化层为并联结构，第二部分、第三部分、第四部分之间为级联结构：

第一部分包括：1个1×1的卷积层+1个全局平均池化层；

第二部分包括：1个扩张率为6的3×3卷积层+激活层+随机丢弃层+3×3卷积层+激活层+随机丢弃层+3×3卷积层；

第三部分包括：1个扩张率为12的3×3卷积层+激活层+随机丢弃层+3×3卷积层+激活层+随机丢弃层+3×3卷积层；

第四部分包括：1个扩张率为18的3×3卷积层+激活层+随机丢弃层+3×3卷积层+激活层+随机丢弃层+3×3卷积层。

特征融合网络包括：

1×1的卷积层+3×3的卷积层+2倍上采样层：融合输出步长为16的高层语义特征与输出步长为16的底层语义特征，对结果上采样得到输出步长为8的语义特征；

1×1的卷积层+3×3的卷积层+2倍上采样层：融合上层输出步长为8的语义特征与输出步长为8的底层语义特征，对结果上采样得到输出步长为4的语义特征；

1×1的卷积层+3×3的卷积层+4倍上采样层：融合上层输出步长为4的语义特征与输出步长为4的底层语义特征，对结果上采样得到输出与输入图像大小相同掩膜图。

较佳实施例中，S12还包括：对样本集中的样本按2：8的比例划分出验证集和训练集，用于训练过程中的模型评价。

较佳实施例中，S12中的利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型进一步包括：

S61、对样本库中的样本图像进行标注，获取带有标记的航拍输电线路样本图像，并获取带有标记的航拍输电线路样本图像的标记结果；

S62、利用预设初始参数的语义分割神经网络模型对带有标记的航拍输电线路样本图像进行分类、分割，获取带有标记的航拍输电线路样本图像的输出结果；

S63、根据语义分割神经网络模型的输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个语义分割神经网络模型，更新语义分割神经网络模型的所有参数；

S64、读取新的带有标记的航拍语义分割样本图像，利用更新参数的深度神经网络模型对新的带有标记的航拍语义分割样本图像进行分类、分割；

S65、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S62，利用更新后的训练参数继续训练。

较佳实施例中，S13进一步包括：

S71、将待检测的航拍输电线周边环境图像输入到语义分割子网络；

S72、将大分辨率图像切分成适合语义分割网络输入的小分辨率图像；

S73、在语义分割神经网络网络中，图像依次经过特征提取、分类器预测以及空间规整全部自动化处理，得到图像中正常导线以及疑似散断股的分割图；

S74、重新将结果图按顺序组合成与原图像大小相同的分割掩膜图。

较佳实施例中，S14进一步包括：

S81、根据分割掩膜图得到正常导线以及散断股的最小外接矩形；

S82、根据正常导线的最小外界矩形，如图5所示，四个顶点分别为A(x₁,y₁)、B(x₂,y₂)、C(x₃,y₃)、D(x₄,y₄)，计算直线AB的长度可得：

同样的线段BC的长度为：

比较线段AB和BC的长度，有：

L_BC<L_AB

则可通过ABCD的坐标值，找到BC的中点Q(x_q,y_q)，和AD的中点P(x_p,y_p),其中：

则根据Q点和P点的坐标值，可以得到直线AB的方程为：

y＝k₁x+t₁

其中k₁为斜率，t₁为此直线在x轴上的截距，其表达式为：

t₁＝y_p-k₁x_p

由二维平面中，两平行线和相垂线之间的斜率关系可得直线BC和直线AD的方程为：

BC：y＝k₂x+t₂

DA：y＝k₃x+t₃

其中：

t₂＝y₂-k₂x₂、t₃＝y₁-k₃x₁。为了计算导线的连接区域，得到新的矩形A₁B₁C₁D₁,其中矩形的长为A₁B₁＝C₁D₁＝m，宽为B₁C₁＝A₁D₁＝n，则直线PQ与直线A₁B₁之间的距离公式为：

由图5中可以看出，直线A₁B₁在直线PQ的上方，所以z₁<n₁，则有m₁的值和A₁B₁的方程为：

y＝k₁x+z₁

同样的方法，C₁D₁的截距z₂的值和方程表达式为：

z₂＝-z₁

y＝k₁x+z₂

D₁A₁的截距z₃的值和方程表达式为：

y＝k₃x+z₃

B₁C₁的截距z₄的值和方程表达式为：

z₄＝t₃

y＝k₃x+z₄

那么，矩形A₁B₁C₁D₁表示的区域为：

同样的，对于连接矩形A₂B₂C₂D₂表示的区域为：

其中，w₁＝z₁，w₂＝z₂，

w₄＝t₂；

S83、通过计算正常导线检测的连接区域和散断股区域是否产生交叉判断两者是否相邻。

S83具体包括：

(1)如图6a、6b所示，得到输电线路正常导线和疑似异常目标的误差区域范围，其中A₁B₁C₁D₁为正常导线连接区域，A₃B₃C₃D₃为散断股缺陷的最小外接矩形。其中，图6a中ABCD表示检测到的正常导线数学模型，A₁B₁C₁D₁和A₂B₂C₂D₂表示正常导线两端的邻接区域，A₃B₃C₃D₃主要表示为散股缺陷数学模型，如果A₃B₃C₃D₃在A₁B₁C₁D₁或者A₂B₂C₂D₂中，则表示是散股缺陷，如果不在两个区域中，则不是散股缺陷。图6b中除A₃B₃C₃D₃表示断股缺陷外，其他都是和上述一样，如果A₃B₃C₃D₃和A₁B₁C₁D₁或者A₂B₂C₂D₂任意一个相交，则表示是断股缺陷，如果不在两个区域中，则不是断股缺陷。

(2)在A₃B₃C₃D₃任意选择一点，如A₃(x’，y’)，将其带入到矩形A₁B₁C₁D₁和A₂B₂C₂D₂表示的区域方程中，若满足：

或者

则证明，正常导线和异常目标之间相交，即两者间距离较近，若不满足，则需要在A₃B₃C₃D₃这个矩形边界上重新采样新的采样点，即遍历所有A₃B₃C₃D₃上的采样点，判断是否能够找到一个采样点满足以上方程，例如按顺时针(或者逆时针)方向找距离A₃长度较小的点N(x”，y”)，且N点位于A₃B₃C₃D₃边界上，同样将N点带入到矩形A₁B₁C₁D₁和A₂B₂C₂D₂表示的区域方程中，判断N点是否在此区域内。

(3)重复步骤(2)的操作，直到找到一点即在矩形A₃B₃C₃D₃的边界点上，又满足A₁B₁C₁D₁或者A₂B₂C₂D₂区域所表示的方程组，若找到点N则表示两者相交，即识别到的疑似缺陷是正确的，并保留识别结果，若矩形A₃B₃C₃D₃的边界上的所有采样点都不满足A₁B₁C₁D₁或者A₂B₂C₂D₂的区域方程，则表示两者相离，即识别到的疑似缺陷是错误的，需要将其从识别图像中删除。

本发明还提供一种基于语义分割的航拍输电线路散断股识别系统，其用于实现上述实施例的基于语义分割的航拍输电线路散断股识别方法，其包括：样本库获取单元、语义分割卷积神经网络模型训练单元、分割掩膜图获得单元以及检测结果判断单元；其中，

样本库获取单元用于获取航拍输电线路样本图像组成样本库；

语义分割卷积神经网络模型训练单元用于构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

分割掩膜图获得单元用于利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

检测结构判断单元用于根据所述分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确。

较佳实施例中，还包括：预处理单元，其用于对样本库中的航拍输电线路样本图像进行预处理。

本发明提供的基于语义分割的航拍输电线散断股识别方法及系统的主要理论依据为：大量深度学习的研究认为图像的特征包括浅层次的像素，深一层次的线状结构，如各种形状的直线、曲线，再深一层次的面状结构，如矩形、三角形、圆形，再深一层次的多种面状结构的聚合，形成的各种纹理特征。即通过组合低层次特征形成更抽象的高层次特征。最后由各种高层特征组成了人眼能够识别的各种具有实际意义的目标类别。因此，不管是正常导线，还是疑似缺陷，都是由上述由浅至深的各种层次的结构组成。另外通过计算三维空间中不同物体之间的距离可以得到相对准确地计算结果，因此通过距离来区分是否为疑似缺陷是可行的。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (9)

1.一种基于语义分割的航拍输电线路散断股识别方法，其特征在于，包括：

S11：获取航拍输电线路样本图像组成样本库；

S12：构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

S13：利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

S14：根据所述分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确；

所述S14进一步包括：

S81、根据所述分割掩膜图得到正常导线以及散断股的最小外接矩形；

S82、构建正常导线两端附近的连接区域；

S83、计算散断股缺陷目标中边界上的像素坐标是否满足在正常导线两端的连接区域内，若满足，则保留此缺陷目标，若不满足，则将此目标从输出结果图中删去。

2.根据权利要求1所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述S11与S12之间还包括：

S21：对所述样本库中的航拍输电线路样本图像进行预处理。

3.根据权利要求2所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述S21进一步包括：对样本库中的航拍输电线路图像进行剪裁、图像增强、反转变换、镜像变换后扩大为原数据集的4倍，其中：剪裁用于将图像按照行列比为2：3的比例切分成6份，图像增强用于通过二阶微分操作，提升细节纹理信息，反转变换用于将图像按照90°和180°进行旋转，镜像变换用于对图像进行水平和垂直镜像。

4.根据权利要求1所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述S12中的构建语义分割卷积神经网络模型中的语义分割卷积神经网络包括：特征提取网络、级联空洞空间金字塔池化网络以及特征融合网络。

5.根据权利要求4所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述特征提取网络包括：第一广义卷积层、第二广义卷积层以及第三广义卷积层；

所述第一广义卷积层包括：8个3×3的卷积层、7个激活层、3个最大池化层，以及3个1×1的卷积层；

所述第二广义卷积层包括：7个并联的重复结构，每个重复结构包括：3个3×3的卷积层以及3个激活层；

所述第三广义卷积层包括：4个3×3的卷积层、4个激活层、1个1×1的卷积层、1个最大池化层、1个全局平均池化层以及1个全连接层；

所述级联空洞空间金字塔池化网络包括：第一部分、第二部分、第三部分以及第四部分；所述第一部分的卷积层以及池化层为并联结构，所述第二部分、第三部分、第四部分之间为级联结构；

所述第一部分包括：1个1×1的卷积层和1个全局平均池化层；

第二部分包括：1个扩张率为6的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

第三部分包括：1个扩张率为12的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

第四部分包括：1个扩张率为18的3×3卷积层、2个3×3卷积层、2个激活层、2个随机丢弃层；

所述特征融合网络包括：2个二倍长采样层、1个四倍上采样层、2个1×1的卷积层，以及一个3×3的卷积层。

6.根据权利要求1或3所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述S12中的利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型进一步包括：

S61、对样本库中的样本图像进行标注，获取带有标记的航拍输电线路样本图像，并获取带有标记的航拍输电线路样本图像的标记结果；

S62、利用预设初始参数的语义分割神经网络模型对带有标记的航拍输电线路样本图像进行分类、分割，获取带有标记的航拍输电线路样本图像的输出结果；

S63、根据所述语义分割神经网络模型的输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个所述语义分割神经网络模型，更新语义分割神经网络模型的所有参数；

S64、读取新的带有标记的航拍语义分割样本图像，利用更新参数的深度神经网络模型对新的带有标记的航拍语义分割样本图像进行分类、分割；

S65、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S62，利用更新后的训练参数继续训练。

7.根据权利要求1所述的基于语义分割的航拍输电线路散断股识别方法，其特征在于，所述S13进一步包括：

S71、将待检测的航拍输电线周边环境图像输入到语义分割子网络；

S72、将大分辨率图像切分成适合语义分割网络输入的小分辨率图像；

S73、在语义分割神经网络网络中，图像依次经过特征提取、分类器预测以及空间规整全部自动化处理，得到图像中正常导线以及疑似散断股的分割图；

S74、重新将结果图按顺序组合成与原图像大小相同的分割掩膜图。

8.一种基于语义分割的航拍输电线路散断股识别系统，其特征在于，其用于实现如权利要求1至7任一项所述的基于语义分割的航拍输电线路散断股识别方法，其包括：样本库获取单元、语义分割卷积神经网络模型训练单元、分割掩膜图获得单元以及检测结果判断单元；其中，

所述样本库获取单元用于获取航拍输电线路样本图像组成样本库；

所述语义分割卷积神经网络模型训练单元用于构建语义分割卷积神经网络模型，利用航拍输电线路样本图像训练构建的语义分割卷积神经网络模型；

所述分割掩膜图获得单元用于利用训练后的语义分割卷积神经网络模型对待检测航拍输电线路图像进行检测，输出检测的正常导线以及疑似散断股的分割掩膜图；

所述检测结果判断单元用于根据所述分割掩膜图，利用正常导线与散断股之间的空间上下文关系判断检测结果是否正确；

所述检测结果判断单元，包括：

S81、根据所述分割掩膜图得到正常导线以及散断股的最小外接矩形；

S82、构建正常导线两端附近的连接区域；

S83、计算散断股缺陷目标中边界上的像素坐标是否满足在正常导线两端的连接区域内，若满足，则保留此缺陷目标，若不满足，则将此目标从输出结果图中删去。

9.根据权利要求8所述的基于语义分割的航拍输电线路散断股识别系统，其特征在于，还包括：预处理单元，其用于对所述样本库中的航拍输电线路样本图像进行预处理。

Images