CN110232370B - 一种改进ssd模型的输电线路航拍图像金具检测方法 - Google Patents

Abstract

本发明公开了一种改进SSD模型的输电线路航拍图像金具检测方法，首先量化分析了航拍金具数据集中金具的遮挡度，然后将SSD模型中的损失函数替换为使用遮挡度约束后的斥力损失，改变SSD生成的prior box尺度，改进深度网络模型，解决了航拍金具密集检测的问题，以及解决了小目标检测效果较差的问题。

Description

一种改进SSD模型的输电线路航拍图像金具检测方法

技术领域

本发明涉及图像分析技术领域，特别是一种改进SSD模型的输电线路航拍图像金具检测方法。

背景技术

输电线路作为电力系统的生命线，其稳定运行是保障电力系统安全的重要环节。金具是输电线路上广泛使用的铁制或铝制金属附件，种类繁多。主要用于支持、固定、接续裸导线、导体及绝缘子等。大部分金具在运行中需要承受较大的拉力，且同时还要保证电气接触良好。目前使用飞行器进行输电线路巡线已成为常规巡检方式。通过计算机视觉和图像处理技术检测到输电线路航拍图像中的金具目标是发现其缺陷和故障隐患的必要前提，对保障输电线路安全具有重要的意义。

现有的输电线路航拍图像中金具目标检测算法基于针对目标的形状和纹理特征进行检测，这些算法虽然在一定程度上能达到输电线路金具检测的目的，但受限于单一类别金具，并且在实际应用之中，受到成像条件、外界环境和对光照的变化影响，会产生灰度畸变和图像噪声，导致对目标检测的有效性和可靠性都不够理想，且不具有扩展性。

端到端的卷积网络SSD(Single Shot multibox Detector)在实现目标检测的实时性中表现出了较出色的成绩，将其应用到金具检测中具有识别速度快的优点，但是对小目标检测效果较差，对于输电线路金具检测问题中密集遮挡问题也没有很好的解决方法。

为满足输电线路金具智能化、自动化的检测要求，因此，需要设计一种基于改进SSD模型的输电线路航拍图像金具检测方法。

发明内容

本发明的目的在于克服现有技术的不足，基于量化分析输电线路金具遮挡情况，提供一种改进SSD模型的输电线路航拍图像金具检测方法，解决现有输电线路巡检图像密集金具检测的问题。

本发明的目的是通过以下技术方案来实现的：

一种改进SSD模型的输电线路航拍图像金具检测方法，包括：

S1、获取航拍金具图像，并对获取的航拍金具图像进行遮挡度分析；量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；

S2、使用航拍图像金具数据集训练改进的SSD模型；

S3、将航拍金具待检图像输入在航拍图像金具数据集训练的改进的SSD金具检测模型中，得到检测结果，并将模型检测的金具类别及置信度绘制在待检图像中。

进一步的，在步骤S1中，还包括目标遮挡度计算：

量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；设定第k类金具的类内与类间遮挡度定义为：

其中，G_j为给任意类别金具的第j个ground truth，g为所有类的金具的groundtruth的集合，G_ki为给定第k类金具的第i个groung truth，G_ki∈g_k，g_k为第k类金具的所有ground truth的集合，定义O_{inter k}为该类金具的类内遮挡度，O_{intra k}为该类金具的类间遮挡度，其中S(·)为计算框的面积。

进一步的，在步骤S2中，还包括：

S201、特征提取：

使用使用VGG16作为基础网络，将最后两个全连接层改成卷积层，在基础网络之后，添加额外辅助的网络结构；

多尺度特征提取子网作为辅助，采用步长为2的卷积或者池化来降低特征图大小，利用大特征图来用来检测相对较小的目标，而小的特征图用来检测大目标，待检的图像输入SSD网络，从后面新增的卷积层中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作为检测所用的特征图，加上Conv4_3层，共提取了6个特征图，其大小分别是(38，38)、(19，19)、(10，10)、(5，5)、(3，3)和(1，1)；

S202、prior box生成：

以特征图上每个点的中点为中心，生成一系列同心不同尺度和不同长宽比的prior box，改变最小比率和最大比率的大小来对网络生成prior box尺寸进行调整，调整为0.1到0.5，此时最小的prior box面积为0.1×300×300，最大为0.5×300×300，使得生成的prior box大小符合输电线路金具数据集检测；

S203、prior box匹配：

将每个ground truth与具有最大jaccard overlap的prior box进行匹配，保证每个ground truth都有对应的prior box；选取与每个ground truth重合最多的prior box为正样本；jaccard overlap的计算如下：

其中G为ground truth，P为生成的prior box；

S204、难例挖掘：

经过prior box匹配后，将负样本根据置信度进行排序，选取最高的框，并且保证负样本、正样本的比例为3：1；

S205、分类：

同时使用多个层级上的prior box进行分类，置信度使用3×3的卷积核进行预测，在特征图的每个位置预测q个边界框，输出每个边界框检测到不同类别物体的概率，输出个数为预测类别个数；

S206、回归：

同时使用多个层级上的prior box进行回归，在特征图的每个位置预测q个边界框，使用3×3的卷积核在每个位置上预测4个偏移值，该值是相对于prior box的偏移量；每个边界框转化成一个长度为4的向量，每一个值代表一个边界框的一个坐标值；

S207、非极大值抑制：

SSD前向过程中生成大量prior box，通过非最大抑制技术NMS修剪大部分priorbox；小于confidence loss阈值和IoU小于阈值的框被丢弃，并且只保留前N个预测；确保最可能的预测框被保留，而更多噪音的预测框被删除。

进一步的，步骤S3中，还包括：

将航拍金具待检图像输入到改进的SSD金具检测模型中，将模型预测到待检图像中金具的类别与置信度绘制在图像中，得到航拍金具待检图像金具的检测结果。

进一步的，步骤S2中还包括遮挡与约束的斥力损失计算的步骤，具体包括：

使用斥力损失使预测框和所匹配的真实目标框的距离缩小，而使得其与周围目标框的距离加大；预测框偏移相邻目标造成更多的被模型预测为正样本的负样本，斥力损失可以有效防止预测边界框移向相邻的重叠物体，提升检测器在密集遮挡场景中的鲁棒性；斥力损失函数如下式：

L＝L_Attr+α*L_RepGT+β*L_RepBox

其中L_Attr为预测框与真实目标框所产生的损失值，L_RepGT为预测框与相邻真实目标框所产生的损失值，L_RepBox为预测框与相邻不是预测同一真实目标的预测框所产生的损失值；通过两个相关系数α和β来平衡两部分斥力损失值；这三项的损失值计算分别如下式：

其中为预测框，P表示生成的prior box，P₊为所有正样本集合，G为ground truth框的集合，ε是一个小常数，以防分母为0，

定义为与ground truth具有最大交并比的目标框，

定义为与ground truth具有次大交并比的排斥框，Intersection over Groundtruth(IoG)用于计算B^p与

之间的重叠，定义分别如下式：

根据得到的金具检测数据集计算得到的不同类金具的类内遮挡和类间遮挡分布，分别约束损失函数中α和β两个系数，使得类内遮挡度大的金具L_RepGT更大，而类间遮挡度大的金具具有更高的L_RepBox值。

进一步的，在非极大值抑制步骤之后，还包括将所有结果进行非极大值抑制处理，具体包括：

根据输出的两个分支，利用窗口得分分别对每一类物体进行非极大值抑制剔除重叠框，最终得到每个类别中回归修正后的得分最高的窗口。

本发明的有益效果是：

本发明首先量化分析了航拍金具数据集中金具的遮挡度，然后将SSD模型中的损失函数替换为使用遮挡度约束后的斥力损失，改变SSD生成的prior box尺度，改进深度网络模型，解决了航拍金具密集检测的问题。

附图说明

图1为本发明的流程示意图；

图2为本发明遮挡度计算示意图；

图3为本发明航拍金具数据集类内、类间遮挡度百分比占比图；

图4为本发明利用改进SSD模型对航拍金具图像检测的结果。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在阐述本申请详细技术内容之前，对本申请的专有名词进行说明，以便于理解。

ground truth：标定好的真实数据；VGG16：卷积神经网络结构；prior box：SSD网络中的预选框。

实施例1：

本实施例提供一种改进SSD模型的输电线路航拍图像金具检测方法，在SSD模型的基础上，研究金具检测中遮挡导致的漏检问题的解决方法。结合金具连接特性，量化分析每类金具的遮挡度，引用斥力损失减少目标物体间的相互干扰，使得目标候选框对相互遮挡的情况更具判别性。

请参阅附图1所示，本实施例的具体检测流程的步骤为：

S1、获取航拍金具图像，并对获取的航拍金具图像进行遮挡度分析；量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；

S2、使用航拍图像金具数据集训练改进的SSD模型；

S3、将航拍金具待检图像输入在航拍图像金具数据集训练的改进的SSD金具检测模型中，得到检测结果，并将模型检测的金具类别及置信度绘制在待检图像中。

进一步的，在步骤S1中，还包括目标遮挡度计算：

量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；设定第k类金具的类内与类间遮挡度定义为：

其中，G_j为给任意类别金具的第j个ground truth，g为所有类的金具的groundtruth的集合，G_ki为给定第k类金具的第i个groung truth，G_ki∈g_k，g_k为第k类金具的所有ground truth的集合，定义O_{inter k}为该类金具的类内遮挡度，O_{intra k}为该类金具的类间遮挡度，其中S(·)为计算框的面积。

进一步的，在步骤S2中，还包括：

S201、特征提取：

使用VGG16作为基础网络，将最后两个全连接层改成卷积层，在基础网络之后，添加额外辅助的网络结构；

多尺度特征提取子网作为辅助，采用步长为2的卷积或者池化来降低特征图大小，利用大特征图来用来检测相对较小的目标，而小的特征图用来检测大目标，待检的图像输入SSD网络，从后面新增的卷积层中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作为检测所用的特征图，加上Conv4_3层，共提取了6个特征图，其大小分别是(38，38)、(19，19)、(10，10)、(5，5)、(3，3)和(1，1)；

S202、prior box生成：

以特征图上每个点的中点为中心，生成一系列同心不同尺度和不同长宽比的prior box，改变最小比率和最大比率的大小来对网络生成prior box尺寸进行调整，调整为0.1到0.5，此时最小的prior box面积为0.1×300×300，最大为0.5×300×300，使得生成的prior box大小符合输电线路金具数据集检测；

S203、prior box匹配：

将每个ground truth与具有最大jaccard overlap的prior box进行匹配，保证每个ground truth都有对应的prior box；选取与每个ground truth重合最多的prior box为正样本；jaccard overlap的计算如下：

其中G为ground truth，P为生成的prior box；

S204、难例挖掘：

经过prior box匹配后，将负样本根据置信度进行排序，选取最高的框，并且保证负样本、正样本的比例为3：1；

S205、分类：

同时使用多个层级上的prior box进行分类，置信度使用3×3的卷积核进行预测，在特征图的每个位置预测q个边界框，输出每个边界框检测到不同类别物体的概率，输出个数为预测类别个数；

S206、回归：

同时使用多个层级上的prior box进行回归，在特征图的每个位置预测q个边界框，使用3×3的卷积核在每个位置上预测4个偏移值，该值是相对于prior box的偏移量；每个边界框转化成一个长度为4的向量，每一个值代表一个边界框的一个坐标值；

S207、非极大值抑制：

SSD前向过程中生成大量prior box，通过非最大抑制技术NMS修剪大部分priorbox；小于confidence loss阈值和IoU小于阈值的框被丢弃，并且只保留前N个预测；确保最可能的预测框被保留，而更多噪音的预测框被删除。

进一步的，步骤S3中，还包括：

将航拍金具待检图像输入到改进的SSD金具检测模型中，将模型预测到待检图像中金具的类别与置信度绘制在图像中，得到航拍金具待检图像金具的检测结果。

进一步的，步骤S2中还包括遮挡与约束的斥力损失计算的步骤，具体包括：

使用斥力损失使预测框和所匹配的真实目标框的距离缩小，而使得其与周围目标框的距离加大；预测框偏移相邻目标造成更多的被模型预测为正样本的负样本，斥力损失可以有效防止预测边界框移向相邻的重叠物体，提升检测器在密集遮挡场景中的鲁棒性；斥力损失函数如下式：

L＝L_Attr+α*L_RepGT+β*L_RepBox

其中L_Attr为预测框与真实目标框所产生的损失值，L_RepGT为预测框与相邻真实目标框所产生的损失值，L_RepBox为预测框与相邻不是预测同一真实目标的预测框所产生的损失值；通过两个相关系数α和β来平衡两部分斥力损失值；这三项的损失值计算分别如下式：

其中为预测框，P表示生成的prior box，P₊为所有正样本集合，G为ground truth框的集合，ε是一个小常数，以防分母为0，

定义为与ground truth具有最大交并比的目标框，

定义为与ground truth具有次大交并比的排斥框，Intersection over Groundtruth(IoG)用于计算B^p与

之间的重叠，定义分别如下式：

根据得到的金具检测数据集计算得到的不同类金具的类内遮挡和类间遮挡分布，分别约束损失函数中α和β两个系数，使得类内遮挡度大的金具L_RepGT更大，而类间遮挡度大的金具具有更高的L_RepBox值。

本实施例通过量化分析了航拍金具数据集中金具的遮挡度，然后将SSD模型中的损失函数替换为使用遮挡度约束后的斥力损失，改变SSD生成的prior box尺度，改进深度网络模型，解决了航拍金具密集检测的问题，对小目标检测效果好，应用到金具中具有识别速度快的优点。

实施例2：

本实施例基于实施例1中的输电线路航拍图像金具检测方法，对航拍金具遮挡度量化分析。如图2所示为重锤与提包式悬垂线夹存在类间遮挡，从目标中得到G_j和G_ki，再利用步骤S202中的定义得到类内遮挡度和类间遮挡度；而结合附图3可以得到总遮挡度中的比例，利用量化的遮挡度统计结果对斥力损失系统项进行约束，得到的检测结果如附图4所示。

本实施例在实现目标检测的实时性表现十分出色，能获取目标图像的类内遮挡和类间遮挡统计，从而利用量化的遮挡度统计结果对斥力损失系统进行约束，能快速得到结果，具有识别速度快的优点，对小目标检测效果更佳。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种改进SSD模型的输电线路航拍图像金具检测方法，其特征在于，包括：

S1、获取航拍金具图像，并对获取的航拍金具图像进行遮挡度分析；量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；还包括目标遮挡度计算：

量化分析不同金具的类间和类内遮挡程度，得到真实巡检场景中金具的遮挡程度分布；设定第k类金具的类内与类间遮挡度定义为：

其中，G_j为给任意类别金具的第j个ground truth，g为所有类的金具的ground truth的集合，G_ki为给定第k类金具的第i个groung truth，G_ki∈g_k，g_k为第k类金具的所有groundtruth的集合，定义O_interk为该类金具的类内遮挡度，O_intrak为该类金具的类间遮挡度，其中S(·)为计算框的面积；

S2、使用航拍图像金具数据集训练改进的SSD模型，改进的SSD模型为将损失函数替换成使用遮挡度约束后的斥力损失的SSD模型，遮挡与约束的斥力损失计算的步骤，具体包括：

使用斥力损失使预测框和所匹配的真实目标框的距离缩小，而使得其与周围目标框的距离加大；预测框偏移相邻目标造成更多的被模型预测为正样本的负样本，斥力损失可以有效防止预测边界框移向相邻的重叠物体，提升检测器在密集遮挡场景中的鲁棒性；斥力损失函数如下式：

L＝L_Attr+α*L_RepGT+β*L_RepBox

其中L_Attr为预测框与真实目标框所产生的损失值，L_RepGT为预测框与相邻真实目标框所产生的损失值，L_RepBox为预测框与相邻不是预测同一真实目标的预测框所产生的损失值；通过两个相关系数α和β来平衡两部分斥力损失值；这三项的损失值计算分别如下式：

其中为预测框，P表示生成的prior box，P₊为所有正样本集合，G为ground truth框的集合，ε是一个小常数，以防分母为0，

定义为与ground truth具有最大交并比的目标框，

定义为与ground truth具有次大交并比的排斥框，Intersection over Ground truth(IoG)用于计算B^p与

之间的重叠，定义分别如下式：

根据得到的金具检测数据集计算得到的不同类金具的类内遮挡和类间遮挡分布，分别约束损失函数中α和β两个系数，使得类内遮挡度大的金具L_RepGT更大，而类间遮挡度大的金具具有更高的L_RepBox值；

S3、将航拍金具待检图像输入在航拍图像金具数据集训练的改进的SSD金具检测模型中，得到检测结果，并将模型检测的金具类别及置信度绘制在待检图像中。

2.根据权利要求1所述一种改进SSD模型的输电线路航拍图像金具检测方法，其特征在于，在步骤S2中，还包括：

S201、特征提取：

使用VGG16作为基础网络，将最后两个全连接层改成卷积层，在基础网络之后，添加额外辅助的网络结构；

多尺度特征提取子网作为辅助，采用步长为2的卷积或者池化来降低特征图大小，利用大特征图来用来检测相对较小的目标，而小的特征图用来检测大目标，待检的图像输入SSD网络，从后面新增的卷积层中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作为检测所用的特征图，加上Conv4_3层，共提取了6个特征图，其大小分别是(38，38)、(19，19)、(10，10)、(5，5)、(3，3)和(1，1)；

S202、prior box生成：

以特征图上每个点的中点为中心，生成一系列同心不同尺度和不同长宽比的priorbox，改变最小比率和最大比率的大小来对网络生成prior box尺寸进行调整，调整为0.1到0.5，此时最小的prior box面积为0.1×300×300，最大为0.5×300×300，使得生成的prior box大小符合输电线路金具数据集检测；

S203、prior box匹配：

将每个ground truth与具有最大jaccard overlap的prior box进行匹配，保证每个ground truth都有对应的prior box；选取与每个ground truth重合最多的prior box为正样本；jaccard overlap的计算如下：

其中G为ground truth，P为生成的prior box；

S204、难例挖掘：

经过prior box匹配后，将负样本根据置信度进行排序，选取最高的框，并且保证负样本、正样本的比例为3：1；

S205、分类：

同时使用多个层级上的prior box进行分类，置信度使用3×3的卷积核进行预测，在特征图的每个位置预测q个边界框，输出每个边界框检测到不同类别物体的概率，输出个数为预测类别个数；

S206、回归：

同时使用多个层级上的prior box进行回归，在特征图的每个位置预测q个边界框，使用3×3的卷积核在每个位置上预测4个偏移值，该值是相对于prior box的偏移量；每个边界框转化成一个长度为4的向量，每一个值代表一个边界框的一个坐标值；

S207、非极大值抑制：

SSD前向过程中生成大量prior box，通过非最大抑制技术NMS修剪大部分prior box；小于confidence loss阈值和IoU小于阈值的框被丢弃，并且只保留前N个预测；确保最可能的预测框被保留，而更多噪音的预测框被删除。

3.根据权利要求1所述一种改进SSD模型的输电线路航拍图像金具检测方法，其特征在于，步骤S3中，还包括：

将航拍金具待检图像输入到改进的SSD金具检测模型中，将模型预测到待检图像中金具的类别与置信度绘制在图像中，得到航拍金具待检图像金具的检测结果。

Images