CN113780358A - 一种基于无锚网络的实时金具检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于无锚网络的实时金具检测方法，包括步骤：构建金具数据集，得到不同类型、不同尺度的金具图像；选取无锚网络CenterNet作为基础模型，改进MobileNetV3作为主干网络，减少网络参数的同时提取不同层次的多尺度特征；融入轻量级感受野增强模块，提高对高层语义信息的学习能力，增强全局特征的表征力；设计基于迭代聚合的高分辨率特征融合网络，减少空间语义信息的丢失；训练模型，通过目标中心点、中心点偏置及尺度三个预测分支产生最后的预测结果。本发明将无锚网络应用于金具检测，满足边缘端实时检测的同时有效提高了金具检测的精度，具有良好的鲁棒性。

Description

一种基于无锚网络的实时金具检测方法

技术领域

本发明涉及图像分析技术领域，尤其涉及一种基于无锚网络的实时金具检测方法。

背景技术

输电线路是远距离传输电能的载体，金具是输电线路上广泛使用的铁质或铜制金属附件，主要用于支持、固定、接续裸导线、导体及绝缘子等，种类繁多且形状差异较大。由于金具常年运行在户外，极易产生锈蚀、形变、损坏等现象，严重时会引起大规模地停断电，经济损失不可估量，因此实现对金具目标高精度实时检测可自动定位其故障，对保障电网的安全运行具有重大意义。

近年来，随着人工智能技术发展，利用无人机对输电线路进行巡检，然后采用计算机视觉和图像处理技术对航拍金具图像进行自动化处理已成为当下的主要手段。

然而利用深度学习方法对输电线路金具进行检测存在以下两个难题：

1.目前较为成功的金具检测模型大多为anchor-based方法。这类方法虽然在算法稳定性上得到提升，但由于模型参数过多，对硬件计算资源要求较高，检测速度慢，无法满足实时检测的需求；同时，较大的模型体积也使其无法适用于硬件资源相对受限的作业平台。

2.将无锚网络应用于包括电力视觉在内的多个工业领域逐渐成为趋势，但以CenterNet为代表的此类模型在实际中也存在着一些问题。首先，它在实际应用中速度与精度无法实现很好的权衡，速度快的网络精度一般，而精度高的网络又无法达到实时检测需求。其次，此类模型采取单一的特征提取方式与一段式网络设计，导致此类模型广泛存在不同尺度目标间相互干扰的问题，在使用沙漏网络作为主干网络的模型结构中尤其突出。最后，由于无锚框的检测方法仅生成单一尺度的特征图，特征提取不充分，导致尺度差距较大的目标杂糅到一张特征图上，在较复杂的航拍金具图像上精度表现一般。

因此，在上述背景下，将无锚网络应用于边缘端金具检测，解决无锚网络存在的问题，使其在满足实时检测的同时进一步提高精度成为重中之重。

发明内容

本发明的目的是提供一种基于无锚网络的实时金具检测方法，解决依托锚框类检测网络速度慢体积大、无锚网络速度精度无法权衡和特征融合不充分等问题，设计一种新主干网络来减小模型体积，并设计轻量级感受野增强模块和高分辨率特征融合方法来进一步提高金具检测的精度。

为实现上述目的，本发明提供了如下方案：

一种基于无锚网络的实时金具检测方法，包括以下步骤：

S1，构建金具数据集，得到不同类别、不同尺度的金具图像；

S2，选取无锚网络CenterNet为基础架构，改进轻量级MobileNetV3模型作为主干网络；

S3，改进轻量级感受野增强模块，提高对不同尺度金具的适应能力；

S4，设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图。

S5，采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果。

进一步的，所述步骤S1中，构建金具数据集，得到不同类别、不同尺度的金具图像，具体包括：

将航拍图像中输电线路及杆塔中包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具种类和数目较多的图像。

进一步的，所述步骤S2中，选取无锚网络CenterNet为基础架构，改进轻量级MobileNetV3模型作为主干网络，具体包括：

首先去除MoblieNetV3网络最后一个瓶颈层的平均池化层和3个1×1卷积层，作为主干网络提取特征。然后选取主干网络第二层、第三层、第四层、第六层分别生成4倍、8倍、16倍、32倍下采样特征图，得到四张不同分辨率的特征图。

进一步的，所述步骤S3中，改进轻量级感受野增强模块，提高对不同尺度金具的适应能力，具体包括：

首先引入多尺度感受野增强模块，增强特征提取能力和鲁棒性。借鉴RFBNet模拟人类视觉系统中感受野的大小与偏心率之间的关系，引入3个空洞卷积层，增大网络的感受野。空洞卷积的感受野计算公式为：

K＝(rate-1)×(k-1)+k (1)

式中，K为空洞卷积的感受野，rate为空洞卷积率，k为卷积核大小。

其次，删减原模块的部分卷积层，进行轻量化设计。具体流程为：特征图首先经过压缩激励层对通道进行选择，接着经过1×1的卷积进行降维，然后并联4个3×3空洞卷积层，对其进行整合并经过1×1卷积层后与先前的卷积层进行第二次整合。

最后，将轻量化处理后的模块应用在16倍下采样特征图后，获取空间语义信息更丰富的特征图。

进一步的，所述步骤S4中，设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图，具体包括：

首先，引入HRNet网络思想，在提取过程中保持高分辨率表征并逐渐增加并行子网，子网并行连接生成不同分辨率的特征图，对不同分辨率的特征图统一尺度后直接进行拼接。

其次，针对HRNet无法充分利用不同分辨率的特征，设计一种基于迭代聚合的高分辨率特征融合方法。通过将低分辨率的特征通过迭代聚合的方式与高分辨率的特征进行融合，充分利用不同尺度的语义信息。迭代聚合的公式为：

式中，N表示聚合节点，x₁,...,x_n为聚合节点的输入。

最后，统一不同特征图的尺度。通过转置卷积将低分辨率特征图上采样，达到与高分辨率特征图相同的尺度后进行特征融合，融合后的特征图并经过一系列卷积操作后生成高准确率的关键点热图。

进一步的，所述步骤S5中，采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果，具体包括：

模型训练时的损失由三部分构成，整体损失函数为：

L_det＝L_k+λ_offL_off+λ_sizeL_size (3)

式中，L_k为目标中心点损失，L_off为目标中心点偏置损失，L_size为目标尺度损失。λ_off和λ_size分别来调节L_off和L_size。

对于目标中心点损失，训练中心点网络时将关键点通过如下式的高斯分布核分散到热力图上。

式中，σ_p是目标自适应尺度的标准方差；Y_xyc是将关键点分散到热力图上的高斯核。

目标中心点损失值L_k由焦点损失计算得到，L_k计算公式如式所示。

式中，α和β为焦点损失的超参数；N是图像的关键点数量，用于将所有正的焦点损失标准化为1。

对于目标中心点的偏置损失，由于网络对输入图像进行下采样操作，特征图重新映射到原图像上时会产生精度误差，因此对于每个有效中心点需额外添加一个L_off来进行补偿。所有类别c的中心点共享同一个偏置预测值。L_off的偏置值由L₁损失计算得到，即:

式中，

是预测得到的偏置；

是训练过程中提前计算出来的值。

对于目标尺度的损失L_size，网络通过关键点估计因子

预测图像中所有的中心点，并为每个目标回归出该目标的尺度s_k，公式为：

为了减少目标尺度的回归难度，使用

作为预测值，并采用L₁损失来监督回归目标的h和w。目标尺度的损失值L_size公式为：

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种基于无锚网络的实时金具检测方法，构建金具数据集，采用无锚网络CenterNet作为基础检测模型，采用改进的轻量级MobileNetV3作为主干网络降低模型体积，减少网络参数的同时提取不同层次的多尺度特征；针对金具尺度变化大设计轻量级感受野增强模块，提高对不同尺度金具的适应能力，提高对高层语义信息的学习能力，增强全局特征的表征力；针对原网络特征融合不充分问题，设计基于迭代聚合的高分辨率特征融合网络，减少空间语义信息的丢失；训练模型，通过目标中心点、中心点偏置及尺度三个预测分支产生最后的预测结果。此方法将无锚网络应用于金具检测领域，实现实时检测的同时提高金具检测的精度，满足了边缘端部署需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种基于无锚网络的实时金具检测方法的流程图；

图2是本发明实施例轻量级感受野增强模块的网络结构示意图；

图3为本发明实施例高分辨率特征融合网络的结构示意图；

图4为本发明实施例整体结构示意图；

图5为本发明实施例金具检测的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于无锚网络的实时金具检测方法，解决无锚网络CenterNet存在的速度精度无法权衡、特征融合不充分、部分困难金具样本精度低等问题，实现在满足实时检测的前提下提高检测精度的目的。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的一种基于无锚网络的实时金具检测方法流程图，包含以下步骤：

S1，构建金具数据集，得到不同类别、不同尺度的金具图像；

S2，选取无锚网络CenterNet为基础架构，改进轻量级MobileNetV3模型作为主干网络；

S3，改进轻量级感受野增强模块，提高对不同尺度金具的适应能力；

S4，设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图。

S5，采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果。

深度学习模型在训练时需要大量的数据集图像样本作为支撑，由于无人机航拍图像采集到的大多为输电线路全局图像，需要按照模型输入图像尺寸对其进行裁剪。此外，为直观对比改进前后模型对密集金具、存在遮挡金具的精度提升效果，需要进一步对包含此类金具类型的样本进行筛选。因此，所述步骤S1中，构建金具数据集，得到不同类别、不同尺度的金具图像，具体包括：

将航拍图像中输电线路及杆塔中包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具种类和数目较多的图像。

本方法中，考虑到大多数anchor-based金具检测模型参数过多，对硬件计算资源要求较高，检测速度慢，无法满足实时检测的需求；同时，较大的模型体积也使其无法适用于硬件资源相对受限的作业平台，本方法引入无锚网络来提高金具检测器的灵活性。其中，在所述步骤S2中，选取无锚网络CenterNet为基础架构，改进轻量级MobileNetV3模型作为主干网络，具体包括：

首先去除MoblieNetV3网络最后一个瓶颈层的平均池化层和3个1×1卷积层，作为主干网络提取特征。然后选取主干网络第二层、第三层、第四层、第六层分别生成4倍、8倍、16倍、32倍下采样特征图，得到C2、C3、C4、C6四张不同分辨率的特征图。

所述步骤S3中，改进轻量级感受野增强模块，提高对不同尺度金具的适应能力，具体包括：

首先引入多尺度感受野增强模块，增强特征提取能力和鲁棒性。借鉴RFBNet模拟人类视觉系统中感受野的大小与偏心率之间的关系，引入3个空洞卷积层，增大网络的感受野。空洞卷积的感受野计算公式为：

K＝(rate-1)×(k-1)+k (1)

式中，K为空洞卷积的感受野，rate为空洞卷积率，k为卷积核大小。

其次，删减原模块的部分卷积层，进行轻量化设计。具体流程为：特征图首先经过压缩激励层对通道进行选择，接着经过1×1的卷积进行降维，然后并联了4个3×3空洞卷积层，对其进行整合并经过1×1卷积层后与先前的卷积层进行第二次整合。改进后的轻量级多尺度感受野增强模块结构示意如图2所示。

最后，将轻量化处理后的模块应用在16倍下采样特征图C4后，获取空间语义信息更丰富的特征图。

所述步骤S4中，设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图，具体包括：

首先，引入HRNet网络思想，在提取过程中保持高分辨率表征并逐渐增加并行子网，子网并行连接生成不同分辨率的特征图，对不同分辨率的特征图统一尺度后直接进行拼接。

其次，针对HRNet无法充分利用不同分辨率的特征，设计一种基于迭代聚合的高分辨率特征融合方法。通过将低分辨率的特征通过迭代聚合的方式与高分辨率的特征进行融合，充分利用不同尺度的语义信息。迭代聚合的公式为：

式中，N表示聚合节点，x₁,...,x_n为聚合节点的输入。

最后，统一不同特征图的尺度。通过转置卷积将低分辨率特征图上采样到与高分辨率特征图相同的尺度后进行特征图融合，融合方式如图3所示。融合后的特征图并经过一系列卷积操作后得到1张关键点热力图预测目标中心点位置、2张特征图预测中心点偏置和2张特征图预测目标尺度大小。

本发明将上述步骤S3及S4所提两种改进方法融入到步骤S2中所提基础网络中，最终形成完整的一种基于无锚网络的实时金具检测方法。网络结构如图4所示。

所述步骤S5中，采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果，具体包括：

模型训练时的损失由三部分构成，整体损失函数为：

L_det＝L_k+λ_offL_off+λ_sizeL_size (3)

式中，L_k、L_off、L_size分别为目标中心点损失、偏置损失、尺度损失。λ_off和λ_size分别来调节L_off和L_size。

对于目标中心点损失，训练中心点网络时将关键点通过如下式的高斯分布核分散到热力图上。

式中，σ_p是目标自适应尺度的标准方差；Y_xyc是将关键点分散到热力图上的高斯核。

目标中心点损失值L_k由焦点损失计算得到，L_k计算公式如式所示。

式中，α和β为焦点损失的超参数；N是图像的关键点数量，用于将所有正的焦点损失标准化为1。

对于目标中心点的偏置损失，由于网络对输入图像进行下采样操作，特征图重新映射到原图像上时会产生精度误差，因此对于每个有效中心点需额外添加一个L_off来进行补偿。所有类别c的中心点共享同一个偏置预测值。L_off的偏置值由L₁损失计算得到，即:

式中，

是预测得到的偏置；

是训练过程中提前计算出来的值。

对于目标尺度的损失L_size，网络通过关键点估计因子

预测图像中所有的中心点，并为每个目标回归出该目标的尺寸s_k，公式为：

为了减少目标尺度的回归难度，使用

作为预测值，并采用L₁损失来监督回归目标的h和w。目标尺度的损失值L_size公式为：

本发明方法的检测效果如图5所示。本发明在CenterNet模型的基础上，改进轻量级MobileNetV3作为主干网络，降低模型体积，减少网络参数的同时提取不同层次的多尺度特征；针对金具尺度变化大改进轻量级多尺度感受野增强模块，提高对不同尺度金具的适应能力；针对原网络特征融合不充分设计基于迭代聚合的高分辨率特征融合网络，减少空间语义信息的丢失。可见，本发明所述的方法在保证实时检测的同时提高了各类金具的检测精度。本发明有效提高了CenterNet网络的检测性能，实现速度和精度的最佳权衡。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于无锚网络的实时金具检测方法，其特征在于，包括以下步骤：

S1，构建金具数据集，得到不同类别、不同尺度的金具图像；

S2，选取无锚网络CenterNet为基础架构，改进轻量级MobileNetV3模型作为主干网络；

S3，改进轻量级感受野增强模块，提高对不同尺度金具的适应能力；

S4，设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图。

S5，采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三个预测分支回归得出金具检测结果。

2.根据权利要求1所述的一种基于无锚网络的实时金具检测方法，其特征在于，所述构建金具数据集，得到不同类别、不同尺度的金具图像，具体包括：

将航拍图像中输电线路及杆塔上包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具种类和数目较多的图像。

3.根据权利要求1所述的一种基于无锚网络的实时金具检测方法，其特征在于，所述选取无锚网络CenterNet作为基础架构，改进轻量级MobileNetV3模型作为主干网络，具体包括：

首先去除MoblieNetV3网络最后一个瓶颈层的平均池化层和3个1×1卷积层，作为主干网络提取特征。然后选取主干网络第二层、第三层、第四层、第六层分别生成4倍、8倍、16倍、32倍下采样特征图，得到四张不同分辨率的特征图。

4.根据权利要求1所述的一种基于无锚网络的实时金具检测方法，其特征在于，所述改进轻量级感受野增强模块，提高对不同尺度金具的适应能力，具体包括：

首先引入多尺度感受野增强模块，增强特征提取能力和鲁棒性。借鉴RFBNet模拟人类视觉系统中感受野的大小与偏心率之间的关系，引入3个空洞卷积层，增大网络的感受野。空洞卷积的感受野计算公式为：

K＝(rate-1)×(k-1)+k (1)

式中，K为空洞卷积感受野，rate为空洞卷积率，k为卷积核大小。

然后删减部分卷积层，进行轻量化设计。具体流程为：特征图首先经过压缩激励层选择通道，接着经过1×1的卷积进行降维，然后并联了4个3×3空洞卷积层，对其进行整合并经过1×1卷积层后与先前的卷积层进行第二次整合。

最后，将轻量化处理后的模块应用在16倍下采样特征图后，获取空间语义信息更丰富的特征图。

5.根据权利要求1所述的一种基于无锚网络的实时金具检测方法，其特征在于，所述设计高分辨率特征融合方法，采用迭代聚合的方式对不同分辨率的特征图进行融合，减少下采样过程中空间语义信息的丢失，准确生成热图，具体包括：

首先，引入HRNet网络思想，在提取过程中保持高分辨率表征并逐渐增加并行子网，子网并行连接生成不同分辨率的特征图，对不同分辨率的特征图统一尺度后直接进行拼接。

其次，针对HRNet无法充分利用不同分辨率的特征，设计一种基于迭代聚合的高分辨率特征融合方法。将低分辨率的特征通过迭代聚合的方式与高分辨率的特征进行融合。迭代聚合的公式为：

式中，N表示聚合节点，x₁,...,x_n为聚合节点的输入。

最后，统一不同特征图的尺度。通过转置卷积将低分辨率特征图上采样，达到与高分辨率特征图相同的尺度后进行特征融合，融合后的特征图并经过一系列卷积操作后生成高准确率的关键点热图。

6.根据权利要求1所述的一种基于无锚网络的实时金具检测方法，其特征在于，所述采用随机梯度下降法训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果，具体包括：

模型训练时的损失由三部分构成，整体损失函数为：

L_det＝L_k+λ_offL_off+λ_sizeL_size (3)

式中，L_k为目标中心点损失，L_off为目标中心点偏置损失，L_size为目标尺度损失。λ_off和λ_size用于调节L_off和L_size。

对于目标中心点损失，训练中心点网络时将关键点通过如下式的高斯分布核分散到热力图上。

式中，σ_p是目标自适应尺度的标准方差；Y_xyc是将关键点分散到热力图上的高斯核。

目标中心点损失值L_k由焦点损失计算得到，L_k计算公式为：

式中，α和β为焦点损失的超参数；N是图像的关键点数量，用于将所有正的焦点损失标准化为1。

对于目标中心点的偏置损失，由于网络对输入图像进行下采样操作，特征图重新映射到原图像上时会产生精度误差，因此对于每个有效中心点需额外添加一个L_off来进行补偿。所有类别c的中心点共享同一个偏置预测值。L_off的偏置值由L₁损失计算得到，即:

式中，

是预测得到的偏置；

是训练过程中提前计算出来的值。

对于目标尺度的损失L_size，网络通过关键点估计因子

预测图像中所有的中心点，并为每个目标回归出该目标的尺寸s_k，公式为：

s_k＝(x₂ ^(k)-x₁ ^(k),y₂ ^(k)-y₁ ^(k)) (7)

为了减少目标尺度的回归难度，使用

作为预测值，并采用L₁损失来监督回归目标的h和w。目标尺度的损失值L_size公式为：

Images