CN114119610A - 基于旋转目标检测的缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于旋转目标检测的缺陷检测方法，包括：目标图像预处理，将预处理后的图像输入到网络的输入层，经过yolov5特征提取网络，输出特征一F₁，特征图二F₂，特征图三F₃，特征图一、二、三分别通过多层高斯金字塔按照一定的权重系数进行相加，获得三个第一特征图；分别对第一特征图采样及采样后的特征进行Concat融合，使三个第一特征图融合成一个第二特征图F_concat；对第二特征图F_concat经过3CA层进行通道注意力计算进行第三特征融合，获得第三特征图；将所述第二特征图F_concat和所述第三特征图进行点乘融合获得第四特征图；对第四特征图进行损失计算，通过模拟两个高斯分布之间的距离来确定提升检测性能和可视化效果、对于失焦图像检测鲁棒性，提升回归准确性。

Description

基于旋转目标检测的缺陷检测方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于旋转目标检测的缺陷检测方法，更进一步集中在输电线缺陷检测领域。

背景技术

由于我国输电线路分布十分广泛，地理环境十分复杂，输电线缆长期暴露在野外，受到持续的机械张力，雷击，材料老化等而产生一系列的零件腐蚀，磨损，缺失等缺陷问题，而这些缺陷通过人工检测会有效率低，检出率低，安全性低等问题，因此为了安全可靠的检测缺陷以及安全供电，输电线路智能化巡检日益体现出其迫切性。通过基于无人机采集图像的目标检测方式，能及时判断供电线路中的各种缺陷隐患，可以避免人工漏检、误检等问题。

传统的目标检测方法主要是找到目标的水平矩形框，水平矩形框存在一种弊端是在目标识别时，当存在两个靠近的待检测目标时，水平矩形框存在交叠的情况，如图1所示，对于一些目标长宽比较大，且具有一定角度的目标而言，传统的目标检测方法会包围大部分的背景区域，当目标处于不同的背景下，传统的目标检测方法会影响最终的检测精度。

为了解决背景的复杂性对检测结果的影响，技术人员提出采用旋转目标检测方法解决背景复杂性以及检测矩形框存在交叠的情况。旋转目标检测中的紧凑型矩形框可以旋转一定的角度，对两个靠近的待检测目标进行检测。

随着技术的进步，采用无人机在输电线缆下巡检拍摄检测的目标有绝缘子破损、防震锤破损、导地线断裂、挂空悬浮物等也得到更多的应用，这些目标都有一个共同特点，就是长宽比较大，且在拍摄的图像中会呈现一定的角度。因此采用传统的目标检测方法检测到的目标框会存在大部分的背景区域，同时当两个同类型的目标成一定角度贴近时，传统的目标检测方法检测到的两个目标会有很大程度的重合，最终在算法后处理阶段会将重合度较大的目标筛除。旋转目标检测检测到贴近的两个目标时，由于是紧凑型的矩形框包围，因此不会产生框的重合，同时检测的背景区域较小。

但是，针对移动端下常用的目标检测算法有yolov5，这是一种一阶段的基于深度学习的传统目标检测算法，在目标检测领域有着很深的应用，其算法原理是通过输入图像到yolov5网络的输入层，经过多层的卷积网络的特征提取和多尺度的输出层输出，通过预设的锚框对目标进行回归损失计算，通过判断候选框目标有无，对前景和背景损失进行计算，通过分类损失对目标类别损失计算，最终通过一定的加权系数，对各个部分的损失进行加权求和，yolov5算法最终输出的结果经过非极大值抑制操作，得到最终的输出。

其中，现有技术CN113298169A公开了一种基于卷积神经网络的旋转目标检测方法，在现有技术中引入旋转角度，采用旋转目标检测框来检测目标，克服了筛选预测框较困难的问题，但是本专利中的方法采用的是基于传统的yolov5网络进行的。现有技术中采用的网络结构存在不能够改善失焦图像检测鲁棒性，对于失焦图像检测时结果不理想；另外，在现有技术的回归损失计算方式中角度回归采用对角度单独回归的方式进行计算，但是由于角度周期性问题可能导致损失的突增的情况出现，造成检测结果不准确，例如图2所示。

由于输电线领域缺陷目标的长宽比不同于其他领域，输电线领域缺陷检测目标的长宽比较大，在目标缺陷检测过程中精确度要求更高，现有技术中的旋转目标检测方法存在如下不足：

1、针对输电线检测领域而言，缺陷检测性能有待提高；

2、现有的yolov5网络结构不能改善失焦图像检测鲁棒性；

3、现有技术中的损失回归计算方式，对角度单独回归的方式计算角度损失，由于存在θ度和θ-π度存在突变的问题，会导致损失突增的技术问题，造成检测不准确。

有鉴于此，如何设计一种输电缺陷检测方法，实现提升检测性能和可视化效果、提升网络对于失焦图像检测鲁棒性，提升回归准确性是业内相关技术人员亟待解决的一项课题。

发明内容

本发明基于将旋转目标检测方法应用到输电线缆上的缺陷检测中，提出一种基于对yolov5输出层特征构建高斯金字塔特征以及按照一定的权重进行特征融合和注意力机制，模拟了图像失焦的过程，从而提高了对失焦图像检测的鲁棒性；另外，本申请提出一种新的计算边框和角度回归损失的方式，采用一种高斯分布的方式模拟旋转矩形，边框和角度损失的计算是通过模拟两个高斯分布之间的距离来定义，从而可以解决现有技术中角度周期性导致的损失突增的问题，进一步提高旋转目标检测的性能，从而提高检测精度使其应用在输电线领域能够解决缺陷检测。

本发明公开了一种基于旋转目标检测的缺陷检测方法，包括：

目标图像预处理，针对检测目标图像制作缺陷类型数据集，采用多边形标注，标注多边形的最小外接矩形，生成标注后的目标框坐标和宽、高以及角度信息的标签；

第一特征融合，将预处理后的图像输入到网络的输入层，经过yolov5特征提取网络，输出特征图一F₁，特征图二F₂，特征图三F₃，对所述特征图一F₁，特征图二F₂，特征图三F₃分别构建高斯金字塔，对每个特征层所构建的高斯金字塔按照权重系数进行相加，实现特征融合获得第一特征图，所述第一特征图包括F_{1_fuse}、F_{2_fuse}、F_{3_fuse}；该特征融合的结果中既包括原始的由yolov5特征提取网络输出的特征图一F₁，特征图二F₂，特征图三F₃，同时还包括经过高斯金字塔进行处理融合后的第一层高斯金字塔融合特征图和第二层高斯金字塔融合特征图，经过高斯金字塔处理，模拟了图像失焦的过程，从而保证第一特征融合后的特征图中既保留了原始的特征结构同时也包含了失焦图像的结构特征，有助于提高对失焦图像的检测准确性。

第二特征融合，分别对第一特征融合获得的第一特征图F_{1_fuse}、F_{2_fuse}进行上采样，对第一特征图F_{3_fuse}以及上采样后的第一特征图F_{1_fuse}、F_{2_fuse}进行Concat融合，获得一个第二特征图F_concat。

第三特征融合，将获取的所述第二特征图F_concat经过3CA层进行通道注意力计算，根据计算注意力权重获得第三特征图。

第四特征融合，将所述第二特征图F_concat和所述第三特征图进行点乘融合获得第四特征图。

损失计算，对所述第四特征图进行损失计算，所述损失计算包括缺陷分类损失、目标有无损失、角度损失中的任何一种和多种，其中角度损失通过模拟两个高斯分布之间的距离来确定。

进一步地，对图像进行归一化处理，所述归一化处理为将标注后的目标框坐标除以图像宽、高值，过滤掉归一化后大于1的缺陷目标，用于提高训练模型的效率，加快损失函数的收敛。

更进一步地，第一特征融合时，所述高斯金字塔中的权重系数为M:N:L，其中，M≥N≥L。优选地，将L归一化取值为1，则M的取值范围为1≤M≤3，N的取值范围为1≤N≤2，实现了对失焦图像的模拟，同时保留了图像的原始结构，提高失焦图像检测的准确性。

其中，M：N：L优选为5:3:2，其次优选2:1:1或1:1:1。

更进一步的，还包括对第一特征图F_{1_fuse}、F_{2_fuse}进行上采样，对第一特征图中最小分辨率的特征图进行4倍上采样得到特征图F_{1_fuse_up}，中等分辨率特征图进行2倍上采样得到特征图F_{2_fuse_up}。

更进一步的，获得第一特征图的融合方式如下：

其中，G表示高斯函数表达式，x,y为图像的像素坐标，x₀,y₀表示中心点坐标，σ为标准差，σ取值为1.0-1.5，F_1-1，F_1-2，F_2-1，F_2-2，F_3-1，F_3-2分别表示经过高斯卷积后的高斯金字塔特征图。

更进一步的，获得第二特征图的方式如下：

，其中，第二特征图F_concat为三个第一特征图通过通道叠加后的融合特征图。

更进一步地，获得第三特征图的方式如下：3CA层进行通道注意力计算包括卷积模块，对比增强模块和Sigmoid函数模块，所述第二特征图依次通过卷积模块降维、对比增强模块、卷积模块升维、Sigmoid函数模块得到第三特征图。

更进一步地，其中所述对比增强模块对数据进行如下处理：

。

其中，x=[x1,x2,x3…xc]，表示经过1*1卷积降维后的特征图数量，w代表特征图的宽，h代表特征图的高，x(i,j)表示特征图上每个特征点的值，对比增强模块用于保留图片的结构信息和细节信息。其中，Sigmoid函数的表达式为sigmoid(x)=1/(1+e^-x)，sigmoid函数模块的作用是将对比增强模块输出的特征图进行归一化到0~1之间，然后将归一化后的特征与3CA层的输入特征图进行点乘，结果是得到了有注意力信息的第三特征图，可以在原始特征图的基础上突出显示经过注意力加权的特征。

更进一步地，进行边框和角度回归损失计算时，根据边框和角度信息进行回归，通过将旋转框的标签和预测值演绎成两个特殊的高斯分布，通过对旋转矩形框构造的协方差矩阵设置两个权重参数，构造协方差矩阵的概率密度图中最大概率区域覆盖旋转矩形，避免产生角度周期性导致的角度损失突变。

更进一步地，其中回归计算方式为：

μ是旋转矩形的中心坐标，

为由旋转矩形构造的协方差矩阵，w和h分别代表旋转矩形的宽和高，其中，μ、w和h代表边框信息，

包含了边框和角度信息，α和β分别为协方差矩阵的权重项，d²表示为两个高斯分布之间的Wasserstein距离，本申请通过d²用来衡量预测缺陷的旋转框的高斯分布和标签的高斯分布之间的距离。

更进一步地，所述缺陷检测方法应用于输电线缺陷检测领域或遥感检测或OCR识别领域。

本发明提出一种在现有的yolov5结构基础上，添加高斯金字塔结构以及针对经过yolov5特征提取网络输出的每个特征层构建高斯金字塔，然后针对每个特征层独立的按照一定的权重进行特征融合，模拟了图像失焦的过程，从而提高了对失焦图像检测的鲁棒性；另外，本申请提出一种新的计算边框和角度损失的方式，采用一种高斯分布的方式模拟旋转矩形，边框和角度损失的计算是通过模拟两个高斯分布之间的距离来定义，从而可以解决现有技术中通过角度计算而产生的角度周期性导致的损失突增的问题。

附图说明

图1为现有技术中传统目标检测方式示意图；

图2为现有技术中角度单独损失方式计算回归存在角度突增示意图；

图3为本申请提供的一种基于旋转目标检测的缺陷检测方法；

图4为本申请提供的检测方法中3CA层梳理流程；

图5为本申请提供的基于旋转目标检测时的示意图；

图6A为传统角度损失的模拟验证回归图像示意图；

图6B为本申请提供的角度损失模拟验证回归图像示意图。

具体实施方式

下面结合附图详细说明本发明的具体实施例。然而，应当将本发明理解成并不局限于以下描述的这种实施方式，并且本发明的技术理念可以与其他公知技术或功能与那些公知技术相同的其他技术组合实施。

在以下具体实施例的说明中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“轴向”、“径向”等词语理解为方便用语，而不应当理解为限定性词语。其中，yolov5特征提取网络为标准的yolov5特征提取算法，特征图一F₁，特征图二F₂，特征图三F₃是yolov5网络的三个标准输出特征图。

本发明提供了一种基于旋转目标检测的缺陷检测方法，在现有的yolov5特征提取算法输出的特征图一F₁，特征图二F₂，特征图三F₃的基础上构建高斯金字塔网络结构，分别独立的对现有的yolov5输出的三个特征图F₁、F₂、F₃进行高斯金字塔特征融合处理，针对每个特征图会进行高斯金字塔特征融合，通过单独对每个特征图进行高斯金字塔特征的融合，目的是提高对失焦图像检测鲁棒性，从而提升输电缺陷检测性能和可视化效果，避免因两个缺陷目标距离过近而发生漏检的现象，也即通过改进现有的yolov5网络结构，提升网络对于失焦图像检测鲁棒性；另外提出一种新的边框和角度损失回归方式，采用一种高斯分布的方式模拟旋转矩形，通过针对协方差矩阵设置两个权重项，边框和角度回归损失的计算是通过模拟两个高斯分布之间的距离来定义，从而解决现有技术中因为角度周期性问题导致的损失突变。图2为现有技术中角度单独损失方式计算回归存在角度突增示意图；从图2中可以看到包含三个框，3代表的是搜索建议框。2代表的是真实标签框，1代表的是预测框，采用角度单独回归的方式进行回归的过程由于角度的周期性，因此回归的损失会突增。具体计算如下：

搜索建议框标签：（0，0，100，25，-π/2），真实标签框标签：（0，0，100，25，3π/8），预测框标签：（0，0，100，25，-5π/8），目标偏移标签：（0，0，0，0，7π/8），预测偏移标签：（0，0，0，0，-π/8），实质上预测偏移标签和目标偏移标签中对应的角度差参数是非常接近的，但是按照现有规则进行计算角度损失Loss=Langle(目标偏移标签-预测偏移标签)=π>>0，其中，针对角度的计算符合下面规则，目标偏移标签=真实标签框标签-搜索建议框标签；预测偏移标签=预测框标签-搜索建议框标签。

针对我们提出的新的计算边框和角度损失的过程，我们采用一种高斯分布的方式模拟旋转矩形，角度损失的计算是通过模拟两个高斯分布之间的距离来定义，而我们定义的高斯分布的标准差Σ(w,h,θ)= Σ(w,h,θ-π)，完美解决角度周期性问题。真实标签框2是图像标签的真实位置，搜索建议框3为建议的搜索框，预测框1为预测图像所在的位置框。

图3-图5，图6B是本发明提供的基于旋转目标检测的缺陷检测方法的流程图以及实例。

本发明保护的一个方面是针对yolov5的网络架构进行改进。特征图一F₁，特征图二F₂，特征图三F₃是yolov5网络的三个标准输出特征图，本发明中在特征图一F₁，特征图二F₂，特征图三F₃上分别构造三层高斯金字塔结构，分别通过构造的高斯金字塔特征对特征图一F₁，特征图二F₂，特征图三F₃分别进行第一特征融合获得第一特征图F_{1_fuse}、F₂__fuse、F₃__fuse，分别对每层对应的第一特征图中的特征进行上采样，然后对上采样后的特征图进行通道Concat融合，将yolov5网络输出的每个特征层通过第一特征融合后对应的第一特征图通过通道叠加，按照通道进行堆积，变成一个特征图输出，也即作为第二特征图F_concat输出，通道Concat输出的第二特征图F_concat作为3CA层的输入，在对经过Concat融合后的第二特征图F_concat提取3CA层注意力权重信息获得第三特征图，将第三特征图与第二特征图进行点乘，对第三特征图和第二特征图点乘后的特征图进行检测输出。 其中，3CA层主要是为了计算注意力图，计算的结果与经过3CA层前的特征图点乘就可以的得到经过注意力加权的新的特征图。点乘的结果是得到了有注意力信息的第三特征图，可以在原始特征图的基础上突出显示经过注意力加权的特征。

一种基于旋转目标检测的缺陷检测方法其实施的主要步骤是：

步骤一：目标图像预处理，针对输电缺陷目标制作缺陷类型数据集，标注方式采用多边形标注，然后找标注多边形的最小外接矩形，生成标签，标签格式为矩形的中心点坐标和宽、高以及角度信息（centerx,centery,width,height,θ）。对图像进行归一化处理，归一化处理为将标注后的目标框坐标除以图像宽、高值，过滤掉归一化后大于1的缺陷目标，通过数据归一化方式用于提高训练模型的效率，加快损失函数的收敛。对图像会进行数据增强处理，处理方式采用水平翻转，左右翻转，色调变化，旋转增强的方式。

步骤二：第一特征融合，将预处理后的图像输入到网络的输入层，经过yolov5特征提取网络，得到三个特征层特征图一F₁，特征图二F₂，特征图三F₃，然后分别对三个特征层F₁，F₂，F₃分别构建3层高斯金字塔，每层高斯金字塔分别输出不同平滑系数的高斯金字塔特征，然后对每层特征图采用0.5:0.3:0.2的权重系数对高斯金字塔特征进行特征融合，获得第一特征图F_{1_fuse}、F_{2_fuse}、F_{3_fuse}。

其中，在得到第一特征图F_{1_fuse}、F_{2_fuse}、F_{3_fuse}之前，会对特征图一F₁，特征图二F₂，特征图三F₃分别独立进行两层高斯金字塔融合，特征图一F₁会经过高斯函数G（x,y）处理得到特征图一的第一层高斯金字塔融合特征图F_1-1，特征图一的第一层高斯金字塔融合特征图F_1-1通过第二层高斯金字塔得到特征图一的第二层高斯金字塔融合特征图F_1-2， F_{1_fuse}为特征图一F₁与第一层高斯金字塔融合特征图F_1-1、第二层高斯金字塔融合特征图F_1-2按照0.5、0.3、0.2的权重进行融合。

特征图二F₂会经过高斯函数G（x,y）处理得到特征图二的第一层高斯金字塔融合特征图F_2-1，特征图二的第一层高斯金字塔融合特征图F_2-1通过第二层高斯金字塔得到特征图二的第二层高斯金字塔融合特征图F_2-2，F_{2_fuse}为特征图二F₂与第一层高斯金字塔融合特征图F_2-1、第二层高斯金字塔融合特征图F_2-2按照0.5、0.3、0.2的权重进行融合。

特征图三F₃会经过高斯函数G（x,y）处理得到特征图三的第一层高斯金字塔融合特征图F_3-1，特征图三的第一层高斯金字塔融合特征图F_3-1通过第二层高斯金字塔得到特征图三的第二层高斯金字塔融合特征图F_3-2，F_{3_fuse}为特征图三F₃与第一层高斯金字塔融合特征图F_3-1、第二层高斯金字塔融合特征图F_3-2按照0.5、0.3、0.2的权重进行融合。

其中，G表示高斯函数表达式，x，y为图像的像素坐标，σ为标准差，在计算高斯权重时σ分别预设为1.0和1.5， F_1-1，F_1-2，F_2-1，F_2-2，F_3-1，F_3-2分别表示经过高斯卷积后的高斯金字塔特征，F_{1_fuse}，F_{2_fuse}，F_{3_fuse}表示多层高斯金字塔特征融合后的第一特征图。特征图一F₁，特征图二F₂，特征图三F₃包含原始图像中的结构特征，经过高斯金字塔融合后的特征图模拟了失焦图像。也即，第一特征图F_{1_fuse}，F_{2_fuse}，F_{3_fuse}分别通过F₁,F₂,F₃构建的高斯金字塔特征按照5:3:2的权重比例融合得到的特征图，而我们所构建的高斯金字塔特征是一种对图像特征进行平滑的过程，达到对图像模糊的效果，从而模拟了图像失焦造成图像模糊的现象，按照5:3:2进行融合是为了在保留原始图像特征的基础上同时也能融合图像平滑后的特征，从而得到融合后的特征图F_{1_fuse}、F_{2_fuse}、F_{3_fuse}可以提高对失焦图像检测的鲁棒性。

步骤三，第二特征融合，对第一特征图F_{1_fuse}、F_{2_fuse}、F_{3_fuse}中最小分辨率特征进行4倍上采样，中等分辨率特征进行2倍上采样，也即对第一特征图F_{1_fuse}进行4倍上采样，对第一特征图F_{2_fuse}进行2倍上采样，上采样后，再进行Concat融合特征获得第二特征图F_concat，通过这种方式构造的特征图对输入图像中的一些失焦图像检测鲁棒性更好。其中，concat特征融合是指将具有相同宽高尺寸的两个特征图按照通道进行叠加的一种融合方式，举例如下：特征图1的尺寸为（w,h,c1），特征图2的尺寸为（w,h,c2），w和h代表特征图的宽和高，c1和c2代表特征图的通道数，经过Concat融合后的新的特征图尺寸为（w,h,c1+c2）。

具体计算公式如下：

F_concat为三层特征图通过通道叠加后形成为的一个特征图也即第二特征图。

步骤四：经过Concat后的特征经过3CA层进行通道注意力计算，获得第三特征图。本申请在通道注意力计算时采用了对比增强模块，利用对比增强模块通过计算特征的均值和方差求和更大限度的保留了图片特征的结构信息和细节信息，提高对图片检测的准确性。

3CA层通道注意力计算模块首先通过卷积模块（Conv-1模块）进行1*1卷积降维，然后通过对比增强模块逐通道计算特征图的标准差和均值的和，再通过卷积模块升维后经过一个Sigmoid函数进行激活输出注意力权重信息，得到经过计算注意力权重信息后的新的特征图也即第三特征图，对比增强模块处理如下：

其中，x=[x1,x2,x3…xc],表示经过1*1卷积降维后的特征图数量，w,h代表特征图尺寸，x(i,j)表示特征图上每个特征点的值。

步骤五：第四特征融合，将第二特征图F_concat与第三特征图进行点乘融合处理，得到最终输出的第四特征图，第四特征融合中将第二特征图和第三特征图进行点乘处理，可以提高在原始第二特征图上的图像细节，使第二特征图中明显的细节进一步增强，第二特征图中模糊的细节进一步模糊化处理，从而实现扩大特征图中需要被关注的结构细节。

将第四特征图输入到yolov5标准检测（detect）输出层进行反向传播，计算损失（loss）。经过检测输出层后的输出进行损失函数计算，然后进行反向传播更新参数，损失函数计算主要分成以下几块，缺陷分类损失，主要通过Cross-entropy（交叉熵损失）损失对缺陷类型进行分类，目标有无损失，主要通过Cross-entropy（交叉熵损失）损失对预选框的前景背景进行分类，回归损失，主要对预选框的位置，角度信息进行回归，本发明中采用一种演绎式的回归方法，通过将旋转框的标签和预测值演绎成两个特殊的高斯分布，优化两个高斯分布的距离，来回归预测框的位置和角度。

具体回归的计算公式如下：

其中，μ是旋转矩形的中心坐标，

为由旋转矩形构造的协方差矩阵，w和h分别代表旋转矩形的宽和高，α和β分别为协方差矩阵的权重项，目的是为了使构造的协方差矩阵的概率密度图中最大概率区域覆盖旋转矩形，更精确的回归旋转矩形框。d²表示为两个高斯分布之间的Wasserstein距离，Wasserstein距离用来衡量预测缺陷的旋转框的高斯分布和标签的高斯分布之间的距离，Tr代表矩阵求秩。

本发明中的回归计算方式可以避免 θ和θ-π度时出现的周期性导致角度损失突增的问题。本发明中通过优化d²来计算回归损失，通过d²可知本发明中的θ和 θ-π度的结果相同。

将任意旋转矩形近似成一个二维的高斯分布，通过计算分布之间的Wasserstein距离解决，对于一个二维的高斯分布的构建需要有两个参数，一个是中心点坐标，还有一个是协方差矩阵，中心点坐标控制高斯分布的中点位置，协方差矩阵控制高斯分布的方向和形状。而旋转矩形可以用中心点坐标和宽高w、h，以及旋转角度θ表示，旋转矩形的中心点可以用二维高斯分布的中心点坐标表示，旋转矩形的宽高（边框）以及角度信息，可以由二维高斯分布的协方差矩形近似表示。因此二维高斯分布表示的两个旋转矩形的边框和角度损失计算，可以转化为两个高斯分布之间的距离差异，Wasserstein距离可以用来衡量两个高斯分布之间的距离，通过最优化两个高斯分布的Wasserstein距离，拟合两个旋转矩形。针对本方法解决角度周期性问题，具体来说就是：公式解释为，本发明所提到的二维高斯分布的协方差矩阵在角度为θ和角度为（θ-π）时，协方差矩阵的值相同，完美解决角度周期性问题。

其中，图6A中为传统的用二维高斯函数模拟旋转矩形的回归方式，图6B中显示了本申请提供的模拟旋转矩形的方式，其中图6A和6B中的四个点为目标框坐标，中间部分为回归的高斯函数。针对图6A和图6B，横纵坐标代表的是像素坐标，图6A显示的是基于现有的技术方案二维高斯分布拟合旋转矩形的结果，图6B显示的是本发明所提出的拟合的旋转矩形的结果，可以看到图6B能够更好的对矩形进行拟合。其中四个点形成的是矩形框的四个角对应的顶点，中间的圆形是回归的高斯函数，根据图6B可知本申请中的回归高斯函数与四个点对应的目标框坐标更接近，也即表征了本申请中的方式可以更准确的进行边框和角度损失的计算。

步骤六：训练完成后，保存训练好的模型，输入测试的缺陷图片，经过旋转NMS（非极大值抑制）处理后可检测出缺陷类型和位置。更为具体的是：经过前面的步骤构建好数据集、网络结构以及损失函数后，将数据集划分成9:1，分别作为训练集和测试集，训练完成后保存在测试集上表现精度最高的模型。然后将测试图片输入到训练好的表现最好的模型中，经过NMS（非极大值抑制）操作后，即可检出缺陷类型和位置。非极大值抑制的目的是将同一个对象检测出来的多个框进行过滤，只保留一个对象一个检测框的过程。

本发明提出一种基于对yolov5输出层特征构建高斯金字塔特征，然后按照一定的权重进行特征融合，模拟了图像失焦的过程，从而提高了对失焦图像检测的鲁棒性；另外，本申请提出一种新的计算边框和角度损失的方式，采用一种高斯分布的方式模拟旋转矩形，边框和角度损失的计算是通过模拟两个高斯分布之间的距离来定义，从而可以解决现有技术中角度周期性导致的损失突增的问题。

本说明书中所述的只是本发明的较佳具体实施例，以上实施例仅用以说明本发明的技术方案而非对本发明的限制。凡本领域技术人员依本发明的构思通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的范围之内。

Claims (11)

1.一种基于旋转目标检测的缺陷检测方法，其特征在于，包括：

目标图像预处理，针对检测目标图像制作缺陷类型数据集，采用多边形标注，标注多边形的最小外接矩形，生成标注后的目标框坐标和宽、高以及角度信息的标签；

第一特征融合，将预处理后的图像输入到网络的输入层，经过yolov5特征提取网络，输出特征图一F₁，特征图二F₂，特征图三F₃，对所述特征图一F₁，特征图二F₂，特征图三F₃分别构建高斯金字塔，对构建后的高斯金字塔特征图按照权重系数进行相加，获得第一特征图，所述第一特征图包括F_{1_fuse}、F_{2_fuse}、F_{3_fuse}；

第二特征融合，分别对第一特征融合获得的第一特征图F_{1_fuse}、F_{2_fuse}进行上采样，对第一特征图F_{3_fuse}以及上采样后的第一特征图F_{1_fuse}、F_{2_fuse}进行Concat融合，获得一个第二特征图F_concat；

第三特征融合，将获取的所述第二特征图F_concat经过3CA层进行通道注意力计算，根据计算注意力权重获得第三特征图；

第四特征融合，将所述第二特征图F_concat和所述第三特征图进行点乘融合获得第四特征图；

损失计算，对所述第四特征图进行损失计算，所述损失计算包括缺陷分类损失、目标有无损失、边框和角度回归损失，其中边框和角度回归损失通过模拟两个高斯分布之间的距离来确定。

2.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，对图像进行归一化处理，所述归一化处理为将标注后的目标框坐标除以图像宽、高值，过滤掉归一化后大于1的缺陷目标，用于提高训练模型的效率，加快损失函数的收敛。

3.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，第一特征融合时，所述高斯金字塔中的权重系数为M:N:L，其中，M≥N≥L。

4.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，还包括对第一特征图F_{1_fuse}、F_{2_fuse}进行上采样，对第一特征图中最小分辨率的特征图进行4倍上采样得到新的特征图F_{1_fuse_up}，中等分辨率特征图进行2倍上采样得到新的特征图F_{2_fuse_up} 。

5.根据权利要求1或3所述的旋转目标检测的缺陷检测方法，其特征在于，获得第一特征图的融合方式如下：

采用第一层高斯金字塔对特征图一F₁，特征图二F₂，特征图三F₃ 分别进行第一层高斯金字塔融合，得到特征图一F₁、特征图二F₂、特征图三F₃ 分别对应的高斯金字塔特征图F_1-1、F_2-1、F_3-1，其中，高斯金字塔表达式为

；

采用第二层高斯金字塔分别对特征图F_1-1、F_2-1、F_3-1 进行第二层高斯金字塔融合，分别得到对应的高斯金字塔特征图F_1-2、F_2-2、 F_3-2；

所述第一特征融合中特征图一F₁、第一层高斯金字塔特征图、第二层高斯金字塔特征图的所述权重系数为0.5:0.3:0.2；

其中，x,y为图像的像素坐标，x₀,y₀表示中心点坐标，σ为标准差，σ取值为1.0-1.5。

6.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，获得第二特征图的方式如下：

其中，所述第二特征图F_concat为三个第一特征图通过通道叠加后的融合特征图。

7.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，获得第三特征图的方式如下：3CA层进行通道注意力计算包括卷积模块，对比增强模块和Sigmoid函数模块，所述第二特征图依次通过卷积模块降维、对比增强模块、卷积模块升维、Sigmoid函数模块得到第三特征图。

8.根据权利要求7所述的旋转目标检测的缺陷检测方法，其特征在于，其中所述对比增强模块对数据进行如下处理：

其中，x=[x1,x2,x3…xc]表示经过1*1卷积降维后的特征图数量，w代表特征图的宽，h代表特征图的高，x(i,j)表示特征图上每个特征点的值，对比增强模块用于保留图片的结构信息和细节信息。

9.根据权利要求1所述的旋转目标检测的缺陷检测方法，其特征在于，进行边框和角度回归损失计算时，根据边框和角度信息进行回归，通过将旋转框的标签和预测值演绎成两个特殊的高斯分布，通过对旋转矩形框构造的协方差矩阵设置两个权重参数，构造协方差矩阵的概率密度图中最大概率区域覆盖旋转矩形，避免产生角度周期性导致的角度损失突变。

10.根据权利要求9所述的旋转目标检测的缺陷检测方法，其特征在于，

其中回归计算方式为：

μ是旋转矩形的中心坐标，

为由旋转矩形构造的协方差矩阵，w和h分别代表旋转矩形的宽和高，α和β分别为协方差矩阵的权重项，

表示为两个高斯分布之间的Wasserstein距离，用来衡量预测缺陷的旋转框的高斯分布和标签的高斯分布之间的距离。

11.根据权利要求1-10任一项所述的旋转目标检测的缺陷检测方法，其特征在于，所述缺陷检测方法应用于输电线缺陷检测领域或遥感检测或OCR识别领域。

Images