CN116994161A - 一种基于改进YOLOv5的绝缘子缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于改进YOLOv5的绝缘子缺陷检测方法，其特征在于包括以下步骤：首先，采用高分辨率的无人机拍摄绝缘子图像，将获取的绝缘子图像进行预处理并进行标注，形成数据集，按照比例划分为训练集和测试集；构建基于改进YOLOv5的绝缘子缺陷检测模型，将模型的主干网络换为ConvNeXt V2，采用FCMAE自监督学习方法对改进后的模型进行预训练，再将训练集输入改进后的模型进行微调；将测试集输入训练后的模型进行性能评估；最后，利用最终得到的模型，对待测绝缘子图像进行检测，获得检测结果。本方法检测精度良好和检测速度较块，能解决绝缘子缺陷漏检、误检等问题，同时节省了人力物力。

Description

一种基于改进YOLOv5的绝缘子缺陷检测方法

技术领域

本发明属于深度学习技术领域，具体涉及一种基于改进YOLOv5的绝缘子缺陷检测方法。

背景技术

绝缘子的可靠运行是高压输电线路甚至电网安全的重要保证。由于长期暴露在复杂的自然环境中，容易存在以下故障，外力引起的绝缘子裂缝、面临温湿度、雷电、强电场、污秽以及自然灾害极易引起自爆和脱落等。严重时，甚至会导致区域大面积停电，影响企业正常作业以及城乡居民正常生活。因此在输电线路巡检过程中需要对绝缘子外观进行重点检测，及时发现绝缘子外观缺陷问题并进行处理，避免因绝缘子缺陷问题影响输电线路的正常运行。

传统的绝缘子缺陷检测主要依靠人工巡检，这种检测方式有一些局限性：首先，这种检测方式需要人工有丰富的经验，其次，恶劣的勘测环境会存在安全隐患，最后，绝缘子的数量庞大需要耗费大量的人力和时间且成本高。目前主流的绝缘子检测方法是使用无人机拍照并进行损伤识别，大大减少了现场操作中维修人员的工作量，然而，无人机航空摄影图像中复杂的自然背景、少量目标和重叠目标的现象，对后续绝缘子缺陷的智能检测构成了巨大的障碍。近年来，计算机视觉技术在绝缘子缺陷检测方面取得了一定的进展，但仍存在一定的不足。一些方法的检测精度还不够高，容易造成误检、漏检等情况，不能满足实际检测需求，因此，现有的绝缘子检测方法的准确性还有待提高。

本发明属于深度学习技术领域，具体涉及一种基于改进YOLOv5的绝缘子缺陷检测方法。利用无人机对绝缘子进行拍摄采集图像，在现场设备上实现绝缘子缺陷的快速和准确检测。避免停电事故的发生，减少电力系统的损失。

发明内容

针对上述背景内容中现有技术存在的不足，本发明提出了一种基于改进YOLOv5的绝缘子缺陷检测方法，将YOLOv5的主干网络换成ConvNeXtV2，来解决Darknet对小目标特征提取能力不足的问题，有利于提高检测精度和检测速度，以获得最佳检测效果。

为实现以上目的，本发明所采用的技术方案其特征在于包含以下步骤：

步骤1、获取绝缘子图像，并对图像进行预处理；

步骤2、对处理后的图像进行标注，生成深度学习模型所需的数据集，并将数据集划按照比例随机分为训练集和测试集；

步骤3、构建基于改进YOLOv5的绝缘子缺陷检测模型；

步骤4、将训练集输入改进后的YOLOv5绝缘子缺陷检测模型进行训练；

步骤5、测试训练后的网络模型，将测试集输入训练后的模型进行性能评估；

步骤6、利用最终得到的模型对待测绝缘子图像进行检测，输出绝缘子检测结果和目标位置信息。

进一步的，所述步骤1中绝缘子的图像的获取采用高分辨率的无人机进行拍摄，得到不同种类、不同角度的图像，其中包含缺陷的绝缘子图像和正常绝缘子图像，对图像进行预处理。

进一步的，图像预处理具体包括：

对得到的图像进行筛选，剔除模糊以及质量太差的图像；

为了对图像处理方便，将包含绝缘子缺陷的图像裁剪成224×224的统一大小；

对绝缘子图像进行数据增强，通过对图像进行水平翻转、垂直翻转、比例缩放、添加高斯噪声和高斯滤波等，增加数据数量，扩充缺陷样本作为数据集。

对图像进行直方图均衡化，提高对比度，以增强图像中的缺陷特征，方便计算机对图像的识别。

进一步的，所述步骤2中使用labelimg数据标注工具对获取到的图像进行标注，具体包括：

确定要标注的绝缘子图像，将需要标注的图像导入到labelimg中，找出图中的绝缘子所处的区域，再对其进行标注，由此获得绝缘子所处区域的标识框；

所获取的绝缘子所处区域的标识框，按照绝缘子的状态，使用绝缘子扎线松脱、绝缘子破损、绝缘子污秽、绝缘子自爆和正常绝缘子这五种类型进行标注，得到带有标记框的标注信息；

把得到的标注信息生成对应的xml文档，每个文档中的标注信息均包含：filename(图像名称)、size(width，heights图像尺寸)、object(图像中标注的目标，可能含有多个目标)、name(标注目标，类别标签labels)、bndbox(标注目标框xmin，ymin，xmax，ymax左上角，右下角坐标)；

获得已标注的绝缘子图像以及包含标记信息的xml文档，并将其用作数据集。

进一步的，所述步骤3中将YOLOv5模型的主干网络替换成ConvNeXt V2，整个模型具体包括：

输入模块(input)：对绝缘子图像进行翻转、缩放、随机裁剪等，增强模型鲁棒性；

主干网络(backbone)：对经过图像输入模块处理的绝缘子图像进行卷积特征提取，生成不同尺度的特征图，ConvNeXtV2块采用的是两头细中间粗的结构，在输入时通道数为96，中间层通道数为384，最后输出时通道数不变仍为96，实现了整个网络在识别精度上明显增强。

融合网络(Neck)：包含特征金字塔网络(FPN)和路径聚合网络(PAN)，FPN能在网络中自上而下传递语义信息，PAN则自下而上传递定位信息，实现不同深度特征图的信息融合，使输出具有完备的特征信息的特征图；

检测头(Prediction)：在特征融合Neck模块处理的特征图上对绝缘子进行拟合与识别，3个Detect头用于在不同尺度特征图上预测不同尺寸的目标，通过生成的锚框同时预测类别和边界框偏移量。一般都是对损失函数的设计，损失函数又可以分为分类损失函数(Classification Loss)和回归损失函数(Bounding Box Regression Loss)，在此处采用CIOU_Loss作为回归损失函数，最后采用加权NMS(非极大值抑制)来筛选目标框。

进一步的，所述步骤4中采用FCMAE(全卷积掩码自动编码器)自监督学习方法对改进后的YOLOv5绝缘子缺陷检测模型进行训练，具体包括：

以无标注的绝缘子图像为目标，采用FCMAE自监督学习方法对改进后的模型进行预训练；

将预训练后的模型作为backbone的初始化，进行下游任务的训练；

将训练集作为改进后的YOLOv5绝缘子缺陷检测模型输入进行训练。

进一步的，所述步骤5中将测试集输入训练后的模型进行性能评估具体包括：

检测精度的衡量指标主要包括准确率(Precision)、召回率(Recall)、F1 score、IoU(Intersection over Union)、P-R curve(Precision-Recall curve)、平均精度(AP(Average Precision))、均值平均精度(mAP(meanAverage Precision))，具体表达式如下：

其中，TP(true positive)为准确识别的正样本个数；FP(false positive)为准确识别的负样本个数；FN(false negative)为未识别的正样本个数；t_bbox表示标记的绝缘子真实框；p_bbox表示通过算法计算出来的绝缘子框；准确率P在预测中是评估预测的准不准；召回率R在预测中是评估找的全不全；h表示模型所设置的类别数，本文设置为h＝5，分别为正常绝缘子，绝缘子污秽，绝缘子自爆，绝缘子松脱和绝缘子破损；

检测速度的衡量指标主要包括前传耗时、每秒帧数FPS(Frames Per Second)、浮点运算量(FLOPS)；

设定检测精度和检测速度的值，如果检测精度或检测速度的值小于所设定的值，则调整网络参数继续训练；如果检测精度或检测速度的值大于所设定的值，保存权重用于绝缘子缺陷检测。

与现有技术相比，本发明的有益效果是：提供了一种基于改进YOLOv5的绝缘子缺陷检测方法，该方法通过把YOLOv5的主干网络替换成ConvNeXt V2，相比于传统的卷积神经网络，它具有更佳的分类性能和通用性；在YOLOv5模型中引入ConvNeXt V2结构能进一步提高模型的性能，ConvNeXt V2有更深的卷积层和更多的通道数，使模型可以更好地提取出图像的特征，此外还引入了残差连接和批归一化等技术，进一步增强了模型的鲁棒性和泛化能力。在实际应用中，降低误检率和漏检率，提高模型的准确性和稳定性，本方法可广泛应用于电力系统绝缘子的检测和识别，提高电力系统的运行安全和稳定性。

附图说明

图1是本发明的方法流程图。

图2是本发明的基于改进的YOLOv5的绝缘子缺陷检测方法流程图。

图3是本发明的ConvNeXt V2网络结构图。

图4是本发明的ConvNeXt V2模块结构图。

图5是本发明的FCMAE(全卷积掩码自编码器)整体框架图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明，提供了一种基于改进YOLOv5的绝缘子缺陷检测方法，如图1和图2所示，包括如下步骤：

1.利用高分辨率的无人机拍摄绝缘子，进行图像采集；

其中，采集到的图像包含正常绝缘子图像和缺陷的绝缘子图像；

2.将获取的绝缘子图像进行预处理并进行标注，形成数据集，按照8:2划分为训练集和测试集；

其中，图像预处理具体包括：首先对得到的图像进行筛选，剔除模糊以及质量太差的图像，为了减小数据量和方便处理，将包含绝缘子缺陷的图像裁剪成224×224的统一大小，由于缺陷都比较小，为了方便模型识别小缺陷，需要减小图像的大小；其次，对绝缘子图像进行数据增强，通过对图像进行水平翻转、垂直翻转、比例缩放、添加高斯噪声和高斯滤波等，增加数据数量，扩充缺陷样本作为数据集，数据集越多，越能提高模型的泛化能力和识别准确度；最后，图像进行直方图均衡化，提高对比度，以增强图像中的缺陷特征，得到固定尺寸的三通道图像，方便计算机对图像的识别；

其中，图像标注具体包括：将需要标注的图像导入到labelimg中，找出图中的绝缘子所处的区域，再对其进行标注，由此获得绝缘子所处区域的标识框；按照绝缘子的状态，使用绝缘子扎线松脱、绝缘子破损、绝缘子污秽、绝缘子自爆和正常绝缘子这五种类型进行标注，得到带有标记框的标注信息；把得到的标注信息生成对应的xml文档，每个文档中的标注信息均包含：filename(图像名称)、size(width，heights图像尺寸)、object(图像中标注的目标，可能含有多个目标)、name(标注目标，类别标签labels)、bndbox(标注目标框xmin，ymin，xmax，ymax左上角，右下角坐标)；获得已标注的绝缘子图像以及包含标记信息的xml文档，并将其用作数据集；本实例标注的绝缘子缺陷数据集包括绝缘子污秽219张，绝缘子自爆585张，绝缘子松脱184张，绝缘子破损344张，共1332张图像；正常绝缘子图像500张；

其中，数据集按8:2随机划分会生成test和train两个集合。train包括1466张图像，test包括366张图像，test是测试集，主要是用来测试训练效果，这部分数据集要与训练集完全隔离，否则会影响测试效果；train是训练集，主要对数据进行训练。

3.构建基于改进YOLOv5的绝缘子缺陷检测模型包括以下步骤：

该绝缘子缺陷检测模型主要包括图像输入模块，特征提取backbone模块即yolov5的主干网络，特征融合Neck模块即yolov5的“颈部”，以及预测head模块既yolov5的“头部”。

输入模块(input)：对绝缘子图像进行翻转、缩放、随机裁剪等，增强模型鲁棒性，输入为224×224×3的图像；

主干网络(backbone)：对经过图像输入模块处理的绝缘子图像进行卷积特征提取，生成不同尺度的特征图，将YOLOv5模型的主干网络替换成ConvNeXt V2，ConvNeXt V2是一种纯卷积网络，在相同的计算下，拥有更快的推理速度和更高的准确率，实现了整个网络在识别精度上明显增强；

其中，ConvNeXt V2模块结构图如图4所示，本网络采用了翻转的瓶颈结构，也就是两头细中间粗的结构，在输入时通道数为96，中间层通道数为384，最后输出时通道数不变仍为96，通过翻转瓶颈结构实现本网络精度的提升。h，w，dim分别表示特征图的高、宽和深度，经过深度可分离卷积(Depthwise Conv2d)以及层归一化(LayerNormalization)，目的是对多个特征通道进行融合，之后经过普通卷积(Conv2d)等操作，对特征图进行一系列升维与降维处理后，使其输出特征图为h×w×dim。包括以下几个单元：

深度可分离卷积(Depthwise Conv2d)：主要是通过保持输入和输出的维度相同，并且卷积在通道和空间维度上的可分离实现计算量的减少以及空间内信息的提取。通过卷积核与通道数量相等可以实现当输入一个三通道的RGB图像时，经过卷积运算之后得到对应通道的三个特征图；

层归一化(Layer Normalization)：在ConvNeXt V2 Block中的深度可分离卷积层后加入，用同层的隐层神经元响应值作为集合范围，来求均值和方差，即独立于BatchSize的算法样本数的多少不会影响到LN的计算，主要是减轻模型对参数初始化的依赖，并且可以加快模型的训练提高模型精度，通过以下公式进行归一化：

其中x_nchw表示在第n条训练数据产生的第c个通道中的第h行w列个输出。ε是固定的常数用以保证分母不为0。γ和β是LN层的参数。

GELU激活函数可以将神经元的输入转化为输出，减少梯度消失问题，具体表达式如下：

GELU(x)＝xΦ(x)

其中，Φ(x)表示标准正态分布的累积分布函数。

全局响应归一化(GRN)层：ConvNeXtV2模型存在特征崩溃问题，其特征是通道中存在冗余激活(死亡或饱和神经元)，为了解决这个问题，引入了全局响应归一化(GRN)层。它是一种新的卷积神经网络层，它是在每个通道上对特征图进行归一化处理，从而增强通道间的特征竞争；

其中，全局响应归一化(GRN)层包含三个步骤：

全局特征聚合，使用L2范数对每个通道上的特征图进行聚合，得到一个聚合后的向量，具体为将一个空间特征映射X_i聚合成一个具有全局函数G(·),其表达式如下：

G(X):＝X∈R^H×W×C→gx∈R^C

可以看作一个简单的池化层，使用L2范数进行特征聚合，会导致更好的性能，得到一组聚合值，其表达式如下：

G(X)＝gx＝{||X₁||,||X₂||,…,||X_C||}∈R^C

其中，G(X)_i＝||X_i||是一个标量，它聚合了第i个通道的统计量；

特征归一化，使用标准除法归一化函数对聚合后的向量进行归一化，具体为对聚合值应用一个响应归一化函数N(·)其表达式如下：

其中，||X_i||为第i个信道的L2范数，这一步通过相互抑制创造了一个通道之间的特征竞争；

特征校准，使用归一化后的向量对原始的特征图进行校准。整个GRN层的计算量非常小，因此很容易地添加到卷积神经网络中，从而增强特征竞争，提高模型性能。具体为使用计算出的特征归一化分数来校准原始输入响应，其表达式如下：

X_i＝X_i*N(G(X)_i)∈R^H×W

Drop Path：是一种正则化方法，随机“删除”模型中分支结构某一部分再对剩余部分进行缩放，减少网络层数，从而可以减少神经元提取的特征，分支之间的耦合度，可以防止过拟合；

残差结构：防止由于卷积层过多导致梯度消失或爆炸等问题。

如图3所示为ConvNeXt V2网络结构图，具体过程如下：

首先输入图像进行旋转、裁剪到大小为224×224×3(即高度与宽度大小为224，通道数为3)的图像，先通过卷积核大小为4的步长为4的卷积层进行下采样，长宽被缩小到56×56，同时通道数增加到96，随后进行LN的归一化，经过第一次卷积操作后特征图变为56×56×96；

其次，数据经过ConvNeXt V2 Block，被LN层归一化后，通过卷积核大小为2的步长为2的卷积层再次下采样，长宽被缩小到28×28，通道数增加到192，特征图变为28×28×192；

之后，数据经过ConvNeXt V2 Block，被LN层归一化后，通过卷积核大小为2的步长为2的卷积层进行第三次下采样，长宽被缩小到14×14，通道数增加到384，特征图变为14×114×384；

此后，数据经过ConvNeXt V2 Block，被LN层归一化后，通过卷积核大小为2的步长为2的卷积层进行最后一次下采样，长宽被缩小到7×7，通道数增加到768，特征图变为7×7×768；

最后，经全局平均池化(Global Avg Pooling)、层标准化与全连接(Linear)等操作后，输出大小为5。

下采样层主要是是降低整个网络的计算量，同时能够防止出现过拟合的问题以及可以增大感受野，从而使后面的卷积层可以学习到更多的信息。本特征提取网络采用了单独的下采样层，除第一个ConvNeXt V2 Block模块外，其余的每个模块开始之前都加入单独的下采样层，该下采样层是通过在层归一化之后添加一个卷积核大小为2，步长为2的卷积层构成的，从而实现降低特征图大小。

融合网络(Neck)：包含特征金字塔网络(FPN)和路径聚合网络(PAN)，FPN能在网络中自上而下传递语义信息，PAN则自下而上传递定位信息，实现不同深度特征图的信息融合，使输出具有完备的特征信息的特征图；。Neck中有大、中、小三种不同尺度的预测层，对应不同尺度目标的检测；

所述FPN结构既上采样过程通过插值法将第一级特征图的大小放大与第二级特征图的大小相同，再与其进行张量拼接。同样的方法将第二级特征图与第三级特征图进行拼接，将上级特征图的强语义信息向下传递；

所述PAN结构将第三级特征图经过卷积操作将大小转化到与第二级特征图一致后进行张量拼接。同样的方法将第二级特征图与第一级特征图进行拼接，将下级特征图的强定位信息向上传递，能够更加精确的定位信息融合到上级特征图，将融合后得到的不同尺寸不同级别的特征图送去预测head模块。

检测头(Prediction)：在特征融合Neck模块处理的特征图上对绝缘子进行拟合与识别，3个Detect头用于在不同尺度特征图上预测不同尺寸的目标，通过生成的锚框同时预测类别和边界框偏移量。一般都是对损失函数的设计，损失函数又可以分为分类损失函数(Classification Loss)和回归损失函数(Bounding Box Regression Loss)，在此处采用CIOU_Loss作为回归损失函数，最后采用加权NMS(非极大值抑制)来筛选目标框，其表达式如下：

其中，α为权重函数，w和h分别代表预测框的宽度和高度；w^gt和h^gt分别为真实框的宽度和高度；

其中，b为预测框，b^gt为真实框；ρ²(·)为欧式距离，l为2个框最小外接矩形的对角线距离。

4.将训练集输入改进后的模型进行训练。人工进行标注数据是昂贵和费时的，在没有标注数据的情况下获得一个strong的Backbone是一个重要的问题，采用自监督学习方法可以解决这个问题，它的目标基于无标注的数据，设计辅助任务来将数据本身的某一部分的信息作为监督信号，从而基于这个监督信号来训练模型。基于这些无标签的数据，可以学习到一个模型，由于这个预训练之后的模型已经具备一定的知识，因此在进行具体的下游任务时，可以将它作为backbone的初始化，进行下游任务的训练。

其中，设置预训练的批次大小batch_size为16，学习率初始设定为0.001，学习动量设定为0.8，权值衰减系数为0.0005，训练迭代次数epoch为200。微调时将训练集输入到绝缘子缺陷检测模型，其初始学习率设定为0.01，学习动量设定为0.5，训练迭代次数epoch为50。

其中，采用FCMAE自监督学习方法进行预训练，具体如图5所示：

它是由一个基于稀疏卷积的ConvNeXt编码器和一个轻量级的ConvNeXt块解码器组成，编码器只处理可见像素，解码器使用编码的像素和掩码标记重建图像。学习信号通过对原始的视觉输入随机掩码来生成，同时掩码的比率需要较高，然后再让模型根据剩余的上下文预测缺失的部分；

Masking(掩码)：使用掩码比为0.6的随机掩码策略，从原始输入图像中随机删除图像中的60％，同时使用最少的数据增强，仅包括随机调整大小的裁剪策略；

Encoder(编码器)：使用ConvNeXt模型作为编码器，将可见的补丁作为编码器的唯一输入，引入稀疏卷积，以促进FCMAE(全卷积掩码自动编码器)的预训练；

Decoder(解码器)：使用一个轻量级的、普通的ConvNeXt作为解码器，形成了一个不对称的编码器架构；

重建目标：计算重建图像和目标图像之间的均方误差(MSE)。

5.将测试集输入训练后的模型进行性能评估，若满足实际检测需求，则得到最终的检测模型，否则调整改进YOLOv5的绝缘子缺陷检测模型参数，继续训练，直到达到所满足的性能指标。

对于评估模型，可以根据训练后改进YOLOv5算法的绝缘子缺陷检测模型，从精确度、召回率、平均检测精度和检测速度等评价指标对模型进行评估，计算公式如下所示；

其中，TP(true positive)为准确识别的正样本个数；FP(false positive)为准确识别的负样本个数；FN(false negative)为未识别的正样本个数；t_bbox表示标记的绝缘子真实框；p_bbox表示通过算法计算出来的绝缘子框；准确率P在预测中是评估预测的准不准；召回率R在预测中是评估找的全不全；h表示模型所设置的类别数，本文设置为h＝5，分别为正常绝缘子，绝缘子污秽，绝缘子自爆，绝缘子松脱和绝缘子破损，FigureNumber是检测图像数量，TotalTime是总耗时。

6.利用最终得到的模型，对待测绝缘子图像进行检测，获得绝缘子缺陷图像检测结果。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所覆盖。

Claims (2)

1.一种基于改进YOLOv5的绝缘子缺陷检测方法，其特征在于，包括以下步骤：

步骤1、利用高分辨率的无人机拍摄绝缘子，进行图像采集；

步骤2、将获取的绝缘子图像进行预处理并进行标注，形成数据集，按照比例随机划分为训练集和测试集；

步骤3、构建基于改进YOLOv5的绝缘子缺陷检测模型，将模型的主干网络换为ConvNeXtV2；

步骤4、采用FCMAE自监督学习方法对改进后的模型进行预训练，再将训练集输入改进后的模型进行微调；

步骤5、将测试集输入训练后的模型进行性能评估；

步骤6、利用最终得到的模型，对待测绝缘子图像进行检测，获得检测结果。

2.根据权利要求1所述的一种基于改进YOLOv5的绝缘子缺陷检测方法，其特征在于，所述步骤3中，ConvNeXtV2包括以下单元：

深度可分离卷积(Depthwise Conv2d)：通过卷积核与通道数量相等可以实现当输入一个三通道的RGB图像时，经过卷积运算之后得到对应通道的三个特征图；

层归一化(Layer Normalization)：在ConvNeXt V2 Block中的深度可分离卷积层后加入，用同层的隐层神经元响应值作为集合范围，来求均值和方差，通过以下公式进行归一化：

其中x_nchw表示在第n条训练数据产生的第c个通道中的第h行w列个输出。ε是固定的常数用以保证分母不为0。γ和β是LN层的参数；

GELU激活函数可以将神经元的输入转化为输出，减少梯度消失问题，具体表达式如下：

GELU(x)＝xΦ(x)

其中，Φ(x)表示标准正态分布的累积分布函数；

全局响应归一化(GRN)层：是一种新的卷积神经网络层，它是在每个通道上对特征图进行归一化处理，从而增强通道间的特征竞争，全局响应归一化(GRN)层包含三个步骤：

全局特征聚合，使用L2范数对每个通道上的特征图进行聚合，得到一个聚合后的向量，具体为将一个空间特征映射X_i聚合成一个具有全局函数G(·)，其表达式如下：

G(X):＝X∈R^H×W×C→gx∈R^C

可以看作一个简单的池化层，使用L2范数进行特征聚合，会导致更好的性能，得到一组聚合值，其表达式如下：

G(X)＝gx＝{||X₁||,||X₂||,...,||X_C||}∈R^C

其中，G(X)_i＝||X_i||是一个标量，它聚合了第i个通道的统计量；

特征归一化，使用标准除法归一化函数对聚合后的向量进行归一化，具体为对聚合值应用一个响应归一化函数N(·)其表达式如下：

其中，||X_i||为第i个信道的L2范数，这一步通过相互抑制创造了一个通道之间的特征竞争；

特征校准，使用归一化后的向量对原始的特征图进行校准。整个GRN层的计算量非常小，因此很容易地添加到卷积神经网络中，从而增强特征竞争，提高模型性能。具体为使用计算出的特征归一化分数来校准原始输入响应，其表达式如下：

X_i＝X_i*N(G(X)_i)∈R^H×W

Drop Path：是一种正则化方法，随机“删除”模型中分支结构某一部分再对剩余部分进行缩放，减少网络层数，从而可以减少神经元提取的特征，分支之间的耦合度，可以防止过拟合；

残差结构：防止由于卷积层过多导致梯度消失或爆炸等问题。