CN116205905A - 基于移动端的配电网施工安全及质量图像检测方法及系统 - Google Patents

Abstract

本发明涉及基于移动端的配电网施工安全及质量图像检测方法，与现有技术相比解决了配电网施工安全及质量图像检测运算量大、无法满足移动端应用需要的缺陷。本发明包括以下步骤：获取移动端的配电网施工现场图像；构建配电网施工安全及质量图像检测模型；配电网施工安全及质量图像检测模型的训练；获取待检测配电网施工图像；获得配电网施工安全及质量检测结果。本发明提供一种特征区分能力更强、模型训练简单、网络结构相对简单、推理时间复杂度较低，同时识别精度更优的目标检测方法，实现配电网施工场景安全及质量类目标的精准检测。

Description

基于移动端的配电网施工安全及质量图像检测方法及系统

技术领域

本发明涉及配电网图像检测技术领域，具体来说是基于移动端的配电网施工安全及质量图像检测方法及其系统。

背景技术

配电网施工工作繁重而艰巨，为了推动配电网施工转型升级，推进施工管理向智能化升级，针对现场采集的照片信息对工程现场施工安全、质量关键环节标准进行自动研判，进一步强化现场管控力度。由于配电网施工场景不固定，环境复杂多变，因此，开发移动端（手机、ipad）的配电网施工现场图像智能识别算法，实现配电网施工安全及质量的智能检测，一方面可以减少人为判断施工现场质量的主观性，另外一方面减少了现场人员的劳动强度，提高实时监管效率。

配电网施工监管主要包括施工安全及施工质量，安全类如是否有围栏、是否安装接地线等，质量类如并购线夹是否安装绝缘护套、变压器正反面安装是否正确等。在复杂多变的配电网施工环境中发现，虽然现有目标检测算法对配电网现场图像中的施工安全及质量类目标检测表现较好，但是为了获得更高的准确率，通常需要采用更大的网络及更多的参数量，更大的网络意味着更大的时间复杂度，同时需要设备具有更高的运算性能，而移动端设备其处理器和内存则无法满足大运算的需要，从而限制了检测模型的应用。

因此，较小的模型更加适应移动端的应用场景，然而小网络的精度普遍偏低。为了使得较小的网络实现更高的性能同时简化训练过程，以此提高配电网施工过程的整体智能研判精度成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中配电网施工安全及质量图像检测运算量大、无法满足移动端应用需要的缺陷，提供一种基于移动端的配电网施工安全及质量图像检测方法及其系统来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于移动端的配电网施工安全及质量图像检测方法，包括以下步骤：

获取移动端的配电网施工现场图像：利用移动设备采集不同场景、不同类型的配电网施工安全及质量图像，形成配电网施工图像数据集；

构建配电网施工安全及质量图像检测模型：基于监督网络、迁移网络、对比网络、互监督头部网络构建出端到端的配电网施工安全及质量图像检测模型；

配电网施工安全及质量图像检测模型的训练：利用配电网施工图像数据集对配电网施工安全及质量图像检测模型的监督网络和迁移网络进行端到端训练；

获取待检测配电网施工图像：利用移动设备采集待检测的配电网施工场景图像；

获得配电网施工安全及质量检测结果：将待检测的配电网施工图像输入训练后的配电网施工安全及质量图像检测模型，得到配电网图像中的施工安全及质量检测结果。

所述获取移动端的配电网施工现场图像步骤为：

通过移动端设备采集配电网施工环境下的图像，使用LabelImg标注软件对采集的配电网施工图像进行安全和质量类目标的标记，生成包含目标类别和位置的xml文件，形成配电网施工图像数据集。

所述构建配电网施工安全及质量图像检测模型包括以下步骤：

设定配电网施工安全及质量图像检测模型包括监督网络、迁移网络、对比网络、互监督头部网络；

设定监督网络和迁移网络，

设定迁移网络的特征提取网络基于ResNet50网络构建，由叠加的多层卷积神经网络层、池化层与激活函数层构成，迁移网络的特征提取网络用于提取整张图像中目标的特征图，迁移网络的特征提取网络的输入为移动端采集的配电网施工场景图像、输出为该配电网施工图像的整体特征图；

设定监督网络的特征提取网络基于ResNet152网络构建，由卷积神经网络层、池化层与激活函数层构成，监督网络的特征提取网络的输入为迁移网络的特征提取网络输入的配电网施工场景图像的增强图像，采用随机裁剪及色彩变换作为增强手段，增强网络的泛化性能，输出为增强图像的整体特征图；

设定迁移网络的颈部网络，为了能够检测不同尺度的施工安全及质量类目标，迁移网络的颈部网络采用FPN多尺度结构，迁移网络的颈部网络的输入为迁移网络的特征提取网络的C2、C3、C4、C5层特征图，输出为融合多尺度信息的P2、P3、P4、P5层；

设定监督网络的颈部网络，监督网络的颈部网络采用PAFPN结构，输入为监督网络的特征提取网络的C2、C3、C4、C5层特征图，PAFPN是继承于原始FPN结构，在其P2、P3、P4、P5层基础上增加了1x1卷积模块和下采样操作，并增加额外的3x3卷积得到融合后的多尺度P2、P3、P4、P5层；

设定监督网络、迁移网络的RoI特征提取层，监督网络和迁移网络的RoI特征提取层结构相同，根据目标框的尺寸映射到P2、P3、P4、P5层任意一层上，提取目标对应位置的区域特征，并对该区域特征进行RoIAlign操作获取统一7x7大小的RoI特征图；

设定对比网络，设定对比网络的输入为监督网络的特征提取网络、迁移网络的特征提取网络的C5层特征图，对比网络的输出为监督网络和迁移网络的特征预测向量；首先监督网络的C5层特征图、迁移网络的C5层特征图分别进行1x1卷积操作得到64维的特征图，再通过两个MLP层，使得高维特征图变成低维的特征向量，构建余弦相似度函数计算特征向量之间的相似度；

设定互监督头部网络，

根据监督网络的训练结果指导迁移网络的训练，同时监督网络及迁移网络进行并行训练，其中监督网络只存在训练过程中，而不存在于推理过程；

设定迁移网络和监督网络的头部网络输入分别为各自网络的多尺度P2、P3、P4、P5层RoI特征图，其中，分类任务的网络结构为全连接网络层、Relu激活层和全连接网络层，定位任务的网络结构为四个3x3卷积网络层和一个全连接层；迁移网络和监督网络的头部网络的输出为对应网络预测的目标类别和位置信息；

互监督头部网络首先分别利用监督网络和迁移网络的头部网络进行单独进行预测；其次，监督网络的训练采用人工标注框进行监督，迁移网络的训练采用监督网络的预测结果和人工标注框同时进行监督。

所述配电网施工安全及质量图像检测模型的训练包括以下步骤：

将配电网施工图像数据集输入迁移网络的特征提取网络，利用迁移网络的特征提取网络提取配电网图像的整体特征图，采用ResNet50骨干网络的C2、C3、C4、C5层表示整体特征图中每个尺度的特征；

对配电网施工原始图像进行数据增强，对图像进行随机裁剪后缩放成原图大小，对图像进行色彩变换，训练过程中进行随机组合增强；

将增强后的图像作为监督网络的特征提取网络的输入，监督网络的特征提取网络采用ResNet152，提取配电网图像的整体特征图；

将监督网络的特征提取网络的C5层特征图和迁移网络的特征提取网络的C5层特征图输入对比网络，首先分别将高维特征进行1x1的卷积操作进行降维，然后将低维特征分别输入两个MLP层等到对应的特征向量；每个MLP由一个全连接层、Relu激活层和一个全连接层构成，这两个MLP层参数共享；

利用特征向量相似度采用余弦相似度进行度量：

；

其中，

和/>

表示监督网络和迁移网络的特征向量，/>

是一个可调节的参数，它能够将余弦相似度限定在[-1,1]范围，T表示向量的转置操作；

为了使得对比网络可学习，定义网络的损失函数为：

；

其中，N表示一个批次的样本数对；同一张图像与增强后的图像为一个图像对，即正样本，其他样本作为负样本；对于一个批次的N个样本，通过数据增强的得到N对正样本对，此时共有2N个样本；

输出0或1，当k不等于i时，结果就为1，否则为0；

最后，计算每个批次里面的所有图像对的损失之和取平均：

；

监督网络检测任务和迁移网络检测任务训练并行进行，互监督头部网络首先使用真实标注框对监督网络进行有监督训练，同时利用监督网络对目标预测作为软标签，和真实的硬标签一起用于迁移网络的头部网络的监督训练；

检测任务的损失函数为：

；

其中，

为回归框的系数，/>

为分类损失，/>

为回归损失；/>

；

其中，

为硬标签的权重系数，/>

为目标的真实类别，/>

表示迁移网络的预测结果，/>

为监督网络的预测结果；

；

其中，

为交叉熵系数，T为温度调节系数，训练时设置为10；

回归采用的是通用SmoothL1损失函数，回归损失表示为：

；

其中，

为迁移网络的回归结果，/>

为监督网络的回归结果，/>

为真实标注框的位置；

构建的基于互监督的端到端配电网施工图像目标检测的整体损失函数表示为：

；

其中

为对比任务损失，/>

为与检测任务损失。

基于移动端的配电网施工安全及质量图像检测系统，包括图像收集模块、施工安全智能检测模块、施工质量智能检测模块、综合研判模块；

图像收集模块利用摄像头拍摄配电网施工现场图像并存储；将配电网施工现场图像输入施工安全智能检测模块，实时检测施工安全规范；将配电网施工现场图像输入施工质量智能检测模块，实时检测施工质量规范；综合研判模块通过整合施工安全智能检测模块和施工质量智能检测模块的检测结果，研判施工现场是否符合要求，对不符合要求的施工现场进行告警并保存研判结果。

有益效果

本发明的基于移动端的配电网施工安全及质量图像检测方法及其系统，与现有技术相比提供一种特征区分能力更强、模型训练简单、网络结构相对简单、推理时间复杂度较低，同时识别精度更优的目标检测方法，实现配电网施工场景安全及质量类目标的精准检测。

本发明利用图像增强构建复杂的监督网络和简单的迁移网络之间的对比学习，通过增加不同网络的特征描述使得迁移网络的特征语义表达能力更强，有利于配电网复杂施工场景中各类目标的区分；本发明进行监督网络和迁移网络的训练，通过构建不同任务的损失目标，将监督网络的知识移植到迁移网络中，增强了较小参数量的迁移网络在配电网施工安全及质量检测任务中的性能，降低了移动端推理的时间复杂度以及对硬件性能的要求；本发明中的监督网络和迁移网络是同步并行训练，端到端的训练降低了模型训练的复杂度，更方便于配电网的实际应用。

附图说明

图1为本发明的方法顺序图；

图2为本发明所涉及的配电网施工安全及质量图像检测模型结构图；

图3为利用本发明所述方法的配电网施工图像安全类检测效果图；

图4为利用本发明所述方法的配电网施工图像质量类检测效果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的基于移动端的配电网施工安全及质量图像检测方法，其包括以下步骤：

第一步，获取移动端的配电网施工现场图像：利用移动设备采集不同场景、不同类型的配电网施工安全及质量图像，形成配电网施工图像数据集。

通过移动端设备采集配电网施工环境下的图像，使用LabelImg标注软件对采集的配电网施工图像进行安全和质量类目标的标记，生成包含目标类别和位置的xml文件，形成配电网施工图像数据集。

第二步，构建配电网施工安全及质量图像检测模型：如图2所示，基于监督网络、迁移网络、对比网络、互监督头部网络构建出端到端的配电网施工安全及质量图像检测模型。对比网络属于自监督，通过数据增强操作和更深的特征提取网络可以增加样本多样性和特征表达能力来优化模型性能。利用更复杂、性能更好的监督网络来指导迁移网络的学习能够提升迁移网络的性能，提升移动端的运行效率，同时提高配电网施工过程的整体智能研判的准确度。

其具体步骤如下：

（1）设定配电网施工安全及质量图像检测模型包括监督网络、迁移网络、对比网络、互监督头部网络。

（2）设定监督网络和迁移网络，

设定迁移网络的特征提取网络基于ResNet50网络构建，由叠加的多层卷积神经网络层、池化层与激活函数层构成，迁移网络的特征提取网络用于提取整张图像中目标的特征图，迁移网络的特征提取网络的输入为移动端采集的配电网施工场景图像、输出为该配电网施工图像的整体特征图；

设定监督网络的特征提取网络基于ResNet152网络构建，由卷积神经网络层、池化层与激活函数层构成，监督网络的特征提取网络的输入为迁移网络的特征提取网络输入的配电网施工场景图像的增强图像，采用随机裁剪及色彩变换作为增强手段，增强网络的泛化性能，输出为增强图像的整体特征图；

设定迁移网络的颈部网络，为了能够检测不同尺度的施工安全及质量类目标，迁移网络的颈部网络采用FPN多尺度结构，迁移网络的颈部网络的输入为迁移网络的特征提取网络的C2、C3、C4、C5层特征图，输出为融合多尺度信息的P2、P3、P4、P5层；

设定监督网络的颈部网络，监督网络的颈部网络采用PAFPN结构，输入为监督网络的特征提取网络的C2、C3、C4、C5层特征图，PAFPN是继承于原始FPN结构,在其P2、P3、P4、P5层基础上增加了1x1卷积模块和下采样操作，并增加额外的3x3卷积得到融合后的多尺度P2、P3、P4、P5层；

设定监督网络、迁移网络的RoI特征提取层，监督网络和迁移网络的RoI特征提取层结构相同，根据目标框的尺寸映射到P2、P3、P4、P5层任意一层上，提取目标对应位置的区域特征，并对该区域特征进行RoIAlign操作获取统一7x7大小的RoI特征图。

（3）设定对比网络，设定对比网络的输入为监督网络的特征提取网络、迁移网络的特征提取网络的C5层特征图，对比网络的输出为监督网络和迁移网络的特征预测向量；首先监督网络的C5层特征图、迁移网络的C5层特征图分别进行1x1卷积操作得到64维的特征图，再通过两个MLP层，使得高维特征图变成低维的特征向量，构建余弦相似度函数计算特征向量之间的相似度。构建的对比网络可以同步指导监督网络和迁移网络中特征提取网络的训练，减小同类样本的类内距离，增强迁移网络的特征表达能力，同时使得网络的泛化能力更强。

（4）设定互监督头部网络，

根据监督网络的训练结果指导迁移网络的训练，同时监督网络及迁移网络进行并行训练，其中监督网络只存在训练过程中，而不存在于推理过程；

设定迁移网络和监督网络的头部网络输入分别为各自网络的多尺度P2、P3、P4、P5层RoI特征图，其中，分类任务的网络结构为全连接网络层、Relu激活层和全连接网络层，定位任务的网络结构为四个3x3卷积网络层和一个全连接层；迁移网络和监督网络的头部网络的输出为对应网络预测的目标类别和位置信息；

互监督头部网络首先分别利用监督网络和迁移网络的头部网络进行单独进行预测；其次，监督网络的训练采用人工标注框进行监督，迁移网络的训练采用监督网络的预测结果和人工标注框同时进行监督。相对于只采用人工标注框的硬标签，监督网络的软标签给出了样本属于各个类别的概率值，使得迁移网络对难以分辨的样本具有更好的识别能力，并能将复杂的监督网络的知识迁移到迁移网络上。

第三步，配电网施工安全及质量图像检测模型的训练：利用配电网施工图像数据集对配电网施工安全及质量图像检测模型的监督网络和迁移网络进行端到端训练。通过将对比网络融入监督网络和迁移网络的训练过程中，同时进行端到端的训练，降低了模型训练的复杂度。由于对比网络和监督网络只用于指导迁移网络的训练，在提升迁移网络的识别精度的同时，不存在推理过程的开销。

其具体步骤如下：

（1）将配电网施工图像数据集输入迁移网络的特征提取网络，利用迁移网络的特征提取网络提取配电网图像的整体特征图，采用ResNet50骨干网络的C2、C3、C4、C5层表示整体特征图中每个尺度的特征；

对配电网施工原始图像进行数据增强，对图像进行随机裁剪后缩放成原图大小，对图像进行色彩变换，训练过程中进行随机组合增强；

将增强后的图像作为监督网络的特征提取网络的输入，监督网络的特征提取网络采用ResNet152，提取配电网图像的整体特征图。

（2）将监督网络的特征提取网络的C5层特征图和迁移网络的特征提取网络的C5层特征图输入对比网络，首先分别将高维特征进行1x1的卷积操作进行降维，然后将低维特征分别输入两个MLP层等到对应的特征向量；每个MLP由一个全连接层、Relu激活层和一个全连接层构成，这两个MLP层参数共享；

利用特征向量相似度采用余弦相似度进行度量：

；

其中，

和/>

表示监督网络和迁移网络的特征向量，/>

是一个可调节的参数，它能够将余弦相似度限定在[-1,1]范围，T表示向量的转置操作；

为了使得对比网络可学习，定义网络的损失函数为：

；

其中，N表示一个批次的样本数对；同一张图像与增强后的图像为一个图像对，即正样本，其他样本作为负样本；对于一个批次的N个样本，通过数据增强的得到N对正样本对，此时共有2N个样本；

输出0或1，当k不等于i时，结果就为1，否则为0；

最后，计算每个批次里面的所有图像对的损失之和取平均：

；

（3）监督网络检测任务和迁移网络检测任务训练并行进行，互监督头部网络首先使用真实标注框对监督网络进行有监督训练，同时利用监督网络对目标预测作为软标签，和真实的硬标签一起用于迁移网络的头部网络的监督训练；

检测任务的损失函数为：

；

其中，

为回归框的系数，/>

为分类损失，/>

为回归损失；

；

其中，

为硬标签的权重系数，/>

为目标的真实类别，/>

表示迁移网络的预测结果，/>

为监督网络的预测结果；/>

；

其中，

为交叉熵系数，T为温度调节系数，训练时设置为10；

回归采用的是通用SmoothL1损失函数，回归损失表示为：

；

其中，

为迁移网络的回归结果，/>

为监督网络的回归结果，/>

为真实标注框的位置。

（4）构建的基于互监督的端到端配电网施工图像目标检测的整体损失函数表示为：

；

其中

为对比任务损失，/>

为与检测任务损失。

第四步，获取待检测配电网施工图像：利用移动设备采集待检测的配电网施工场景图像。

第五步，获得配电网施工安全及质量检测结果：将待检测的配电网施工图像输入训练后的配电网施工安全及质量图像检测模型，得到配电网图像中的施工安全及质量检测结果。

在此，还提供一种基于移动端的配电网施工安全及质量图像检测系统，包括图像收集模块、施工安全智能检测模块、施工质量智能检测模块、综合研判模块。图像收集模块利用摄像头拍摄配电网施工现场图像并存储；将配电网施工现场图像输入施工安全智能检测模块，实时检测施工安全规范；将配电网施工现场图像输入施工质量智能检测模块，实时检测施工质量规范；综合研判模块通过整合施工安全智能检测模块和施工质量智能检测模块的检测结果，研判施工现场是否符合要求，对不符合要求的施工现场进行告警并保存研判结果。

如图3所示，对于具有复杂场景的配电网施工安全场景智能研判，本发明可以准确识别并检测到目前位置，同时对于不同尺度的目标也具有很好的适应性。如图4所示，对于配电网施工质量场景中的小目标及背景中含有的相似目标，本发明仍然可以准确的检测出质量类目标。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种基于移动端的配电网施工安全及质量图像检测方法，其特征在于，包括以下步骤：

11）获取移动端的配电网施工现场图像：利用移动设备采集不同场景、不同类型的配电网施工安全及质量图像，形成配电网施工图像数据集；

12）构建配电网施工安全及质量图像检测模型：基于监督网络、迁移网络、对比网络、互监督头部网络构建出端到端的配电网施工安全及质量图像检测模型；

13）配电网施工安全及质量图像检测模型的训练：利用配电网施工图像数据集对配电网施工安全及质量图像检测模型的监督网络和迁移网络进行端到端训练；

14）获取待检测配电网施工图像：利用移动设备采集待检测的配电网施工场景图像；

15）获得配电网施工安全及质量检测结果：将待检测的配电网施工图像输入训练后的配电网施工安全及质量图像检测模型，得到配电网图像中的施工安全及质量检测结果。

2.根据权利要求1所述的基于移动端的配电网施工安全及质量图像检测方法，其特征在于，所述获取移动端的配电网施工现场图像步骤为：

通过移动端设备采集配电网施工环境下的图像，使用LabelImg标注软件对采集的配电网施工图像进行安全和质量类目标的标记，生成包含目标类别和位置的xml文件，形成配电网施工图像数据集。

3.根据权利要求1所述的基于移动端的配电网施工安全及质量图像检测方法，其特征在于，所述构建配电网施工安全及质量图像检测模型包括以下步骤：

31）设定配电网施工安全及质量图像检测模型包括监督网络、迁移网络、对比网络、互监督头部网络；

32）设定监督网络和迁移网络，

设定迁移网络的特征提取网络基于ResNet50网络构建，由叠加的多层卷积神经网络层、池化层与激活函数层构成，迁移网络的特征提取网络用于提取整张图像中目标的特征图，迁移网络的特征提取网络的输入为移动端采集的配电网施工场景图像、输出为该配电网施工图像的整体特征图；

设定监督网络的特征提取网络基于ResNet152网络构建，由卷积神经网络层、池化层与激活函数层构成，监督网络的特征提取网络的输入为迁移网络的特征提取网络输入的配电网施工场景图像的增强图像，采用随机裁剪及色彩变换作为增强手段，增强网络的泛化性能，输出为增强图像的整体特征图；

设定迁移网络的颈部网络，为了能够检测不同尺度的施工安全及质量类目标，迁移网络的颈部网络采用FPN多尺度结构，迁移网络的颈部网络的输入为迁移网络的特征提取网络的C2、C3、C4、C5层特征图，输出为融合多尺度信息的P2、P3、P4、P5层；

设定监督网络的颈部网络，监督网络的颈部网络采用PAFPN结构，输入为监督网络的特征提取网络的C2、C3、C4、C5层特征图，PAFPN是继承于原始FPN结构，在其P2、P3、P4、P5层基础上增加了1x1卷积模块和下采样操作，并增加额外的3x3卷积得到融合后的多尺度P2、P3、P4、P5层；

设定监督网络、迁移网络的RoI特征提取层，监督网络和迁移网络的RoI特征提取层结构相同，根据目标框的尺寸映射到P2、P3、P4、P5层任意一层上，提取目标对应位置的区域特征，并对该区域特征进行RoIAlign操作获取统一7x7大小的RoI特征图；

33）设定对比网络，设定对比网络的输入为监督网络的特征提取网络、迁移网络的特征提取网络的C5层特征图，对比网络的输出为监督网络和迁移网络的特征预测向量；首先监督网络的C5层特征图、迁移网络的C5层特征图分别进行1x1卷积操作得到64维的特征图，再通过两个MLP层，使得高维特征图变成低维的特征向量，构建余弦相似度函数计算特征向量之间的相似度；

34）设定互监督头部网络，

根据监督网络的训练结果指导迁移网络的训练，同时监督网络及迁移网络进行并行训练，其中监督网络只存在训练过程中，而不存在于推理过程；

设定迁移网络和监督网络的头部网络输入分别为各自网络的多尺度P2、P3、P4、P5层RoI特征图，其中，分类任务的网络结构为全连接网络层、Relu激活层和全连接网络层，定位任务的网络结构为四个3x3卷积网络层和一个全连接层；迁移网络和监督网络的头部网络的输出为对应网络预测的目标类别和位置信息；

互监督头部网络首先分别利用监督网络和迁移网络的头部网络进行单独进行预测；其次，监督网络的训练采用人工标注框进行监督，迁移网络的训练采用监督网络的预测结果和人工标注框同时进行监督。

4.根据权利要求1所述的基于移动端的配电网施工安全及质量图像检测方法，其特征在于，所述配电网施工安全及质量图像检测模型的训练包括以下步骤：

41）将配电网施工图像数据集输入迁移网络的特征提取网络，利用迁移网络的特征提取网络提取配电网图像的整体特征图，采用ResNet50骨干网络的C2、C3、C4、C5层表示整体特征图中每个尺度的特征；

对配电网施工原始图像进行数据增强，对图像进行随机裁剪后缩放成原图大小，对图像进行色彩变换，训练过程中进行随机组合增强；

将增强后的图像作为监督网络的特征提取网络的输入，监督网络的特征提取网络采用ResNet152，提取配电网图像的整体特征图；

42）将监督网络的特征提取网络的C5层特征图和迁移网络的特征提取网络的C5层特征图输入对比网络，首先分别将高维特征进行1x1的卷积操作进行降维，然后将低维特征分别输入两个MLP层等到对应的特征向量；每个MLP由一个全连接层、Relu激活层和一个全连接层构成，这两个MLP层参数共享；

利用特征向量相似度采用余弦相似度进行度量：

；

其中，

和/>

表示监督网络和迁移网络的特征向量，/>

是一个可调节的参数，它能够将余弦相似度限定在[-1,1]范围，T表示向量的转置操作；

定义网络的损失函数为：

；

其中，N表示一个批次的样本数对；同一张图像与增强后的图像为一个图像对，即正样本，其他样本作为负样本；对于一个批次的N个样本，通过数据增强的得到N对正样本对，此时共有2N个样本；

输出0或1，当k不等于i时，结果就为1，否则为0；

最后，计算每个批次里面的所有图像对的损失之和取平均：

；

43）监督网络检测任务和迁移网络检测任务训练并行进行，互监督头部网络首先使用真实标注框对监督网络进行有监督训练，同时利用监督网络对目标预测作为软标签，和真实的硬标签一起用于迁移网络的头部网络的监督训练；

检测任务的损失函数为：

；

其中，

为回归框的系数，/>

为分类损失，/>

为回归损失；

；

其中，

为硬标签的权重系数，/>

为目标的真实类别，/>

表示迁移网络的预测结果，/>

为监督网络的预测结果；

；

其中，

为交叉熵系数，T为温度调节系数，训练时设置为10；

回归采用的是通用SmoothL1损失函数，回归损失表示为：

；

其中，

为迁移网络的回归结果，/>

为监督网络的回归结果，/>

为真实标注框的位置；

44）构建的基于互监督的端到端配电网施工图像目标检测的整体损失函数表示为：

；

其中

为对比任务损失，/>

为与检测任务损失。

5.根据权利要求1所述的基于移动端的配电网施工安全及质量图像检测方法的检测系统，其特征在于：包括图像收集模块、施工安全智能检测模块、施工质量智能检测模块、综合研判模块；

图像收集模块利用摄像头拍摄配电网施工现场图像并存储；将配电网施工现场图像输入施工安全智能检测模块，实时检测施工安全规范；将配电网施工现场图像输入施工质量智能检测模块，实时检测施工质量规范；综合研判模块通过整合施工安全智能检测模块和施工质量智能检测模块的检测结果，研判施工现场是否符合要求，对不符合要求的施工现场进行告警并保存研判结果。

Images