CN117710795A - 一种基于深度学习的机房线路安全性检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的机房线路安全性检测方法及系统，涉及计算机安全检测技术领域；包括：获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集；对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；构建改进YOLOv8网络模型；基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测；根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；根据检测结果进行告警。本发明可自动识别和检测出电线是否符合规范、是否存在交叉或混乱等问题，最后根据检测结果进行自动告警。

Description

一种基于深度学习的机房线路安全性检测方法及系统

技术领域

本发明涉及计算机安全检测技术领域，具体涉及一种基于深度学习的机房线路安全性检测方法及系统。

背景技术

对机房线路进行巡检是确保机房正常安全运行的关键环节。定期巡检能够及时发现线路安全问题，并进行及时修复，以避免潜在的安全事故，从而保障机房的稳定性和可靠性。但电线人工巡检和检测效率较低，因此需要一种自动化、准确可靠的方法来实现对机房线路安全性的检测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的机房线路安全性检测方法及系统，自动识别和检测机房环境线路安全性。

本发明的目的是通过以下技术方案来实现的：

第一方面，一种基于深度学习的机房线路安全性检测方法，包括：

步骤1、获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

步骤2、对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

步骤3、构建改进YOLOv8网络模型；

步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测；

步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

步骤6、根据检测结果进行告警。

进一步地，所述的步骤1中的具体过程为：利用视频流解析器解析监控数据采集各种机房相关数据集，获取不同时间段中一定帧的数据，同时进行预处理，筛选符合规范和不符合规范数据，通过翻转、旋转、裁剪、变形和缩放手段进行数据增强，然后进行数据集标注并利用代码转换工具将其转换为Yolov8 所需要的数据集，按照8:1:1 制作训练集、测试集和验证集。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块，用于提高小目标检测效果。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN，用于增强特征提取；所述的特征融合金字塔AFPN采用low-level结构，将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出，然后进行两次ASFF操作；将特征融合金字塔AFPN的默认卷积核替换为C2f。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量；

所述掩膜原型网络Proto接收不同尺度的特征图作为输入，并在每个尺度上应用一系列卷积和上采样操作来提取特征，Proto使用一系列卷积层对每个尺度的特征图进行处理，其中第一个尺度的输入特征图经过一个3x3的卷积层，然后通过一组归一化层和ReLU激活函数，对于其他尺度的输入特征图，进行一个组归一化层和ReLU激活函数；之后，将得到的特征图上采样两倍，并重复这个过程，直到达到目标尺度；最后，通过一个3x3 和1x1的卷积层生成最终的预测特征图。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上添加新的Fast Mask Re-Scoring Network掩码评分分支；

所述的Fast Mask Re-Scoring Network掩码评分分支，包括6层FCN，每个卷积层使用ReLU非线性激活函数，并有一个最终的全局池化层；以裁剪掩码预测作为输入，并输出每个对象类别的掩码IoU，最后由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码。

进一步地，所述的合规性检测具体为根据改进YOLOv8网络模型返回结果，判断置信度大于0.6 的分类为合规电线；所述的飞线检测具体为对摄像头固定区域进行框选，如果出现电线，则进行实列分割，去掉背景再进行边框识别，通过计算线段的倾斜角度判断是否为飞线。

进一步地，所述的交叉检测包括：

步骤51、将实列分割检测到的图像进行预处理，根据掩码去掉背景，然后进行灰度处理；

步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测，具体使用Scharr算子进行检测；

步骤53、通过阈值化处理将边缘图像转换为二值图像；

步骤54、对图像进行分割，将其划分为一系列水平条带，称为扫描行；

步骤55、定义滑动窗口的大小，从图像的左上角开始，从左到右，从上到下滑动窗口，以扫描的方式扫描整个图像；

步骤56、对每个窗口进行分分块处理，通过搜索每个块中像素的邻域来追踪块周围的轮廓，从而得到轮廓图像；

步骤57、将每个块中的轮廓点配对，并计算轮廓点对的中点及中点的平均值，使用最小二乘法拟合一个多项式找到块的交点，最终确定交叉的位置。

进一步地，所述步骤57的具体计算过程如下：

1） 将第i个和第（n-2-i）个点配对，i的范围从0到，总共得到/>个轮廓点对；

2）计算所有轮廓点对的中点，得到个中点；设第k对的中点表示为；

3）计算所述中点的平均值表示为：

使用最小二乘法将中点拟合为m次多项式，使用以下方式确定m的最佳值：取m =4，如果m次多项式适合数据，则取m，否则取m-1，重新带入多项式，一直循环到m=1；

4）根据m次多项式计算交点；

5）根据设置掩膜方向进行重复运算，如果交点数量大于设定默认值即判断为存在交点。

第二方面，一种基于深度学习的机房线路安全性检测系统，包括：

数据获取模块，用于获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

模型预训练模块，用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

模型构建模块，用于构建改进YOLOv8网络模型；

模型推理模块，用于基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测；

图像检测模块，用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

告警模块，用于根据检测结果进行告警。

本发明的有益效果是：

1）优化了Yolov8 默认的Prototype 掩膜原型网络，该结构增强模型对目标的感知能力，提供更全面和准确的特征信息，以及保留更多的细节和上下文信息，并且该结构可根据参数配置，根据实际精度和速度需求调节融合特征输入。

2）增加特征金字塔 AFPN 适配yolov8可以将不同尺度下提取的特征进行融合，得到更全面的特征，其中替换默认卷积核为C2f，该模块保证轻量化的同时还能获得更加丰富的梯度流信息。

3）基于实列分割之后去除背景减少干扰，利用非深度学习方式进行线路交叉检测，减少了模型制作和训练成本。

4）增加SwinTransformer 模块提升了小目标检测的准确度，增加新的分支FastMask Re-Scoring Network 提高了实例掩模的质量和准确性。

附图说明

图1为一种基于深度学习的机房线路安全性检测方法中模型制作训练到推理过程；

图2为一种基于深度学习的机房线路安全性检测方法步骤流程图；

图3为改进YOLOv8网络模型的结构示意图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-图3，本发明提供一种技术方案：

实施例一：

一种基于深度学习的机房线路安全性检测方法，如图1、图2所示，包括：

步骤1、获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

具体实施例中，所述的步骤1中的具体过程为：利用视频流解析器解析监控数据采集各种机房相关数据集，获取不同时间段中一定帧的数据，同时进行预处理，筛选符合规范和不符合规范数据，通过翻转、旋转、裁剪、变形和缩放手段进行数据增强，然后进行数据集标注并利用代码转换工具将其转换为Yolov8 所需要的数据集，按照8:1:1 制作训练集、测试集和验证集。

步骤2、对所述训练集使用预训练权重在YOLOv8网络上进行迁移学习，并使用该模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

在本实施例中，数据集标注利用SprieView+SegmentAnyThings工具完成，故将迁移学习后的数据通过代码工具转为为SprieView+SegmentAnyThings的格式，人工修正后，再利用代码转换工具，将其转为Yolov8 所需要的数据集，从而进一步扩充数据集合。

步骤3、构建改进YOLOv8网络模型，结构如图3所示；

所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块，用于提高小目标检测效果。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN，用于增强特征提取；所述的特征融合金字塔AFPN采用low-level结构，将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出，然后进行两次ASFF操作；将特征融合金字塔AFPN的默认卷积核替换为C2f。ASFF通常用来解决一阶检测器中特征金字塔内部的不一致性，使网络能够直接学习如何在其他级别对特征进行空间滤波，从而仅保留有用的信息以进行组合。增加特征金字塔AFPN适配yolov8可以将不同尺度下提取的特征进行融合，得到更全面的特征，其中替换默认卷积核为C2f，该模块保证轻量化的同时获得更加丰富的梯度流信息。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量；

所述掩膜原型网络Proto接收不同尺度的特征图作为输入，并在每个尺度上应用一系列卷积和上采样操作来提取特征，Proto使用一系列卷积层对每个尺度的特征图进行处理，其中第一个尺度的输入特征图经过一个3x3的卷积层，然后通过一组归一化层和ReLU激活函数，对于其他尺度的输入特征图，进行一个组归一化层和ReLU激活函数；之后，将得到的特征图上采样两倍，并重复这个过程，直到达到目标尺度；最后，通过一个3x3 和1x1的卷积层生成最终的预测特征图。

掩膜原型网络Proto目的是从不同尺度的特征图中提取语义信息，用于生成实例分割的掩码，通过多级特征提取和上采样操作，可以捕捉不同尺度的物体信息，并生成相应尺度的掩码预测。该结构增强模型对目标的感知能力，提供更全面和准确的特征信息，以及保留更多的细节和上下文信息，并且该结构可根据参数配置，根据实际精度和速度需求调节融合特征输入。

进一步地，所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上添加新的分支Fast Mask Re-Scoring Network用于提高实例掩模的质量和准确性；

所述的Fast Mask Re-Scoring Network 掩码评分分支，根据预测掩码与真实掩码的IoU对其进行重新评分；该网络是一个6层FCN，每个卷积层使用ReLU非线性激活函数，并有一个最终的全局池化层；它以裁剪掩码预测作为输入，并输出每个对象类别的掩码IoU，过将由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码。

步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测。

步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

进一步地，所述的合规性检测具体为根据模型返回结果，判断置信度大于0.6 的分类为合规电线；所述的飞线检测具体为对摄像头固定区域进行框选，如果出现电线，则进行实列分割，去掉背景再进行边框识别，通过计算线段的倾斜角度判断是否为飞线。

进一步地，所述的交叉检测包括步骤：

步骤51、将实列分割检测到的图像进行预处理，根据掩码去掉背景，然后进行灰度处理；

步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测，具体使用Scharr算子进行检测；方向可以参考：directions = [ (1, 0), # 上 (0, 1), #下 (-1, 0), # 左 (0, -1), # 右 (1, 1), # 上右 (-1, 1), # 上左 (-1, -1), # 下左 (1, -1) # 下右]

步骤53、通过阈值化处理将边缘图像转换为二值图像；

步骤54、对图像进行分割，将其划分为一系列水平条带，称为扫描行；

步骤55、定义滑动窗口的大小，从图像的左上角开始，从左到右，从上到下滑动窗口，以扫描的方式扫描整个图像；

步骤56、对每个窗口进行分分块处理，通过搜索每个块中像素的邻域来追踪块周围的轮廓，从而得到轮廓图像；

步骤57、将每个块中的轮廓点配对，并计算轮廓点对的中点及中点的平均值，使用最小二乘法拟合一个多项式找到块的交点，最终确定交叉的位置。

进一步地，所述步骤57的具体计算过程如下：

1） 将第i个和第（n-2-i）个点配对，i的范围从0到，总共得到/>个轮廓点对；

2）计算所有轮廓点对的中点，得到个中点；设第k对的中点表示为；

3）计算所述中点的平均值表示为：

使用最小二乘法将中点拟合为m次多项式，使用以下方式确定m的最佳值：取m =4，如果m次多项式适合数据，则取m，否则取m-1，重新带入多项式，一直循环到m=1；

4）根据m次多项式计算交点；

5）根据设置掩膜方向进行重复运算，如果交点数量大于设定默认值即判断为存在交点。

步骤6、根据检测结果进行告警。生成告警消息发送到告警通知消息队列，根据设置的通知决策获取告警消息队列，进行消息通知。

实施例2：

一种基于深度学习的机房线路安全性检测系统，包括：

数据获取模块，用于获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

模型预训练模块，用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

模型构建模块，用于构建改进YOLOv8网络模型；

模型推理模块，用于基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8模型进行预测；

图像检测模块，用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

告警模块，用于根据检测结果进行告警。

如图3，在本实施例中，所述的数据获取模块的监控数据来自机房场景中摄像头或者无人机对机房内的电线布局进行拍摄或录像，通过视频流解析器加载预设配置，根据设置定时获取视频帧。数据获取模块还可处理分析图片质量，并消息通知视频流解析器重新下发图片，检测到合规图片后开启子线程对图片进行预处理。处理完图片将图片转为上传至云存储，并将含图片，区域地址等信息放入检测消息队列。模型推理模块加载消息队列检测图片，输出线路检测结果；图像检测模块根据线路检测结果对其进行合规性检测、交叉检测和飞线检测，根据裁剪位置和返回的检测结果重新计算故障点在原始图片的位置；告警模块根据图像检测模块的检测结果，生成告警消息发送到告警通知消息队列，根据设置的通知决策获取告警通知消息队列，进行消息通知与告警。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于深度学习的机房线路安全性检测方法，其特征在于，包括：

步骤1、获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

步骤2、对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

步骤3、构建改进YOLOv8网络模型；

步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测；

步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

步骤6、根据检测结果进行告警。

2.根据权利要求1所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述步骤1的具体过程为：解析监控数据采集各种机房相关数据集，获取不同时间段中一定帧的数据，同时进行预处理，筛选符合规范和不符合规范数据，通过翻转、旋转、裁剪、变形和缩放手段进行数据增强，然后进行数据集标注并利用代码转换工具将其转换为Yolov8所需要的数据集，按照8:1:1 制作训练集、测试集和验证集。

3.根据权利要求1所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块，用于提高小目标检测效果。

4.根据权利要求3所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN，用于增强特征提取；所述的特征融合金字塔AFPN采用low-level结构，将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出，然后进行两次ASFF操作；将特征融合金字塔AFPN的默认卷积核替换为C2f。

5.根据权利要求4所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量；

所述掩膜原型网络Proto接收不同尺度的特征图作为输入，并在每个尺度上应用一系列卷积和上采样操作来提取特征，Proto使用一系列卷积层对每个尺度的特征图进行处理，其中第一个尺度的输入特征图经过一个3x3的卷积层，然后通过一组归一化层和ReLU激活函数，对于其他尺度的输入特征图，进行一组归一化层和ReLU激活函数；之后，将得到的特征图上采样两倍，并重复这个过程，直到达到目标尺度；最后，通过一个3x3 和1x1的卷积层生成最终的预测特征图。

6.根据权利要求1所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的改进YOLOv8网络模型在于，在传统YOLOv8模型的Segment网络上添加新的Fast MaskRe-Scoring Network掩码评分分支；

所述的Fast Mask Re-Scoring Network掩码评分分支，包括6层FCN，每个卷积层使用ReLU非线性激活函数，并有一个最终的全局池化层；以裁剪掩码预测作为输入，并输出每个对象类别的掩码IoU，最后由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码。

7.根据权利要求1所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的合规性检测具体为根据改进YOLOv8网络模型返回结果，判断置信度大于0.6 的分类为合规电线；所述的飞线检测具体为对摄像头固定区域进行框选，如果出现电线，则进行实列分割，去掉背景再进行边框识别，通过计算线段的倾斜角度判断是否为飞线。

8.根据权利要求7所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述的交叉检测包括：

步骤51、将实列分割检测到的图像进行预处理，根据掩码去掉背景，然后进行灰度处理；

步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测，具体使用Scharr算子进行检测；

步骤53、通过阈值化处理将边缘图像转换为二值图像；

步骤54、对图像进行分割，将其划分为一系列水平条带，称为扫描行；

步骤55、定义滑动窗口的大小，从图像的左上角开始，从左到右，从上到下滑动窗口，以扫描的方式扫描整个图像；

步骤56、对每个窗口进行分分块处理，通过搜索每个块中像素的邻域来追踪块周围的轮廓，从而得到轮廓图像；

步骤57、将每个块中的轮廓点配对，并计算轮廓点对的中点及中点的平均值，使用最小二乘法拟合一个多项式找到块的交点，最终确定交叉的位置。

9.根据权利要求8所述的一种基于深度学习的机房线路安全性检测方法，其特征在于：所述步骤57的具体计算过程如下：

1） 将第i个和第（n-2-i）个点配对，i的范围从0到，总共得到/>个轮廓点对；

2）计算所有轮廓点对的中点，得到个中点；设第k对的中点表示为/>；

3）计算所述中点的平均值表示为：

使用最小二乘法将中点拟合为m次多项式，使用以下方式确定m的最佳值：取m = 4，如果m次多项式适合数据，则取m，否则取m-1，重新带入多项式，一直循环到m=1；

4）根据m次多项式计算交点；

5）根据设置掩膜方向进行重复运算，如果交点数量大于设定默认值即判断为存在交点。

10.一种基于深度学习的机房线路安全性检测系统，其特征在于：包括：

数据获取模块，用于获取并解析监控数据以采集各种机房相关电线数据集，通过监控图像数据制作数据集，所述数据集包括训练集、测试集和验证集；

模型预训练模块，用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习，并使用YOLOv8网络模型对未标注图像进行预测，将预测结果输出并修正后扩充数据集样本数量；

模型构建模块，用于构建改进YOLOv8网络模型；

模型推理模块，用于基于扩充后训练集图像训练改进YOLOv8网络模型，将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测；

图像检测模块，用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测；

告警模块，用于根据检测结果进行告警。