CN117710795B - 一种基于深度学习的机房线路安全性检测方法及系统 - Google Patents
一种基于深度学习的机房线路安全性检测方法及系统 Download PDFInfo
- Publication number
- CN117710795B CN117710795B CN202410166122.1A CN202410166122A CN117710795B CN 117710795 B CN117710795 B CN 117710795B CN 202410166122 A CN202410166122 A CN 202410166122A CN 117710795 B CN117710795 B CN 117710795B
- Authority
- CN
- China
- Prior art keywords
- yolov
- mask
- detection
- network model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 11
- 238000013508 migration Methods 0.000 claims abstract description 7
- 230000005012 migration Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Abstract
本发明公开了一种基于深度学习的机房线路安全性检测方法及系统,涉及计算机安全检测技术领域;包括:获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集;对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;构建改进YOLOv8网络模型;基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测;根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;根据检测结果进行告警。本发明可自动识别和检测出电线是否符合规范、是否存在交叉或混乱等问题,最后根据检测结果进行自动告警。
Description
技术领域
本发明涉及计算机安全检测技术领域,具体涉及一种基于深度学习的机房线路安全性检测方法及系统。
背景技术
对机房线路进行巡检是确保机房正常安全运行的关键环节。定期巡检能够及时发现线路安全问题,并进行及时修复,以避免潜在的安全事故,从而保障机房的稳定性和可靠性。但电线人工巡检和检测效率较低,因此需要一种自动化、准确可靠的方法来实现对机房线路安全性的检测。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于深度学习的机房线路安全性检测方法及系统,自动识别和检测机房环境线路安全性。
本发明的目的是通过以下技术方案来实现的:
第一方面,一种基于深度学习的机房线路安全性检测方法,包括:
步骤1、获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
步骤2、对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
步骤3、构建改进YOLOv8网络模型;
步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测;
步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
步骤6、根据检测结果进行告警。
进一步地,所述的步骤1中的具体过程为:利用视频流解析器解析监控数据采集各种机房相关数据集,获取不同时间段中一定帧的数据,同时进行预处理,筛选符合规范和不符合规范数据,通过翻转、旋转、裁剪、变形和缩放手段进行数据增强,然后进行数据集标注并利用代码转换工具将其转换为Yolov8 所需要的数据集,按照8:1:1 制作训练集、测试集和验证集。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块,用于提高小目标检测效果。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN,用于增强特征提取;所述的特征融合金字塔AFPN采用low-level结构,将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出,然后进行两次ASFF操作;将特征融合金字塔AFPN的默认卷积核替换为C2f。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量;
所述掩膜原型网络Proto接收不同尺度的特征图作为输入,并在每个尺度上应用一系列卷积和上采样操作来提取特征,Proto使用一系列卷积层对每个尺度的特征图进行处理,其中第一个尺度的输入特征图经过一个3x3的卷积层,然后通过一组归一化层和ReLU激活函数,对于其他尺度的输入特征图,进行一个组归一化层和ReLU激活函数;之后,将得到的特征图上采样两倍,并重复这个过程,直到达到目标尺度;最后,通过一个3x3 和1x1的卷积层生成最终的预测特征图。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上添加新的Fast Mask Re-Scoring Network掩码评分分支;
所述的Fast Mask Re-Scoring Network掩码评分分支,包括6层FCN,每个卷积层使用ReLU非线性激活函数,并有一个最终的全局池化层;以裁剪掩码预测作为输入,并输出每个对象类别的掩码IoU,最后由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码。
进一步地,所述的合规性检测具体为根据改进YOLOv8网络模型返回结果,判断置信度大于0.6 的分类为合规电线;所述的飞线检测具体为对摄像头固定区域进行框选,如果出现电线,则进行实列分割,去掉背景再进行边框识别,通过计算线段的倾斜角度判断是否为飞线。
进一步地,所述的交叉检测包括:
步骤51、将实列分割检测到的图像进行预处理,根据掩码去掉背景,然后进行灰度处理;
步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测,具体使用Scharr算子进行检测;
步骤53、通过阈值化处理将边缘图像转换为二值图像;
步骤54、对图像进行分割,将其划分为一系列水平条带,称为扫描行;
步骤55、定义滑动窗口的大小,从图像的左上角开始,从左到右,从上到下滑动窗口,以扫描的方式扫描整个图像;
步骤56、对每个窗口进行分分块处理,通过搜索每个块中像素的邻域来追踪块周围的轮廓,从而得到轮廓图像;
步骤57、将每个块中的轮廓点配对,并计算轮廓点对的中点及中点的平均值,使用最小二乘法拟合一个多项式找到块的交点,最终确定交叉的位置。
进一步地,所述步骤57的具体计算过程如下:
1) 将第i个和第(n-2-i)个点配对,i的范围从0到,总共得到/>个轮廓点对;
2)计算所有轮廓点对的中点,得到个中点;设第k对的中点表示为;
3)计算所述中点的平均值表示为:
使用最小二乘法将中点拟合为m次多项式,使用以下方式确定m的最佳值:取m =4,如果m次多项式适合数据,则取m,否则取m-1,重新带入多项式,一直循环到m=1;
4)根据m次多项式计算交点;
5)根据设置掩膜方向进行重复运算,如果交点数量大于设定默认值即判断为存在交点。
第二方面,一种基于深度学习的机房线路安全性检测系统,包括:
数据获取模块,用于获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
模型预训练模块,用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
模型构建模块,用于构建改进YOLOv8网络模型;
模型推理模块,用于基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测;
图像检测模块,用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
告警模块,用于根据检测结果进行告警。
本发明的有益效果是:
1)优化了Yolov8 默认的Prototype 掩膜原型网络,该结构增强模型对目标的感知能力,提供更全面和准确的特征信息,以及保留更多的细节和上下文信息,并且该结构可根据参数配置,根据实际精度和速度需求调节融合特征输入。
2)增加特征金字塔 AFPN 适配yolov8可以将不同尺度下提取的特征进行融合,得到更全面的特征,其中替换默认卷积核为C2f,该模块保证轻量化的同时还能获得更加丰富的梯度流信息。
3)基于实列分割之后去除背景减少干扰,利用非深度学习方式进行线路交叉检测,减少了模型制作和训练成本。
4)增加SwinTransformer 模块提升了小目标检测的准确度,增加新的分支FastMask Re-Scoring Network 提高了实例掩模的质量和准确性。
附图说明
图1为一种基于深度学习的机房线路安全性检测方法中模型制作训练到推理过程;
图2为一种基于深度学习的机房线路安全性检测方法步骤流程图;
图3为改进YOLOv8网络模型的结构示意图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1-图3,本发明提供一种技术方案:
实施例一:
一种基于深度学习的机房线路安全性检测方法,如图1、图2所示,包括:
步骤1、获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
具体实施例中,所述的步骤1中的具体过程为:利用视频流解析器解析监控数据采集各种机房相关数据集,获取不同时间段中一定帧的数据,同时进行预处理,筛选符合规范和不符合规范数据,通过翻转、旋转、裁剪、变形和缩放手段进行数据增强,然后进行数据集标注并利用代码转换工具将其转换为Yolov8 所需要的数据集,按照8:1:1 制作训练集、测试集和验证集。
步骤2、对所述训练集使用预训练权重在YOLOv8网络上进行迁移学习,并使用该模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
在本实施例中,数据集标注利用SprieView+SegmentAnyThings工具完成,故将迁移学习后的数据通过代码工具转为为SprieView+SegmentAnyThings的格式,人工修正后,再利用代码转换工具,将其转为Yolov8 所需要的数据集,从而进一步扩充数据集合。
步骤3、构建改进YOLOv8网络模型,结构如图3所示;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块,用于提高小目标检测效果。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN,用于增强特征提取;所述的特征融合金字塔AFPN采用low-level结构,将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出,然后进行两次ASFF操作;将特征融合金字塔AFPN的默认卷积核替换为C2f。ASFF通常用来解决一阶检测器中特征金字塔内部的不一致性,使网络能够直接学习如何在其他级别对特征进行空间滤波,从而仅保留有用的信息以进行组合。增加特征金字塔AFPN适配yolov8可以将不同尺度下提取的特征进行融合,得到更全面的特征,其中替换默认卷积核为C2f,该模块保证轻量化的同时获得更加丰富的梯度流信息。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量;
所述掩膜原型网络Proto接收不同尺度的特征图作为输入,并在每个尺度上应用一系列卷积和上采样操作来提取特征,Proto使用一系列卷积层对每个尺度的特征图进行处理,其中第一个尺度的输入特征图经过一个3x3的卷积层,然后通过一组归一化层和ReLU激活函数,对于其他尺度的输入特征图,进行一个组归一化层和ReLU激活函数;之后,将得到的特征图上采样两倍,并重复这个过程,直到达到目标尺度;最后,通过一个3x3 和1x1的卷积层生成最终的预测特征图。
掩膜原型网络Proto目的是从不同尺度的特征图中提取语义信息,用于生成实例分割的掩码,通过多级特征提取和上采样操作,可以捕捉不同尺度的物体信息,并生成相应尺度的掩码预测。该结构增强模型对目标的感知能力,提供更全面和准确的特征信息,以及保留更多的细节和上下文信息,并且该结构可根据参数配置,根据实际精度和速度需求调节融合特征输入。
进一步地,所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上添加新的分支Fast Mask Re-Scoring Network用于提高实例掩模的质量和准确性;
所述的Fast Mask Re-Scoring Network 掩码评分分支,根据预测掩码与真实掩码的IoU对其进行重新评分;该网络是一个6层FCN,每个卷积层使用ReLU非线性激活函数,并有一个最终的全局池化层;它以裁剪掩码预测作为输入,并输出每个对象类别的掩码IoU,过将由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码。
步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测。
步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
进一步地,所述的合规性检测具体为根据模型返回结果,判断置信度大于0.6 的分类为合规电线;所述的飞线检测具体为对摄像头固定区域进行框选,如果出现电线,则进行实列分割,去掉背景再进行边框识别,通过计算线段的倾斜角度判断是否为飞线。
进一步地,所述的交叉检测包括步骤:
步骤51、将实列分割检测到的图像进行预处理,根据掩码去掉背景,然后进行灰度处理;
步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测,具体使用Scharr算子进行检测;方向可以参考:directions = [ (1, 0), # 上 (0, 1), #下 (-1, 0), # 左 (0, -1), # 右 (1, 1), # 上右 (-1, 1), # 上左 (-1, -1), # 下左 (1, -1) # 下右]
步骤53、通过阈值化处理将边缘图像转换为二值图像;
步骤54、对图像进行分割,将其划分为一系列水平条带,称为扫描行;
步骤55、定义滑动窗口的大小,从图像的左上角开始,从左到右,从上到下滑动窗口,以扫描的方式扫描整个图像;
步骤56、对每个窗口进行分分块处理,通过搜索每个块中像素的邻域来追踪块周围的轮廓,从而得到轮廓图像;
步骤57、将每个块中的轮廓点配对,并计算轮廓点对的中点及中点的平均值,使用最小二乘法拟合一个多项式找到块的交点,最终确定交叉的位置。
进一步地,所述步骤57的具体计算过程如下:
1) 将第i个和第(n-2-i)个点配对,i的范围从0到,总共得到/>个轮廓点对;
2)计算所有轮廓点对的中点,得到个中点;设第k对的中点表示为;
3)计算所述中点的平均值表示为:
使用最小二乘法将中点拟合为m次多项式,使用以下方式确定m的最佳值:取m =4,如果m次多项式适合数据,则取m,否则取m-1,重新带入多项式,一直循环到m=1;
4)根据m次多项式计算交点;
5)根据设置掩膜方向进行重复运算,如果交点数量大于设定默认值即判断为存在交点。
步骤6、根据检测结果进行告警。生成告警消息发送到告警通知消息队列,根据设置的通知决策获取告警消息队列,进行消息通知。
实施例2:
一种基于深度学习的机房线路安全性检测系统,包括:
数据获取模块,用于获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
模型预训练模块,用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
模型构建模块,用于构建改进YOLOv8网络模型;
模型推理模块,用于基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8模型进行预测;
图像检测模块,用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
告警模块,用于根据检测结果进行告警。
如图3,在本实施例中,所述的数据获取模块的监控数据来自机房场景中摄像头或者无人机对机房内的电线布局进行拍摄或录像,通过视频流解析器加载预设配置,根据设置定时获取视频帧。数据获取模块还可处理分析图片质量,并消息通知视频流解析器重新下发图片,检测到合规图片后开启子线程对图片进行预处理。处理完图片将图片转为上传至云存储,并将含图片,区域地址等信息放入检测消息队列。模型推理模块加载消息队列检测图片,输出线路检测结果;图像检测模块根据线路检测结果对其进行合规性检测、交叉检测和飞线检测,根据裁剪位置和返回的检测结果重新计算故障点在原始图片的位置;告警模块根据图像检测模块的检测结果,生成告警消息发送到告警通知消息队列,根据设置的通知决策获取告警通知消息队列,进行消息通知与告警。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (3)
1.一种基于深度学习的机房线路安全性检测方法,其特征在于,包括:
步骤1、获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
步骤2、对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
步骤3、构建改进YOLOv8网络模型;
步骤4、基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测;
步骤5、根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
步骤6、根据检测结果进行告警;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块,用于提高小目标检测效果;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN,用于增强特征提取;所述的特征融合金字塔AFPN采用low-level结构,将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出,然后进行两次ASFF操作;将特征融合金字塔AFPN的默认卷积核替换为C2f;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量;
所述掩膜原型网络Proto接收不同尺度的特征图作为输入,并在每个尺度上应用一系列卷积和上采样操作来提取特征,Proto使用一系列卷积层对每个尺度的特征图进行处理,其中第一个尺度的输入特征图经过一个3x3的卷积层,然后通过一组归一化层和ReLU激活函数,对于其他尺度的输入特征图,进行一组归一化层和ReLU激活函数;之后,将得到的特征图上采样两倍,并重复这个过程,直到达到目标尺度;最后,通过一个3x3 和1x1的卷积层生成最终的预测特征图;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上添加新的FastMask Re-Scoring Network掩码评分分支;
所述的Fast Mask Re-Scoring Network掩码评分分支,包括6层FCN,每个卷积层使用ReLU非线性激活函数,并有一个最终的全局池化层;以裁剪掩码预测作为输入,并输出每个对象类别的掩码IoU,最后由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码;
所述的合规性检测具体为根据改进YOLOv8网络模型返回结果,判断置信度大于0.6 的分类为合规电线;所述的飞线检测具体为对摄像头固定区域进行框选,如果出现电线,则进行实列分割,去掉背景再进行边框识别,通过计算线段的倾斜角度判断是否为飞线;
所述的交叉检测包括:
步骤51、将实列分割检测到的图像进行预处理,根据掩码去掉背景,然后进行灰度处理;
步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测,具体使用Scharr算子进行检测;
步骤53、通过阈值化处理将边缘图像转换为二值图像;
步骤54、对图像进行分割,将其划分为一系列水平条带,称为扫描行;
步骤55、定义滑动窗口的大小,从图像的左上角开始,从左到右,从上到下滑动窗口,以扫描的方式扫描整个图像;
步骤56、对每个窗口进行分分块处理,通过搜索每个块中像素的邻域来追踪块周围的轮廓,从而得到轮廓图像;
步骤57、将每个块中的轮廓点配对,并计算轮廓点对的中点及中点的平均值,使用最小二乘法拟合一个多项式找到块的交点,最终确定交叉的位置;
所述步骤57的具体计算过程如下:
1) 将第i个和第(n-2-i)个点配对,i的范围从0到,总共得到/>个轮廓点对;
2)计算所有轮廓点对的中点,得到个中点;设第k对的中点表示为/>;
3)计算所述中点的平均值表示为:
使用最小二乘法将中点拟合为m次多项式,使用以下方式确定m的最佳值:取m = 4,如果m次多项式适合数据,则取m,否则取m-1,重新带入多项式,一直循环到m=1;
4)根据m次多项式计算交点;
5)根据设置掩膜方向进行重复运算,如果交点数量大于设定默认值即判断为存在交点。
2.根据权利要求1所述的一种基于深度学习的机房线路安全性检测方法,其特征在于:所述步骤1的具体过程为:解析监控数据采集各种机房相关数据集,获取不同时间段中一定帧的数据,同时进行预处理,筛选符合规范和不符合规范数据,通过翻转、旋转、裁剪、变形和缩放手段进行数据增强,然后进行数据集标注并利用代码转换工具将其转换为Yolov8所需要的数据集,按照8:1:1 制作训练集、测试集和验证集。
3.一种基于深度学习的机房线路安全性检测系统,其特征在于:包括:
数据获取模块,用于获取并解析监控数据以采集各种机房相关电线数据集,通过监控图像数据制作数据集,所述数据集包括训练集、测试集和验证集;
模型预训练模块,用于对所述训练集使用预训练权重在YOLOv8网络模型上进行迁移学习,并使用YOLOv8网络模型对未标注图像进行预测,将预测结果输出并修正后扩充数据集样本数量;
模型构建模块,用于构建改进YOLOv8网络模型;
模型推理模块,用于基于扩充后训练集图像训练改进YOLOv8网络模型,将一个新的图像数据输入训练好的改进YOLOv8网络模型进行预测;
图像检测模块,用于根据预测结果对电线布局进行合规性检测、交叉检测和飞线检测;
告警模块,用于根据检测结果进行告警;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的BackBone网络中的输出层P3-P5后添加SwinTransform模块,用于提高小目标检测效果;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Head网络上添加了特征融合金字塔AFPN,用于增强特征提取;所述的特征融合金字塔AFPN采用low-level结构,将输入的经过SwinTransformer模块处理后的特征图C3-C4经过一次卷积操作得到输出,然后进行两次ASFF操作;将特征融合金字塔AFPN的默认卷积核替换为C2f;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上改进掩膜原型网络Proto以提高掩膜原型质量;
所述掩膜原型网络Proto接收不同尺度的特征图作为输入,并在每个尺度上应用一系列卷积和上采样操作来提取特征,Proto使用一系列卷积层对每个尺度的特征图进行处理,其中第一个尺度的输入特征图经过一个3x3的卷积层,然后通过一组归一化层和ReLU激活函数,对于其他尺度的输入特征图,进行一组归一化层和ReLU激活函数;之后,将得到的特征图上采样两倍,并重复这个过程,直到达到目标尺度;最后,通过一个3x3 和1x1的卷积层生成最终的预测特征图;
所述的改进YOLOv8网络模型在于,在传统YOLOv8模型的Segment网络上添加新的FastMask Re-Scoring Network掩码评分分支;
所述的Fast Mask Re-Scoring Network掩码评分分支,包括6层FCN,每个卷积层使用ReLU非线性激活函数,并有一个最终的全局池化层;以裁剪掩码预测作为输入,并输出每个对象类别的掩码IoU,最后由分类头预测的类别对应的掩码IoU与相应的分类置信度相乘来重新评分每个掩码;
所述的合规性检测具体为根据改进YOLOv8网络模型返回结果,判断置信度大于0.6 的分类为合规电线;所述的飞线检测具体为对摄像头固定区域进行框选,如果出现电线,则进行实列分割,去掉背景再进行边框识别,通过计算线段的倾斜角度判断是否为飞线;
所述的交叉检测包括:
步骤51、将实列分割检测到的图像进行预处理,根据掩码去掉背景,然后进行灰度处理;
步骤52、通过采用多个不同方向的掩模进行卷积将预处理后的图像边缘检测,具体使用Scharr算子进行检测;
步骤53、通过阈值化处理将边缘图像转换为二值图像;
步骤54、对图像进行分割,将其划分为一系列水平条带,称为扫描行;
步骤55、定义滑动窗口的大小,从图像的左上角开始,从左到右,从上到下滑动窗口,以扫描的方式扫描整个图像;
步骤56、对每个窗口进行分分块处理,通过搜索每个块中像素的邻域来追踪块周围的轮廓,从而得到轮廓图像;
步骤57、将每个块中的轮廓点配对,并计算轮廓点对的中点及中点的平均值,使用最小二乘法拟合一个多项式找到块的交点,最终确定交叉的位置;
所述步骤57的具体计算过程如下:
1) 将第i个和第(n-2-i)个点配对,i的范围从0到,总共得到/>个轮廓点对;
2)计算所有轮廓点对的中点,得到个中点;设第k对的中点表示为/>;
3)计算所述中点的平均值表示为:
使用最小二乘法将中点拟合为m次多项式,使用以下方式确定m的最佳值:取m = 4,如果m次多项式适合数据,则取m,否则取m-1,重新带入多项式,一直循环到m=1;
4)根据m次多项式计算交点;
5)根据设置掩膜方向进行重复运算,如果交点数量大于设定默认值即判断为存在交点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410166122.1A CN117710795B (zh) | 2024-02-06 | 一种基于深度学习的机房线路安全性检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410166122.1A CN117710795B (zh) | 2024-02-06 | 一种基于深度学习的机房线路安全性检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117710795A CN117710795A (zh) | 2024-03-15 |
CN117710795B true CN117710795B (zh) | 2024-06-07 |
Family
ID=
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215020A (zh) * | 2018-08-30 | 2019-01-15 | 国网黑龙江省电力有限公司佳木斯供电公司 | 基于计算机视觉的高压输电线路故障识别方法 |
WO2019042728A2 (de) * | 2017-08-29 | 2019-03-07 | Osram Gmbh | Erfassen von verkehrsteilnehmern auf einem verkehrsweg |
CN109508676A (zh) * | 2018-11-14 | 2019-03-22 | 武汉万安智能技术有限公司 | 一种逻辑电路图信息提取的机器视觉检测算法 |
CN111681206A (zh) * | 2020-05-08 | 2020-09-18 | 上海工程技术大学 | 喷丝板异型孔尺寸检测方法 |
CN111783666A (zh) * | 2020-07-01 | 2020-10-16 | 北京计算机技术及应用研究所 | 一种基于连续视频帧角点特征匹配的快速车道线检测方法 |
CN112200863A (zh) * | 2020-12-07 | 2021-01-08 | 华南理工大学 | 基于同步定位与建图的无人机监测电线杆倾斜度系统 |
CN112654998A (zh) * | 2020-10-22 | 2021-04-13 | 华为技术有限公司 | 一种车道线检测方法和装置 |
CN215641792U (zh) * | 2021-09-22 | 2022-01-25 | 石多瑞 | 一种用于智能电能表计量的现场监测装置 |
CN114049552A (zh) * | 2021-11-01 | 2022-02-15 | 中盈优创资讯科技有限公司 | 基于实例分割的智慧机房线缆交维质量检验方法及装置 |
WO2023059663A1 (en) * | 2021-10-04 | 2023-04-13 | The Broad Institute, Inc. | Systems and methods for assessment of body fat composition and type via image processing |
CN116665148A (zh) * | 2023-05-29 | 2023-08-29 | 福建工程学院 | 基于合成孔径雷达数据的海上船舶检测方法 |
CN117351521A (zh) * | 2023-12-04 | 2024-01-05 | 国网山东省电力公司电力科学研究院 | 基于数字孪生的输电线鸟类检测方法、系统、介质及设备 |
CN117372931A (zh) * | 2023-10-24 | 2024-01-09 | 浪潮智慧科技有限公司 | 一种户外水域人员游泳行为的检测方法及设备 |
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019042728A2 (de) * | 2017-08-29 | 2019-03-07 | Osram Gmbh | Erfassen von verkehrsteilnehmern auf einem verkehrsweg |
CN109215020A (zh) * | 2018-08-30 | 2019-01-15 | 国网黑龙江省电力有限公司佳木斯供电公司 | 基于计算机视觉的高压输电线路故障识别方法 |
CN109508676A (zh) * | 2018-11-14 | 2019-03-22 | 武汉万安智能技术有限公司 | 一种逻辑电路图信息提取的机器视觉检测算法 |
CN111681206A (zh) * | 2020-05-08 | 2020-09-18 | 上海工程技术大学 | 喷丝板异型孔尺寸检测方法 |
CN111783666A (zh) * | 2020-07-01 | 2020-10-16 | 北京计算机技术及应用研究所 | 一种基于连续视频帧角点特征匹配的快速车道线检测方法 |
CN112654998A (zh) * | 2020-10-22 | 2021-04-13 | 华为技术有限公司 | 一种车道线检测方法和装置 |
CN112200863A (zh) * | 2020-12-07 | 2021-01-08 | 华南理工大学 | 基于同步定位与建图的无人机监测电线杆倾斜度系统 |
CN215641792U (zh) * | 2021-09-22 | 2022-01-25 | 石多瑞 | 一种用于智能电能表计量的现场监测装置 |
WO2023059663A1 (en) * | 2021-10-04 | 2023-04-13 | The Broad Institute, Inc. | Systems and methods for assessment of body fat composition and type via image processing |
CN114049552A (zh) * | 2021-11-01 | 2022-02-15 | 中盈优创资讯科技有限公司 | 基于实例分割的智慧机房线缆交维质量检验方法及装置 |
CN116665148A (zh) * | 2023-05-29 | 2023-08-29 | 福建工程学院 | 基于合成孔径雷达数据的海上船舶检测方法 |
CN117372931A (zh) * | 2023-10-24 | 2024-01-09 | 浪潮智慧科技有限公司 | 一种户外水域人员游泳行为的检测方法及设备 |
CN117351521A (zh) * | 2023-12-04 | 2024-01-05 | 国网山东省电力公司电力科学研究院 | 基于数字孪生的输电线鸟类检测方法、系统、介质及设备 |
Non-Patent Citations (5)
Title |
---|
Strawberry ripeness detection based on YOLOv8 algorithm fused with LW-Swin Transformer;Shizhong Yang等;《Computers and Electronics in Agriculture》;20231104;第215卷(第2023期);1-10 * |
YOLACT Real-time Instance Segmentation;Daniel Bolya等;《ICCV 2019》;20191126;9158-9166 * |
yolact++ better real-time instance segmentation;Daniel Bolya等;《arXiv:1912.06218》;20191203;1-13 * |
基于CA-ASFF-YOLOv4的交通标志识别研究;冷坤等;《计算机工程与应用》;20221209;第59卷(第17期);169-177 * |
对鱼眼图像的FastSAM多点标注算法;乔人杰等;《哈尔滨工程大学学报》;20240103;1-7 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113674247B (zh) | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 | |
CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN111428723B (zh) | 字符识别方法及装置、电子设备、存储介质 | |
CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
CN112906463A (zh) | 基于图像的火情检测方法、装置、设备及存储介质 | |
JPH0726836B2 (ja) | テキスト方位決定方法 | |
CN109272060B (zh) | 一种基于改进的darknet神经网络进行目标检测的方法和系统 | |
CN110059635B (zh) | 一种皮肤瑕疵检测方法及装置 | |
CN114155527A (zh) | 一种场景文本识别方法和装置 | |
CN112307919B (zh) | 一种基于改进YOLOv3的单证图像中数字信息区域识别方法 | |
US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
CN112651966A (zh) | 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法 | |
CN111862013A (zh) | 基于深度卷积神经网络的绝缘子检测方法、装置及设备 | |
CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
CN114494908A (zh) | 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法 | |
CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
CN114596278A (zh) | 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置 | |
CN116092179A (zh) | 一种改进的yolox跌倒检测系统 | |
CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
CN111507353A (zh) | 一种基于文字识别的中文字段检测方法及系统 | |
CN113506281A (zh) | 一种基于深度学习框架的桥梁裂缝检测方法 | |
CN117710795B (zh) | 一种基于深度学习的机房线路安全性检测方法及系统 | |
CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN117710795A (zh) | 一种基于深度学习的机房线路安全性检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |