CN112560816A - 一种基于YOLOv4的设备指示灯识别方法及系统 - Google Patents
一种基于YOLOv4的设备指示灯识别方法及系统 Download PDFInfo
- Publication number
- CN112560816A CN112560816A CN202110192869.0A CN202110192869A CN112560816A CN 112560816 A CN112560816 A CN 112560816A CN 202110192869 A CN202110192869 A CN 202110192869A CN 112560816 A CN112560816 A CN 112560816A
- Authority
- CN
- China
- Prior art keywords
- equipment
- module
- fault
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 15
- 238000012423 maintenance Methods 0.000 description 7
- 239000013589 supplement Substances 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 2
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种基于YOLOv4的设备指示灯识别方法及系统，其中，方法包括以下步骤：S1：建立历史图像数据集；S2：对历史图像数据集数据增强处理，得到增强历史图像数据集；S3：模型构建模块构建目标检测模型；S4：对目标检测模型机进行训练；S5：对设备指示灯识别实时识别；S6：获取设备指示灯对应状态；S7：出现故障时进行故障处理。系统主要包括：采集模块、图像数据集模块、数据增强处理模块、模型构建模块、图像识别模块。本发明解决了目前应用于指示灯识别方法的目标检测模型存在训练耗时过长、冗余计算，对多目标小目标检测效果不佳、硬件消耗大的问题，具有实时识别、对多目标小目标识别效果好的优点。
Description
技术领域
本发明涉及设备识别技术领域，具体是涉及一种基于YOLOv4的设备指示灯识别方法及系统。
背景技术
在工业环境中存在着大量的指示灯，用来判断各个设备是否正常工作。当指示灯出现某种状态时，表明有故障发生需要工作人员及时处理。因此就需要实时监控指示灯的状态，而在传统的人工监控方式中，进行长期的监控是一件繁重而乏味的工作，当指示灯较多时采用人工的方式几乎无法做到全面而准确的监控，同时由于指示灯出现异常情况占少数，这样的情况使得人工监控就会造成巨大的人力浪费且效率低下。对于传统意义的工业指示灯状态监控来讲，不仅耗费人力而且由于监控人员的疏忽会很容易造成漏报，因此监控的效率低下，无法很好的适应于现有的机房指示灯监控。
随着近年来深度学习在计算机视觉领域的发展，常采用神经网络来解决目标检测等相关问题，而且得到不错效果。随着卷积神经网络的不断发展，深度学习对解决目标检测问题提供了解决方案。在研究无人值守的数字化机房环境下，智能巡检机器人针对设备指示灯识别等方面，利用目标检测方法不仅可以使识别准确率与识别速度指标显著提升，而且极大提升了运维人员的工作效率，同时也可以节约人力成本，提高自动化水平。
在众多深度学习算法中，YOLO算法（You Only Look Once）将整个图像放在一个实例中，并预测这些框的边界框坐标和及所属类别概率。使用YOLO算法最大的优点是速度极快，对每帧图片只需扫描一遍即可检测到对象与其所在位置，每秒可处理45帧，因此，使得YOLO算法可以达到实时动态对目标的识别。
除了速度快之外，YOLO算法还有利用图片的全局信息做预测的优势，YOLO算法在模型的训练和测试的时候隐式地对上下文信息进行编码，因此，与FASTER-RCNN这一类先提取图片中的RIO（感兴趣区，及识别对象所在区域）再做分类的算法相比，YOLO算法具有更高的正确率。
近年来，YOLO算法不断地推新升级，其中YOLOv4算法相对于上一代的YOLOv3算法，具有以下优势：
在输入端通过Mosaic数据增强等处理方法对训练图像进行数据增强，使得单个GPU（图形处理器）就能达到比较好的训练效果，降低了算法对于硬件的高要求；
在BackBone主干网络结合多种优秀函数以适应不同的应用场景；
目标检测网络在BackBone和最后的输出层之间往往会插入一些层，比如YOLOv4中的SPP模块、FPN+PAN结构。
在COCO数据集上，同样在FPS（每秒钟帧数）等于83左右时，YOLOv4的AP（某个IOU阈值下某个类别的PR曲线的面积）是43，而YOLOv3是33，直接上涨了10个百分点，即YOLOv4具有更高的位置尺寸标记效果。
而目前应用于指示灯识别方法的目标检测模型存在训练耗时过长，冗余计算，目标变形，对多目标、小目标检测效果不佳以及硬件消耗大，需要大的存储空间等问题，以及对于不同尺寸图像，现有模型大都采用直接插值方式使得图片尺寸满足网络输入的要求，如：Yolov3网络要求输入图片为608*608*3 或512*512*3等，而这对于小尺寸图片，如设备指示灯图片，插值后图片外貌降质，影响识别效果。因此，如何利用YOLOv4算法提升指示灯识别的效果，成了我们需要解决的问题。
发明内容
本发明解决的技术问题是：目前应用于指示灯识别方法的目标检测模型存在训练耗时过长，冗余计算，目标变形，对多目标、小目标检测效果不佳以及硬件消耗大，需要大的存储空间。
本发明的技术方案如下：
第一方面，本发明提供一种基于YOLOv4的设备指示灯识别方法，包括以下步骤：
S1：采集模块控制摄像头采集机房设备及其指示灯的图像数据，图像数据集模块建立设备指示灯的历史图像数据集；
S2：数据增强处理模块对历史图像数据集中的历史图像进行Mosaic数据增强处理，得到增强历史图像数据集；
S3：模型构建模块构建目标检测模型，所述目标检测模型包括图像增强部分和目标定位识别部分；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，报警模块通知机房值班人员设备故障。
进一步地，步骤S2中Mosaic数据增强处理包括以下步骤：
S21：从历史图像数据集中每次随机读取四张图片；
S22：对读取的四张图片进行翻转、缩放和色域变化，并且按照四个方向位置摆放，以及对四张图片进行拼接，获得每一张图片中所需监测对象的边框数据；
S23：将四张图片拼接后得到一张新的图片，同时获取新图片所有监测对象的边框数据；
S24：进行图片的组合和边框的组合，以得到增强图像数据集。
Mosaic数据增强训练时，可以直接计算4张图片的数据，一个GPU就可以达到比较好的效果。
进一步地，边框为图片里每个监测对象在图片内的范围，边框数据包含的内容为：对象中点位于图片中的x坐标、对象中点位于图片中的y坐标、边框的长、边框的宽，边框包含数据能够直接定位对象中点所处位置和对象的尺寸大小。
更进一步地，步骤S2中所述数据增强处理还包括对增强历史图像数据集中的指示灯图像进行标注，人工标注得到的增强图像数据集作为模型训练的依据。
优选地，步骤S3具体包括：
S31：将多个卷积层构成图像增强部分，所述图像增强部分为图像超分辨率网络（图像尺寸变大），也可以是图像降质网络（图像尺寸变小）；
S32：将多卷积层的网络结构与CSPNet进行结合形成目标定位识别部分，所述目标定位识别部分为目标检测模型骨干网络；
S33：将图像增强部分与目标定位识别部分采用串联形式连接，构成一个完整的检测网络；
S34：引入激活函数，并改进坐标误差，得到回归损失函数；
S35：将SPPNet和PANet路径聚合作为颈部网络构建形成目标检测模型。
采用SPP模块的方式，比单纯的使用k×k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征，在COCO目标检测任务中，采用SPP模块的YOLOv4以0.5%的额外计算代价将AP50（算法得出的对象区域占对象真实区域百分比大于50%的概率）增加了2.7%。
优选地，步骤S4具体包括：
S41：将增强历史图像数据集内图片经过插值构成图像增强训练集，并对图像增强部分进行训练（具体的，利用原数据集图片和图片经过插值构成训练集。对于超分辨率网络：插值后的图片作为输入样本，原图片作为标签，对于降质网络：原图片作为输入样本，插值后的图片作为标签）；
S42：固定图像增强部分的网络参数不变，使用增强历史图像数据集对目标定位识别部分进行训练，直至在终端执行界面可视化中的回归损失函数不再降低，获取重新生成的权重文件。
优选地，步骤S5具体包括：
使用S4步骤生成的权重文件对当前图像中的设备指示灯进行识别。
优选地，激活函数表达式为：
其中，
，x表示时间。
第二方面，本发明还提供一种实施上述方法的设备指示灯识别系统，包括：
用于实时获取机房内所有设备指示灯亮灯状态的数个摄像头；
用于采集所述机房设备的图像数据的采集模块；
用于建立所述设备指示灯的历史图像数据集的图像数据集模块；
用于对所述历史图像数据集中的历史图像进行数据增强处理，得到增强历史图像数据集的数据增强处理模块，所述数据增强处理模块包括：用于对图片进行行翻转、缩放、色域变化和拼接的图片处理子模块，用于对所述图片处理子模块处理后得到的历史增强图像内监测对象进行标记和边框建立的对象边框标记子模块；
用于构建目标检测模型的模型构建模块；
用于通过所述增强历史图像数据集对所述目标检测模型进行训练，以增强模型对遮盖对象和小目标对象识别能力的模型训练模块；
基于训练完成的目标检测模型用于对当前图像进行识别的图像识别模块；
用于管理所述设备指示灯亮灯状态与机器运行状态对应关系的对应关系管理模块，所述对应关系管理模块包括：用于对设备故障信息进行管理的故障信息管理子模块，用于对设备指示灯状态进行管理的指示灯状态管理子模块，用于对设备故障进行分类和故障严重程度进行划分管理的故障类型与级别管理子模块；
用于对机房相关人员进行管理的人员管理模块，所述人员管理模块包括：用于机器检修人员信息进行管理的检修人员管理子模块，用于对机房值班人员信息进行管理的机房值班人员管理子模块，用于对机房管理人员信息进行管理的机房人员管理子模块；
用于根据所述设备指示灯状态生成机器运行日志报告的日志生成模块；
用于在机器出现运行问题时通知机房值班人员的报警模块，所述报警模块包括：用于发出警报声的警报铃，用于通过短信通知机房相关人员故障具体情况的通知子模块；
用于对系统内数据进行管理的数据库。
进一步优选地，故障类型与级别管理子模块将故障分为：轻微故障、中级故障和重大故障，其中，轻微故障不影响机房设备正常工作且属于机房值班人员能够处理的范围，中级故障属于短时间内不影响机房设备正常工作且属于需要检修人员检修的范围，重大故障属于需要立即进行检修的情况，将故障分级有利于系统根据故障情况的严重程度做出不同的处理方式，进一步节约人力，节省时间。
本发明的有益效果是：
1、本发明通过摄像头对机房内所有的设备指示灯进行实时监控，并通过图像识别模块实时对画面中设备指示灯进行识别，在以上过程中，单个画面中需要监测的设备指示灯对象数量多，目标小，还存在机房值班人员走动遮挡设备指示灯的情况，而本发明的目标检测模型是基于YOLOv4算法进行训练的，YOLOv4算法相较于上一代YOLOv3算法，对多种尺寸对象和被遮挡对象具有更佳的识别效果，使得本发明对于机房内设备指示灯的识别具有优越的性能；
2、本发明通过对应关系管理模块将识别后的设备指示灯亮灯状况与设备运行状况对应，当识别的设备指示灯显示状态为非正常状态时，对应关系管理模块实时得出对应的设备运行故障，并通过报警模块对机房值班人员警报，提示设备故障原因以便于设备的检修，并根据故障的严重程度采取不同的处理方式，大大节约了人工检查设备故障的时间；
3、本发明通过日志生成模块定期生成通过设备指示灯识别获取的设备运行状态，并定期发送给机房管理人员，以便于设备的定期检修，具有一定的机房检修参考价值；
4、本发明通过图像增强部分，改变原始待检测图片的尺寸、增强指示灯这类小目标图片的外貌特征，使得图片满足后续网络的尺寸要求的同时，并使待检测图片相比直接插值法，保留更多细节特征，可有益提升指示灯识别的准确率。
附图说明
图1是本发明实施例2所示的一种基于YOLOv4的机房设备指示灯识别方法的流程图；
图2是本发明实施例3所示的数据增强处理过程的流程图；
图3是本发明实施例4所示的目标检测模型的网络框架图；
图4是本发明实施例1所示的一种基于YOLOv4的设备指示灯识别系统的框架图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
下面结合附图详细说明本发明的可选实施例。
实施例1
如图4所示，一种基于YOLOv4的设备指示灯识别系统，包括：
用于实时获取机房内所有设备指示灯亮灯状态的数个摄像头；
用于采集所述机房设备的图像数据的采集模块；
用于建立所述设备指示灯的历史图像数据集的图像数据集模块；
用于对所述历史图像数据集中的历史图像进行数据增强处理，得到增强历史图像数据集的数据增强处理模块，所述数据增强处理模块包括：用于对图片进行行翻转、缩放、色域变化和拼接的图片处理子模块，用于对所述图片处理子模块处理后得到的历史增强图像内监测对象进行标记和边框建立的对象边框标记子模块；
用于构建目标检测模型的模型构建模块；
用于通过所述增强历史图像数据集对所述目标检测模型进行训练，以增强模型对遮盖对象和小目标对象识别能力的模型训练模块；
基于训练完成的目标检测模型用于对当前图像进行识别的图像识别模块；
用于管理所述设备指示灯亮灯状态与机器运行状态对应关系的对应关系管理模块，所述对应关系管理模块包括：用于对设备故障信息进行管理的故障信息管理子模块，用于对设备指示灯状态进行管理的指示灯状态管理子模块，用于对设备故障进行分类和故障严重程度进行划分管理的故障类型与级别管理子模块；
用于对机房相关人员进行管理的人员管理模块，所述人员管理模块包括：用于机器检修人员信息进行管理的检修人员管理子模块，用于对机房值班人员信息进行管理的机房值班人员管理子模块，用于对机房管理人员信息进行管理的机房人员管理子模块；
用于根据所述设备指示灯状态生成机器运行日志报告的日志生成模块；
用于在机器出现运行问题时通知机房值班人员的报警模块，所述报警模块包括：用于发出警报声的警报铃，用于通过短信通知机房相关人员故障具体情况的通知子模块；
用于对系统内数据进行管理的数据库。
其中，故障类型与级别管理子模块将故障分为：轻微故障、中级故障和重大故障，其中，轻微故障不影响机房设备正常工作且属于机房值班人员能够处理的范围，中级故障属于短时间内不影响机房设备正常工作且属于需要检修人员检修的范围，重大故障属于需要立即进行检修的情况。
实施例2
如图1所示，本实施例是根据实施例1的一种基于YOLOv4的设备指示灯识别方法，包括以下步骤：
S1：采集模块控制摄像头采集机房设备及其指示灯的图像数据，图像数据集模块建立设备指示灯的历史图像数据集；
S2：数据增强处理模块对历史图像数据集中的历史图像进行Mosaic数据增强处理，得到增强历史图像数据集；
S3：模型构建模块构建目标检测模型，所述目标检测模型包括图像增强部分和目标定位识别部分；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，报警模块通知机房值班人员设备故障。
实施例3
在实施例2的基础上，本实施例对步骤S1进行补充，步骤S1还包括使用摄像头采集机房设备的图像数据
如图2所示，本实施例对步骤S2中Mosaic数据增强训练进行补充，包括以下步骤：
S21：从历史图像数据集中进行不少于一次的集中选取，每次随机读取四张图片；
S22：对读取的四张图片进行翻转（对原始图片进行左右的翻转）、缩放（对原始图片进行大小的缩放）和色域变化（对原始图片的明亮度、饱和度、色调进行改变），并且按照四个方向位置摆放，按读取顺序的第一张图片摆放在左上，第二张图片摆放在左下，第三张图片摆放在右下，第四张图片摆放在右上四个方向位置摆好，以及对四张图片进行拼接，获得每一张图片中所需监测对象的边框数据；
S23：将四张图片拼接后得到一张新的图片，同时获取新图片所有监测对象的边框数据；
S24：进行图片的组合和边框的组合，以得到增强图像数据集，并对增强历史图像数据集中的指示灯图像进行人工标注。
Mosaic数据增强训练时，可以直接计算4张图片的数据，一个GPU就可以达到比较好的效果。
其中，边框数据包含的内容为：对象中点位于图片中的x坐标、对象中点位于图片中的y坐标、边框的长、边框的宽，边框包含数据能够直接定位对象中点所处位置和对象的尺寸大小。
实施例4
本实施例是基于实施例3对于步骤S3内容的补充，包括以下步骤：
S31：将多个卷积层构成图像增强部分，所述图像增强部分为图像超分辨率网络（图像尺寸变大）；
S32：将多卷积层的网络结构与CSPNet进行结合形成目标定位识别部分，所述目标定位识别部分为目标检测模型骨干网络；
S33：将图像增强部分与目标定位识别部分采用串联形式连接，构成一个完整的检测网络；
S34：引入激活函数，并改进坐标误差，得到回归损失函数；
S35：将SPPNet和PANet路径聚合作为颈部网络构建形成目标检测模型。
其中，当待检测图像尺寸小于后续网络网络要求时，采用图像超分辨率网络，对原始待检测图片的尺寸进行放大，并满足后续网络的尺寸要求的同时，增强其指示灯细节信息，提升检测能力。
如图3所示，上述步骤将SPPNet（spatial pyramid pooling network）和PANet（Path Aggregation Network）路径聚合作为颈部网络构建形成目标检测模型，SPPNet能够接收任意大小的输入，并产生固定的输出，保证了图像变形情况下输出结果的稳定性。
采用SPP模块的方式，比单纯的使用k×k最大池化的方式，更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征，在COCO目标检测任务中，采用SPP模块的YOLOv4以0.5%的额外计算代价将AP50（算法得出的对象区域占对象真实区域百分比大于50%的概率）增加了2.7%。
其中，激活函数表达式为：
其中，
，x表示时间，激活函数表达式是光滑的非单调激活函数，在负值的时候并不是完全阶段，而是允许比较小的负梯度的流入，从而保证了信息流动，另外激活函数表达式具有无边界的特点，很好的避免了梯度饱和的问题。
实施例5
本实施例是基于实施例3对于步骤S3内容的另一种补充，包括以下步骤：
S31：将多个卷积层构成图像增强部分，所述图像增强部分为图像降质网络（图像尺寸变小）；
S32：将多卷积层的网络结构与CSPNet进行结合形成目标定位识别部分，所述目标定位识别部分为目标检测模型骨干网络；
S33：将图像增强部分与目标定位识别部分采用串联形式连接，构成一个完整的检测网络；
S34：引入激活函数，并改进坐标误差，得到回归损失函数；
S35：将SPPNet和PANet路径聚合作为颈部网络构建形成目标检测模型。
其中，当待检测图像尺寸大于后续网络网络要求时，采用图像降质网络，对原始待检测图片的尺寸进行缩小，并满足后续网络的尺寸要求的同时，保留更多图片中指示灯的细节特征。
实施例6
本实施例是基于实施例4对于步骤S4内容的补充，包括以下步骤：
S41：将增强历史图像数据集内图片经过插值构成图像增强训练集，并对图像增强部分进行训练（具体的，利用原数据集图片和图片经过插值构成训练集。对于超分辨率网络：插值后的图片作为输入样本，原图片作为标签）；
S42：固定图像增强部分的网络参数不变，使用增强历史图像数据集对目标定位识别部分进行训练，直至在终端执行界面可视化中的回归损失函数不再降低，获取重新生成的权重文件。
实施例7
本实施例是基于实施例5对于步骤S4内容的补充，包括以下步骤：
S41：将增强历史图像数据集内图片经过插值构成图像增强训练集，并对图像增强部分进行训练（具体的，利用原数据集图片和图片经过插值构成训练集。对于降质网络：原图片作为输入样本，插值后的图片作为标签）；
S42：固定图像增强部分的网络参数不变，使用增强历史图像数据集对目标定位识别部分进行训练，直至在终端执行界面可视化中的回归损失函数不再降低，获取重新生成的权重文件。
实施例8
本实施例是基于实施例5对于步骤5内容的补充，包括以下步骤：
使用S4步骤生成的权重文件对当前图像中的设备指示灯进行识别。
实施例9
本实施例是基于实施例6的一个应用场景，包括以下步骤：
S1：采集模块控制摄像头在不同角度、不同光线的情况下对设备及其指示灯进行拍摄，并将拍摄图片传入图像数据集模块，图像数据集模块将拍摄图片组成具有多样性的历史图像数据集；
S2：图片处理子模块对历史图像数据集内图片进行处理后生成增强历史图像数据集，对象边框标记子模块对处理后图片内设备指示灯的内容、位置和尺寸进行标记；
S3：模型构建模块构建目标检测模型；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，图像识别模块通过滑动窗口的方式对画面进行遍历，遍历方向为从左到右再从上到下，在遍历结束后，捕获设备指示灯并得出其位置和大小，且画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，并通过故障类型与级别管理子模块判断故障类型，当故障属于轻微故障时，报警铃不响起，通知子模块通过机房值班人员管理子模块获取机房人员联系方式，并通过短信和邮件的方式通知机房值班人员故障的具体情况；
S8：在机房设备指示灯监测的过程中，日志生成模块记录故障发生的情况存储至数据库内，并每24小时生成一份日志，通过邮件发送给机房管理人员。
实施例10
本实施例是基于实施例6的一个应用场景，包括以下步骤：
S1：采集模块控制摄像头在不同角度、不同光线的情况下对设备及其指示灯进行拍摄，并将拍摄图片传入图像数据集模块，图像数据集模块将拍摄图片组成具有多样性的图像数据集；
S2：图片处理子模块对历史图像数据集内图片进行处理后生成增强历史图像数据集，对象边框标记子模块对处理后图片内设备指示灯的内容、位置和尺寸进行标记；
S3：模型构建模块构建目标检测模型；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，图像识别模块通过滑动窗口的方式对画面进行遍历，遍历方向为从左到右再从上到下，在遍历结束后，捕获设备指示灯并得出其位置和大小，且画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，并通过故障类型与级别管理子模块判断判断故障类型，当故障属于中级故障时，报警铃响起，通知子模块通过机房值班人员管理子模块获取机房人员联系方式，通过检修人员信息管理子模块获取检修人员基本信息，通过短信和邮件的方式通知机房值班人员故障的具体情况以及相关故障检修人员的具体信息，以便于机房值班人员及时联系检修人员对机房故障进行检修；
S8：在机房设备指示灯监测的过程中，日志生成模块记录故障发生的情况存储至数据库内，并每24小时生成一份日志，通过邮件发送给机房管理人员，以便于机房后续的定期检修。
实施例11
本实施例是基于实施例6的一个应用场景，包括以下步骤：
S1：采集模块控制摄像头在不同角度、不同光线的情况下对设备及其指示灯进行拍摄，并将拍摄图片传入图像数据集模块，图像数据集模块将拍摄图片组成具有多样性的图像数据集；
S2：图片处理子模块对历史图像数据集内图片进行处理后生成增强历史图像数据集，对象边框标记子模块对处理后图片内设备指示灯的内容、位置和尺寸进行标记；
S3：模型构建模块构建目标检测模型；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，图像识别模块通过滑动窗口的方式对画面进行遍历，遍历方向为从左到右再从上到下，在遍历结束后，捕获设备指示灯并得出其位置和大小，且画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，并通过故障类型与级别管理子模块判断判断故障类型，当故障属于重大故障时，报警铃响起，通知子模块分别通过机房值班人员管理子模块、检修人员信息管理子模块和机房管理人员子模块获取所有机房值班人员、所有检修人员和所有机房管理人员联系方式，通过短信和邮件的方式通知机房值班人员、所有检修人员以及机房管理人员故障的具体情况以及相关故障检修人员的具体信息，以便于故障能够在最快时间内得到修复；
S8：在机房设备指示灯监测的过程中，日志生成模块记录故障发生的情况存储至数据库内，并每24小时生成一份日志，通过邮件发送给机房管理人员，以便于机房后续的定期检修。
Claims (10)
1.一种基于YOLOv4的设备指示灯识别方法，其特征在于，包括以下步骤：
S1：采集模块控制摄像头采集机房设备及其指示灯的图像数据，图像数据集模块建立设备指示灯的历史图像数据集；
S2：数据增强处理模块对历史图像数据集中的历史图像进行Mosaic数据增强处理，得到增强历史图像数据集；
S3：模型构建模块构建目标检测模型，所述目标检测模型包括图像增强部分和目标定位识别部分；
S4：模型训练模块使用增强历史图像数据集对目标检测模型进行训练；
S5：图像识别模块通过训练完成的目标检测模型对摄像头获取画面中的设备指示灯进行实时识别，画面存在因机房值班人员走动导致设备指示灯的遮挡现象；
S6：图像识别模块在目标检测模型对画面中设备指示灯进行身份识别后，指示灯状态管理子模块获取设备指示灯亮灯状态；
S7：当设备指示灯亮灯状态与正常工作状态不同时，故障信息管理子模块通过将其状态与故障原因对应，报警模块通知机房值班人员设备故障。
2.如权利要求1所述方法，其特征在于，所述步骤S2中Mosaic数据增强处理包括以下步骤：
S21：从历史图像数据集中每次随机读取四张图片；
S22：对读取的四张图片进行翻转、缩放和色域变化，并且按照四个方向位置摆放，以及对四张图片进行拼接，获得每一张图片中所需监测对象的边框数据；
S23：将四张图片拼接后得到一张新的图片，同时获取新图片所有监测对象的边框数据；
S24：进行图片的组合和边框的组合，以得到增强图像数据集。
3.如权利要求2所述方法，其特征在于，所述边框为图片里每个监测对象在图片内的范围，所述边框数据包含的内容为：对象中点位于图片中的x坐标、对象中点位于图片中的y坐标、边框的长、边框的宽。
4.如权利要求1所述方法，其特征在于，所述步骤S2中所述数据增强处理还包括对增强历史图像数据集中的指示灯图像进行标注。
5.如权利要求1所述方法，其特征在于，所述步骤S3具体包括：
S31：将多个卷积层构成图像增强部分，所述图像增强部分为图像超分辨率网络；
S32：将多卷积层的网络结构与CSPNet进行结合形成目标定位识别部分，所述目标定位识别部分为目标检测模型骨干网络；
S33：将图像增强部分与目标定位识别部分采用串联形式连接，构成一个完整的检测网络；
S34：引入激活函数，并改进坐标误差，得到回归损失函数；
S35：将SPPNet和PANet路径聚合作为颈部网络构建形成目标检测模型。
6.如权利要求5所述方法，其特征在于，所述步骤S4具体包括：
S41：将增强历史图像数据集内图片经过插值构成图像增强训练集，并对图像增强部分进行训练；
S42：固定图像增强部分的网络参数不变，使用增强历史图像数据集对目标定位识别部分进行训练，直至在终端执行界面可视化中的回归损失函数不再降低，获取重新生成的权重文件。
7.如权利要求6所述方法，其特征在于，所述步骤S5具体包括：
使用S4步骤生成的权重文件对当前图像中的设备指示灯进行识别。
8.如权利要求7所述方法，其特征在于，所述激活函数表达式为：
其中，
，x表示时间。
9.一种实施如权利要求1-8任意一项所述方法的设备指示灯识别系统，其特征在于，包括：
用于实时获取机房内所有设备指示灯亮灯状态的数个摄像头；
用于采集所述机房设备的图像数据的采集模块；
用于建立所述设备指示灯的历史图像数据集的图像数据集模块；
用于对所述历史图像数据集中的历史图像进行数据增强处理，得到增强历史图像数据集的数据增强处理模块，所述数据增强处理模块包括：用于对图片进行行翻转、缩放、色域变化和拼接的图片处理子模块，用于对所述图片处理子模块处理后得到的历史增强图像内监测对象进行标记和边框建立的对象边框标记子模块；
用于构建目标检测模型的模型构建模块；
用于通过所述增强历史图像数据集对所述目标检测模型进行训练，以增强模型对遮盖对象和小目标对象识别能力的模型训练模块；
基于训练完成的目标检测模型用于对当前图像进行识别的图像识别模块；
用于管理所述设备指示灯亮灯状态与机器运行状态对应关系的对应关系管理模块，所述对应关系管理模块包括：用于对设备故障信息进行管理的故障信息管理子模块，用于对设备指示灯状态进行管理的指示灯状态管理子模块，用于对设备故障进行分类和故障严重程度进行划分管理的故障类型与级别管理子模块；
用于对机房相关人员进行管理的人员管理模块，所述人员管理模块包括：用于机器检修人员信息进行管理的检修人员管理子模块，用于对机房值班人员信息进行管理的机房值班人员管理子模块，用于对机房管理人员信息进行管理的机房人员管理子模块；
用于根据所述设备指示灯状态生成机器运行日志报告的日志生成模块；
用于在机器出现运行问题时通知机房值班人员的报警模块，所述报警模块包括：用于发出警报声的警报铃，用于通过短信通知机房相关人员故障具体情况的通知子模块；
用于对系统内数据进行管理的数据库。
10.如权利要求9所述的一种系统，其特征在于，所述故障类型与级别管理子模块将故障分为：轻微故障、中级故障和重大故障，其中，轻微故障不影响机房设备正常工作且属于机房值班人员能够处理的范围，中级故障属于短时间内不影响机房设备正常工作且属于需要检修人员检修的范围，重大故障属于需要立即进行检修的情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110192869.0A CN112560816A (zh) | 2021-02-20 | 2021-02-20 | 一种基于YOLOv4的设备指示灯识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110192869.0A CN112560816A (zh) | 2021-02-20 | 2021-02-20 | 一种基于YOLOv4的设备指示灯识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560816A true CN112560816A (zh) | 2021-03-26 |
Family
ID=75034388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110192869.0A Pending CN112560816A (zh) | 2021-02-20 | 2021-02-20 | 一种基于YOLOv4的设备指示灯识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560816A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138887A (zh) * | 2021-04-25 | 2021-07-20 | 浪潮商用机器有限公司 | 一种服务器故障灯检测方法、装置及系统 |
| CN113297554A (zh) * | 2021-05-21 | 2021-08-24 | 陕西合友网络科技有限公司 | 一种基于智能终端的用户权限管理系统及其管理方法 |
| CN113850773A (zh) * | 2021-09-18 | 2021-12-28 | 联想(北京)有限公司 | 一种检测方法、装置、设备及计算机可读存储介质 |
| CN114046820A (zh) * | 2021-11-09 | 2022-02-15 | 华科电子股份有限公司 | 一种在线检测设备的LonWorks通信方法及系统 |
| CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
| CN114581760A (zh) * | 2022-05-06 | 2022-06-03 | 北京蒙帕信创科技有限公司 | 一种机房巡检的设备故障检测方法及系统 |
| CN114821194A (zh) * | 2022-05-30 | 2022-07-29 | 深圳市科荣软件股份有限公司 | 一种设备运行状态识别方法及装置 |
| CN116863333A (zh) * | 2023-06-28 | 2023-10-10 | 深圳市名通科技股份有限公司 | Fsu设备工作状态的ai智能检测方法 |
| CN117636253A (zh) * | 2023-11-30 | 2024-03-01 | 江苏圣创半导体科技有限公司 | 一种智能灯故障识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985621A (zh) * | 2020-08-24 | 2020-11-24 | 西安建筑科技大学 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
| CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
| CN112052826A (zh) * | 2020-09-18 | 2020-12-08 | 广州瀚信通信科技股份有限公司 | 基于YOLOv4算法的智慧执法多尺度目标检测方法、装置、系统及存储介质 |
| CN112130316A (zh) * | 2020-10-27 | 2020-12-25 | 华北电力大学 | 多通道多谱段滤光片结构及其应用、方法 |
| CN112183583A (zh) * | 2020-09-08 | 2021-01-05 | 昆明理工大学 | 一种注意力导向的太赫兹图像中的小目标检测方法 |
| CN112308054A (zh) * | 2020-12-29 | 2021-02-02 | 广东科凯达智能机器人有限公司 | 基于目标检测算法的多功能数字表自动读数方法 |
-
2021
- 2021-02-20 CN CN202110192869.0A patent/CN112560816A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985621A (zh) * | 2020-08-24 | 2020-11-24 | 西安建筑科技大学 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
| CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
| CN112183583A (zh) * | 2020-09-08 | 2021-01-05 | 昆明理工大学 | 一种注意力导向的太赫兹图像中的小目标检测方法 |
| CN112052826A (zh) * | 2020-09-18 | 2020-12-08 | 广州瀚信通信科技股份有限公司 | 基于YOLOv4算法的智慧执法多尺度目标检测方法、装置、系统及存储介质 |
| CN112130316A (zh) * | 2020-10-27 | 2020-12-25 | 华北电力大学 | 多通道多谱段滤光片结构及其应用、方法 |
| CN112308054A (zh) * | 2020-12-29 | 2021-02-02 | 广东科凯达智能机器人有限公司 | 基于目标检测算法的多功能数字表自动读数方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138887A (zh) * | 2021-04-25 | 2021-07-20 | 浪潮商用机器有限公司 | 一种服务器故障灯检测方法、装置及系统 |
| CN113297554A (zh) * | 2021-05-21 | 2021-08-24 | 陕西合友网络科技有限公司 | 一种基于智能终端的用户权限管理系统及其管理方法 |
| CN113850773A (zh) * | 2021-09-18 | 2021-12-28 | 联想(北京)有限公司 | 一种检测方法、装置、设备及计算机可读存储介质 |
| CN114046820A (zh) * | 2021-11-09 | 2022-02-15 | 华科电子股份有限公司 | 一种在线检测设备的LonWorks通信方法及系统 |
| CN114241548A (zh) * | 2021-11-22 | 2022-03-25 | 电子科技大学 | 一种基于改进YOLOv5的小目标检测算法 |
| CN114581760A (zh) * | 2022-05-06 | 2022-06-03 | 北京蒙帕信创科技有限公司 | 一种机房巡检的设备故障检测方法及系统 |
| CN114821194A (zh) * | 2022-05-30 | 2022-07-29 | 深圳市科荣软件股份有限公司 | 一种设备运行状态识别方法及装置 |
| CN116863333A (zh) * | 2023-06-28 | 2023-10-10 | 深圳市名通科技股份有限公司 | Fsu设备工作状态的ai智能检测方法 |
| CN117636253A (zh) * | 2023-11-30 | 2024-03-01 | 江苏圣创半导体科技有限公司 | 一种智能灯故障识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560816A (zh) | 一种基于YOLOv4的设备指示灯识别方法及系统 | |
| US11380232B2 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
| KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
| US20200380899A1 (en) | Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium | |
| WO2020057159A1 (zh) | 一种高校餐厅食品加工违规行为视频分析系统及方法 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN112364740B (zh) | 一种基于计算机视觉的无人机房监控方法及系统 | |
| CN111080634A (zh) | 基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法 | |
| CN113962274B (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
| CN112115927B (zh) | 一种基于深度学习的机房设备智能识别方法及系统 | |
| US20200355627A1 (en) | Method for detecting display screen peripheral circuit, apparatus, electronic device and storage medium | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN116629465B (zh) | 智能电网视频监控与风险预测响应系统 | |
| CN115564031A (zh) | 一种用于玻璃缺陷检测的检测网络 | |
| CN113095160B (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| CN117035669A (zh) | 基于人工智能的企业安全生产管理方法及系统 | |
| CN113850773A (zh) | 一种检测方法、装置、设备及计算机可读存储介质 | |
| CN113487166A (zh) | 一种基于卷积神经网络的化纤飘丝质量检测方法及系统 | |
| CN117456353A (zh) | 一种河流湖泊智慧界桩的管理系统 | |
| CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN113807244A (zh) | 一种基于深度学习的机柜布置图绘制方法 | |
| CN113065416A (zh) | 集成于变电站视频监控装置的渗漏监测装置及方法、介质 | |
| CN111474181A (zh) | 一种成盒制程阶段的面板缺陷检测及分类系统 | |
| CN112991802A (zh) | 一种交通信号灯故障检修方法 | |
| CN117994500A (zh) | 一种基于改进YOLOv5s的多目标故障检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
| RJ01 | Rejection of invention patent application after publication |