CN116052041A - 基于深度网络的指示灯状态识别方法 - Google Patents

基于深度网络的指示灯状态识别方法 Download PDF

Info

Publication number
CN116052041A
CN116052041A CN202211622368.2A CN202211622368A CN116052041A CN 116052041 A CN116052041 A CN 116052041A CN 202211622368 A CN202211622368 A CN 202211622368A CN 116052041 A CN116052041 A CN 116052041A
Authority
CN
China
Prior art keywords
state
indicator lamp
indicator
indicator light
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211622368.2A
Other languages
English (en)
Inventor
张正
魏运
韩邦彦
田青
白文飞
代伟
段龙杰
冯国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Subway Operation Corp
North China University of Technology
Original Assignee
Beijing Subway Operation Corp
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Subway Operation Corp, North China University of Technology filed Critical Beijing Subway Operation Corp
Priority to CN202211622368.2A priority Critical patent/CN116052041A/zh
Publication of CN116052041A publication Critical patent/CN116052041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

一种基于深度网络的指示灯状态识别方法，步骤包括：首先，采集指示灯位置的视频；然后，采用指示灯状态判别模型对视频帧图像中的指示灯的亮灭状态进行识别，包括步骤1：搭建基于深度学习的指示灯状态判别模型：步骤2：对先验框进行调整；步骤3：将待检测图片输入到深度学习目标检测网络中，得出检测结果，即获得指示灯所在区域，并将指示灯区域图像裁切出来；步骤4：把指示灯区域图像的RGB模式图像利用HSV模型进行转换；步骤5：根据不同颜色所分布的区间进行指示灯具体颜色的提取；步骤6：在HSV颜色空间下，指示灯的状态进行判断。采用本发明解决了现有技术仍大量使用人工检测指示灯状态的问题，节省去大量的人工劳动力，同时在监测效率上大大提高。

Description

基于深度网络的指示灯状态识别方法
技术领域
本发明涉及工程自动化检测技术，具体是一种基于深度网络的指示灯状态识别方法。
技术背景
无人值守监控在新设备中应用越来越多。通过仪表、指示灯等设备，把即时的信号状态/信息传给现场的采集/控制设备(如PLC等)，再由上位机进一步处理。
而对于老旧设备，如果仅因为“无人值守监控”这个原因进行改造，则非必需。以仪表和指示灯为例，仪表可以通过更换成具有信息传送功能的同类电子仪表，把原有仪表连接的感知端连接到新仪表上即可。而指示灯由于不具备信息传输功能，仅以开/关状态来指示。如果采集指示灯的信息，则需要对每个指示灯电路进行改造，采集控制电路的相应信号，这几乎是重新设计监控系统。
在地铁供电系统中，需要人员对监控设备巡检记录仪表以及大量指示灯的状态。随着技术发展，仪表信息已可以自动传给计算机，但指示灯的状态还需要人工记录。该类指示灯通常以阵列方式布设在仪表箱的表面。为此，有技术人员采用视频采集装置采集指示灯的状态，并把视频发给监控人员。更进一步的，有技术人员采用采用机器视觉技术，利用深度学习的方法来替代人工现场手抄记录的方式。但是，由于该技术并不完善，用深度学习方法不能做到同时识别电力设备上各种物体类型并且判别其状态，而且当巡检装置拍摄位置出现偏差或者环境恶劣时，对物体类别的识别准确率会存在影响，从而对该物体状态判别产生较大的误差。
发明内容
本发明针对以上问题对电力设备自动监测技术遇到的问题进行分析，根据电力设备场景的特点提出了结合图像处理与深度学习的方法，用该方法对待检测目标分析及处理。首先，用深度学习目标检测方法识别出该物体所属类别；接着，根据不同类别综合应用不同图像处理方法进行状态判别。
本发明的基于深度网络的指示灯状态识别方法，步骤包括：首先，采集指示灯位置的视频；然后，采用指示灯状态判别模型对视频帧图像中的指示灯的亮灭状态进行识别，其步骤包括：
步骤1：搭建基于深度学习的指示灯状态判别模型：
步骤2：对先验框进行调整；
步骤3：将待检测图片输入到深度学习目标检测网络中，得出检测结果，即获得指示灯所在区域，并将指示灯区域图像裁切出来；
步骤4：把指示灯区域图像的RGB模式图像利用HSV模型进行转换；
步骤5：根据不同颜色所分布的区间进行指示灯具体颜色的提取：
根据颜色具体分布情况，H通道存放的是图像的颜色信息，据此根据期望识别出的颜色设置相应的阈值，对不同的颜色信息进行提取；
步骤6：在HSV颜色空间下，指示灯的状态进行判断，方法为：指示灯在亮和灭的状态下，V值所在的分布区间不同，则通过识别出指示灯所在区域的V值即断定出该指示灯的亮灭状态，得出识别结果。
采用本发明解决了现有技术仍大量使用人工检测指示灯状态的问题，节省去大量的人工劳动力，同时在监测效率上大大提高。
附图说明
图1是本方法的深度学习目标检测网络示意图；
图2是RGB色彩空间->HSV色彩空间转换示意图。
具体实施方式
下面结合附图与具体实施方式对本发明进行说明。
一种深度网络的指示灯状态识别方法，步骤包括：首先，采集指示灯位置的视频；然后，采用指示灯状态判别模型对视频帧图像中的指示灯的亮灭状态进行识别。本例中：
步骤1：搭建基于深度学习的指示灯状态判别模型(使用YOLOv3网络)，共53个卷积层，其中一些层与层之间采用了残差网络，残差网络由每个残差块组成，其中包括2个卷积层和1个快捷链路，可以在不影响网络效率的情况下加深网络，使网络提取到更多特征。检测网络使用了3个不同尺度的特征图，其中经过下采样次数多的特征图拥有比较大的感受野，检测尺寸较大的指示灯目标更方便。下采样次数较少的的特征图拥有更多的语义信息，对于小指示灯目标的检测更为合适。
步骤2：对先验框进行调整，由于样本中的待检测物体大小不确定，因此先验框的大小同样会进行调整。使用K-means结合先验设置先验框，方法为：
1)需要设k值，这个k值表示聚类后的数据集可分为k个集合。
2)确定质心：在数据集中随意设定k个点，这几个点就是最初的质心。
3)划分集合：数据集中每个点都需要计算这个点与各个质心的距离(如欧式距离)，算出距离后看哪个距离与质心最近。则把这个点划分到该质心属于的那个集合中。
4)所有的数据点都被计算后会得到k个集合，随后再一次对每一个新的集合计算一遍质心的位置。
5)如果重新计算得出的质心与原质心距离与设置的阈值差别较大，则需要重复3～4步。
步骤3：将待检测图片输入到深度学习目标检测网络中，得出检测结果，获得指示灯所在区域，并将指示灯区域图像裁切出来。
步骤4：把指示灯图像颜色利用HSV模型进行转换。
现有技术中，大多情况下都用摄像头采集图像信息，图像信息都是RGB模式。RGB色彩空间利用三个颜色分量的线性组合来表示颜色，各个分量不同的组合可以产生各种复合色，而且这三个分量是高度相关的，在连续变换颜色时并不直观。
HSV色彩空间(Hue-色调、Saturation-饱和度、Value-值)将亮度从色彩中分解出来，色调H：用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，品红为300°；饱和度S：表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。明度V：表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0％(黑)到100％(白)。
HSV比RGB更接近人们对彩色的感知经验。非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。
由图2可知，绕中心轴的角度可以表示色相，圆锥体中心到中心轴的距离可以表示饱和度，从底部的黑色到顶部的白色轴的取值可以表示明度。
两种模型转换公式如下所示：
max＝Max(R，G，B)   (4-1)
min＝Min(R，G，B)   (4-2)
Figure BDA0004002957230000031
Figure BDA0004002957230000032
V＝max   (4-5)
为了方便后续处理，对H、S、V分量进行了转化，转化公式如式(4.6)所示，其中H0、S0、V0分别为转化后的分量。
Figure BDA0004002957230000041
步骤5：根据不同颜色所分布的区间进行指示灯具体颜色的提取。
在HSV颜色空间中，各种颜色的分布取值情况如下表(红、绿、黄色的HSV分布表)所示。根据颜色具体分布情况，H通道存放的是图像的颜色信息，因此可以根据想要识别出的颜色相应的设置阈值，对不同的颜色信息进行提取；本发明中根据实际场景中指示灯颜色特点对HSV范围进行了相应的调整，使得真实场景下的指示灯状态判别准确率更高。
经过实验，最终确定HSV分布如下：红色指示灯H分量最小值156、最大值180，S分量最小值43、最大值255，V分量最小值225、最大值255；绿色指示灯H分量最小值30、最大值77，S分量最小值43、最大值255，V分量最小值225、最大值255；黄色指示灯H分量最小值11、最大值26，S分量最小值43、最大值255，V分量最小值225、最大值255；
红、绿、黄色的HSV分布表
类别 红色 绿色 黄色
<![CDATA[<u>H<sub>min</sub></u>]]> 0-150 35 11
<![CDATA[<u>H<sub>max</sub></u>]]> 10-179 90 25
<![CDATA[<u>S<sub>min</sub></u>]]> 43 43 43
<![CDATA[S<sub>max</sub>]]> 255 255 255
<![CDATA[<u>V<sub>min</sub></u>]]> 46 46 46
<![CDATA[V<sub>max</sub>]]> 255 255 255
步骤6：在HSV颜色空间下指示灯的状态进行判断。
指示灯在亮和灭的状态下，V值所在的分布区间是不一样的，所以通过识别出指示灯所在区域的V值就可以断定出该指示灯的亮灭状态。利用指示灯圆心邻域的V值判断状态，经实验得出如果这个值大于210时，指示灯就是处在亮的状态，相反，如果这个值小于210时，指示灯就是处在灭的状态，得出识别结果。

Claims (6)

1.一种基于深度网络的指示灯状态识别方法，步骤包括：首先，采集指示灯位置的视频；然后，采用指示灯状态判别模型对视频帧图像中的指示灯的亮灭状态进行识别，其特征是
步骤1：搭建基于深度学习的指示灯状态判别模型：步骤2：对先验框进行调整；
步骤3：将待检测图片输入到深度学习目标检测网络中，得出检测结果，即获得指示灯所在区域，并将指示灯区域图像裁切出来；
步骤4：把指示灯区域图像的RGB模式图像利用HSV模型进行转换；
步骤5：根据不同颜色所分布的区间进行指示灯具体颜色的提取：
在HSV颜色空间中，各种颜色的分布取值情况如下表所示，
红、绿、黄色的HSV分布表
根据颜色具体分布情况，H通道存放的是图像的颜色信息，据此根据期望识别出的颜色设置相应的阈值，对不同的颜色信息进行提取；
步骤6：在HSV颜色空间下，指示灯的状态进行判断，方法为：指示灯在亮和灭的状态下，V值所在的分布区间不同，则通过识别出指示灯所在区域的V值即断定出该指示灯的亮灭状态，得出识别结果。
2.根据权利要求1所述的基于深度网络的指示灯状态识别方法，其特征是步骤1)中，使用YOLOv3网络，在该深度学习目标检测网络中，采用残差网络对图像进行特征提取；残差网络由多个残差块组成，残差块有2个卷积层和1个快捷链路；检测网络使用了3个不同尺度的特征图。
3.根据权利要求1所述的基于深度网络的指示灯状态识别方法，其特征是步骤2)中，调整先验框是使用K均值聚类算法K-means，步骤包括：
2.1)设k值，k值表示聚类后的数据集分为k个集合；
2.2)确定质心：在数据集中任意设定k个点，作为最初的质心；
2.3)划分集合：数据集中每个点都计算这个点与各个质心的距离；算出距离后，与质心距离最近的点被划分到相应质心所述属于的集合中；
2.4)所有的数据点都被计算后，得到k个新的集合；随后再一次对每一个新的集合计算一遍质心的位置；
2.5)如果重新计算得出的质心与原质心距离与阈值差别较大，则要重复2.3)～2.4)步骤。
4.根据权利要求1所述的基于深度网络的指示灯状态识别方法，其特征是在RGB模式中，r表示红色、g表示绿色、b表示蓝色；在HSV模式中，定义色调H、饱和度S、明度V；
步骤4)中，转换方法为：
max＝Max(R，G，B)    (1)
min＝Min(R,G,B)    (2)
Figure FDA0004002957220000021
Figure FDA0004002957220000022
y＝max    (5)
对H、S、V分量进行了转化，转化公式如式(6)所示。
Figure FDA0004002957220000023
5.根据权利要求1所述的基于深度网络的指示灯状态识别方法，其特征是步骤5中，确定HSV分布为：
红色指示灯的H分量范围是156～180，S分量范围是43～255，V分量范围是225～255；
绿色指示灯的H分量范围是30～77，S分量范围是43～255，V分量范围是225～255；
黄色指示灯的H分量范围是11～26，S分量范围是43～255，V分量范围是225～255。
6.根据权利要求1所述的基于深度网络的指示灯状态识别方法，其特征是步骤6中，利用指示灯圆心邻域的V值判断状态，如果V值值大于210，指示灯就是处在亮的状态，如果V值小于210时，指示灯就是处在灭的状态。
CN202211622368.2A 2022-12-16 2022-12-16 基于深度网络的指示灯状态识别方法 Pending CN116052041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211622368.2A CN116052041A (zh) 2022-12-16 2022-12-16 基于深度网络的指示灯状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211622368.2A CN116052041A (zh) 2022-12-16 2022-12-16 基于深度网络的指示灯状态识别方法

Publications (1)

Publication Number Publication Date
CN116052041A true CN116052041A (zh) 2023-05-02

Family

ID=86130485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211622368.2A Pending CN116052041A (zh) 2022-12-16 2022-12-16 基于深度网络的指示灯状态识别方法

Country Status (1)

Country Link
CN (1) CN116052041A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863333A (zh) * 2023-06-28 2023-10-10 深圳市名通科技股份有限公司 Fsu设备工作状态的ai智能检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863333A (zh) * 2023-06-28 2023-10-10 深圳市名通科技股份有限公司 Fsu设备工作状态的ai智能检测方法

Similar Documents

Publication Publication Date Title
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN105868722A (zh) 异常电力设备图像的识别方法及系统
CN101193317B (zh) 对图像进行自动白平衡处理的方法和装置
CN110675373B (zh) 一种组件安装检测方法、装置和系统
CN109118548A (zh) 一种综合智能水质识别方法
CN104700424B (zh) 医用彩色电子内窥镜图像坏点检测装置
CN107392116A (zh) 一种指示灯识别方法和系统
CN108268832A (zh) 电力作业监测方法、装置、存储介质和计算机设备
CN105894015B (zh) 一种道闸状态分析方法和系统
WO2018010386A1 (zh) 元件反件检测方法和系统
CN107341806A (zh) 基于颜色及形状特征的室内指示灯检测及状态判别方法
CN116052041A (zh) 基于深度网络的指示灯状态识别方法
CN111127810A (zh) 机房明火自动告警方法及系统
CN111950654B (zh) 基于svm分类的魔方色块颜色还原方法
CN110009609B (zh) 一种快速检测黄粒米的方法
CN112036391B (zh) 一种基于页岩气田生产站场的电子巡检方法及系统
CN113033548A (zh) 用于机组运行状态判断及监控对点的图像识别方法
CN116297199B (zh) 一种基于机器视觉自动检测锂电池参数的检测系统
CN114926661B (zh) 一种纺织品表面颜色数据处理、识别方法及系统
CN111160080A (zh) 一种基于图像识别的汽车外观一致性检测智能系统
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN112200200B (zh) 一种led灯光颜色检测方法
CN211585159U (zh) 一种投掷设备
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN112036392B (zh) 一种页岩气田生产场站ups指示灯状态的自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination