CN114821194B - 一种设备运行状态识别方法及装置 - Google Patents

一种设备运行状态识别方法及装置 Download PDF

Info

Publication number
CN114821194B
CN114821194B CN202210596763.1A CN202210596763A CN114821194B CN 114821194 B CN114821194 B CN 114821194B CN 202210596763 A CN202210596763 A CN 202210596763A CN 114821194 B CN114821194 B CN 114821194B
Authority
CN
China
Prior art keywords
image
indicator
generate
indicator lamp
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210596763.1A
Other languages
English (en)
Other versions
CN114821194A (zh
Inventor
杨涛
彭保
陈宇琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keyong Software Co ltd
Original Assignee
Shenzhen Keyong Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keyong Software Co ltd filed Critical Shenzhen Keyong Software Co ltd
Priority to CN202210596763.1A priority Critical patent/CN114821194B/zh
Publication of CN114821194A publication Critical patent/CN114821194A/zh
Application granted granted Critical
Publication of CN114821194B publication Critical patent/CN114821194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种设备运行状态识别方法及装置，通过获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。通过摄像头采集图像，将图像进行合理且高效的预处理，对图像进行细致优化，使得定位与识别时卷积神经网络的负担更小，定位与识别的速度更快。

Description

一种设备运行状态识别方法及装置
技术领域
本发明涉及图像识别领域，具体涉及一种设备运行状态识别方法及装置。
背景技术
随着时代发展，智能识别越来越成为社会的主流，如刷脸支付、指纹解锁和机器判卷等都得到了普及，同时设备运行状态识别与分析也逐渐接轨，越来越多的指示灯颜色识别、指示灯闪烁快慢识别和指示灯组合识别在一些设备识别里出现，这使得工作人员的工作效率提高的也使设备的运行更加安全可靠。同时厂商为了使设备在市场上更加具有竞争力，往往设备会增加更多的功能，来满足客户的要求，这就使得设备拥有了更多的运行状态，即拥有更多的指示灯来表明设备所处运行状态，因此指示灯的识别也更具复杂性。
但是传统的设备运行状态的识别与分析的速度慢、准确率低和工作量大。传统的设备运行状态的识别与分析往往是通过工作人员或者机器人进行图像采集，缺少对图像进行直接识别与分析的方法及系统，工作人员在工作期间容易对重复性工作产生疲倦，难于时刻保持警惕，因此对设备运行状态识别与分析容易出现错误的判断，并且日常监测的工作量大，需要对设备逐一排查运行状态，进一步消耗了工作人员的精力，降低工作效率。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种设备运行状态识别方法及装置，包括：
一种设备运行状态识别方法，所述方法用于对含有指示灯的设备进行运行状态识别，其中，所述设备包括至少一个指示灯，包括：
获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；
依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；
依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
优选地，所述提取所述图像中对应于所述目标设备指示灯的融合特征图像的步骤，包括：
依据所述图像进行边缘检测生成边缘检测图像；
依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量。
优选地，所述依据所述图像进行边缘检测生成边缘检测图像的步骤，包括：
依据所述图像进行灰度化处理生成灰度图像；
依据所述灰度图像进行滤波生成滤波图像；
依据所述滤波图像进行锐化生成清晰图像；
依据所述清晰图像进行直方图均衡化生成增强图像；
依据所述增强图像中亮度变化明显的点生成边缘检测图像。
优选地，所述依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图的步骤，包括：
依据所述边缘检测图像按照预设像素进行滑窗生成滑窗图像集；
依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；
依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；
依据所述轮廓特征图和所述颜色特征图进行融合生成每张滑窗图像相对应的融合特征图。
优选地，所述依据每张所述融合特征图含有指示灯的概率生成指示灯图像集的步骤，包括：
将所述融合特征图输入全连接层进行分类生成全连接分类结果；
将所述融合特征图输入SVM分离器进行分类生成向量分类结果；
依据所述全连接分类结果和所述向量分类结果生成每张融合特征图相对应的含有指示灯的概率，并依据所述含有指示灯的概率生成指示灯图像集。
优选地，所述依据所述指示灯图像集进行分类确定目标设备的运行状态的步骤，包括：
将所述指示灯图像集中每张指示灯图像进行非极大值抑制运算生成每张指示灯图像相对应的置信度；
依据所述置信度生成预设像素指示灯图像集；其中，所述预设像素指示灯图像集为均不相同指示灯的预设像素指示灯图像；
依据所述预设像素指示灯图像集输入注意力机制神经网络生成特征向量；
依据所述特征向量生成所述目标设备的运行状态。
优选地，所述依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图的步骤，包括：
依据所述滑窗图像集中每张滑窗图像输入轮廓特征提取网络对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；其中，所述轮廓特征提取网络包括依次连接的1*1的卷积层、3*3的卷积层和多头注意力机制。
优选地，所述依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图的步骤，包括：
依据所述滑窗图像集中每张滑窗图像输入颜色特征提取网络对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；其中，所述颜色特征提取网络包括依次连接的第一7*7的卷积层、第二7*7的卷积层和多头注意力机制。
为实现本申请还包括一种设备运行状态识别装置，所述装置用于对含有指示灯的设备进行运行状态识别，其中，所述设备包括至少一个指示灯，包括：
融合特征图像提取模块，用于获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；
指示灯图像集生成模块，用于依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；
运行状态生成模块，用于依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
为实现本申请还包括一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的设备运行状态识别方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。通过摄像头采集图像，将图像进行合理且高效的预处理，对图像进行细致优化，使得定位与识别时卷积神经网络的负担更小，定位与识别的速度更快。本申请使用CNNL网络对预处理后的图像中的指示灯进行定位，CNNL网络使用了单层卷积层并融合了LSTM网络，使用非极大值抑制算法将滑窗法滑窗后留下的高重叠部分删除，以轻量的网络层和较少的数据量对指示灯进行定位，使得指示灯的定位速度更快。本发明的目的在于提高指示灯状态识别的准确率。本申请使用AMNS网络对指示灯状态进行识别，AMNS网络使用一个主分类器和两个辅助分类器并行的分类器实现对设备运行状态的识别。本申请主分类器采用并行的多尺度卷积方式进行特征提取并得到主分类结果，辅助分类器分别采用残差块和注意力机制的方式进行得到次分类结果，将主分类器和辅助分类器的指示灯识别结果融合对指示灯状态进行识别，使得指示灯状态识别的准确率更高。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种设备运行状态识别方法的步骤流程图；
图2是本申请一实施例提供的一种设备运行状态识别方法的数据集构造及训练流程图；
图3是本申请一实施例提供的一种设备运行状态识别方法CNNL网络示意图；
图4是本申请一实施例提供的一种设备运行状态识别方法的轮廓特征提取网络图；
图5是本申请一实施例提供的一种设备运行状态识别方法的颜色特征提取网络图；
图6是本申请一实施例提供的一种设备运行状态识别方法的AMNS注意力机制神经网络流程图；
图7是本申请一实施例提供的一种设备运行状态识别方法的摄像头采集原图；
图8是本申请一实施例提供的一种设备运行状态识别方法原图与灰度化后对比图；
图9是本申请一实施例提供的一种设备运行状态识别方法的原图与直方图均衡化后对比图；
图10是本申请一实施例提供的一种设备运行状态识别方法的原图与锐化后对比图；
图11是本申请一实施例提供的一种设备运行状态识别方法的定位结果图；
图12是本申请一实施例提供的一种设备运行状态识别方法的设备运行状态识别与分析方法及系统简要流程图；
图13是本申请一实施例提供的一种设备运行状态识别装置的结构框图；
图14是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的运用范围可以为智慧水务物联网设备，即对智慧水务物联网设备就行状态识别。
参照图1，示出了本申请一实施例提供的一种设备运行状态识别方法的步骤流程图，具体包括如下步骤：
S110、获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；
S120、依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；
S130、依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
下面，将对本示例性实施例中的设备运行状态识别方法作进一步地说明。
如上述步骤S110所述，获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色。
作为一种示例，获取目标设备的图像；其中，所述图像为目标设备的指示灯图像。
在一具体实施例中，采集设备图像，采用固定位置摄像机固定角度对设备进行图像拍摄，并将拍摄到的图像传输到一种设备运行状态识别装置上。
在本发明一实施例中，可以结合下列描述进一步说明步骤S110所述“提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色”的具体过程。
如下列步骤所述，依据所述图像进行边缘检测生成边缘检测图像；依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量。
在本发明一实施例中，可以结合下列描述进一步说明步骤所述“依据所述图像进行边缘检测生成边缘检测图像”的具体过程。
如下列步骤所述，依据所述图像进行灰度化处理生成灰度图像；依据所述灰度图像进行滤波生成滤波图像；依据所述滤波图像进行锐化生成清晰图像；依据所述清晰图像进行直方图均衡化生成增强图像；依据所述增强图像中亮度变化明显的点生成边缘检测图像。
在一具体实施例中，依据所述图像进行灰度化处理生成灰度图像；具体地，将图像灰度化可以加快定位速度，降低定位难度。由下列将RGB图像(光学三原色，R代表Red红色，G代表Green绿色，B代表Blue蓝色)中的R值、G值和B值经过处理后化为同一值，图像由三通道转化为单通道，数据处理更加简单快速。
Gray＝R*0.299+G*0.587+B*0.114
在一具体实施例中，依据所述灰度图像进行滤波生成滤波图像的具体步骤，如下：由于拍摄图像会有多余噪声影响计算机对指示灯的定位，利用滤波来去除噪声可以使图像各项特征更加平滑，减少系统对设备指示灯进行定位时的负担。相较于其他滤波方式，中值滤波是使用3*3的卷积核进行卷积的，然后采用9个像素值的中值来代替噪音，使得滤波后的图像更加平滑。
在一具体实施例中，依据所述滤波图像进行锐化生成清晰图像的具体步骤如下：由于摄像机拍摄时会由于不经意间的晃动或者其他原因导致拍摄的图像模糊，此时对拍摄图像进行锐化可将图像模糊部分变得清晰。相较于其他锐化方式，sobel锐化更有利于提取图像的边缘信息，利用3*3的sobel算子分别对图像的x方向和y方向进行卷积，dx(x,y)是对x方向的卷积，dy(x,y)是对y方向的卷积，最终得到锐化图像g(x,y)。
其中，
在一具体实施例中，依据所述清晰图像进行直方图均衡化生成增强图像的具体步骤如下：由于图像的色彩会存在差别，因此使用直方图均衡化可以使得图像灰度特征差距进一步拉大，使得指示灯的位置更加明显，增强对比度，使计算机在对指示灯进行定位时更容易分辨。
s＝T(r),0≤r≤L-1
其中，s为灰度值输出，r为灰度值输入，当r＝0时为黑色，r＝L-1时为白色，T(r)为灰度值变换函数，L为图像最大灰度与最小灰度之差。
在一具体实施例中，依据所述增强图像中亮度变化明显的点生成边缘检测图像的具体步骤如下：边缘检测，拉普拉斯边缘检测容易受噪音干扰，但是相比于其他边缘检测方法具有更好的效果，而进行滤波时进行了噪音去除，故可使用拉普拉斯算子，利用3*3的卷积核进行卷积来完成边缘检测。拉普拉斯算子
在本发明一实施例中，可以结合下列描述进一步说明步骤所述“依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量”的具体过程。
如下列步骤所述，依据所述边缘检测图像按照预设像素进行滑窗生成滑窗图像集；依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；依据所述轮廓特征图和所述颜色特征图进行融合生成每张滑窗图像相对应的融合特征图。
在本发明一实施例中，可以结合下列描述进一步说明步骤所述“依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图”的具体过程。
如下列步骤所述，依据所述滑窗图像集中每张滑窗图像输入轮廓特征提取网络对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；其中，所述轮廓特征提取网络包括依次连接的1*1的卷积层、3*3的卷积层和多头注意力机制。
在本发明一实施例中，可以结合下列描述进一步说明步骤所述“依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图”的具体过程。
如下列步骤所述，依据所述滑窗图像集中每张滑窗图像输入颜色特征提取网络对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；其中，所述颜色特征提取网络包括依次连接的第一7*7的卷积层、第二7*7的卷积层和多头注意力机制。
作为一种示例，还包括训练所述轮廓特征提取网络的步骤，获取目标设备的训练图像，依据所述训练图像进行灰度化处理生成训练灰度图像；依据所述训练灰度图像进行滤波生成训练滤波图像；依据所述训练滤波图像进行锐化生成训练清晰图像；依据所述训练清晰图像进行直方图均衡化生成训练增强图像；依据所述训练增强图像中亮度变化明显的点生成训练边缘检测图像。
作为一种示例，将预处理后的训练边缘检测图像用作CNNL卷积神经网络训练的数据集。CNNL用作为分类器用于判断该图像是否包含指示灯。基于上诉构造的数据集对CNNL卷积神经网络进行训练，取3500张为训练集，1500张用于测试训练模型，训练集：测试集为7：3。具体如图2所示。
在一具体实施例中，对图像指示灯进行定位-使用滑窗法对预处理后的图像中的指示灯进行检测定位，使用的是滑窗法，若窗口内不包含指示灯时会将此窗口删除，反之保留。摄像机拍摄图像像素点为500*500，指示灯大小在图像中所占像素点约为50*50，为了不易丢失图像特征，故选用70*70的窗口对预处理后的图像进行滑窗(从左到右，从上到下)，每次滑窗都使用分类器对窗口进行分类，判断该窗口是否存在指示灯。分类器由训练好的CNNL卷积神经网络进行特征提取，最后将提取得到的特征通过全连接层和SVM(SupportVector Machine，支持向量机)分类器分别进行分类，最后通过两个分类结果进行结合，当两个分类结果判断该图像为有指示灯的图像的概率大于0.5时，则判断该图像为有指示灯的图像，否则为不包含指示灯的图像。具体如图3所示。
在一具体实施例中，CNNL由轮廓特征提取网络、颜色特征提取网络组成，由于包含指示灯的图像的轮廓和颜色与不包含指示灯的图像不同，因此我们设置了轮廓特征提取网络和颜色特征提取网络来提取图像的特征。轮廓特征提取网络由1*1的卷积层、3*3的卷积层和多头注意力机制组成。当卷积核较小时，卷积层对图像进行卷积时更能提取到图像的边缘和轮廓特征，因此先使用1*1的卷积层对图像的特征进行卷积，得到较精细的轮廓特征，再通过3*3的卷积层对图像进行卷积，减少特征数量，增快网络的运行速度，而最后的多头注意力机制的添加使得网络在学习时，更注意当前像素点中左右像素点的轮廓特征关系。具体如图4所示。
在一具体实施例中，颜色特征提取网络由两个7*7的卷积和多头注意力机制组成。当卷积层中卷积核较小时，网络偏向于学习图像中的边缘特征，因此，我们使用了较大的7*7的卷积核，使得网络在学习的过程中，减少对轮廓特征的学习，增强对图像中颜色特征的学习。而网络中多头注意力机制的添加使得网络能够将像素点中的相邻像素点的颜色特征关系进行联系，而不单单只是注意当前像素点的学习，使得提取的特征更具有鲁棒性。具体如图5所示。
在一具体实施例中，本申请将CNN和LSTM进行网络融合提出CNNL，并用于对预处理后的图像中的指示灯进行定位。CNNL网络使用了单层卷积层并融合了LSTM网络，使得指示灯的定位速度更快。
如上述步骤S120所述，依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量与所述目标设备指示灯的数量相同。
在本发明一实施例中，可以结合下列描述进一步说明步骤S120所述“依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量与所述目标设备指示灯的数量相同”的具体过程。
如下列步骤所述，将所述融合特征图输入全连接层进行分类生成全连接分类结果；将所述融合特征图输入SVM分离器进行分类生成向量分类结果；依据所述全连接分类结果和所述向量分类结果生成每张融合特征图相对应的含有指示灯的概率，并依据所述含有指示灯的概率生成指示灯图像集。
在一具体实施例中，将图像输入CNNL网络之后将提取得到的轮廓和颜色特征进行融合，并输入全连接层和SVM分类器进行分类，最后对两个结果进行判断得到最终的结果，具体如图3所示。
在一具体实施例中，最后将提取得到的特征通过全连接层和SVM(Support VectorMachine，支持向量机)分类器分别进行分类，最后通过两个分类结果进行结合，当两个分类结果判断该图像为有指示灯的图像的概率大于0.5时，则判断该图像为有指示灯的图像，否则为不包含指示灯的图像。
如上述步骤S130所述，依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
在本发明一实施例中，可以结合下列描述进一步说明步骤S130所述“依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障”的具体过程。
如下列步骤所述，将所述指示灯图像集中每张指示灯图像进行非极大值抑制运算生成每张指示灯图像相对应的置信度；依据所述置信度生成预设像素指示灯图像集；其中，所述预设像素指示灯图像集为均不相同指示灯的预设像素指示灯图像；依据所述预设像素指示灯图像集输入注意力机制神经网络生成特征向量；依据所述特征向量生成所述目标设备的运行状态。
作为一种示例，所述预设像素指示灯图像集中的图像数量与所述目标设备指示灯的数量相同。
在一具体实施例中，对图像指示灯进行定位-由于上述中使用滑窗法得到的包含指示灯的70*70的图像有很多，并且这些图像存在重叠部分，而使用非极大值抑制算法则会对这些高重叠部分的删除，将上述得到的包含指示灯的70*70的图像，使用非极大值抑制算法进行筛选。其中，非极大值抑制算法是通过保留置信度最高的图像，然后算出置信度最高的图像与其他图像的IOU值(即两个图像相交部分/两个图像相并部分)，IOU(Intersectionover Union是一种测量在特定数据集中检测相应物体准确度的一个标准)值越大说明相交区域越大，当IOU值超过设定阈值时删除图像，反之则保留，保留下来的图像再次选取置信度最高的图像，使得最终每张最初的500*500的图像通过筛选得到3张没有重叠的包含指示灯的70*70的图像。
在一具体实施例中，本申请的目标设备为三个指示灯，因此需要将图像的三个指示灯的位置分别找出来进行识别，所以最后会将原图，原图包含3个指示灯，进行裁剪得到三张分别包含不同指示灯的图像，每张图像只有1个指示灯。
作为一种示例，还包括对AMNS注意力机制神经网络进行训练，将按照预设像素指示灯图像集同样的方式获得训练预设像素指示灯图像集。即获得像素大小为70*70的训练预设像素指示灯图像构建数据集，训练集：测试集为7:3，具体如图2的方式相同，在此不再重复赘述。
在一具体实施例中，识别图像-将图像按设备运行状态模板进行分类。AMNS(Attention Mechanisms)注意力机制神经网络由A图像初步处理模块、B残差块辅助分类器模块、C主分类模块和D注意力模型辅助分类器模块组成，将图像信息在A模块进行初步处理，然后将处理后的图像信息分别传输到B模块、C模块和D模块，由B模块、C模块和D模块的全连接层分别对图像信息进行分类(如图4)。其中A模块由一个3*3的卷积层A1提取图像粗特征和一个3*3的最大池化层A2进行下采样，提高图像的处理速度，为B、C和D模块提供图像信息；B模块为残差块辅助分类器，由一个3*3的卷积层B1和全连接层组成，将A2的输出的与B1输出的图像特征拼接成输入全连接层进行分类，其中，平均池化层能够对特征图进行缩小提高网络的运行速度，而将图像进行拼接则能够避免网络训练时梯度消失的问题；C模块由一个1*1的卷积层C1进行特征的提取，为卷积层C2，卷积层C4提供图像信息，C2，C4卷积后将图像信息分别传输到卷积层C3，卷积层C5，然后由C3，C5组合输出全连接层进行分类，其中C2，C3是由3*3的卷积层拆分而成，C4，C5是由5*5的卷积层拆分而成，通过拆分卷积的方式可以减少数据量的同时还可以使卷积效果更好，可处理更丰富且复杂的图像特征，卷积核越小，提取图像特征越细致，C模块通过不同卷积核的大小进行并行卷积的方式，得到图像不同大小的特征。输入D模块的图像特征首先经过1*1的卷积层D1生成注意力图，然后将需要投入注意力的图像信息映射在A2输出的特征图上，最终通过全连接层进行分类，其中，采用注意力机制可以对图像中的指示灯位置聚焦，增强指示灯位置的影响程度。具体如图6所示。
在一具体实施例中，识别图像-全连接层输出分类结果，即设备运行状态。将上诉三个全连接层分别获得的100维特征向量组合提取图像特征，分别输出3维特征向量，然后对三组分类结果进行组合分类最终输出分类结果。其中，100维特征向量是为了能有足够的图像特征让卷积神经网络对图像进行分类，且为了提高识别速度，将其在不丢失图像信息的条件下将其压缩为3维特征向量得到分类结果，判断设备运行状态。
在一具体实施例中，本申请提出AMNS网络用于识别指示灯状态。AMNS网络使用一个主分类器和两个辅助分类器并行的分类器实现对设备运行状态的识别，将主分类器和辅助分类器的指示灯识别结果融合对指示灯状态进行识别，使得指示灯状态识别的准确率更高。
在一具体实施例中，通过12个步骤实现本申请，具体如图12所示，步骤1为监控设备指示灯状态的摄像头部分
步骤1：在设备指示灯前方固定位置，固定角度放置摄像头，监控指示灯状态。
(步骤2为图像采集部分)
步骤2：摄像头采集设备指示灯状态的图像，并输入到设备运行状态的识别与分析的系统中，具体实施例如图7所示。
(步骤3-步骤8为对图像预处理部分)
步骤3：监控设备的摄像头与具有深度学习算法功能的计算机相连接，进行定位与识别。
步骤4：计算机接收到图像后，使用平均值法对RGB三通道图像进行灰度化，转化为单通道图像，具体实施例如图8所示。
步骤5：对灰度图像进行滤波，滤波方式采用中值滤波，使灰度化后的图像更加平滑。
步骤6：使用直方图均衡化，增强图像对比度，具体实施例如图9所示。
步骤7：使用sobel算子对图像进行sobel锐化，使图像变得更加清晰，边缘信息更加明显，具体实施例如图10所示。
步骤8：使用拉普拉斯算子对图像进行拉普拉斯边缘检测，对图像亮度变化明显处进行标识，有利于对指示灯定位。
(步骤9-步骤11为对图像定位部分)
步骤9：对完成上诉预处理后500*500的图像使用滑窗法提取得到70*70的包含指示灯的图像。
步骤10：使用CNNL卷积神经网络对步骤9提取的70*70的图像进行分类，具体实施例如图11所示。
步骤11：使用非极大值抑制算法络对步骤10分类的70*70的图像进行筛选，得到最终包含了指示灯的70*70的图像。
(步骤12为设备运行状态部分，即识别部分)
步骤12：使用AMNS注意力机制神经网络对步骤11筛选后的70*70图像进行分类，判断设备的运行状态。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图13，示出了本申请一实施例提供的一种设备运行状态识别装置，具体包括如下模块，
融合特征图像提取模块131：用于获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；
指示灯图像集生成模块132：用于依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；
运行状态生成模块133：用于依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
在本发明一实施例中，所述融合特征图像提取模块131包括：
边缘检测子模块：用于依据所述图像进行边缘检测生成边缘检测图像；
融合特征图子模块：用于依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量。
在本发明一实施例中，所述边缘检测子模块包括：
灰度图像子模块：用于依据所述图像进行灰度化处理生成灰度图像；
滤波图像子模块：用于依据所述灰度图像进行滤波生成滤波图像；
清晰图像子模块：用于依据所述滤波图像进行锐化生成清晰图像；
增强图像子模块：用于依据所述清晰图像进行直方图均衡化生成增强图像；
边缘检测图像子模块：用于依据所述增强图像中亮度变化明显的点生成边缘检测图像。
在本发明一实施例中，所述融合特征图子模块包括：
滑窗图像集子模块：用于依据所述边缘检测图像按照预设像素进行滑窗生成滑窗图像集；
轮廓特征图子模块：用于依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；
颜色特征图子模块：用于依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；
融合特征子模块：用于依据所述轮廓特征图和所述颜色特征图进行融合生成每张滑窗图像相对应的融合特征图。
在本发明一实施例中，所述轮廓特征图子模块包括：
每张滑窗的轮廓特征图生成子模块：用于依据所述滑窗图像集中每张滑窗图像输入轮廓特征提取网络对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；其中，所述轮廓特征提取网络包括依次连接的1*1的卷积层、3*3的卷积层和多头注意力机制。
在本发明一实施例中，所述颜色特征图子模块包括：
每张滑窗的颜色特征图生成子模块：用于依据所述滑窗图像集中每张滑窗图像输入颜色特征提取网络对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；其中，所述颜色特征提取网络包括依次连接的第一7*7的卷积层、第二7*7的卷积层和多头注意力机制。
在本发明一实施例中，所述指示灯图像集生成模块132包括：
全连接分类结果子模块：用于将所述融合特征图输入全连接层进行分类生成全连接分类结果；
向量分类结果子模块：用于将所述融合特征图输入SVM分离器进行分类生成向量分类结果；
概率子模块：用于依据所述全连接分类结果和所述向量分类结果生成每张融合特征图相对应的含有指示灯的概率，并依据所述含有指示灯的概率生成指示灯图像集。
在本发明一实施例中，所述运行状态生成模块133包括：
置信度子模块：用于将所述指示灯图像集中每张指示灯图像进行非极大值抑制运算生成每张指示灯图像相对应的置信度；
预设像素指示灯图像集子模块：用于依据所述置信度生成预设像素指示灯图像集；其中，所述预设像素指示灯图像集为均不相同指示灯的预设像素指示灯图像；
特征向量子模块：用于依据所述预设像素指示灯图像集输入注意力机制神经网络生成特征向量；
运行状态生成子模块：用于依据所述特征向量生成所述目标设备的运行状态。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
在本具体实施例与上述具体实施例中有重复的操作步骤，本具体实施例仅做简单描述，其余方案参考上述具体实施例描述即可。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图14，示出了本申请的一种设备运行状态识别方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，内存28，连接不同系统组件(包括内存28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、音视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
内存28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图14中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过I/O接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图14所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图14中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在内存28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种设备运行状态识别方法。
也即，上述处理单元16执行上述程序时实现：获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
在本申请实施例中，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的一种设备运行状态识别方法。
也即，给程序被处理器执行时实现：获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到操作人员计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种设备运行状态识别方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种设备运行状态识别方法，所述方法用于对含有指示灯的设备进行运行状态识别，其中，所述设备包括至少一个指示灯，其特征在于，包括：
获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；具体的，依据所述图像进行边缘检测生成边缘检测图像；依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量；具体的，依据所述图像进行灰度化处理生成灰度图像；依据所述灰度图像进行滤波生成滤波图像；依据所述滤波图像进行锐化生成清晰图像；依据所述清晰图像进行直方图均衡化生成增强图像；依据所述增强图像中亮度变化明显的点生成边缘检测图像；
依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；将所述融合特征图输入全连接层进行分类生成全连接分类结果；将所述融合特征图输入SVM分离器进行分类生成向量分类结果；依据所述全连接分类结果和所述向量分类结果生成每张融合特征图相对应的含有指示灯的概率，并依据所述含有指示灯的概率生成指示灯图像集；具体的，将图像输入CNNL网络之后将提取得到的轮廓和颜色特征进行融合，并输入全连接层和SVM分类器进行分类，最后对两个结果进行判断得到最终的结果，当两个分类结果判断该图像为有指示灯的图像的概率大于0.5时，则判断该图像为有指示灯的图像，否则为不包含指示灯的图像；
依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
2.根据权利要求1所述的设备运行状态识别方法，其特征在于，所述依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图的步骤，包括：
依据所述边缘检测图像按照预设像素进行滑窗生成滑窗图像集；
依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；
依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；
依据所述轮廓特征图和所述颜色特征图进行融合生成每张滑窗图像相对应的融合特征图。
3.根据权利要求1所述的设备运行状态识别方法，其特征在于，所述依据所述指示灯图像集进行分类确定目标设备的运行状态的步骤，包括：
将所述指示灯图像集中每张指示灯图像进行非极大值抑制运算生成每张指示灯图像相对应的置信度；
依据所述置信度生成预设像素指示灯图像集；其中，所述预设像素指示灯图像集为均不相同指示灯的预设像素指示灯图像；
依据所述预设像素指示灯图像集输入注意力机制神经网络生成特征向量；
依据所述特征向量生成所述目标设备的运行状态。
4.根据权利要求2所述的设备运行状态识别方法，其特征在于，所述依据所述滑窗图像集中每张滑窗图像对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图的步骤，包括：
依据所述滑窗图像集中每张滑窗图像输入轮廓特征提取网络对指示灯的轮廓进行特征提取生成每张滑窗的轮廓特征图；其中，所述轮廓特征提取网络包括依次连接的1*1的卷积层、3*3的卷积层和多头注意力机制。
5.根据权利要求2所述的设备运行状态识别方法，其特征在于，所述依据所述滑窗图像集中每张滑窗图像对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图的步骤，包括：
依据所述滑窗图像集中每张滑窗图像输入颜色特征提取网络对指示灯的颜色进行特征提取生成每张滑窗的颜色特征图；其中，所述颜色特征提取网络包括依次连接的第一7*7的卷积层、第二7*7的卷积层和多头注意力机制。
6.一种设备运行状态识别装置，所述装置用于对含有指示灯的设备进行运行状态识别，其中，所述设备包括至少一个指示灯，其特征在于，包括：
融合特征图像提取模块，用于获取目标设备的图像，并提取所述图像中对应于所述目标设备指示灯的融合特征图像；其中，所述融合特征图像包括所述目标设备指示灯的轮廓和颜色；具体的，依据所述图像进行边缘检测生成边缘检测图像；依据所述边缘检测图像中的指示灯进行轮廓和颜色的特征提取生成融合特征图；其中，所述融合特征图的数量大于或等于所述目标设备指示灯的数量；具体的，依据所述图像进行灰度化处理生成灰度图像；依据所述灰度图像进行滤波生成滤波图像；依据所述滤波图像进行锐化生成清晰图像；依据所述清晰图像进行直方图均衡化生成增强图像；依据所述增强图像中亮度变化明显的点生成边缘检测图像；
指示灯图像集生成模块，用于依据每张所述融合特征图含有指示灯的概率生成指示灯图像集；其中，所述指示灯图像集中的指示灯图像数量大于或等于所述目标设备指示灯的数量；将所述融合特征图输入全连接层进行分类生成全连接分类结果；将所述融合特征图输入SVM分离器进行分类生成向量分类结果；依据所述全连接分类结果和所述向量分类结果生成每张融合特征图相对应的含有指示灯的概率，并依据所述含有指示灯的概率生成指示灯图像集；具体的，将图像输入CNNL网络之后将提取得到的轮廓和颜色特征进行融合，并输入全连接层和SVM分类器进行分类，最后对两个结果进行判断得到最终的结果，当两个分类结果判断该图像为有指示灯的图像的概率大于0.5时，则判断该图像为有指示灯的图像，否则为不包含指示灯的图像；
运行状态生成模块，用于依据所述指示灯图像集进行分类确定目标设备的运行状态；其中，运行状态包括关机、正常运行及故障。
7.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的设备运行状态识别方法的步骤。
CN202210596763.1A 2022-05-30 2022-05-30 一种设备运行状态识别方法及装置 Active CN114821194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210596763.1A CN114821194B (zh) 2022-05-30 2022-05-30 一种设备运行状态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210596763.1A CN114821194B (zh) 2022-05-30 2022-05-30 一种设备运行状态识别方法及装置

Publications (2)

Publication Number Publication Date
CN114821194A CN114821194A (zh) 2022-07-29
CN114821194B true CN114821194B (zh) 2023-07-25

Family

ID=82519923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210596763.1A Active CN114821194B (zh) 2022-05-30 2022-05-30 一种设备运行状态识别方法及装置

Country Status (1)

Country Link
CN (1) CN114821194B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346034B (zh) * 2022-10-17 2023-03-24 山东德晟机器人股份有限公司 一种基于5g网络的机器人远程诊断与维护方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
WO2019232831A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
CN111259892A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种指示灯状态的巡检方法、装置、设备和介质
CN112926483A (zh) * 2021-03-11 2021-06-08 中国工商银行股份有限公司 标准机柜状态指示灯识别监测方法、装置和系统
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法
CN113409355A (zh) * 2021-05-13 2021-09-17 杭州电子科技大学 一种基于fpga的运动目标识别系统及方法
WO2021203618A1 (zh) * 2020-04-08 2021-10-14 浙江啄云智能科技有限公司 图像样本生成方法及系统、目标检测方法
CN113538392A (zh) * 2021-07-26 2021-10-22 长江存储科技有限责任公司 晶圆的检测方法、设备及存储介质
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统
CN113920057A (zh) * 2021-09-01 2022-01-11 宜通世纪物联网研究院(广州)有限公司 一种产品指示灯颜色的识别方法、装置及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536136B2 (en) * 2015-03-24 2017-01-03 Intel Corporation Multi-layer skin detection and fused hand pose matching
CN107392116A (zh) * 2017-06-30 2017-11-24 广州广电物业管理有限公司 一种指示灯识别方法和系统
CN107729948A (zh) * 2017-10-31 2018-02-23 京东方科技集团股份有限公司 图像处理方法及装置、计算机产品和存储介质
CN111178119A (zh) * 2018-11-13 2020-05-19 北京市商汤科技开发有限公司 路口状态检测方法、装置、电子设备及车辆
CN110069986B (zh) * 2019-03-13 2021-11-02 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN112149697A (zh) * 2019-06-27 2020-12-29 商汤集团有限公司 指示灯的指示信息识别方法及装置、电子设备和存储介质
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质
WO2021232387A1 (zh) * 2020-05-22 2021-11-25 南京云创大数据科技股份有限公司 一种多功能的智能信号控制系统
CN112364780A (zh) * 2020-11-11 2021-02-12 许继集团有限公司 一种指示灯状态识别方法
CN112712057B (zh) * 2021-01-13 2021-12-07 腾讯科技（深圳）有限公司 交通信号识别方法、装置、电子设备及存储介质
CN112560816A (zh) * 2021-02-20 2021-03-26 北京蒙帕信创科技有限公司 一种基于YOLOv4的设备指示灯识别方法及系统
CN112733815B (zh) * 2021-03-30 2021-08-17 广州赛特智能科技有限公司 一种基于rgb室外道路场景图像的红绿灯识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845510A (zh) * 2016-11-07 2017-06-13 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
WO2019232831A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
CN111259892A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种指示灯状态的巡检方法、装置、设备和介质
WO2021203618A1 (zh) * 2020-04-08 2021-10-14 浙江啄云智能科技有限公司 图像样本生成方法及系统、目标检测方法
CN112926483A (zh) * 2021-03-11 2021-06-08 中国工商银行股份有限公司 标准机柜状态指示灯识别监测方法、装置和系统
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法
CN113409355A (zh) * 2021-05-13 2021-09-17 杭州电子科技大学 一种基于fpga的运动目标识别系统及方法
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统
CN113538392A (zh) * 2021-07-26 2021-10-22 长江存储科技有限责任公司 晶圆的检测方法、设备及存储介质
CN113920057A (zh) * 2021-09-01 2022-01-11 宜通世纪物联网研究院(广州)有限公司 一种产品指示灯颜色的识别方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptive Contour Feature and Color Feature Fusion for Monocular Textureless 3D Object Tracking;Li, C等;《IEEE Access》;第30473 – 30482页 *
基于相片的变电站设备状态识别;《中国优秀硕士学位论文全文数据库 工程科技II辑》(第7期);第C042-493页 *

Also Published As

Publication number Publication date
CN114821194A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN114118124B (zh) 图像检测方法和装置
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
US9679354B2 (en) Duplicate check image resolution
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN112287875B (zh) 异常车牌识别方法、装置、设备及可读存储介质
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN105095835A (zh) 行人检测方法及系统
CN114821194B (zh) 一种设备运行状态识别方法及装置
CN115439395A (zh) 显示面板的缺陷检测方法、装置、存储介质及电子设备
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN114066862A (zh) 一种基于色域和轮廓特征的指示器识别方法及系统
CN116703925B (zh) 一种轴承缺陷检测方法、装置、电子设备及存储介质
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN111582057A (zh) 一种基于局部感受野的人脸验证方法
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN113903074B (zh) 一种眼睛属性分类方法、装置及存储介质
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统
CN114067186A (zh) 一种行人检测方法、装置、电子设备及存储介质
CN112052863A (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
Fang et al. Traffic sign detection based on co-training method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant