CN107590499A - 一种基于视频的设备led指示灯状态监测方法及系统 - Google Patents

Abstract

本发明提供一种基于视频的设备LED指示灯状态监测方法及系统，包括：获取设备LED指示灯所在背板的图像数据；根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；计算分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；检测分离得到的LED指示灯的工作状态，将检测所得信息与设备正常工作的信息比对，判断设备是否正常工作。本发明可以用于对机房设备的监控，克服了人工巡检效率和准确率低的问题，以及基于图像检测技术中因光照条件等环境因素或其他因素在LED色彩空间特征的变化较大而导致提取效果差的问题。

Description

一种基于视频的设备LED指示灯状态监测方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种可以应用在机房的基于视频的设备LED指示灯状态监测方法及系统。

背景技术

机房内设备上的LED指示灯往往反映设备的工作状态。为保证机房内设备的正常运行，通常采用人工巡查的方式，对设备上LED指示灯的颜色、亮度变化，如亮/灭、或闪烁，等情况逐一检查。人工巡查的方式主要存在以下几种缺点：

1.机房内机柜数量巨大，机柜内设备的种类繁多，人工巡查的方式耗时耗力；

2.设备背板上LED指示灯数量较多，且不同设备背板上的LED指示灯尺寸大小不一、颜色亮度不一、闪烁方式不一、频率快慢不一，给巡查人员带来巨大困难，且当LED指示灯本身闪烁频率较高时，人眼较难分辨设备是否正常工作，人工巡查的方式容易出现错误与疏漏。

随着图像处理技术的发展，对交通信号灯、LED灯等一类指示灯的检测和提取技术也不断丰富起来。运用图像处理技术，通过对设备背板上LED指示灯进行信息的提取和状态变化的检测，进而分析设备的工作状态，避免了人工巡查耗时费力的缺点，是实现机房和计算中心设备自动检测一条有效途径。

当前，基于图像检测LED指示灯最常见、最普遍的方法是通过LED指示灯与设备背板其他区域在色彩空间的特征差异，设置阈值对LED指示灯进行提取。此种方法存在以下几种缺点：

1.不同设备上的LED指示灯颜色、亮度具有差异，在色彩空间中所表现的特征也各不相同，因此需要对每一设备设置各不相同的阈值，繁琐复杂；

2.仅通过色彩空间特征对LED指示灯进行提取，往往错检率较高，特别是在设备背板上有颜色与LED指示灯十分接近且存在反光的对象，背板局域在颜色和亮度方面有较大可能符合LED指示灯特征，造成错检，检测准确率得不到保证；

3.LED指示灯在色彩空间的特征不稳定，容易受到周围环境的影响，特别是机房内照明灯或其他光线的影响，使得在光照亮度大、小的不同环境中，LED指示灯在色彩空间的特征变化较大，影响LED灯的识别。

发明内容

本发明的目的在于提供一种基于视频的设备LED指示灯状态监测方法及系统，本发明可以用于对机房设备的监控，克服了人工巡检效率和准确率低的问题，以及基于图像检测技术中因光照条件等环境因素或其他因素在LED色彩空间特征的变化较大而导致提取效果差的问题。

为了实现上述目的，其技术解决方案为：

一种设备LED指示灯监测方法，包括以下步骤：

步骤1：获取设备LED指示灯所在背板的图像数据；

步骤2：根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

步骤3：计算步骤2分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；

步骤4：检测步骤3分离得到的LED指示灯的工作状态。

在上述的设备LED指示灯监测方法，在所述步骤2中，通过在RGB空间设置自适应阈值的方法进一步去除从设备背板中分离出来的可能的LED指示灯区域的背景部分。

在上述的设备LED指示灯监测方法，所述形状特征为面积与周长比。

在上述的设备LED指示灯监测方法，在所述步骤4中，将提取的LED指示灯图像按时间顺序依次配准，同一LED指示灯调整到相同的坐标位置，检测LED指示灯的状态，并与设备正常工作时LED指示灯的状态进行比对，判断设备是否正常工作。

一种设备LED指示灯监测系统，包括设备状态检测模块，所述设备状态检测模块包括：

图像获取模块，获取设备LED指示灯所在背板的图像数据；

第一提取模块，用于根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

第二提取模块，计算第一提取模块分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；

检测模块，用于检测第二提取模块分离得到的LED指示灯的工作状态。

在上述的设备LED指示灯监测系统，第一提取模块通过在RGB空间设置自适应阈值进一步去除从设备背板中分离出来的可能的LED指示灯区域的背景部分。

在上述的设备LED指示灯监测系统，所述形状特征为面积与周长比。

在上述的设备LED指示灯监测系统，还包括文件管理模块，用于管理用户上传的视频文件，保存历史检测结果文件和检测日志。

在上述的设备LED指示灯监测系统，还包括信息数据库模块，所述信息数据库模块包括：

用户信息表，包含用户名、用户所上传的待检视频文件名、文件路径和相应的设备编号；

设备信息表，包含设备基本信息和设备LED指示灯信息；

文件信息表，包含文件对应的用户、待检视频解帧图像路径、检测结果图像路径、检测结果日志文件路径。

在上述的设备LED指示灯监测系统，还包括设备管理模块，所述设备管理模块包括：

设备注册模块，用于将设备基本信息和设备LED指示灯信息录入所述设备信息表作为设备正常工作的判断标准；

设备更新模块，用于更改信息或重新注册；

设备信息查询模块，用于根据用户名和/或设备编号在所述设备信息表中搜索设备信息数据，通过用户界面供用户查看。

本发明的优点是：

1、本发明对于获取设备上的LED指示灯的视频数据方式没有限制，可通过机房内的视频监控系统，也可用带摄像功能的移动终端设备，例如手机。

2、相比于传统的人工巡查方式，实现了机房设备工作状态的动态监控及异常设备的自动识别。

3、本发明利用色彩空间特征的统计分布和形状特征联合判决的方法提取LED指示灯信息。系统首先读取数据库中设备信息，将存在LED指示灯的区域划为可能前景区域，根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；然后，在分离结果中，计算每一区域的面积周长比，去除分离结果中面积周长比不符合LED指示灯形状特征的区域。将LED指示灯与设备背板分两步进行分离，能准确提取LED指示灯的数量、位置信息，有效避免了仅通过在色彩空间设置阈值提取LED指示灯的缺点，为提高LED灯的状态检测准确性奠定了基础。

4、本发明具有误报防范机制。利用视频丰富的信息，按照设备LED指示灯的闪烁频率将同一设备的图像序列分组，进行多次检测。当检测结果中设备疑似异常的检测结果次数高于一定比例时，判断该设备异常，从而对于LED指示灯的漏检具有一定容错性，提高了设备异常识别的准确率。

5、本发明建立了用户信息、设备信息与文件信息相互关联的数据库。用户信息表中存储用户个人信息、用户上传的视频文件路径以及对应的设备编号；设备信息表中存储了设备正常工作时的LED指示灯信息，包括数量、位置、状态，其中状态为常亮状态、或常灭状态、或闪烁状态，若为闪烁状态则需包括在一个检测周期内的闪烁次数；文件信息表存储视频文件路径、设备的图像数据路径、检测结果图像路径和检测日志路径。三者根据用户名与设备编号两个字段相互关联。同时，根据数据库中存储的设备信息，可以矫正部分误检，进一步提高检测准确率；比对检测结果与注册的设备正常工作时的LED信息，可以确定设备异常的形式，给出对应设备具体的异常报告。

附图说明

图1是本发明系统架构示意图；

图2是本发明系统各模块之间的关系与数据存储、流动示意图；

图3是本发明用户信息、设备信息与文件信息的数据结构示意图；

图4是本发明设备注册的流程图；

图5是本发明文件管理模块的功能流程图；

图6是本发明设备状态检测模块的工作流程图；

图7是本发明整体工作流程图。

图8是本发明LED指示灯信息的提取流程图；

图9是本发明LED指示灯状态变化的检测流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，一种设备LED指示灯监测系统，包括：信息数据库、设备管理模块、文件管理模块、设备状态检测和用户界面五大功能模块。

各模块功能如下：信息数据库包含用户信息表，设备信息表和文件信息表，是整个系统数据存储和流动的关键模块；设备管理模块用于设备注册、更新和设备信息查询；文件管理模块用于管理视频解帧图像、处理结果图像、检测结果与日志等文件；设备状态检测模块包含LED指示灯信息提取和LED指示灯状态变化检测两个子模块，是处理待检测视频，获得检测结果的核心模块；用户界面用于与用户进行信息交互。

各模块之间相互关系如附图2所示，信息数据库存储来自设备管理模块的设备信息、文件管理模块中的文件路径，向设备管理模块提供已注册的设备信息、以及向设备状态检测模块提供检测所需的设备信息；设备管理模块用于添加、更新和查询信息数据库中的设备信息；文件管理模块用于存储用户上传的视频，保存设备状态检测模块产生的处理结果；设备状态检测模块则通过读入文件管理模块中待检视频的解帧图像和设备信息表中的设备信息，提取设备背板上的LED指示灯信息，检测LED指示灯状态的变化，生成检测结果图像和日志；用户界面用于用户向文件管理模块上传待检视频，从设备管理模块中查看已注册的设备信息，以及查看检测结果和检测日志。

信息数据库包含用户信息表、设备信息表和文件信息表，其数据结构与关系如附图3所示。

设备信息数据包含设备基本信息和设备LED指示灯信息。设备基本信息包括：设备对应的用户名、设备所在机柜号、设备序号、和设备图像数据；设备LED信息包括：设备背板上LED指示灯的数量、坐标和状态，其中状态为常亮状态、或常灭状态、或闪烁状态，若为闪烁状态则需包括在一个检测周期内的闪烁次数，即闪烁频率。

用户信息数据包含：用户名、用户所上传的待检视频文件名、文件路径、设备序号、设备所在机柜编号。

文件信息表包含文件对应的用户、待检视频解帧图像路径、检测结果图像路径、检测结果日志文件路径。

设备管理模块的主要功能为对设备信息数据进行添加、更新和查询操作，对应有设备注册、设备更新和设备信息查询三个功能。

设备注册流程如附图4所示，首先设置设备所在的机柜号、设备序号；然后选择设备图像，勾选含有LED指示灯的区域；最后设置LED指示灯正常状态下的数量、位置，以及是否为常亮、或常灭，或闪烁的工作状态，若为闪烁设置闪烁频率。其中，LED指示灯的数量、位置可在人工勾选的LED指示灯区域内通过RGB空间色彩阈值的方法粗略获取，再由用户选择确定或是修改的半自动信息提取的方法获得。设备更新即选择一条待更新的设备信息记录，更改部分信息或重新注册；设备信息查询即根据用户名和所查询的机柜号、设备号在设备信息表中搜索设备信息数据，通过用户界面供用户查看。

通过设备管理模块进行设备注册，完成了将设备背板上LED指示灯信息录入设备信息数据表中的任务，即将LED指示灯的坐标、数量，以及每一LED指示灯的工作状态(常亮、或常灭、或闪烁频率)保存在设备信息数据表中，并将此信息作为设备正常的判断标准。在设备状态检测时，将LED指示灯信息的检测结果与该设备背板LED指示灯的注册信息对比，判断LED指示灯的位置、数量及在一个检测周期内工作状态是否发生变化，从而判断设备是否正常工作。

文件管理模块用于管理待检测的视频文件、解帧图像、检测结果的图像和检测日志，其功能流程图如附图5所示，主要用于管理用户上传的视频文件，保存历史检测结果文件和检测日志。用户可通过此模块上传新的待检测视频、查看历史检测结果，或删除已上传的视频、删除历史检测记录。

设备状态检测模块工作流程如附图6所示，主要包含LED指示灯信息的提取和LED指示灯状态变化的检测。

LED指示灯信息的提取目标是LED指示灯的数量、位置。

其中，LED指示灯信息的提取模块包括：

图像获取模块，获取设备LED指示灯所在背板的图像数据；

第一提取模块，用于根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

第二提取模块，计算第一提取模块分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯。

LED指示灯状态变化的检测模块，用于检测第二提取模块分离得到的LED指示灯的工作状态。

优选地，第一提取模块通过在RGB空间设置自适应阈值进一步去除从设备背板中分离出来的可能的LED指示灯区域的背景部分。

优选地，所述形状特征为面积与周长比。

如附图7所示，根据前述实施例提供的一种设备LED指示灯监测系统对LED指示灯进行监测的方法，包括以下步骤：

步骤1：获取设备LED指示灯所在背板的图像数据；

步骤2：根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

步骤3：计算步骤2分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；

步骤4：检测步骤3分离得到的LED指示灯的工作状态，将检测所得信息与设备注册时设备正常工作的信息比对，判断设备是否正常工作，根据检测结果形成检测报告，保存检测日志，并在设备异常时发出警告。

步骤1～3是为了提取LED指示灯的数量、位置信息，方法流程如附图8所示，首先读入待检测的图像，根据用户名、机柜号和设备序号，在设备信息表中获取该设备的图像数据，通过模板匹配的方法定位待检设备区域；然后读取数据库中设备背板上LED指示灯可能存在的区域坐标，设置为可能前景区域。然后，根据Carsten Rother等人提出的Grabcut方法，从视频中提取指示灯信息，具体执行如下步骤：

①定义类别变量α_n，若图像第i个像素属于可能前景区域，则α_i＝1否则α_i＝0；

②为每一个像素分配一个GMM(高斯混合模型)成分：

D_n(α_n,k_n,θ,z_n)＝-logp(z_n|α_n,k_n,θ)-logπ(α_n,k_n)

式中，k为潜在变量，k_j＝1表示像素属于第j个高斯成分；p(·)为高斯概率分布函数，π(·)为混合系数；θ＝{h(z；α),α＝0,1}为前、背景灰度直方图；z＝{z₁,z₂,...,z_N}，表示灰度值数组；

③根据像素值估计GMM模型参数：

④根据min cut计算分割方式：

其中：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

C表示邻域像素集合；dis(·)表示邻域像素的欧氏距离；当φ为真时，[φ]＝1，否则[φ]＝0；β常选为(2E(z_m-z_n)²)^-1(E(·)为期望值)。

重复①～④步，直到算法收敛。

根据以上步骤，可以得到通过Grabcut算法分割得到的LED指示灯区域。但Grabcut算法分割的有效性取决于LED指示灯与设备背板在边界处色彩空间特征分布的差异。少数情况下，若LED指示灯有较强的光晕，则LED指示灯周围的色彩分布与LED指示灯具有一定的连续性，分割结果并不理想。为了进一步提高LED指示灯区域提取的准确性，本发明中通过在RGB空间设置自适应阈值的方法，进一步去除通过Grabcut方法分割出的背景部分，将处理结果作为LED指示灯的初步提取结果。

接下来，对上一步的提取结果的每一个区域，计算该区域的面积，去除面积过大的非LED指示灯区域和面积极小的噪声区域；计算该区域的面积周长比：

metric＝4·π·area/perimeter²

由于LED指示灯大多为圆形或近似圆形，因此根据上式计算获得的面积周长比应接近1。通过设置面积周长比的阈值，根据对象的形状特征去除符合色彩特征，但不是LED指示灯的区域。

步骤4的目标是分析分离得到的LED指示灯的工作状态，进而判断设备工作状态是否变化，方法流程如附图9所示。首先将LED指示灯的提取结果图像按时间顺序依次配准，将同一LED指示灯调整到相同的坐标位置，然后检测LED指示灯的状态，并与设备正常工作时LED指示灯的状态进行比对，判断设备是否正常工作。

其中，LED状态包括常亮、或常灭、或闪烁三种方式，检测方式如下：若在前一帧图像中某一位置处检测到LED指示灯，而在其后一帧的相同位置没有检测到LED指示灯，则记该处LED灯熄灭一次；反之，若在第一帧图像中某一位置未检测到LED指示灯，而在其后一帧的相同位置检测到LED指示灯，则记该处LED灯变亮一次；若在连续几帧中的同一位置都检测到LED指示灯，则记该处LED指示灯常亮；若在连续几帧中的同一位置都没检测到LED指示灯，则记该处LED指示灯常灭；统计一个检测周期内LED指示灯熄灭或变亮的次数，判断该LED指示灯是常亮、常灭，或是以怎样的频率闪烁，然后与设备信息表中正常工作的LED指示灯的注册信息对比。若信息匹配，即LED指示灯坐标、数量、工作状态(常亮、或亮灭、或在一个检测周期内闪烁次数)均一致，则判断该设备上LED指示灯正常，否则判为异常，并保存检测结果。

本发明的创新之处在于：

1、色彩空间特征的统计分布和形状特征联合判决提取LED指示灯信息。基于LED指示灯与背景在色彩空间特征的分布不同，联合Grabcut算法和RGB空间阈值两种分割方式以及对象面积、面积周长比的形状特征在图像中提取LED指示灯，从而避免了仅仅通过色彩空间阈值的方式来提取LED指示灯时，不同设备类型上LED指示灯提取的阈值不同的问题；同时也避免了LED指示灯因光照条件等环境因素或其他因素在色彩空间特征的变化较大而导致提取效果差的问题。形状特征的加入减少了设备背板上颜色和亮度与LED指示灯接近的一些对象的干扰，提高了检测的准确率。

2、基于图像配准技术的LED指示灯状态变化的检测方法。常见的设备监控方法往往对设备拍摄一组相互独立图像，检测图像中LED指示灯为亮或灭，颜色如何。而本发明利用视频丰富的信息，对设备的一组连续图像进行处理，通过配准的方式检测同一位置的LED指示灯在连续几帧内的变化情况，能够对闪烁中的LED指示灯进行检测和判断，可以检测出变化特征包括：闪烁频率是否变化、是否由闪烁变为常亮或不亮、是否由常亮或不亮变为闪烁。本发明的方法应用范围更广。

Claims (10)

1.一种设备LED指示灯监测方法，其特征在于，包括以下步骤：

步骤1：获取设备LED指示灯所在背板的图像数据；

步骤2：根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

步骤3：计算步骤2分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；

步骤4：检测步骤3分离得到的LED指示灯的工作状态。

2.根据权利要求1所述的设备LED指示灯监测方法，其特征在于，在所述步骤2中，通过在RGB空间设置自适应阈值的方法进一步去除从设备背板中分离出来的可能的LED指示灯区域的背景部分。

3.根据权利要求1或2所述的设备LED指示灯监测方法，其特征在于，所述形状特征为面积与周长比。

4.根据权利要求1所述的设备LED指示灯监测方法，其特征在于，在所述步骤4中，将提取的LED指示灯图像按时间顺序依次配准，同一LED指示灯调整到相同的坐标位置，检测LED指示灯的状态，并与设备正常工作时LED指示灯的状态进行比对，判断设备是否正常工作。

5.一种设备LED指示灯监测系统，其特征在于，包括设备状态检测模块，所述设备状态检测模块包括：

图像获取模块，获取设备LED指示灯所在背板的图像数据；

第一提取模块，用于根据LED指示灯与设备背板在色彩空间特征的统计分布差异，将可能的LED指示灯区域从设备背板中分离出来；

第二提取模块，计算第一提取模块分离得到的区域的形状特征，去除分离结果中形状特征不符合LED指示灯形状特征的区域，将形状特征符合LED指示灯形状特征的区域作为待检测LED指示灯；

检测模块，用于检测第二提取模块分离得到的LED指示灯的工作状态。

6.根据权利要求5所述的设备LED指示灯监测系统，其特征在于，第一提取模块通过在RGB空间设置自适应阈值进一步去除从设备背板中分离出来的可能的LED指示灯区域的背景部分。

7.根据权利要求5或6所述的设备LED指示灯监测系统，其特征在于，所述形状特征为面积与周长比。

8.根据权利要求5所述的设备LED指示灯监测系统，其特征在于，还包括文件管理模块，用于管理用户上传的视频文件，保存历史检测结果文件和检测日志。

9.根据权利要求8所述的设备LED指示灯监测系统，其特征在于，还包括信息数据库模块，所述信息数据库模块包括：

用户信息表，包含用户名、用户所上传的待检视频文件名、文件路径和相应的设备编号；

设备信息表，包含设备基本信息和设备LED指示灯信息；

文件信息表，包含文件对应的用户、待检视频解帧图像路径、检测结果图像路径、检测结果日志文件路径。

10.根据权利要求9所述的设备LED指示灯监测系统，其特征在于，还包括设备管理模块，所述设备管理模块包括：

设备注册模块，用于将设备基本信息和设备LED指示灯信息录入所述设备信息表作为设备正常工作的判断标准；

设备更新模块，用于更改信息或重新注册；

设备信息查询模块，用于根据用户名和/或设备编号在所述设备信息表中搜索设备信息数据，通过用户界面供用户查看。