CN114581760A - 一种机房巡检的设备故障检测方法及系统 - Google Patents

Abstract

本发明公开了一种机房巡检的设备故障检测方法及系统，该设备故障检测方法包括：建立待巡检目标设备的设备模板；依据设备模板控制采集模块获取至少一组目标设备的图像数据；采用第一模型识别图像数据中的指示灯，第二模型提取图像数据中目标设备的轮廓边界；确定轮廓边界和设备模板外框的仿射关系，给出仿射参数；基于仿射参数将识别出的指示灯仿射变换到设备模板上，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明；根据指示灯标志说明，对目标设备存在的故障状态进行区域告警。本发明提出一种机房巡检的设备故障检测方法及系统，能够实现更细致的故障定位和告警。

Description

一种机房巡检的设备故障检测方法及系统

技术领域

本发明涉及智能运维应用领域，具体涉及一种机房巡检的设备故障检测方法及系统。

背景技术

在信息机房的巡检场景中，指示灯是用于指示设备运行状态的最显著特征之一。通常，以红灯表示故障、黄灯表示告警、绿灯表示正常和蓝灯表示运行，以颜色的显示为依据来判断设备是否发生故障。有研究通过图像采集装置和图像处理算法对信号灯的颜色进行解析，然后对设备的运行或故障状态进行判断，进而成为当下检测设备故障的一种重要方法。尤其是将这种方法配载到机器人巡检系统后，实现了自动、快速的指示灯状态检测和故障信息的及时反馈,为运维/安检人员的日常维保、以及严重故障的决策工作提供了关键的判断依据。

如专利CN112100039A采用一个指示灯检测模型对图像进行检测，并统计所拍摄图像范围或者检测框内的指示灯信息进行输出和告警。但是，这故障检测所实现的故障判断级别处于设备级别，即以图片/检测框为最小区分精度来告警，如：某某设备/检测框出现红灯/黄灯，判定该设备/检测块内出现了故障。这种方式对于设备所发生的具体故障类型或者故障区间的定位、判断，并不能满足。

因此，如何对设备的故障类型及故障区间进行智能识别，以实现更加精准细致的故障定位和告警是本领域技术人员亟待解决的问题。

发明内容

针对上述现有技术中存在的缺陷，本发明提供了一种机房巡检的设备故障检测方法及系统，能对设备的故障类型及故障区间进行智能识别，以实现更加精准细致的故障定位和告警，提升了机房巡检效率。

第一方面，本发明提供一种机房巡检的设备故障检测方法，包括：

建立待巡检目标设备的设备模板；

依据设备模板控制采集模块获取至少一组目标设备的图像数据，图像数据包括RGB图像和深度图像，RGB图像和深度图像配准，且像素点一一对应；

采用第一模型识别图像数据中的指示灯，第二模型提取图像数据中目标设备的轮廓边界；

确定轮廓边界和设备模板外框的仿射关系，给出仿射参数；

基于仿射参数将识别出的指示灯仿射变换到设备模板上，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明；

根据指示灯标志说明，对目标设备存在的故障状态进行区域告警。

进一步的，建立待巡检目标设备的设备模板，具体包括：

获得目标设备的模板图像，对模板图像进行标记，给出面板区域和面板边界；

对每个面板区域进行标记，划分出功能区域；

完成待巡检目标设备的设备模板的建立；

其中，划分出功能区域包括给出功能区域名称、功能区域边界及功能区域链接的指示灯标记说明。

进一步的，功能区域，包括电源区域、硬盘区域、网络区域以及自定义区域中的至少一种。

进一步的，依据设备模板控制采集模块获取至少一组目标设备的图像数据，具体包括：

通过设备模板确定目标设备的采集信息，其中，采集信息包括目标设备型号和采集位置；

根据采集信息调整采集模块至预定位置，获取至少一组目标设备的图像数据。

进一步的，采用第一模型识别图像数据中的指示灯，具体包括：

提取图像数据中的RGB图像；

将提取的RGB图像输入到预先训练完成的第一模型中，识别RGB图像中的指示灯；

给出至少三组指示灯边界点的像素位置，并获取指示灯的颜色信息；

其中，预先训练完成第一模型，具体包括：

采集多张包括指示灯的预训练图像，形成训练图像数据；

标注预训练图像中的指示灯颜色，生成与指示灯训练图像数据一一对应的颜色信息数据；

通过训练图像数据和颜色信息数据训练图像识别模型，生成第一模型。

进一步的，第二模型提取图像数据中目标设备的轮廓边界，具体包括：

提取图像数据中的深度通道，生成深度图像；

将深度图像转换为灰度图像，并对灰度图像进行处理，获取目标设备的轮廓图；

根据轮廓图给出最小矩形框，将最小矩形框作为目标设备的轮廓边界；

其中，将深度图像转换为灰度图像，并对灰度图进行处理，获取目标设备的轮廓图，具体包括：

根据采集模块的预定位置设置深度图像中像素点位置信息向灰度图像中颜色值转化的阈值，将像素点位置信息转化为颜色值；

梳理各个颜色值的数量和比重，比较颜色值与阈值，给出灰度图中目标设备区域颜色值范围；

获取目标设备的轮廓图。

进一步的，确定轮廓边界和设备模板外框的仿射关系，给出仿射参数，具体包括：

从设备模板中获取目标设备对应的设备模板外框；

建立目标设备的轮廓边界与设备模板外框的仿射关系，给出仿射参数A，具体为：

其中，a₁，b₁，c₁分别为轮廓边界中的任意三个角点，a₂，b₂，c₂分别为设备模板外框中与a₁，b₁，c₁对应的三个角点。

进一步的，将识别出的指示灯仿射变换到设备模板上，具体包括：

根据仿射参数A，以及指示灯边界点的像素位置进行仿射投影，具体为：

，其中

表示图像数据中指示灯边界点的像素位置；

表示模 板图像中仿射投影后的指示灯像素位置；

得到指示灯在模板图像中像素空间的新位置。

进一步的，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明，具体包括：

基于指示灯在模板图像中像素空间的新位置，依据新位置与功能区域的位置关系，计算指示灯与功能区域交集和并集的比值；

根据比值，匹配功能区域；

统计匹配后的各功能区域中指示灯的颜色信息和数量，链接指示灯标志说明。

第二方面，本发明还提供一种实现上述设备故障检测方法的系统，包括：

图像采集模块，被配置为采集由深度拍摄装置反馈的目标设备的图像数据；

图像处理模块，包括图像处理组件和设备模板组件，被配置为执行故障检测方法及程序；

显示模块，被配置为显示目标设备的图像信息和告警信息。

本发明提供的设备故障检测方法，至少包括如下有益效果：

通过对采集图像的指示灯和轮廓边界识别，并根据设备模板，可以达到设备区间级别的故障检测，从而实现更细致的故障告警，进一步提升巡检效率。

附图说明

图1为本发明提供的一种机房巡检的设备故障检测方法的流程图；

图2为本发明提供的某一实施例的建立设备模板的流程图；

图3为本发明提供的某一实施例的识别指示灯的流程图；

图4为本发明提供的某一实施例的训练第一模型的流程图；

图5为本发明提供的某一实施例的提取轮廓边界的流程图；

图6为本发明提供的某一实施例的获取轮廓图的流程图；

图7为本发明提供的某一实施例的确定仿射参数并匹配设备模板的流程图；

图8为本发明提供的一种实现设备故障检测方法的系统的示意图；

图9为本发明提供的某一实施例的系统的示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

参见图1所示，本实施提供一种机房巡检的设备故障检测方法，可以包括：

建立待巡检目标设备的设备模板；

依据设备模板控制采集模块获取至少一组目标设备的图像数据，图像数据包括RGB图像和深度图像，RGB图像和深度图像配准，且像素点一一对应；

采用第一模型识别图像数据中的指示灯，第二模型提取图像数据中目标设备的轮廓边界；

确定轮廓边界和设备模板外框的仿射关系，给出仿射参数；

基于仿射参数将识别出的指示灯仿射变换到设备模板上，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明；

根据指示灯标志说明，对目标设备存在的故障状态进行区域告警。

通过采集设备的RGB图像和深度图像，并根据第一模型和第二模型分别识别提取得到指示灯和轮廓边界；然后再根据预先建立的设备模板，可以完成指示灯所对应目标设备存在的故障状态进行告警，从而达到设备区间级别的故障检测，实现更细致的故障告警，进一步提升机房的巡检效率。

参见图2所示，建立待巡检目标设备的设备模板，具体可以包括：

获得目标设备的模板图像，对模板图像进行标记，给出面板区域和面板边界；

对每个面板区域进行标记，划分出功能区域；

完成待巡检目标设备的设备模板的建立；

其中，划分出功能区域包括给出功能区域名称、功能区域边界及功能区域链接的指示灯标记说明；对模板图像进行标记的标记内容包括设备名称、面板边界、面板区域名称、区域边界、指示灯标记说明。面板区域，包括电源区域、硬盘区域、网络区域、面板区域以及自定义区域的至少一种。

本实施例在建立设备模板后，依据设备模板控制采集模块获取至少一组目标设备的图像数据，具体可以包括：

通过设备模板确定目标设备的采集信息，其中，采集信息包括目标设备型号和采集位置；

根据采集信息调整采集模块至预定位置，获取至少一组目标设备的图像数据，其中，预定位置包括采集模块移动的高度、水平距离、和与目标设备之间的距离等信息。

本实施例中的RGB图为通常所说的图像，它由红(R)、绿(G)、蓝(B)三个颜色通道构成。深度图像采用Depth Map深度图，其是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

参见图3所示，本实施例在采集到机房的图像数据后，通过采用第一模型识别图像数据中的指示灯，其具体可以包括：

提取图像数据中的RGB图像；

将提取的RGB图像输入到预先训练完成的第一模型中，识别RGB图像中的指示灯；

给出至少三组指示灯边界点的像素位置，并获取指示灯的颜色信息；位置信息是检测得到的指示灯在图像上的像素位置，通常用矩形框（一组像素点）表示；颜色信息包括红、黄、蓝、绿以及一些自定义颜色。

通过第一模型完成对指示灯像素位置和颜色信息的获取，以保证后续将指示灯仿射变换到设备模板上。其中，参见图4所示，为了提高第一模型对图像数据的识别精准度，可以根据预先采集并进行标注结果的图像数据进行训练，该第一模型进行预先训练的方法可以具体包括：

采集多张包括指示灯的预训练图像，形成训练图像数据；

标注预训练图像中的指示灯颜色，生成与指示灯训练图像数据一一对应的颜色信息数据；

通过训练图像数据和颜色信息数据训练图像识别模型，生成第一模型，该第一模型为yolov5模型。

具体的，首先，采集N张指示灯图片构成指示灯数据，然后借助labelme或者labelImg工具进行标注，所标注对象的标签类别包括红灯、黄灯、蓝灯、绿灯以及其他自定义目标，生成由图片和标签一一对应的数据集，最后利用所标注的数据集训练生成指示灯检测模型（第一模型）；在检测时，当输入一张三通道的RGB图像时，该指示灯检测模型可以获取到图片上各个指示灯在图像上的位置和所属的标签类别。

对应的，参见图5所示，本实施例在采集到机房的图像数据后，还需要通过第二模型提取图像数据中目标设备的轮廓边界，其具体可以包括：

提取图像数据中的深度通道，生成深度图像；

将深度图像转换为灰度图像，并对灰度图像进行处理，获取目标设备的轮廓图；

根据轮廓图给出最小矩形框，将最小矩形框作为目标设备的轮廓边界；轮廓边界通常用一个矩形框表示。

其中，参见图6所示，将深度图像转换为灰度图像，并对灰度图进行处理，获取目标设备的轮廓图，具体包括：

根据采集模块的预定位置设置深度图像中像素点位置信息向灰度图像中颜色值转化的阈值，将像素点位置信息转化为颜色值；

梳理各个颜色值的数量和比重，比较颜色值与阈值，给出灰度图中目标设备区域颜色值范围；

获取目标设备的轮廓图。

在实际应用场景中，本实施例提取图像数据中目标设备的轮廓边界可以为：

首先，从包括RGB图像和深度图像的图像数据中，提取深度通道；其次，将深度图转换为灰度图进行处理；需要明确的是，灰度图的各个像素点取值为0-255，而深度图上每个像素点记录的是其与用于获取图像数据的相机之间的距离。这个距离通常是以毫米为单位，而获取图像数据的相机的量程通常在十几米左右，超过了255。因此，在进行转换时需要设置一个最大阈值。这个阈值，通常依据拍摄场景预先给定（与拍照的预置位点相关联），可取大于相机距离待检测设备的距离。再依次进行自适应转化和膨胀腐蚀、轮廓提取等操作，来获取待检测设备的轮廓图，最后，求取轮廓的最小矩形框，将此作为待检测设备的轮廓边界。

其中，灰度图像上点

的转化数值为

，像素值为

，

为 该点的动态阈值（最佳阈值）。

式中，

的求解采用如下流程：

计算灰度图像的直方图，计算出0 - 255 每个像素值所占的像素个数；

遍历阈值 0 - 255，小于或等于阈值的像素为背景，大于阈值的像素为前景；

计算背景像素个数所占总像素个数的比例、背景像素的平均值；

计算前景像素个数所占总像素个数的比例、前景像素的平均值；

计算类间方差或类内方差，当使类间方差最大或者使类内方差最小的阈值，即为最佳阈值；

之后，进行先膨胀后腐蚀操作，采用B和C分别表示两个图像块。则:

腐蚀操作表述为

；

膨胀操作表达为

；

则开运算可表达为

最后，进行轮廓提取，其中，一个轮廓对应一系列的点，提取过程就是找到这样的一系列点。

本实施采用第一模型识别指示灯，并采用第二模型提取轮廓边界后，在进行指示 灯的映射时，轮廓边界是指示灯映射的必要条件。在仿射过程，首先需要基于轮廓边界（由4 组点

构成）和对应的模板外框（也是4组点

），得到仿射参数A(可以描述 为检测图像空间到模板图像空间的映射关系)，然后将仿射参数A应用到指示灯（其位置也 可以用4组点

）仿射变换中，得到基于模板空间的指示灯（新位置，4组

）；上述4组点可理解为‘一个矩形框的四个角点’。在不同场景中可以采用选取轮廓边界和 模板外框中的3组点进行仿射变换。

在一个实际应用场景中，参见图7所示，通过确定轮廓边界和设备模板外框的仿射关系，给出仿射参数，其具体可以包括：

从设备模板中获取目标设备对应的设备模板外框；

建立目标设备的轮廓边界与设备模板外框的仿射关系，给出仿射参数A，具体为：

其中，a₁，b₁，c₁分别为轮廓边界中的任意三个角点，a₂，b₂，c₂分别为设备模板外框中与a₁，b₁，c₁对应的三个角点。

本实施例在得到仿射参数A后，将识别出的指示灯仿射变换到设备模板上，具体可以包括：

根据仿射参数A，以及指示灯边界点的像素位置进行仿射投影，具体为：

，其中

表示图像数据中指示灯边界点的像素位置；

表示模 板图像中仿射投影后的指示灯像素位置；

得到指示灯在模板图像中像素空间的新位置。

其中，轮廓边界是基于待检测目标设备的深度图像计算得到的；指示灯识别是基于该待检测目标设备的RGB图像计算得到的结果；这两者分别表示同一个待检测设备的轮廓和指示灯。

模板图像中像素空间的新位置匹配是基于变换后的各个指示灯位置关系，将指示灯与设备模板各区域进行匹配，判断各指示灯所归属的区域，并关联对应区间模板的指示灯标志说明。具体的，计算变换后的指示灯边框与设备模板中各区域边框的交集和并集的比值。当指示灯与模板某一区域的比值大于0时，则可判定指示灯属于该区域；反之，则不属于该区域。

本实施例匹配设备模板的设定区域后，进行关联该设定区域中的指示灯标志说明，其具体可以包括：

依据模板图像所划分的各个区域；

统计匹配后的指示灯的颜色信息和数量，再依据所关联指示灯标志说明进行故障判断。

参见图8所示，本实施例还提供一种实现上述设备故障检测方法的系统，包括：

图像采集模块，被配置为采集由深度拍摄装置反馈的目标设备的图像数据；

图像处理模块，包括图像处理组件和设备模板组件，被配置为执行故障检测方法及程序；

显示模块，被配置为显示目标设备的图像信息和告警信息。

其中，图像采集模块，是由一个或多个深度相机及辅助拍照控制电路组成。可采用的深度相机原理包括：①结构光(Structured-light)；②双目视觉(Stereo)；③光飞行时间法(TOF)。

参见图9所示，本实施例该系统还包括控制模块、机械模块、显示模块和设备模板库，控制模块控制图像采集模块执行拍照并将图像数据传回；控制图像处理模块执行故障检测；和控制显示模块展示告警信息。机械模块在物理上，它的末端连接着图像采集模块的相机，用于执行控制模块发出的指令，移动相机到待检测设备的拍照预置位点。具体的，机械模块是由可控制移动的机械、电器元件构成，可以是：伸降杆、云台或者机械臂。设备模板库用于存储已标注的设备模板数据。显示模块，用于显示待检测设备图像和告警信息。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种机房巡检的设备故障检测方法，其特征在于，包括：

建立待巡检目标设备的设备模板；

依据设备模板控制采集模块获取至少一组目标设备的图像数据，图像数据包括RGB图像和深度图像，RGB图像和深度图像配准，且像素点一一对应；

采用第一模型识别图像数据中的指示灯，第二模型提取图像数据中目标设备的轮廓边界；

确定轮廓边界和设备模板外框的仿射关系，给出仿射参数；

基于仿射参数将识别出的指示灯仿射变换到设备模板上，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明；

根据指示灯标志说明，对目标设备存在的故障状态进行区域告警。

2.如权利要求1所述的设备故障检测方法，其特征在于，建立待巡检目标设备的设备模板，具体包括：

获得目标设备的模板图像，对模板图像进行标记，给出面板区域和面板边界；

对每个面板区域进行标记，划分出功能区域；

完成待巡检目标设备的设备模板的建立；

其中，划分出功能区域包括给出功能区域名称、功能区域边界及功能区域链接的指示灯标记说明。

3.如权利要求2所述的设备故障检测方法，其特征在于，功能区域，包括电源区域、硬盘区域、网络区域以及自定义区域中的至少一种。

4.如权利要求1所述的设备故障检测方法，其特征在于，依据设备模板控制采集模块获取至少一组目标设备的图像数据，具体包括：

通过设备模板确定目标设备的采集信息，其中，采集信息包括目标设备型号和采集位置；

根据采集信息调整采集模块至预定位置，获取至少一组目标设备的图像数据。

5.如权利要求4所述的设备故障检测方法，其特征在于，采用第一模型识别图像数据中的指示灯，具体包括：

提取图像数据中的RGB图像；

将提取的RGB图像输入到预先训练完成的第一模型中，识别RGB图像中的指示灯；

给出至少三组指示灯边界点的像素位置，并获取指示灯的颜色信息；

其中，预先训练完成第一模型，具体包括：

采集多张包括指示灯的预训练图像，形成训练图像数据；

标注预训练图像中的指示灯颜色，生成与指示灯训练图像数据一一对应的颜色信息数据；

通过训练图像数据和颜色信息数据训练图像识别模型，生成第一模型。

6.如权利要求5所述的设备故障检测方法，其特征在于，第二模型提取图像数据中目标设备的轮廓边界，具体包括：

提取图像数据中的深度通道，生成深度图像；

将深度图像转换为灰度图像，并对灰度图像进行处理，获取目标设备的轮廓图；

根据轮廓图给出最小矩形框，将最小矩形框作为目标设备的轮廓边界；

其中，将深度图像转换为灰度图像，并对灰度图进行处理，获取目标设备的轮廓图，具体包括：

根据采集模块的预定位置设置深度图像中像素点位置信息向灰度图像中颜色值转化的阈值，将像素点位置信息转化为颜色值；

梳理各个颜色值的数量和比重，比较颜色值与阈值，给出灰度图中目标设备区域颜色值范围；

获取目标设备的轮廓图。

7.如权利要求6所述的设备故障检测方法，其特征在于，确定轮廓边界和设备模板外框的仿射关系，给出仿射参数，具体包括：

从设备模板中获取目标设备对应的设备模板外框；

建立目标设备的轮廓边界与设备模板外框的仿射关系，给出仿射参数A，具体为：

其中，a₁，b₁，c₁分别为轮廓边界中的任意三个角点，a₂，b₂，c₂分别为设备模板外框中与a₁，b₁，c₁对应的三个角点。

8.如权利要求7所述的设备故障检测方法，其特征在于，将识别出的指示灯仿射变换到设备模板上，具体包括：

根据仿射参数A，以及指示灯边界点的像素位置进行仿射投影，具体为：

，其中

表示图像数据中指示灯边界点的像素位置；

表示模 板图像中仿射投影后的指示灯像素位置；

得到指示灯在模板图像中像素空间的新位置。

9.如权利要求8所述的设备故障检测方法，其特征在于，匹配设备模板中的设定区域，并关联设定区域中的指示灯标志说明，具体包括：

基于指示灯在模板图像中像素空间的新位置，依据新位置与功能区域的位置关系，计算指示灯与功能区域交集和并集的比值；

根据比值，匹配功能区域；

统计匹配后的各功能区域中指示灯的颜色信息和数量，链接指示灯标志说明。

10.一种实现如权利要求1-9任一所述设备故障检测方法的系统，其特征在于，包括：

图像采集模块，被配置为采集由深度拍摄装置反馈的目标设备的图像数据；

图像处理模块，包括图像处理组件和设备模板组件，被配置为执行故障检测方法及程序；

显示模块，被配置为显示目标设备的图像信息和告警信息。

Images