CN109086781A - 一种基于深度学习的机柜灯状态识别方法 - Google Patents

Abstract

本发明提供一种基于深度学习的机柜灯状态识别方法，包括以下步骤：初始化模型参数，获得模型与对应的模型参数；通过相机获取机柜灯状态的图片；基于深度学习技术识别图片中的灯和灯组；根据不同机柜状态设置不同的识别目标和判断异常的阈值；基于寻找轮廓的算法获得实际工作中机柜灯组内灯的数量；将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态。本发明通过引入深度学习技术，能够实现自动识别机柜灯状态的目的，进而判断机柜是否正常工作。本发明无需在机柜内植入软件或串接新的设备，工作过程不受环境影响，工作效率、识别精度和鲁棒性高。

Description

一种基于深度学习的机柜灯状态识别方法

技术领域

本发明涉及机器视觉领域，尤其是一种基于深度学习的机柜灯状态识别方法。

背景技术

长期以来我国的机房均采用人工巡检的作业方式，日常设备机房巡查时人员必须到达现场，造成人力、物力的浪费，人工巡视的及时性受到各种条件制约，人工巡视效果也会受巡检人员的业务能力、工作经验、精神状态等诸多因素的制约，漏检、误检的情况时有发生，稍有不慎就会造成重大经济损失，甚至影响铁路、航空等安全，尤其当其密集时，对其判断存在工作量大、效率低、人工成本高和结果判定主观性强等问题，需向自动化、智能化发展。

现有技术存在一种通过机柜灯图像来判断机柜状态的方法，但是，传统图像处理技术依赖人工提取特征，会受光强变化等影响，工作的鲁棒性低。

有鉴于此，迫切需要设计一种新的机柜灯识别方法。

发明内容

本发明的目的是提供一种具有高精度识别且鲁棒性高的基于深度学习的机柜灯状态识别方法和具有存储功能的装置。

为实现上述目的，本发明的一种技术方案是提供一种基于深度学习的机柜灯状态识别方法，包括以下步骤：初始化模型参数，获得模型与对应的模型参数；通过相机获取机柜灯状态的图片；基于深度学习技术识别图片中的灯和灯组；根据不同机柜状态设置不同的识别目标和判断异常的阈值；基于寻找轮廓的算法获得实际工作中机柜灯组内灯的数量；将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态。

进一步的，所述初始化模型参数，获得模型与对应的模型参数的步骤具体包括：先采集机柜灯的图片并标注出不同类别的灯和灯组，建立训练集与测试集，设置深度学习技术的训练参数并在训练集上训练，训练出的模型的损失值若收敛，则停止训练，否则继续训练，获得训练模型后在测试集上测试，若测试精度高于阈值，则获得最终模型与对应的模型参数，否则继续训练。

进一步的，所述基于深度学习技术识别图片中的灯和灯组的步骤具体包括：基于改进卷积神经网络的输入机柜图片特征提取，基于候选区域网络的灯和灯组定位和基于快速区域卷积神经网络的灯和灯组分类，实现基于深度学习技术识别出不同类别的灯和灯组。

进一步的，所述候选区域网络的损失函数定义为

其中，i是一次批量迭代中选取的候选框索引，p_i为候选框是目标的概率，如果候选框是正标签，其对应的真实区域标签p_i ^*为1，否则，p_i ^*为0；t_i表示预测的包围盒的4个参数化坐标向量，t_i ^*是对应的真实区域包围盒的坐标向量，分类损失C_cls是针对两个类别(目标和非目标)的对数损失：

对于回归损失，用计算，其中

对于回归，采用4个坐标的参数：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x是包围盒中心的横坐标，y是包围盒中心的纵坐标，w是包围盒的宽，h是包围盒的高，x_a是候选框的横坐标，y_a是候选框的纵坐标，w_a是候选框的宽，h_a是候选框的高，x^*是真实区域包围盒中心的横坐标，y^*是真实区域包围盒中心的纵坐标，w^*是真实区域包围盒的宽，h^*是真实区域包围盒的高；N_clc为小批量数据的个数；N_reg为归一化回归损失的参数；λ为平衡分类损失和回归损失的权重；

快速区域卷积神经网络可以对候选区域输出k+1类目标(包含背景)的概率以及回归后的包围盒坐标，对每一个训练候选区域定义损失函数，

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-log p_u是对候选区域对应的真实目标类别u的对数损失，对于k+1类目标有p＝(p₀,p₁,....,p_k)，[u≥1]为示性函数，当候选区域为背景时，u＝0，L_loc(t^u,t^*)为包围盒坐标的回归损失，

其中对于k类目标中的每一个都有t^*为候选区域对应的真实目标包围盒的参数坐标向量。

进一步的，所述识别目标的阈值由所述损失函数和非极大值抑制确定。

进一步的，所述非极大值抑制有得分和IoU两个指标，其中，得分是指分类器给出的当前候选框的置信度，IoU是指两个邻近候选框重叠面积与两个框的总面积的比值。

进一步的，所述极大值抑制的工作流程为：首先将所有框的得分降序排列，选中最高分及其对应的框；之后遍历其余的框，将与具有当前最高分的框的IoU大于一定阈值的框删除；然后从未处理的框中选一个得分最高的，重复上述过程，直至处理完所有的框；根据灯和灯组的类别不同，设置不同的判断异常的阈值。

进一步的，所述基于寻找轮廓的算法获得灯组内灯的个数的步骤具体包括：根据获得灯组的类别和位置，将灯组灰度化，设置合理的阈值后，将灯组二值化，利用图像处理技术中的寻找轮廓的算法，获得灯组内灯的个数，其中二值化公式如下：

其中，T是二值化阈值，x是此点的像素值，f(x)为二值化函数。

进一步的，所述将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态的步骤具体包括：

如果对象为灯，连续保存N帧图片中灯的个数并求和，与所述设置的同一类别灯的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常，N是识别机柜灯状态时累计图片的数目；

如果对象为灯组，将所述获得的每一帧图片中灯的个数与所述设置的同一灯组的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常。

为实现上述目的，本发明的另一种技术方案是提供一种具有存储功能的装置，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一所述的一种基于深度学习的机柜灯状态识别方法。

本发明一种基于深度学习的机柜灯状态识别方法和具有存储功能的装置具有以下有益效果：本发明通过引入深度学习技术，能够实现自动识别机柜灯状态的目的，进而判断机柜是否正常工作。本发明无需在机柜内植入软件或串接新的设备，工作过程不受环境影响，工作效率、识别精度和鲁棒性高。

附图说明

为了更清楚地说明本发明实施例或技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明一种基于深度学习的机柜灯状态识别方法流程图；

图2是本发明一种基于深度学习的机柜灯状态识别方法中基于深度学习技术识别灯和灯组步骤的框图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参阅图1，图1是本发明一种基于深度学习的机柜灯状态识别方法流程图，以下详细说明其工作的流程。

1.初始化模型参数，获得模型与对应的模型参数。该步骤中需先采集机柜灯的图片并标注出不同类别的灯和灯组，建立训练集与测试集，设置深度学习技术的训练参数并在训练集上训练，训练出的模型的损失值若收敛，则停止训练，否则继续训练，获得训练模型后在测试集上测试，若测试精度高于阈值，则获得最终模型与对应的模型参数，否则继续训练。

2.通过相机获取机柜灯状态的图片。在一个具体的实施方式中，系统先初始化，通过相机拍摄机柜灯状态的图片。系统进一步读取相机，进而获得机柜灯状态的图片。

3.基于深度学习技术识别图片中的灯和灯组。在一个具体的实施方式中，参阅图2，根据步骤1的模型参数，对步骤2的图片，执行以下三个部分：基于改进卷积神经网络的输入机柜图片特征提取，基于候选区域网络的灯和灯组定位和基于快速区域卷积神经网络的灯和灯组分类，实现基于深度学习技术识别出不同类别的灯和灯组，其中，

候选区域网络的损失函数定义为

其中，i是一次批量迭代中选取的候选框索引，p_i为候选框是目标的概率，如果候选框是正标签，其对应的真实区域标签p_i ^*为1，否则，p_i ^*为0；t_i表示预测的包围盒的4个参数化坐标向量，t_i ^*是对应的真实区域包围盒的坐标向量，分类损失C_cls是针对两个类别(目标和非目标)的对数损失：

对于回归损失，用计算，其中

对于回归，采用4个坐标的参数：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x是包围盒中心的横坐标，y是包围盒中心的纵坐标，w是包围盒的宽，h是包围盒的高，x_a是候选框的横坐标，y_a是候选框的纵坐标，w_a是候选框的宽，h_a是候选框的高，x^*是真实区域包围盒中心的横坐标，y^*是真实区域包围盒中心的纵坐标，w^*是真实区域包围盒的宽，h^*是真实区域包围盒的高；N_clc为小批量数据的个数；N_reg为归一化回归损失的参数；λ为平衡分类损失和回归损失的权重；

快速区域卷积神经网络可以对候选区域输出k+1类目标(包含背景)的概率以及回归后的包围盒坐标，对每一个训练候选区域定义损失函数，

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-logp_u是对候选区域对应的真实目标类别u的对数损失，对于k+1类目标有p＝(p₀,p₁,....,p_k)，[u≥1]为示性函数，当候选区域为背景时，u＝0，L_loc(t^u,t^*)为包围盒坐标的回归损失，

其中对于k类目标中的每一个都有t^*为候选区域对应的真实目标包围盒的参数坐标向量。

4.根据不同机柜状态设置不同的识别目标和判断异常的阈值。在一个具体的实施方式中，由于不同机柜灯和灯组的种类有差异，为提高识别灯和灯组的精度与判断机柜异常的准确率，需针对不同机柜状态设置不同的识别目标和判断异常的阈值，识别目标的阈值由步骤3中的损失函数和非极大值抑制确定，非极大值抑制(Non-maximum suppression，NMS)有得分和IoU(Intersection-over Union)两个指标，得分是指分类器给出的当前候选框的置信度，IoU是指两个邻近候选框重叠面积与两个框的总面积的比值，NMS的工作流程为：首先将所有框的得分降序排列，选中最高分及其对应的框；之后遍历其余的框，将与具有当前最高分的框的IoU大于一定阈值的框删除；然后从未处理的框中选一个得分最高的，重复上述过程，直至处理完所有的框；根据灯和灯组的类别不同，设置不同的判断异常的阈值。

5.基于寻找轮廓的算法获得实际工作中机柜灯组内灯的数量。在一个具体的实施方式中，由于一个灯组完整代表了所在机柜的工作状态，且灯组内灯的间距小，根据步骤5获得灯组的类别和位置，将灯组灰度化，设置合理的阈值后，将灯组二值化，利用图像处理技术中的寻找轮廓的算法，获得灯组内灯的个数，其中二值化公式如下：

其中，T是二值化阈值，x是此点的像素值，f(x)为二值化函数。

6.将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态。在一个具体的实施方式中，对象为灯。连续保存N帧图片中灯的个数并求和，与步骤4中同一类别灯的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常。在另一个具体的实施方式中，对象为灯组。将步骤6中获得的每一帧图片中灯的个数与步骤4中同一灯组的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常。

本发明还提供一种具有存储功能的装置，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一所述的基于深度学习的机柜灯状态识别方法，相关内容的详细说明请参见上述方法部分，在此不再赘述。

其中，该具有存储功能的装置可以为服务器、软盘驱动器、硬盘驱动器、CD-ROM读取器、磁光盘读取器等中的至少一种。

本发明一种基于深度学习的机柜灯状态识别方法和具有存储功能的装置具有以下有益效果：本发明通过引入深度学习技术，能够实现自动识别机柜灯状态的目的，进而判断机柜是否正常工作。本发明无需在机柜内植入软件或串接新的设备，工作过程不受环境影响，工作效率、识别精度和鲁棒性高。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的机柜灯状态识别方法，其特征在于，包括以下步骤：

初始化模型参数，获得模型与对应的模型参数；

通过相机获取机柜灯状态的图片；

基于深度学习技术识别图片中的灯和灯组；

根据不同机柜状态设置不同的识别目标和判断异常的阈值；

基于寻找轮廓的算法获得实际工作中机柜灯组内灯的数量；

将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态。

2.根据权利要求1所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述初始化模型参数，获得模型与对应的模型参数的步骤具体包括：先采集机柜灯的图片并标注出不同类别的灯和灯组，建立训练集与测试集，设置深度学习技术的训练参数并在训练集上训练，训练出的模型的损失值若收敛，则停止训练，否则继续训练，获得训练模型后在测试集上测试，若测试精度高于阈值，则获得最终模型与对应的模型参数，否则继续训练。

3.根据权利要求2所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述基于深度学习技术识别图片中的灯和灯组的步骤具体包括：基于改进卷积神经网络的输入机柜图片特征提取，基于候选区域网络的灯和灯组定位和基于快速区域卷积神经网络的灯和灯组分类，实现基于深度学习技术识别出不同类别的灯和灯组。

4.根据权利要求3所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述候选区域网络的损失函数定义为

其中，i是一次批量迭代中选取的候选框索引，p_i为候选框是目标的概率，如果候选框是正标签，其对应的真实区域标签p_i ^*为1，否则，p_i ^*为0；t_i表示预测的包围盒的4个参数化坐标向量，t_i ^*是对应的真实区域包围盒的坐标向量，分类损失C_cls是针对两个类别(目标和非目标)的对数损失：

对于回归损失，用计算，其中

对于回归，采用4个坐标的参数：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)t_h＝log(h/h_a)

其中，x是包围盒中心的横坐标，y是包围盒中心的纵坐标，w是包围盒的宽，h是包围盒的高，x_a是候选框的横坐标，y_a是候选框的纵坐标，w_a是候选框的宽，h_a是候选框的高，x^*是真实区域包围盒中心的横坐标，y^*是真实区域包围盒中心的纵坐标，w^*是真实区域包围盒的宽，h^*是真实区域包围盒的高；N_clc为小批量数据的个数；N_reg为归一化回归损失的参数；λ为平衡分类损失和回归损失的权重；

快速区域卷积神经网络可以对候选区域输出k+1类目标(包含背景)的概率以及回归后的包围盒坐标，对每一个训练候选区域定义损失函数，

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-logp_u是对候选区域对应的真实目标类别u的对数损失，对于k+1类目标有p＝(p₀,p₁,....,p_k)，[u≥1]为示性函数，当候选区域为背景时，u＝0，L_loc(t^u,t^*)为包围盒坐标的回归损失，

其中对于k类目标中的每一个都有t^*为候选区域对应的真实目标包围盒的参数坐标向量。

5.根据权利要求4所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述识别目标的阈值由所述损失函数和非极大值抑制确定。

6.根据权利要求5所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述非极大值抑制有得分和IoU两个指标，其中，得分是指分类器给出的当前候选框的置信度，IoU是指两个邻近候选框重叠面积与两个框的总面积的比值。

7.根据权利要求6所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述极大值抑制的工作流程为：首先将所有框的得分降序排列，选中最高分及其对应的框；之后遍历其余的框，将与具有当前最高分的框的IoU大于一定阈值的框删除；然后从未处理的框中选一个得分最高的，重复上述过程，直至处理完所有的框；根据灯和灯组的类别不同，设置不同的判断异常的阈值。

8.根据权利要求7所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述基于寻找轮廓的算法获得灯组内灯的个数的步骤具体包括：根据获得灯组的类别和位置，将灯组灰度化，设置合理的阈值后，将灯组二值化，利用图像处理技术中的寻找轮廓的算法，获得灯组内灯的个数，其中二值化公式如下：

其中，T是二值化阈值，x是此点的像素值，f(x)为二值化函数。

9.根据权利要求8所述的一种基于深度学习的机柜灯状态识别方法，其特征在于，所述将所述灯的数量与所述阈值进行比较，进而识别机柜灯的状态的步骤具体包括：

如果对象为灯，连续保存N帧图片中灯的个数并求和，与所述设置的同一类别灯的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常，N是识别机柜灯状态时累计图片的数目；

如果对象为灯组，将所述获得的每一帧图片中灯的个数与所述设置的同一灯组的阈值比较，若低于此阈值，则判断机柜的工作状态为异常，否则为正常。

10.具有存储功能的装置，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现权利要求1-8任一所述的一种基于深度学习的机柜灯状态识别方法。