CN111192377A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及装置，移动装置在巡检路线上行进时对各个信号灯进行拍摄，得到巡检图像，根据各个信号灯在机房中的分布特征，从巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯，将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态。本发明实施例中，通过先使用信号灯在机房中的分布特征对巡检图像进行粗识别以得到各个待检测区域，再使用神经网络模型对各个待检测区域进行精识别以确定信号灯状态，能够通过粗识别和精识别的两次识别过程来提高信号灯状态的识别精度，还可以降低神经网络模型的处理数据量，提高图像识别的效率。

Description

一种图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

互联网数据中心(Internet Data Center，IDC)机房是在互联网通信线路和带宽资源的基础上建立的标准化的机房环境，IDC机房可以容纳多种类型的设备，比如服务器、监控设备、管理设备、安全设备等，每个设备上可以设置有一个或多个信号灯，信号灯的状态用于标识设备或设备上的部件是否处于正常运行状态。在实际操作中，由于IDC机房中放置的设备及设备上的部件的数量和种类均较多，导致IDC机房中存在大量的信号灯，因此，在对IDC机房中的设备进行巡检时，如何快速有效地对巡检图像中的信号灯进行识别，对于监控设备及部件的运行状态、及时排查故障是非常重要的。

特征匹配是一种常用的图像处理方式，具体实施时，针对于IDC机房中采集到的每张巡检图像，可以基于信号灯的标志性特征(比如亮度)从每张巡检图像上提取出与信号灯的标志性特征的匹配程度较高的目标像素点，并组合目标像素点得到巡检图像中的信号灯。然而，该种方式仅能基于较少的特征来匹配得到目标像素点，从而会导致信号灯的识别精度较低。

综上，目前亟需一种图像处理方法，用以解决现有技术采用特征匹配的方式识别图像中的目标对象(即信号灯)所导致的识别精度较低的技术问题。

发明内容

本发明实施例提供一种图像处理方法及装置，用以解决现有技术采用特征匹配的方式识别图像中的目标对象(即信号灯)所导致的识别精度较低的技术问题。

第一方面，本发明实施例提供的一种图像处理方法，所述方法应用于移动装置，所述移动装置按照巡检路线对机房内的各个信号灯进行巡检；所述方法包括：

所述移动装置在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像，根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯，将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。

本发明实施例中，通过先使用信号灯在机房中的分布特征对巡检图像进行粗识别以得到各个待检测区域，再使用神经网络模型对各个待检测区域进行精识别以确定信号灯状态，能够通过粗识别和精识别的两次识别过程来提高信号灯状态的识别精度，还可以降低神经网络模型的处理数据量，提高图像识别的效率。

在一种可能的实现方式中，所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域之前，还确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正。

在上述实现方式中，通过在识别巡检图像中的信号灯之前对巡检图像进行校正，可以弥补拍摄角度失误或拍摄环境干扰所导致的巡检图像失真的技术问题，提高后续识别的准确性，并降低后续识别所需的工作量，提高识别的效率。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述移动装置根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正，包括：所述移动装置确定出每个信号灯区域中的信号灯的中心点，在所述巡检图像上设置与所述阵列对应的各个轴，针对于所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，根据所述一条或多条拟合线与所述轴的角度关系，对所述巡检图像进行校正。

在上述实现方式中，通过使用拟合线与阵列对应的轴的角度关系对倾斜畸变的巡检图像进行校正，能够将巡检图像从倾斜状态准确地恢复到标准状态，如此，基于标准状态的巡检图像进行神经网络模型处理，能够提高神经网络模型输出结果的准确性，提高信号灯的识别精度。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，包括：所述移动装置确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，并确定出每个信号灯区域中的信号灯的中心点；在所述巡检图像上设置与所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，在所述巡检图像中对每条拟合线扩展设定像素值，以确定出每条拟合线对应的待检测区域。

在上述实现方式中，通过从巡检图像上提取得到每条拟合线对应的待检测区域，能够准确地将巡检图像中信号灯较为集中的区域提取出来，如此，基于较为集中的信号灯区域进行神经网络模型处理，能够在避免漏掉待识别的信号灯的同时，更有针对性的进行信号灯的识别，还可以降低过拟合的概率，提高识别的精度和效率。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，包括：针对于每列信号灯，所述移动装置根据该列信号灯的阵列分布情况，从所述巡检图像中确定出初始信号灯的识别范围，并基于所述初始信号灯的识别范围和设定间隔范围从所述巡检图像中确定出其它信号灯的识别范围，根据各个信号灯的识别范围，从所述巡检图像中提取得到所述各个信号灯对应的待检测区域。

在上述实现方式中，通过预先根据各个信号灯的实际分布情况预测出每个信号灯在巡检图像上的识别范围，可以在拍摄得到巡检图像后直接根据识别范围提取得到每个信号灯对应的待检测区域，该种方式无需基于巡检图像做额外处理，从而可以较好地提高识别的效率。

第二方面，本发明实施例提供的一种图像处理装置，所述装置按照巡检路线对机房内的各个信号灯进行巡检；所述装置包括：

拍摄模块，用于在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像；

处理模块，用于根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯；

识别模块，用于将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。

在一种可能的实现方式中，所述处理模块根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域之前，还确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述处理模块具体用于：确定出每个信号灯区域中的信号灯的中心点，在所述巡检图像上设置与所述阵列对应的各个轴，针对于所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，根据所述一条或多条拟合线与所述轴的角度关系，对所述巡检图像进行校正。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述处理模块具体用于：确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，并确定出每个信号灯区域中的信号灯的中心点；进一步地，在所述巡检图像上设置与所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，在所述巡检图像中对每条拟合线扩展设定像素值，以确定出每条拟合线对应的待检测区域。

在一种可能的实现方式中，所述各个信号灯在所述机房中呈阵列分布；所述处理模块具体用于：针对于每列信号灯，根据该列信号灯的阵列分布情况，从所述巡检图像中确定出初始信号灯的识别范围，并基于所述初始信号灯的识别范围和设定间隔范围从所述巡检图像中确定出其它信号灯的识别范围，根据各个信号灯的识别范围，从所述巡检图像中提取得到所述各个信号灯对应的待检测区域。

第三方面，本发明实施例提供的一种计算设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任意所述的图像处理方法。

第四方面，本发明实施例提供的一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述第一方面任意所述的图像处理方法。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种IDC机房的系统架构示意图；

图2为本发明实施例提供的一种巡检路线的示意图；

图3为本发明实施例提供的一种图像处理方法对应的流程示意图；

图4为本发明实施例提供的一种机房中各个信号灯的阵列分布示意图；

图5为本发明实施例提供的一种纵向拟合线的示意图；

图6为提取方式一对应的一种待检测区域的示意图；

图7为提取方式二对应的一种待检测区域的示意图；

图8为本发明实施例提供的一种图像处理装置的结构示意图；

图9为本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种IDC机房的结构示意图，如图1所示，IDC机房中可以设置有至少一排机柜，比如机柜101～机柜106。其中，机柜101～机柜104可以并列设置，机柜105和机柜106可以并列设置，每排机柜上可以设置有多台设备，比如服务器、数据采集设备、监控设备、温控设备等。其中，机柜可以为单层结构，多台设备并列放置在单层结构上，或者，机柜也可以为多层结构，多台设备分别放置在多层结构上，每层结构上可以并列放置一台或多台设备，具体不作限定。

本发明实施例中，每个设备上可以设置有一个或多个信号灯，为了便于设备的部署和走线，一般可以将设备的全部信号灯部署在设备的一个侧面上，如此，在对IDC机房中的设备进行巡检时，移动装置可以仅对设备上设置有信号灯的一面进行巡检。若巡检确定某一部件对应的信号灯为绿色，说明该部件处于正常运行状态；若信号灯为橘色，说明该部件处于告警状态；若信号灯为红色，说明该部件处于故障状态。

为了便于描述，将设备上部署有信号灯的一面称为正面，将设备上未部署有信号灯的一面称为背面。

相应地，为了便于设备的巡检，机房中任意两排相邻的机柜上放置的设备可以正面对正面、背面对背面。举例来说，如图1所示，机柜101上放置有设备W₁，机柜102上放置有设备W₂，机柜103上放置有设备W₃，若设备W₁与设备W₂相对的一面为设备W₁的背面，则设备W₂与设备W₁相对的一面可以为设备W₂的背面，设备W₂与设备W₃相对的一面可以为设备W₂的正面，且设备W₃与设备W₂相对的一面可以为设备W₃的正面。相应地，在对机柜101～机柜103上的设备进行巡检时，移动装置可以对机柜101背离机柜102的一面(如图1所示意的T₁面)上的设备进行巡检、对机柜102相对于机柜103的一面(如图1所示意的T₂面)上的设备以及机柜103相对于机柜102的一面(如图1所示意的T₃面)上的设备进行巡检。

图2为采用该种实现方式得到的一种巡检路线的示意图，如图2所示，巡检过程可以为：移动装置从起始位置A点出发，分别经由路径AB-路径BE-路径EP-路径PE-路径EM-路径ME-路径EG-路径GI对机柜101～机柜106包括的设备的信号灯进行巡检。

基于图1所示意的IDC机房和图2所示意的巡检路径，图3为本发明实施例提供的一种图像处理方法对应的流程示意图，该方法包括：

步骤301，移动装置在巡检路线上行进时对各个信号灯进行拍摄，得到巡检图像。

本发明实施例中，移动装置上相对于设备正面的一侧可以设置有摄像装置，移动装置在巡检路线上运动时，摄像装置可以拍摄机柜上的设备正面，得到巡检图像；其中，拍摄得到巡检图像的方式可以有多种，比如摄像装置可以按照设定周期直接拍摄巡检图像，或者也可以先录制巡检视频，再从巡检视频中截取得到巡检图像，具体不作限定。

步骤302，移动装置根据各个信号灯在机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯。

本发明实施例中，移动装置可以采用同步方式进行图像处理，或者也可以采用异步方式进行图像处理，若采用同步方式进行图像处理，则移动装置可以在巡检完成后，再针对于巡检过程中所拍摄的全部巡检图像进行一一识别，若采用异步方式进行图像处理，则移动装置可以在每拍摄得到一张巡检图像后，创建一个并行线程，使用并行线程对拍摄的巡检图形进行图像识别，并使用原线程继续拍摄其它的巡检图像。

在一种可能的实现方式中，移动装置在对巡检图像进行图像识别之前，还可以对巡检图像进行校正，校正的过程可以包括如下步骤a～步骤c：

步骤a，移动装置从巡检图像中确定出满足信号灯的颜色特征的像素点。

其中，颜色特征是指像素点的三元色(Red Green Blue，RGB)特征，可以包括色调、色饱和度和亮度中的任意一项或任意多项。

在一个示例中，移动装置可以先确定巡检图像中每个像素点的颜色特征值，若某一像素点的颜色特征值满足信号灯的颜色特征值范围，则可以确定该像素点属于信号灯，若某一像素点的颜色特征值不满足信号灯的颜色特征范围，则可以确定该像素点不属于信号灯。其中，信号灯的颜色特征值范围是统计已确定的信号灯图像上每个像素点的颜色特征值得到的，信号灯的颜色特征值范围包括像素点的最低颜色特征值和像素点的最高颜色特征值。

在一个示例中，移动装置在确定出巡检图像上的每个像素点的类型(属于信号灯或不属于信号灯)后，还可以根据各个像素点的类型对巡检图像进行二值化处理，从而将巡检图像转化为灰白图像；比如，移动装置可以将巡检图像中属于信号灯的像素点替换为黑色或灰色，将不属于信号灯的像素点替换为白色。如此，通过对巡检图像进行二值化处理，能够剔除巡检图像上与校正无关的信息，而仅保留与校正有关的信息，从而可以提高图像校正的效率。

步骤b，移动装置根据满足颜色特征的像素点，得到一个或多个信号灯区域。

具体实施中，移动装置在确定出巡检图像上的每个像素点的类型后，可以根据属于信号灯的各个临近的像素点，组合得到一个或多个像素区域(即信号灯区域)，每个像素区域用于标识一个或多个信号灯；或者，在对巡检图像进行二值化处理后，可以连线巡检图像上黑色或灰色的临近像素点，得到一个或多个像素区域。

作为一个示例，移动装置在得到一个或多个像素区域后，还可以将距离一个或多个像素区域较远的单一像素点删除，比如将单一像素点替换为白色，从而去除椒盐噪声，降低噪声对后续图像校正的影响。

步骤c，移动装置根据各个信号灯区域确定各个信号灯在巡检图像上的分布特征，并基于各个信号灯在巡检图像上的分布特征和各个信号灯在机房中的分布特征的偏差，对巡检图像进行校正。

举例来说，针对于任一信号灯区域，若巡检图像上的该信号灯区域包含的各个信号灯满足椭圆形分布，而机房中的各个信号灯实际满足圆形分布，则巡检装置可以对椭圆形分布与圆形分布的偏差对巡检图像进行拉伸校正；或者，若巡检图像上的该信号灯区域包含的各个信号灯满足倾斜的正多边形分布，机房中的各个信号灯实际满足正多边形分布，则巡检装置可以对正多边形分布与正多边形分布的偏差对巡检图像进行旋转校正，等等。

本发明实施例中，通过在识别巡检图像中的信号灯之前对巡检图像进行校正，可以弥补拍摄角度失误或拍摄环境干扰所导致的巡检图像失真的技术问题，提高后续识别的准确性，并降低后续识别所需的工作量，提高识别的效率。

图4为本发明实施例提供的一种机房中各个信号灯的阵列分布示意图，如图4所示，机房中的各个信号灯可以满足M行N列的阵列分布，其中，M为4，N为4。需要说明的是，图4仅是一种示例性的信号灯分布示意图，并不构成对本方案的限定，具体实施中，M和N可以由本领域技术人员根据实际场景进行设置，不作限定。

基于图4所示意的信号灯，在一种可能的实现方式中，移动装置可以按照如下步骤对巡检图像进行校正：

步骤一，移动装置确定出每个信号灯区域中的信号灯的中心点。

具体实施中，针对于巡检图像上的每个像素区域，移动装置可以根据信号灯的形状特征确定出每个像素区域中的信号灯的中心点；其中，确定信号灯的中心点的方式可以有多种，比如可以将每个像素区域中全部像素点的平均坐标作为信号灯的中心点，或者也可以将每个像素区域输入机器学习模型，使用机器学习模型确定出每个像素区域的中心点，机器学习模型是使用已标注信号灯的中心点的图像训练得到的，机器学习模型能够准确识别图像中每个信号灯的中心点。

步骤二，在巡检图像上设置阵列对应的各个轴。

以M行N列的阵列为例，具体实施中，可以先在巡检图像上设置二维坐标系，二维坐标系的第一坐标轴可以对应巡检图像的第一边，二维坐标系的第二坐标轴可以对应巡检图像的第二边，第一边与第二边为巡检图像上相互垂直的边；由于巡检图像的第一边和第二边分别与M行N列的阵列的行和列对应，因此第一坐标轴和第二坐标轴可以分别与M行N列的阵列的行和列对应。

需要说明的是，阵列对应的各个轴基于阵列的类型进行设置，比如若阵列为三维阵列，则可以在巡检图像上设置三维坐标系，三维坐标系的三个坐标轴分别与三维阵列的长、宽和高对应，或者，若阵列为斜角阵列，则可以设置坐标系的各个轴分别与斜角阵列的行列对应，且各个轴的夹角与斜角阵列的夹角相同。

为了便于描述，下面将第一坐标轴称横轴，将第二坐标轴称为纵轴。

步骤三，针对于任一轴，根据各个信号灯区域中的信号灯的中心点在所述轴上的坐标值对各个信号灯的中心点进行拟合，得到一条或多条拟合线。

具体实施中，移动装置可以先确定各个信号灯区域中的信号灯的中心点在横轴上的坐标值和在纵轴上的坐标值，再按照坐标值对各个中心点进行聚类，将坐标值相近的多个中心点聚为一类，然后对同一类的中心点进行拟合，得到该类中心点对应的拟合线。比如，移动装置可以将在横轴上的坐标值的差值小于第一预设阈值的多个中心点聚为一类，并对多个中心点进行线性拟合，得到对应的纵向拟合线，以及可以将在纵轴上的坐标值的差值小于第二预设阈值的多个中心点聚为一类，并对多个中心点进行线性拟合，得到对应的横向拟合线。

举例来说，基于图4所示意的信号灯分布，图5为本发明实施例提供的一种纵向拟合线的示意图，如图5所示，每条纵向拟合线可以包含横坐标相近的尽可能多的信号灯区域的信号灯的中心点。

步骤四，针对于任一轴，根据所述轴上聚类得到的各条拟合线与所述轴的角度关系，对巡检图像进行校正。

其中，校正的方式可以包括横向旋转校正、纵向旋转校正、拉伸校正中的任意一项或任意多项，也可以包括其它校正，不作限定。

在一个示例中，可以先求出各条纵向拟合线的斜率，然后将各条纵向拟合线的平均斜率或者加权平均斜率作为纵向旋转校正值，相应地，也可以求出各条横向拟合线的斜率，然后将各条横向拟合线的平均斜率或者加权平均斜率作为横向旋转校正值，进而使用纵向旋转校正值和横向旋转校正值分别对巡检图像进行校正。在旋转校正完成后，还可以对巡检图像进行拉伸校正，比如若某一条拟合线上存在多个信号灯的中心点位于拟合线的一侧，且多个信号灯的中心点满足设定的变形规律，则可以使用设定的变形规律对应的拉伸校正值对巡检图像进行拉伸校正，以将多个信号灯的中心点恢复到拟合线上。

需要说明的是，本发明实施例不限定各类校正的顺序，比如可以先进行横线旋转校正，再进行纵向旋转校正，最后进行拉伸校正，或者也可以先进行拉伸校正，再进行横向旋转校正，最后进行纵向旋转校正，等等；可以理解的，校正的顺序也可以根据实际业务需要进行设置，不作限定。

本发明实施例中，通过使用拟合线的斜率对倾斜畸变的巡检图像进行校正，能够将巡检图像从倾斜状态准确地恢复到标准状态，如此，基于标准状态的巡检图像进行神经网络模型处理，能够提高神经网络模型输出结果的准确性，提高信号灯的识别精度。

需要说明的是，上述步骤a和步骤b是基于巡检图像的复制图像进行图像处理，而步骤c是基于巡检图像进行图像处理，也就是说，根据步骤a和b确定校正标准后，基于步骤c对巡检图像进行校准。

本发明实施例中，根据信号灯在机房中的分布特征从巡检图像中提取得到一个或多个待检测区域的方式可以有多种，下面描述两种可能的提取方式：

提取方式一

具体实施中，在得到矫正后的巡检图像后，移动装置可以再重新按照上述步骤a和步骤b对校正后的巡检图像进行分析，得到巡检图像上各个信号灯区域的信号灯的中心点在阵列对应的某一轴上的拟合线，比如纵向拟合线，或者横向拟合线，由于此处对校正后的巡检图像进行分析，因此得到的各个拟合线与对应的轴垂直，如图6所示。相应地，以纵向拟合线为例，移动装置还可以将巡检图像上各个信号灯区域的中心点中距离纵向拟合线较远的中心点删除，比如中心点A和中心点B，从而避免脉冲噪声的干扰，提高信号灯识别的精确性。

在一个示例中，针对于每条纵向拟合线，移动装置可以先在巡检图像上标记出该条纵向拟合线与巡检图像的边缘的交点(比如图6所示意的交点C₁和交点C₂)，然后针对于任一交点，以该交点为中心沿巡检图像的边缘方向扩展设定像素范围，得到第一像素点和第二像素点，如此，移动装置可以将该条纵向拟合线扩展得到的各个像素点连线，将连线围成的矩形条区域作为该条纵向拟合线对应的待检测区域。其中，设定像素范围可以基于信号灯的尺寸进行设置，比如可以略大于信号灯的半径。在上述示例中，通过以略大于信号灯的半径的尺寸确定待检测区域，使得待检测区域中能够包含该条纵向拟合线上的全部完整的信号灯，且不遗漏信号灯的信息，从而可以提高后续识别的准确性。

在上述提取方式中，通过从巡检图像上提取得到每条拟合线对应的待检测区域，能够准确地将巡检图像中信号灯较为集中的区域提取出来，如此，基于较为集中的信号灯区域进行神经网络模型处理，能够在避免漏掉待识别的信号灯的同时，更有针对性的进行信号灯的识别，还可以降低过拟合的概率，提高识别的精度和效率。

提取方式二

具体实施中，得到矫正后的巡检图像后，针对于巡检图像上的每一列信号灯，移动装置可以根据该列信号灯在机柜中的实际分布情况，确定出该列信号灯中的初始信号灯在巡检图像中的识别范围以及任意两个信号灯的间隔范围，然后根据初始信号灯的识别范围和设定间隔范围分别从巡检图像中确定出其它信号灯的识别范围，如此，移动装置可以根据各列信号灯中每个信号灯的识别范围，从巡检图像中提取得到每个信号灯对应的待检测区域。其中，初始信号灯可以为位于最下方的信号灯，也可以为位于最上方的信号灯，还可以为位于中间的信号灯，不作限定。

图7为提取方式二对应的一种待检测区域的示意图，如图7所示，若各个信号灯在机房满足M行N列的阵列分布，则每一列信号灯中的任意两个相邻的信号灯的设定间隔范围可以相同。以第一列信号灯为例，若任意两个相邻的信号灯在纵坐标上的设定间隔范围为(h₁，h₂)，初始信号灯X₁的识别范围为实线框所示，则初始信号灯X₁在纵坐标上的识别范围为(d₁，d₂)，如此，与初始信号灯X₁相邻的信号灯X₂在纵坐标上的识别范围为(d₁+h₁，d₂+h₂)，信号灯X₃在纵坐标上的识别范围为(d₁+2h₁，d₂+2h₂)，信号灯X₄在纵坐标上的识别范围为(d₁+3h₁，d₂+3h₂)，且，信号灯X₂、信号灯X₃和信号灯X₄在横坐标上的识别范围与初始信号灯X₁在横坐标上的识别范围相同。当确定出每个信号灯在横坐标上的识别范围和纵坐标上的识别范围后，可以将以两个识别范围所框出的区域作为每个信号灯对应的待检测区域。

在上述提取方式中，通过预先根据各个信号灯的实际分布情况预测出每个信号灯在巡检图像上的识别范围，可以在拍摄得到巡检图像后直接根据识别范围提取得到每个信号灯对应的待检测区域，该种方式无需基于巡检图像做额外处理，从而可以较好地提高识别的效率，由于机房中各个信号灯的间隔范围基本相同，因此基于间隔范围确定待检测区域的方式可以更具有规律性，操作更简便。

本发明实施例中，通过使用信号灯的分布特征从巡检图像上确定出待检测区域，相对于直接将巡检图像输入神经网络模型确定待检测区域的方式来说，处理的数据量更少，且针对性更强，从而能够在提高图像处理效率的同时，提高图像处理的精确性。

步骤303，所述移动装置将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态。

其中，信号灯状态可以包括信号灯位置和颜色，神经网络模型为使用已标注信号灯状态的图像训练得到的，神经网络模型能够识别出图像中的信号灯在机房中的实际位置和颜色。

本发明实施例中，移动装置可以直接将每个待检测区域输入神经网络模型，从而确定出每个待检测区域中包含的全部信号灯的状态，然而，若待检测区域的范围较大，则待检测区域中会包含除信号灯以外的较多其它图像信息(比如机柜信息)，比如上述提取方式一所提取的待检测区域，因此，若采用直接将待检测区域输入神经网络模型的方式进行信号灯识别，则会加重神经网络模型的工作量，降低信号灯识别的效率，且由于识别的针对性较弱，还可能会使得神经网络模型过拟合，从而降低信号灯识别的效果。

基于此，在一种可能的实现方式中，移动装置可以采用滑窗方式确定每个待检测区域中的信号灯状态，具体地说，可以先设定一个滑动窗口，并以滑动窗口为基准从待检测区域中截取出多个识别窗口，多个识别窗口中可以具有部分相同的像素点或像素区域；进一步地，再将各个识别窗口输入神经网络模型进行识别，针对于任一识别窗口，若该识别窗口中包含信号灯，则神经网络模型可以输出该信号灯在机房中的位置和颜色(红色、黄的、绿色等)，若该识别窗口中不包含信号灯，则神经网络模型可以继续识别下一个识别窗口，直至识别完全部的识别窗口。

举例来说，若某一个待检测区域为100像素点*10像素点的区域，滑动窗口设置为10像素点*10像素点，则可以基于滑动窗口从该待检测区域中分别截取出第1至第91识别窗口，第1识别窗口为(第1-第10像素点)*10像素点的区域，第1识别窗口为(第2-第11像素点)*10像素点的区域，第3识别窗口为(第3-第12像素点)*10像素点的区域，……，第91识别窗口为(第91-第100像素点)*10像素点的区域。

需要说明的是，上述仅是一种示例，并不构成对本方案的限定，具体实施中，也可以采用其它滑窗方式得到识别窗口，比如每隔几个像素点确定一个识别窗口。

在一个示例中，若神经网络模型对多个识别窗口的识别结果中包括位置间隔小于第三预设阈值的信号灯，则神经网络模型可以选取其中任意一个信号灯作为多个识别窗口的联合识别结果，从而避免识别出重复的信号灯，提高识别的准确性。

作为一个示例，移动装置在识别出机房中的各个信号灯的状态后，可以直接将全部信号灯的状态发送给运维人员，也可以先对各个信号灯的状态进行安全分析，若确定某一信号灯的状态满足告警规则，则可以使用该信号灯的状态生成告警信息，并将告警信息推送给运维人员，比如通过邮件、钉钉、微信、短信、qq等推送给运维人员，具体不作限定。

本发明的上述实施例中，所述移动装置在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像，根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯，将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。本发明实施例中，通过先使用信号灯在机房中的分布特征对巡检图像进行粗识别以得到各个待检测区域，再使用神经网络模型对各个待检测区域进行精识别以确定信号灯状态，能够通过粗识别和精识别的两次识别过程来提高信号灯状态的识别精度，还可以降低神经网络模型的处理数据量，提高图像识别的效率。

针对上述方法流程，本发明实施例还提供一种图像处理装置，该装置的具体内容可以参照上述方法实施。

图8为本发明实施例提供的一种图像处理装置的结构示意图，所述装置按照巡检路线对机房内的各个信号灯进行巡检；如图8所示，该装置包括：

拍摄模块801，用于在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像；

处理模块802，用于根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯；

识别模块803，用于将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。

可选地，所述处理模块802根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域之前，还用于：

确定所述巡检图像中满足信号灯的颜色特征的像素点；

根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域；

根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正。

可选地，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块802具体用于：

确定出每个信号灯区域中的信号灯的中心点；

在所述巡检图像上设置与所述阵列对应的各个轴；

针对于所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，根据所述一条或多条拟合线与所述轴的角度关系，对所述巡检图像进行校正。

可选地，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块802具体用于：

确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，并确定出每个信号灯区域中信号灯的中心点；在所述巡检图像上设置所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线，在所述巡检图像中对每条拟合线扩展设定像素值，以确定出每条拟合线对应的待检测区域。

可选地，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块802具体用于：

针对于每列信号灯，根据该列信号灯的阵列分布情况，从所述巡检图像中确定出初始信号灯的识别范围，并基于所述初始信号灯的识别范围和设定间隔范围从所述巡检图像中确定出其它信号灯的识别范围；

根据各个信号灯的识别范围，从所述巡检图像中提取得到所述各个信号灯对应的待检测区域。

从上述内容可以看出：本发明的上述实施例中，所述移动装置在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像，根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯，将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。本发明实施例中，通过先使用信号灯在机房中的分布特征对巡检图像进行粗识别以得到各个待检测区域，再使用神经网络模型对各个待检测区域进行精识别以确定信号灯状态，能够通过粗识别和精识别的两次识别过程来提高信号灯状态的识别精度，还可以降低神经网络模型的处理数据量，提高图像识别的效率。

基于同一发明构思，本发明实施例还提供了一种计算设备，如图9所示，包括至少一个处理器901，以及与至少一个处理器连接的存储器902，本发明实施例中不限定处理器901与存储器902之间的具体连接介质，图9中处理器901和存储器902之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本发明实施例中，存储器902存储有可被至少一个处理器901执行的指令，至少一个处理器901通过执行存储器902存储的指令，可以执行前述的图像处理方法中所包括的步骤。

其中，处理器901是计算设备的控制中心，可以利用各种接口和线路连接计算设备的各个部分，通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据，从而实现数据处理。可选的，处理器901可包括一个或多个处理单元，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。在一些实施例中，处理器901和存储器902可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器901可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合图像处理实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器902作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器902可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器902还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述图3任意所述的图像处理方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法应用于移动装置，所述移动装置按照巡检路线对机房内的各个信号灯进行巡检；所述方法包括：

所述移动装置在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像；

所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯；

所述移动装置将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。

2.根据权利要求1所述的方法，其特征在于，所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域之前，还包括：

所述移动装置从所述巡检图像中确定出满足信号灯的颜色特征的像素点；

所述移动装置根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域；

所述移动装置根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正。

3.根据权利要求2所述的方法，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述移动装置根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正，包括：

所述移动装置确定出每个信号灯区域中的信号灯的中心点；

所述移动装置在所述巡检图像上设置与所述阵列对应的各个轴；

针对于所述阵列对应的任一轴，所述移动装置确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线；根据所述一条或多条拟合线与所述轴的角度关系，对所述巡检图像进行校正。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，包括：

所述移动装置从所述巡检图像中确定出满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，并确定每个信号灯区域中的信号灯的中心点；

所述移动装置在所述巡检图像上设置与所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线；

所述移动装置在所述巡检图像中对每条拟合线扩展设定像素值，以确定出每条拟合线对应的待检测区域。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述移动装置根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，包括：

针对于每列信号灯，所述移动装置根据该列信号灯的阵列分布情况，从所述巡检图像中确定出初始信号灯的识别范围，并基于所述初始信号灯的识别范围和设定间隔范围从所述巡检图像中确定出其它信号灯的识别范围；

所述移动装置根据各个信号灯的识别范围，从所述巡检图像中提取得到所述各个信号灯对应的待检测区域。

6.一种图像处理装置，其特征在于，所述装置按照巡检路线对机房内的各个信号灯进行巡检；所述装置包括：

拍摄模块，用于在所述巡检路线上行进时对所述各个信号灯进行拍摄，得到巡检图像；

处理模块，用于根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域，每个待检测区域上包含至少一个信号灯；

识别模块，用于将每个待检测区域输入神经网络模型，以识别出每个待检测区域中的信号灯状态；所述神经网络模型使用已标记信号灯状态的图像训练得到。

7.根据权利要求6所述的装置，其特征在于，所述处理模块根据所述各个信号灯在所述机房中的分布特征，从所述巡检图像中提取得到一个或多个待检测区域之前，还用于：

确定出所述巡检图像中满足信号灯的颜色特征的像素点；

根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域；

根据所述至少一个信号灯区域确定所述各个信号灯在所述巡检图像上的分布特征，并基于所述各个信号灯在所述巡检图像上的分布特征和所述各个信号灯在所述机房中的分布特征的偏差，对所述巡检图像进行校正。

8.根据权利要求6所述的装置，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块具体用于：

确定出每个信号灯区域中的信号灯的中心点；

在所述巡检图像上设置与所述阵列对应的各个轴；

针对于所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线；根据所述一条或多条拟合线与所述轴的角度关系，对所述巡检图像进行校正。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块具体用于：

确定所述巡检图像中满足信号灯的颜色特征的像素点，根据满足信号灯的颜色特征的像素点，得到至少一个信号灯区域，并确定出每个信号灯区域中的信号灯的中心点；

在所述巡检图像上设置与所述阵列对应的任一轴，确定各个信号灯区域中的信号灯的中心点在所述轴上的坐标值，并对在所述轴上的坐标值的差值小于第一预设阈值的多个中心点进行线性拟合，得到一条或多条拟合线；

在所述巡检图像中对每条拟合线扩展设定像素值，以确定出每条拟合线对应的待检测区域。

10.根据权利要求6至8中任一项所述的装置，其特征在于，所述各个信号灯在所述机房中呈阵列分布；

所述处理模块具体用于：

针对于每列信号灯，根据该列信号灯的阵列分布情况，从所述巡检图像中确定出初始信号灯的识别范围，并基于所述初始信号灯的识别范围和设定间隔范围从所述巡检图像中确定出其它信号灯的识别范围；

根据各个信号灯的识别范围，从所述巡检图像中提取得到所述各个信号灯对应的待检测区域。

11.一种计算设备，其特征在于，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～5任一权利要求所述的方法。

12.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～5任一权利要求所述的方法。

Images