CN112418226B - 一种鱼眼分合闸状态识别的方法及装置 - Google Patents

Abstract

本申请公开了一种鱼眼分合闸状态识别的方法及装置，用以解决现有分合闸状态判断方法识别准确度不高的问题。方法包括：将采集的鱼眼分合闸图像的非观察窗口区域进行分割，通过异或操作得到字符区域的掩膜图像，提取字符区域对应掩膜图像的原始图像，并在S通道上分割得到字符图像；对S通道上的字符图像进行连通，获取连通后字符图像的中心点；根据中心点位置确定字符图像的偏移角度；在H通道对字符区域掩膜图像的原始图像进行分割，得到H通道上的字符图像，对其进行像素直方图统计，在像素值处于第一预设范围内时，确定鱼眼分合闸处于分状态，否则为合状态。本申请通过上述方法，可以量化分合角度，提高分合闸状态识别精度。

Description

一种鱼眼分合闸状态识别的方法及装置

技术领域

本申请涉及电力技术领域，尤其涉及一种鱼眼分合闸状态识别的方法及装置。

背景技术

随着输电线路逐渐增多，变电站巡检任务也逐渐扩大、工作量逐渐增加。很容易因巡检不到位，而不能及时发现变电站存在的潜在危险。鱼眼分合闸指示器是变电站内重要观察装置，一般分合闸安装在较高的位置，人员无法方便的查看其状态。

而现有的基于图像的开关状态识别方案，都采用基于深度学习的目标检测或分割方案进行状态识别，都需要依赖强大的运算平台才得以实现，在边缘平台上无法在较短时间内完成单次识别。并且现有的基于微动开关以及磁感应传感器的分合闸判断方法，对检测的分合闸的状态很难量化输出，对分合闸状态的判断精确度不高。

发明内容

本申请实施例提供了一种鱼眼分合闸状态识别的方法及装置，用以解决现有的分合闸状态判断方法中，对分合闸状态的识别准确度不高的技术问题。

一方面，本申请实施例提供了一种鱼眼分合闸状态识别的方法。将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，提取字符区域对应掩膜图像的原始图像，对字符区域对应的原始图像在S通道上进行分割，得到S通道上的字符图像；对所述S通道上的字符图像进行连通，获取连通后的字符图像的中心点位置；根据中心点位置确定字符图像在所述字符区域的偏移角度；在H通道对字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像，对H通道上的字符图像进行像素直方图统计，在字符图像的像素值处于第一预设范围内的情况下，确定鱼眼分合闸处于分状态，否则为合状态。

本申请实施例通过对鱼眼分合闸非观察窗口区域进行分割，并对分割后的图像所对应的掩膜图像进行异或操作，得到观察窗口区域对应的字符区域的掩膜图像。避免了直接对观察窗口区域进行分割而带来的边缘干扰，进而提高分割图像的精确度。同时，本申请实施例通过统计像素直方图的方式识别鱼眼分合闸的分合状态，解决了通过字符识别分和状态时，因字符图像偏转而导致与模板图像上的字符差异过大，以致识别不准确的问题。

在本申请的一种实现方式中，根据中心点位置确定所述字符图像在字符区域的偏移角度，具体包括：计算中心点和字符区域中心点的连线，与字符区域的竖直中心线的夹角；在夹角的角度小于或等于第二预设角度值的情况下，确定鱼眼分合闸处于正常状态。

本申请实施例通过计算字符图像在字符区域的偏移角度，对鱼眼分合闸的分合角度进行量化分析，提高对鱼眼分合闸状态识别的准确率。同时，通过得到的角度值，实时监测鱼眼分合闸是否出现故障。对鱼眼分合闸的正常工作提供保障。

在本申请的一种实现方式中，将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割之前，还包括：提取鱼眼分合闸模板图像上的关键点以及关键点的特征描述；其中，模板图像为预先拍摄的完整的鱼眼分合闸图像，关键点为固定所述鱼眼分合闸时引入的特征点；提取采集的图像的关键点以及关键点的特征描述，并将模板图像的关键点与采集的图像的关键点进行匹配，若相对应的两个匹配点之间连线的角度超过第三预设角度值，则匹配失败。

本申请实施例通过将模板图像的关键点与采集的图像的关键点进行匹配，不仅可以及时发现是否有物品遮挡鱼眼分合闸。同时也可以发现图像采集设备是否发生故障，实现图像采集设备的自检功能。

在本申请的一种实现方式中，将模板图像的关键点与采集的图像的关键点进行匹配之后，还包括：在匹配成功的关键点的数量小于第四预设值的情况下，则确定当前采集的图像处于被遮挡状态，和/或当前用于拍摄鱼眼分合闸图像的图像采集设备处于故障状态。

在本申请的一种实现方式中，提取鱼眼分合闸模板图像上的关键点以及关键点的特征描述之前，还包括：将鱼眼分合闸的模板图像上标注点所对应的轴线的长度进行放大，获取到鱼眼分合闸的边缘区域，在边缘区域内对关键点进行提取；其中，所述标注点有多个，所述多个标注点包括所述鱼眼分合闸的中心点，以及所述鱼眼分合闸长轴的边缘点与短轴的边缘点。

在本申请的一种实现方式中，提取采集的图像的关键点以及关键点的特征描述，具体包括：通过边缘检测算法，获取鱼眼分合闸模板图像中，左右边缘梯度大于预设第五预设阈值的点；对获取到的点使用角点检测FAST算法，通过计算出的角点获取所述特征描述。

本申请实施例通过使用边缘检测算法，计算出左右边缘梯度大于预设阈值的点，解决了因对图像中每个像素都进行计算，以致计算过程复杂的问题。本申请实施例只对左右边缘梯度符合要求的点计算其FAST角点，缩短了计算时间，提高计算效率。

在本申请的一种实现方式中，将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割之前，还包括：提取鱼眼分合闸模板图像的非观察窗口区域的掩膜图像Mask1，与非观察窗口区域所对应的椭圆形掩膜图像Mask2，以及非观察窗口区域对应的外接矩形掩膜图像Mask3；将Mask1、Mask2、Mask3进行异或操作，提取出模板图像中字符区域的掩膜图像Mask4。

本申请实施例在获取字符区域的掩膜图像时，通过对非观察窗口区域的掩膜图像，以及非观察窗口区域对应的椭圆形与外接矩形的掩膜图像进行异或操作，可以在一定程度上排除边缘干扰。使得到的字符区域的掩膜图像更为精准。

在本申请的一种实现方式中，对S通道上的字符图像进行连通，获取连通后的字符图像的中心点位置之前，还包括：采集的图像所对应的字符区域的掩膜图像Mask5，与模板图像所对应的字符区域的掩膜图像Mask4，两者通过与运算得到与运算掩膜图像Mask6，以及通过异或运算得到异或运算掩膜图像Mask7；在掩膜图像Mask6的面积，与掩膜图像Mask4和掩膜图像Mask5两者并集面积的比值，大于或等于第六预设值；并且掩膜图像Mask7的面积，与掩膜图像Mask4和掩膜图像Mask5两者交集面积的比值，小于或等于第七预设值的情况下，则确定采集的图像所对应的字符区域有效。

本申请实施例通过对掩膜图像的面积占比进行计算，可以根据计算的数值确定当前采集的图像的是否有效，以此判断图像采集设备是否出现故障。本申请实施例不仅可以实时监测图像采集设备运行状态，同时也可以去除掉不符合要求的图片，以此保障对鱼眼分合闸状态识别的准确率。

在本申请的一种实现方式中，将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，具体包括：在所述非观察窗口区域任意取一点设定为第一分割种子点，其中，非观察窗口区域左右对称；根据函数

seed2.x＝seed1.x+2×(center.x-seed1.x)

seed2.y＝seed1.y

确定对称分割的第二分割种子点坐标；在非观察窗口区域的左边部分以第一分割种子点为中心，在非观察窗口区域的右边部分以第二分割种子点为中心，左右两边分别通过漫水填充的方法同时对所述非观察窗口区域进行分割；其中，seed1.x为任取的第一分割种子点的横坐标，center.x为所述鱼眼开合闸的中心点的横坐标，seed2.x为计算出的第二分割种子点的横坐标，seed2.y为第二分割种子点的纵坐标，seed1.y为第一分割种子点的纵坐标。

另一方面，本申请实施例还提供了一种鱼眼分合闸状态识别装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，提取所述字符区域对应掩膜图像的原始图像，对所述字符区域对应的原始图像在S通道上进行分割，得到S通道上的字符图像；对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置；根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度；在H通道对所述字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像，对所述H通道上的字符图像进行像素直方图统计，在所述字符图像的像素值处于第一预设范围内的情况下，确定所述鱼眼分合闸处于分状态，否则为合状态。

本申请实施例提供的鱼眼分合闸状态识别装置，通过对鱼眼分合闸的非观察窗口区域进行分割，并通过对分割后的图像的异或操作得到字符区域对应的掩膜图像。减少图像分割时产生的边缘干扰，使得到的字符区域的掩膜图像更精准。同时，本申请实施例获取在S通道上分割后的图像的中心点，根据中心点的位置计算字符图像的偏移角度，将鱼眼分合闸的分合角度量化输出，提高对分合闸状态判断的精确度。并且，本申请实施例还采用在H通道上统计像素直方图的方式，识别鱼眼分合闸的分合状态。解决了因字符图像的偏转而无法准确识别分合字符图像的问题，进而提高了对分合闸状态识别的准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种鱼眼分合闸状态识别的方法流程图；

图2为本申请实施例提供的一种已标注定点的鱼眼分合闸的模板图像；

图3为本申请实施例提供的一个标注出鱼眼分合闸椭圆形区域的图像；

图4为本申请实施例提供的一个标注出分割种子点位置的鱼眼分合闸图像；

图5为本申请实施例提供的一个非观察窗口区域所对应的椭圆形与外接矩形的掩膜图像；

图6为本申请实施例提供的一个模板图像的关键点与采集的图像的关键点匹配的图像；

图7为本申请实施例提供的一个去掉匹配失败的关键点之后的匹配图像；

图8为本申请实施例提供的一个模板图像与采集的图像分别对应的字符区域的掩膜图像；

图9为本申请实施例提供的一个字符区域转换到HSV颜色空间的图像，

图10为本申请实施例提供的一个在S通道分割后得到的字符图像；

图11为本申请实施例提供的一个已标注中心点的字符图像；

图12为本申请实施例提供的一个根据字符图像中心点位置计算偏移角度的图像；

图13为本申请实施例提供的一个在H通道分割后得到的字符图像；

图14为本申请实施例提供的鱼眼分合闸状态识别装置的内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的对分合闸检测方法中，采用人工抄表的方法不仅工作量大效率低，还不利于数据的统计，且发现问题的速度也较慢。而现有的基于图像的识别方案中，采用基于深度学习的目标检测方法或分割方法，都需要依赖强大的运算平台才得以实现，难以普及应用。若采用基于微动开关、磁感应传感器的分合闸判断方法，其传感器需要在停电状态下安装，影响变电站的正常运行。同时又存在着无法对分合闸异常状态进行输出，以致对分合闸状态识别的准确度不高的技术问题。

为了解决上述问题，本申请实施例提供了一种鱼眼分合闸状态识别的方法及装置。将模板图像的特征描述点与待测图像的特征描述点进行匹配，通过对鱼眼分合闸非观察窗口区域，以及相对应的椭圆形与外接矩形区域的掩膜图像进行异或操作，得到字符区域对应的掩膜图像。此时，得到的字符与区域在一定程度上已排除边缘干扰，图像更为精准。并且，本申请实施例通过获取连通后的字符图像的中心点位置，计算出采集的图像的字符图像所偏移的角度，可以根据输出的具体的角度值确定当前开合闸的工作状态。同时，还采用像素直方图检测鱼眼分合闸的分合状态，在字符图像进行偏转的情况下依然可以保障识别的准确率。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种鱼眼分合闸状态识别的方法流程图。如图1所示，鱼眼分合闸状态识别的方法具体包括以下步骤：

步骤S101、鱼眼分合闸状态识别装置获取鱼眼分合闸的模板信息。

在本申请的一个实施例中，将鱼眼分合闸的模板图像，与模板图像中的标注点输入至鱼眼分合闸状态识别装置中。

具体的，鱼眼分合闸的模板图像，是图像采集设备在非遮挡状态下预先拍摄的完整的鱼眼分合闸的图像。其标注点的位置如图2提供的一种已标注定点的鱼眼分合闸的模板图像所示。其中，A点为鱼眼分合闸的中心点，B点为鱼眼分合闸长轴的边缘点，C点为鱼眼分合闸短轴的边缘点，D点为非观察窗口区域的任意一点，即鱼眼分合闸黑色区域的任意一点。

如图3提供的一个标注出鱼眼分合闸椭圆形区域的图像所示，图3中，椭圆形E为依据A点、B点、C点三点所绘制出的鱼眼分合闸的椭圆形区域。

具体地，将A点与B点之间的轴线的长度放大30像素，同时，将与A点与C点之间的轴线的长度放大30像素。此时，可以得到以A点为圆心的放大后的椭圆形区域，如图3中所示的椭圆形F。放大的椭圆形F区域中包括了鱼眼分合闸的边缘区域，即，图3中椭圆形E与椭圆形F之间的圆环区域。

需要说明的是，本申请实施例中轴线长度的放大倍数优选为30像素，但并不仅仅限制于可以取30像素。

在本申请的一个实施例中，在圆环区域提取关键点与特征描述。其中，关键点为安装鱼眼分合闸时引入的特征点，例如，使用螺丝固定鱼眼分合闸时引入的螺丝固定点。

具体的，以模板图像的左边缘边界线与上边缘边界线的交点为原点建立坐标轴，以向右延伸方向为x轴，向下延伸方向为y轴。采用ORB特征点检测方法，使用FAST算法计算左右边缘梯度值大于10的关键点的FAST角点。并计算其BRIEF特征，提取关键点的特征描述，即，创建二进制描述符。

在本申请的一个实施例中，使用边缘检测算法，获取圆环区域内左右边缘梯度值大于10的关键点。其中，边缘梯度的计算公式为：

在本申请的一个实施例中，G_X为水平边缘梯度模板值，G_y为垂直边缘梯度模板值，G为边缘梯度值。将模板图像圆环区域内坐标点的像素值与G_X、G_y相乘，分别得到圆环内各个坐标点的水平边缘梯度值，与垂直边缘梯度值。再根据公式

计算圆环内各个坐标点的梯度值。

需要说明的是，当计算得到的水平边缘梯度值和/或垂直边缘梯度值为0时，不再计算当前关键点的FAST角点。本申请实施例，优选计算边缘梯度值大于10的关键点的FAST角点。

本申请实施例通过采用边缘检测算法，筛选出可用于计算FAST角点的关键点，不再需要将圆环内的每个点的像素都进行计算。提高了关键点提取的效率。

需要说明的是，本申请实施例中左右边缘梯度值优选为10，但并不仅仅限制于只能为10。

步骤S102、鱼眼分合闸状态识别装置提取鱼眼分合闸模板图像观察窗口区域所对应的掩膜图像。

在本申请的一个实施例中，使用漫水填充的方法对鱼眼分合闸非观察窗口区域进行分割。

具体的，如图4提供的一个标注出分割种子点位置的鱼眼分合闸图像所示，点A为鱼眼分合闸的中心点，第一分割种子点D1点为非观察窗口区域任意一点。由于非观察窗口区域是左右对称的，因此，通过函数

seed2.x＝seed1.x+2×(center.x-seed1.x)

seed2.y＝seed1.y

确定第二分割种子点D2的坐标。其中，seed1.x为任取的第一分割种子点的横坐标，center.x为所述鱼眼开合闸的中心点的横坐标。seed2.x为计算出的第二分割种子点的横坐标，seed2.y为第二分割种子点的纵坐标，seed1.y为第一分割种子点的纵坐标。

在本申请的一个实施例中，以第一分割种子点D1与第二分割种子点D2为中心。分别判断其上下左右，以及左上、右上、左下、右下，8邻域内的像素值与分割种子点像素值的差异。将差异值小于预设像素值50的像素点作为与分割种子点连通的区域，并将此点作为新的种子点不断扩散。直到种子点与其8邻域内的像素值的差值大于预设像素值50为止。

在本申请的一个实施例中，鱼眼分合闸的中心点位置为白色，与非观察窗口区域颜色差异较大。因此，需要在中心点位置绘制大小适合的实心圆形，比如半径为50像素的实心圆形，对白色区域进行填充。就可以避免由于中心点与非观察窗口区域的颜色差异过大而导致的分割失败。

需要说明的是，本申请实施例中优选为预设像素值50，但并不仅仅限定为50。优选绘制半径为50像素的实心圆形，但不仅仅限定半径为50像素。

在本申请的一个实施例中，对分割后得到的非观察窗口区域的掩膜图像，以及非观察窗口区域所对应的椭圆形区域与外接矩形的掩膜图像进行异或操作。可以得到字符区域对应的掩膜图像，即观察窗口区域的掩膜图像。

如图5提供的一个非观察窗口区域所对应的椭圆形与外接矩形的掩膜图像所示。其中，左边起第一个图像为提取鱼眼分合闸模板图像的非观察窗口区域的掩膜图像Mask1，左边起第二个图像为非观察窗口区域所对应的椭圆形掩膜图像Mask2，左边起第三个图像为非观察窗口区域对应的外接矩形掩膜图像Mask3。将掩膜图像Mask1、掩膜图像Mask2、掩膜图像Mask3进行异或操作，可以得到鱼眼分合闸模板图像中字符区域的掩膜图像Mask4。

本申请实施例通过对非观察窗口区域的掩膜图像，以及非观察窗口区域所对应的椭圆形与矩形的掩膜图像，进行异或操作得到观察窗口区域的掩膜图像。可以在一定程度上排除图像边缘的干扰，使得到的观察窗口区域的掩膜图像更为精准。

步骤S103、鱼眼分合闸状态识别装置将模板图像与采集的图像的关键点进行匹配。

在本申请的一个实施例中，基于ORB特征提取的是二进制特征，因此可以使用汉明距离进行特征匹配的方法，将模板图像的关键点，与采集的图像的关键点进行匹配。其中，采集的图像的关键点的提取与模板图像关键点的提取方法相同，也是采用ORB特征点检测的方法进行提取。

具体的，通过公式：d(x,y)＝∑x_i⊕y_i确定模板图像的关键点与采集的图像的关键点，之间的汉明距离。

在本申请的一个实施例中，在汉明距离小于5的情况下，认为两个关键点是相似的。其中，d为汉明距离，x,y是模板图像与采集图像所对应的关键点，i表示二进制字符串的位数，⊕表示异或。当xi和yi数值不同时，d加1。

需要说明的是，本申请实施例优选汉明距离小于5时两个关键点相似，但并不仅仅限制于汉明距离只能小于5。

如图6提供的一个模板图像的关键点与采集的图像的关键点匹配的图像所示。其中，左侧图像为模板图像，右侧图像为采集的图像，每条连接线的左端点为模板图像的关键点，右端点为采集的图像所对应的关键点。

在本申请的一个实施例中，鱼眼分合闸状态识别装置通过计算匹配点角度值，过滤掉匹配错误的关键点。

具体的，通过函数

确定匹配点角度。其中，angle为匹配点角度值，pm为模板图像上的关键点，pt为采集的图像上的关键点。abs为取绝对值。当角度值angle大于预设角度10°时，则认为匹配失败。

在本申请的一个实施例中，鱼眼分合闸状态识别装置会将匹配失败的关键点删除掉。如图7提供的一个去掉匹配失败的关键点之后的匹配图像所示，已将图6中角度值大于角度阈值10°的四个关键点去掉。在匹配成功的关键点的数量小于预设值20的情况下，则确定当前采集的图像处于被遮挡状态，和/或当前用于拍摄鱼眼分合闸图像的摄像头处于故障状态。

需要说明的是，本申请实施例中预设角度值优选为10°，但并不仅仅限定为10°。本申请实施例中关键点预设数量值优选为20，但并不仅仅限定为20。

在本申请的一个实施例中，需要将采集的图像映射到模板图像坐标系下。因为标注点都是在模板图像中进行标注的，因此，映射到模板图像中，就可以使用标注点对采集的图像进行计算。本申请实施例通过匹配点计算单应性矩阵的方式，将采集图像映射到模板图像中，可以防止摄像头抖动引起的关键点位置变动，减小造成误差的几率。

步骤S104、鱼眼分合闸状态识别装置提取采集的图像的观察窗口区域对应的掩膜图像。

在本申请的一个实施例中，同样采用漫水填充的方法，对由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割。将分割后得到的非观察窗口区域的掩膜图像，以及非观察窗口区域所对应的椭圆形区域与外接矩形的掩膜图像进行异或操作，可以得到采集的图像的字符区域对应的掩膜图像Mask5。

步骤S105、鱼眼分合闸状态识别装置对采集的图像的字符区域，所对应的掩膜图像的面积占比进行计算。

在本申请的一个实施例中，采集的图像所对应的字符区域的掩膜图像Mask5，与模板图像所对应的字符区域的掩膜图像Mask4。两者通过与运算得到与运算掩膜图像Mask6，以及通过异或运算得到异或运算掩膜图像Mask7。

如图8提供的模板图像与采集的图像分别对应的字符区域的掩膜图像所示，图8中左边起第一个图像为模板图像所对应的字符区域的掩膜图像Mask4，左边起第二个图像为采集的图像所对应的字符区域的掩膜图像Mask5。左边起第三个图像为掩膜图像Mask4和掩膜图像Mask5与运算得到的与运算掩膜图像Mask6，左边起第四个图像为掩膜图像Mask4和掩膜图像Mask5通过异或运算得到异或运算掩膜图像Mask7。

在本申请的一个实施例中，在掩膜图像Mask6的面积，与掩膜图像Mask4和掩膜图像Mask5两者并集面积的比值，大于或等于第六预设值4/5。并且掩膜图像Mask7的面积，与掩膜图像Mask4和掩膜图像Mask5两者交集面积的比值，小于或等于第七预设值1/20的情况下，则确定采集的图像所对应的字符区域有效。

需要说明的是，本申请实施例中面积预设比值优选为4/5与1/20，但并不仅仅限定为4/5与1/20。

本申请实施例通过检验采集的图像的观察窗口区域对应的掩膜图像是否有效，可以将采集的不符合要求的图片过滤掉。提高对鱼眼分合闸状态识别的精确度。同时，在采集的图像不符合要求的情况下，说明图像采集装备出现故障，可以实时对图像采集装备进行检测。

步骤S106、鱼眼分合闸状态识别装置对鱼眼分合闸的分合角度进行计算。

在本申请的一个实施例中，提取已确定有效的字符区域对应的掩膜图像的原始图像中的区域，并将其转换到HSV颜色空间。

具体的，根据字符区域的掩膜图像对应的坐标点集合，将掩膜图像映射到采集的原始图像的位置上。以此获取采集的原始图像中，坐标点集合对应的区域的图像。如图9提供的一个字符区域转换到HSV颜色空间的图像所示，左边起第一个图像为字符区域对应的掩膜图像的原始图像在H空间的图像，左边起第二个图像为字符区域对应的掩膜图像的原始图像在S空间的图像,左边起第三个图像为字符区域对应的掩膜图像的原始图像在V空间的图像。

在本申请的一个实施例中，通过二值化分割的方法，在S通道上对字符区域图像进行分割，得到S通道上的字符图像。其中，字符图像为当前观察窗口区域显示的字符的内容。并将S通道上的字符图像进行形态学开运算与膨胀运算，使字符图像进行联通。如图10提供的一个在S通道分割后得到的字符图像所示，左边起第一个图像为分割后的字符图像，左边起第二个图像为联通后的字符图像。

在本申请的一个实施例中，获取连通后的字符图像的中心点位置，并根据中心点位置确定字符图像在字符区域的偏移角度。

具体的，计算联通后的字符图像的外接矩形的中心点位置，即为连通后字符图像的中心点位置。如图11提供的一个已标注中心点的字符图像所示，左边起第三个图像中，标注的F点即为连通后字符图像的中心点。

图12提供了根据字符图像中心点位置计算偏移角度的图像示意图。G1点,G2点为鱼眼分合闸上下两个字符区域，分别对应的字符图像的中心点，O点为字符区域中垂线的中点。通过计算中心点和字符区域中心点的连线，与所述字符区域的竖直中心线的夹角，可以计算出字符图像的偏移角度。在夹角的角度小于或等于第二预设角度值10°的情况下，确定所述鱼眼分合闸处于正常状态。在夹角的角度大于第二预设角度值10°的情况下，确定所述鱼眼分合闸处于故障状态。

需要说明的是，本申请实施例预设角度值优选为10°，但并不仅仅限定为10°。

步骤S107、鱼眼分合闸状态识别装置通过像素直方图确定鱼眼分合闸的分合状态。

在本申请的一个实施例中，在H通道上对所述字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像。如图13提供的的一个在H通道分割后得到的字符图像所示，左边起第4个图像为在H通道分割后的字符图像。

在本申请的一个实施例中，对H通道上的字符图像进行像素直方图统计。根据标准的颜色取值范围，在最大像素直方图的像素值处于第一预设范围20-120之间的情况下，确定所述鱼眼分合闸处于分状态，否则为合状态。

需要说明的是，本申请实施例不仅适用于白底分合闸，也适用于白底IO刀闸，同时也适用于红底或绿底分合闸以及红底或绿底的IO刀闸。

在本申请的一个实施例中，在对红底或绿底分合闸的状态进行判断时，需要将采集的图像的字符区域分割后，得到所对应的字符图像进行取反操作，如图13所示的左边起第二个图像，将其进行取反操作。将取反后得到的字符图像与字符区域的掩膜图像做交集处理，即可得到集采的图像所对应的字符区域的背景颜色区域。在H通道对背景颜色区域的颜色进行计算，将得到的数值与标准颜色取值范围进行比对，即可得到背景区域的颜色。

需要说明的是，红底或绿底的IO刀闸背景区域颜色的获取方式，与红底或绿底分合闸背景区域的颜色获取方式相同。

本申请实施例通过颜色确定鱼眼分合闸的分合状态，可以避免采用字符识别的技术中，因字符进行角度偏移而无法准确识别字符的问题。可以更精准的确定分合闸的状态。

图14为本申请实施例提供的一种鱼眼分合闸状态识别装置的内部结构示意图。

本申请实施例提供的一种鱼眼分合闸状态识别装置，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，提取所述字符区域对应掩膜图像的原始图像，对所述字符区域对应的原始图像在S通道上进行分割，得到S通道上的字符图像。

对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置；根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度。

在H通道对所述字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像，对所述H通道上的字符图像进行像素直方图统计，在所述字符图像的像素值处于第一预设范围内的情况下，确定所述鱼眼分合闸处于分状态，否则为合状态。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种鱼眼分合闸状态识别的方法，其特征在于，所述方法包括：

将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，提取所述字符区域对应掩膜图像的原始图像，并将其转换到HSV颜色空间，对所述字符区域对应的原始图像在S通道上进行分割，得到S通道上的字符图像；

其中，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，包括，将分割后得到的非观察窗口区域的掩膜图像，以及非观察窗口区域所对应的椭圆形区域与外接矩形的掩膜图像进行处理，得到所述字符区域对应的掩膜图像；其中，所述处理包括异或操作；

对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置；根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度；

在H通道对所述字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像，对所述H通道上的字符图像进行像素直方图统计，在所述字符图像的像素值处于第一预设范围内的情况下，确定所述鱼眼分合闸处于分状态，否则为合状态；

对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置，具体包括，将所述S通道上的字符图像进行形态学开运算与膨胀运算，使字符图像进行联通；获取连通后的字符图像的中心点位置，并根据中心点位置确定字符图像在字符区域的偏移角度；其中，联通后的字符图像的外接矩形的中心点位置，即为连通后字符图像的中心点位置；

所述根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度，具体包括：计算中心点和所述字符区域中心点的连线，与所述字符区域的竖直中心线的夹角；在所述夹角的角度小于或等于第二预设角度值的情况下，确定所述鱼眼分合闸处于正常状态。

2.根据权利要求1所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割之前，所述方法还包括：

提取鱼眼分合闸模板图像上的关键点以及关键点的特征描述；其中，所述模板图像为预先拍摄的完整的鱼眼分合闸图像，所述关键点为固定所述鱼眼分合闸时引入的特征点；

提取采集的图像的关键点以及关键点的特征描述，并将模板图像的关键点与采集的图像的关键点进行匹配，若相对应的两个匹配点之间连线的角度超过第三预设角度值，则匹配失败。

3.根据权利要求2所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述将模板图像的关键点与采集的图像的关键点进行匹配之后，所述方法还包括：

在匹配成功的关键点的数量小于第四预设值的情况下，则确定当前采集的图像处于被遮挡状态，和/或当前用于拍摄鱼眼分合闸图像的图像采集设备处于故障状态。

4.根据权利要求2所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述提取鱼眼分合闸模板图像上的关键点以及关键点的特征描述之前，所述方法还包括：

将所述鱼眼分合闸的模板图像上标注点所对应的轴线的长度进行放大，获取到所述鱼眼分合闸的边缘区域，在所述边缘区域内对所述关键点进行提取；

其中，所述标注点有多个，所述多个标注点包括所述鱼眼分合闸的中心点，以及所述鱼眼分合闸长轴的边缘点与短轴的边缘点；

其中，所述将所述鱼眼分合闸的模板图像上标注点所对应的轴线的长度进行放大，获取到所述鱼眼分合闸的边缘区域，包括，基于所述鱼眼分合闸的中心点，以及所述鱼眼分合闸长轴的边缘点与短轴的边缘点，绘制出的鱼眼分合闸的椭圆形区域；

将鱼眼分合闸的中心点与所述鱼眼分合闸长轴的边缘点之间的轴线的长度进行放大，同时，将鱼眼分合闸的中心点与所述鱼眼分合闸短轴的边缘点之间的轴线的长度进行放大，得到以所述鱼眼分合闸的中心点为圆心的放大后的椭圆形区域；其中，所述椭圆形区域与所述放大后的椭圆形区域之间的圆环区域为所述鱼眼分合闸的边缘区域。

5.根据权利要求2所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述提取采集的图像的关键点以及关键点的特征描述，具体包括：

通过边缘检测算法，获取所述鱼眼分合闸模板图像中，左右边缘梯度大于预设第五预设阈值的点；

对获取到的点使用角点检测FAST算法，通过计算出的角点获取所述特征描述。

6.根据权利要求1所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置之前，所述方法还包括：

采集的图像所对应的字符区域的掩膜图像Mask5，与模板图像所对应的字符区域的掩膜图像Mask4，两者通过与运算得到与运算掩膜图像Mask6，以及掩膜图像Mask4和掩膜图像Mask5通过异或运算得到异或运算掩膜图像Mask7；

在所述掩膜图像Mask6的面积，与所述掩膜图像Mask4和所述掩膜图像Mask5两者并集面积的比值，大于或等于第六预设值；并且

所述掩膜图像Mask7的面积，与所述掩膜图像Mask4和所述掩膜图像Mask5两者交集面积的比值，小于或等于第七预设值的情况下，则确定所述采集的图像所对应的字符区域有效。

7.根据权利要求1所述的一种鱼眼分合闸状态识别的方法，其特征在于，所述将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，具体包括：

在所述非观察窗口区域任意取一点设定为第一分割种子点，其中，所述非观察窗口区域左右对称；

根据函数seed2.x＝seed1.x+2×(center.x-seed1.x)

seed2.y＝seed1.y

确定对称分割的第二分割种子点坐标；

在所述非观察窗口区域的左边部分以第一分割种子点为中心，在所述非观察窗口区域的右边部分以第二分割种子点为中心，左右两边分别通过漫水填充的方法同时对所述非观察窗口区域进行分割；

其中，seed1.x为任取的第一分割种子点的横坐标，center.x为所述鱼眼分合闸的中心点的横坐标，seed2.x为计算出的第二分割种子点的横坐标，seed2.y为第二分割种子点的纵坐标，seed1.y为第一分割种子点的纵坐标；seed1为第一种子点；seed2为第二种子点；x为横坐标值；y为纵坐标值。

8.一种鱼眼分合闸状态识别装置，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

将由图像采集设备采集的有关鱼眼分合闸的图像的对应非观察窗口区域进行分割，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，提取所述字符区域对应掩膜图像的原始图像，并将其转换到HSV颜色空间，对所述字符区域对应的原始图像在S通道上进行分割，得到S通道上的字符图像；

其中，通过对分割后的图像的异或操作得到字符区域对应的掩膜图像，包括，将分割后得到的非观察窗口区域的掩膜图像，以及非观察窗口区域所对应的椭圆形区域与外接矩形的掩膜图像进行处理，得到所述字符区域对应的掩膜图像；其中，所述处理包括异或操作；

对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置；根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度；

在H通道对所述字符区域对应掩膜图像的原始图像进行分割，得到H通道上的字符图像，对所述H通道上的字符图像进行像素直方图统计，在所述字符图像的像素值处于第一预设范围内的情况下，确定所述鱼眼分合闸处于分状态，否则为合状态；

对所述S通道上的字符图像进行连通，获取所述连通后的字符图像的中心点位置，具体包括，将所述S通道上的字符图像进行形态学开运算与膨胀运算，使字符图像进行联通；获取连通后的字符图像的中心点位置，并根据中心点位置确定字符图像在字符区域的偏移角度；其中，联通后的字符图像的外接矩形的中心点位置，即为连通后字符图像的中心点位置；

所述根据所述中心点位置确定所述字符图像在所述字符区域的偏移角度，具体包括：计算中心点和所述字符区域中心点的连线，与所述字符区域的竖直中心线的夹角；在所述夹角的角度小于或等于第二预设角度值的情况下，确定所述鱼眼分合闸处于正常状态。

Images