CN114821274A - 一种用于识别分合指示牌的状态的方法和设备 - Google Patents

Abstract

本发明涉及一种用于识别分合指示牌的状态的方法和设备，所述方法包括获取分合指示牌的图像中包含三角形的区域和三角形转轴位置信息；对所述包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息；以及根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定所述分合指示牌指示的状态。利用本发明的方案，解决了分合指示牌中三角形指向角度检测不准确的问题。

Description

一种用于识别分合指示牌的状态的方法和设备

技术领域

本发明一般地涉及图像处理和机器视觉技术领域。更具体地，本发明涉及一种用于识别分合指示牌的状态的方法和设备。

背景技术

目前在工业现场中，例如发电厂中，需要随时查看三角形分合指示牌的状态，以确保设备不会因状态调整错误而无法正常运行。目前在工业现场中对大多数指示牌的识别是通过人眼实现的。通过人眼对远处的三角形分合指示牌的状态进行读取，以判断设备是否正常运行。然而，目前工业现场普遍存在高温、高压、高辐射和高噪声等恶劣环境，如果工作人员长期处于这种环境中，会对身体造成不可预估的损害。而且目前工业现场的指示牌和工作人员的工作区域的距离较远，采用人眼获取指示牌的状态易出错，导致设备状态不能准确识别。

随着科学技术与计算机互联网技术的快速发展，数字图像在各行各业中的应用越来越广泛。相比于人工读取，将携带有高清可见光摄像头的机器人应用于工业现场指示牌状态的识别，具有读数效率高、全天候随时巡检、不受恶劣环境影响等优势。机器人携带的高清可见光摄像头可以通过变换倍数和调整焦距来采集高清的指示牌图像，以获取较为清晰和准确的待识别图像，从而自动地计算出指示牌的状态。目前的图像识别技术中，一般是通过提取图像的纹理、颜色、目标的形状以及空间位置信息等特征，以实现图像的识别。其中目标的形状特征作为图像的最基本特征之一，可以实现对目标的快速且高效地识别。一般情况下，形状特征可以分为两类，一类是基于边界的特征，一类是基于区域的特征。边界特征主要针对图像的外部轮廓情况，区域特征则主要针对整个图形内部区域。

现有的方式中，主要采用的是基于边界的特征进行目标识别的方式。目前针对三角形指示牌指向角度检测方法中，所采用的方式是直接对提取得到的三角形区域进行单像素细化，然后通过霍夫(Hough)直线检测得到角度的方法。但是采用单像素细化的方式得到的三角形中，三个边指向细化后得到的距离相差不大，故而可能存在角度误检测的问题，也进一步导致识别错误。另外，现有技术还通过水平、垂直投影法及距离法得到三角形三顶点坐标及角度值，以确定三角形指示牌的指示角度。由于采用水平和垂直投影法计算三角形三顶点坐标，会涉及到三个顶点的多个阈值设定，若是阈值设置不合理，则很容易造成顶点坐标检测错误甚至检测不到顶点坐标，造成三角形指向角度检测错误的问题。

发明内容

为解决上述一个或多个技术问题，本发明提出通过对三角形的骨架轮廓进行直接检测获取三角形顶点位置信息，根据三角形转轴位置信息和三角形顶点位置信息确定三角形的指向角度，从而实现对三角形指向角度的快速、准确检测。为此，本发明在如下的多个方面中提供方案。

在第一方面中，本发明提供了一种用于识别分合指示牌的状态的方法，包括：获取分合指示牌的图像中包含三角形的区域和三角形转轴位置信息；对所述包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息；以及根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定所述分合指示牌指示的状态。

在一个实施例中，所述对所述包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息包括：对所述包含三角形的区域进行边缘检测，以确定三角形骨架轮廓；以及对所述三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息。

在一个实施例中，所述对所述三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息包括：对所述三角形骨架轮廓进行霍夫直线检测，得到所述三角形的三边信息；根据所述三角形的三边信息确定所述三角形的三个顶点的位置信息。

在一个实施例中，所述对所述三角形骨架轮廓进行霍夫直线检测，得到所述三角形的三边信息包括：采用霍夫直线检测算法对所述三角形骨架轮廓进行计算，以得到多条直线；对所述多条直线进行筛选，以确定所述三角形的三边信息。

在一个实施例中，所述根据所述三角形的三边信息确定所述三角形的三个顶点的位置信息包括：根据三角形的三边的斜率、截距和斜率是否存在的判定值计算得到所述三角形的三个顶点的位置信息。

在一个实施例中，所述对所述多条直线进行筛选，以确定所述三角形的三边信息包括：根据所述多条直线的斜率与预设的斜率阈值的关系对所述多条直线进行筛选，以确定所述三角形的三边信息。

在一个实施例中，其中根据所述多条直线的斜率与预设的斜率阈值的关系对所述多条直线进行筛选，以确定所述三角形的三边信息包括：设三角形三条边对应的斜率、截距以及斜率是否存在的判定值分别为

和

第一条边的斜率、截距及斜率是否存的判断值为

若

则

1≤m≤n-1；

若

并且

则

此时1≤p≤n-1，且p≠m；

其中T为斜率阈值，n为直线检测得到的直线的数量，(k_m，b_m，judge_m)或(k_p，b_p，judge_p)分别为n条直线中其他直线的斜率、截距和斜率是否存在的判定值，m和p为(1，n-1)范围内的任意整数。

在一个实施例中，所述根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定所述分合指示牌指示的状态包括：根据三角形转轴位置信息和三角形顶点位置信息确定所述三角形转轴和三角形顶点之间的距离；选取所述距离最大值对应的顶点计算所述三角形指向角度，以确定所述分合指示牌指示的状态。

在一个实施例中，所述选取所述距离最大值对应的顶点计算所述三角形指向角度，以确定所述分合指示牌指示的状态包括：根据所述距离最大值对应的顶点和所述三角形转轴相连的直线确定所述三角形指向角度；将所述三角形指向角度与预设的分合状态区域进行匹配，以确定所述分合指示牌指示的状态。

第二方面中，本发明还提供了一种用于识别分合指示牌的状态的设备，包括：处理器；以及存储器，其存储有用于识别分合指示牌的状态的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据前述第一方面中多个实施例中所述的方法。

在第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于识别分合指示牌的状态的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如前述第一方面中多个实施例任一所述的方法。

通过本发明的技术方案，对获取的三角形分合指示牌中三角形的骨架轮廓进行直线检测，以根据得到的三角形顶点和三角形转轴位置信息确定三角形的指向角度，从而有效提升了三角形指向角度检测的速度和准确性。进一步，本发明中还通过对利用直线检测方法获取的多条直线进行筛选，以确定准确的三边，从而有效保证了三角形三个顶点检测的准确性，提升了三角形指向角度的确定方式的可靠性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出其中应用本发明的识别分合指示牌的状态的方案的示例性场景的示图；

图2是示出根据本发明实施例的识别分合指示牌的状态的方法的流程图；

图3是示出根据本发明实施例的检测色块的另一个方法的流程图；

图4是示意性示出根据本发明的实施例的模板图像的处理方式的示意图；

图5是示意性示出根据本发明的实施例的对待测图像进行增强处理的方法的示意图；

图6是示意性示出根据本发明的实施例的特征匹配图像的示意图；

图7是示意性示出根据本发明的实施例的仿射变换和感兴趣区域提取的图像的示意图；

图8是示意性示出根据本发明的实施例的对图像进行滤波和二值化处理的过程的示意图；

图9是示意性示出根据本发明的实施例的形态学运算和三角形区域提取的过程的示意图；

图10是示意性示出根据本发明的实施例的三角形的骨架检测得到的图像的示意图；

图11是示意性示出根据本发明的实施例的对三角形的顶点坐标和指向角度进行计算的图像的示意图；

图12是示出根据本发明实施例的用于识别分合指示牌的状态的设备的示意框图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施方式的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合附图来详细描述本发明的具体实施方式。

图1是示出其中应用本发明的识别分合指示牌的状态的方案的示例性场景10的示图。在本发明的上下文中，前述的场景可以是对各种自动化控制系统中分合指示牌(状态指示装置)的状态的识别场景。可以理解的是，本发明的方案可以支持对不同场景下的分合指示牌所指示的内容的识别(例如对不同分合指示牌中标识的指向的识别以及同一分合指示牌在不同外界场景下的状态识别等)。图1中的分合指示牌101可以是各种中控显示屏，或者各种能够展示目标指向的设备(例如配电系统的机柜、分、合闸设备等)。可以理解的是，这里对分合指示牌的描述仅是示例性说明，本发明的方案并不受此限制。

在应用场景中，可以先采集分合指示牌的图像。例如预先采集分合指示牌的模板图像，在巡视过程中实时采集分合指示牌的待测图像，进而根据模板图像和待测图像的匹配过程获取待测三角形区域。然后，基于三角形区域获取三角形轮廓骨架，并利用直线检测法确定准确的三个顶点的位置信息，以实现分合指示牌状态的识别。在一些实施例中，如图1所示，可以采用图像采集装置102(例如相机、摄像机器人等)来采集图像，然后可将采集到的图像发送至设备侧103进行后续的识别处理。此处对图像的采集和识别过程仅是一种示例性说明，本发明的方案并不受此限制。例如，还可以是利用支持拍照功能的设备(例如巡检机器人)来完成图像的采集并进行后续识别处理。

图2是示出根据本发明实施例的识别分合指示牌的状态的方法20的流程图。可以理解的是，这里的分合指示牌的状态可以是前文结合图1所描述的分合指示牌所展示的三角形的指向角度。因此，前文结合图1中的细节描述同样适用于下文。

在步骤S201处，获取分合指示牌的图像中包含三角形的区域和三角形转轴位置信息。

在一些实施例中，分合指示牌的图像可以采取多种方式来获取。例如可以获取关于三角形分合指示牌的模板图像以及关于三角形分合指示牌的待测图像，从而通过模板图像和待测图像的匹配过程获取分合指示牌中包含三角形的区域。并且可以在图像处理的过程中，记录截取的包含三角形的区域中三角形转轴的位置。具体可以采用和模板图像同样的拍摄条件来采集待测图像。其中和模板图像同样的拍摄条件可以包括同一图像采集装置在距离分合指示牌相同位置处来采集分合指示牌的整体图像。这里的图像可以是图片或者视频。

接着，在步骤S202处，对包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息。在一些实施例中，可以利用边缘检测算法获取三角形区域中的三角形骨架轮廓，并对获取的三角形骨架轮廓进行直线检测，以确定准确的三角形顶点位置信息。

在步骤S203处，根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定分合指示牌指示的状态。在一些实施例中，根据三角形转轴位置信息和三角形顶点位置信息可以确定三角形转轴和三角形三个顶点之间的距离，进而确定用于提供指向角度信息的顶点。根据该顶点位置信息和三角形转轴的位置信息确定三角形的指向角度。并且三角形的指向角度和分合指示牌的状态存在映射关系，当三角形的指向角度位于某个角度或某个角度区间时，可以表示分状态或合状态。

图3是示出根据本发明实施例的识别分合指示牌的状态的另一个方法30的流程图。可以理解的是，图3可以是前文结合图2所描述的步骤202和步骤203的一种可能的实施方式。因此，前文结合图1至图2的细节描述同样适用于下文。

如图3所示，首先，在步骤S301处，对分合指示牌的图像中包含三角形的区域进行边缘检测，以确定三角形骨架轮廓。在一些实施例中，可以通过现有的边缘检测算法对获取的分合指示牌的图像中包含三角形的区域进行边缘检测，并保留三角形的三边骨架。例如可以采用微分算子法、Canny边缘检测法等边缘检测算法确定三角形的骨架。

接着，在步骤S302处，对三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息。例如可以采用霍夫直线检测、LSD直线检测算法等对三角形骨架轮廓进行检测。以霍夫直线检测算法为例，采用霍夫直线检测算法对三角形骨架轮廓进行计算，可以得到多条直线。对多条直线进行筛选，可以确定更加准确的三角形的三边信息。例如，可以根据多条直线的斜率与预设的斜率阈值的关系对多条直线进行筛选，以确定三角形的三边信息。在确定三角形的三边信息之后，就可以根据三角形的三边的斜率、截距和斜率是否存在的判定值计算得到三角形的三个顶点的位置信息。

接着，在步骤S303处，根据三角形转轴位置信息和三角形顶点位置信息确定三角形转轴和三角形顶点之间的距离。在一个应用场景中，可以根据三角形转轴的位置坐标和三角形顶点的位置坐标计算三角形转轴和顶点之间的距离。

最后，在步骤S304处，选取距离最大值对应的顶点计算三角形指向角度，以确定分合指示牌指示的状态。在一些实施例中，当三角形转轴和三角形的某个顶点之间的距离最大时，可以认为三角形的该顶点的指向能够表示分合指示牌的状态。此时可以根据距离最大值对应的顶点与三角形转轴相连的直线确定三角形指向角度。然后将三角形指向角度与预设的分合状态区域进行匹配，以确定分合指示牌指示的状态。

进一步，还可以通过三角形三个顶点计算边长的方式，以根据三角形的边长确定具体的用于提供指向信息的顶点。例如最长的两条边连接的顶点，并根据该顶点和三角形转轴之间的连线确定指向角度。

以上结合图3对本发明中的识别分合指示牌的状态的方案中的步骤S202和步骤S203进行了详细阐述，接下来将结合一个具体示例进一步对本发明的方案进行详细阐述。

首先，可以通过获取分合指示牌的模板图像和待测图像，从而通过模板图像和待测图像的匹配过程和分析过程确定图像中包含三角形的区域和三角形转轴的位置信息。以下图4至图9中示出了上述步骤201中获取分合指示牌的图像中包含三角形的区域和三角形转轴的位置信息的一种可能实现方式。

在一个应用场景中，如图4中示出了对模板图像的处理过程。具体可以包括模板图像采集(图4中左侧第一幅图)、模板图像增强处理(图4中第二幅图)和模板图像感兴趣区域ROI提取(图4中的第三幅图)。

利用采集装置或设备采集仪表的模板图像，例如可以通过巡检机器人携带的高清可见光摄像头采集分合指示牌的模板图像。然后对采集的模板图像进行Retinex图像增强处理，以减弱不同光照对采集回来的图像的影响，并有助于后续图像匹配算法中特征的提取。在对模板图像进行Retinex图像增强处理之后，可以对模板图像进行感兴趣区域提取，并将感兴趣区域的位置信息进行保存。例如可以将感兴趣区域的坐标进行保存，以便于后续与实时采集的待测图像进行匹配时调用。

类似地，图5示意性示出根据本发明的实施例的对待测图像进行增强处理的示意图。如图5所示，还可以实时采集分合指示牌的待测图像，并对采集的待测图像进行Retinex图像增强处理，从而获取清晰的待测图像。

接下来可以根据模板图像中的感兴趣区域获取实时采集的分合指示牌的待测图像中的感兴趣区域，即待测分合指示牌的图像中的三角形的区域。具体地，可以利用模板图像的感兴趣区域对实时采集的分合指示牌的图像进行特征匹配矩阵的计算、仿射变换和待测图像感兴趣区域提取。

图6示意性示出根据本发明的实施例的特征匹配图像的示意图。具体地，如图6所示，将前述模板图像的感兴趣区域与前述图5得到的待测图像进行Surf算法匹配，得到匹配图像，并计算得到例如2*3的匹配矩阵。

然后将前述获取的模板图像中的感兴趣区域图像和前述经过图像增强处理得到的待测图像通过匹配矩阵进行仿射变换，从而得到实时采集的分合指示牌的待测图像中三角形所在区域的图像，即三角形指示牌的图像。并且对仿射变换得到的待测图像进行感兴趣区域截取，并将坐标保存进数据库，以便于机器人实际巡检的时候从数据库中调用。

图7是示意性示出根据本发明的实施例的仿射变换和感兴趣区域提取的图像的示意图。如图7所示，此次截取只截取其中的三角形区域，并记录截取区域的三角形转轴处的坐标O(x_{_Center}，y_{_Center})。

图8示意性示出根据本发明的实施例的对图像进行滤波和二值化处理的过程的示意图。如图8所示，为了改善图像质量，可以对从待测图像中的截取的三角形区域进行高斯滤波处理。可以理解的是此处所采用的滤波平滑算法可以采用以下方式中的任意一种：高斯滤波、中值滤波、简单滤波和双边滤波等，本领域技术人员可以根据图像的不同之处选择具体的方式。进一步，对经过滤波后的图像进行二值化处理。在一些实施例中，对图像进行自适应阈值化处理，可以获取白色三角形区域，黑色背景。

图9示意性示出根据本发明的实施例的形态学运算和三角形区域提取的过程的示意图。进一步地，还可以按照图9所示的图像处理顺序对二值化后的图像进行形态学运算、三角形区域提取和形态学闭运算。在一些实施例中，对得到的二值化图像进行形态学开运算以实现去噪处理，使得白色三角形周边的噪声尽可能少并且三角形尽量保持完整。接着对经过去噪的图像，根据最大连通区域面积法，将白色三角形区域提取出来。然后对分割提取出来的白色三角形区域进行形态学闭运算处理，以填充分割提取出来的白色三角形的孔洞，保证白色三角形的完整性。

以上内容完成了对图像的预处理过程，其目的是为了获取更加清晰的图像以便于进行三角形的指向角度的计算。可以理解的是上述图像处理的方式仅仅是示例性的而非限制性的，本领域技术人员可以根据实际应用需求选择合适的图像处理方式。

图10示意性示出根据本发明的实施例的三角形的骨架检测得到的图像的示意图。

如图10所示，对利用前述图像处理过程得到的图像进行Canny边缘检测，从而只保留三角形的三边骨架。进一步需要对得到三角形的骨架轮廓进行直线检测以计算三角形顶点和三角形的指向角度。具体地，对三角形边缘骨架图像进行Hough直线检测之后会得到n条直线line_i(0≤i≤n-1)。此处由于三角形三边有三条直线，检测过程中会有部分边直线重复检测，故而通常n≥3。

图11示意性示出根据本发明的实施例的对三角形的顶点坐标和指向角度进行计算的图像的示意图。

如图11所示，计算每条直线Line_i的斜率k_i、截距b_i及判断斜率是否存在的judge_i值，此处0≤i≤n-1。对于Hough直线检测得到的每一条直线line_i，会得到直线上的两点(x_i0，y_i0)和(x_i1，y_i1)。假设要检测的直线为y_i＝k_ix_i+b_i，judge_i＝0表示斜率不存在，judge_i＝1表示斜率存在。

若x_i0＝x_i1，则表明斜率不存在，judge_i＝0。此时令k_i＝x_i0，b_i＝x_i0；若x_i0≠x_i1，则表明斜率存在judge_i＝1，此时

经过循环计算即可得到检测到的n条直线的斜率k_i(0≤i≤n-1)、截距b_i(0≤i≤n-1)以及斜率是否存在的判断值judge_i(0≤i≤n-1)。

可以通过设置斜率阈值T用于剔除同一条边被多次检测的情况，即通过T筛选剔除斜率很接近的重复直线。在一个应用场景中，由于三角形只有三条边，在计算三边的交点(顶点)时只需要三边对应的三条直线，故而需要对检测得到的n条直线进行筛选，最终仅保留三条直线，也即保留三条直线对应的斜率、截距以及斜率是否存在的判定值。

在一个应用场景中，设三角形三条边对应的斜率、截距以及斜率是否存在的判定值分别为

和

第一条边的斜率、截距及斜率是否存的判断值为

若

则

1≤m≤n-1；

若

并且

则

此时1≤p≤n-1，且p≠m；

其中T为斜率阈值，n为直线检测得到的直线的数量，(k_m，b_m，judge_m)或(k_p，b_p，judge_p)分别为n条直线中其他直线的斜率、截距和斜率是否存在的判定值，m和p为(1，n-1)范围内的任意整数。

在利用上述方式获取三角形的三边后，即可计算任意两边的交点的位置信息。在一个应用场景中，利用前述方式得到三角形三边的斜率和截距以及斜率是否存的判断值

和

后，假设三个交点分别为Point₀(x₀,y₀)，Point₁(x₁,y₁)和Point₂(x₂,y₂)，Point₀(x₀,y₀)为

两条直线的交点，Point₁(x₁,y₁)为

和

两条边直线的交点,Point₂(x₂,y₂)为

和

两条直线的交点。

首先，计算Point₀(x₀,y₀)：若

且

则

若

并且

则

若

并且

则x₀＝x_Center，y₀＝y_Center。

若

并且

则

以此同样的方法计算得到交点Point₁(x₁,y₁)和Point₂(x₂,y₂)。

接着计算转轴坐标O到三个顶点的距离，确定最远距离顶点为三角形指向的方向坐标。具体地，计算三角形转轴坐标O(x_Center，y_Center)和三个顶点的距离，

和

然后对三个距离进行排序，取距离中的最大值对应的点Point_q(x_q,y_q)为最终三角形指向的方向坐标，其中0≤q≤2。进一步，还可以通过三个顶点计算三边的长度的方式得到三角形指向的方向坐标。

然后，计算三角形转轴坐标O(x_Center，y_Center)和方向坐标Point_q(x_q,y_q)的角度Angle，计算方法如下：

若x_q>x_Center并且y_q>y_Center，则斜率

角度Angle＝arctan(k)；

若x_q>x_Center并且y_q<y_Center，则斜率

角度Angle＝arctan(k)+360；

若x_q<x_Center并且y_q>y_Center，则斜率

角度Angle＝arctan(k)；

若x_q<x_Center并且y_q<y_Center，则斜率

角度Angle＝arctan(k)+360；

若x_q＝x_Center并且y_q<y_Center，则角度Angle＝270；

若x_q＝x_Center并且y_q>y_Center，则角度Angle＝90；

若x_q>x_Center并且y_q＝y_Center，则角度Angle＝0；

若x_q<x_Center并且y_q＝y_Center，则角度Angle＝180；

最后，将计算得到的三角形的指向角度转化为分合指示牌的状态。在一个应用场景中，将0-360度分成不同的区域块，每个区域块对应不同的状态，若计算得到的三角形的指向角度落在某个区域块内，则输出该区域块对应的状态。

图12是示出根据本发明实施例的用于识别分合指示牌的状态的设备120的示意框图。该用于识别分合指示牌的状态的设备120可以包括根据本发明实施例的设备1201以及其外围设备和外部网络。如前所述，该设备1201实现设置获取三角形的区域和三角形转轴的位置信息、边缘检测、直线检测、角度计算等操作，以实现前述结合图2或图4所述的本发明的方案。

如图12中所示，设备1201可以包括CPU12011，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备1201还可以包括大容量存储器12012和只读存储器ROM 12013，其中大容量存储器12012可以配置用于存储各类数据以及所需的各种程序，ROM 12013可以配置成存储对于设备1201的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。

进一步，设备1201还包括其他的硬件平台或组件，例如示出的TPU(TensorProcessing Unit，张量处理单元)12014、GPU(Graphic Processing Unit，图形处理器)12015、FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)12016和MLU(Memory Logic Unit)，存储器逻辑单元)12017。可以理解的是，尽管在设备1201中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备1201可以仅包括CPU作为公知硬件平台和另一硬件平台作为本发明的测试硬件平台。

本发明的设备1201还包括通信接口12018，从而可以通过该通信接口12018连接到局域网/无线局域网(LAN/WLAN)1205，进而可以通过LAN/WLAN连接到本地服务器1206或连接到因特网(“Internet”)1207。替代地或附加地，本发明的设备1201还可以通过通信接口12018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代(“3G”)、第四代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中，本发明的设备1201还可以根据需要访问外部网络的服务器1208以及可能的数据库1209。

设备1201的外围设备可以包括显示装置1202、输入装置1203以及数据传输接口1204。在一个实施例中，显示装置1202可以例如包括一个或多个扬声器和/或一个或多个视觉显示器。输入装置1203可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收数据的输入或用户指令。数据传输接口1204可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。

本发明的设备1201的上述CPU 12011、大容量存储器12012、只读存储器ROM12013、TPU 12014、GPU 12015、FPGA 12016、MLU 12017和通信接口12018可以通过总线12019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线12019，CPU 12011可以控制设备1201中的其他硬件组件及其外围设备。

在工作中，本发明的设备1201的处理器CPU 12011可以通过输入装置1203或数据传输接口1204获取媒体数据包，并调取存储于存储器12012中的计算机程序指令或代码对获取到的信息进行处理，以完成媒体数据包中检测信息的填充或确定网络状况。

在本发明的另一个方面，本发明中还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于识别分合指示牌的状态的计算机可读指令，该计算机可读指令被前述一个或多个处理器执行时实现如上述一个或多个实施例中所述的方法。

从上面关于本发明模块化设计的描述可以看出，本发明的设备可以根据应用场景或需求进行灵活地布置而不限于附图所示出的架构。进一步，还应当理解，本发明示例的执行操作的任何模块、单元、组件、服务器、计算机或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有用于识别分合指示牌的状态的方法的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现在前结合附图所描述的方法和操作。

虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (10)

1.一种用于识别分合指示牌的状态的方法，其特征在于，包括：

获取分合指示牌的图像中包含三角形的区域和三角形转轴位置信息；

对所述包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息；以及

根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定所述分合指示牌指示的状态。

2.根据权利要求1所述的方法，其特征在于，所述对所述包含三角形的区域中的三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息包括：

对所述包含三角形的区域进行边缘检测，以确定三角形骨架轮廓；以及

对所述三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息。

3.根据权利要求2所述的方法，其特征在于，所述对所述三角形骨架轮廓进行直线检测，以确定三角形顶点位置信息包括：

对所述三角形骨架轮廓进行霍夫直线检测，得到所述三角形的三边信息；

根据所述三角形的三边信息确定所述三角形的三个顶点的位置信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述三角形骨架轮廓进行霍夫直线检测，得到所述三角形的三边信息包括：

采用霍夫直线检测算法对所述三角形骨架轮廓进行计算，以得到多条直线；

对所述多条直线进行筛选，以确定所述三角形的三边信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述三角形的三边信息确定所述三角形的三个顶点的位置信息包括：

根据三角形的三边的斜率、截距和斜率是否存在的判定值计算得到所述三角形的三个顶点的位置信息。

6.根据权利要求4所述的方法，其特征在于，所述对所述多条直线进行筛选，以确定所述三角形的三边信息包括：

根据所述多条直线的斜率与预设的斜率阈值的关系对所述多条直线进行筛选，以确定所述三角形的三边信息。

7.根据权利要求6所述的方法，其特征在于，其中根据所述多条直线的斜率与预设的斜率阈值的关系对所述多条直线进行筛选，以确定所述三角形的三边信息包括：

设三角形三条边对应的斜率、截距以及斜率是否存在的判定值分别为

和

第一条边的斜率、截距及斜率是否存的判断值为

若

则

若

并且

则

此时1≤p≤n-1，且p≠m；

其中T为斜率阈值，n为直线检测得到的直线的数量，(k_m，b_m，judge_m)或(k_p，b_p，judge_p)分别为n条直线中其他直线的斜率、截距和斜率是否存在的判定值，m和p为(1，n-1)范围内的任意整数。

8.根据权利要求1所述的方法，其特征在于，所述根据三角形转轴位置信息和三角形顶点位置信息确定三角形指向角度，以确定所述分合指示牌指示的状态包括：

根据三角形转轴位置信息和三角形顶点位置信息确定所述三角形转轴和三角形顶点之间的距离；

选取所述距离最大值对应的顶点计算所述三角形指向角度，以确定所述分合指示牌指示的状态。

9.根据权利要求8所述的方法，其特征在于，所述选取所述距离最大值对应的顶点计算所述三角形指向角度，以确定所述分合指示牌指示的状态包括：

根据所述距离最大值对应的顶点和所述三角形转轴相连的直线确定所述三角形指向角度；

将所述三角形指向角度与预设的分合状态区域进行匹配，以确定所述分合指示牌指示的状态。

10.一种用于识别分合指示牌的状态的设备，其特征在于，包括：

处理器；以及

存储器，其存储有用于识别分合指示牌的状态的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据权利要求1-9的任意一项所述的方法。

Images