CN111368824A - 一种仪表识别方法、移动设备及存储介质 - Google Patents

Abstract

本发明公开了一种仪表识别方法、移动设备及存储介质，所述方法包括如下步骤：采用训练好的卷积神经网络对所采集的仪表图像进行初步检测定位，以初步获取仪表检测结果显示区域；利用图像处理方法对初步获取的仪表检测结果显示区域进行识别判读；将识别判读结果返回给预构建的云边协同网络的边缘节点，并通过边缘节点进一步返回给雾节点和云中心。本发明采用卷积神经网络结合图像处理方法对仪表进行识别，能够减少计算量，提高识别结果的准确性及实时性；将计算处理过程由移动设备实现，识别结果通过边缘节点依次返回给雾节点、云中心，支持广大的移动设备接入，能够达到实时可靠传输识别结果的目的，便于云中心处理和分析数据。

Description

一种仪表识别方法、移动设备及存储介质

技术领域

本发明涉及一种仪表识别方法、移动设备及存储介质，属于视觉检测技术领域。

背景技术

目前变电站仪表识别的常规做法是人工识别，人工识别具有较高的灵活性，但在适用性、可靠性和经济效益上不太可观。为此，现有技术中还研发了一种利用远程采集图片或视频的方式进行仪表识别的方法，能够取代人工识别，通过对远程传输到后台的视频或者图像信息进行识别处理，最终得到识别后的结果。远程采集图像视频信息进行处理在很大程度上减轻了人工检测的工作量，在适用性、可靠性、经济性、普遍性方面具有巨大优势。但是随着移动端接入数量的增加以及对于网络实时性和安全性的要求，目前的网络结构由于使用了大量图像视频传输，导致网络时延问题和安全性问题越来越严重，并不能适应安全性和实时性的要求。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种仪表识别方法、移动设备及存储介质，具有更好的适应性和可靠性，同时能够满足网络实时性和安全性要求。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种仪表识别方法，包括如下步骤：

采用训练好的卷积神经网络对所采集的仪表图像进行初步检测定位，以初步获取仪表检测结果显示区域；

利用图像处理方法对初步获取的仪表检测结果显示区域进行识别判读；

将识别判读结果返回给预构建的云边协同网络的边缘节点，并通过边缘节点进一步返回给雾节点和云中心。

结合第一方面，进一步的，所述云边协同网络的构建方法包括如下步骤：

利用雾计算将云扩展到网络边缘，利用雾节点充当网络边缘的云，形成三层架构网络；

其中，所述三层架构网络包括：位于底层的边缘节点、位于中间层的雾节点和位于顶层的云中心。

结合第一方面，进一步的，所述卷积神经网络的训练方法包括如下步骤：

采集多张仪表图像，根据仪表图像中仪表类别进行标签制作和位置标注以构建数据集；

将数据集划分为测试集、验证集及训练集；

将训练集输入至卷积神经网络进行训练，每隔预定的训练次数，采用测试集对卷积神经网络进行测试；

采用验证集对训练好的卷积神经网路进行验证，直至卷积神经网络输出结果符合预期要求。

结合第一方面，进一步的，所述卷积神经网络为引入深度可分离卷积的MobileNet神经网络。

结合第一方面，进一步的，当待识别仪表为数字仪表时，利用图像处理方法对初步检测定位结果进行识别判读的方法包括如下步骤：

利用数字仪表的外观形状及边缘特征，采用Sobel算子进行边缘检测，结合形态学技术对数字仪表所显示的数字字符进行定位；

按照数字字符长宽比例设定阈值对数字字符进行分割；

将分割好的数字字符与标准字符进行模板匹配，若匹配误差在阈值范围内则认为匹配成功，从而得出数字仪表的检测数值。

结合第一方面，进一步的，当待识别仪表为指针仪表时，利用图像处理方法对初步检测定位结果进行识别判读的方法包括如下步骤：

利用指针仪表的边缘和形状特征，提取指针部分，通过细化操作得到指针位置信息；

根据细化得到的指针位置信息，参考标准零刻度指针，利用差影法进行角度计算从而得出指针仪表的指示读数。

第二方面，本发明提供了一种移动设备，包括主控机、图像采集设备及存储介质，所述图像采集装置与主控机通讯连接，用于采集待识别仪表图像；

所述存储介质用于存储指令；

所述主控机用于根据所述指令进行操作以执行前述任一项所述方法的步骤。

结合第二方面，进一步的，还包括移动装置，所述移动装置至少能够承载所述图像采集装置进行移动。

结合第二方面，进一步的，所述主控机采用树莓派3B。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。

与现有技术相比，本发明提供的一种仪表识别方法、移动设备及存储介质所达到的有益效果至少包括：

采用卷积神经网络进行初步检测定位，能够减少计算量以保证实时数据传输；结合图像处理方法对仪表检测结果进行识别判读，可以对各种类型的仪表进行检测结果识别，提高仪表识别效率和准确率；

通过云边协同网络的雾节点进行通信传输，当与边缘节点连接的移动设备进行移动时，雾节点将支持移动设备在雾节点之间进行切换，发现远程云连接受限或不存在响应的环境中，可以利用远程云传输控制消息来请求动态雾资源并促进雾节点之间的切换来促进网络接入，以此保证网络的鲁棒性；

本发明可以应用于变电站仪表识别，不仅能准确的识别仪表检测结果，又能支持广大的移动设备接入达到实时可靠的传输识别结果的目的，便于云中心处理和分析数据，为评估变电站各项指标的安全健康状况提供详实的科学数据。

附图说明

图1是本发明实施例提供的云边协同网络的结构示意图；

图2是发明实施例提供的移动设备的仪器识别方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图2所示，本发明实施例提供了一种仪表识别方法，能够对仪表检测结果快速、准确识别，能够提高检测结果的可靠性和实时性，具体包括如下步骤：

步骤一：采用训练好的卷积神经网络对所采集的仪表图像进行初步检测定位，以初步获取仪表检测结果显示区域；

需要说明的是，对于待识别仪表在进行图像采集时应同时采集多幅，在进行初步检测定位前可以对所采集的仪表图像进行甄选，将模糊、位置偏离、过度曝光的异常图像剔除。

本发明实施例中卷积神经网络选用MobileNet神经网络，更具体的是引入深度可分离卷积的MobileNet神经网络，深度可分离卷积可大幅度降低运算量，从而进一步提高识别结果的实时性。对于卷积神经网络的训练方法，本发明实施例是采用下述方法实现的：

S101：采集多张仪表图像，根据仪表图像中仪表类别进行标签制作和位置标注以构建数据集；

S102：将数据集划分为测试集、验证集及训练集；

S103：将训练集输入至卷积神经网络进行训练，每隔预定的训练次数，采用测试集对卷积神经网络进行测试；

S104：采用验证集对训练好的卷积神经网路进行验证，直至卷积神经网络输出结果符合预期要求。

步骤二：利用图像处理方法对初步获取的仪表检测结果显示区域进行识别判读；

如图2所示，针对仪表的类型分为数字仪表和指针仪表，为此，本发明实施例对数字仪表和指针仪表分别采用各自的图像处理方法进行处理，以增强本发明实施例提供的仪表识别方法的灵活性和适应性，具体如下：

当待识别仪表为数字仪表时，所述图像处理方法包括如下步骤：

S201、图像预处理：将图像采集设备采集到的原始仪表图像经过灰度化处理、图像增强处理及二值化处理等操作，转换成便于定位的预处理图像；

S202、仪表定位：利用数字仪表的外观形状及边缘特征，采用Sobel算子进行边缘检测，结合形态学技术对数字仪表检测显示的数字字符进行定位；

S203、字符分割：对所定位的数字字符进行连通域寻找，若连通域的长度大于设定的阈值则进行切割，按照数字字符长宽比例设定阈值对数字字符进行分割；

S204、仪表识别：利用分割好的数字字符与标准字符进行模板匹配，若匹配误差在阈值范围内则认为匹配成功，从而数字仪表所检测数值。

对于指针仪表，其图像处理方法与数字仪表的图像处理方法不同之处主要在于无需进行字符分割。此外，针对指针仪表，对于步骤S202所述的仪表定位具体方法是：利用指针仪表的边缘和形状特征，提取指针部分，进行细化操作进而得到指针位置信息。对于步骤S204所述的仪表识别具体方法是：针对指针仪表，根据细化获取的指针位置信息，参考标准零刻度指针，利用差影法进行角度计算从而间接得出指针指示的读数。

步骤三：将识别判读结果返回给预构建的云边协同网络的边缘节点，并通过边缘节点进一步返回给雾节点和云中心。

如图1所示，是本发明实施例提供的云边协同网络的结构示意图，包括位于顶层的云中心、位于中间层的雾节点和位于底层的边缘节点。其中，云中心主要负责信息的综合和处理，雾节点负责网络信息的通信传输，边缘节点负责对接移动设备。移动设备在执行本发明实施例所述的仪表识别方法时，首先应当接入云边协同网络，具体方法可以是：在移动设备上添加通信协议接入到边缘节点中，然后测试不同的移动设备是否都能回传信息给云中心以及云中心是否可以返回信息给移动设备。移动设备利用嵌入式方法直接在本地进行仪表识别，边缘节点可以将移动设备所识别的结果逐步返回给雾节点及云中心。

雾节点的通信稳定性是云边协同网络的关键因素。云边协同网络来自边缘层的通信将涉及到从移动设备收集到的高速大数据传输以及云边协同网络对于动态请求的响应。考虑到实时性、大容量和移动性要求，这些通信都要求低延迟而且可靠。当移动设备进行移动时，雾节点将支持移动设备在雾节点之间进行切换。当移动设备发现远程云连接受限或不存在响应的环境中，可以利用远程云传输控制消息来请求动态雾资源并促进雾节点之间的切换来促进网络接入，以此保证网络的鲁棒性。

该网络结构利用边缘层移动设备进行实时计算处理，只把结果逐步返回到雾节点和云中心，减少了中间环节的大量数据传输。其中雾节点可根据移动设备的需求进行动态接入，有足够的容错机制，特别是在互联网连接性较低或存在间歇性连接时、边缘端存储较低和或计算资源较低造成延时、节点在移动过程中以及缺少固定或预定的雾节点时都有相应的策略保证网络的鲁棒性。可见利用云边协同网络的方法可以对网络的实时性和安全性进行优化，达到更加稳定安全的效果。

作为本发明的一种实施例，所述云边协同网络的构建方法包括如下：利用雾计算将云扩展到网络边缘，利用雾节点充当边缘的云从而形成三层架构的云边协同网络。

本发明实施例提供的仪表识别方法，不直接依赖于云中心端处理图像数据，而是将计算处理过程交给与边缘节点连接的移动设备，由移动设备识别后将结果通过边缘节点返回给雾节点，再由雾节点返回给云中心，既能准确的识别仪表，又能支持广大的移动设备接入，达到实时可靠的传输识别结果的目的，便于云中心处理和分析数据。应用于变电站仪表识别中是，云中心可以再收到识别结果后会与库中的先验信息对比，综合分析各指标的因素和权重，根据过去得到的趋势和现有的信息判别故障原因并给出维护建议，能满足变电站仪表实时检测综合分析故障原因的需求。用户根据给出的故障原因进行处理并确认故障后，系统会自动记录此次数据并加入到库中以便完善库中的信息供后续判定。

本发明实施例还提供了一种移动设备，能够实现前述的仪表识别方法。如图2所示，它包括主控机、图像采集设备及存储介质，所述图像采集装置与主控机通讯连接，用于采集待识别仪表图像；所述存储介质用于存储指令；所述主控机用于根据所述指令进行操作以执行前述任一项所述方法的步骤。

为能够实现移动设备的自移动，本发明实施例所提供的移动设备还包括移动装置，该移动装置至少能够承载所述图像采集装置进行移动。比如：采用变电站巡检机器人，将光学成像相机安装于变电站巡检机器人上，能够实现不同仪表的光学图像采集。主控机也可以设置于移动装置上，可以与图像采集装置同步移动，作为本发明实施例的另一种变形，主控机可以固定于指定场所，通过无线通讯方式与图像采集装置进行通信连接。

作为本发明的一种实施例，所述主控机可以采用树莓派3B。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种仪表识别方法，其特征在于，包括如下步骤：

采用训练好的卷积神经网络对所采集的仪表图像进行初步检测定位，以初步获取仪表检测结果显示区域；

利用图像处理方法对初步获取的仪表检测结果显示区域进行识别判读；

将识别判读结果返回给预构建的云边协同网络的边缘节点，并通过边缘节点进一步返回给雾节点和云中心。

2.根据权利要求1所述的仪表识别方法，其特征在于，所述云边协同网络的构建方法包括如下步骤：

利用雾计算将云扩展到网络边缘，利用雾节点充当网络边缘的云，形成三层架构网络；

其中，所述三层架构网络包括：位于底层的边缘节点、位于中间层的雾节点和位于顶层的云中心。

3.根据权利要求1所述的仪表识别方法，其特征在于，所述卷积神经网络的训练方法包括如下步骤：

采集多张仪表图像，根据仪表图像中仪表类别进行标签制作和位置标注以构建数据集；

将数据集划分为测试集、验证集及训练集；

将训练集输入至卷积神经网络进行训练，每隔预定的训练次数，采用测试集对卷积神经网络进行测试；

采用验证集对训练好的卷积神经网路进行验证，直至卷积神经网络输出结果符合预期要求。

4.根据权利要求1至3任一项所述的仪表识别方法，其特征在于，所述卷积神经网络为引入深度可分离卷积的MobileNet神经网络。

5.根据权利要求1所述的仪表识别方法，其特征在于，当待识别仪表为数字仪表时，利用图像处理方法对初步检测定位结果进行识别判读的方法包括如下步骤：

利用数字仪表的外观形状及边缘特征，采用Sobel算子进行边缘检测，结合形态学技术对数字仪表所显示的数字字符进行定位；

按照数字字符长宽比例设定阈值对数字字符进行分割；

将分割好的数字字符与标准字符进行模板匹配，若匹配误差在阈值范围内则认为匹配成功，从而得出数字仪表的检测数值。

6.根据权利要求1所述的仪表识别方法，其特征在于，当待识别仪表为指针仪表时，利用图像处理方法对初步检测定位结果进行识别判读的方法包括如下步骤：

利用指针仪表的边缘和形状特征，提取指针部分，通过细化操作得到指针位置信息；

根据细化得到的指针位置信息，参考标准零刻度指针，利用差影法进行角度计算从而得出指针仪表的指示读数。

7.一种移动设备，其特征在于，包括主控机、图像采集设备及存储介质，所述图像采集装置与主控机通讯连接，用于采集待识别仪表图像；

所述存储介质用于存储指令；

所述主控机用于根据所述指令进行操作以执行根据权利要求1~6任一项所述方法的步骤。

8.根据权利要求7所述的移动设备，其特征在于，还包括移动装置，所述移动装置至少能够承载所述图像采集装置进行移动。

9.根据权利要求7所述的移动设备，其特征在于，所述主控机采用树莓派3B。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~6任一项所述方法的步骤。

Images