CN112560983B - 一种仪表识别方法及装置 - Google Patents

Abstract

本申请公开了一种仪表识别方法及装置，用以解决现有的仪表识别方式中图像采集设备位置需要固定，且不能独立使用采集设备进行检测的问题。通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；训练后的第一神经网络模型用于确定仪表图像中表盘的位置与型号；通过图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；训练后的第二神经网络模型用于确定仪表图像中指针的关键点，以定位指针位置；以及用于确定指针所在窗口的关键点，以定位窗口位置；其中，第一神经网络模型与第二神经网络模型不同。本申请通过上述方法，简化识别步骤，提高对仪表识别的灵活性。

Description

一种仪表识别方法及装置

技术领域

本申请涉及电力技术领域，尤其涉及一种仪表识别方法及装置。

背景技术

指针式仪表是变电站的一种常见测量仪器，广泛的应用在避雷器、压力表、油温表、电流表等设备中。由于设备分布分散、恶劣环境、天气干扰等因素使得人工巡检计数的方式存在易出错、不及时、劳动量大、数据管理难等问题。不利于现场设备的维护和检修。

现有对仪表识别的方式，主要分为图像预处理、仪表盘定位、指针检测以及读数识别四个步骤。其在实际应用中对参数依赖性强，难以应对反光、阴影、背景复杂等问题。并且现有的仪表识别方法使用的仪表类型单一，同一种仪表识别方法只能对同一类型的仪表进行识别。同时仪表识别过程中，需要用到预设点的标注，例如，将预设点标注在仪表上，或者将预设点标注在模板图像上，将采集的图像与预设点进行比对，因此对应的图像采集设备的采集方式有要求，需要图像采集设备的位置不能变动。

发明内容

本申请实施例提供了一种仪表识别方法及装置，用以解决现有的仪表识别方式因预设标记而造成的图像采集设备位置需要固定，且不能独立使用采集设备进行检测的技术问题。

一方面，本申请实施例提供了一种仪表识别方法。通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；训练后的第一神经网络模型用于确定所述指针式仪表图像中表盘的位置与型号；通过若干指针式仪表图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；训练后的第二神经网络模型用于确定指针式仪表图像中指针的关键点，以定位指针的位置；以及用于确定指针所在窗口的关键点，以定位窗口的位置；其中，第一神经网络模型与所述第二神经网络模型不同。

本申请实施例通过采集的图像样本对第一神经网络模型进行训练，得到用于标注图像中表盘位置与表盘型号的训练后的第一神经网络模型。本申请实施例再用相同的图像样本对第二神经网络模型进行训练，得到用于标注出表盘中指针位置与指针所在窗口的关键点。以此，本申请实施例通过将目标检测与关键点检测技术相结合的方法，实现了仅需要摄像机就可以完成表盘读数检测的目的。不再需要固定摄像机的位置，摆脱了传统算法中需要提前在仪表上或者模板图像中进行标记的繁琐步骤。进而对仪表的识别过程更为便捷灵活。

在本申请的一种实现方式中，对第二神经网络模型进行训练，得到训练后的第二神经网络模型之后，还包括：将待测仪表图像输入训练后的第一神经网络模型，得到待测图像中表盘的位置与型号；将待测仪表图像，与得到的待测仪表图像中表盘的位置与型号，同时输入所述训练后的第二神经网络模型，得到待测仪表图像中指针的起点位置坐标与终点位置坐标，以及指针所在窗口的关键点坐标；根据待测图像中指针的起点位置坐标与终点位置坐标，以及指针所在表盘中的零刻度线位置坐标与满刻度线位置坐标，以确定待测仪表图像中的指针读数。

本申请实施例通过将待测图像放入训练后的第一神经网络模型，得到图像中表盘的位置与型号。再将标注后的表盘与表盘的型号放入训练后的第二神经网络模型，以此得到表盘内指针的位置。本申请实施例通过两个不同的神经网络模型配合使用，得到的表盘的型号可以确定表盘中指针的读数范围。进而可以快速准确的确定指针的读数。

在本申请的一种实现方式中，根据所述待测图像中指针的起点位置坐标与终点位置坐标，以及指针所在表盘中的零刻度线位置坐标与满刻度线位置坐标，以确定所述待测仪表图像中的指针读数之前，还包括：将得到的所述待测仪表图像中指针的起点位置与终点位置，与所述指针所在窗口的关键点位置，通过热力图方式展现出来；通过非极大抑制算法对热力图中指针起点与终点的关键点图像，与指针所在窗口的关键点图像进行计算，使热力图中关键点图像的范围进行缩小。

本申请实施例通过使用非极大抑制算法，对得到的热力图中关键点图像进行计算，使关键点图像的范围进行缩小。从而使本申请实施例得到的关键点位置更为精准，同时，通过关键点连线得到的指针也更为精细，提高待测图像中指针读数的精确性。

在本申请的一种实现方式中，同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标，具体包括：通过训练后的第一神经网络模型对所述待测仪表图像中的表盘进行标注，通过标注出的表盘确定所述表盘的型号；通过训练后的第二神经网络模型，对待测仪表图像中的若干指针的起点与终点，分别进行标注，以确定指针在表盘的位置；对待测仪表图像中指针所在窗口中，同时具有水平与垂直特性的关键点进行标注，通过水平与垂直特性的关键点的坐标，对标注出的表盘图像进行透视变换。

本申请实施例第一神经网络模型选择Faster RCNN神经网络模型，该模型综合性能较高，目标识别速度也较快。因此不仅可以确保目标检测的准确性，同时也可以缩短检测时间。本申请实施例选择HRNet神经网络模型作为第二神经网络模型，该模型分辨率较高，因此对指针位置的定位较为精确，进而使得到的指针的读数更为准确。

在本申请的一种实现方式中，同时输入训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标之后，还包括：通过对指针所在窗口的关键点的坐标进行透视变换，得到正视图状态下的表盘图像与对应的单应性矩阵；通过单应性矩阵，以及待测仪表图像中指针的起点坐标与终点坐标，对指针的起点坐标与终点坐标进行透视变换，得到正视图状态下指针的起点坐标与终点坐标。

本申请实施例通过指针所在窗口的关键点的坐标，对表盘图像进行透视变换，得到正视图状态下的表盘图像，因此本申请实施例中的图像采集设备不再对位置进行限定，提高了设备使用的灵活性。并且，本申请实施例实现对指针的透视变换。因此，本申请实施例可以在正视图状态下计算指针读数，解决了因拍摄角度差异而造成的识别精度上的损失。

在本申请的一种实现方式中，所述指针的起点与终点进行透视变换，得到正视图状态下指针的起点坐标与终点坐标之后，还包括：在正视图状态下，确定待测仪表图像中零刻度线与满刻度线分别与水平线的夹角，以此确定零刻度线与满刻度线之间的夹角；将待测仪表图像中属于同一指针的关键点进行连线，确定该指针与零刻度线夹角的角度；通过公式确定所述待测图像中指针所指示的读数；其中，V是指针的读数；M是仪表的量程；α为指针与零刻度线夹角的角度；β为零刻度线与满度线夹角的角度。

在本申请的一种实现方式中，对第二神经网络模型进行训练，得到训练后的第二神经网络模型之前，还包括：使用若干指针式仪表图像样本数据集中的训练集以及第一标注文件，对所述第一神经网络模型进行训练，得到训练后的第一神经网络模型；其中，第一标注文件包括以下任意一项或多项：训练集图像分别对应的带有表盘外接矩形框的图像，以及该表盘对应的仪表的型号；所述指针式仪表图像样本数据集包括：若干由图像采集设备采集的指针式仪表图像；使用若干指针式仪表图像样本数据集中的训练集、第二标注文件以及第一标注文件，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；其中，第二标注文件包括以下任意一项或多项：训练集图像分别对应的指针的起点位置坐标与终点位置坐标，指针所在窗口的关键点坐标。

在本申请的一种实现方式中，通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型之前，还包括：通过若干指针式仪表图像样本数据集中的测试集，对第一神经网络模型进行测试；将得到的第一检测结果与第三标注文件中的标注位置进行比较，确定第一神经网络模型标注表盘位置的精确度，以及标注表盘类型的精确度；其中，第一检测结果包括以下任意一项或多项：标注出的表盘外接矩形框的位置，该表盘所对应的型号；第三标注文件包括一下任意一项或多项，测试集图像分别对应的表盘外接矩形框的位置，以及该表盘对应的型号。

在本申请的一种实现方式中，将得到的第一检测结果与第三标注文件中的标注位置进行比较之后，还包括：通过若干指针式仪表图像样本数据集中的测试集与所述第一检测结果，对第二神经网络模型进行测试；将得到的第二检测结果与第四标注文件中的标注点进行比较，确定训练后的第二神经网络模型标注关键点位置的精确度，以及标注的关键点处于正确目标上的精确度；其中，第二检测结果为标注出的指针与指针所在窗口的位置信息；第四标注文件包括以下任意一项或多项，测试集图像分别对应的指针的起点位置坐标与终点位置坐标，指针所在窗口的关键点坐标。

本申请实施例在对第二神经网络模型进行测试的过程中，会将测试集图像与第一神经网络模型的检测结果同时输入至第二神经网络模型中。使得到的指针的起点与终点的位置与表盘零刻度线与满刻度线相对应。以此，通过表盘的型号确定表盘中读数的范围与指针的准确读数，进而提高对指针度数的效率。

另一方面，本申请实施例还提供了一种仪表识别装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；训练后的第一神经网络模型用于确定所述指针式仪表图像中表盘的位置与型号；通过若干指针式仪表图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；训练后的第二神经网络模型用于确定所述指针式仪表图像中指针的关键点，以定位指针的位置，以及用于确定指针所在窗口的关键点，以定位窗口的位置；其中，第一神经网络模型与第二神经网络模型不同。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种仪表识别方法的流程图；

图2为本申请实施例提供的一种表盘与关键点的标注图；

图3为本申请实施例提供的一种训练后的第一神经网络模型标注出的表盘图；

图4为本申请实施例提供的一种训练后的第二神经网络模型标注出的关键点的热力图；

图5为本申请实施例提供的一种指针关键点连线图；

图6为本申请实施例提供的一种仪表识别装置内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的通过对表盘或者模板图像进行标注，再将拍摄的图片与表盘或者模板图像中的标注进行对比，确定表盘中指针读数的方式。不仅需要固定摄像机的位置，还需要用到标注图像这一过程，步骤较为繁琐，识别过程不灵活。并且，对拍摄角度要求也较高，一旦拍摄的角度出现偏移，就会使得指针读数出现误差。

为了解决上述问题，本申请实施例提供了一种仪表识别方法及装置。使用数据集对第一神经网络模型进行训练，使其可识别图像中表盘的位置与型号。再通过相同的数据集对第二神经网络模型进行训练，使其可以对表盘中的指针，以及指针所在窗口中的关键点进行标注。本申请实施例将目标检测与关键点检测技术相互结合，可以使得到的关键点位置，与表盘中零刻度线、满刻度线相对应，进而可以准确确定指针的度数。此外，本申请实施例还解决了拍摄角度偏移的问题，通过标注的关键点坐标进行透视变换，即可得到正视图状态下指针的图像。通过将不同角度中的图像转换为正视图，可以减小指针读数误差，提高对仪表指针读数识别的精确度。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种仪表识别方法的流程图。如图1所示，仪表识别方法包括以下步骤：

S101、标注平台对若干指针式仪表图像样本数据集进行标注。

在本申请的一个实施例中，使用图像采集设备对指针式仪表图像进行采集，并对采集的图像中的表盘进行标注。

具体的，将图像采集设备采集到的若干指针式仪表图像中的表盘进行标注。如图2提供的一种表盘与关键点的标注图所示，图中外接矩形框H即为表盘所做的标注。

需要说明的是，本申请实施例对表盘进行标注时，并不限定标注框为矩形框。可以根据实际应用中仪表的外形对标注框的形状进行更改。

在本申请的一个实施例中，将采集的指针式仪表图像中的关键点进行标注。其中，关键点可以包括：仪表中指针的起点与终端，以及指针所在窗口中具有水平与垂直特性的点。其中，具有水平与垂直特性的点包括，指针所在窗口的左上角点、右上角点、左下角点、右下角点。

具体的，如图2提供的一种表盘与关键点的标注图所示，图中标注的A2、A1为表盘中第一个指针的起点与终点。A4、A3为表盘中第二个指针的起点与终点。B1、B2、B3、B4分别为表盘中第二个指针所在窗口中的四个关键点，并且，B1、B2、B3、B4四个关键点为同时具有水平与垂直特性的关键点。本申请实施例可以通过四个同时具有水平与垂直特性的关键点的坐标，对图像进行透视变换。

需要说明的是，本申请实施例以及说明书附图是以某地伏安避雷器为例，对其仪表图像进行标注。可以根据实际应用的仪表型号的不同，对关键点进行不同位置与不同数量的标注。

S102、服务器对第一神经网络模型进行训练。

在本申请的一个实施例中，将标注好的若干指针式仪表图像分为训练集与测试集。使用训练集图像对第一神经网络模型进行训练，使用测试集图像对第一神经网络模型进行测试。

在本申请的一个实施例中，对表盘进行检测的第一神经网络模型需要有较高检测速度，以及较高的对目标识别的精确度。因此，本申请实施例中选择Faster RCNN神经网络模型作为第一神经网络模型。

以下第一神经网络模型进行训练的过程，都以Faster RCNN神经网络模型为例进行说明。

具体的，使用训练集图像以及第一标注json文件，对Faster RCNN神经网络模型进行训练。得到训练后的Faster RCNN神经网络模型。

在本申请的一个实施例中，第一标注json文件包括以下任意一项或多项：训练集图像分别对应的带有表盘外接矩形框的图像，以及该表盘对应的仪表的型号。其中，json(JavaScript Object Notation)是一种轻量级的数据交换格式，易于阅读和编写，同时也易于机器解析和生成。

在本申请的一个实施例中，使用测试集图像对Faster RCNN神经网络模型进行测试。将得到的第一检测结果与第三标注json文件中的标注位置进行比较，确定第一神经网络模型标注表盘位置的精确度，以及标注表盘类型的精确度。

在本申请的一个实施例中，第一检测结果包括以下任意一项或多项：标注出的表盘外接矩形框的位置，该表盘所对应的型号。第三标注文件包括一下任意一项或多项，测试集图像分别对应的表盘外接矩形框的位置，以及该表盘对应的型号。

具体的，将没有任何标注的测试集图像输入至Faster RCNN神经网络模型，FasterRCNN神经网络模型会将图像中的表盘用矩形框标注出来。并同时根据标注出的表盘的样式，输出该表盘的型号。将标注出的表盘与得到的仪表的型号，与第三标注json文件中提前标注出表盘位置，并标注出该表盘型号的图像进行比较。

在本申请的一个实施例中，在标注出的仪表的型号与第三标注json文件中提前标注的型号相同。且标注出的表盘的位置与第三标注json文件中的标注位置相同时，则可以确定训练后的Faster RCNN神经网络模型的精确度符合要求。

S103、服务器对第二神经网络模型进行训练。

在本申请的一个实施例中，使用训练集图像对第二神经网络模型进行训练，使用测试集图像对第二神经网络模型进行测试。

在本申请的一个实施例中，对关键点检测的第二神经网络模型需要有较高的分辨率，以便于对指针进行精确定位。因此，本申请实施例中选择HRNet神经网络模型作为第二神经网络模型。

以下第二神经网络模型进行训练的过程，都以HRNet神经网络模型为例进行说明。

在本申请的一个实施例中，使用若干指针式仪表图像样本数据集中的训练集、第二标注json文件，对HRNet神经网络模型进行训练。得到训练后的HRNet神经网络模型。

在本申请的一个实施例中，第二标注json文件包括以下任意一项或多项：训练集图像分别对应的指针的关键点，指针所在窗口的关键点。

在本申请的一个实施例中，通过若干指针式仪表图像样本数据集中的测试集图像。与Faster RCNN神经网络模型标注出的测试集图像中表盘的位置，以及表盘的型号，对HRNet神经网络模型进行测试。

具体的，将没有任何标注的测试集图像输入至HRNet神经网络模型。HRNet神经网络模型会将图像中指针的起点与终点，以及指针所在窗口中具有水平与垂直特性的关键点标注出来。

在本申请的一个实施例中，将标注出的指针的起点与终点，以及具有水平与垂直特性的点，与第四标注json文件中的标注点进行比较。确定训练后的第二神经网络模型标注关键点位置的精确度，以及标注的关键点处于正确目标上的精确度。

在本申请的一个实施例中，第四标注文件包括以下任意一项或多项。测试集图像分别对应的指针的关键点，指针所在窗口的关键点。

在本申请的一个实施例中，在标注出的表盘中指针的起点与终点的标注点与第四标注json文件中的相同。且标注出的指针所在窗口中的关键点位置与第四标注json文件中的标注位置相同时，则可以确定训练后的HRNet神经网络模型的精确度符合要求。

在本申请的一个实施例中，训练后的HRNet神经网络模型，其作用是关键点检测。可以将表盘中指针的起点与终点进行标注，以此确定指针在表盘中的位置。以及还可以将指针所在窗口中，同时具有水平与垂直特性的关键点进行标注。本申请实施例通过水平与垂直特性的关键点的坐标，可以对标注出的表盘图像进行透视变换。

S104、仪表识别装置确定待测仪表图像中的表盘位置与仪表型号，并对表盘中的关键点进行标注。

在本申请的一个实施例中，将待测图像输入训练后的Faster RCNN神经网络模型，得到待测图像中表盘的位置与型号。

具体的，将待测图像输入至训练后的Faster RCNN神经网络模型中，Faster RCNN神经网络模型，将待测图像中的表盘用外接矩形框标注出来。例如，图3为本申请实施例提供的一种训练后的第一神经网络模型标注出的表盘图，图3中矩形框F即为标注出来的待测图像中表盘的外接矩形框。同时，还可以根据标注出的表盘，确定该表盘的型号。

在本申请的一个实施例中，将所述待测仪表图像，与得到的待测仪表图像中表盘的位置与型号，同时输入训练后的HRNet神经网络模型。得到待测仪表图像中指针的关键点，以及指针所在窗口的关键点。

具体的，将待测图像，以及通过Faster RCNN神经网络模型标注出的待测图像中表盘的位置，以及仪表的型号，同时输入训练后的HRNet神经网络模型。HRNet神经网络模型可以将该表盘中的指针的起点与终点，以及指针所在窗口中具有水平与垂直特性的关键点标注出来。

本申请实施例通过将目标检测与关键点检测技术相结合的方法，不再需要固定摄像机的位置。摆脱了传统算法中需要提前在仪表上或者模板图像中进行标记的繁琐步骤，进而对仪表的识别过程更为便捷灵活。

例如，图4为本申请实施例提供的一种训练后的第二神经网络模型标注出的关键点的热力图。图中C2、C1分别为待测图像中第一个指针的起点与终点，C4、C3分别为待测图像中第二个指针的起点与终点。D1、D2、D3、D4分别为第二个指针所在窗口中同时具有水平与垂直特性的关键点。

在本申请的一个实施例中，将所述待测图像中指针的起点位置与终点位置，分别与指针所在表盘中的零刻度线与满刻度线进行对比。以确定所述待测仪表图像中的指针读数。

S105、仪表识别装置确定待测图像中指针的读数。

在本申请的一个实施例中，通过对指针所在窗口的关键点的坐标进行透视变换，得到正视图状态下的表盘图像与对应的单应性矩阵。通过单应性矩阵，以及待测仪表图像中指针的起点坐标与终点坐标，对指针的起点与终点进行透视变换，得到正视图状态下指针的起点坐标与终点坐标。

具体的，以待测图像的左边缘边界线与上边缘边界线的交点为原点建立坐标轴，以向右延伸方向为x轴，向下延伸方向为y轴。在待测图像中，确定标注出的同时具有水平与垂直特性的关键点的坐标值。例如，本申请实施例标注出四个具有水平与垂直特性的关键点，分别为指针所在窗口的左上角点、右上角点、左下角点、右下角点。利用这四个关键点的坐标值计算对应的单应性矩阵，根据得到的单应性矩阵，生成正视图状态下的坐标网络。将待测图像映射到正视图状态下的坐标网络中，即可得到正视图状态下的待测图像。同时，将待测图像中指针的起点与终点所对应的坐标，分别映射到正视图状态下的坐标网络，即可得到正视图状态下指针的起点坐标与终点坐标。

本申请实施例通过对指针的透视变换，可以使图像采集设备不再对位置进行限定，提高了设备使用的灵活性。并且，本申请实施例可以在正视图状态下计算指针读数，解决了因拍摄角度差异而造成的识别精度上的损失。

在本申请的一个实施例中，将得到的待测仪表图像中指针的起点位置与终点位置，与指针所在窗口的关键点位置，通过热力图方式展现出来。通过非极大抑制算法对热力图中指针起点与终点的关键点图像，与指针所在窗口的关键点图像进行计算，使热力图中关键点图像的范围进行缩小。

例如，设定热力图标注的任意一个关键点图像中有6个目标框，分别确定每个目标框所框出的图像中，属于关键点的图像在整个目标框中的占比。选择出占比最大的目标框，并计算该目标框分别与其他5个目标框的重叠率是否超过第一阈值0.5。去掉超过第一阈值0.5的目标框，并从未超过第一阈值0.5的目标框中继续选择重叠率不超过第二阈值的目标框。最终剩下的目标框中的图像即为将关键点范围缩小后的关键点范围。

需要说明的是，本申请实施例中的第一阈值优选为0.5，但并不仅仅限定为0.5。

本申请实施例通过使用非极大抑制算法，对得到的热力图中关键点图像进行计算，可以使关键点图像的范围进行缩小。进而本申请实施例得到的关键点位置更为精准，同时，通过关键点连线得到的指针也更为精细，提高待测图像中指针读数的精确性。

在本申请的一个实施例中，对范围缩小后的指针的起点与终点进行连接。图5为本申请实施例提供的一种指针关键点连线图，如图所示，E2、E1所在连线中，E2、E1分别为第一个指针的起点与终点。E3、E4所在连线中，E3、E4分别为第二个指针的起点与终点。本申请实施例通过指针所在连线确定指针与水平线的夹角。

在本申请的一个实施例中，在正视图状态下，确定待测仪表图像中零刻度线与满刻度线分别与水平线的夹角，以此确定零刻度线与满刻度线之间的夹角。

例如，零刻度线与水平线的夹角为30°，满刻度线与同一方向的水平线的夹角为150°。那么，可以得出零刻度线与满刻度线的夹角为120°。

在本申请的一个实施例中，将待测仪表图像中属于同一指针的关键点进行连线，确定该指针与零刻度线夹角的角度。通过公式确定所述待测图像中指针所指示的读数。其中，V是指针的读数，M是仪表的量程。α为指针与零刻度线夹角的角度，β为零刻度线与满度线夹角的角度。

例如，确定待测仪表中零刻度线与满刻度线的夹角为120°，指针与零刻度线的角度为30°，仪表量程为30。可以计算指针的读数最终得到指针读数为7.5。

图6为本申请实施例提供的仪表识别装置内部结构示意图。

本申请实施例提供的一种仪表识别装置，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；所述训练后的第一神经网络模型用于确定所述指针式仪表图像中表盘的位置与型号。

通过所述若干指针式仪表图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；所述训练后的第二神经网络模型用于确定所述指针式仪表图像中指针的关键点，以定位所述指针的位置，以及用于确定所述指针所在窗口的关键点，以定位所述窗口的位置。

其中，第一神经网络模型与所述第二神经网络模型不同。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种仪表识别方法，其特征在于，所述方法包括：

通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；所述训练后的第一神经网络模型用于确定所述指针式仪表图像中表盘的位置与型号；

通过所述若干指针式仪表图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；所述训练后的第二神经网络模型用于确定所述指针式仪表图像中指针的关键点，以定位所述指针的位置；以及用于确定所述指针所在窗口的关键点，以定位所述窗口的位置；其中，所述指针的关键点包括，仪表中指针的起点与终端；所述用于确定所述指针所在窗口的关键点的点包括，指针所在窗口的左上角点、右上角点、左下角点、右下角点；

其中，第一神经网络模型与所述第二神经网络模型不同；

所述对第二神经网络模型进行训练，得到训练后的第二神经网络模型之后，所述方法还包括：

将待测仪表图像输入所述训练后的第一神经网络模型，得到所述待测图像中表盘的位置与型号；

将所述待测仪表图像，与得到的所述待测仪表图像中表盘的位置与型号，同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标；

根据所述待测图像中指针的起点位置坐标与终点位置坐标，以及指针所在表盘中的零刻度线位置坐标与满刻度线位置坐标，以确定所述待测仪表图像中的指针读数；

所述同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标，具体包括：

通过训练后的第一神经网络模型对所述待测仪表图像中的表盘进行标注，通过标注出的表盘确定所述表盘的型号；

通过训练后的第二神经网络模型，对所述待测仪表图像中的若干指针的起点与终点，分别进行标注，以确定指针在所述表盘的位置；

对所述待测仪表图像中指针所在窗口中，同时具有水平与垂直特性的关键点进行标注，通过所述水平与垂直特性的关键点的坐标，对标注出的表盘图像进行透视变换；

所述同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标之后，所述方法还包括：

通过对所述指针所在窗口的关键点的坐标进行透视变换，得到正视图状态下的表盘图像与对应的单应性矩阵；

通过所述单应性矩阵，以及待测仪表图像中指针的起点坐标与终点坐标，对所述指针的起点坐标与终点坐标进行透视变换，得到正视图状态下指针的起点坐标与终点坐标。

2.根据权利要求1所述的一种仪表识别方法，其特征在于，所述根据所述待测图像中指针的起点位置坐标与终点位置坐标，以及指针所在表盘中的零刻度线位置坐标与满刻度线位置坐标，以确定所述待测仪表图像中的指针读数之前，所述方法还包括：

将得到的所述待测仪表图像中指针的起点位置与终点位置，与所述指针所在窗口的关键点位置，通过热力图方式展现出来；

通过非极大抑制算法对所述热力图中指针起点与终点的关键点图像，与指针所在窗口的关键点图像进行计算，使热力图中关键点图像的范围进行缩小。

3.根据权利要求1所述的一种仪表识别方法，其特征在于，所述指针的起点坐标与终点坐标进行透视变换，得到正视图状态下指针的起点坐标与终点坐标之后，所述方法还包括：

在所述正视图状态下，确定所述待测仪表图像中零刻度线与满刻度线分别与水平线的夹角，以此确定所述零刻度线与满刻度线之间的夹角；

将所述待测仪表图像中属于同一指针的关键点进行连线，确定该指针与零刻度线夹角的角度；

通过公式确定所述待测图像中指针所指示的读数；其中，V是指针的读数；M是仪表的量程；α为指针与零刻度线夹角的角度；β为零刻度线与满度线夹角的角度。

4.根据权利要求1所述的一种仪表识别方法，其特征在于，所述对第二神经网络模型进行训练，得到训练后的第二神经网络模型之前，所述方法还包括：

使用所述若干指针式仪表图像样本数据集中的训练集以及第一标注文件，对所述第一神经网络模型进行训练，得到训练后的第一神经网络模型；其中，所述第一标注文件包括以下任意一项或多项：所述训练集图像分别对应的带有表盘外接矩形框的图像，以及该表盘对应的仪表的型号；所述指针式仪表图像样本数据集包括：若干由图像采集设备采集的指针式仪表图像；

使用所述若干指针式仪表图像样本数据集中的训练集、第二标注文件以及所述第一标注文件，对所述第二神经网络模型进行训练，得到训练后的第二神经网络模型；其中，所述第二标注文件包括以下任意一项或多项：所述训练集图像分别对应的指针的起点位置坐标与终点位置坐标，指针所在窗口的关键点坐标。

5.根据权利要求1所述的一种仪表识别方法，其特征在于，所述通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型之前，所述方法还包括：

通过所述若干指针式仪表图像样本数据集中的测试集，对所述第一神经网络模型进行测试；

将得到的第一检测结果与第三标注文件中的标注位置进行比较，确定所述第一神经网络模型标注表盘位置的精确度，以及标注表盘类型的精确度；其中，所述第一检测结果包括以下任意一项或多项：标注出的表盘外接矩形框的位置，该表盘所对应的型号；所述第三标注文件包括以下任意一项或多项，所述测试集图像分别对应的表盘外接矩形框的位置，以及该表盘对应的型号。

6.根据权利要求5所述的一种仪表识别方法，其特征在于，所述将得到的第一检测结果与第三标注文件中的标注位置进行比较之后，所述方法还包括：

通过所述若干指针式仪表图像样本数据集中的测试集与所述第一检测结果，对所述第二神经网络模型进行测试；

将得到的第二检测结果与第四标注文件中的标注点进行比较，确定训练后的第二神经网络模型标注关键点位置的精确度，以及标注的关键点处于正确目标上的精确度；其中，所述第二检测结果为标注出的指针与指针所在窗口的位置信息；所述第四标注文件包括以下任意一项或多项，所述测试集图像分别对应的指针的起点位置坐标与终点位置坐标，指针所在窗口的关键点坐标。

7.一种仪表识别装置，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

通过若干指针式仪表图像样本数据集，对第一神经网络模型进行训练，得到训练后的第一神经网络模型；所述训练后的第一神经网络模型用于确定所述指针式仪表图像中表盘的位置与型号；

通过所述若干指针式仪表图像样本数据集，对第二神经网络模型进行训练，得到训练后的第二神经网络模型；所述训练后的第二神经网络模型用于确定所述指针式仪表图像中指针的关键点，以定位所述指针的位置；以及用于确定所述指针所在窗口的关键点，以定位所述窗口的位置；其中，所述指针的关键点包括，仪表中指针的起点与终端；所述用于确定所述指针所在窗口的关键点的点包括，指针所在窗口的左上角点、右上角点、左下角点、右下角点；

其中，第一神经网络模型与所述第二神经网络模型不同；

所述对第二神经网络模型进行训练，得到训练后的第二神经网络模型之后，还包括：

将待测仪表图像输入所述训练后的第一神经网络模型，得到所述待测图像中表盘的位置与型号；

将所述待测仪表图像，与得到的所述待测仪表图像中表盘的位置与型号，同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标；

根据所述待测图像中指针的起点位置坐标与终点位置坐标，以及指针所在表盘中的零刻度线位置坐标与满刻度线位置坐标，以确定所述待测仪表图像中的指针读数；

所述同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标，具体包括：

通过训练后的第一神经网络模型对所述待测仪表图像中的表盘进行标注，通过标注出的表盘确定所述表盘的型号；

通过训练后的第二神经网络模型，对所述待测仪表图像中的若干指针的起点与终点，分别进行标注，以确定指针在所述表盘的位置；

对所述待测仪表图像中指针所在窗口中，同时具有水平与垂直特性的关键点进行标注，通过所述水平与垂直特性的关键点的坐标，对标注出的表盘图像进行透视变换；

所述同时输入所述训练后的第二神经网络模型，得到所述待测仪表图像中指针的起点位置与终点位置，以及指针所在窗口的关键点坐标之后，还包括：

通过对所述指针所在窗口的关键点的坐标进行透视变换，得到正视图状态下的表盘图像与对应的单应性矩阵；

通过所述单应性矩阵，以及待测仪表图像中指针的起点坐标与终点坐标，对所述指针的起点坐标与终点坐标进行透视变换，得到正视图状态下指针的起点坐标与终点坐标。