CN111368823A - 一种指针式仪表读数识别方法及装置 - Google Patents

Abstract

本发明提供的指针式仪表读数识别方法及装置，首先是通过深度学习的GAN算法，从图片或视频中提取仪表盘及指针信息，然后再通过深度学习的分类算法，直接获取最终结果，深度学习的GAN算法，通过同时提高一对生成和判断模型来实现图片或视频的处理，不同于传统算法的人工设计特征算法，深度学习是通过不断的修正参数，自行寻找特征，因此能适用于复杂环境中的所有类型指针，通过GAN算法提取指针和表盘后，再通过深度学习的分类算法，一步到位直接获取表盘读数，不需要人工看表，节省人力，简化了处理步骤，提高了精度。

Description

一种指针式仪表读数识别方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种指针式仪表读数识别方法及装置。

背景技术

指针式仪表是目前生产过程中非常普遍的测量仪表之一，不仅种类多，而且数量大。目前，国内对这类仪表的检定工作多采用人工观测仪表盘指针读数，这种传统方法受检测人员的操作经验、工作态度、业务水平和精神状态等其他主观因素的影响，存在劳动强度大、生产效率低、检测误差大、可靠性差等问题。另外，在高温、辐射、野外等比较恶劣的工作环境下，通常不适于人工监测指针式仪表的读数，这种情况下，图像识别得到了越来越多的应用。传统的算法多是针对较为简单的情况，对人工预处理(比如把表盘放到图片中间，并放大到整张图片，去掉周围的背景等等)过的图片进行操作，并且只能识别特定形状的指针，不能很好的满足目前的工作需要。

发明内容

本发明实施例提供了一种指针式仪表读数识别方法及装置，简化处理步骤，节省人力，也可以提高识别精度。

本发明提供一种指针式仪表读数识别方法，所述方法包括：

获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片；

对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对；

利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型；

采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的类别；

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

作为一种可选的方案，所述利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型，包括：

通过偏移、旋转或增加噪音的方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

作为一种可选的方案，所述采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，包括：

对指针式仪表不同度数时对应的第二裸表盘图片进行采集，根据读数进行类的划分，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音的方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

作为一种可选的方案，所述实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数，包括：

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

作为一种可选的方案，所述卷积神经网络采用深度残差网络ResNet。

第二方面，本发明提供一种指针式仪表读数识别装置，所述装置包括：

获取单元，用于获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片；

图片对生成单元，用于对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对；

第一模型生成单元，用于利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型；

第二模型生成单元，用于按照预定分辨率要求采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的类别；

识别单元，用于实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

作为一种可选的方案，第一模型生成单元具体用于：

通过偏移、旋转或增加噪音的方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

作为一种可选的方案，所述第二模型生成单元具体用于：

对指针式仪表不同度数时对应的第二裸表盘图片进行采集，根据读数进行类的划分，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音的方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

作为一种可选的方案，所述识别单元具体用于：

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的指针式仪表读数识别方法及装置，首先是通过深度学习的GAN算法，从图片或视频中提取仪表盘及指针信息，然后再通过深度学习的分类算法，直接获取最终结果。深度学习的GAN算法，通过同时提高一对生成和判断模型来实现图片或视频的处理，不同于传统算法的人工设计特征算法，深度学习是不断的修正参数，自行寻找特征，因此能适用于复杂环境中的所有类型指针，通过GAN算法提取指针和表盘后，再通过深度学习的分类算法，一步到位直接获取表盘读数，不需要人工看表，节省人力，简化了处理步骤，提高了精度。

附图说明

图1是本发明实施例中提供的指针式仪表读数识别方法一种实施例的流程图；

图2是本发明实施例中提供的指针式仪表读数识别方法中表盘图片识别的示意图；

图3是本发明实施例中提供的指针式仪表读数识别方法中读数识别的示意图；

图4是本发明实施例中提供的指针式仪表读数识别装置一种实施例的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1所示，本发明提供一种指针式仪表读数识别方法，所述方法包括：

S101、获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片。

针对指针式仪表的表盘图像数据进行大量采集，作为后续的训练集使用，通常可以选择几百张，可以根据需要进行选择，对此不做限定。

S102、对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对。

结合图2所示，通过图像处理算法对每一张表盘图像数据进行图像处理以得到裸表盘图片，为了区别说明，此处为第一裸表盘图片，每一张表盘图片和对应处理得到第一裸表盘图片组成图片对。

S103、利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型。

通过偏移、旋转或增加噪音等方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

S104、采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的类别。

指针式仪表不同度数时候表盘上的指针具有不同的角度，所以分别获取不同度数的表盘图片即第二裸表盘图片，根据读数进行类的划分，比如要把1到100度精确到1度，就要把第二裸表盘图片分成100类，每度是一个类，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音等方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

S105、实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

结合图3所示，实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数，本实施例中，所述卷积神经网络采用深度残差网络ResNet，当然，还可以采用其他类型的卷积神经网络来实现，对此不做限定。

本发明提供的指针式仪表读数识别方法，首先是通过深度学习的GAN算法，从图片或视频中提取仪表盘及指针信息，然后再通过深度学习的分类算法，直接获取最终结果，深度学习的GAN算法，通过同时提高一对生成和判断模型来实现图片或视频的处理，不同于传统算法的人工设计特征算法，深度学习是不断的修正参数，自行寻找特征，因此能适用于复杂环境中的所有类型指针，通过GAN算法提取指针和表盘后，再通过深度学习的分类算法，一步到位直接获取表盘读数，取消了传统算法图像大小位置处理、灰度处理、二值化、平滑处理、Canny边缘检测、霍夫变换算法等步骤，不需要人工看表，节省人力，简化了处理步骤，提高了精度。

对于采用Pix2Pix算法的实现，下面进行简单介绍：

1、对抗框架：Pix2Pix框架基于GAN，首先先定义输入输出，普通的GAN接收的G部分的输入是随机向量，输出是图像；D部分接收的输入是图像，输出是对或者错。这样G和D联手就能输出真实的图像。但对于图像翻译任务来说，它的G输入显然应该是一张图x，输出当然也是一张图y。但是D的输入却应该发生一些变化，因为除了要生成真实图像之外，还要保证生成的图像和输入图像是匹配的。于是D的输入就做了一些变动。

依上所述，Pix2Pix的损失函数为：

为了做对比，同时再去训练一个普通的GAN，即只让D判断是否为真实图像。

对于图像翻译任务而言，G的输入和输出之间其实共享了很多信息，比如图像上色任务，输入和输出之间就共享了边信息。因而为了保证输入图像和输出图像之间的相似度，还加入了L1损失：

那么，汇总的损失函数G^*为：

2、生成网络G：正如上所说，输入和输出之间会共享很多的信息。如果使用普通的卷积神经网络，那么会导致每一层都承载保存着所有的信息，这样神经网络很容易出错，因而，使用U-Net来进行减负。U-Net是将第i层拼接到第n-i层，这样做是因为第i层和第n-i层的图像大小是一致的，可以认为他们承载着类似的信息。

3、判别网络D：在损失函数中，L1被添加进来来保证输入和输出的共性。这就启发出了一个观点，那就是图像的变形分为两种，局部的和全局的。既然L1可以防止全局的变形。那么只要让D去保证局部能够精准即可。于是，Pix2Pix中的D被实现为Patch-D，所谓Patch，是指无论生成的图像有多大，将其切分为多个固定大小的Patch输入进D去判断。D的输入变小，计算量小，训练速度快。因为G本身是全卷积的，对图像尺度没有限制。而D如果是按照Patch去处理图像，也对图像大小没有限制。就会让整个Pix2Pix框架对图像大小没有限制。增大了框架的扩展性。

4、训练细节：梯度下降，G、D交替训练，使用Adam算法训练。

使用了深度学习的GAN和分类算法取代了传统算法的图像大小位置处理、灰度处理、二值化、平滑处理、Canny边缘检测、霍夫变换算法等等步骤，在完全解放人力的基础上，提高了精度。

结合图4所示，本发明提供一种指针式仪表读数识别装置，所述装置包括：

获取单元401，用于获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片；

图片对生成单元402，用于对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对；

第一模型生成单元403，用于利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型；

第二模型生成单元404，用于采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的类别；

识别单元405，用于实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

作为一种可选的方案，第一模型生成单元403具体用于：

通过偏移、旋转或增加噪音等方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

作为一种可选的方案，所述第二模型生成单元404具体用于：

对指针式仪表不同度数时对应的第二裸表盘图片进行采集，根据读数进行类的划分，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音等方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

作为一种可选的方案，所述识别单元405具体用于：

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

本发明提供的指针式仪表读数识别方法，首先是通过深度学习的GAN算法，从图片或视频中提取仪表盘及指针信息，然后再通过深度学习的分类算法，直接获取最终结果，深度学习的GAN算法，通过同时提高一对生成和判断模型来实现图片或视频的处理，不同于传统算法的人工设计特征算法，深度学习是不断的修正参数，自行寻找特征，因此能适用于复杂环境中的所有类型指针，通过GAN算法提取指针和表盘后，再通过深度学习的分类算法，一步到位直接获取表盘读数，取消了传统算法图像大小位置处理、灰度处理、二值化、平滑处理、Canny边缘检测、霍夫变换算法等步骤，不需要人工看表，节省人力，简化了处理步骤，提高了精度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明所提供的一种指针式仪表读数识别方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种指针式仪表读数识别方法，其特征在于，所述方法包括：

获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片；

对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对；

利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型；

采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的分类；

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

2.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型，包括：

通过偏移、旋转或增加噪音的方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

3.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，包括：

对指针式仪表不同度数时对应的第二裸表盘图片进行采集，根据读数进行类的划分，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音的方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

4.根据权利要求2所述的指针式仪表读数识别方法，其特征在于，所述实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数，包括：

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

5.根据权利要求1或3所述的指针式仪表读数识别方法，其特征在于，所述卷积神经网络采用深度残差网络ResNet。

6.一种指针式仪表读数识别装置，其特征在于，所述装置包括：

获取单元，用于获取所需数量的指针式仪表的表盘图像数据，所述表盘图像数据具有多张表盘图片；

图片对生成单元，用于对所述表盘图片进行图像处理得到具有指针的第一裸表盘图片，将每张第一裸表盘图片与相应的表盘图片组成图片对；

第一模型生成单元，用于利用所述图片对建立第一训练集，并使用GAN算法对所述第一训练集进行训练得到裸表盘图像模型；

第二模型生成单元，用于采集不同读数的第二裸表盘图片，利用所述第二裸表盘图片建立第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型，其中，不同读数对应不同的类别；

识别单元，用于实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

7.根据权利要求6所述的指针式仪表读数识别装置，其特征在于，第一模型生成单元具体用于：

通过偏移、旋转或增加噪音的方式将所述图片对的数量进行扩充形成第一训练集，利用Pix2Pix算法对所述第一训练集进行训练得到裸表盘图像模型。

8.根据权利要求6所述的指针式仪表读数识别装置，其特征在于，所述第二模型生成单元具体用于：

对指针式仪表不同度数时对应的第二裸表盘图片进行采集，根据读数进行类的划分，每一类中至少采集一张第二裸表盘图片，通过偏移、旋转或增加噪音的方式将所述第二裸表盘图片进行扩充得到第二训练集，利用卷积神经网络对所述第二训练集进行训练得到读数识别模型。

9.根据权利要求7所述的指针式仪表读数识别装置，其特征在于，所述识别单元具体用于：

实时获取目标指针式仪表的待读表盘图像，将所述待读表盘图像输入所述裸表盘图像模型，利用所述Pix2Pix算法和所述裸表盘图像模型得到待读裸表盘图片，将所述待读裸表盘图片输入所述读数识别模型进行分类得到所述目标指针式仪表的读数。

Images