CN108549840A - 一种多模拟仪表同步快速识别的方法及装置 - Google Patents

Abstract

本发明公开了一种多模拟仪表同步快速识别的方法及装置，方法包括获取图像、提取仪表图像和仪表识别。由于摄像头可同时拍摄多个仪表，降低了摄像头的数量；从拍摄的图像中提取出所有仪表的仪表图像进行识别，而在识别之前通过若干仪表的真实图像合成出识别所需的模拟样本，即通过少量的采用合成所需的大量模拟样本，极大的减少了样本采集量，提高了效率；将不同的模拟样本通过卷积神经网络进行分类，可同时识别同种类型的仪表和不同类型的仪表，同时模拟样本进行分类提高了识别效率。故本方法及装置在降低成本的前提下，满足了大量不同种类仪表的同时识别，并具识别效率高，识别更为准确，为企业生产提供了保障。

Description

一种多模拟仪表同步快速识别的方法及装置

技术领域

本发明涉及百万千瓦级核电站计算机技术的领域，具体涉及一种多模拟仪表同步快速识别的方法及装置。

背景技术

在实际工厂中，常常有许多模拟仪表用于设备运行过程中物理量的测量，这种模拟仪表稳定可靠、维护方便，在工厂中还有很多的应用，但这些模拟仪表没有数据通讯接口，其读数全靠人眼读取，没法对这些物理量进行连续的记录。例如在UD45核电应急柴油机组的定期试验中，机组运行过程的工艺参数对机组健康状态的评估具有很重要的参考意义，但是其工艺参数的显示全部依靠的是指针式模拟仪表，这种仪表没有数据通讯接口，无法将实验过程的工艺参数完整记录下来，现阶段采用的仍是人工读数的方法对一个个的仪表进行读数记录，这存在很多的缺陷，首先单就一台机组而言，有30个工艺仪表参数，这么多的仪表靠人眼读取其示数进行实时的识别记录是不可能的，且厂房内空间狭小，无法容纳更多的人进行读数；其次人眼读数存在视觉疲劳，且主观性较大，无法保证读数的准确性。

目前针对模拟仪表示数的图像识别方法主要有：1、基于指针检测的方法；2、基于模板匹配的方法；3、基于中心变换的方法，这些方法在模拟仪表的自动识别上都有较好的表现，但在将其应用到实际中都存在一些问题，基于指针检测的方法对于粗指针或一头粗一头细的指针难以提取到指针的中轴线；基于模板匹配的方法检测精度较低、计算量大，难以实现多仪表的同步快速识别；基于中心变换的方法对图像质量要求很高，在该项目的实际应用中难以保证。

在以往的模拟仪表的图像识别应用中，大都是对单个仪表的识别，但有些应用场所同时有几个甚至几十个仪表需要进行识别，这使得一对一的识别方式不可行，否者将会导致需要安装很多的摄像头，多个仪表的同时识别使得计算量很大，因此对算法流程的优化也很重要。在仪表校验等模拟仪表的自动化识别应用上，通过机械定位的方法使仪表与摄像头的相对位置不变，从而确保仪表部分图像的准确提取，减少图像中的冗余信息，但是在一些生产企业的工业应用中，由于有人员的参与难以确保仪表与摄像头的相对位置不变，例如在大修、检修的过程中常常会动各设备，这就使得相对位置发生变化。

发明内容

本申请提供一种可实现多仪表同时识别的多模拟仪表同步快速识别的方法及装置。

根据第一方面，一种实施例中提供一种多模拟仪表同步快速识别的方法，包括如下步骤：

获取图像：获取摄像头拍摄的包含若干仪表的图像；

提取仪表图像：从图像中提取所有仪表的仪表图像；

仪表识别：将仪表图像与存储的模拟样本对比识别并输出识别结果；

其中，模拟样本基于若干仪表的真实图像合成，并采用卷积神经网络进行分类。

进一步地，在获取图像过程中，同时获取若干个摄像头拍摄的图像，并同时提取仪表图像及同时识别。

进一步地，模拟样本基于若干仪表的真实图像合成具体为：基于仪表的真实图像得到仪表的基本信息，通过放射变换、随机干扰和阴影模拟合成模拟样本。

进一步地，基本信息至少包括指针形状和仪表刻度盘信息。

进一步地，在仪表识别前，进行摄像头自检步骤，摄像头自检包括如下步骤：

获取图像：获取摄像头拍摄的图像；

提取定位特征：提取图像中的定位特征；

计算摄像头的偏移：将定位标识与存储的模板标识对比，计算摄像头的偏移量和偏移方向；

调整摄像头：控制调节摄像头的拍摄角度。

进一步地，定位标识为仪表的铭牌位置信息。

进一步地，在调整摄像头的拍摄角度时，同时调节摄像头的焦距。

进一步地，在摄像头自检的同时进行是仪表是否遮挡检测步骤，仪表是否遮挡检测包括如下步骤：

获取图像：获取摄像头拍摄的图像；

提取特征点：提取图像中每个仪表的特征点；

判断是否被遮挡：将多区域的特征点与存储的模板图像对比，判断仪表是否被遮挡；

提示报错：若仪表被遮挡则该仪表的识别结果不更新，并提示报错。

进一步地，在提取特征点过程中，提取的特征点分布在仪表的多个区域上。

根据第二方面，一种实施例中提供一种多模拟仪表同步快速识别的装置，包括：

摄像头，用于拍摄包含若干仪表的图像；

计算服务器，与摄像头信号连接，用于获取摄像头拍摄的包含若干仪表的图像，从图像中提取所有仪表的仪表图像，将仪表图像与存储的模拟样本对比识别并输出识别结果；其中，模拟样本基于若干仪表的真实图像合成，并采用卷积神经网络进行分类。

进一步地，摄像头具有若干个，每个摄像头对应拍摄若干个仪表。

进一步地，摄像头具有自动调节拍摄角度和自动调节焦距的功能。

进一步地，本装置还包括交换机，所以的摄像头分别与交换机输入端口连接，交换机的输出端口与计算服务器信号连接，交换机用于若干个摄像头与计算服务器的数据通信。

进一步地，计算服务器内包括用于分析及控制的中央处理器和用于提取及识别图像的图像处理器。

依据上述实施例的多模拟仪表同步快速识别的方法及装置，由于摄像头可同时拍摄多个仪表，降低了摄像头的数量；从拍摄的图像中提取出所有仪表的仪表图像进行识别，而在识别之前通过若干仪表的真实图像合成出识别所需的模拟样本，即通过少量的采用合成所需的大量模拟样本，极大的减少了样本采集量，提高了效率；将不同的模拟样本通过卷积神经网络进行分类，可同时识别同种类型的仪表和不同类型的仪表，同时模拟样本进行分类提高了识别效率。故本方法及装置在降低成本的前提下，满足了大量不同种类仪表的同时识别，并具识别效率高，识别更为准确，为企业生产提供了保障。

附图说明

图1为一种实施例中多模拟仪表同步快速识别的方法的流程图；

图2为一种实施例中摄像头自检的流程图；

图3为一种实施例中仪表是否遮挡检测的流程图；

图4为一种实施例中多模拟仪表同步快速识别结果的示意图；

图5为一种实施例中多模拟仪表同步快速识别的装置的结构框图；

图6为一种实施例中摄像头拍摄图像的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

本实施例提供了一种多模拟仪表同步快速识别的方法，本方法可同时识别多个相同或不同类型的仪表，并输出仪表读数的识别结果，实现对仪表的实时监控。本实施例以具有30个仪表的UD45应急柴油机组为例进行说明。

如图1所示，本实施例的多模拟仪表同步快速识别的方法，本方法由计算服务器执行，包括如下步骤：

S101：获取图像；

计算服务器通过交换机获取摄像头拍摄的图像。通过四个摄像头进行拍摄，每个摄像头分别对准7到8个仪表，即每个摄像头拍摄的图像中包含7到8个仪表。摄像头拍摄的时间间隔可根据需求设置，例如半分钟、1分钟或5分钟拍摄一次，或者以更快的频率拍摄。

S102：提取仪表图像；

四个摄像头拍摄的图像通过交换机传给计算服务器，计算服务器从四个摄像头拍摄的图像中提取出所有仪表的仪表图像，仪表图像即仅有表盘的图像，以识别每个仪表的指针读数。

S103：识别仪表。

将提取的所有仪表图像进行识别，并输出识别结果及保持。

仪表识别是将提取的仪表图像与模拟样本进行对比分析，若仪表图像与某个模拟样本匹配，则该仪表的读数与匹配的模拟样本一样，即识别出了该仪表。

故在仪表识别之前必须先存储有大量的模拟样本用于对比分析。本发明中，模拟样本通过样本生成模型合成，并通过卷积神经网络分类。卷积神经网络作为一个分类器基于这些差别对模拟样本进行分类，最后经过一个转换关系将类别转换为仪表示数。

样本生成模型合成模拟样本具体为：样本生成模型是为了解决样本不足的问题，先通过摄像头拍摄若干少量的仪表，从仪表的真实图像中提取仪表的基本信息，再通过通过放射变换、随机干扰和阴影模拟等方法合成大量的模拟样本。其中仪表真实图像的基本信息包括指针形状和仪表刻度盘等信息，并且由于在样本生成的过程中考虑了不同光照、不同干扰的影响，同时加入了随机处理，使得生成的模拟样本能体现出不同类别(不同示数)间的差别。从而通过本合成方法可实现采集少量的仪表真实图像而合成大量的模拟样本，用于对比识别。

采用卷积神经网络对模拟样本进行分类具体为：卷积神经网络采用改进的GoogLenet网络，通过实际的实验，减少Inception模块的参数和数目，以此减小模型的大小，提高训练和识别的速度；同时根据实际中对精度的要求，自动调整模型的输出类别数目，例如模型输出为100类，表示将零至满量程分为100份，每一份对应模型输出中的一类；针对不同类型的仪表对识别精度的不同要求，利用同一识别模型即可解决，不需要针对不同类型的仪表训练不同的模型。

为了保证识别的准确性，在仪表识别之前进行摄像头自检，以调整摄像头的拍摄角度和焦距。

如图2所示，摄像头自检包括如下步骤：

S201：获取图像；

计算服务器获取四个摄像头进行拍摄图像，摄像头通过交换机将图像信息传给计算服务器。

S202：提取定位特征；

计算服务器从图像中提取出每个仪表的定位特征，例如定位特征为仪表下方的铭牌位置信息，在其他实施例中，也可在仪表周围设置定位特征，例如LOGO等图案。

S203：计算摄像头的偏移；

计算服务器内预先存储有模板标识，即存储有摄像头在正确位置时拍摄图像中的铭牌位置信息，将拍摄的定位特征与模板标识进行对比，可计算出摄像头的偏移量和偏移方向。

S204：调整摄像头。

计算服务器根据计算结果控制摄像头调整拍摄角度，并同时可控制摄像头调整焦距，以准确的拍出清洗的图像。

由于仪表直接露出在外面供拍摄读取，故在现实中仪表会被其他物体遮挡，妨碍了仪表的读数识别。为了解决这个问题，在仪表识别之前还设置了仪表是否遮挡检测，本检测可与摄像头自检同时进行，以提高效率。

如图3所示，本仪表是否遮挡检测包括如下步骤：

S301：获取图像；

计算服务器获取四个摄像头进行拍摄图像，摄像头通过交换机将图像信息传给计算服务器。

本步骤可与摄像头自检同时拍摄。

S302：提取特征点；

计算服务器从图像中提取SIFT特征点，优先的，从每个仪表上提取多个特征点，并且从不同的多个区域提取，从而可避免仪表的某个角落被遮挡而没有被检测到，特征点分布的约均匀，检测就更为全面。特征点的个数可根据需求设置，例如137个或101个。

S303：判断是否被遮挡；

将提取的特征点与存储的模板图像中的特征点进行对比，判断仪表是否被遮挡。

S304：提示报错。

若对比发现完全相同，则判定没有被遮挡，计算服务器不做响应；若对比发现无法与模板图像中的特征点匹配，则判定不匹配的仪表被遮挡，并提示报错，提示用户对遮挡进行清理，同时被遮挡则该仪表的识别结果不更新。

具体的，当表盘被遮挡的情况下，在识别结果上会有所反映，表盘遮挡会导致识别结果与真实的结果偏差大，由于采集的频率较高，且工艺量不会存在快速的突变，因此相邻的两帧图片间示数不会太大的变化，据此可以根据识别结果与上次的识别结果进行比较来判断是否被遮挡，再结合多区域特征点匹配的技术来识别出由于遮挡导致识别错误的数据，对于这些错误的数据做剔除和跟换的处理，当变盘被遮挡，数据不更新，维持上一次表盘为被遮挡时得到数值。

本实施例提供的多模拟仪表同步快速识别的方法，核电UD45核电应急柴油机组上搭建样机进行测试，通过对一段启机视频的数据进行识别，识别结果如图4所示，可看出识别值B与真实值A基本完全重合，在30个仪表的所有种类仪表最大引用误差2.5％，平均引用误差0.24％。

本实施例提供的多模拟仪表同步快速识别的方法，由于摄像头可同时拍摄多个仪表，降低了摄像头的数量；从拍摄的图像中提取出所有仪表的仪表图像进行识别，而在识别之前通过若干仪表的真实图像合成出识别所需的模拟样本，即通过少量的采用合成所需的大量模拟样本，极大的减少了样本采集量，提高了效率；将不同的模拟样本通过卷积神经网络进行分类，可同时识别同种类型的仪表和不同类型的仪表，同时模拟样本进行分类提高了识别效率。故本方法及装置在降低成本的前提下，满足了大量不同种类仪表的同时识别，并具识别效率高，识别更为准确，为企业生产提供了保障。

实施例二：

本实施例提供了一种多模拟仪表同步快速识别的装置，本装置用于实现上述实施例一的多模拟仪表同步快速识别的方法。

如5图所示，本实施例的装置主要包括摄像头1、交换机2和计算服务器3。摄像头1具有四个，摄像头1的个数可根据仪表数量进行增减。每个摄像头1均通过数据线与交换机2的输入端口连接，交换机2的输出端口2通过数据线与计算服务器3连接。

如图6所示，每个摄像头1用于同时拍摄包含7到8个仪表的图像，每个仪表下方对应有一个方形的铭牌。摄像头1具备云台控制控制功能，可进行上下左右的电动控制，且支持光学变焦，可在不损失图像质量的前提下拍清不同距离的图像，这两点使得摄像头1的安装变得简单很多，在安装的过程中不需要严格保证摄像头与仪表的相对位置，摄像头1安装好之后可实现自调节，调节自身的拍摄角度和焦距，且以后在每次启动的过程中都会进行自调节检测，以防摄像头1与仪表的相对位置反生改变导致不能识别出所有的仪表。

交换机2主要起连接传输作用，将所有摄像头1的图像信息传给计算服务器3，同时由于摄像头采用POE供电，交换机2还充当着电源。

计算服务器3主要用于获取摄像头1拍摄的包含若干仪表的图像，从图像中提取所有仪表的仪表图像，对仪表图像进行识别并输出识别结果；还用于基于若干仪表的真实图像合成模拟样本，并采用卷积神经网络进行分类。计算服务器3还进行摄像头自检和仪表是否遮挡检测，并根据自检和检测结果驱动自动调节机构调节摄像头1的拍摄角度和对焦，及提示用户仪表被遮挡。

本实施例的计算服务器3包括中央处理器(CPU)和图像处理器(GPU)，通过CPU与GPU的协调合作完成多仪表的快速同步识别，利用多进程技术实现CPU的高效利用，合理分配不同进程的任务量，在保证识别速度的前提下，实现更低的CPU利用率和内存的占用；分配GPU的识别任务，在满足识别速度的情况下，选用更少的显卡数量，降低成本和功耗；

采用统一的识别模型。对于不同的仪表选用同一套识别模型进行识别，这样就不用根据待仪表的种类选用不同的模型，减少了不同模型间切换的时间消耗，降低了CPU与GPU间计算的时间损耗率。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (14)

1.一种多模拟仪表同步快速识别的方法，其特征在于，包括如下步骤：

获取图像：获取摄像头拍摄的包含若干仪表的图像；

提取仪表图像：从所述图像中提取所有仪表的仪表图像；

仪表识别：将所述仪表图像与存储的模拟样本对比识别并输出识别结果；

其中，所述模拟样本基于若干仪表的真实图像合成，并采用卷积神经网络进行分类。

2.如权利要求1所述的多模拟仪表同步快速识别的方法，其特征在于，在获取图像过程中，同时获取若干个摄像头拍摄的图像，并同时提取仪表图像及同时识别。

3.如权利要求2所述的多模拟仪表同步快速识别的方法，其特征在于，所述模拟样本基于若干仪表的真实图像合成具体为：基于仪表的真实图像得到仪表的基本信息，通过放射变换、随机干扰和阴影模拟合成所述模拟样本。

4.如权利要求3所述的多模拟仪表同步快速识别的方法，其特征在于，所述基本信息至少包括指针形状和仪表刻度盘信息。

5.如权利要求1所述的多模拟仪表同步快速识别的方法，其特征在于，在仪表识别前，进行摄像头自检步骤，摄像头自检包括如下步骤：

获取图像：获取摄像头拍摄的图像；

提取定位特征：提取图像中的定位特征；

计算摄像头的偏移：将定位标识与存储的模板标识对比，计算摄像头的偏移量和偏移方向；

调整摄像头：控制调节摄像头的拍摄角度。

6.如权利要求5所述的多模拟仪表同步快速识别的方法，其特征在于，所述定位标识为仪表的铭牌位置信息。

7.如权利要求5所述的多模拟仪表同步快速识别的方法，其特征在于，在调整摄像头的拍摄角度时，同时调节摄像头的焦距。

8.如权利要求5所述的多模拟仪表同步快速识别的方法，其特征在于，在摄像头自检的同时进行是仪表是否遮挡检测步骤，仪表是否遮挡检测包括如下步骤：

获取图像：获取摄像头拍摄的图像；

提取特征点：提取图像中每个仪表的特征点；

判断是否被遮挡：将多区域的特征点与存储的模板图像对比，判断仪表是否被遮挡；

提示报错：若仪表被遮挡则该仪表的识别结果不更新，并提示报错。

9.如权利要求8所述的多模拟仪表同步快速识别的方法，其特征在于，在提取特征点过程中，提取的特征点分布在仪表的多个区域上。

10.一种多模拟仪表同步快速识别的装置，其特征在于，包括：

摄像头，用于拍摄包含若干仪表的图像；

计算服务器，与所述摄像头信号连接，用于获取摄像头拍摄的包含若干仪表的图像，从所述图像中提取所有仪表的仪表图像，将所述仪表图像与存储的模拟样本对比识别并输出识别结果；其中，所述模拟样本基于若干仪表的真实图像合成，并采用卷积神经网络进行分类。

11.如权利要求10所述的多模拟仪表同步快速识别的装置，其特征在于，所述摄像头具有若干个，每个摄像头对应拍摄若干个仪表。

12.如权利要求11所述的多模拟仪表同步快速识别的装置，其特征在于，所述摄像头具有自动调节拍摄角度和自动调节焦距的功能。

13.如权利要求12所述的多模拟仪表同步快速识别的装置，其特征在于，还包括交换机，所以的摄像头分别与所述交换机输入端口连接，所述交换机的输出端口与所述计算服务器信号连接，所述交换机用于若干个所述摄像头与计算服务器的数据通信。

14.如权利要求13所述的多模拟仪表同步快速识别的装置，其特征在于，所述计算服务器内包括用于分析及控制的中央处理器和用于提取及识别图像的图像处理器。