CN114359552A - 一种基于巡检机器人的仪表图像识别方法 - Google Patents

Abstract

本发明公开一种基于巡检机器人的仪表图像识别方法，采集现场仪表图像样本，对图像样本中需要进行读数的目标仪表进行标注；对标注完成后图像样本进行训练，得到目标检测神经网络模型；使用目标检测神经网络模型对现场仪表图像样本的仪表进行检测和识别，任选一张仪表图像作为模板图像，对现场仪表图像预处理，根据模板图像进行SIFT配准得到配准后的仪表图像；针对配准后的单个仪表图像，根据不同类别的仪表进行读数。本发明通过训练好的目标检测神经网络模型来提取仪表，能够根据数据样本有效提取仪表特征，对于遮挡、偏斜、反光、模糊的目标依旧能够准确提取。

Description

一种基于巡检机器人的仪表图像识别方法

技术领域

本发明涉及巡检机器人技术，具体涉及一种基于巡检机器人的仪表图像识别方法。

背景技术

针对工业现场仪器仪表读数、状态开关判断等刚需功能，大多数现场采用固定摄像机或人工抄表等方式，或部分已经采用巡检机器人作为替代方法，但在预置时仍旧需要手动进行标定。一般来说，采用固定摄像头进行识别的方法，在摄像头数据传输的后端会加装一些智能设备，当前如海康威视、大华安防等公司均有类似产品。对于巡检机器人而言则主要通过内置的图像算法或将图像传至服务器进行算法识别。

人工抄表由于不在范畴内不作为参考。对于现有的两种智能方法，若采用定点摄像头进行识别，针对较大场地则无法完成庞大的识别任务，或需要安装极大数目的设备。且现有的后台智能设备，据调研往往在同一张图只支持单个仪表的读数识别，若图中存在多个仪表则无法完成识别。对于巡检机器人采用的方法，可以通过人工标注解决一图多表的问题，但人工标注针对大批量的仪表仍旧体现出效率低下的问题，且不同人的标注特征不尽相同，即使在制定了一致的标注规则下，也难免会产生标注误差导致识别率低下。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于巡检机器人的仪表图像识别方法。

技术方案：本发明的一种基于巡检机器人的仪表图像识别方法，包括以下步骤：

步骤1、采集现场仪表图像样本，对图像样本中需要进行读数的目标仪表进行标注；标注时采用矩形标注框，且对不同的仪表采用不同标签进行区分；

步骤2、标注完成后，采用YOLOv4目标检测网络对标注完成后图像样本进行训练，得到具有针对上述标注后的目标仪表检测的目标检测神经网络模型；

步骤3、通过训练好的目标检测神经网络模型对现场仪表图像样本中的仪表进行检测，并根据目标仪表的检测与识别结果，通过对目标图像进行裁剪等操作，分割检测到的不同类别的目标仪表图像；

进而分离巡检机器人云台所拍摄的原始图像中的多种类的仪表，并得到每一类仪表的单个样本图像；

步骤4、任意选取一张仪表图像作为模板图像，关联指针角度与表盘刻度之间的对应关系作为标准模板量程；此处所选取的仪表图像必须保证拍摄视角正对清晰；

步骤5、对现场采集图像进行分割后的仪表图像进行预处理，来减轻因为弱光或反光带来的图像干扰（例如可采用直方图均衡或调整亮度对比度），然后根据模板图像进行SIFT配准得到配准后的仪表图像，使校准后的仪表表盘与模板图像一致，统一量程换算规则；

步骤6、针对配准后的单个仪表图像，根据不同类别的仪表进行读数.

此处可根据不同仪表类别来采用对应方法进行读数，其读数参数基准即以模板仪表的读数过程中进行的操作所设置的参数为准。

进一步地，所述步骤1中的图像获取方法为：巡检机器人上搭载有可见光摄像头的云台，然后针对当前待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流，然后对视频流进行等间隔抽帧采样获得若干现场仪表图像样本。

进一步地，所述目标检测神经网络模型基于YOLOv4目标检测网络进行构建，聚义过程如下：

YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channle reduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；

图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。

进一步地，所述步骤5中采用SIFT配准，具体是指将目标图像与基准图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后依次对该梯度内的所有图像进行迭代判定。

有益效果：与现有技术相比，本发明具有以下优点：

（1）、本发明通过训练好的目标检测神经网络模型来提取仪表，相对于传统模板匹配法，能够根据数据样本有效提取仪表特征，对于遮挡、偏斜、反光、模糊的目标依旧能够准确提取。改动数据标注与样本即可用于其他场景的目标检测，同时添加相应样本即可扩大模型的通用性，方法通用性、普适性与可延伸性较强。

（2）、本发明可针对一图多表的情形，相对于每一张图识别一种或单个仪表，能够节约大量的图像存储空间以及图像解析与计算的资源，在识别读数的时间也将大大缩短。

（3）、本发明每一次的任务执行不再依赖于人工标注比对，人工只需对训练数据标注即可完成训练样本的制作，后续任务直接根据训练后的结果预检测即可完成自动标注，对于大批量的仪表有较大效率提升。

（4）、本发明基于巡检机器人进行仪表图像识别，节约大量的数据存储与计算资源，同时相较于定点摄像头不仅还节省了硬件的成本与资源，还能够更加灵活地设置、调整巡检位置，对于每一巡检点能够调整更多位置选择最佳方位进行识别点的设置。

附图说明

图1为本发明的整体工作流程图；

图2为实施例中现场机柜仪表检测识别结果示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本实施例的基于巡检机器人的仪表图像识别方法，包括以下步骤：

步骤1、采集现场仪表图像样本，对图像样本中需要进行读数的目标仪表进行标注；标注时采用矩形标注框，且对不同的仪表采用不同标签进行区分；

步骤2、标注完成后，采用YOLOv4目标检测网络对该标注后的仪表图像样本进行训练，得到具有针对上述标注后的目标仪表检测的目标检测神经网络模型；

步骤3、通过训练好的目标检测神经网络模型对现场仪表图像样本中的仪表进行检测，并根据目标仪表的检测与识别结果，通过对目标图像进行裁剪等操作，分割检测到的不同类别的目标仪表图像；

进而分离巡检机器人云台所拍摄的原始图像中的多种类的仪表，并得到每一类仪表的单个样本图像；

步骤4、任意选取一张仪表图像作为模板图像，关联指针角度与表盘刻度之间的对应关系作为标准模板量程；此处所选取仪表图像必须保证拍摄视角正对清晰；

步骤5、对现场采集图像进行分割后的仪表图像进行预处理，来减轻因为弱光或反光带来的图像干扰（例如可采用直方图均衡或调整亮度对比度），然后根据模板图像进行SIFT配准得到配准后的仪表图像，使校准后的仪表表盘与模板图像一致，统一量程换算规则；

此处SIFT配准具体是指将目标图像与基准图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后依次对该梯度内的所有图像进行迭代判定

步骤6、针对配准后的单个图像，根据不同类别可采用不同的方法进行识别或读数，该部分可针对具体仪表进行具体处理方法不作限制，参数基准即以模板仪表的读数过程中进行的操作所设置的参数为准。

本实施例中步骤1的图像获取方法为：巡检机器人上搭载有可见光摄像头的云台，然后针对当前待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流，然后对视频流进行等间隔抽帧采样获得若干现场仪表图像样本。

本实施例的目标检测神经网络模型基于YOLOv4目标检测网络进行构建，聚义过程如下：

YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channle reduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；

图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。

实施例：

本实施例的模型训练过程如下：

采用巡检机器人对工业现场需要巡检的位置机柜进行拍摄，保存拍摄的图像，并通过人工进行筛选，删除拍摄模糊以及不带有目标仪表的无用样本。清理图像后，根据现场仪表种类设置标签格式，即每一类仪表对应编号并作为标签。然后将仪表类别与标签对应，采用labelImg软件进行标注，标注采用矩形标注框，使标注框外接于仪表本身。标注完成后针对每一张图像生成对用的xml格式的标签文件，里面包含每一幅图像中标注仪表的矩形标注框的左上角与右下角坐标值以及对应的仪表类型。所有仪表图像标注完成后，随机抽取所有图像与之对应标签的20%数据样本，作为验证集，其余作为训练集。将训练集与验证集xml格式的标签分别转换为json格式，生成训练集与验证集的json标签文件。

配置YOLOv4训练模型的参数列表，主要修改仪表类别总集的txt文件以及数据集的地址，启动YOLOv4训练文件，针对这些数据集进行训练。训练完成后，获得相应的仪表识别模型，该模型可以将现场原始仪表图像中的目标仪表，即前期进行标注的同类仪表，通过矩形识别框标出，并获得识别框的坐标位置与种类名称。

实际应用时，将巡检机器人在后台启动，根据后台设置的任务进行例行场所巡检，在指定时间机器人到达巡检点时，启动摄像头对需要巡检的机柜进行拍照，将拍摄的图像作为输入数据进入之前训练好的带有权重的YOLOv4网络模型，可以输出该图中所识别的仪表类型与位置信息。获得目标仪表坐标后即可剪裁图像获得单张的不同类型仪表图像，并根据标签对其类型进行标注。此时系统已经获得单张仪表图像，根据此前选择好的标准仪表模板对其进行校准，将分割所得仪表配准至标准仪表图像，再根据当前仪表类型选择对应的识别读数方法即可完成读数。

如图2所示，本实施例中有三种状态指示开关：指示灯、压板连接器、旋钮开关，将这三种仪表均采用分类神经网络完成识别，在此以指示灯为例，分别收集指示灯亮、灭两种状态的图像，作为正负样本，选择ghostnet神经网络作为训练模型，将图像数据作为输入，输出状态为0、1，默认0为灭，1为亮，进行训练。训练完成后模型具备针对指示灯亮灭两种状态的判断能力。训练步骤作为系统的前序步骤，在应用时训练好的模型已经部署于系统，此时对分割后的状态仪表图像作为模型输入，模型即可输出推理的状态值，即0或1，再根据此前预设的映射规则可以得出指示灯的亮灭状态。其余两种状态仪表的识别均可按该方法的框架进行，此处不再赘述。表1为本实施例中最终仪表读数的最终结果。

表1本实施例的最终识别结果

Claims (4)

1.一种基于巡检机器人的仪表图像识别方法，其特征在于：包括以下步骤:

步骤1、采集现场仪表图像样本，对图像样本中需要进行读数的目标仪表进行标注；标注时采用矩形标注框，且对不同的仪表采用不同标签进行区分；

步骤2、采用YOLOv4目标检测网络对标注完成后图像样本进行训练，得到具有针对上述标注后的目标仪表检测的目标检测神经网络模型；

步骤3、通过训练好的目标检测神经网络模型对现场仪表图像样本的仪表进行检测，并根据目标仪表的检测与识别结果，通过对目标图像进行裁剪操作，分割检测到的不同类别的目标仪表图像；

进而分离巡检机器人云台所拍摄的原始图像中的多种类的仪表，并得到每一类仪表的单个样本图像；

步骤4、任意选取一张仪表图像作为模板图像，关联指针角度与表盘刻度之间的对应关系作为标准模板量程；

步骤5、对现场采集图像进行分割后的仪表图像进行预处理，然后根据模板图像进行SIFT配准得到配准后的仪表图像；

步骤6、针对配准后的单个仪表图像，根据不同类别的仪表进行读数。

2.根据权利要求1所述的基于巡检机器人的仪表图像识别方法，其特征在于：所述步骤1中的图像获取方法为：巡检机器人上搭载有可见光摄像头的云台，然后针对当前待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流，然后对视频流进行等间隔抽帧采样获得若干现场仪表图像样本。

3.根据权利要求1所述的基于巡检机器人的仪表图像识别方法，其特征在于：所述目标检测神经网络模型基于YOLOv4目标检测网络进行构建，聚义过程如下：

YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channle reduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；

原始图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。

4.根据权利要求1所述的基于巡检机器人的仪表图像识别方法，其特征在于：所述步骤5中采用SIFT配准，具体是指将目标图像与基准图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后依次对该梯度内的所有图像进行迭代判定。

Images