CN115797619A - 一种适用于巡检机器人仪表图像定位的纠偏方法 - Google Patents

Abstract

本发明公开一种适用于巡检机器人仪表图像定位的纠偏方法，包括目标检测、特征提取、特征平衡、计算匹配、实施变换，本发明既避免需要人工标注现场模板信息的工作，又能够将现场仪表的图像数据向识别算法开发样本还原，保证先验信息的有效性。

Description

一种适用于巡检机器人仪表图像定位的纠偏方法

技术领域

本发明属于图像定位技术，具体涉及一种适用于巡检机器人仪表图像定位的纠偏方法。

背景技术

智能读表是当前巡检机器人应用的典型场景之一，现有的巡检机器人在读表时通常分为定位仪表和仪表读数两个步骤。

然而在实际场景中，定位问题可能来自两个方面：一是机器人或云台等定位偏差导致的相机重复定位偏差，使得拍摄场景变化；二是在图像上定位仪表的ROI区域。上文提及的专利中将问题一通过图像配准解决，问题二则通过预先保存在模板配置中的信息获取，因此可以适用一次拍摄有多仪表需识别的场景；但是，因为镜头的光学畸变特性，所以通常会使得在图像中心的仪表比周围的识别效果好。因此，在模板配置的过程中，多依赖人工经验提供标定信息。

现有方法通过每次仅拍摄唯一仪表且使得整个仪表在图像上占据最大画面来将两个问题合并解决。例如：通过变换视场来定位仪表，但是这种方法无法解决关键的对齐操作，而且调焦后拍摄的图像仅有待识别的唯一仪表，既存在因效率限制应用场景的可能，又无法避免视角偏差对识别算法的影响；也有在视频流中查找最接近参考图像的方法，但是这种方法需要严格一致的拍摄视角，而且依赖关键特征的定位，在实用上实际有诸多局限，例如光照变化、小仪表节律性场景等，而且部分关键特征非图像局部特征（角点、边缘、梯度方向等），而是类似参考物。

随着近些年深度学习在模式识别领域大放异彩，应用物体检测网络从机器人拍摄的图片中定位仪表区域成为可能。但是，由于相机重复定位误差客观存在，以及各种仪表自身结构化先验信息能为设计鲁棒、高效的识别算法带来帮助，本发明提供一种巡检机器人仪表图像定位所需的纠偏方法，用于将即时拍摄的待识别仪表图像变换为识别算法所需的参考图像。

简言之：现有技术方案存在依赖人工、鲁棒性不够、依赖机械运动、以及不支持多仪表等等问题。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种适用于巡检机器人仪表图像定位的纠偏方法。

技术方案：本发明的一种适用于巡检机器人仪表图像定位的纠偏方法，包括以下步骤：

步骤S1、目标检测；

S1.1、巡检机器人获取若干待识别的场景图片，每个待识别图图片中至少含有一个仪表实物；

S1.2、将含有巡检仪表实物的场景图片输入训练好的目标检测网络，然后从目标检测网络输出图片中各个仪表的检测结果(c,b)，c是指仪表类别和b是指锚框；

步骤S2、特征提取；

S2.1、提取目标检测网络的backbone和Neck来构建特征提取子网络；图片输入后经过卷积下采样得到（20，20，v）的深层特征图，经过SPP融合特征后取最大融合结果（80，80，v）为最终输出；

所述骨干网络backbone采用Res2NetBlock结构增强特征融合能力，并在单个残差块中使用分层残差块连接，以更细粒度的层次捕获全局特征，同时添加CoordAtt注意力机制，提升像素坐标精度；所述Neck部分包括空间金字塔池化FPN和PAN；

S2.2、将任一待识别图片的检测结果(c,b)和对应的该类仪表参考图像依次送入特征提取子网络，分别获得两个尺寸为（80，80，v）的特征图，每个特征图均有80×80个长度为v的特征向量；令对应仪表参考图得到的特征图为F1，待识别图片得到的特征图为F2；（实际中，F1可提前保存计算结果，避免重复计算）网络结构见配图1；

S2.3、将步骤S2.2所得所有特征图的各特征向量都做归一化处理，抑制光照影响；

步骤S3、特征平衡；

S3.1、比例检测，即从特征图F1中查找与对应特征图F2各特征向量最接近的两个特征向量，以欧式距离描述相似性，若最近距离与次近距离的比值小于阈值（此处阈值取值0到1，例如可以为0.2），则保留该最近距离对应的一对匹配关系；依此遍历特征图F2中所有非|0|的特征向量；

S3.2、对称检测，即在步骤S3.1基础上，遍历所有匹配关系的特征图F1，查找它们在特征图F2中的最近距离匹配是否是当前匹配关系中的特征向量，若匹配，则继续保留该对匹配关系，若匹配，则剔除该对匹配关系；

S3.3、均匀性抑制，对于步骤S3.2最终匹配上的特征向量，按位置计算它们的重心，如果重心不在中15×15区域内(偏移严重)或匹配关系总数超过200(误匹配较多），则执行分布均匀性抑制，否则不均匀性抑制；

S3.4、均匀性增强，即对于步骤S3.2最终匹配的特征向量，如果匹配关系总数少于100，则执行匹配关系增强；

步骤S4、计算匹配，即对特征平衡后的特征匹配关系计算两幅图像之间的对应关系；

步骤S5、实施变换：对图像进行调整。

进一步地，所述步骤S3.3中均匀性抑制的具体执行方法为：

设立与步骤S3.2所得特征图F2当前匹配关系对应的mask矩阵，mask矩阵上存在对应匹配关系的位置数值为1，表示激活状态；接着开始遍历mask矩阵，如果遇到数值为1，则设置其邻域半径s内的值为0。

进一步地，所述步骤S3.4中均匀性增强的具体执行方法为：

将特征点坐标反投影到步骤S1.2含有巡检仪表的场景图片位置并作为生长点；如果取输入层为608x608，那么一个特征向量对应一块8x8的像素块，计算该像素块邻域的像素梯度，如果这两个像素块的像素梯度变化在一定阈值范围内(例如40~60)，则视为同类特征向量，接着逐渐扩大特征区域，与其他特征向量相连，提取最大连通域的矩阵以及连通域内对应的匹配关系作为后续的补充信息。进一步地，在所述步骤S4中：

S4.1、当有连通域信息时，优先计算连通域信息对应关系，再先初步调整待识别图像；

S4.2、 然后根据匹配关系，应用RANSAC计算单应矩阵，最后在步骤S4.1的基础上微调图像。

有益效果：与现有技术相比，本发明具有以下优点：

（1）本发明能够避免计算特征检测子和特征描述子；

（2）本发明能够极大地降低误匹配特征的概率，同时通过提取有效匹配关系在一定范围内，控制RANSAC的结果在一定时间消耗内达到预期效果；

（3）在实际应用中，本发明既避免需要人工标注现场模板信息的工作，又做到尽可能将现场仪表的图像数据向识别算法开发样本还原，保证先验信息的有效性。

附图说明

图1为本发明的目标检测网络结构图；

图2为本发明一实施例中带有仪表实物的图片；

图3为本发明一实施例中目标检测网络输出结果图；

图4为本发明一实施例中检测结果；

图5为本发明一实施例中参考图像；

图6为本发明一实施例中计算匹配；

图7为本发明一实施例中特征平衡；

图8为本发明一实施例中微调图像后输出结果。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

本实施例的适用于巡检机器人仪表图像定位的纠偏方法，包括以下步骤：

步骤S1、目标检测；

S1.1、巡检机器人获取若干待识别的场景图片，每个待识别图图片中至少含有一个仪表实物；

S1.2、将含有巡检仪表实物的场景图片输入训练好的目标检测网络，然后从目标检测网络输出图片中各个仪表的检测结果(c,b)，c是指仪表类别和b是指锚框；如图2至图4所示；

步骤S2、特征提取；

S2.1、提取目标检测网络的backbone和Neck来构建特征提取子网络；图片输入后经过卷积下采样得到（20，20，v）的深层特征图，经过SPP融合特征后取最大融合结果（80，80，v）为最终输出；

所述骨干网络backbone采用Res2NetBlock结构，并在单个残差块中使用分层残差块连接，以及添加CoordAtt注意力机制；所述Neck部分包括空间金字塔池化FPN和PAN；

S2.2、将任一待识别图片的检测结果(c,b)和对应的该类仪表参考图像依次送入特征提取子网络，分别获得两个尺寸为（80，80，v）的特征图，每个特征图均有80×80个长度为v的特征向量；令对应仪表参考图（图5）得到的特征图为F1，待识别图片得到的特征图为F2；（实际中，F1可提前保存计算结果，避免重复计算）网络结构见配图1；

S2.3、将步骤S2.2所得所有特征图的各特征向量都做归一化处理，抑制光照影响；

步骤S3、特征平衡；

S3.1、比例检测，即从特征图F1中查找与对应特征图F2各特征向量最接近的两个特征向量，以欧式距离描述相似性，若最近距离与次近距离的比值小于阈值（此处阈值取值0到1，例如可以为0.2），则保留该最近距离对应的一对匹配关系；依此遍历特征图F2中所有非|0|的特征向量；

S3.2、对称检测，即在步骤S3.1基础上，遍历所有匹配关系的特征图F1，查找它们在特征图F2中的最近距离匹配是否是当前匹配关系中的特征向量，若匹配，则继续保留该对匹配关系，若匹配，则剔除该对匹配关系；

S3.3、均匀性抑制，对于步骤S3.2最终匹配上的特征向量，按位置计算它们的重心，如果重心不在中15x15区域内(偏移严重)或匹配关系总数超过200(误匹配较多），则执行分布均匀性抑制，否则不均匀性抑制；

其中设立与步骤S3.2所得特征图F2当前匹配关系对应的mask矩阵，mask矩阵上存在对应匹配关系的位置数值为1，表示激活状态；接着开始遍历mask矩阵，如果遇到数值为1，则设置其邻域半径s内的值为0；

均匀性增强，即对于步骤S3.2最终匹配的特征向量，如果匹配关系总数少于100，则执行匹配关系增强；将特征点坐标反投影到含有巡检仪表实物的场景图片位置并作为生长点；如果取输入层为608x608，那么一个特征向量对应一块8x8的像素块，计算该像素块邻域的像素梯度，如果这两个像素块的像素梯度变化在一定阈值范围内，则视为同类特征向量，接着逐渐扩大特征区域，与其他特征向量相连，提取最大连通域的矩以及连通域内对应的匹配关系作为后续的补充信息；

步骤S4、计算匹配，即对特征平衡后的特征匹配关系（如图7）计算两幅图像之间的对应关系，如图6所示；

步骤S5、实施变换：对图像进行调整。

在本实施例中，步骤S4包括以下内容：

S4.1、当有连通域信息时，优先计算连通域信息对应关系，再先初步调整待识别图像；

S4.2、然后根据匹配关系，应用RANSAC计算单应矩阵，最后在步骤S4.1的基础上微调图像，最终输出结果如图8所示。

Claims (4)

1.一种适用于巡检机器人仪表图像定位的纠偏方法，其特征在于：包括以下步骤：

步骤S1、目标检测；

S1.1、巡检机器人获取若干待识别的场景图片，每个待识别图片中至少含有一个仪表实物；

S1.2、将含有巡检仪表实物的场景图片输入训练好的目标检测网络，然后从目标检测网络输出图片中各个仪表的检测结果(c,b)，c是指仪表类别和b是指锚框；

步骤S2、特征提取；

S2.1、提取目标检测网络的backbone和Neck来构建特征提取子网络；图片输入后经过卷积下采样得到（20，20，v）的深层特征图，经过SPP融合特征后取最大融合结果（80，80，v）为最终输出；

所述骨干网络backbone采用Res2NetBlock结构，并在单个残差块中使用分层残差块连接，以及添加CoordAtt注意力机制；所述Neck部分包括空间金字塔池化FPN和PAN；

S2.2、将任一待识别图片的检测结果(c,b)和对应的该类仪表参考图像依次送入特征提取子网络，分别获得两个尺寸为（80，80，v）的特征图，每个特征图均有80×80个长度为v的特征向量；令对应仪表参考图得到的特征图为F1，待识别图片得到的特征图为F2；

S2.3、将步骤S2.2所得所有特征图的各特征向量都做归一化处理；

步骤S3、特征平衡；

S3.1、比例检测，即从特征图F1中查找与对应特征图F2各特征向量最接近的两个特征向量，以欧式距离描述相似性，若最近距离与次近距离的比值小于阈值，则保留该最近距离对应的一对匹配关系；依此遍历特征图F2中所有非|0|的特征向量；

S3.2、对称检测，即在步骤S3.1基础上，遍历所有匹配关系的特征图F1，查找它们在特征图F2中的最近距离匹配是否是当前匹配关系中的特征向量，若匹配，则继续保留该对匹配关系，若匹配，则剔除该对匹配关系；

S3.3、均匀性抑制，对于步骤S3.2最终匹配上的特征向量，按位置计算它们的重心，如果重心不在中15×15区域内或匹配关系总数超过200，则执行分布均匀性抑制，否则不均匀性抑制；

均匀性增强，即对于步骤S3.2最终匹配的特征向量，如果匹配关系总数少于100，则执行匹配关系增强；

步骤S4、计算匹配，即对特征平衡后的特征匹配关系计算两幅图像之间的对应关系；

步骤S5、实施变换：对图像进行调整。

2.根据权利要求1所述的适用于巡检机器人仪表图像定位的纠偏方法，其特征在于：所述步骤S3.3中均匀性抑制的具体执行方法为：

设立与步骤S3.2所得特征图F2当前匹配关系对应的mask矩阵，mask矩阵上存在对应匹配关系的位置数值为1，表示激活状态；接着开始遍历mask矩阵，如果遇到数值为1，则设置其邻域半径s内的值为0。

3.根据权利要求1所述的适用于巡检机器人仪表图像定位的纠偏方法，其特征在于：所述步骤S3.4中均匀性增强的具体执行方法为：

将特征点坐标反投影到S1.2含有巡检仪表实物的场景图片位置并作为生长点；如果取输入层为608x608，那么一个特征向量对应一块8x8的像素块，计算该像素块邻域的像素梯度，如果这两个像素块的像素梯度变化在一定阈值范围内，则视为同类特征向量，接着逐渐扩大特征区域，与其他特征向量相连，提取最大连通域的矩以及连通域内对应的匹配关系作为后续的补充信息。

4.根据权利要求1所述的适用于巡检机器人仪表图像定位的纠偏方法，其特征在于：在所述步骤S4中：

S4.1、当有连通域信息时，优先计算连通域信息对应关系，再先初步调整待识别图像；

S4.2、然后根据匹配关系，应用RANSAC计算单应矩阵，最后在步骤S4.1的基础上微调图像。

Images