CN110826549A - 基于计算机视觉的巡检机器人仪表图像识别方法及系统 - Google Patents

Abstract

本公开提供了一种基于计算机视觉的巡检机器人仪表图像识别方法及系统，构建待巡检场景的三维空间模型，预设巡检机器人的巡检路线，并根据目标仪表的位置、朝向以及光照情况预设拍照点位；基于设计的巡检路线和拍照点，对指定仪表进行拍摄标定，得到指定仪表的型号、量程、仪表模版图片和拍照点编号；巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别；本公开解决了人力巡检的不安全性、传统仪表图像识别方法的不稳定性和参数难调的问题，极大的提高了仪表图像识别的准确度。

Description

基于计算机视觉的巡检机器人仪表图像识别方法及系统

技术领域

本公开涉及仪表图像识别技术领域，特别涉及一种基于计算机视觉的巡检机器人仪表图像识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着智能化时代的到来，利用新兴的计算机视觉技术，节约更多的人力成本，提高实际应用的效率是未来的发展趋势之一。图像识别技术在生活中有众多的应用场景，如何将基于计算机视觉的图像识别方法搭载于巡检机器人上实现自动化、智能化的巡检，是当今研究的热点之一。仪表图像识别的目的是在图片中准确找到仪表的位置，并且分析仪表的状态，例如：读数、开关等。搭载仪表图像识别算法的巡检机器人被广泛应用于电站、机房等场景的无人巡检、安全检查等任务中。

本公开发明人发现，(1)目前的仪表图像识别算法主要是利用已有的计算机图形学方法，对目标的指定特征(直线、圆环等)进行提取，设置特定的判断逻辑实现仪表图像识别，这样的方法难以适应现实场景中的大量干扰，例如光照、划痕、遮挡等；(2)上述方法的效率一般较低，需要对整幅图像中的信息进行完整的处理才能够得到最终的结果，并且算法中存在大量的未知参数，需要根据实际场景进行参数的调整，因而应用性不强。

发明内容

为了解决现有技术的不足，本公开提供了一种基于计算机视觉的巡检机器人仪表图像识别方法及系统，解决了人力巡检的不安全性、传统仪表图像识别方法的不稳定性和参数难调的问题。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于计算机视觉的巡检机器人仪表图像识别方法。

一种基于计算机视觉的巡检机器人仪表图像识别方法，步骤如下：

构建待巡检场景的三维空间模型，根据三维空间模型预设巡检机器人的巡检路线，并根据目标仪表的位置、朝向以及光照情况预设拍照点位；

基于设计的巡检路线和拍照点，对指定仪表进行拍摄标定，得到指定仪表的型号、量程、仪表模版图片和拍照点编号；

巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别。

作为可能的一些实现方式，根据模板匹配算法进行仪表定位，具体为：

采用滑窗机制，通过提取仪表模版图片中的图像特征，再与目标图片上的每一个大小相近的滑窗窗口进行比对，得到最相似的部分作为仪表的定位结果。

作为可能的一些实现方式，指针仪表的仪表识别算法，具体为：

采用PointeNet算法，引入以表盘半径中点为中心点的锚点，将所有的锚点边框设计为对角长度为表盘半径，中心点在二分之一半径处的矩形，以所有的矩形锚点边框为基础基于SSD的卷积神经网络进行仪表指针的检测，得到指针候选框。

作为进一步的限定，得到指针候选框后，根据标定好的仪表量程起点的坐标和刻度、中心点的坐标以及终点的坐标和刻度，计算指针仪表具体读数，具体为：

其中，中心点坐标为(x_c，y_c)，量程起点坐标为(x_s，y_s)，刻度为α量程终点坐标为(x_e，y_e)，刻度为β，算法识别结果为(x_r，y_r)。

作为可能的一些实现方式，采用STR算法进行数字识别，包括数字区域的检测和检测区域的数字识别。

作为进一步的限定，所述STR算法进行数字识别的具体步骤为：

(6-1)输入图像为X，通过文字检测网络CTPN进行数字区域的检测，得到数字区域的外接框，从原图中截取得到

(6-2)图像矫正，设定一个基准点数量参数F，通过基准点定位网络寻找图片的上下基准点，并且基于基准点，以整个文字的上下部分平行为目标对原图像进行校正，矫正后得到图像

(6-3)特征提取，输入矫正后图像

通过图像特征提取网络，输出特征图V＝{v_i}，i是特征图的通道数；

(6-4)模型序列化语义提取，将特征图V输入一个双向LSTM网络进行语义序列化的特征提取；

(6-5)结果预测，通过基于注意力机制的分类层进行识别结果的预测，得到最终的数字仪表识别结果。

作为更进一步的限定，所述(6-4)中，进行特征提取得到：

H＝seq(V)

输出结果H中包含T个阶段，分别代表着T个可能的数字。

作为更进一步的限定，所述(6-5)中，结果预测的具体方法为：

在第t个阶段时，经过一个全连接层，经由softmax函数处理：

y_t＝softmax(W_os_t+b_o)

预测阶段则直接将y_t作为数字仪表输出结果，其中W_o和b_o是训练参数，s_t为每一个阶段的隐藏状态，计算方式如下：

s_t＝LSTM(y_t-1，c_t，s_t-1)

其中，c_t是状态向量，是由H的结果计算而来：

e_ti＝v^Ttanh(Ws_t-1+Vh_i+b)

其中，v、W、V、b都是通过训练学习到的参数。

本公开第二方面提供了一种基于计算机视觉的巡检机器人仪表图像识别系统。

一种基于计算机视觉的巡检机器人仪表图像识别系统，包括主控模块和至少一台巡检机器人，所述主控模块内置有待巡检场景的三维空间模型、预设的巡检机器人的巡检路线、预设拍照点位以及指定仪表的型号、量程、仪表模版图片和拍照点编号；

所述巡检机器人与主控模块通信连接或者所述主控模块嵌入在巡检机器人中，巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别，并将识别得到的结果发送给外置设备。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统及巡检机器人，引入深度学习技术弥补传统方法的不足，通过端到端的模型读取仪表读数，解决了人力巡检的不安全性、传统仪表图像识别方法的不稳定性和参数难调的问题。

2、本公开所述的方法、系统及巡检机器人，大幅降低了人工标注的复杂程度以及所需要的工作量，使整个系统对用户更加友好；

3、本公开所述的方法、系统及巡检机器人，提升了识别的精度以及速度，对于不同场景的适应性较强。

4、本公开所述的方法、系统及巡检机器人，通过PointeNet算法进行指针仪表的识别，通过STR算法进行数字仪表的识别，基于海量的仪表数据，设计出有效的卷积神经网络模型，对目标仪表的读数进行识别，极大的提高了读数识别的准确度，同时避免了人工标注阶段的大量调参工作。

5、本公开所述的方法、系统及巡检机器人，通过模版匹配的仪表定位方法，能够高效的对拍摄的图片中的指定仪表进行定位，实现效率高并且有很高的定位精度，非常适用于仪表识别仪表定向识别任务。

附图说明

图1为本公开实施例1提供的基于计算机视觉的巡检机器人仪表图像识别方法流程示意图。

图2(a)为本公开实施例1提供的指针仪表识别算法的示意图。

图2(b)为本公开实施例1提供的指针仪表识别算法的效果图。

图3为本公开实施例1提供的数字仪表识别算法的示意图。

1-锚点边框；2-指针；3-锚点边框中心点候选集；4-锚点边框中心点。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于计算机视觉的巡检机器人仪表图像识别方法，本方法的应用模块主要包括两个部分，分别是场景建模模块和实际使用模块。

场景建模模块在需要借助人力进行具体场景的云图绘制以及巡检点制定，同时需要记录每个巡检点处相应的算法所需要的标定信息。

巡检模块则寄托于场景建模模块之上，基于场景建模阶段设定的巡检位置、标定信息，将拍摄的图片交由算法模块进行处理，得到最终的仪表读数。

下面进行本方法整体应用流程详细的说明，首先是场景建模阶段：

步骤(1)：进行目标场景的三维建模，由于机器人需要在目标场景中进行长时间的探测，所以需要手动控制机器人在目标场景内行走，扫描周围障碍物以获取具体的场景信息；然后，根据场景信息确定巡检时机器人的起点、前进路线，以及需要进行识别的所有仪表。

步骤(2)：巡检点标定，基于前进路线以及需要识别的仪表，由人工操纵机器人进入目标区域进行手动拍摄，记录该巡检点的机器人参数(位置，摄像头仰角和焦距等)。

步骤(3)：仪表信息标定，同时对指定仪表进行拍摄标定，标定内容包括：仪表型号，仪表量程，仪表模版图片以及拍照点序号。不同型号的仪表基于其依托的算法需要不同的标定信息，由于一张照片中可能出现多个相似的重复仪表，需要标定目标仪表在拍摄照片中的可能出现位置范围(ROI区域)，最后将所有的信息按拍摄点编号、仪表编号存储于机器人的硬盘之中。

接下来是巡检阶段：

步骤(1)：将机器人置于指定的巡检起始点，机器人自动校正，每一次巡检开始前，机器人都会进行自动的校正，保证后续巡检的准确度和机器人的行驶稳定性。

步骤(2)：巡检点拍摄，机器人在到达下一个巡检点后，将会根据预设好的参数拍摄目标仪表图片，并且将拍下的图片联合标定的信息一起交由算法程序进行处理；

步骤(3)：算法识别，算法模块首先会基于目标仪表的模版图片，在标定的ROI区域内，通过模版匹配算法进行目标仪表的定位，并且将其从图片中截取出来；

步骤(4)：随后根据标注信息确认仪表型号，调用对应型号的识别算法；识别完成后将结果返回存储或显示，再前往下一个巡检点进行识别。

循环执行步骤(2)至步骤(4)，直到所有巡检点的所有仪表识别完毕，机器人自动返回巡检起点结束此次巡检工作。

本方法中针对不同的仪表类型设计了针对性的识别算法：

指针仪表识别算法：指针仪表由表盘，转动表针，刻度几部分组成，目标是识别表针位置所指示的仪表读数。如图2(a)所示，本方法提出了一种新型的卷积神经网络模型PointerNet，由于指针位于仪表中心点以及量程刻度圈之间，区别于普通目标检测方法，PointeNet通过引入以表盘半径中点为中心点的anchor，将所有的anchor设计为对角长度为表盘半径，中心点在1/2半径处的矩形，并且以此为基础基于SSD的网络结构进行仪表指针的检测。

检测得到指针候选框后，根据标定好的仪表量程起点、终点计算仪表具体读数。令表面中心点坐标为(x_c，y_c)，量程起点坐标为(x_s，y_s)，刻度为α量程终点坐标为(x_e，y_e)，刻度为β，算法识别结果为(x_r，y_r)，则最终返回的读数为：

图2(b)展示了指针仪表的标定点以及实际的识别结果。

数字识别算法：数字仪表面是由LED显示的数字，包含多行读数、小数点等复杂情况。本方法设计了一种基于STR(Scene Text Recognition)算法的数字识别方法，该方法包含数字区域的检测，以及检测区域的数字识别。如图3，令输入图像为X，则STR算法的主要步骤如下：

步骤(1)：通过文字检测网络CTPN进行数字区域的检测，得到数字区域的外接框，从原图中截取得到

步骤(2)：图像矫正，设定一个基准点数量参数F，通过一个小型的基准点定位网络寻找图片的上下基准点，并且基于基准点对原图像进行校正，使得整个文字的上下部分尽可能是平行的。基准点为图3中的×，共2F个，上下各F个，矫正后得到图像

步骤(3)：特征提取，输入矫正后图像通过一个Resnet或VGG的图像特征提取网络，输出特征图V＝{v_i}，i是特征图的通道数。

步骤(4)：模型序列化语义提取，得到特征V后，将其输入一个双向LSTM网络进行语义序列化的特征提取：

H＝seq(V) (2)

输出结果H中包含T个阶段，分别代表着T个可能的数字。

步骤(5)：结果预测，通过基于注意力机制的分类层进行识别结果的预测，在第t个阶段时，首先经过一个全连接层，经由softmax函数处理：

y_t＝softmax(W_os_t+b_o) (3)

其中W_o和b_o是训练参数，s_t为每一个阶段的隐藏状态，计算方式如下：

s_t＝LSTM(y_t-1，c_t，s_t-1) (4)

其中，c_t是状态向量，是由H的结果计算而来：

e_ti＝v^Ttanh(Ws_t-1+Vh_i+b) (7)

其中v，W，V，b都是通过训练学习到的参数。预测阶段则直接将y_t作为输出结果返回，不进入步骤(6)。

步骤(6)：损失函数，这里的损失函数选择非负对数似然估计损失函数，对于一个训练样本{X_i，Y_i}，X_i是训练图像，Y_i是其标签，训练目标是最小化预测值与真实标签之间的误差：

实施例2：

本公开实施例2提供了一种基于计算机视觉的巡检机器人仪表图像识别系统，包括主控模块和至少一台巡检机器人，所述主控模块内置有待巡检场景的三维空间模型、预设的巡检机器人的巡检路线、预设拍照点位以及指定仪表的型号、量程、仪表模版图片和拍照点编号；

所述巡检机器人与主控模块通信连接或者所述主控模块嵌入在巡检机器人中，巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别，并将识别得到的结果发送给外置设备。

所述外置设备可以是上位机、远程监控平台或者移动智能终端。

所述待巡检场景的三维空间模型、预设的巡检机器人的巡检路线、预设拍照点位以及指定仪表的型号、量程、仪表模版图片和拍照点编号的获取方法均采用实施例1中的方法，这里不再赘述。

所述指针仪表或数字仪表各自对应的仪表识别算法均采用实施例1中的仪表识别算法，这里不再赘述。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，步骤如下：

构建待巡检场景的三维空间模型，根据三维空间模型预设巡检机器人的巡检路线，并根据目标仪表的位置、朝向以及光照情况预设拍照点位；

基于设计的巡检路线和拍照点，对指定仪表进行拍摄标定，得到指定仪表的型号、量程、仪表模版图片和拍照点编号；

巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别。

2.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，根据模板匹配算法进行仪表定位，具体为：

采用滑窗机制，通过提取仪表模版图片中的图像特征，再与目标图片上的每一个大小相近的滑窗窗口进行比对，得到最相似的部分作为仪表的定位结果。

3.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，指针仪表的仪表识别算法，具体为：

采用PointeNet算法，引入以表盘半径中点为中心点的锚点，将所有的锚点边框设计为对角长度为表盘半径，中心点在二分之一半径处的矩形，以所有的矩形锚点边框为基础基于SSD的卷积神经网络进行仪表指针的检测，得到指针候选框。

4.如权利要求3所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，得到指针候选框后，根据标定好的仪表量程起点的坐标和刻度、中心点的坐标以及终点的坐标和刻度，计算指针仪表具体读数，具体为：

其中，中心点坐标为(x_c，y_c)，量程起点坐标为(x_s，y_s)，刻度为α量程终点坐标为(x_e，y_e)，刻度为β，算法识别结果为(x_r，y_r)。

5.如权利要求1所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，采用STR算法进行数字识别，包括数字区域的检测和检测区域的数字识别。

6.如权利要求5所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，所述STR算法进行数字识别的具体步骤为：

(6-1)输入图像为X，通过文字检测网络CTPN进行数字区域的检测，得到数字区域的外接框，从原图中截取得到

(6-2)图像矫正，设定一个基准点数量参数F，通过基准点定位网络寻找图片的上下基准点，并且基于基准点，以整个文字的上下部分平行为目标对原图像进行校正，矫正后得到图像

(6-3)特征提取，输入矫正后图像

通过图像特征提取网络，输出特征图V＝{v_i}，i是特征图的通道数；

(6-4)模型序列化语义提取，将特征图V输入一个双向LSTM网络进行语义序列化的特征提取；

(6-5)结果预测，通过基于注意力机制的分类层进行识别结果的预测，得到最终的数字仪表识别结果。

7.如权利要求6所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，所述(6-4)中，进行特征提取得到：

H＝seq(V)

输出结果H中包含T个阶段，分别代表着T个可能的数字。

8.如权利要求7所述的基于计算机视觉的巡检机器人仪表图像识别方法，其特征在于，所述(6-5)中，结果预测的具体方法为：

在第t个阶段时，经过一个全连接层，经由softmax函数处理：

y_t＝softmax(W_os_t+b_o)

预测阶段则直接将y_t作为数字仪表输出结果，其中W_o和b_o是训练参数，s_t为每一个阶段的隐藏状态，计算方式如下：

s_t＝LSTM(y_t-1，c_t，s_t-1)

其中，c_t是状态向量，是由H的结果计算而来：

e_ti＝v^Ttanh(Ws_t-1+Vh_i+b)

其中，v、W、V、b都是通过训练学习到的参数。

9.一种基于计算机视觉的巡检机器人仪表图像识别系统，其特征在于，包括主控模块和至少一台巡检机器人，所述主控模块内置有待巡检场景的三维空间模型、预设的巡检机器人的巡检路线、预设拍照点位以及指定仪表的型号、量程、仪表模版图片和拍照点编号；

所述巡检机器人与主控模块通信连接或者所述主控模块嵌入在巡检机器人中，巡检机器人沿巡检路线按照指定的编号顺序到达各个巡检点，按照预设拍照点位对仪表进行拍摄，将得到的仪表照片编码后根据模板匹配算法进行仪表定位，然后利用指针仪表或数字仪表各自对应的仪表识别算法进行读数识别，并将识别得到的结果发送给外置设备。

Images