CN113554018A - 一种基于机器视觉的表计自动建模方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的表计自动建模方法，解决了现有技术的不足，包括以下步骤：步骤1，建立表计母模库；步骤2，通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；步骤3，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。

Description

一种基于机器视觉的表计自动建模方法

技术领域

本发明涉及自动建模技术领域，尤其是指一种基于机器视觉的表计自动建模方法。

背景技术

在一些传统工业行业中，如变电站、化工厂、炼油厂等领域，需要使用各种类型的仪表来随时监测数据，以保障每个设备的正常运行。但是现有的表计，需要人工读数，绝大多数工业场所因占地面积大，设备分散，人工读数时，很难及时发现某个区域仪表数值的异常；加之人工作业不但成本高、效率低还存在很大的安全隐患。

随着智能电网概念的提出，变电站操作和运维技术都朝着无人化、智能化的方向发展。因此，目前依靠巡检人员去读指针表读数并记录的传统方式，也逐渐将被基于机器视觉的指针表自动识别所取代。

目前这些表计检测和识别及方法，主流方法都是基于预先按照标记点拍照的大图，选取一张该标记点的高清图片，将该标记点的表类型及用于表头读数识别的各种先验信息记录入模板；巡检时，在该标记点按照与模板一致的拍照尺度、角度、焦距进行拍照，保证测试图和模板图尽量一致，然后通过算法实现测试图和模板图的配准进而实现表头的检测定位，然后利用模板中先验信息通过算进行读数识别。

专利CN 111598109 A提出使用滤波，边缘检测，膨胀腐蚀，Hough圆检测表盘与刻度圆型，Hough直线变换检测指针的方法来自动识别指针表读数。该方法存在以下几个问题：

1.使用的方法均为图像处理的常规方法，对光照、表盘污染(灰层、雨水、标签)等情况无法处理；

2.无法准确获取细小指针与细小刻度位置。

3.无法准确获取表计的量程与刻度起点终点位置，其自动识别方法需要人工干预。

专利CN 110909738 A采集指针表的正面RGB图像，使用关键点检测网络获取定位位置和表盘上刻度线和指针的关键点。根据关键点拟合刻度线及指针线，最后根据指针线与刻度线构成的圆弧角度计算指针表读数。改方法存在以下几个问题：

1.该方法对表计的角度要求高，需要正面高清图，变电站机器人巡检由于线路与高度的原因，拍摄的表计往往存在上下左右各个倾斜角度，因而不能大范围推广至机器人巡检中；

2.该方法的关键点涉及指针位置，刻度位置等，因而只能处理刻度，指针特征明显的表计，变电站中存在许多指针与刻度非常细小的雷击表，该方法并不适用。

3.该方法扩展性弱，针对新表需要重新大量标注关键信息，重新训练模型。

发明内容

本发明的目的是克服现有技术中指针表自动识别技术费事费力，且误差较高、扩展性较差的缺点，提供一种基于机器视觉的表计自动建模方法。

本发明的目的是通过下述技术方案予以实现：

一种基于机器视觉的表计自动建模方法，包括以下步骤：

步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster-rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；

步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；

步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；

步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；

步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。

Reid：Person Re-identification(行人重识别)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，此处应用于同类表头检索。在待建模表计图片预测时，去掉reid模型最后的全连接层，使用网络提取特征，最后算出待分类图和表计母模库中所有图片特征之间的距离，根据距离排序选择需要的结果。

reid技术能够尽量把外观相近的表认为是同一id，但由于光照、外观新旧、标牌等干扰影响，算法还是时常发生将不同量程、但外观相近的表id混淆。因此提出了表计指示关键区域模板匹配技术，来排除许多外观相似表但量程不一致的候选母模，这是基于母模先验知识，有效降低表头检测分类误报的一种技术手段。

作为一种优选方案，所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。

作为一种优选方案，所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster-rcnn模型训练，Faster-rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过ROIpooling层使每个ROI生成固定尺寸的特征图片，最后通过softmax Loss和Smooth L1 Loss对分类概率和边框回归进行联合训练。

作为一种优选方案，所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。

作为一种优选方案，所述的表计为指针表，所述的步骤4中，表计指示关键区域为刻度关键区域，匹配包括以下步骤：

步骤4-1，提取待建模表计图片的表头图像的梯度幅值；

步骤4-2，保留梯度幅值前30％的像素点计算梯度方向；

步骤4-3，使用上下左右平移的方法按角度余弦平方值进行模板匹配；

步骤4-4，匹配值加步骤3中的置信度即为最终置信度，最终置信度最高的为最佳母模。

匹配的原理为：根据候选母模模板上的表头，选取指针表上的刻度值，屏蔽其他区域进行模板匹配；

模板匹配即在待建模表计图片上，从左往右，从上往下一个像素一个像素地移动模板，计算模板图像与重叠子图像的匹配度，匹配程度越大，两者相同的可能性越大；像素匹配算子为图像像素点梯度方向，梯度方向受光照影响小，鲁棒性强；

图像像素点(x,y)位置上X轴方向梯度：

I_x(x,y)＝I(x+1,y)-I(x-1,y)

图像像素点(x,y)位置上Y轴方向梯度：

I_y(x,y)＝I(x,y+1)-I(x,y-1)

图像像素点(x,y)位置上梯度幅值：

图像像素点(x,y)位置上梯度方向：

本发明采用梯度角度余弦平方值进行匹配：

R(x,y)表示在像素(x,y)处的匹配度，θ_T，θ_I分别为模板与带待检测图像上的梯度方向值，角度越相近，匹配度越高。

作为一种优选方案，所述的步骤5中，根据单应矩阵换算得出指针运行椭圆区域，指针锚点位置，刻度起始点与终点信息，使用锚点与刻度间的连线在一定区间内提取像素梯度方向，并与最佳母模的指针像素梯度方向进行匹配，通过遍历所有指针角度获取最佳匹配点，最后根据指针角度与指针表的量程换算出指针读数。本方案的在于在于克服许多表头与指针刻度区域不共面造成匹配偏移的问题。

作为一种优选方案，所述的faster-rcnn的表头检测网络替换为yolo表头检测网络，所述的reid分类网络替换为resnet50分类网络。

本发明的有益效果是：本发明可以识别细指针、细刻度、小半圆刻度的指针表，对它进行自动建模，识别成功率较高；可以处理因标签、灰层、雨水等部分遮挡造成的识别失败的情况，进一步提升识别的成功率；由于表头外观相似性，使用faster-rcnn检测与reid分类技术可以通过不断扩充母模库来实现新表自动建模，而不需要重新训练网络。

附图说明

图1是本发明的一种流程示意图；

图2是本发明实施例1指针表刻度关键区域匹配流程图；

图3是本发明实施例1待建模指针表图片示意图；

图4是本发明实施例1指针表通过reid排名后前5名候选母模表头示意图；

具体实施方式

下面结合附图和实施例对本发明进一步描述。

实施例1：一种基于机器视觉的表计自动建模方法，如图1所示，包括以下步骤：

步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster-rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；

步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；

步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前5位的母模库的特征表计图片作为候选母模；

步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；

步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。

Reid：Person Re-identification(行人重识别)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，此处应用于同类表头检索。在待建模表计图片预测时，去掉reid模型最后的全连接层，使用网络提取特征，最后算出待分类图和表计母模库中所有图片特征之间的距离，根据距离排序选择需要的结果。

reid技术能够尽量把外观相近的表认为是同一id，但由于光照、外观新旧、标牌等干扰影响，算法还是时常发生将不同量程、但外观相近的表id混淆。因此提出了表计指示关键区域模板匹配技术，来排除许多外观相似表但量程不一致的候选母模，这是基于母模先验知识，有效降低表头检测分类误报的一种技术手段。

所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。

所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster-rcnn模型训练，Faster-rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过ROI pooling层使每个ROI生成固定尺寸的特征图片，最后通过softmax Loss和Smooth L1 Loss对分类概率和边框回归进行联合训练。针对指针表的外观形状、内部结构、颜色等信息将指针表表头分为黑色圆表，蓝色圆表，白色圆表，金属外壳表，玻璃外壳表，双指针表，长方形表，正方形表等共计15个大类。

所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。

作为一种优选方案，所述的表计为指针表，所述的步骤4中，表计指示关键区域为刻度关键区域，匹配包括以下步骤(图2)：

步骤4-1，提取待建模表计图片的表头图像的梯度幅值；

步骤4-2，保留梯度幅值前30％的像素点计算梯度方向；

步骤4-3，使用上下左右平移的方法按角度余弦平方值进行模板匹配；

步骤4-4，匹配值加步骤3中的置信度即为最终置信度，最终置信度最高的为最佳母模。

匹配的原理为：根据候选母模模板上的表头，选取指针表上的刻度值，屏蔽其他区域进行模板匹配；

模板匹配即在待建模表计图片上，从左往右，从上往下一个像素一个像素地移动模板，计算模板图像与重叠子图像的匹配度，匹配程度越大，两者相同的可能性越大；像素匹配算子为图像像素点梯度方向，梯度方向受光照影响小，鲁棒性强；

图像像素点(x,y)位置上X轴方向梯度：

I_x(x,y)＝I(x+1,y)-I(x-1,y)

图像像素点(x,y)位置上Y轴方向梯度：

I_y(x,y)＝I(x,y+1)-I(x,y-1)

图像像素点(x,y)位置上梯度幅值：

图像像素点(x,y)位置上梯度方向：

本发明采用梯度角度余弦平方值进行匹配：

R(x,y)表示在像素(x,y)处的匹配度，θ_T，θ_I分别为模板与带待检测图像上的梯度方向值，角度越相近，匹配度越高。

使用检测网络得到的待建模表计图片的表头图像与储存的所有表头进行特征提取，并计算特征间的距离，保留排名前5的表头作为该表头的候选母模表头。经过reid分类后挑选的母模已经比较准确，保留前5的目的在于许多厂商会生产相同型号不同量程的指针表，这些表外观结构完全一样，只有量程与刻度不同。而量程是自动建模的关键信息，从而需要进行下一步更细致的刻度关键区域匹配。如图3-图4所示，与待建模指针表图片经过步骤3匹配完成后选取5个候选母模，其置信度分别为0.963,0.947,0.926,0.911,0.740，然而通过刻度关键区域匹配后，最终选定排名第4的为最佳母模，通过观察得知，尽管排名第1的候选母模置信度最高，但是其刻度值的量程范围与待建模指针表不同，而排名第4的候选母模的量程范围与待建模指针表相同。因此可以得知，刻度关键区域匹配可以更准确的找出最佳母模。

所述的步骤5中，根据单应矩阵换算得出指针运行椭圆区域，指针锚点位置，刻度起始点与终点信息，使用锚点与刻度间的连线在一定区间内提取像素梯度方向，并与最佳母模的指针像素梯度方向进行匹配，通过遍历所有指针角度获取最佳匹配点，最后根据指针角度与指针表的量程换算出指针读数。本方案的在于在于克服许多表头与指针刻度区域不共面造成匹配偏移的问题。

本方案中，所述的faster-rcnn的表头检测网络替换为yolo表头检测网络，所述的reid分类网络替换为resnet50分类网络。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.一种基于机器视觉的表计自动建模方法，其特征是，包括以下步骤：

步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster-rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；

步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；

步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；

步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；

步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。

2.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。

3.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster-rcnn模型训练，Faster-rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过ROIpooling层使每个ROI生成固定尺寸的特征图片，最后通过softmax Loss和Smooth L1 Loss对分类概率和边框回归进行联合训练。

4.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。

5.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的表计为指针表，所述的步骤4中，表计指示关键区域为刻度关键区域，匹配包括以下步骤：

步骤4-1，提取待建模表计图片的表头图像的梯度幅值；

步骤4-2，保留梯度幅值前30％的像素点计算梯度方向；

步骤4-3，使用上下左右平移的方法按角度余弦平方值进行模板匹配，

步骤4-4，匹配值加步骤3中的置信度即为最终置信度，最终置信度最高的为最佳母模。

6.根据权利要求5所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤5中，根据单应矩阵换算得出指针运行椭圆区域，指针锚点位置，刻度起始点与终点信息，使用锚点与刻度间的连线在一定区间内提取像素梯度方向，并与最佳母模的指针像素梯度方向进行匹配，通过遍历所有指针角度获取最佳匹配点，最后根据指针角度与指针表的量程换算出指针读数。

7.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的faster-rcnn的表头检测网络替换为yolo表头检测网络，所述的reid分类网络替换为resnet50分类网络。

Images