CN111161210A - 一种检测电表照片中的小部件的方法 - Google Patents

Abstract

本发明公开了一种手机端检测电表图片中小部件的方法，涉及电表图像识别方法领域。目前深度神经网络电表图像识别方法采用的是整张图移动窗口式的切割，计算量较大，在手机端用来检测电力计量装置计算资源不足，使得检测电表的小部件的准确率和召回率较低。通过训练好的检测CNN模型，检测到电表，并识别其类型，再通过类型查询其小部件相对于电表位置的分布区域图，把这些区域切割下来分别进行二次检测，得到小部件的位置。通过切割小部件的分布区域进行二次检测，大大提高了封印等小部件的识别率和召回率，相对于整张图移动窗口式的切割，本方法切割次数大大减少，有效降低了计算资源，大大提高了手机端对小部件的识别率和召回率。

Description

一种检测电表照片中的小部件的方法

技术领域

本发明涉及电表图像识别方法领域，尤其涉及一种手机端检测电表图片中小部件的方法。

背景技术

相比于传统的目标检测算法，深度CNN目标检测算法在准确率和定位精度都有了大幅提高，但是由于手机端的深度神经网络是精简的，采用的是整张图移动窗口式的切割，计算量较大，在手机端用来检测电力计量装置受限于其计算资源的不足，只能对PC端的深度学习检测模型进行裁剪，这使得其检测电表的小部件的准确率和召回率大幅下降。因此，手机端需要一种方法来提高小部件的识别率。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种手机端检测电表图片中小部件的方法，以提升手机端对小部件的识别率和召回率为目的。为此，本发明采取以下技术方案。

一种手机端检测电表图片中小部件的方法，包括以下步骤：

a）利用训练好的检测CNN模型对电表类型进行检测和确定；

b）通过确定的电表类型查询得到小部件的分布区域图；

c）把标定区域的图像进行切割；

d）标定区域切割后分别进行小部件的对应检测；判断是否存在部件缺失，当存在缺失部件时，进行缺失部件位置计算，并进行标定，整合缺失的部件位置；

e）利用训练好的检测CNN模型对是否存在未检测的小部件区域进行判断，若是，则执行步骤c），若否，则结束。

通过训练好的检测CNN模型，检测到电表，并识别其类型，通过类型查询其小部件相对于电表位置的分布区域图，把这些区域切割下来分别进行二次检测，得到小部件的位置。通过切割小部件的分布区域进行二次检测，大大提高了封印等小部件的识别率和召回率，相对于整张图移动窗口式的切割，本方法切割次数大大减少，有效降低了计算资源，大大提高了手机端对小部件的识别率和召回率。

作为优选技术手段：检测CNN模型训练包括以下步骤：

a1）采集不同类型电表照片，照片数量在3000-8000之间；

a2）对于每一张电表照片进行类型标注，并裁减小部件区域成子图像进行标定；

a3）把所有标注过的电表照片（1）和子图像各自分成两部分，一部分作为训练集，另一部分作为测试集；

a4）用深度学习方法在训练集和测试集上训练，得到电表和小部件检测CNN模型。可有效实现电表和小部件的检测CNN模型。

作为优选技术手段：所述的检测CNN模型的机器学习方法采用16层的深度学习模型。可有效实现精确可靠的检测CNN模型。

作为优选技术手段：在步骤d）中, 小部件的检测包括步骤：

d1)缺失部件的初步判断

使用完整版YOLOv3进行检测，对于检测到的每个部件，通过部件聚类结果找到它们对应的位置类别；如果这9个位置类别均有检测到部件与之对应，则认为没有部件缺失，检测结束，否则要对缺失部件进行判断；

d2)表箱类型的判断

在得到了待检测图像所有部件的位置类别之后，将每个部件根据其位置类别抽象为图的一个节点，从而将待检测图像抽象为一个全连接图，并且用9×9邻接矩阵来表示，进而将其转换为45维向量；根据对表箱数据的聚类结果，在表箱中找到匹配的类别；

d3)缺失部件位置与尺寸的计算

在得到待检测表箱的类型以及缺失部件后，根据现有部件位置和缺失部件与现有部件距离计算出缺失部件位置；而此时是根据位置分类，因此各个位置类别中可能存储多种部件的尺寸，从中选取最大尺寸作为缺失部件的尺寸；在得到位置和尺寸信息后，便可以从原始图像中裁剪相关区域送入下一层检测模型中进行检测；

d4)缺失部件检测

作为检测结构的第二层次，每个输入图像涵盖一个目标，故选用简易版YOLO模型从而进一步提高效率；

d5)检测结果汇总

在第二层检测结束后，通过坐标转换公式将第二层结果的包围框坐标和尺寸转换为整张图像的包围框坐标和尺寸，与第一层模型结果进行汇总，作为最终结果输出。

作为优选技术手段：在步骤d2)中，使用对标注位置进行聚类得到表箱部件分布的类型；标注的矩形坐标范围归一化0到1之间；经过归一化之后，再使用k-means方法进行聚类，其包括以下步骤：

d201)获取一张待检测图片；

d202)使用第一层网络初步检测出n个部件A₁,A₂,…,A_n；

d203)根据A_i的中心坐标匹配相应的聚类中心，得到每个部件的位置类别P_i，其中P_i属于{c₁, c₂,..,c₉}；

d204)计算邻接矩阵的第m行n列的元素Q_mn：如果{P₁，P₂,.., P_n}中同时存在位置类别为C_m和C_n的部件，则Q_mn的值等于这两个部件的欧式距离；否则Q_mn等于0；

d205)压缩为上三角矩阵，通过行优先方式使用数组作为存储，这样对于所有表箱图像，使用45维向量进行表示；对于由45维向量表示的表箱数据，继续进行k-means聚类分析，当k=14时，得到14种表箱类别。

有益效果：本方法通过切割小部件的分布区域进行二次检测，大大提高了封印等小部件的识别率和召回率，相对于整张图移动窗口式的切割，本方法切割次数大大减少，有效降低了计算资源，大大提高了手机端对小部件的识别率和召回率。

附图说明

图1是本发明流程示意图。

图2是本发明获得检测CNN模型过程示意图。

图3是本发明子图像切割示意图。

图4是本发明16层深度学习模型示意图。

图5是本发明的小部件检测流程图。

图6是本发明的聚类图。

图中：1-电表照片；2-子图像。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，一种手机端检测电表图片中小部件的方法，包括以下步骤：

a）利用训练好的检测CNN模型对电表类型进行检测和确定；

b）通过确定的电表类型查询得到小部件的分布区域图；

c）把标定区域的图像进行切割；

d）标定区域切割后分别进行小部件的对应检测；判断是否存在部件缺失，当存在缺失部件时，进行缺失部件位置计算，并进行标定，整合缺失的部件位置；

e）利用训练好的检测CNN模型对是否存在未检测的小部件区域进行判断，若是，则执行步骤c），若否，则结束。

如图2、3所示，为了获得检测CNN模型， CNN模型训练方法包括以下步骤：

a1）采集不同类型电表照片（1），照片数量为5000张；

a2）对于每一张电表照片（1）进行类型标注，并裁减小部件区域成子图像（2）进行标定；

a3）把所有标注过的电表照片（1）和子图像（2）各自分成两部分，一部分作为训练集，电表照片（1）和子图像（2）均为4000张，另一部分作为测试集，电表照片（1）和子图像（2）均为1000张；

a4）用深度学习方法在训练集和测试集上训练，得到电表和小部件检测CNN模型。可有效实现电表和小部件的检测CNN模型。

如图4所示，为了实现精确可靠的检测CNN模型，检测CNN模型的机器学习方法采用16层的深度学习模型。可有效实现精确可靠的检测CNN模型。

通过训练好的检测CNN模型，检测到电表，并识别其类型，通过类型查询其小部件相对于电表位置的分布区域图，把这些区域切割下来分别进行二次检测，得到小部件的位置。通过切割小部件的分布区域进行二次检测，大大提高了封印等小部件的识别率和召回率，相对于整张图移动窗口式的切割，本方法切割次数大大减少，有效降低了计算资源，大大提高了手机端对小部件的识别率和召回率。

在实施过程中，小部件的检测流程如图1所示。

这个检测分两个层次，两个层次分别使用了完整版YOLOv3和简易版YOLO模型，这是因为第一层作为主要部分能完成大多数检测要求，并且其检测结果也需要作为预测缺失部件的输入，所以需要有较高的检测准确度。而第二层作为第一层检测的补充，其功能较为简单，因此检测速度的要求要大于对其准确度的要求，所以选用简易版YOLO模型。

接下来使用对标注位置进行聚类得到表箱部件分布的类型。标注的矩形坐标范围归一化0到1之间。经过归一化之后，再使用k-means方法进行聚类。

如图6所示是一个聚类结果。图中横轴纵轴分别表示以图像左上角为原点的坐标值，其中每个点都代表了一个部件的中心位置。我们设置聚类的类别数目是9个。为每个图像建立一个9×9邻接矩阵，其步骤如下：

输入：一张待检测图片

步骤1：使用第一层网络初步检测出n个部件A₁,A₂,…,A_n

步骤2：根据A_i的中心坐标匹配相应的聚类中心，得到每个部件的位置类别P_i（P_i属于{c₁, c₂,..,c₉}）

步骤3：计算邻接矩阵的第m行n列的元素Q_mn：如果{P₁，P₂,.., P_n}中同时存在位置类别为C_m和C_n的部件，则Q_mn的值等于这两个部件的欧式距离；否则Q_mn等于0。

因为全连接图的邻接矩阵存储具有对称性，可以压缩为上三角矩阵，通过行优先方式使用数组作为存储，这样对于所有表箱图像，我们均可以使用45维向量进行表示。对于由45维向量表示的表箱数据，我们继续进行k-means聚类分析(k=14)，得到14种表箱类别。

实施过程中的小部件的检测步骤如下：

1、缺失部件的初步判断

使用完整版YOLOv3进行检测，对于检测到的每个部件，通过图6所示的部件聚类结果找到它们对应的位置类别。如果这9个位置类别均有检测到部件与之对应，则认为没有部件缺失，检测结束，否则要对缺失部件进行判断。

2、表箱类型的判断

在得到了待检测图像所有部件的位置类别之后，将每个部件根据其位置类别抽象为图的一个节点，从而将待检测图像抽象为一个全连接图，并且用9×9邻接矩阵来表示，进而将其转换为45维向量。根据上节对表箱数据的聚类结果，在14种表箱中找到匹配的类别。

3、缺失部件位置与尺寸的计算

在得到待检测表箱的类型以及缺失部件后，可以根据现有部件位置和缺失部件与现有部件距离计算出缺失部件位置。而此时是根据位置分类，因此各个位置类别中可能存储多种部件的尺寸，从中选取最大尺寸作为缺失部件的尺寸。在得到位置和尺寸信息后，便可以从原始图像中裁剪相关区域送入下一层检测模型中进行检测。

4、缺失部件检测

作为检测结构的第二层次，检测任务通常较为简单，每个输入图像基本只涵盖一个目标，因此选用简易版YOLO模型从而进一步提高效率。

5、检测结果汇总

在第二层检测结束后，通过坐标转换公式将第二层结果的包围框坐标和尺寸转换为整张图像的包围框坐标和尺寸，与第一层模型结果进行汇总，作为最终结果输出。

以上图1-6所示的一种手机端检测电表图片中小部件的方法是本发明的具体实施例，已经体现出本发明突出的实质性特点和显著进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (5)

1.一种手机端检测电表图片中小部件的方法，其特征在于包括以下步骤：

a）利用训练好的检测CNN模型对电表类型进行检测和确定；

b）通过确定的电表类型查询得到小部件的分布区域图；

c）把标定区域的图像进行切割；

d）标定区域切割后分别进行小部件的对应检测；判断是否存在部件缺失，当存在缺失部件时，进行缺失部件位置计算，并进行标定，整合缺失的部件位置；

e）利用训练好的检测CNN模型对是否存在未检测的小部件区域进行判断，若是，则执行步骤c），若否，则结束。

2.根据权利要求1所述的一种手机端检测电表图片中小部件的方法，其特征在于：检测CNN模型的训练包括以下步骤：

a1）采集不同类型电表照片（1），照片数量在3000-8000之间；

a2）对于每一张电表照片（1）进行类型标注，并裁减小部件区域成子图像（2）进行标定；

a3）把所有标注过的电表照片（1）和子图像（2）各自分成两部分，一部分作为训练集，另一部分作为测试集；

a4）用深度学习方法在训练集和测试集上训练，得到电表和小部件检测CNN模型。

3.根据权利要求2所述的一种手机端检测电表图片中小部件的方法，其特征在于：所述的检测CNN模型的机器学习方法采用16层的深度学习模型。

4.根据权利要求1所述的一种手机端检测电表图片中小部件的方法，其特征在于：在步骤d）中, 小部件的检测包括步骤：

d1)缺失部件的初步判断

使用完整版YOLOv3进行检测，对于检测到的每个部件，通过部件聚类结果找到它们对应的位置类别；如果这9个位置类别均有检测到部件与之对应，则认为没有部件缺失，检测结束，否则要对缺失部件进行判断；

d2)表箱类型的判断

在得到了待检测图像所有部件的位置类别之后，将每个部件根据其位置类别抽象为图的一个节点，从而将待检测图像抽象为一个全连接图，并且用9×9邻接矩阵来表示，进而将其转换为45维向量；根据对表箱数据的聚类结果，在表箱中找到匹配的类别；

d3)缺失部件位置与尺寸的计算

在得到待检测表箱的类型以及缺失部件后，根据现有部件位置和缺失部件与现有部件距离计算出缺失部件位置；而此时是根据位置分类，因此各个位置类别中可能存储多种部件的尺寸，从中选取最大尺寸作为缺失部件的尺寸；在得到位置和尺寸信息后，便可以从原始图像中裁剪相关区域送入下一层检测模型中进行检测；

d4)缺失部件检测

作为检测结构的第二层次，每个输入图像涵盖一个目标，故选用简易版YOLO模型从而进一步提高效率；

d5)检测结果汇总

在第二层检测结束后，通过坐标转换公式将第二层结果的包围框坐标和尺寸转换为整张图像的包围框坐标和尺寸，与第一层模型结果进行汇总，作为最终结果输出。

5.根据权利要求4所述的一种手机端检测电表图片中小部件的方法，其特征在于：在步骤d2)中，使用对标注位置进行聚类得到表箱部件分布的类型；标注的矩形坐标范围归一化0到1之间；经过归一化之后，再使用k-means方法进行聚类，其包括以下步骤：

d201)获取一张待检测图片；

d202)使用第一层网络初步检测出n个部件A₁,A₂,…,A_n；

d203)根据A_i的中心坐标匹配相应的聚类中心，得到每个部件的位置类别P_i，其中P_i属于{c₁, c₂,..,c₉}；

d204)计算邻接矩阵的第m行n列的元素Q_mn：如果{P₁，P₂,.., P_n}中同时存在位置类别为C_m和C_n的部件，则Q_mn的值等于这两个部件的欧式距离；否则Q_mn等于0；

d205)压缩为上三角矩阵，通过行优先方式使用数组作为存储，这样对于所有表箱图像，使用45维向量进行表示；对于由45维向量表示的表箱数据，继续进行k-means聚类分析，当k=14时，得到14种表箱类别。

Images